CN112674014B - 一种南美白对虾个体标记识别方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明提供了一种南美白对虾个体标记识别方法、装置、计算机设备及存储介质，方法包括：采集进行颜色标记后的南美白对虾个体的俯视图图像样本；基于精简的YOLO v3进行俯视图的目标检测，获取虾尾区域的包围盒信息；基于HR Net网络推理得到虾尾颜色点热图，并将虾尾颜色点热图输入到Softmax中得到颜色点类别信息，确定南美白对虾个体的个体标签。本发明基于虾颜色标记的特殊性，本发明探索目标检测算法在虾颜色标记中的应用，通过目标检测算法，检测出虾标记的区域，然后定位，再识别颜色的方法来识别出虾的标记，因此本发明能够很好的解决非接触式地识别在无约束水中的虾尾颜色的位置和类别，并以此确定虾的个体标签。

Description

一种南美白对虾个体标记识别方法、装置、计算机设备及存储 介质

技术领域

本发明属于计算机视觉领域，基于计算机视觉实现测量，具体涉及一种南美白对虾个体标记识别方法、装置、计算机设备及存储介质。

背景技术

对虾是重要的海产品之一，优化品种是对虾育种界一直努力的方向，其中对于个体的识别，观测其生长过程有助于育种优选，对对虾个体进行标记是对虾育种工作中最重要的组成部分。传统的对虾标记方法主要为挂牌标记法，但由于对虾挂牌时需个体较大，且对虾往往会经过多次蜕壳，每次蜕壳都会受到其体内的标记牌的影响，从而影响其存活率。而其他的传统对虾标记方法如剪鳍法、金属线码标记法、分离式卫星标记法、生物遥测标记法等或者需要昂贵的设备，或者标记效果不好，因此都不是对虾的理想个体标记方式。

目前主要采用荧光标记来标注虾的个体，在虾体尾部集注射了颜色荧光标记，通过人工观察荧光标记的组合来识别个体，该种方法费时费力，而且由于荧光标记在对虾生长过程存在扩散和色彩变淡的情况，对对虾标记的识别主要采用人工观测的方法来识别对虾个体，例如南美白对虾的个体识别是育种过程比较重要的环节，目前主要采用在对虾的尾部一、二节之间注射颜色标记，从而完成个体的识别。

人工观察标记的颜色来记录个体，费时费力，如果能发明一种快速的计算机视觉算法识别出虾的个体，这对虾育种生产来说，不仅提高效率，也有利于虾育种产业的快速发展。但是目前观察发现注射在虾尾的色标由于虾的生长往往会呈现颜色区域扩散、颜色淡化等特点，现有技术中计算机视觉算法在目标检测领域取得了成功，但没有在颜色识别领域进行应用，若通过传统的颜色识别算法在处理这种情况时，存在诸多不足，例如：

1、传统目标检测算法由于人为设计的特征，即使使用最好的非线性分类器进行特征分类，目标检测的准确度也达不到实际应用需求，且无法适应于变化的环境。

2、深度学习目标检测算法由于网络设计，对小目标检测效果很差，而在虾尾的颜色块往往呈现目标小、不规则等特点，导致深度学习目标检测算法出现检测精度低的问题。

3、虾尾的颜色标签往往由于虾的生长而存在颜色扩散现象，没有固定的形态，使用边框回归的深度学习目标检测方法会在训练过程中学习颜色的形状特征，反而对预测结果产生副作用。

综上，若采用现有的计算机视觉算法往往会存在检测速度慢，检测精度低等问题，无法应用于实际生产任务中。因此，如何基于计算机视觉算法实现对虾个体标签识别，是本领域亟待解决的问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种南美白对虾个体标记识别方法，通过目标检测算法，检测出虾标记的区域，然后定位，再识别颜色的方法来识别出虾的标记。

为了实现以上目的，本发明采用以下技术方案：

一种南美白对虾个体标记识别方法，其特征在于，包括步骤：

S1、采集进行颜色标记后的南美白对虾个体的俯视图图像样本；

S2、基于精简的YOLO v3进行俯视图的目标检测，获取虾尾区域的包围盒信息，将虾尾的图像裁剪出来作为下一步骤的输入；

S3、基于HR Net网络推理得到虾尾颜色点热图，并将虾尾颜色点热图输入到Softmax中得到颜色点类别信息，确定南美白对虾个体的个体标签。

进一步地，所述步骤S1包括：对南美白对虾个体进行颜色标记时，从红、绿、蓝、黄、橙、紫、白七种颜色中随机选择可重复的4个颜色注射在虾尾两节4个位置处。

进一步地，所述步骤S1包括：在装满3/4水的水盒中放入南美白对虾，将水盒放入图像样本采集设备，在所述图像样本采集设备内布置工业相机，启动工业相机，采集到南美白对虾的俯视图图像样本。

进一步地，所述步骤S1包括：采集1000张南美白对虾在无约束水中的俯视图图像样本。

进一步地，所述步骤S2包括：使用Darknet19代替YOLOv3中的Darknet53来精简网络结构，同时，将3个尺度的输出精简到2个尺度的输出，每个尺度上选择两个不同大小的Anchors；网络以416x416x3的图片作为输入，两个尺度的输出分支大小分别为13x13x18和26x26x18用来进行多尺度融合；最后使用非极大抑制算法筛选出置信度和IOU最大的边框即为虾尾区域。

进一步地，所述步骤S3包括：将截取的虾尾图像输入到骨干网络HR Net中，推理得到4x6的虾尾颜色点热图，并分别将4组虾尾颜色点热图输入到Softmax中得到颜色点类别信息。

本发明还提供了一种南美白对虾个体标记识别装置，其特征在于，包括：

数据采集单元，采集南美白对虾个体的俯视图图像样本；

虾尾检测模块，精简的YOLO v3进行俯视图的目标检测，获取虾尾区域的包围盒信息，将虾尾的图像裁剪出来作为下一步骤的输入；

颜色点检测模块，基于HR Net网络推理得到虾尾颜色点热图，并将虾尾颜色点热图输入到Softmax中得到颜色点类别信息，确定南美白对虾个体的个体标签。

本发明还提供了一种计算机设备，其特征在于，所述设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如上述的方法。

本发明还提供了一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如上述的方法。

本发明公开的一种南美白对虾个体标记识别方法及装置，与现有技术相比，具有如下优点：

1、本发明在测量过程中，对南美白对虾没有严格的约束，允许其在水盒内自由游动，增强了算法的鲁棒性并进一步保护了对虾的活性影响。

2、本发明基于虾颜色标记的特殊性，本发明探索目标检测算法在虾颜色标记中的应用，通过目标检测算法，检测出虾标记的区域，然后定位，再识别颜色的方法来识别出虾的标记，因此本发明基于目标检测和颜色点检测的南美白对虾个体标签识别方法，能够很好的解决非接触式地识别在无约束水中的虾尾颜色的位置和类别，并以此确定虾的个体标签。

3、本发明基于深度学习的算法通过识别虾尾上的颜色组合来确定虾的个体，操作简单，所需人力少，且检测速度极快，能很好地应用于实际育种养殖生产中。

4、本发明基于精简的YOLO v3进行俯视图的目标检测，获取虾尾区域的包围盒信息，能够提取不同尺度下的图像特征，保障网络模型的推理精度。

5、本发明通过基于HR Net网络的颜色点检测算法，实现了高效准确的虾尾颜色点检测。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的图1南美白对虾俯视图图像采集设备结构示意图；

图2为本发明实施例提供的南美白对虾颜色标签位置说明示例；

图3为本发明实施例提供的南美白对虾俯视图虾尾矩形框标注示例；

图4为本发明实施例提供的南美白对虾虾尾颜色点标注示例；

图5为本发明实施例提供的网络模型总体流程图；

图6为本发明实施例提供的虾尾检测模块网络结构；

图7为本发明实施例提供的颜色点检测模块骨干网络结构；

图8为本发明实施例提供的颜色点检测模块总体流程；

图9为本发明实施例提供的虾尾检测模块结果示例；

图10为在本发明实施例提供的颜色点检测结果示例。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

术语解释：

目标检测：本专利中指的是通过算法检测出虾尾在图像中的位置信息。

颜色点：南美白对虾在个体识别时需要在虾尾处注射不同的色标组合来标记个体，本发明专利中称为颜色点。

个体标签：本专利中用来指示每尾虾的具体个体身份标识。

本实施例为一种南美白对虾个体标记识别方法，本实施例除了应用于南美白对虾以外，还可以应用于识别其他白对虾，具体包括步骤：

S1、采集进行颜色标记后的南美白对虾个体的俯视图图像样本；

图1为本实施例中南美白对虾图像样本采集设备，如图1所示，本实施例中在该设备正上面布置了工业相机。在装满3/4水的水盒中放入南美白对虾，并将水盒放入测试箱体内，启动工业相机可以采集到南美白对虾的俯视图图像样本。

南美白对虾个体标签

本实施例中是基于南美白对虾的个体识别方法，为了在不伤害南美白对虾的活性的同时，能够高效准确地识别虾的个体，本发明基于南美白对虾的特征，从红、绿、蓝、黄、橙、紫、白七种颜色中随机选择可重复的4个颜色注射在虾尾两节4个位置处，见图2。

本实施例中基于深度学习的虾个体标签识别方法主要分成两个模块：一、虾尾目标检测模块，输入整张虾的俯视图图像，输出虾尾的位置信息；二、颜色点检测模块，输入截取的虾尾区域图像，输出颜色点的位置和类别，并最终实现虾的个体标签识别。为此，本发明准备了1000张南美白对虾在无约束水中的俯视图图像，并按照下列要求标注虾尾矩形框和相关的颜色点位置和类别，其中，南美白对虾俯视图的虾尾矩形框标注，见图3；虾尾颜色点标注，见图4，根据上述的标记信息来制作标签文件。

图5为本实施例中网络模型的总体流程图，其中网络模型由虾尾检测模块和颜色点检测模块组成。首先将输入图像输入虾尾检测模块得到虾尾边框信息，并以此将截取的虾尾区域图像输入到颜色点检测模块，得到颜色点坐标和类别，最终得到虾的个体标签信息。

S2、基于精简的YOLO v3进行俯视图的目标检测，获取虾尾区域的包围盒信息，将虾尾的图像裁剪出来作为下一步骤的输入；

YOLO v3是Redmon在2018年提出的一种单阶段目标检测网络模型，与基于候选区域的两阶段目标检测算法相比，其具有更显著的检测速度上的优势。然而，在本发明中的虾尾检测模块，由于检测类别少，且场景相对复杂的真实世界较简单，而完整的YOLO v3网络结构过于复杂，参数过多，造成性能浪费，因此，本发明考虑基于精简版的YOLO v3的南美白对虾的虾尾检测模块。虾尾检测模块总体网络架构，见图6。

如图6所示，本实施例中使用更简单的Darknet19代替YOLOv3中的Darknet53来精简网络结构，从而减小网络参数提高模型推理速度。同时，将3个尺度的输出精简到2个尺度的输出，每个尺度上选择两个不同大小的Anchors，在进一步精简网络结构的同时，保留了多尺度融合的特点，即将中间层和后面层的上采样进行张量拼接，能够提取不同尺度下的图像特征，从而保障网络模型的推理精度。

本实施例中网络以416x416x3的图片作为输入，两个尺度的输出分支大小分别为13x13x18和26x26x18用来进行多尺度融合。最后使用非极大抑制(Non-MaximumSuppression，NMS)算法筛选出置信度和IOU最大的边框即为虾尾区域。

S3、基于HR Net网络推理得到虾尾颜色点热图，并将虾尾颜色点热图输入到Softmax中得到颜色点类别信息，确定南美白对虾个体的个体标签。

本实施例中在得到虾尾的bounding box信息后，将虾尾的图像裁剪出来作为颜色点检测模块的输入。HR Net是Sun等人于2019年提出的一种用于人体姿势关键点检测的深度学习网络模型，使用并行连接高分辨率到低分辨率的子网取代了传统关键点检测网络中的中继监督模块和沙漏模块，在大幅减少模型参数的同时，通过在并行的多分辨率子网络上反复交换信息来进行多尺度的重复融合来保持关键点检测的精度，见图7。因此，本实施例通过研究基于HR Net网络的颜色点检测算法，实现了高效准确的虾尾颜色点检测。

本实施例的颜色点检测模块总体流程图，见图8，将截取的虾尾图像输入到骨干网络HR Net中，推理得到4x6的颜色点热图，并分别将4组热图输入到Softmax中得到颜色点类别信息。

采用本实施例的精简版的虾尾检测模块，经模型推理可以得到虾尾在图像中的边框信息。检测效果见图9，准确的检测出了虾色标区域，从而满足后续颜色定位识别的要求。

将截取的虾尾边框区域输入颜色标记检测模块，经模型推理可以得到虾尾颜色点的位置及类别信息，检测结果如图10所示。

从图10中可以看出，本实施例提出的颜色点检测模块能够很好的定位虾尾颜色标记点并准确分类，并能以此确定虾的个体标签。

综上可知，本实施例提出了一种基于目标检测和颜色标记点检测的南美白对虾个体标签识别方法，该方法实现了基于目标检测的虾尾检测和基于关键点检测的颜色标记点识别，能够高效并准确地识别虾的个体标签。

本发明实施例提供了一种南美白对虾个体标记识别装置包括数据采集单元、虾尾检测模块、颜色点检测模块。其中，

数据采集单元，采集南美白对虾个体的俯视图图像样本；

虾尾检测模块，精简的YOLO v3进行俯视图的目标检测，获取虾尾区域的包围盒信息，将虾尾的图像裁剪出来作为下一步骤的输入；

颜色点检测模块，基于HR Net网络推理得到虾尾颜色点热图，并将虾尾颜色点热图输入到Softmax中得到颜色点类别信息，确定南美白对虾个体的个体标签。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述鱼体姿势估计和鱼体表型数据测量装置和各单元块的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述南美白对虾个体标记识别装置可以实现为一种计算机程序的形式，该计算机程序可以在计算机设备上运行。

计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

该非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行一种南美白对虾个体标记识别方法。

该处理器用于提供计算和控制能力，以支撑整个计算机设备的运行。

该内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行一种南美白对虾个体标记识别方法。

该网络接口用于与其它设备进行网络通信。本领域技术人员可以理解，上述计算机设备结构仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器用于运行存储在存储器中的计算机程序，该程序实现实施例一所述的南美白对虾个体标记识别方法。

应当理解，在本申请实施例中，处理器可以是中央处理单元(Central ProcessingUnit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行实施例一所述的一种南美白对虾个体标记识别方法。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种南美白对虾个体标记识别方法，其特征在于，包括步骤：

S1、采集进行颜色标记后的南美白对虾个体的俯视图图像样本；

S2、基于精简的YOLO v3进行俯视图的目标检测，获取虾尾区域的包围盒信息，将虾尾的图像裁剪出来作为下一步骤的输入；

S3、基于HR Net网络推理得到虾尾颜色点热图，并将虾尾颜色点热图输入到Softmax中得到颜色点类别信息，确定南美白对虾个体的个体标签。

2.根据权利要求1所述的南美白对虾个体标记识别方法，其特征在于，所述步骤S1包括：对南美白对虾个体进行颜色标记时，从红、绿、蓝、黄、橙、紫、白七种颜色中随机选择可重复的4个颜色注射在虾尾两节4个位置处。

3.根据权利要求1或2所述的南美白对虾个体标记识别方法，其特征在于，所述步骤S1包括：在装满3/4水的水盒中放入南美白对虾，将水盒放入图像样本采集设备，在所述图像样本采集设备内布置工业相机，启动工业相机，采集到南美白对虾的俯视图图像样本。

4.根据权利要求3所述的南美白对虾个体标记识别方法，其特征在于，所述步骤S1包括：采集1000张南美白对虾在无约束水中的俯视图图像样本。

5.根据权利要求1所述的南美白对虾个体标记识别方法，其特征在于，所述步骤S2包括：使用Darknet19代替YOLOv3中的Darknet53来精简网络结构，同时，将3个尺度的输出精简到2个尺度的输出，每个尺度上选择两个不同大小的Anchors；网络以416x416x3的图片作为输入，两个尺度的输出分支大小分别为13x13x18和26x26x18用来进行多尺度融合；最后使用非极大抑制算法筛选出置信度和IOU最大的边框即为虾尾区域。

6.根据权利要求1所述的南美白对虾个体标记识别方法，其特征在于，所述步骤S3包括：将截取的虾尾图像输入到骨干网络HR Net中，推理得到4x6的虾尾颜色点热图，并分别将4组虾尾颜色点热图输入到Softmax中得到颜色点类别信息。

7.一种南美白对虾个体标记识别装置，其特征在于，包括：

数据采集单元，采集南美白对虾个体的俯视图图像样本；

虾尾检测模块，精简的YOLO v3进行俯视图的目标检测，获取虾尾区域的包围盒信息，将虾尾的图像裁剪出来作为下一步骤的输入；

颜色点检测模块，基于HR Net网络推理得到虾尾颜色点热图，并将虾尾颜色点热图输入到Softmax中得到颜色点类别信息，确定南美白对虾个体的个体标签。

8.一种计算机设备，其特征在于，所述设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。

9.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至6中任一项所述的方法。

Images