CN113284164A - 虾群自动计数方法、装置、电子设备及存储介质 - Google Patents
虾群自动计数方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113284164A CN113284164A CN202110546634.7A CN202110546634A CN113284164A CN 113284164 A CN113284164 A CN 113284164A CN 202110546634 A CN202110546634 A CN 202110546634A CN 113284164 A CN113284164 A CN 113284164A
- Authority
- CN
- China
- Prior art keywords
- shrimp
- image
- swarm
- local
- counting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 241000143060 Americamysis bahia Species 0.000 title claims abstract 9
- 241000238557 Decapoda Species 0.000 claims abstract description 378
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000005520 cutting process Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 5
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 15
- 230000006870 function Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000009395 breeding Methods 0.000 description 7
- 230000001488 breeding effect Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 6
- 238000009360 aquaculture Methods 0.000 description 5
- 244000144974 aquaculture Species 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013526 transfer learning Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000002028 Biomass Substances 0.000 description 1
- 238000005273 aeration Methods 0.000 description 1
- 238000005276 aerator Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 235000004280 healthy diet Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M1/00—Design features of general application
- G06M1/27—Design features of general application for representing the result of count in the form of electric signals, e.g. by sensing markings on the counter drum
- G06M1/272—Design features of general application for representing the result of count in the form of electric signals, e.g. by sensing markings on the counter drum using photoelectric means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种虾群自动计数方法、装置、电子设备及存储介质，该方法包括：获取待计数的虾群图像；对所述虾群图像进行随机裁剪，获得局部虾群图像；利用轻量化的YOLOv4局部虾群自动计数模型，得到所述局部图像中的虾数目，基于所述局部虾群图像中的虾数目，得到虾群图像的总体的虾数目。本发明通过对原始虾群图像进行随机裁剪操作，构建了对虾数目多样化、图像背景多元化的局部虾群计数数据集，减少了计数图像标注的时间；采用MobileNetv3作为YOLOv4的主干特征提取网络，减少了基于YOLOv4的局部虾群计数模型的参数量，提高了计数图像检测的速度。
Description
技术领域
本发明涉及涉及计算机视觉领域，尤其涉及一种虾群自动计数方法、装置、电子设备及存储介质。
背景技术
计数是指准确估计出目标区域内的物体数量，便于及时掌握目标区域内的信息，进行调节控制，在多个领域都有广泛应用。对虾蕴含丰富的优质能源和蛋白质，在人类健康饮食中发挥着越来越重要的作用，对虾养殖也在水产养殖中占据越来越大的比例。准确获取对虾数量是实现对虾养殖中生物量估算的基础操作，不仅有助于养殖者准确计算繁殖率，估算生产潜力，也对存活率评估、养殖密度控制和运输销售管理等有着很好的指导作用。因此，迫切需要一种方法，能够自动、准确、无损、高效地实现虾群计数，促进对虾福利化养殖。
计算机视觉是一种非接触、非倾入性的技术，因其具有效率高、准确度高、所需设备简单等优点，成为一种研究计数的重要手段。该方法首先通过图像处理设备采集养殖区域内的养殖对象图像，然后采用图像分析技术识别出图像中的养殖对象，实现计数。主要分为传统图像处理计数方法和深度学习计数方法。
对虾是一种体型较小、有虾须的水产品，具有体色与水色相似、身体透光性强等特点。在实际养殖中，对虾养殖一般采用高密度养殖，因此采集的虾群图像中虾的数目非常多。此外，由于养殖模式和场所的不同、拍摄条件的限制，虾群图像存在背景复杂多样、质量参差不齐等问题。基于传统图像处理的计数方法通过人为设计的特征描述子提取虾群图像中的有用信息进行目标对象识别，导致计数模型无法适用于可变、复杂的环境，因而计数结果不稳定。深度学习具有强大的数据表征能力，通过自动组合低层特征形成更抽象的高层表示属性类别或特征，在样本量足够大时可以达到较好的目标识别精度与计数精度。然而基于深度学习的计数方法需要大量的有标签样本，这使得高密度养殖的虾群计数图像的标注工作量非常大。
在对虾群自动计数方法的过程中，如何构建复杂背景下的虾群计数模型，如何降低基于深度学习虾群计数数据集的标注工作量，确保计数模型在实际水产养殖中的便捷应用，是一个亟待解决的问题。
发明内容
本发明的目的是提供一种虾群自动计数方法、装置、电子设备及存储介质，用以构建适用于复杂背景下的深度学习虾群计数模型，减少深度学习模型所需数据集的标注工作量，确保虾群自动计数的准确性与稳定性，为实现对虾养殖中的精准投喂、提高养殖效益提供支持。
第一方面，本发明提供一种虾群自动计数方法，包括：
获取待计数的虾群图像；
对所述虾群图像进行随机裁剪，获得局部虾群图像；
利用轻量化的YOLOv4局部虾群自动计数模型，得到所述局部图像中的虾数目；
基于所述局部虾群图像中的虾数目，得到虾群图像的总体的虾数目。
优选地，所述利用轻量化的YOLOv4局部虾群自动计数模型，得到所述局部图像中的虾数目，包括：
局部虾群图像特征提取；
局部虾群图像目标检测。
优选地，所述轻量化的YOLOv4局部虾群自动计数模型采用MobileNetv3作为YOLOv4的主干特征提取网络。
优选地，所述轻量化的YOLOv4局部虾群自动计数模型包括基于SPP和PANet的加强特征提取网络，采用基于SPP和PANet的特征金字塔进行特征融合，进一步加强虾群图像特征提取。
优选地，所述方法还包括：
将预定时间段内的多个虾群图像的总体的虾数目取平均，得到最终的养殖区域中的虾群计数结果。
优选地，所述方法还包括：
采集虾群俯视图像，随机裁剪出多张局部虾群图像，构建虾群计数数据集。
优选地，所述方法还包括：训练所述局部虾群自动计数模型，所述训练所述局部虾群自动计数模型包括：
利用构建的虾群计数数据集训练所述局部虾群自动计数模型；
冻结全部卷积层，只对全连接层进行粗略训练；
解冻全部卷积层，对所有层进行精调训练；
采用早停法训练所述局部虾群自动计数模型，其中，当模型在验证集上的误差比上一次训练结果差的时候停止训练，使用上一次迭代结果中的参数作为模型的最终参数。
第二方面，本发明提供一种虾群自动计数装置，包括：
获取模块，用于获取待计数的虾群图像；
裁剪模块，用于对所述虾群图像进行随机裁剪，获得局部虾群图像；
局部图像虾数目确定模块，用于利用轻量化的YOLOv4局部虾群自动计数模型，得到所述局部图像中的虾数目；
虾群图像的总体的虾数目确定模块；用于基于所述局部虾群图像中的虾数目，得到虾群图像的总体的虾数目。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现根据第一方面所述虾群自动计数方法的步骤。
第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现根据第一方面所述虾群自动计数方法的步骤。
综上，本发明提供的虾群自动计数方法、装置、电子设备及非暂态计算机可读存储介质，对所述虾群图像进行随机裁剪，获得局部虾群图像；利用轻量化的YOLOv4局部虾群自动计数模型，得到所述局部图像中的虾数目，基于所述局部虾群图像中的虾数目，得到虾群图像的总体的虾数目。本发明通过对原始虾群图像进行随机裁剪操作，构建了对虾数目多样化、图像背景多元化的局部虾群计数数据集，减少了计数图像标注的时间；采用MobileNetv3作为YOLOv4的主干特征提取网络，减少了基于YOLOv4的局部虾群计数模型的参数量，提高了计数图像检测的速度。
附图说明
图1是根据本发明实施例的虾群自动计数方法的流程图之一；
图2是根据本发明实施例的虾群自动计数方法的流程图之二；
图3是根据本发明实施例的虾群自动计数装置的结构示意图；以及
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于传统图像处理的计数方法通过人为设计的特征描述子提取虾群图像中的有用信息进行目标对象识别，导致计数模型无法适用于可变、复杂的环境，因而计数结果不稳定；而基于深度学习的计数方法需要大量的有标签样本，这使得高密度养殖的虾群计数图像的标注工作量非常大。
针对上述问题，本文提出了一种基于局部图像与轻量化YOLOv4的虾群自动计数方法。首先采集虾群俯视图像，采用图像处理技术在原始虾群图像中随机裁剪出多张局部虾群图像，构建虾群计数数据集；其次搭建基于轻量化YOLOv4的局部虾群计数模型，采用迁移学习方法训练模型；最后基于训练好的局部虾群图像计数模型预测出每张局部虾群图像中的虾数目，整合获得原始虾群图像中的虾数目，实现养殖区域内的虾群计数。通过对原始虾群图像进行随机裁剪操作，构建了对虾数目多样化、图像背景多元化的局部虾群计数数据集，减少了计数图像标注的时间；采用MobileNetv3作为YOLOv4的主干特征提取网络，减少了基于YOLOv4的局部虾群计数模型的参数量，提高了计数图像检测的速度。
本发明的技术方案具有如下优点：
1、提出了一种基于局部图像与Light-YOLOv4的虾群自动计数方法，基于局部虾群计数模型获得局部图像中的虾数目，整合局部虾群图像中的虾数目获得虾群图像中的虾数目，再提出帧均值的方法，最终获得养殖区域中的虾群计数结果，在实际水产养殖中具有很强的实用性。
2、提出了一种基于局部图像的虾群数据集构建方法，通过对原始虾群图像进行随机裁剪操作，构建了虾体数目多样化、图像背景多元化的局部虾群计数数据集，减少了深度学习算法中虾群计数数据集人工标注的工作量。
3、提出了一种基于Light-YOLOv4的虾群局部计数模型，采用MobileNetv3作为YOLOv4的主干特征提取网络，减少了基于YOLOv4的局部虾群计数模型的参数量，减少了图像检测时间，并且保持着较好的计数精度。
图1和图2是根据本发明实施例的虾群自动计数方法的流程图，参照图1，本发明实施例提供的虾群自动计数方法包括如下步骤：
步骤110：获取待计数的虾群图像；
步骤120：对所述虾群图像进行随机裁剪，获得局部虾群图像；
步骤130：利用轻量化的YOLOv4局部虾群自动计数模型，得到所述局部图像中的虾数目，
步骤140：基于所述局部虾群图像中的虾数目，得到虾群图像的总体的虾数目。
其中，YOLOv4算法是在原有YOLO目标检测架构的基础上，采用了近些年CNN领域中最优秀的优化策略，从数据处理、主干网络、网络训练、激活函数、损失函数等各个方面都有着不同程度的优化。
YOLOv4局部虾群自动计数模型是基于YOLOv4算法的对局部虾群进行自动计数的模型。
综上，本发明的技术方案是提出一种虾群自动计数方法。首先采集虾群俯视图像，采用图像处理技术在原始虾群图像中随机裁剪出多张局部虾群图像，构建虾群计数数据集；其次搭建基于Light-YOLOv4的局部虾群计数模型，采用迁移学习方法训练模型；最后采用基于帧均值的方法实现养殖区域内的虾群计数。
该方法主要包括三个部分：
虾群计数数据集构建。对采集到的虾群图像进行随机裁剪，获得局部虾群图像，并对局部虾群图像进行人工标注，获得虾群计数数据集。
局部虾群计数模型构建与训练。采用MobileNetv3作为YOLOv4的主干特征提取网络，构建基于Light-YOLOv4局部虾群计数模型，并采用迁移学习方法训练模型。
虾群计数。整合局部虾群图像中的虾数目获得虾群图像中的虾数目，再以多帧虾群图像的计数均值作为该养殖区域中的虾数目。
上述虾群自动计数方法中，所述的虾群计数数据集构建，首先在养殖基地搭建虾群图像采集平台采集虾群视频数据集；其次将采集的虾群视频数据进行视频帧截取，则获得虾群图像；然后采用图像切割函数对虾群图像进行随机裁剪，获得局部虾群图像；最后对局部虾群图像进行人工标注，构成虾群计数数据集。
上述虾群自动计数方法中，所述的局部虾群计数模型构建与训练，首先将局部虾群图像缩放至416×416输入网络；其次通过基于MobileNetv3的主干特征提取网络初步提取出局部虾群图像的特征，获得三个有效特征层；再通过基于SPP(Spatial PyramidPooling)和PANet(Path Aggregation Network)的特征金字塔进行加强特征提取，实现三个有效特征层的融合，提取出三个更有效的特征层；最后通过YOLOv3的Head结构检测出图像中的对虾目标及其位置，实现局部虾群图像计数。
上述虾群自动计数方法中，所述的虾群计数，首先获取1分钟内的30张虾群图像，其次将每张图像裁剪成多张局部虾群图像，基于训练好的模型获得局部虾群图像中的虾数目，再分别统计出每张虾群图像中的虾数目，最后以30张虾群图像中的计数平均值作为该养殖区域中的虾数目。本领域技术人员可知晓，也可以获取2、3、4……分钟内的n张虾群图像，其中n可以为任意非零整数。
参照图2，本发明实施例提供的虾群自动计数方法包括如下步骤：本实施例的方法包括五个部分：虾群计数数据集构建、局部虾群计数模型构建与训练、虾群计数。
第一步虾群计数数据集构建。
首先在水产养殖基地搭建虾群图像采集平台，获取虾群图像数据。平台包括的件设备有：养殖水缸(半径0.75m，高0.8m)、摄像头(海康威视3T86FWDV2-I3S，800万像素，4mm焦距)、计算机、增氧机、微孔曝气设备、循环水泵等。采用支架将摄像头固定在养殖水缸正上方，距离水面1.5m，通过网线连接摄像头与计算机，则采集到的虾群视频数据被传送到计算机中存储。从采集到的虾群视频数据中截取视频帧，获得虾群俯视图像。实验采集的虾群图像为RGB(Red-Green-Blue)彩色图像，图像格式为jpg，图像尺寸为2560×1920。为了初步去除虾群图像中的背景，对图像进行感兴趣区域提取，则获得虾群图像尺寸为1600×1600。
其次构建虾群计数数据集。由于对虾采用高密度养殖，采集的虾群图像中的对虾数目很多，导致数据标注的工作量非常大。为了减少虾群计数图像的标注工作量，本文对虾群图像进行随机裁剪，获得局部虾群图像，构建虾群计数数据集。综合样本多样性和计数图像标注工作量，本文设置随机裁剪成的局部虾群图像的尺寸为400×400。首先通过随机函数生成局部虾群图像左上角和左下角的坐标，其次基于设置的高度和宽度计算出局部虾群图像右上角和右下角的坐标，最后采用图像切割函数获得局部虾群图像。本文从每张原始虾群图像中随机裁剪出4张局部虾群图像，通过数据清洗去除了一些图像中没有虾群目标的图像，采用labelimg软件进行虾体目标标注，构成虾群计数数据集。
第二步局部虾群计数模型构建与训练。
通过目标检测算法构建检测模型，识别出局部虾群图像中的对虾目标，实现局部虾群图像计数。YOLOv4是一种端到端的目标检测方法，它将目标检测问题转化为回归问题，通过单个卷积神经网络处理图像可直接识别出目标及其位置。包括特征提取和目标检测两部分。在特征提取部分，包括基于CSPDarkNet53的主干特征提取网络和基于SPP和PANet的加强特征提取网络。在目标检测部分，沿用了YOLOv3的Head结构实现目标的预测。
考虑到以CSPDarkNet53为主干特征提取网络的YOLOv4的网络结构过于庞大，在实际应用中无法实现养殖区域内虾群实时计数的问题。MobileNetv3是一个轻量级的深层神经网络，以其作为YOLOv4的主干特征提取网络，可大大减少网络层数，同时能够保证较高的精度。因此，本文将YOLOv4的主干特征提取网络替换为MobileNetv3，提出了一种轻量化的YOLOv4局部虾群计数模型。
在一个示例中，轻量化的YOLOv4局部虾群计数模型来计数局部虾群图像中的虾数目包括如下步骤：
(1)局部虾群图像特征提取
局部虾群图像特征提取是指获取图像中具有代表性的信息来表示整个图像信息，是虾群目标检测的基础。本文以MobileNetv3作为YOLOv4的主干特征提取网络，初步提取出局部虾群图像特征，在此基础上，采用基于SPP和PANet的特征金字塔进行特征融合，进一步加强虾群图像特征提取。
MobileNetv3是一个轻量级的深层神经网络，综合使用了Mobilenetv1的深度可分离卷积、Mobilenetv2的线性瓶颈逆残差结构以及轻量级注意力机制，具有参数量少、速度快、深度适中等优势。
深度可分离卷积将传统的卷积操作分为一个深度卷积操作和一个传统卷积操作，以此减少卷积操作的参数量和计算量。激活函数采用ReLU6函数，其计算公式如下。
ReLU6＝min(6，max(0，x)) (1)
式中，x表示输入特征值。
线性瓶颈逆残差结构通过先升维再卷积后降维的操作有效丰富了特征数量，同时使用ReLU6函数作为激活函数，提升了网络的鲁棒性。
引入MnasNet中的轻量级注意力模块，更好地调整每个通道的权重，以进一步提升网络的检测速度、减小网络的参数量。同时，采用了能有效提高网络精度的非线性激活函数h-swish，其公式如下。
式中，x表示输入特征值。
经过基于MobileNetv3的主干特征提取网络之后，初步提取出局部虾群图像的3个有效特征层，其尺寸分别为52×52×40，26×26×112和13×13×160。在此基础上，采用基于SPP和PANet的特征金字塔进行特征融合，进一步加强局部虾群图像特征的提取。
(2)局部虾群图像目标检测
提取出局部虾群图像的特征后，采用YOLOv3的Head结构检测出图像中的对虾目标。
局部虾群计数图像输入到计数网络中，经过特征提取后获得3种尺度的特征图，分别为52×52、26×26和13×13。针对每个尺度的特征图，分别分配3种不同尺寸的锚点(Anchor)进行边界框预测，最后对3个输出张量进行合并处理，获得虾群的预测信息。该网络分别对每个边界框预测4个坐标值，表示如下。
bx＝σ(tx)+cx (3)
by＝σ(ty)+cy (4)
其中，cx和cy表示预测的边框相对于局部虾群图像左上角的坐标，tx和ty分别表示预测的坐标偏移值，tw和th表示尺度缩放，分别经过sigmoid，输出0-1之间的偏移量，pw、ph表示预设的锚框映射到特征图中的宽和高。
YOLOv3 Head通过对每个边界框的逻辑回归来预测对象的得分。如果预测的边界框与实际边界框重叠，且预测结果优于所有其他边界框，则该边界框为1，否则为0。
由于在虾群识别过程中需要检测的目标只有对虾这一类，所以通过修改模型的输出类别数目为1，减少了虾群计数网络的运算量，最终网络预测张量的长度为18(即3(锚点)×(4(边框坐标)+1(边框置信度)+1(对象类别数)))。
(3)局部虾群计数模型训练
为了减少了构建深度学习模型所需的训练数据、计算力，解决小数据集容易在复杂网络上的过拟合问题，本文采用迁移学习方法进行局部虾群计数模型的训练。
首先获得轻量化YOLOv4模型在ImageNet数据集上学习的预训练模型，其次冻结全部卷积层，只对全连接层进行粗略训练；最后解冻全部卷积层，对所有层进行精调训练。其中粗略训练阶段迭代次数为50次，精调训练阶段迭代次数为50次。为了防止模型过拟合，采用早停法进行训练，即当模型在验证集上的误差比上一次训练结果差的时候停止训练，使用上一次迭代结果中的参数作为模型的最终参数。
局部虾群计数模型训练中使用的损失函数Loss包括边界框定位损失(LCIoU)、置信度损失(Lconfidence)和类别损失(Lclass)，计算公式如下。
Loss＝LCIoU+Lconfidence+Lclass (7)
其中，IoU表示预测边界框与实际边界框的交并比，c和d分别为两个边界框中心点的欧式距离及其闭包的对角线距离，wgt和hgt分别为实际边界框的宽度和高度，w和h分别为预测边界框的宽度和高度。S表示网格的数目，B表示每个网格对应锚点的数目。K为权重系数，如果在第i个网格的第j个锚点中有一个对象，则K取值为1，否则为0。n表示第i个网格的第j个锚点中实际和预测的类别，p为该对象是虾的概率。
第三步虾群计数。
在实际水产养殖中，养殖区域内的虾数目在1分钟甚至几分钟内是保持不变的。因此，为了进一步提高虾群计数的准确性，本文提出一种基于帧均值的虾群计数方法。随机选取1分钟内的30张虾群图像的计数均值作为养殖区域内的虾群计数结果。
将待计数虾群图像裁剪成多张局部虾群图像，基于训练好的局部虾群计数模型获得每张局部虾群图像中的虾数目。设待计数虾群图像img的尺寸为H×W，训练局部虾群计数模型的图像尺寸为h×w，将每张待计数虾群图像裁剪成h×w的局部虾群图像corp_img，共m张。
在一个示例中，为了保证裁剪成的m张局部虾群图像能够正好拼成原始虾群图像，即不存在重叠部分也不存在缺少部分，一般通过取h和w分别为H和W的整数倍。本文中H和W均为1600，h和w均为400，则m为16。
基于获得的每张局部虾群图像中的虾数目，统计出每张虾群图像中的虾数目，在此基础上，计算出多张虾群图像中虾数目的平均值，则为该养殖区域内的虾群计数结果。
式中，shrimp_num表示该养殖区域内的虾群计数结果，crop_img_numkp表示第k张虾群图像的第p张局部虾群计数图像中的虾数目，n表示计数图像的数目，本文为30。
本发明提供的虾群自动计数方法、装置、电子设备及非暂态计算机可读存储介质，首先采集虾群俯视图像，采用图像处理技术在原始虾群图像中随机裁剪出多张局部虾群图像，构建虾群计数数据集；其次搭建基于轻量化YOLOv4的局部虾群计数模型，采用迁移学习方法训练模型；最后基于训练好的局部虾群图像计数模型预测出每张局部虾群图像中的虾数目，整合获得原始虾群图像中的虾数目，实现养殖区域内的虾群计数。通过对原始虾群图像进行随机裁剪操作，构建了对虾数目多样化、图像背景多元化的局部虾群计数数据集，减少了计数图像标注的时间；采用MobileNetv3作为YOLOv4的主干特征提取网络，减少了基于YOLOv4的局部虾群计数模型的参数量，提高了计数图像检测的速度。
参照图3，图3是根据本发明实施例的虾群自动计数装置的结构示意图，本实施例提供的虾群自动计数装置，包括：
获取模块310，用于获取待计数的虾群图像；
裁剪模块320，用于对所述虾群图像进行随机裁剪，获得局部虾群图像；
局部图像虾数目确定模块330，用于利用轻量化的YOLOv4局部虾群自动计数模型，得到所述局部图像中的虾数目；
虾群图像的总体的虾数目确定模块340；用于基于所述局部虾群图像中的虾数目，得到虾群图像的总体的虾数目。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行虾群自动计数方法，该方法包括：
获取待计数的虾群图像；
对所述虾群图像进行随机裁剪，获得局部虾群图像；
利用轻量化的YOLOv4局部虾群自动计数模型，得到所述局部图像中的虾数目；
基于所述局部虾群图像中的虾数目，得到虾群图像的总体的虾数目。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的虾群自动计数方法，该方法包括：
获取待计数的虾群图像；
对所述虾群图像进行随机裁剪，获得局部虾群图像；
利用轻量化的YOLOv4局部虾群自动计数模型，得到所述局部图像中的虾数目；
基于所述局部虾群图像中的虾数目，得到虾群图像的总体的虾数目。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的虾群自动计数方法，该方法包括：
获取待计数的虾群图像；
对所述虾群图像进行随机裁剪，获得局部虾群图像；
利用轻量化的YOLOv4局部虾群自动计数模型，得到所述局部图像中的虾数目；
基于所述局部虾群图像中的虾数目，得到虾群图像的总体的虾数目。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种虾群自动计数方法，其特征在于，包括：
获取待计数的虾群图像；
对所述虾群图像进行随机裁剪，获得局部虾群图像；
利用轻量化的YOLOv4局部虾群自动计数模型，得到所述局部图像中的虾数目；
基于所述局部虾群图像中的虾数目，得到虾群图像的总体的虾数目。
2.根据权利要求1所述的虾群自动计数方法，其特征在于，所述利用轻量化的YOLOv4局部虾群自动计数模型，得到所述局部图像中的虾数目，包括：
局部虾群图像特征提取；
局部虾群图像目标检测。
3.根据权利要求1所述的虾群自动计数方法，其特征在于，所述轻量化的YOLOv4局部虾群自动计数模型采用MobileNetv3作为YOLOv4的主干特征提取网络。
4.根据权利要求3所述的虾群自动计数方法，其特征在于，所述轻量化的YOLOv4局部虾群自动计数模型包括基于SPP和PANet的加强特征提取网络，采用基于SPP和PANet的特征金字塔进行特征融合，进一步加强虾群图像特征提取。
5.根据权利要求1所述的虾群自动计数方法，其特征在于，所述方法还包括：
将预定时间段内的多个虾群图像的总体的虾数目取平均，得到最终的养殖区域中的虾群计数结果。
6.根据权利要求1所述的虾群自动计数方法，其特征在于，所述方法还包括：
采集虾群俯视图像，随机裁剪出多张局部虾群图像，构建虾群计数数据集。
7.根据权利要求1-6任一项所述的虾群自动计数方法，其特征在于，所述方法还包括：训练所述局部虾群自动计数模型，所述训练所述局部虾群自动计数模型包括：
利用构建的虾群计数数据集训练所述局部虾群自动计数模型；
冻结全部卷积层，只对全连接层进行粗略训练；
解冻全部卷积层，对所有层进行精调训练；
采用早停法训练所述局部虾群自动计数模型，其中，当模型在验证集上的误差比上一次训练结果差的时候停止训练，使用上一次迭代结果中的参数作为模型的最终参数。
8.一种虾群自动计数装置，其特征在于，包括：
获取模块，用于获取待计数的虾群图像；
裁剪模块，用于对所述虾群图像进行随机裁剪，获得局部虾群图像；
局部图像虾数目确定模块，用于利用轻量化的YOLOv4局部虾群自动计数模型，得到所述局部图像中的虾数目；
虾群图像的总体的虾数目确定模块，用于基于所述局部虾群图像中的虾数目，得到虾群图像的总体的虾数目。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现根据权利要求1至7任一项所述虾群自动计数方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1至7任一项所述虾群自动计数方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110546634.7A CN113284164A (zh) | 2021-05-19 | 2021-05-19 | 虾群自动计数方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110546634.7A CN113284164A (zh) | 2021-05-19 | 2021-05-19 | 虾群自动计数方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113284164A true CN113284164A (zh) | 2021-08-20 |
Family
ID=77279984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110546634.7A Pending CN113284164A (zh) | 2021-05-19 | 2021-05-19 | 虾群自动计数方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113284164A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113812370A (zh) * | 2021-11-02 | 2021-12-21 | 广东科贸职业学院 | 基于视觉识别技术的虾苗计数装置及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921822A (zh) * | 2018-06-04 | 2018-11-30 | 中国科学技术大学 | 基于卷积神经网络的图像目标计数方法 |
| CN111860344A (zh) * | 2020-07-22 | 2020-10-30 | 浙江大华技术股份有限公司 | 确定图像中目标对象数量的方法及装置 |
| CN112528782A (zh) * | 2020-11-30 | 2021-03-19 | 北京农业信息技术研究中心 | 水下鱼类目标检测方法及装置 |
| CN112560670A (zh) * | 2020-12-15 | 2021-03-26 | 武汉大学 | 一种基于深度学习的交通标志符号与文本的检测识别方法及装置 |
| CN112634261A (zh) * | 2020-12-30 | 2021-04-09 | 上海交通大学医学院附属瑞金医院 | 基于卷积神经网络的胃癌病灶检测方法及装置 |
| CN112750117A (zh) * | 2021-01-15 | 2021-05-04 | 重庆邮电大学 | 一种基于卷积神经网络的血液细胞图像检测与计数方法 |
| CN112767320A (zh) * | 2020-12-31 | 2021-05-07 | 平安科技（深圳）有限公司 | 图像检测方法、装置、电子设备及存储介质 |
| CN112767382A (zh) * | 2021-01-29 | 2021-05-07 | 安徽工大信息技术有限公司 | 一种基于深度学习的鱼苗计数方法 |
-
2021
- 2021-05-19 CN CN202110546634.7A patent/CN113284164A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921822A (zh) * | 2018-06-04 | 2018-11-30 | 中国科学技术大学 | 基于卷积神经网络的图像目标计数方法 |
| CN111860344A (zh) * | 2020-07-22 | 2020-10-30 | 浙江大华技术股份有限公司 | 确定图像中目标对象数量的方法及装置 |
| CN112528782A (zh) * | 2020-11-30 | 2021-03-19 | 北京农业信息技术研究中心 | 水下鱼类目标检测方法及装置 |
| CN112560670A (zh) * | 2020-12-15 | 2021-03-26 | 武汉大学 | 一种基于深度学习的交通标志符号与文本的检测识别方法及装置 |
| CN112634261A (zh) * | 2020-12-30 | 2021-04-09 | 上海交通大学医学院附属瑞金医院 | 基于卷积神经网络的胃癌病灶检测方法及装置 |
| CN112767320A (zh) * | 2020-12-31 | 2021-05-07 | 平安科技（深圳）有限公司 | 图像检测方法、装置、电子设备及存储介质 |
| CN112750117A (zh) * | 2021-01-15 | 2021-05-04 | 重庆邮电大学 | 一种基于卷积神经网络的血液细胞图像检测与计数方法 |
| CN112767382A (zh) * | 2021-01-29 | 2021-05-07 | 安徽工大信息技术有限公司 | 一种基于深度学习的鱼苗计数方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113812370A (zh) * | 2021-11-02 | 2021-12-21 | 广东科贸职业学院 | 基于视觉识别技术的虾苗计数装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107292298A (zh) | 基于卷积神经网络和分类器模型的牛脸识别方法 | |
| Le et al. | An automated fish counting algorithm in aquaculture based on image processing | |
| CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
| CN111406693A (zh) | 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法 | |
| CN113592896B (zh) | 基于图像处理的鱼类投喂方法、系统、设备及存储介质 | |
| US20210383149A1 (en) | Method for identifying individuals of oplegnathus punctatus based on convolutional neural network | |
| CN113591671B (zh) | 一种基于Mask-Rcnn识别鱼类生长检测方法 | |
| CN110163798B (zh) | 渔场围网破损检测方法及系统 | |
| CN113349111A (zh) | 一种用于水产养殖物的动态投喂方法、系统和存储介质 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN115578423A (zh) | 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统 | |
| CN116778309A (zh) | 残饵监测方法、装置、系统和存储介质 | |
| Isa et al. | CNN transfer learning of shrimp detection for underwater vision system | |
| Cao et al. | Automatic coarse-to-fine joint detection and segmentation of underwater non-structural live crabs for precise feeding | |
| CN115546622A (zh) | 鱼群检测方法及系统、电子设备和存储介质 | |
| Zhang et al. | Intelligent fish feeding based on machine vision: A review | |
| Muñoz-Benavent et al. | Impact evaluation of deep learning on image segmentation for automatic bluefin tuna sizing | |
| CN113284164A (zh) | 虾群自动计数方法、装置、电子设备及存储介质 | |
| CN113222889A (zh) | 高分辨率图像下水产养殖物的工厂化养殖计数方法及装置 | |
| Du et al. | A novel automatic detection method for breeding behavior of broodstock based on improved YOLOv5 | |
| CN115049692B (zh) | 模拟自然生态的海洋水产养殖光照智能调节方法及系统 | |
| Yue et al. | A multi-scale features-based method to detect Oplegnathus | |
| Han et al. | Mask_LaC R-CNN for measuring morphological features of fish | |
| Chen et al. | Marine fish object detection based on YOLOv5 and attention mechanism | |
| Lin et al. | A Real-Time Counting Method of Fish based on the Instance Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |