CN114724022B - 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质 - Google Patents

融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质 Download PDF

Info

Publication number
CN114724022B
CN114724022B CN202210212376.3A CN202210212376A CN114724022B CN 114724022 B CN114724022 B CN 114724022B CN 202210212376 A CN202210212376 A CN 202210212376A CN 114724022 B CN114724022 B CN 114724022B
Authority
CN
China
Prior art keywords
fish
image
characteristic
sknet
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210212376.3A
Other languages
English (en)
Other versions
CN114724022A (zh
Inventor
于红
赵梦
李海清
韦思学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Ocean University
Original Assignee
Dalian Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Ocean University filed Critical Dalian Ocean University
Priority to CN202210212376.3A priority Critical patent/CN114724022B/zh
Publication of CN114724022A publication Critical patent/CN114724022A/zh
Application granted granted Critical
Publication of CN114724022B publication Critical patent/CN114724022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质，属于图像检测和识别领域，为了提高养殖场景下鱼群检测的准确率，包括如下步骤：S1.通过UNet全卷积网络对鱼群图像预处理，S2.通过融合SKNet的YOLOv5的改进网络结构对预处理后的鱼群图像检测，效果是能够取图像中模糊鱼类的特征以加强网络对模糊鱼体的识别能力，提高养殖场景下鱼群检测的准确率。

Description

融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质
技术领域
本发明属于图像检测和识别领域，涉及一种融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质。
背景技术
工厂化养殖是现代渔业发展的趋势，精准养殖是工厂化养殖的方向，鱼群目标检测是精准养殖的基础。准确检测养殖池中的鱼群，可以为鱼类行为分析、鱼类生长状况测量和鱼病诊断提供支撑。机器视觉为水下鱼群目标检测提供新的解决方法。传统机器视觉方法是通过图像中鱼类的轮廓特征评估一个阈值对鱼群进行检测，这种方法精度很高，但需要由有经验的专家总结有效的鱼类特征，检测效果依赖于专家的经验。当养殖池塘中鱼类的种类较少并且专家所假设的有效特征高度一致时，这种方法效果较好。随着鱼群种类和数量的增多，鱼群的持续运动也会导致鱼的重叠和形状变化，该方法不能有效识别形状变化的鱼导致检测效果降低。
与传统机器视觉方法相比，深度学习能够自动提取图像中的特征，可以根据养殖场景的需求，通过不断学习预测值与真实值之间的差异，得到有效解决方案，具有较强的适应性。Girshick等提出的RCNN和Fast RCNN是最早基于深度学习的目标检测算法，在目标检测领域取得了重大突破，但该类算法无法满足实时性；Ren等在Fast RCNN基础上结合区域候选网络RPN共享卷积层特征提出了Faster RCNN，解决了实时性这一问题，并提升了检测精度。为使检测速度更快，Joseph等先后提出了YOLOv1-YOLOv3目标检测算法，该算法在识别的基础上进一步进行定位，采取直接预测目标边界框和类别概率的方式对物体进行预测。在水产养殖领域，研究人员也采用基于YOLO的算法对鱼群进行检测，Xu等训练了一个YOLO架构，旨在用三个不同的数据集检测各种鱼类，实现了在水下视频中准确识别鱼群的目的；Liu等结合YOLOv3和并行滤波器，开发一种新颖的水下鱼群检测与跟踪策略，在网箱内鱼群的检测与跟踪方面性能取得了一致性的提高。为进一步提升检测精度，Bochkovskiy等YOLOv3从数据处理、主干网络和损失函数等各个方面进行优化的基础上提出了YOLOv4，俞国燕等基于YOLOv4提出一种鱼类检测的改进算法，该算法在PANet模块中集成自定义Super网络，在细粒度特征提取中减少外界环境带来的干扰，采用Resblockbody1模块，提高了目标框的定位精度。为进一步提升检测效果，王书献等将YOLOV5用于金枪鱼延绳钓电子监控系统浮球及金枪鱼目标检测，该方法在实验室环境下提取系统中浮球、金枪鱼数量等信息取得了良好的效果，但真实场景下目标检测鲁棒性较低。Konovalov等提出了基于卷积神经网络的图像分类模型，用于在海洋领域存在多目标的环境中只检测鱼群，该模型在清晰无噪声的合成海洋多目标图像上可以准确检测到鱼群，但是没有考虑到浑浊水质下模糊图像的鱼群检测情况。针对复杂环境下的目标检测问题，Fan等提出了对水下成像模糊、尺度变化和纹理失真的如海胆和扇贝等小目标的检测方法，该方法引用感受野增强模块(RFAM)来丰富特征信息，对小目标检测效果较好，但对本发明中多尺度变化和模糊的鱼类特征信息不敏感，无法准确检测养殖鱼群目标。Li等提出的视觉注意力机制SKNet，可以提升了特征提取能力，提高模糊目标的检测效率。
发明内容
为了提高养殖场景下鱼群检测的准确率，本发明提出如下技术方案：一种养殖鱼群检测方法，包括如下步骤：
S1.通过UNet全卷积网络对鱼群图像预处理，
S2.通过融合SKNet的YOLOv5的改进网络结构对预处理后的鱼群图像检测。
作为技术方案的补充，所述步骤S1的方法为：
使用响应函数的估计逆值对给定不同曝光度的模糊水下鱼群图像进行线性化，将线性化后的图形数据矫正并传递给不同的编码器使不同编码器提取不同曝光度模糊鱼群图像的鱼类特征信息，
将不同编码器提取的鱼类特征信息合并，并将各编码器提取的鱼类特征信息以及合并的不同编码器的鱼类特征信息输入至解码器端，
解码器融合相同尺度和不同尺度的鱼类特征信息，并由UNet全卷积网络不断学习映射对应的鱼类特征信息而获取所有像素点的特征图，将所得特征图输入色调映射器的映射网络，色调映射后得到清晰鱼群图像。
作为技术方案的补充，各编码器提取的鱼类特征信息采用跳跃连接的方式输入至解码器端。
作为技术方案的补充，X＝{X1,X2,X3}表示输入不同曝光度模糊鱼群图像的集合，将其映射到Y＝{Y1,Y2,Y3}的清晰鱼群图像的集合，映射公式为：
其中ti是图像Xi的曝光时间，Xi、Yi和Y的值都在0和1之间；
响应于映射公式取得的映射网络为：
在色调映射后的清晰鱼群图像上计算各像素点的损失函数，得到清晰鱼群图像公式：
其中λ是控制压缩程度的参数；
图像预处理阶段控制图像清晰化程度的损失函数：
作为技术方案的补充，所述步骤S2的方法为：
S2.1.通过YOLOv5网络的输入端对预处理后的鱼群图像进行数据增强、自适应锚框计算和自适应图像缩放；
S2.2.通过Backbone特征提取网络提取鱼群图像中鱼类的特征，不同尺度鱼类特征信息经过SKNet网络加权后，特征图输入至Neck端进行特征融合；
S2.3通过Prediction模块将特征融合的图像分为至少三种不同尺寸的网格，每个网格默认输出预测的至少三个边界框，以及边界框对应位置的信息和分类结果，和边界框精度的置信度信息。
作为技术方案的补充，步骤S2.2的通过Backbone特征提取网络提取鱼群图像中鱼类的特征的方法：原始608*608*3的鱼群图像输入Focus结构，采用切片操作，使其变成304*304*12的特征图，再经过一次32个卷积核的卷积操作，最终变成304*304*32的特征图，使用CSP模块先将该特征图的基础层的特征映射划分为两部分，再通过跨阶段层次结构将两部分合并；
步骤S2.2的不同尺度鱼类特征信息经过SKNet网络加权后，特征图输入至Neck端进行特征融合的方法：在Backbone端不同尺度特征的输出层具有SKNet网络，通过对不同尺度通道特征信息的加权处理，不同尺度特征信息经过SKNet的加权之后，将Backbone端得到的特征图输入至Neck端，采用SPP模块的方式增加主干特征的接收范围而分离上下文特征。
作为技术方案的补充，步骤S2.3的方法：通过Prediction模块将图像分为76*76、38*38和19*19个网格，预测不同大小的鱼类目标，鱼类目标中心所在的网格用于水下图像中鱼类目标的检测，每个网格默认输出预测的3个边界框，以及边界框对应位置(x,y,w,h)的信息和分类结果和边界框Conf(Object)精度的置信度信息，
Conf(Object)×IOU (6)
其中Pr(Object)用于表示是否有鱼类目标属于这个候选网格，1表示是，0表示否，IOU表示预测框与真实框的交并比，其中box(Pred)表示预测框，box(Truth)表示真实框，每个预测边界框包含5个参数：x,y,w,h,Conf(Object)，其中(x,y)表示预测框中心距离真实框中心的偏移量，(w,h)表示预测框的宽度和高度。
作为技术方案的补充，YOLOv5的改进网络结构是YOLOv5网络结构的Backbone端融入SKNet重构特征层，包括三个SKNet注意力模块，一个SKNet注意力模块连接于Backbone特征提取网络的输出层中的一种尺寸特征图的输出，通过给每个特征元素都找到其对应的注意力权重，不同尺度特征信息经过SKNet的加权之后，输入Neck端进行特征融合，以三种不同尺度的预测方式对图像中的鱼群进行检测。
一种养殖鱼群检测系统，包括处理器以及存储器，述处理器执行所述存储器中的代码以实现任一项所述的方法。
一种计算机存储介质，存储有计算机程序，所述计算机程序被硬件执行以实现所述的方法。
有益效果：本发明针对真实生产环境下养殖鱼群具有多尺度变化性和模糊等特点，提出融合SKNet与YOLOv5的养殖鱼群检测方法，将SKNet视觉注意力机制融合到YOLOv5的Backbone端构成关注模糊鱼类信息的特征提取网络，以获取图像中模糊鱼类的特征以加强网络对模糊鱼体的识别能力，提高养殖场景下鱼群检测的准确率。
附图说明
图1改进YOLOv5的养殖鱼群检测方法流程图。
图2基于UNet的图像预处理流程图。
图3SKNet网络结构图。
图4融合SKNet的YOLOv5结构图。
具体实施方式
鱼群目标检测是精准养殖的基础，可以为鱼类行为分析，鱼类生长状况测量提供支撑。但在真实养殖环境下，水下成像模糊、失真等问题导致鱼群检测准确率较低。针对此问题，提出一种融合SKNet与YOLOv5的养殖鱼群检测方法。为提升模糊、失真图像的清晰度，采用UNet对图像进行预处理，通过编码器和特征拼接将不同像素的语义信息映射到解码器，不断学习该映射对应更深层次的特征，得到更清晰的鱼群图像；为加强网络对鱼群特征的提取能力，将SKNet视觉注意力机制融合到YOLOv5的Backbone端构成关注像素级信息的特征提取网络，着重学习鱼群特征，提高特征信息的利用率，以此加强网络对模糊鱼体的识别能力。本研究在水下模糊鱼群数据集上做了消融试验和模型对比试验以验证所提方法的有效性。试验结果表明，所提方法的精确率和召回率分别提高了2.14和2.29个百分点，具有较好的效果。研究表明，融合SKNet与YOLOv5的养殖鱼群检测方法有效解决了模糊鱼群的识别能力，提升了养殖鱼群检测和识别的整体效果。
卷积神经网络可以从复杂的背景中区分前景对象，但在真实养殖环境中，水下拍摄的鱼群图像模糊不清晰，严重影响网络提取特征的能力，导致鱼群检测和识别的准确率较低。为提升检测效果，本发明采用UNet对水产养殖鱼群图像进行预处理，但在预处理过程中会丢失鱼群特征等有用的信息。为尽可能多地利用鱼群特征信息，同时保证检测结果不受背景噪声的影响，将SKNet融合到YOLOv5的Backbone端构成关注像素级信息的特征提取网络，加强鱼类特征信息的提取能力，图1为改进YOLOv5的养殖鱼群检测方法流程图，该方法包括如下步骤：
S1.基于UNet的图像预处理
在真实养殖场景中，养殖池底部能见度较低，水中微小的无机物和有机物颗粒含量高。在这种浑浊水中拍摄时，由于这些微小颗粒对光线的散射作用，使得鱼群图像模糊不清。图像模糊会导致某些鱼体轮廓不清晰，特征丢失或者不明显，阻碍后期目标检测网络对鱼类特征的提取，从而对水下群体目标识别的准确性产生影响，无法达到预期目标。为了准确检测水产养殖池塘中的鱼群，检测前需要对模糊图像进行预处理，即水下图像清晰化。UNet是一个在超清图像生成任务中泛用性较好的全卷积网络，网络主架构由编码器和解码器组成。该网络通过跳跃连接将编码器层不同尺度的特征直接输入到相应解码器层，能够提取深层次的特征，并且不需要鉴别器指导清晰图像的生成，减少了参数的处理，有较快的运行速度，适用于图像预处理任务。因此，本发明选取UNet作为清晰化网络用作水下鱼群图像预处理阶段，网络架构如图2所示。
将给定不同曝光度的模糊水下鱼群图像，使用响应函数(CRF)的估计逆值对图像进行线性化，再应用伽马校正产生的数据作为输入传递给不同的编码器。在伽马校正过程中，用X＝{X1,X2,X3}表示输入不同曝光度模糊鱼群图像的集合，将其映射到Y＝{Y1,Y2,Y3}的清晰鱼群图像的集合，伽马编码的映射公式为：
其中ti是图像Xi的曝光时间，Xi、Yi和Y的值都在0和1之间
编码器提取不同曝光度模糊鱼群图像的鱼类特征信息，再将不同编码器提取的特征信息进行合并，将合并的特征信息输入至解码器端，同时每一个编码器提取的特征信息采用跳跃连接的方式也输入至解码器端。该操作通过编码器和跳跃连接将不同像素的语义信息映射到解码器，使得解码器融合了相同尺度和不同尺度的特征信息，网络不断学习该映射对应的特征信息，得出所有像素点的特征图，最后将所得特征图送入色调映射器的映射网络得到清晰鱼群图像，该网络被定义为：
由于清晰鱼群图像通常在色调映射后显示，因此，在色调映射后的清晰鱼群图像上计算各像素点的损失函数，该处得到清晰鱼群图像的公式为：
其中λ是控制压缩程度的参数，本发明设为5000。
最后，图像预处理阶段控制图像清晰化程度的损失函数定义为：
S2.融合SKNet的YOLOv5鱼群检测
通过图像预处理，得到了清晰的图像，为后续的鱼群检测提供了高质量数据。但是，由于本发明是针对视频影像的水产养殖企业的生产经营规划需求，不仅需要做到对视频流的实时识别，而且对检测的准确率和精确率也有极高的要求。因此，需要选择一种计算速度快和目标检测准确率高的网络框架作为基础的水下鱼群检测模型。YOLOv5是目前检测准确率最高目标检测模型，并且单一图片的推理时间能够达到7ms，即140FPS，是目标检测领域处理速度最快的网络。因此，本发明选定综合性能较好的YOLOv5作为基础网络模型框架。
YOLOv5有四个不同的模型，包括YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x，YOLOv5s网络是YOLOv5系列中深度最小，特征图宽度最小的网络，YOLOv5m、YOLOv5l和YOLOv5x都是在此基础上不断加深，不断加宽的网络。以上四种模型主体结构相同。当使用养殖鱼群数据集训练模型时，发现YOLOv5x的结果比YOLOv5s、YOLOv5m和YOLOv5l好得多。尽管YOLOv5x模型的训练计算成本高于其他三个模型，但仍然选择YOLOv5x来追求最佳检测性能。虽然YOLOv5x在目标检测领域获得最佳检测性能，但本发明训练模型的数据经过图像预处理后存在部分特征丢失或不明显问题。为了解决此问题，在YOLOv5的Backbone端融入SKNet，即视觉注意力机制。YOLOv5模型具有较好的适配性，在特征提取阶段为其融合SKNet构成复杂强大的特征提取网络，能大幅提升YOLOv5的检测能力。
S2.1.基于YOLOv5鱼群检测方法
为达到最快计算速度和最高检测准确率，本发明选用综合性能最好的YOLOv5作为基础网络框架检测水产养殖池中的鱼群。养殖池中拍摄的鱼群图像经过图像预处理后，首先通过YOLOv5输入端的Mosaic数据增强、自适应锚框计算和自适应图像缩放以丰富数据集提高鲁棒性和提升推理速度。然后通过Backbone特征提取网络提取图像中鱼类的特征，原始608*608*3的鱼群图像输入Focus结构，采用切片操作，使其变成304*304*12的特征图，再经过一次32个卷积核的卷积操作，最终变成304*304*32的特征图。该特征图利用CSP模块先将基础层的特征映射划分为两部分，再通过跨阶段层次结构将它们合并，在减少了计算量的同时可以保证准确率。为了更好的提取融合特征，将Backbone端得到的特征图输入至Neck端，采用SPP模块的方式增加主干特征的接收范围，显著的分离了最重要的上下文特征。最后，通过Prediction模块将图像分为76*76、38*38和19*19个网格，预测不同大小的目标。目标中心所在的网格负责完成图像中鱼类目标的检测。为了完成鱼类目标的检测，每个网格默认输出预测的3个边界框，以及边界框对应位置(x,y,w,h)的信息和分类结果，以及边界框Conf(Object)精度的置信度信息。
Conf(Object)×IOU (6)
其中Pr(Object)用于表示是否有鱼类目标属于这个候选网格，1表示是，0表示否。IOU表示预测框与真实框的交并比，其中box(Pred)表示预测框，box(Truth)表示真实框。每个预测边界框包含5个参数：x,y,w,h,Conf(Object)，其中(x,y)表示预测框中心距离真实框中心的偏移量，(w,h)表示预测框的宽度和高度。
S2.2.融合SKNet的YOLOv5网络结构
水下捕获鱼群图像的预处理通过改变图像的清晰度提升鱼群检测的准确率，但在这一过程中，鱼群图像的部分特征信息会发生丢失或者不明显，因此，本发明在YOLOv5的Backbone端融入SKNet构成关注像素级信息的特征提取网络，通过给每个特征元素都找到其对应的注意力权重，加强鱼类特征信息的重构和提取能力，抑制无效特征信息，从而提高特征信息的利用率，提升鱼群检测的准确率。
SKNet网络是计算机视觉领域用于关注重要特征的一种通道注意力机制，能够根据输入图像特点自适应地选择卷积核的尺寸增大网络的感受野，以获取图像中不同的特征信息，网络结构如图3所示。该网络包含Spilt、Fuse和Select三个步骤。Spilt是采用3*3和5*5两种不同尺寸的卷积核对接收的特征图X进行分组卷积和空洞卷积，得到和/>Fuse将/>和/>融合得到U，将U通全局平均池化获得特征向量S以统计每个通道携带的特征信息，再将该特征向量输入至全连接层得到向量Z；Select对向量Z通过softmax函数预测出不同尺度的通道权重特征层a和b，即/>和/>的注意力机制，对/>和/>进行通道特征信息加权操作并得到最终的特征信息映射向量V，以完成加强必要特征信息，抑制非必要特征信息。本发明为了加强鱼类的特征信息，抑制养殖池环境中的其他信息，将SKNet网络融入在YOLOv5的Backbone端，改进结构如图4所示。YOLOv5的Backbone端设置三层输出，分别对应着大中小三种不同尺度的特征，该特征为后面的不同尺度检测提供信息。为了加强鱼类特征信息的关注和提取能力，在Backbone端不同尺度特征的输出层引入SKNet网络，通过对不同尺度通道特征信息的加权处理，网络更加注意鱼类的特征信息，不同尺度特征信息经过SKNet的加权之后，输入Neck端进行特征融合，最后以三种不同尺度的预测方式对图像中的鱼群进行检测
试验环境及其参数设置
本试验搭载的是Windows10操作系统，CPU处理器是主频为3.4GHz的intel Corei7-6800K，GPU处理器是GTX2080Ti，试验平台是PyCharm。机器学习框架是Pytorch。整个模型通过80个epoch进行训练，batch为32，初始学习率为0.0001。
试验数据
试验所用数据采集自大连天正红鳍东方鲀养殖场，使用的是一个200万像素的摄像头，摄像头拍摄的视频通过“ezviz”传输到移动终端，再通过视频抽帧的方式获得分辨率为1920*1080图像。在所抽取图像中选择1200张作为本次试验的数据集，所有数据通过labelimg进行标注，生成记录类别信息和位置信息的xml文件，并按照训练集和测试集7：3的比例进行划分，其中840张图像作为训练集，360张图像作为测试集。
评估标准
为了验证所提模型在模糊水下鱼群图像检测和识别鱼类的能力，所有试验结果通过精确率和召回率进行评估，精确率(Precision)也是查准率，即正确预测为正的鱼类数量占全部预测为正的鱼类数量的比例。召回率(Recall)也是查全率，即正确预测为正的鱼类数量占全部实际为正的鱼类数量的比例。根据ground truth对水下模糊图像鱼群检测结果进行了评估，参照公式如下：
其中TP(True Positive)是将正类预测为正类数即真正，FP(False Positive)是将负类预测为正类数即假正，FN(False Negative)是将正类预测为负类数即假负。
消融试验
本发明介绍消融试验，即内部对比试验，该试验分为两组进行，分别是图像预处理模块性能对比和SKNet模块性能对比。通过测试图像预处理模块和SKNet模块的性能，以验证本发明网络架构设计的重要性。
试验1：图像预处理模块性能对比。为了验证图像预处理模块的有效性，在YOLOv5基础上添加了图像预处理模块。模型训练过程中，所有参数保持不变，将图像预处理模块输出清晰化后的图像直接作为YOLOv5的输入。试验结果如表1所示，加入图像预处理模块后，鱼群检测的精确率和召回率分别提升了0.82和0.93个百分点，有效地解决了水下模糊图像的鱼群检测问题。
表1图像预处理模块对性能的影响
试验2：SKNet模块性能对比。在2.4.1小节的基础上将SKNet融合到YOLOv5的Backbone端构成关注像素级信息的特征提取网络。融合SKNet后的网络可以加强鱼类特征信息的提取能力，抑制无效特征信息，提高特征信息的利用率。试验结果如表2所示，在YOLOv5和图像预处理模块的基础上融入SKNet的网络模型精确率和召回率分别提升了1.32和1.36个百分点，有效提升了水下鱼群目标检测的效果。
表2 SKNet模块对性能的影响
模型对比试验
本发明介绍模型对比试验，该试验分两组进行，分别是本发明所提模型与基础模型YOLOv5的对比和与目前最先进的基于深度学习的水下目标检测模型的对比。通过模型对比试验，以验证本发明所提网络架构的性能。
试验3：与基础模型YOLOv5的对比。将本发明所提模型其与基础模型YOLOv5进行了对比。首先用所选数据对YOLOv5进行端到端的训练，不进行任何网络结构的调整，直接输出鱼群检测结果。然后将图像预处理模块添加在YOLOv5模型的前端，最后将SKNet融合到YOLOv5的Backbone端构成关注像素级信息的特征提取网络。试验结果如表3所示，与YOLOv5模型相比，鱼群检测的精确率和召回率分别提升了2.14和2.29个百分点。这表明，添加图像预处理模块和SKNet模块的YOLOv5对水下模糊图像鱼群检测的性能有较大提升。
表3 YOLOv5与本发明所提模型的性能对比
试验4：通过对水下图像进行鱼群检测，量化了U-SK-YOLOv5的性能，并与最先进的基于深度学习的水下目标检测模型进行了对比，对比模型分别为Konovalov等提出的用于海洋领域鱼群检测模型和Fan等提出的用于海胆和扇贝等小目标检测模型。为了公平地比较，将所有模型通过水下模糊鱼群图像数据集进行训练，在训练过程中对每个模型进行微调，并将同一批图像统一用于测试。试验结果如表4所示，针对养殖池内成像模糊失真的鱼群图像数据，U-SK-YOLOv5的精确率和召回率分别为98.86％和96.64％，达到最佳检测效果。
表4不同模型与本发明所提模型的性能对比
在真实养殖环境下，存在水下成像模糊、失真等问题，此问题常导致鱼群检测准确率较低，影响鱼群检测的整体效果。本发明通过图像预处理来解决水下图像模糊问题，通过融合SKNet来解决鱼群检测准确率低问题，并通过四组试验来验证方法的有效性。
消融试验结果
在实际测试集当中，鱼群的清晰程度对最后的检测结果有较大的影响，本发明通过两组消融试验验证本发明网络架构设计的重要性。由试验1可知，加入图像预处理模块后，鱼群检测的精确率和召回率分别提升了0.82和0.93个百分点，说明该模块有效解决了水下图像模糊这一问题。由试验2可知，加入SKNet模块后，鱼群检测效果得到了再一次提升，与只加入图像预处理模块相比，SKNet模块将鱼群检测的精确率和召回率分别提升了1.32和1.36个百分点。
模型对比试验结果
为了进一步分析融合SKNet与YOLOv5养殖鱼群检测算法的效果，本发明用不同模型对真实养殖环境下的鱼群进行检测，并将检测结果进行对比。试验3将本发明所提方法与最先进的目标检测算法YOLOv5进行了对比，由试验结果可知，针对养殖鱼群目标检测，本发明所提方法的检测效果优于YOLOv5。精确率和召回率也分别得到了不同程度的提高，有效提升了水下模糊图像的鱼群检测效果。试验4是与目前最先进的基于深度学习的水下目标检测模型的对比。由该组试验结果可知，本发明所提模型在水下鱼群模糊数据集上取得了最好的性能。Konovalov等提出的模型对浑浊水质下模糊图像的养殖鱼群检测任务表现不佳。Fan等提出的模型也不能有效检测和识别本发明数据中养殖鱼群目标。因此，针对养殖池内成像模糊失真的鱼群图像数据，本发明所提方法可以达到最佳检测效果。
由上述，本发明在当前鱼群检测方法基础上提出了基于YOLOv5的养殖鱼群检测算法，引入UNet作为图像预处理模块，输出得到清晰的鱼群图像，加强网络对模糊鱼体的识别能力。
1)在原始YOLOv5网络模型基础上，融合SKNet视觉注意力机制，加强鱼类特征信息的提取能力，抑制无效特征，提高特征信息的利用率。
2)以真实养殖环境下鱼群图像为样本，通过训练后的融合SKNet与YOLOv5的养殖鱼群检测算法可以检测模糊和失真的鱼群，精确率和召回率分别达到了98.86％和96.64％，性能较原始YOLOv5和其他鱼群检测模型更优异，该算法具有较好的识别准确度，可实现成像模糊、失真等真实养殖环境下鱼群精准识别。
以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。

Claims (6)

1.一种养殖鱼群检测方法，其特征在于，包括如下步骤：
S1.通过UNet全卷积网络对鱼群图像预处理，其中，所述步骤S1的方法为：
使用响应函数的估计逆值对给定不同曝光度的模糊水下鱼群图像进行线性化，将线性化后的图形数据矫正并传递给不同的编码器使不同编码器提取不同曝光度模糊鱼群图像的鱼类特征信息，
将不同编码器提取的鱼类特征信息合并，并将各编码器提取的鱼类特征信息以及合并的不同编码器的鱼类特征信息输入至解码器端，
解码器融合相同尺度和不同尺度的鱼类特征信息，并由UNet全卷积网络不断学习映射对应的鱼类特征信息而获取所有像素点的特征图，将所得特征图输入色调映射器的映射网络，色调映射后得到清晰鱼群图像；
其中，表示输入不同曝光度模糊鱼群图像的集合，将其经过伽马校正映射到/>的清晰鱼群图像的集合，伽马编码的映射公式为：
（1）
其中是图像/>的曝光时间，/>表示对图像/>进行伽马校正，/>、/>和/>的值都在0和1之间；
响应于映射公式取得的映射网络为：
（2）
在色调映射后的清晰鱼群图像上计算各像素点的损失函数，得到清晰鱼群图像公式：
（3）
其中是控制压缩程度的参数；
图像预处理阶段控制图像清晰化程度的损失函数：
（4）
S2.通过融合SKNet的YOLOv5的改进网络结构对预处理后的鱼群图像检测，其中，YOLOv5的改进网络结构是YOLOv5网络结构的Backbone端融入SKNet重构特征层，包括三个SKNet注意力模块，一个SKNet注意力模块连接于Backbone特征提取网络的输出层中的一种尺寸特征图的输出，通过给每个特征元素都找到其对应的注意力权重，不同尺度特征信息经过SKNet的加权之后，输入Neck端进行特征融合，以三种不同尺度的预测方式对图像中的鱼群进行检测。
2.如权利要求1所述的养殖鱼群检测方法，其特征在于，各编码器提取的鱼类特征信息采用跳跃连接的方式输入至解码器端。
3.如权利要求1所述的养殖鱼群检测方法，其特征在于，所述步骤S2的方法为：
S2.1.通过YOLOv5网络的输入端对预处理后的鱼群图像进行数据增强、自适应锚框计算和自适应图像缩放；
S2.2.通过Backbone特征提取网络提取鱼群图像中鱼类的特征，不同尺度鱼类特征信息经过SKNet网络加权后，特征图输入至Neck端进行特征融合；
S2.3通过Prediction模块将特征融合的图像分为至少三种不同尺寸的网格，每个网格默认输出预测的至少三个边界框，以及边界框对应位置的信息和分类结果，和边界框精度的置信度信息。
4.如权利要求3所述的养殖鱼群检测方法，其特征在于，步骤S2.2的通过Backbone特征提取网络提取鱼群图像中鱼类的特征的方法：原始608*608*3的鱼群图像输入Focus结构，采用切片操作，使其变成304*304*12的特征图，再经过一次32个卷积核的卷积操作，最终变成304*304*32的特征图，使用CSP模块先将该特征图的基础层的特征映射划分为两部分，再通过跨阶段层次结构将两部分合并；
步骤S2.2的不同尺度鱼类特征信息经过SKNet网络加权后，特征图输入至Neck端进行特征融合的方法：在Backbone端不同尺度特征的输出层具有SKNet网络，通过对不同尺度通道特征信息的加权处理，不同尺度特征信息经过SKNet的加权之后，将Backbone端得到的特征图输入至Neck端，采用SPP模块的方式增加主干特征的接收范围而分离上下文特征。
5.一种养殖鱼群检测系统，其特征在于，包括处理器以及存储器，述处理器执行所述存储器中的代码以实现权利要求1至4任一项权利要求所述的方法。
6.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序被硬件执行以实现权利要求1至4任一项权利要求所述的方法。
CN202210212376.3A 2022-03-04 2022-03-04 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质 Active CN114724022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210212376.3A CN114724022B (zh) 2022-03-04 2022-03-04 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210212376.3A CN114724022B (zh) 2022-03-04 2022-03-04 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质

Publications (2)

Publication Number Publication Date
CN114724022A CN114724022A (zh) 2022-07-08
CN114724022B true CN114724022B (zh) 2024-05-10

Family

ID=82236572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210212376.3A Active CN114724022B (zh) 2022-03-04 2022-03-04 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质

Country Status (1)

Country Link
CN (1) CN114724022B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170942B (zh) * 2022-07-25 2023-10-17 大连海洋大学 一种声音与视觉多级融合的鱼类行为识别方法
CN115690565B (zh) * 2022-09-28 2024-02-20 大连海洋大学 融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法
CN115493532B (zh) * 2022-11-07 2023-02-28 西安中科慧远视觉技术有限公司 测量板材表面待测量元素面积的测量系统、方法及介质
CN116819540B (zh) * 2023-05-09 2024-07-19 南京俊禄科技有限公司 一种智能计算渔群类别与深度的方法
CN117218361A (zh) * 2023-09-13 2023-12-12 深圳天内尔科技有限公司 一种智能养殖系统的数据远程共享方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476745A (zh) * 2020-01-13 2020-07-31 杭州电子科技大学 一种进行运动模糊超分辨的多分支网络及方法
CN111612722A (zh) * 2020-05-26 2020-09-01 星际（重庆）智能装备技术研究院有限公司 基于简化Unet全卷积神经网络的低照度图像处理方法
CN111882554A (zh) * 2020-08-06 2020-11-03 桂林电子科技大学 一种基于SK-YOLOv3的电力线故障智能检测方法
CN112348766A (zh) * 2020-11-06 2021-02-09 天津大学 一种用于监控视频增强的渐进式特征流深度融合网络
CN112508014A (zh) * 2020-12-04 2021-03-16 东南大学 一种基于注意力机制的改进YOLOv3目标检测方法
CN112634202A (zh) * 2020-12-04 2021-04-09 浙江省农业科学院 一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统
CN113240598A (zh) * 2021-05-08 2021-08-10 Oppo广东移动通信有限公司 人脸图像去模糊方法、人脸图像去模糊装置、介质与设备
CN113435396A (zh) * 2021-07-13 2021-09-24 大连海洋大学 基于图像自适应抗噪的水下鱼群检测方法
CN113454981A (zh) * 2019-02-18 2021-09-28 三星电子株式会社 用于基于卷积神经网络的多个图像帧的多曝光融合及用于对多个图像帧去模糊的技术
CN113537106A (zh) * 2021-07-23 2021-10-22 仲恺农业工程学院 一种基于YOLOv5的鱼类摄食行为识别方法
CN113781521A (zh) * 2021-07-12 2021-12-10 山东建筑大学 一种基于改进YOLO-DeepSort的仿生机器鱼检测跟踪方法
CN114119428A (zh) * 2022-01-29 2022-03-01 深圳比特微电子科技有限公司 一种图像去模糊方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113454981A (zh) * 2019-02-18 2021-09-28 三星电子株式会社 用于基于卷积神经网络的多个图像帧的多曝光融合及用于对多个图像帧去模糊的技术
CN111476745A (zh) * 2020-01-13 2020-07-31 杭州电子科技大学 一种进行运动模糊超分辨的多分支网络及方法
CN111612722A (zh) * 2020-05-26 2020-09-01 星际（重庆）智能装备技术研究院有限公司 基于简化Unet全卷积神经网络的低照度图像处理方法
CN111882554A (zh) * 2020-08-06 2020-11-03 桂林电子科技大学 一种基于SK-YOLOv3的电力线故障智能检测方法
CN112348766A (zh) * 2020-11-06 2021-02-09 天津大学 一种用于监控视频增强的渐进式特征流深度融合网络
CN112508014A (zh) * 2020-12-04 2021-03-16 东南大学 一种基于注意力机制的改进YOLOv3目标检测方法
CN112634202A (zh) * 2020-12-04 2021-04-09 浙江省农业科学院 一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统
CN113240598A (zh) * 2021-05-08 2021-08-10 Oppo广东移动通信有限公司 人脸图像去模糊方法、人脸图像去模糊装置、介质与设备
CN113781521A (zh) * 2021-07-12 2021-12-10 山东建筑大学 一种基于改进YOLO-DeepSort的仿生机器鱼检测跟踪方法
CN113435396A (zh) * 2021-07-13 2021-09-24 大连海洋大学 基于图像自适应抗噪的水下鱼群检测方法
CN113537106A (zh) * 2021-07-23 2021-10-22 仲恺农业工程学院 一种基于YOLOv5的鱼类摄食行为识别方法
CN114119428A (zh) * 2022-01-29 2022-03-01 深圳比特微电子科技有限公司 一种图像去模糊方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Detection of golden crucian carp based on YOLOV5;Weiyao Kong等;《2021 2nd International Conference on Artificial Intelligence and Education》;283-286 *
Rethinking Coarse-to-Fine Approach in Single Image Deblurring;Sung-Jin Cho等;《2021 IEEE/CVF International Conference on Computer Vision》;4621-4630 *
基于YOLOv5的小目标检测;江磊等;《电脑知识与技术》;第17卷(第26期);131-133 *
基于生成对抗网络的红外图像增强研究;史兴萍;《中国优秀硕士学位论文全文数据库（信息科技辑）》(第1期);I135-198 *
融合SKNet与YOLOv5深度学习的养殖鱼群检测;赵梦等;《大连海洋大学学报》;第37卷(第2期);312-319 *

Also Published As

Publication number Publication date
CN114724022A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN114724022B (zh) 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN113592896B (zh) 基于图像处理的鱼类投喂方法、系统、设备及存储介质
CN117058232A (zh) 一种改进YOLOv8模型的养殖鱼群中鱼类目标个体的位置检测方法
CN115631407A (zh) 基于事件相机与彩色帧图像融合的水下透明生物检测
CN113920421B (zh) 一种快速分类的全卷积神经网络模型
CN114612454A (zh) 一种鱼类摄食状态检测方法
CN112800968B (zh) 一种基于hog分块的特征直方图融合对饮水区域猪的身份识别办法
Zhou et al. YOLO-based marine organism detection using two-terminal attention mechanism and difficult-sample resampling
CN111914766B (zh) 一种城市管理业务游商行为检测方法
CN113643297A (zh) 一种基于神经网络的计算机辅助牙龄分析方法
CN117136894A (zh) 一种鱼群定性分级投喂方法、终端及存储介质
CN117274183A (zh) 一种用于甲襞微循环血管的微循环智能分析方法
CN114037737B (zh) 一种基于神经网络的近岸海底鱼类检测及跟踪统计方法
CN115049692B (zh) 模拟自然生态的海洋水产养殖光照智能调节方法及系统
CN116664545A (zh) 一种基于深度学习的近海底栖生物定量检测方法及系统
CN116824141A (zh) 一种基于深度学习的牲畜图像实例分割方法及装置
CN116206195A (zh) 近海养殖物目标检测方法、系统、存储介质及计算机设备
CN116030400A (zh) 基于深度学习的道路落叶检测方法、装置及相关组件
CN114140428A (zh) 基于YOLOv5的落叶松毛虫虫害检测识别方法及系统
CN114663683A (zh) 一种基于空间特征自监督的水下目标检测方法
CN118072206B (zh) 基于鲸类栖息地选择模型的无人机遥感图像目标识别方法
CN115690565B (zh) 融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法
CN118262228B (zh) 一种基于自适应选择光流的水下鲁棒视频中鱼类目标分割方法
CN116576782B (zh) 一种水下鱼体长度测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant