CN116012700A - 一种基于YOLO-v5的鱼病实时检测系统 - Google Patents

一种基于YOLO-v5的鱼病实时检测系统 Download PDF

Info

Publication number
CN116012700A
CN116012700A CN202211622561.6A CN202211622561A CN116012700A CN 116012700 A CN116012700 A CN 116012700A CN 202211622561 A CN202211622561 A CN 202211622561A CN 116012700 A CN116012700 A CN 116012700A
Authority
CN
China
Prior art keywords
fish
fish disease
yolo
real
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211622561.6A
Other languages
English (en)
Inventor
王朕
赵伟
文玲梅
杨霄
刘伟
徐晶
蔡克桐
段凯
黄超
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xianning Agriculture Academy Of Sciences
Original Assignee
Xianning Agriculture Academy Of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xianning Agriculture Academy Of Sciences filed Critical Xianning Agriculture Academy Of Sciences
Priority to CN202211622561.6A priority Critical patent/CN116012700A/zh
Publication of CN116012700A publication Critical patent/CN116012700A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81Aquaculture, e.g. of fish

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供了一种基于YOLO‑v5的鱼病实时检测系统,属于渔业养殖技术领域。包括感知层、网络层和应用层,感知层为一鱼病监测仪,鱼病监测仪包括处理器、GPU、高清摄像头,网络层包括GPS/BD双模定位模块、4G通讯模块,应用层包括显示模块;通过置于水下的高清摄像头实时采集水下鱼类图像信息,对鱼类图像信息预处理后,利用内嵌至鱼病监测仪内的改进的YOLOv5的Mali‑T864处理水下图像信息并识别鱼病,对有鱼病的图像进行特征提取和分级;再通过定位模块识别获取图形信息对应的位置信息;最后通过通讯模块将检测到的鱼病图像和鱼病等级信息传送至服务器。

Description

一种基于YOLO-v5的鱼病实时检测系统
技术领域
本发明属于渔业养殖技术领域,涉及一种基于YOLO-v5的鱼病实时检测系统。
背景技术
我国是世界第一大淡水产品的生产国和消费国。伴随国家环保政策的收紧和“十年禁补计划”的出台,集约化养殖模式正在快速替代传统粗狂的河湖水网养殖。在集约化养殖模式下高密度放养、频繁投饲,不可避免会面临病毒、细菌、真菌的过量繁殖及氮、磷等积累问题,特别是氨氮、亚硝态氮浓度提升使养殖的鱼类更容易感染各类疾病。各类鱼病的中,细菌病作为主要的病害之一,对渔业的生产具有危害大、范围广、流行时间长等特点。例如链球菌、诺卡氏菌等会造成鱼类眼部充血发炎、鱼体溃烂等。目前鱼类疾病检测主要依靠人工,光由空气进入水体会发生折射,人眼很难监测鱼群的健康状况,未能及时给药或调整养殖方案,错过最佳治疗期,产生的巨额经济损失是集约化水产养殖的技术瓶颈。因此,建立一套快速的实时鱼病检测系统,对于鱼类的养殖具有十分重要的现实意义。
以鱼病为研究对象,在集约化养殖的鱼池中的观测鱼类,提取鱼病的相关图像信息。通过借助放置于养殖池的高清摄像机,实时抓拍鱼类的生物特征,结合YOLO神经网络和嵌入式物联网技术在线检测,研究出一个基于鱼的生理性状图像信息的便携式鱼病实时检测系统,对鱼病的严重程度划分,实现鱼病可视化显示,并上传至云端进行大数据综合分析。为实现集约化养殖的无人管理、精准施治、提供理论依据。
发明内容
本发明的目的是针对现有的技术存在的上述问题,提供一种基于YOLO-v5的鱼病实时检测系统,本发明所要解决的技术问题是如何实现鱼病的实时监测。
本发明的目的可通过下列技术方案来实现:一种基于YOLO-v5的鱼病实时检测系统,其特征在于,包括感知层、网络层和应用层,感知层为一鱼病监测仪,鱼病监测仪包括处理器、GPU、高清摄像头,网络层包括GPS/BD双模定位模块、4G通讯模块,应用层包括显示模块;
通过置于水下的高清摄像头实时采集水下鱼类图像信息,对鱼类图像信息预处理后,利用内嵌至鱼病监测仪内的改进的YOLOv5的Mali-T864处理水下图像信息并识别鱼病,对有鱼病的图像进行特征提取和分级;再通过GPS/BD双模定位模块识别获取图形信息对应的位置信息;最后通过4G通讯模块将检测到的鱼病图像和鱼病等级信息传送至显示模块。
为系统使用者数据支持,方便对鱼病趋势进行预测,更方便对圈养鱼鱼病的发生进行整体的管控和预防。
进一步的,鱼病识别分三步完成,对图片进行缩放处理(Resize)、经过卷积网络(Runconvolutionnetwork)、非极大抑制(Non-maxsuppression),识别后输出检测结果。
其核心思想是将特征图划分为SxS的格子(gridcells),得到边界框加置信度得分(Boundingboxesandcofidence),以及类别概率图(Classprobabilitymap),最后结合这两者得到最终的检测结果(Finaldetections)。对比Yolo3/Yolo4而言Yolo5的Backbone部分在YOLOv4-tiny基础上增加了Focus结构和CSPNet(Cross stagepartialnetworks)结构,实现了跨阶段局部融合网络。可以进行跨层预测,既有些bbox在多个预测层都算正样本,匹配的范围可以是3-9个。整个网络结构分成Backbone,Neck和Head三个部分,采用Mosaic数据增强方式,可自动计算数据集的最佳锚框值。
进一步的,为改善图片质量不佳,提高后期鱼类患病情况识别效率,对图片进行双边滤波以实现图片的降噪处理。
由于圈养桶环境下周围布置了各种电子元器件,同时水下微环境复杂,这对图片生成传输产生影响,从而导致图片质量不佳。为提高后期鱼类患病情况识别效率,需要对图片进行降噪处理。分析图片噪声可知,概率密度函数服从高斯分布(即正态分布),常见的处理方法为高斯滤波或双边滤波来去除图片噪声。高斯滤波在低通滤波算法中有不错的表现,但是其却有另外一个问题,那就是只考虑了像素间的空间位置上的关系,因此滤波的结果会丢失边缘的信息。这里的边缘主要是指图像中主要的不同颜色区域(水的浑浊程度,彩虹鲷个体体色等),而双边滤波就是在高斯滤波中加入了另外的一个权重分部来解决这一问题。
进一步的,采用C3组建代替原YOLOv5模型中的CSPNet组建,以减少内存消耗和计算瓶颈。
为了能够让推导的算法减少内存消耗和计算瓶颈,利于鱼类健康监控算法形成后的工业化部署,采用C3组建代替原YOLOv5模型中的CSPNet组建,C3组件相比CSPNet组件,结构更加简单,本质上与CSPNet组件效果类似,只是删除了标准CSPNet组件在残差连接之后的一次卷积操作,直接和输入图经过一次卷积操作的另一分支进行拼接。
进一步的,通过扩大训练样本和替换所有3×3卷积内核骨干网络卷积核组(ConvKG)来提高网络的获取鱼表面特征的能力。
由于鱼类活动照片是在水下拍摄的,拍摄场景随着水质、光照和鱼群情况的变化而变化,导致拍摄的鱼的特征照片的变化和模糊,由于这种特殊的应用场景原始的YOLOv5主干网络很难准确提取清晰的特征。为了减少水下复杂性的影响,本研究提高了网络的泛化能力通过扩大训练样本和替换所有3×3卷积内核骨干网络卷积核组(ConvKG)提高网络的获取鱼表面特征的能力。
进一步的,将卷积块注意模块(CBAM)添加到YOLOv5网络中以提高检测算法的抗干扰能力。
由于水下环境的变化和鱼类照片中鱼的数量的较大变化,干扰了原来的YOLOv5检测算法,本研究将注意机制模块——卷积块注意模块(CBAM)添加到YOLOv5网络中。CBAM是一个简单但有效的前馈卷积神经网络注意模块,它结合了通道注意模块(CAM)和空间注意模块(SAM)。给定一个中间特征图,我们的模块沿着通道和空间这两个独立的维度依次推断出一幅图像的注意力,然后将注意图乘以输入的特征图进行自适应特征细化。因为CBAM是一个轻量级的通用模块,所以它无缝集成到任何卷积神经网络体系结构中,且影响可以忽略不计,并且可以使用底层的卷积神经网络进行端到端训练。
为实现水产养殖中的细菌病的快速、准确识别,帮助养殖户了解养殖池内的危害程度和分布情况,本研究基于YOLOv5结合嵌入式技术设计了一套鱼病的快速检测系统,通过对YOLOv5模型的改进对鱼的特征能提取能力更强,模型体积更小适用于布局嵌入式系统。试验结果得出,改进后YOLOv5模型其他主流目标检测网络模型具有更好鱼病检测性能,整个检测系统能够实时的检测鱼病的发生,按正常,轻度,重度划分,形成定量化的测评体系,并将鱼病的情况结合定位系统形成可视化的图像,结果显示实时FPS均值达到了93.21。该系统实现了鱼病的精准识别与定位,可为鱼病的预测预防,精准施治提供精准信息服务。
附图说明
图1是鱼病实时检测系统的原理图。
图2是鱼病检测仪实物图。
图3是鱼病检测仪的软件流程图。
图4是智能算法的网络结构图。
图5是鱼病图像采集示意图。
图6是暗道去雾效果对比示例图。
图7是C3、CSPNet、Focus、SPP组织结构图。
图8是改进的卷积模块示意图。
图9是卷积块注意模块的示意图。
图10中(a)图是关于收敛性训的练结果图(除mAP50指标外其它指标重合度较高);图10中(a)图是关于损失值的训练结果图。
图11是对不同品种鱼群的监测效果。
图12是在不同的光照条件下的监测效果。
图13是在不同水深下的监测效果。
具体实施方式
以下是本发明的具体实施例并结合附图,对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。
系统总体设计运用,农业物联网设计思维,系统有三个部分组成,感知层、网络层和应用层,结构图如图1所示,感知层主要是鱼病检测仪,负责对鱼病的图像数据的采集和处理,网络层为云服务器,使用云服务器和用户之间进行编码,认证和传输;应用层主要提供鱼病发生位置,实时情况及危害程度。三层紧密协作,分工明晰,构建一个完整的鱼病实时检测系统,最后实现对鱼病的地图级直观显示效果。
系统硬件采用模块化设计,监测仪包含处理器、GPU、高清摄像头(分辨率:支持1280*960像素)、GPS/BD双模定位、4G通讯模块以及显示模块。系统实物如图2所示。其中处理器选用RK3399Pro(28纳米HKMG制程,大小核架构双核Cortex-A72+四核Cortex-A53),GPU采用Mali-T864。实物为固定机位,摄像头放置于集中圈养池50cm水位,另外摄像头做防水处理,避免进水。
检测仪工作流程如图3所示。通过水下摄像头实时采集水下鱼类图像信息,经过预处理,利用已经内嵌入改进的YOLOv5的Mali-T864处理水下图像信息识别鱼病,对有鱼病的的图像,进特征提取和分级。再通过定位模块识别获取位置信息,和鱼病等级一并显示。最后通过无线网络将检测信息传送至服务器,为系统使用者数据支持,方便对鱼病趋势进行预测,更方便对圈养鱼鱼病的发生进行整体的管控和预防。
YOLO是一种快速紧凑的开源对象检测模型,与其它网络相比,同等尺寸下性能更强,并且具有很不错的稳定性,是一个可以预测对象的类别和边界框的端对端神经网络。YOLO家族一直有着旺盛的生命力,从YOLOv1一直到V5,如今已经延续五代,凭借着不断的创新和完善,一直被计算机视觉工程师作为对象检测的首选框架之一。在农业信息处理方面也有广泛应用[22-29],因次本文选用改进的YOLOv5作为鱼病检测模型。
YOLOv5沿用了YOLO系列的整体布局,工作原理分为三步首先对图片进行缩放处理(Resize),经过卷积网络(Run convolutionnetwork),最后进行非极大抑制(Non-maxsuppression),输出检测结果。其核心思想是将特征图划分为SxS的格子(gridcells),得到边界框加置信度得分(Boundingboxes andcofidence),以及类别概率图(Classprobabilitymap),最后结合这两者得到最终的检测结果(Finaldetections)。对比Yolo3/Yolo4而言Yolo5的Backbone部分在YOLOv4-tiny基础上增加了Focus结构和CSPNet(Crossstagepartialnetworks)结构,实现了跨阶段局部融合网络。可以进行跨层预测,既有些bbox在多个预测层都算正样本,匹配的范围可以是3-9个。整个网络结构分成Backbone,Neck和Head三个部分,采用Mosaic数据增强方式,可自动计算数据集的最佳锚框值。网络结构如图4所示。
数据的采集:鱼类图像数据采集于湖北省咸宁市杨畈农业高新技术研发试验区内水产养殖基地,养殖模式为圈养桶集约化养殖,拍摄场景如图5所示,采集设备为GOpor8型运动相机,其二维RGB图像分辨率为5650×4238像素,焦距为2mm,曝光时间为1/200秒。为降低由训练样本多样性不足导致网络模型过拟合的概率,采集时分强光和弱光,强光、弱光分别为当天水下光照强度500~1000lux和50~500lux进行区分,强光、弱光情况下各采集水体上、中、下600㎜、1200㎜、1800㎜三个深度的鱼类特征图像。为了增加样本的多样性,图像样本中包含彩虹鲷和加州鲈2种鱼类,包含鱼类密度、生长阶段、气温及水质不同的情况,还包含强光、弱光等光照情况。为获取准确的数据参数,还需要对图像进行人工标注,标注时将鱼类的最小外接矩形框作为真实框(Groundtruth),以区分各类鱼病及患病严重程度。
由于圈养桶环境下周围布置了各种电子元器件,同时水下微环境复杂,这对图片生成传输产生影响,从而导致图片质量不佳。为提高后期鱼类患病情况识别效率,需要对图片进行降噪处理。分析图片噪声可知,概率密度函数服从高斯分布(即正态分布),常见的处理方法为高斯滤波或双边滤波来去除图片噪声。高斯滤波在低通滤波算法中有不错的表现,但是其却有另外一个问题,那就是只考虑了像素间的空间位置上的关系,因此滤波的结果会丢失边缘的信息。这里的边缘主要是指图像中主要的不同颜色区域(水的浑浊程度,彩虹鲷个体体色等),而双边滤波就是在高斯滤波中加入了另外的一个权重分部来解决这一问题。双边滤波中对于边缘的保持通过下述表达式来实现:
Figure BDA0004003027720000081
Figure BDA0004003027720000082
式中Iq——输入图像;
Figure BDA0004003027720000083
——输出图像;
σ——图片窗口大小;
Figure BDA0004003027720000084
——归一化因子;
Figure BDA0004003027720000087
——范围重量;
Figure BDA0004003027720000088
——空间重量;
通过人工对7月1日至10月31日所摄照片进行检查,将质量不高的无效照片删除,得到图像23302幅,其中彩虹鲷照片11905幅,加州鲈照片12223幅。由于是有一定时间跨度的水下拍摄,随着天气及圈养桶内环境变化,鱼类活动的姿态各异、有着水质浑浊现象,这一现象可以类比在空气中拍摄因雾霾导致图像特征不明显,影响图片质量。因此,需要对采集样本使用暗道去雾方法进行处理,如图6所示暗道去雾效果,使照片颜色饱和,亮度提高,有利于对鱼类体表病变特征识别。
Figure BDA0004003027720000085
当透射率t(x)很小时,会导致J(x)的值偏大,会另图片某些地方过爆,所以一般可以设置一个阈值来限制,我们设置一个阈值t(0):一般设置较小,0.1即可。则有表达式为:
Figure BDA0004003027720000086
式中:x——输入像素;
J(x)——恢复的无雾图像;
A——大气光照(最大像素值);
I(x)——现有的图像(待去雾);
t(x)——介质透射率;
训练模型的具体改进措施如下:
1.研究为了能够让推导的算法减少内存消耗和计算瓶颈,利于鱼类健康监控算法形成后的工业化部署,本文采用C3组建代替原YOLOv5模型CSPNet组建,如图7所示,C3组件相比CSPNet组件,结构更加简单,本质上与CSPNet组件效果类似,只是删除了标准CSPNet组件在残差连接之后的一次卷积操作,直接和输入图经过一次卷积操作的另一分支进行拼接。如图7右侧所示,Focus结构共包含4次切片操作和1次32个卷积核的卷积操作,切片操作将1幅图像中每隔1个像素取1个值,类似于近邻下采样,得到4幅图像,但是4幅图像的信息并没有丢失,而是原图像宽度W、高度H信息集中到了通道空间,输入通道扩充了4倍,即拼接图像相对于原RGB3通道模式变成了12个通道。然后将新得到的图像进行卷积操作,原始608×608×3的图像变成信息完整的2倍304×304×12的特征图,从高分辨率图像中,周期性的抽出像素点重构到低分辨率图像中,即将图像相邻的四个位置进行堆叠,提高每个点接收维度,并减少原始信息的丢失。这个组件可以减少计算量,增加速度。C3结构仿照DenseNet的密集跨层跳层连接思想,进行局部跨层融合,利用不同层的特征信息获得更为丰富的特征图。Neck部分包含了路径聚合网络(Path aggregation network,PANet)和空间金字塔池化(Space pyramid pooling,SPP)模块。自顶向下将高层特征信息与不同层C3模块的输出特征进行聚合,再通过自底向上路径聚合结构聚合浅层特征,从而充分融合不同层的图像特征。SPP模块采用1×1、5×5、9×9、13×134种不同的池化核进行处理,处理后再进行张量拼接。SPP处理可有效增加接收维度,分离出显著特征,同时不损失原有检测速度。输出层使用GIOU_Loss代替YOLO v3的IOU_Loss作为损失函数,增加了相交尺度的衡量,缓解了IOU_Loss无法优化2个框不相交的情况。
2.由于鱼类活动照片是在水下拍摄的,拍摄场景随着水质、光照和鱼群情况的变化而变化,导致拍摄的鱼的特征照片的变化和模糊,由于这种特殊的应用场景原始的YOLOv5主干网络很难准确提取清晰的特征。为了减少水下复杂性的影响,本研究提高了网络的泛化能力通过扩大训练样本和替换所有3×3卷积内核骨干网络卷积核组(Conv KG)提高网络的获取鱼表面特征的能力。Conv组由三个平行3×3,1×3和3×1卷积内核,卷积输入图像在相同的步骤产生特征地图的相同大小和数量的通道,分别和相应的特征地图求和得到输出特性如图8所示。这三种并行卷积核增强了网络提取鱼表面特征的能力。
P*K(1)+P*K(2)+P*K(3)=P*(K(1)+K(2)+K(3))=P*K       (5)
其中P为输入图像,K(1)、K(2)和K(3)为3×3、1×3和3×1卷积核,K为等价卷积核,*为卷积运算。这三个并行卷积核等价于一个新的具有不同权值的3×3卷积核。与替换前的3个3×3核相比,训练后的等价卷积核可以在不增加训练集计算量的情况下增强鱼表面特征的提取。
3.由于水下环境的变化和鱼类照片中鱼的数量的较大变化,干扰了原来的YOLOv5检测算法,本研究将注意机制模块——卷积块注意模块(CBAM)添加到YOLOv5网络中。CBAM是一个简单但有效的前馈卷积神经网络注意模块,它结合了通道注意模块(CAM)和空间注意模块(SAM)(Woo et al.,2018)。给定一个中间特征图,我们的模块沿着通道和空间这两个独立的维度依次推断出一幅图像的注意力,然后将注意图乘以输入的特征图进行自适应特征细化。因为CBAM是一个轻量级的通用模块,所以它无缝集成到任何卷积神经网络体系结构中,且影响可以忽略不计,并且可以使用底层的卷积神经网络进行端到端训练。
从图9中可以看出,CBAM包含两个子模块,CAM(通道注意模块)和SAM(部分注意模块),用于通道注意和空间注意,这样每个分支都可以学习“鱼是什么?”还有“鱼在哪里?”分别在通道轴和空间轴上。因此,我们的模块通过学习网络需要强调或抑制哪些信息,有效地帮助网络内的信息流动。这不仅节省了参数和计算能力,而且还确保了它可以作为一个即插即用的模块集成到现有的网络架构中。有输入、通道注意模块、空间注意模块和输出组成。输入功能F∈RC×H×W,然后通过一维卷积的通道注意模块F∈RC×1×1,乘以卷积结果的原始图像,CAM输出作为输入的二维卷积的空间注意模块,输出乘以原始图像的自适应特性。通道注意模块主要检测鱼的轮廓特征,获得检测目标的主要内容。其计算公式如下:
Figure BDA0004003027720000111
式中;σ表示为Sigmoid函数,W0∈Rc/r×c,W1∈Rc×c/r两个输入值共享这些权重W0和W1,ReLU激活函数后的W0,
Figure BDA0004003027720000112
表示使用平均合并和最大合并在空间中生成的特征,H为高度,W为宽度,C为通道数,r为还原率。引入空间注意模块是为了进一步提高目标鱼的检测精度,并准确定位目标鱼的位置。其计算方法如下:
Figure BDA0004003027720000113
Figure BDA0004003027720000114
Figure BDA0004003027720000115
每个都表示使用平均池和最大池在通道上生成的特征,表示滤波器大小为7×7的卷积操作。
模型训练环境:硬件配置:处理器为Intel Core i7-9700K,图像处理器为NvidiaGeForce RTX 3080 Ti×2。软件环境:操作系统为windows10,开发环境Visual Studio2020,加速环境CUDA10.2 CUDNN7.6.5,视觉数据库Opencv3.4.0。
模型评价指标:本研究采用精密度(P)、查全率(R)和平均平均精密度(MeanAverage Precision,mPA)作为特征网络性能的评价指标。精度是在所有预测患病的样本中预测实际患病鱼的概率,它代表了正样本预测结果的精度。召回是在实际患病鱼样本中被预测为患病鱼的概率,它代表了总体预测精度。其计算方法如等式(8)、(9)所示。
Figure BDA0004003027720000121
Figure BDA0004003027720000122
其中TP(True Positives)是被正确识别为异常行为的样本;FN(FalseNegatives)是被误认为背景的样本;TN(True Negatives)是被正确识别为背景的样本;FP(False Positives)是被错误识别为异常行为的样本。
平均精度(AP)为P-R曲线下的面积,计算公式见等式(10).AP50是IOU(Union的交集)=0.5时不同召回值下的精度平均值。AP50:95为AP50、AP55...,AP90、AP95的10个值的平均值,计算公式如等式所示(11).mAP是指加州鲈鱼(MS)和红罗非鱼(RT)的AP值的平均值。计算公式见等式(12).
Figure BDA0004003027720000123
Figure BDA0004003027720000124
Figure BDA0004003027720000131
用户可视化软件设计:软件前段采用前端采用elements-ui编写,使用vue.js框架,插入Baidu图,根据数据产生颜色差异的以热力图直观的表现鱼病情况;后端采用MySQL,租用阿里云服务器作为鱼病数据库。页面设计包含控制器、热力图显示、数据三个模块。兼具拓展功能,可添加其他农业物联网设备形成农业物联网控制集群。
在鱼病的管理基础上软件设计,还将其他农业生产数据如土壤、作物生理、气象小环境等集成到系统中。形成一套完整的智慧农业物联网生态系统,结合物联网传感网络,YOLOv5模型,对农业生产中的虫害,鱼病精准预测预防。也可在软件上进行自动的水肥控制,农业微环境调控操作。
鱼病识别模型训练结果分析:选取两种鱼病的训练集和验证集样本数据训练475次,模型的训练结果如图10所示。经过475次时代后,损失值降至0.027。神经网络的准确率为99.75%,召回率为99.31%,mAP50为99.38%。从训练结果来看,该模型具有较高的收敛性和校验率,以及低损失值。
鱼病识别模型训练结果对比分析:为了验证改进后的模型性能,本研究提出的特征提取神经网络与主流目标检测模型SSD,Faster-RCNN,YOLOv3和YOLOv4,对比五个指标,内存,FPS,召回、精度和mAP50用于评估和比较主流检测模型。实验参数见表1。由表2分析可知,IOU=0.5时,模型(DFYOLO)召回率为99.31%,比原YOLOv5模型高5.55%,比原YOLOV5模型高5.575%,高5.39%,比原YOLOv5算法高5.86%;mAP50:95为88.09%,比原YOLOV5算法高9.56%;模型内存减少0.9MB;在保证检测精度高的同时,模型的FPS没有明显下降。结合表2中的数据,可以看出:
1.YOLOv5算法模型比其他主流目标检测网络模型具有更好的检测性能,比较而言更适用于研究。
2.与原来的YOLOv5模型相比,改进过得模型在鱼病特征提取方面具有较高的性能,且占用较少的内存,便于部署在嵌入式系统中。
表1不同检测网络的参数设置
Figure BDA0004003027720000141
表2不同方法的检测结果
Figure BDA0004003027720000142
鱼病实时检测仪检测结果分析:将上述训练好的模型导入基于RK3399Pro处理器、Mali-T864GPU的检测仪中实时查看检测效果。
在相同的光强和水深条件下,随机采集红罗非鱼和加州鲈鱼的图像,并导入特征检测模型。红罗非鱼颜色鲜艳,脂肪丰富,图像一般都很明亮,鱼互相堆叠,错落在一起。加州鲈鱼的体色呈灰棕色,体型长而细,图像一般为灰色和稀疏。检测结果如图11所示。当红罗非鱼靠近摄像机,两侧和头部完全显示时,没有遗漏发现;图片中侧面充分显示的加州鲈鱼能够被全部检测到,没有遗漏发现。
分别在500-1000lLux和50-499Lux下随机选取红罗非鱼和加州鲈鱼的图像,输入特征检测模型。监测结果如图11所示,没有漏检,说明模型能够适应育种过程中常见的不同光照条件。
监测结果见图13。600mm深度拍摄的图像检测效果最好,因为上层鱼类较少,附着的鱼较少;1200mm深度的图像没有遗漏检测,略低于600mm深度的图像;1800mm深度的图像未发现单条鱼,如图13中虚线圈所示,说明模型在不同拍摄深度的检测效果更好。同时在不同的拍摄高度下具有良好的监测效果。
为了使用户更方便的查看鱼病信息,客户端可以通过账号密码访问上传到云端数据库中的鱼病信息,包含桶的编号、地理位置、危害程度、以及实时的图片等。其中将每一个桶内检测的鱼病等级和患病鱼的数量乘积算作热力值,并在客户端界面实现地图级的现实效果。
其中将单个检测仪采样到的鱼病总数作为热力值,由于鱼群属于集中圈养的形式为防止鱼病检测无限累计,软件设计上取1h内的数据做显示。结果显示鱼病真实有效的在软件客户端实现地图级热力值显示,并能实时的查看到园区鱼池养殖的鱼的健康状况,效果良好,可以为鱼病防治作业,智慧农业提供精准化的服务。
结论:以集约化养殖环境下的鱼为研究对象,设计出一套基于YOLOv5深度卷积神经网络的鱼病实时检测系统。通过验证系统的功能性,得出结论如下:
1)通过对比YOLOv3-v5,SSD,Faster-R-CNN的训练参数对比,验证了改进后的YOLOv5算法的作为鱼病检测神经网络的优势,参数量减少至13.6M,平均精度和召回率高达99.75%和99.31%,是一个适宜在嵌入式系统中运行的神经网络。
2)利用改进的YOLOv5神经网络实现了对鱼病的识别,布置的模型实时FPS均值达到了93.21,系统根据目标图像实时计算鱼病危害程度,按正常,轻度,重度划分,形成定量化的测评体系。
3)利用卫星定位模块获取检测仪的定位信息,进行可视化处理,形成热力图像,可以为鱼病情况快速获取,智能化养鱼及其农业园区的无人化管理提供正向参考。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于YOLO-v5的鱼病实时检测系统,其特征在于,包括感知层、网络层和应用层,感知层为一鱼病监测仪,鱼病监测仪包括处理器、GPU、高清摄像头,网络层包括GPS/BD双模定位模块、4G通讯模块,应用层包括显示模块;
通过置于水下的高清摄像头实时采集水下鱼类图像信息,GPU对鱼类图像信息预处理后,利用内嵌至鱼病监测仪内的改进的YOLOv5的Mali-T864处理水下图像信息并识别鱼病,对有鱼病的图像进行特征提取和分级;再通过GPS/BD双模定位模块识别获取图形信息对应的位置信息;最后通过4G通讯模块将检测到的鱼病图像和鱼病等级信息传送至显示模块。
2.根据权利要求1所述一种基于YOLO-v5的鱼病实时检测系统,其特征在于,鱼病识别分三步完成,对图片进行缩放处理(Resize)、经过卷积网络(Runconvolutionnetwork)、非极大抑制(Non-maxsuppression),识别后输出检测结果。
3.根据权利要求1所述一种基于YOLO-v5的鱼病实时检测系统,其特征在于,为改善图片质量不佳,提高后期鱼类患病情况识别效率,对图片进行双边滤波以实现图片的降噪处理。
4.根据权利要求1所述一种基于YOLO-v5的鱼病实时检测系统,其特征在于,采用C3组建代替原YOLOv5模型中的CSPNet组建,以减少内存消耗和计算瓶颈。
5.根据权利要求1所述一种基于YOLO-v5的鱼病实时检测系统,其特征在于,通过扩大训练样本和替换所有3×3卷积内核骨干网络卷积核组(ConvKG)来提高网络的获取鱼表面特征的能力。
6.根据权利要求1所述一种基于YOLO-v5的鱼病实时检测系统,其特征在于,将卷积块注意模块(CBAM)添加到YOLOv5网络中以提高检测算法的抗干扰能力。
CN202211622561.6A 2022-12-16 2022-12-16 一种基于YOLO-v5的鱼病实时检测系统 Pending CN116012700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211622561.6A CN116012700A (zh) 2022-12-16 2022-12-16 一种基于YOLO-v5的鱼病实时检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211622561.6A CN116012700A (zh) 2022-12-16 2022-12-16 一种基于YOLO-v5的鱼病实时检测系统

Publications (1)

Publication Number Publication Date
CN116012700A true CN116012700A (zh) 2023-04-25

Family

ID=86022297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211622561.6A Pending CN116012700A (zh) 2022-12-16 2022-12-16 一种基于YOLO-v5的鱼病实时检测系统

Country Status (1)

Country Link
CN (1) CN116012700A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455909A (zh) * 2023-12-22 2024-01-26 广东马氏水产有限公司 一种鱼类进出自动化线鱼体鱼病检测方法
CN117611380A (zh) * 2024-01-24 2024-02-27 中国水产科学研究院黄海水产研究所 一种鱼类疾病预警方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455909A (zh) * 2023-12-22 2024-01-26 广东马氏水产有限公司 一种鱼类进出自动化线鱼体鱼病检测方法
CN117455909B (zh) * 2023-12-22 2024-03-29 广东马氏水产有限公司 一种鱼类进出自动化线鱼体鱼病检测方法
CN117611380A (zh) * 2024-01-24 2024-02-27 中国水产科学研究院黄海水产研究所 一种鱼类疾病预警方法及系统

Similar Documents

Publication Publication Date Title
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
WO2019101221A1 (zh) 一种基于场景多维特征的船只检测方法及系统
CN116012700A (zh) 一种基于YOLO-v5的鱼病实时检测系统
CN110751075A (zh) 一种基于实例分割的遥感影像养殖塘检测方法
CN105740773A (zh) 基于深度学习和多尺度信息的行为识别方法
CN103020933B (zh) 一种基于仿生视觉机理的多源图像融合方法
CN109325495A (zh) 一种基于深度神经网络建模的作物图像分割系统及方法
CN109376589A (zh) 基于卷积核筛选ssd网络的rov形变目标与小目标识别方法
CN109034184A (zh) 一种基于深度学习的均压环检测识别方法
Li et al. Underwater scallop recognition algorithm using improved YOLOv5
Song et al. Detection of maize tassels for UAV remote sensing image with an improved YOLOX model
Liao et al. Research on intelligent damage detection of far-sea cage based on machine vision and deep learning
Liu et al. Deep learning based research on quality classification of shiitake mushrooms
CN114202563A (zh) 一种基于平衡性联合网络的鱼类多目标跟踪方法
CN115797844A (zh) 一种基于神经网络的鱼体鱼病检测方法及系统
Suo et al. Casm-amfmnet: A network based on coordinate attention shuffle mechanism and asymmetric multi-scale fusion module for classification of grape leaf diseases
Ma et al. Recognition and statistical analysis of coastal marine aquacultural cages based on R3Det single-stage detector: A case study of Fujian Province, China
Fan et al. Estimating the aquatic-plant area on a pond surface using a hue-saturation-component combination and an improved Otsu method
Chen et al. Visual-adaptation-mechanism based underwater object extraction
Guo et al. Multi-scale multi-attention network for moiré document image binarization
Zhang et al. Classification and recognition of fish farming by extraction new features to control the economic aquatic product
Zhou et al. Fish behavior analysis based on computer vision: a survey
CN112906510A (zh) 一种渔业资源统计方法及系统
Cao et al. Learning-based low-illumination image enhancer for underwater live crab detection
CN114037737B (zh) 一种基于神经网络的近岸海底鱼类检测及跟踪统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination