CN115272963A - 基于YOLOv5s网络的白对虾加工前质量检测方法 - Google Patents

基于YOLOv5s网络的白对虾加工前质量检测方法 Download PDF

Info

Publication number
CN115272963A
CN115272963A CN202210869766.8A CN202210869766A CN115272963A CN 115272963 A CN115272963 A CN 115272963A CN 202210869766 A CN202210869766 A CN 202210869766A CN 115272963 A CN115272963 A CN 115272963A
Authority
CN
China
Prior art keywords
yolov5s
white
frame
shrimps
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210869766.8A
Other languages
English (en)
Inventor
黄旭红
陈燕毅
祝存欣
汤声平
肖伟号
赵楠
郑上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian University of Technology
Original Assignee
Fujian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian University of Technology filed Critical Fujian University of Technology
Priority to CN202210869766.8A priority Critical patent/CN115272963A/zh
Publication of CN115272963A publication Critical patent/CN115272963A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开基于YOLOv5s网络的白对虾加工前质量检测方法，基于深度学习和目标检测的食品加工前质量检测方法。利用深度学习和目标检测技术应用到实体加工中，可以筛选出不可加工食用的缺损虾和失活虾，可减少传统人工挑选成本大、准确率无法保证的问题，也可以提高检测效率和虾类产品的品质，对企业来说，可以创造出更多的经济价值。YOLOv5s是YOLOv5系列五种型号之一，拥有体积小、检测速度快优点，可以很好的配合嵌入装置应用到白对虾加工前的质量检测中，适用于工厂流水线加工。

Description

基于YOLOv5s网络的白对虾加工前质量检测方法
技术领域
本发明涉及目标检测技术领域，尤其涉及基于YOLOv5s网络的白对虾加工前质量检测方法。
背景技术
新鲜白对虾经过捕捞、装箱、运输等步骤送至工厂加工，期间虾体不可避免的会发生机械损伤和应激反应，进而出现虾体缺损和死亡现象。缺损虾是指外观形态不完整的虾，具体缺陷有缺头、缺尾、碎裂、脱壳等，在产品加工中混入缺损虾，将降低对虾产品外观品质，如果缺损虾的肉质已经发生变质，加工后的对虾产品将不符合食品加工要求，无法进行售卖；失活虾是指死亡后肉质失活不可食用的虾，此类虾由于体内蛋白质变性，色素分离，外壳呈红色。虾的组氨酸含量较高，失活后肉质已经部分失去活性，在短时间内容易被菌类侵袭，组氨酸被细菌分解，将产生有害的组氨酸物质，人使用后易发生食物腹泻和中毒现象，因此白对虾加工前质量检测问题十分重要。
现有的关于白对虾加工前质量检测主要依赖于人类经验，通过人眼收集图像信息并对比脑海中已知的缺陷类型以达到检测目的。人工辨别缺陷十分明显，员工成本高且难以保证准确率。随着深度学习的发展，基于卷积神经网络的目标检测已经超越了许多传统方法，成为当下目标检测的主流，YOLO系列已经发展至第五代，其检测精度和检测速度不断提升，在目标缺陷检测方面有着优越的表现。
发明内容
本发明的目的在于提供基于YOLOv5s网络的白对虾加工前质量检测方法。
本发明采用的技术方案是：
基于YOLOv5s网络的白对虾加工前质量检测方法，其包括以下步骤：
S1，采集不同外观形态和外观色彩的白对虾图片以建立数据集，并将数据集并划分训练集、验证集和测试集；
S2，分别将训练集和验证集中的图片输入YOLOv5s网络模型进行模型训练，经过调参优化得到YOLOv5s网络模型的最佳权重数据；YOLOv5s网络模型采用YOLOv5 v6.0版本模型；yolov5网络的构成部分为Input端、Backbone端以及Neck端，Input端对图片进行包含Mosaic数据增强、自适应锚框计算和自适应图片缩放的预处理；Backbone端将原Focus结构替换成等效的Conv卷积层，并采用CBS和CSP模块对输入的原始图片进行多次卷积操作得到不同尺度的特征图；Neck端采用FPN和PAN的双塔战术融合各自处理的特征图，使得输出的特征图具有强语义特征和强定位特征；Prediction端采用SIOU_Loss作为损失函数，以实现检测目标的分类和定位；
S3，将最佳权重数据加载到YOLOv5s网络模型中，输入对白对虾测试集和自制的白对虾视频进行识别测试，输出识别的白对虾的品质并检验模型最终效果。
进一步地，S1的具体步骤如下：
S1-1，首先搜集不少于1500张分别包含单体健康虾、单体缺损虾、单体失活虾以及群体混合白对虾图像形成原数据集；
S1-2，在原数据集的基础上利用多种图像增强方法对数据集进行增强，将数据集扩展到5000张以上的数据扩展集；
S1-3，用Labeling对的数据扩展集中5000张以上图片根据白对虾的不同形态分别进行标注；
S1-4，按8：1：1的比例划分训练集、验证集和测试集。
进一步地，S1-2中图像增强方法包括随机旋转、镜面翻转、噪声处理、图像模糊、调节亮度、图像缩放和图像拼接。
进一步地，S1-3中将图像中健康虾、缺损虾、失活虾类别分别为0、1、2，并对应的以normal、Incomplete、stale标签标记；
进一步地，S2训练的具体步骤如下：
S2-1，图片预处理：对图片进行预处理，整个过程包括Mosaic数据增强、自适应锚框计算和自适应图片缩放；
S2-2，特征提取：输入预处理后的图片数据到YOLOv5s的Backbone端，得到不同尺度的特征图，然后输入到YOLOv5s的Neck端；
S2-3，特征加强：YOLOv5s的Neck端使用FPN+PAN的双塔战术对输入的不同尺度特征图进行信息增强，得到的特征图具有强语义特征和强定位特征，然后利用CBS和CSP2_X模块提取并融合强化后的特征图，并传递到Prediction端；
S2-4，输出：YOLOv5s的Prediction端对融合强化后的特征图进行预测，生成预测框的位置、类别和置信度；
S2-5，模型优化：采用SIOU_Loss作为损失函数，使用反向传播算法进一步训练YOLOv5s网络，优化模型参数以得到YOLOv5s网络模型的最佳权重数据；SIOU_Loss损失函数由角度成本Λ、距离成本Δ、形状成本Ω、IoU成本IoU 4个函数组成，并加入向量角度α，具体地表达式如下：
Figure BDA0003760115230000031
Figure BDA0003760115230000032
Figure BDA0003760115230000033
Figure BDA0003760115230000034
Figure BDA0003760115230000035
Figure BDA0003760115230000036
Figure BDA0003760115230000037
Figure BDA0003760115230000038
Figure BDA0003760115230000039
式中：Λ—角度成本；x—向量角度α的正弦函数值；ch—预测框和真实框的最小外接矩形的高度；σ—预测框和真实框计算坐标差外接矩形的对角线；
Figure BDA00037601152300000310
—预测框的横轴坐标值；
Figure BDA00037601152300000311
—真实框的横轴坐标值；
Figure BDA00037601152300000312
—预测框的纵轴坐标值；
Figure BDA00037601152300000313
—真实框的纵轴坐标值；ρx—预测框和真实框横轴坐标值差和最小外接框比值的平方；ρy—预测框和真实框纵轴坐标值差和最小外接框比值的平方；cw—预测框和真实框的最小外接矩形的宽度；γ—值大小控制Δ中时间和距离值的权重；θ—值大小控制Ω的关注程度；wgt—真实框宽度；hgt—真实框高度；w—预测框宽度；ωw—预测框和真实框宽度差的绝对值与较大值的比例；ωh—预测框和真实框高度差的绝对值与较大值的比例；h—预测框高度；Lsiou—回归损失函数；B—预测框；BGT—真实框。
进一步地，S2-1中图片预处理的具体步骤如下：
S2-1-1，YOLOv5s网络模型Input端对输入的白对虾训练集进行Mosaic数据增强，随机选取4张白对虾图片进行随机裁剪、排布、缩放，并拼接成一张图；
S2-1-2，自适应锚框计算：YOLOv5s网络模型根据白对虾训练集的锚框尺寸，设定初始锚框的长宽数值，然后通过网络训练对比真实锚框不断迭代更新网络参数得到最佳锚框值；
S2-1-3，自适应图片缩放：将输入图片的尺寸压缩到同样的标准尺寸。
进一步地，S2-1-1中Input端对输入尺寸为640×640×3的白对虾训练集进行Mosaic数据增强。
进一步地，S2-2中Backbone端得到尺寸为80×80×128、40×40×256、20×20×512三种不同尺度的特征图并送入Neck端；其中，尺寸为80×80×128的特征图包含的低级层特征占大多数(可选占比不小于55)，以加强模型小目标检测性能；尺寸为20×20×512的特征图包含高级层特征占大多数(可选占比不小于55)，以加强模型大目标检测性能；尺寸为40×40×256的特征图的低级和高级特征信息占比相当(可选占比均不大于55)，用于中等目标检测。
本发明采用以上技术方案，利用深度学习和目标检测技术应用到实体加工中，筛选出不可加工食用的缺损虾和失活虾，减少传统人工挑选成本大、准确率无法保证的问题，提高检测效率和虾类产品的品质，对企业来说，可以创造出更多的经济价值。YOLOv5s是YOLOv5系列五种型号之一，拥有体积小、检测速度快优点，可以很好的配合嵌入装置应用到白对虾加工前的质量检测中，适用于工厂流水线加工。本发明检测精度高和识别速度快，能够满足工厂流水线加工需求，适合部署在需要生虾质量检测环节的虾类产品加工中以保证产品品质。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明基于YOLOv5s网络的白对虾加工前质量检测方法的流程示意图；
图2为本发明YOLOv5s网络结构示意图；
图3为本发明采集的原数据集示意图；
图4为原数据集经增强扩展后的数据扩展集示意图；
图5为本发明YOLOv5s网络的损失函数SIOU示意图；
图6为本发明模型训练仿真图；
图7为本发明损失函数的训练示意图；
图8为本发明的检测结果示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。
如图1至图8之一所示，本发明公开了基于YOLOv5s网络的白对虾加工前质量检测方法，其包括以下步骤：
S1，采集不同外观形态和外观色彩的白对虾图片以建立数据集，并将数据集并划分训练集、验证集和测试集；
S2，分别将训练集和验证集中的图片输入YOLOv5s网络模型进行模型训练，经过调参优化得到YOLOv5s网络模型的最佳权重数据；YOLOv5s网络模型采用YOLOv5 v6.0版本模型；yolov5网络的构成部分为Input端、Backbone端以及Neck端，Input端对图片进行包含Mosaic数据增强、自适应锚框计算和自适应图片缩放的预处理；Backbone端将原Focus结构替换成等效的Conv卷积层，并采用CBS和CSP模块对输入的原始图片进行多次卷积操作得到不同尺度的特征图；Neck端采用FPN和PAN的双塔战术融合各自处理的特征图，使得输出的特征图具有强语义特征和强定位特征；Prediction端采用SIOU_Loss作为损失函数，以实现检测目标的分类和定位；
S3，将最佳权重数据加载到YOLOv5s网络模型中，输入对白对虾测试集和自制的白对虾视频进行识别测试，输出识别的白对虾的品质并检验模型最终效果。
进一步地，S1的具体步骤如下：
S1-1，首先搜集不少于1500张分别包含单体健康虾、单体缺损虾、单体失活虾以及群体混合白对虾图像形成原数据集；
S1-2，在原数据集的基础上利用多种图像增强方法对数据集进行增强，将数据集扩展到5000张以上的数据扩展集；
S1-3，用Labeling对数据扩展集中5000张以上图片根据白对虾的不同形态分别标注；
S1-4，按8：1：1的比例划分训练集、验证集和测试集。
进一步地，S1-2中图像增强方法包括随机旋转、镜面翻转、噪声处理、图像模糊、调节亮度、图像缩放和图像拼接。
进一步地，S1-3中将图像中健康虾、缺损虾、失活虾类别分别为0、1、2，并对应的以normal、Incomplete、stale标签标记；
进一步地，S2训练的具体步骤如下：
S2-1，图片预处理：对图片进行预处理，整个过程包括Mosaic数据增强、自适应锚框计算和自适应图片缩放；
S2-2，特征提取：输入预处理后的图片数据到YOLOv5s的Backbone端，得到不同尺度的特征图，然后输入到YOLOv5s的Neck端；
S2-3，特征加强：YOLOv5s的Neck端使用FPN+PAN的双塔战术对输入的不同尺度特征图进行信息增强，得到的特征图具有强语义特征和强定位特征，然后利用CBS和CSP2_X模块提取并融合强化后的特征图，并传递到Prediction端；
S2-4，输出：YOLOv5s的Prediction端对融合强化后的特征图进行预测，生成预测框的位置、类别和置信度；
S2-5，模型优化：采用SIOU_Loss作为损失函数，使用反向传播算法进一步训练YOLOv5s网络，优化模型参数以得到YOLOv5s网络模型的最佳权重数据；SIOU_Loss损失函数由角度成本Λ、距离成本Δ、形状成本Ω、IoU成本IoU 4个函数组成，并加入向量角度α，具体地表达式如下：
Figure BDA0003760115230000061
Figure BDA0003760115230000062
Figure BDA0003760115230000063
Figure BDA0003760115230000064
Figure BDA0003760115230000065
Figure BDA0003760115230000066
Figure BDA0003760115230000067
Figure BDA0003760115230000068
Figure BDA0003760115230000069
式中：Λ—角度成本；x—向量角度α的正弦函数值；ch—预测框和真实框的最小外接矩形的高度；σ—预测框和真实框计算坐标差外接矩形的对角线；
Figure BDA00037601152300000610
—预测框的横轴坐标值；
Figure BDA00037601152300000611
—真实框的横轴坐标值；
Figure BDA00037601152300000612
—预测框的纵轴坐标值；
Figure BDA00037601152300000613
—真实框的纵轴坐标值；ρx—预测框和真实框横轴坐标值差和最小外接框比值的平方；ρy—预测框和真实框纵轴坐标值差和最小外接框比值的平方；cw—预测框和真实框的最小外接矩形的宽度；γ—值大小控制Δ中时间和距离值的权重；θ—值大小控制Ω的关注程度；wgt—真实框宽度；hgt—真实框高度；w—预测框宽度；ωw—预测框和真实框宽度差的绝对值与较大值的比例；ωh—预测框和真实框高度差的绝对值与较大值的比例；h—预测框高度；Lsiou—回归损失函数；B—预测框；BGT—真实框。
进一步地，S2-1中图片预处理的具体步骤如下：
S2-1-1，YOLOv5s网络模型Input端对输入的白对虾训练集进行Mosaic数据增强，随机选取4张白对虾图片进行随机裁剪、排布、缩放，并拼接成一张图；
S2-1-2，自适应锚框计算：YOLOv5s网络模型根据白对虾训练集的锚框尺寸，设定初始锚框的长宽数值，然后通过网络训练对比真实锚框不断迭代更新网络参数得到最佳锚框值；
S2-1-3，自适应图片缩放：将输入图片的尺寸压缩到同样的标准尺寸。
进一步地，S2-1-1中Input端对输入尺寸为640×640×3的白对虾训练集进行Mosaic数据增强。
进一步地，S2-2中Backbone端得到尺寸为80×80×128、40×40×256、20×20×512三种不同尺度的特征图并送入Neck端；其中，尺寸为80×80×128的特征图包含的低级层特征占大多数(可选占比不小于55)，以加强模型小目标检测性能；尺寸为20×20×512的特征图包含高级层特征占大多数(可选占比不小于55)，以加强模型大目标检测性能；尺寸为40×40×256的特征图的低级和高级特征信息占比相当(可选占比均不大于55)，用于中等目标检测。
下面就本发明的具体的工作原理进行详细说明：
1.数据集收集：如图3所示，考虑到经济成本，白对虾批发商至农户收购白对虾时会剔除混入白对虾中的石子、白鱼、罗非鱼等杂质，所以本发明只对白对虾进行研究。自行采集1575张图片包含单体健康虾、单体缺损虾、单体失活虾以及群体混合白对虾图像。
如图4所示，为了增强数据集复杂程度、提高神经网络泛化能力，使用python程序对白对虾图像进行随机旋转、镜面翻转、噪声处理、图像模糊、调节亮度、图像缩放、图像拼接等数种图像增强方法将数据集扩增至10106张。利用labelimg工具标注数据集，将图像中健康虾、缺损虾、失活虾类别分别为0、1、2，以normal、Incomplete、stale标签标记并按8：1：1的比例划分训练集、验证集和测试集。
2.输入预处理：Input端对输入尺寸为640×640×3的白对虾训练集进行Mosaic数据增强，随机选取4张白对虾图片进行随机裁剪、排布、缩放，并拼接成一张图。自适应锚框计算，YOLOv5会根据数据集的锚框尺寸，自动设定初始锚框的长宽数值，然后通过网络训练，对比真实锚框，不断迭代更新网络参数得到最佳锚框值。自适应图片缩放，将输入图片的尺寸压缩到同样的标准尺寸，与传统方法比较，YOLOv5的自适应图片缩放减少了图片缩放过程中需用黑边填补的部分，减少了推理时的计算量，网络检测速度得到明显的提升。
3.特征提取：YOLOv5 6.0版本Backbone端将Focus结构替换成等效的Conv卷积层，方便模型导出。Backbone端采用多个CBS和CSP1_X模块对经过预处理的白对虾训练集进行卷积操作，得到尺寸为80×80×128、40×40×256、20×20×512三种不同尺度的特征图并送入Neck端。其中尺寸为80×80×128的特征图包含的低级层特征较多，可以加强模型小目标检测性能，尺寸为20×20×512的特征图包含高级层特征较多，可以加强模型大目标检测性能，尺寸为40×40×256的特征图特征信息适中，适用于中等目标检测。
4.特征加强：在Neck端，使用FPN+PAN的双塔战术对输入的不同尺度特征图进行信息增强，得到的特征图具有强语义特征和强定位特征，然后利用CBS和CSP2_X模块提取并融合强化后图片的特征。FPN结构，自顶向下进行上采样的特征金字塔网络结构，通过融合多种尺度的特征图，因为上层网络层数深，包含的语义信息多，使得底层特征图具有更强的语义信息；PAN结构，自底向上进行下采样的特征金字塔网络结构，同样融合多种尺度的特征图，因为下层卷积层数少，能够得到更多的特征定位信息。FPN结构和PAN结构互补，融合各自处理的特征图，使输出的特征图具有强语义特征和强定位特征。
5.图像预测：Prediction端根据所提取的特征进行预测，模型中采用SIOU_Loss作为损失函数。DIOU_Loss损失函数虽然解决了传统损失函数非重叠部分无法计算的问题，但是没有考虑到预测框和真实框不匹配时的方向问题，导致预测框在训练中四处震荡，影响模型收敛速度和性能。SIOU_Loss损失函数由角度成本(Λ)、距离成本(Δ)、形状成本(Ω)、IoU成本(IoU)4个函数组成，并加入向量角度α，重新定义了惩罚指标。
Figure BDA0003760115230000081
Figure BDA0003760115230000082
Figure BDA0003760115230000083
Figure BDA0003760115230000084
Figure BDA0003760115230000085
Figure BDA0003760115230000086
Figure BDA0003760115230000087
Figure BDA0003760115230000088
Figure BDA0003760115230000089
式中：cw—预测框和真实框的最小外接矩形的宽度；ch—预测框和真实框的最小外接矩形的高度；x—向量角度α的正弦函数值；σ—预测框和真实框计算坐标差外接矩形的对角线；bc—预测框的坐标值；
Figure BDA00037601152300000810
—真实框的坐标值；θ—值大小控制Ω的关注程度；wgt—真实框宽度；hgt—真实框高度；w—预测框宽度；ωw—预测框和真实框宽度差的绝对值与较大值的比例；ωh—预测框和真实框高度差的绝对值与较大值的比例；h—预测框高度；ρ—预测框和真实框坐标值差和最小外接框比值的平方；Λ—角度成本；γ—值大小控制Δ中时间和距离值的权重；Lsiou—回归损失函数；B—预测框；BGT—真实框。
实验结果：运行环境：CPU为Intel(R)Xeon(R)Silver 4110 CPU@2.10GHz，GPU为英伟达NVIDIA GeForce RTX 2080Ti，内存为16G，操作系统为ubuntu18.04，安装Cuda10.1版本库文件，开发语言为Python，Pytorch框架。
参数设置如下：参数训练采用SGD优化算法，输入图像大小为640×640像素，Batch大小为32；最大迭代次数为150；动量因子为0.937；权重衰减系数为0.000 5。采用余弦退火策略动态调整学习率，初始学习率为0.01，采用SIOU Loss作为网络损失函数。
评估指标：为了准确评估白对虾质量检测模型性能，使用精准率(Precision，P)和召回率(Recall,R)、平均精度均值(mean Average Precision，mAP)、以及每秒传输帧数(Frames Per Second，FPS)作为评估指标，具体公式如下：
Figure BDA0003760115230000091
Figure BDA0003760115230000092
Figure BDA0003760115230000093
Figure BDA0003760115230000094
式中：TP表示样本为正类，预测结果为正类的目标数量；FP表示样本为其他类，预测结果却为正类的目标数量；FN表示样本为正类，预测结果却为其他类的目标数量；N表示被测样本数；T表示测试全部样本所需的时间；
如图7所示，由图可知120次迭代后，损失值普遍<0.02，130次迭代后损失值基本稳定在0.018左右。
经过验证，白对虾的精确率为94.32％，召回率为93.91％，平均精度均值达96.56％，在1080×1920分辨率视频上的检测速度达43.48FPS，基于YOLOv5s网络的白对虾加工前质量检测模型的检测精度和检测速度能够满足工厂流水线加工需求。
本发明算法相比原YOLOv5精确率提升了0.50％，召回率提升了0.49％，平均精度均值提升了0.58％。
表1：算法性能对比
Figure BDA0003760115230000095
本发明是基于深度学习和目标检测的食品加工前质量检测方法。利用深度学习和目标检测技术应用到实体加工中，可以筛选出不可加工食用的缺损虾和失活虾，可减少传统人工挑选成本大、准确率无法保证的问题，也可以提高检测效率和虾类产品的品质，对企业来说，可以创造出更多的经济价值。YOLOv5s是YOLOv5系列五种型号之一，拥有体积小、检测速度快优点，可以很好的配合嵌入装置应用到白对虾加工前的质量检测中，适用于工厂流水线加工。
显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

Claims (9)

1.基于YOLOv5s网络的白对虾加工前质量检测方法，其特征在于：其包括以下步骤：
S1，采集不同外观形态和外观色彩的白对虾图片以建立数据集，并将数据集并划分训练集、验证集和测试集；
S2，分别将训练集和验证集中的图片输入YOLOv5s网络模型进行模型训练，经过调参优化得到YOLOv5s网络模型的最佳权重数据；
YOLOv5s网络模型采用YOLOv5 v6.0版本模型；yolov5网络的构成部分为Input端、Backbone端以及Neck端，Input端对图片进行包含Mosaic数据增强、自适应锚框计算和自适应图片缩放的预处理；Backbone端将原Focus结构替换成等效的Conv卷积层，并采用CBS和CSP模块对输入的原始图片进行多次卷积操作得到不同尺度的特征图；Neck端采用FPN和PAN的双塔战术融合各自处理的特征图，使得输出的特征图具有强语义特征和强定位特征；Prediction端采用SIOU_Loss作为损失函数，以实现检测目标的分类和定位；
S3，将最佳权重数据加载到YOLOv5s网络模型中，输入对白对虾测试集和自制的白对虾视频进行识别测试，输出识别的白对虾的品质并检验模型最终效果。
2.根据权利要求1所述的基于YOLOv5s网络的白对虾加工前质量检测方法，其特征在于：S1的具体步骤如下：
S1-1，首先搜集不少于1500张分别包含单体健康虾、单体缺损虾、单体失活虾以及群体混合白对虾图像形成原数据集；
S1-2，在原数据集的基础上利用多种图像增强方法对数据集进行增强，将数据集扩展到5000张以上的数据扩展集；
S1-3，用Labeling对的数据扩展集中5000张以上图片根据白对虾的不同形态分别进行标注；
S1-4，按8：1：1的比例划分训练集、验证集和测试集。
3.根据权利要求2所述的基于YOLOv5s网络的白对虾加工前质量检测方法，其特征在于：
S1-2中图像增强方法包括随机旋转、镜面翻转、噪声处理、图像模糊、调节亮度、图像缩放和图像拼接。
4.根据权利要求2所述的基于YOLOv5s网络的白对虾加工前质量检测方法，其特征在于：
S1-3中将图像中健康虾、缺损虾、失活虾类别分别为0、1、2，并对应的以normal、Incomplete、stale标签标记。
5.根据权利要求1所述的基于YOLOv5s网络的白对虾加工前质量检测方法，其特征在于：S2训练的具体步骤如下：
S2-1，图片预处理：对图片进行预处理，整个过程包括Mosaic数据增强、自适应锚框计算和自适应图片缩放；
S2-2，特征提取：输入预处理后的图片数据到YOLOv5s的Backbone端，得到不同尺度的特征图，然后输入到YOLOv5s的Neck端；
S2-3，特征加强：YOLOv5s的Neck端使用FPN+PAN的双塔战术对输入的不同尺度特征图进行信息增强，得到的特征图具有强语义特征和强定位特征，然后利用CBS和CSP2_X模块提取并融合强化后的特征图，并传递到Prediction端；
S2-4，输出：YOLOv5s的Prediction端对融合强化后的特征图进行预测，生成预测框的位置、类别和置信度；
S2-5，模型优化：采用SIOU_Loss作为损失函数，使用反向传播算法进一步训练YOLOv5s网络，优化模型参数以得到YOLOv5s网络模型的最佳权重数据；SIOU_Loss损失函数由角度成本Λ、距离成本Δ、形状成本Ω、IoU成本IoU 4个函数组成，并加入向量角度α，具体地表达式如下：
Figure FDA0003760115220000021
Figure FDA0003760115220000022
Figure FDA0003760115220000023
Figure FDA0003760115220000024
Figure FDA0003760115220000025
Figure FDA0003760115220000026
Figure FDA0003760115220000027
Figure FDA0003760115220000028
Figure FDA0003760115220000029
式中：Λ—角度成本；x—向量角度α的正弦函数值；ch—预测框和真实框的最小外接矩形的高度；σ—预测框和真实框计算坐标差外接矩形的对角线；
Figure FDA00037601152200000210
—预测框的横轴坐标值；
Figure FDA00037601152200000211
—真实框的横轴坐标值；
Figure FDA00037601152200000212
—预测框的纵轴坐标值；
Figure FDA00037601152200000213
—真实框的纵轴坐标值；ρx—预测框和真实框横轴坐标值差和最小外接框比值的平方；ρy—预测框和真实框纵轴坐标值差和最小外接框比值的平方；cw—预测框和真实框的最小外接矩形的宽度；γ—值大小控制Δ中时间和距离值的权重；θ—值大小控制Ω的关注程度；wgt—真实框宽度；hgt—真实框高度；w—预测框宽度；ωw—预测框和真实框宽度差的绝对值与较大值的比例；ωh—预测框和真实框高度差的绝对值与较大值的比例；h—预测框高度；Lsiou—回归损失函数；B—预测框；BGT—真实框。
6.根据权利要求5所述的基于YOLOv5s网络的白对虾加工前质量检测方法，其特征在于：
S2-1中图片预处理的具体步骤如下：
S2-1-1，YOLOv5s网络模型Input端对输入的白对虾训练集进行Mosaic数据增强，随机选取4张白对虾图片进行随机裁剪、排布、缩放，并拼接成一张图；
S2-1-2，自适应锚框计算：YOLOv5s网络模型根据白对虾训练集的锚框尺寸，设定初始锚框的长宽数值，然后通过网络训练对比真实锚框不断迭代更新网络参数得到最佳锚框值；
S2-1-3，自适应图片缩放：将输入图片的尺寸压缩到同样的标准尺寸。
7.根据权利要求6所述的基于YOLOv5s网络的白对虾加工前质量检测方法，其特征在于：
S2-1-1中Input端对输入尺寸为640×640×3的白对虾训练集进行Mosaic数据增强。
8.根据权利要求5所述的基于YOLOv5s网络的白对虾加工前质量检测方法，其特征在于：S2-2中Backbone端得到尺寸为80×80×128、40×40×256、20×20×512三种不同尺度的特征图并送入Neck端；其中，尺寸为80×80×128的特征图包含的低级层特征占大多数，以加强模型小目标检测性能；尺寸为20×20×512的特征图包含高级层特征占大多数，以加强模型大目标检测性能；尺寸为40×40×256的特征图的低级和高级特征信息占比相当，用于中等目标检测。
9.根据权利要求8所述的基于YOLOv5s网络的白对虾加工前质量检测方法，其特征在于：占大多数对应低级特征或高级的占比不小于55％，占比相当中低级特征和高级特征的占比均不大于55％。
CN202210869766.8A 2022-07-22 2022-07-22 基于YOLOv5s网络的白对虾加工前质量检测方法 Pending CN115272963A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210869766.8A CN115272963A (zh) 2022-07-22 2022-07-22 基于YOLOv5s网络的白对虾加工前质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210869766.8A CN115272963A (zh) 2022-07-22 2022-07-22 基于YOLOv5s网络的白对虾加工前质量检测方法

Publications (1)

Publication Number Publication Date
CN115272963A true CN115272963A (zh) 2022-11-01

Family

ID=83769431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210869766.8A Pending CN115272963A (zh) 2022-07-22 2022-07-22 基于YOLOv5s网络的白对虾加工前质量检测方法

Country Status (1)

Country Link
CN (1) CN115272963A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843999A (zh) * 2023-09-04 2023-10-03 四川泓宝润业工程技术有限公司 一种基于深度学习的动火作业中气瓶检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843999A (zh) * 2023-09-04 2023-10-03 四川泓宝润业工程技术有限公司 一种基于深度学习的动火作业中气瓶检测方法
CN116843999B (zh) * 2023-09-04 2023-12-08 四川泓宝润业工程技术有限公司 一种基于深度学习的动火作业中气瓶检测方法

Similar Documents

Publication Publication Date Title
CN109671058B (zh) 一种大分辨率图像的缺陷检测方法及系统
CN104764744B (zh) 一种禽蛋新鲜度的视觉检测装置及其方法
CN109493303A (zh) 一种基于生成对抗网络的图像去雾方法
CN111814867A (zh) 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN111597920B (zh) 一种自然场景下的全卷积单阶段的人体实例分割方法
CN112164048B (zh) 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置
CN112990392A (zh) 基于改进YOLOv5算法的新材料地板缺陷目标检测系统
CN113870263B (zh) 一种路面缺陷损伤实时监测方法及系统
CN112734739B (zh) 一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法
TWI784537B (zh) 檢查裝置、檢查方法及檢查程式
Ding et al. Jointly adversarial network to wavelength compensation and dehazing of underwater images
US20190272627A1 (en) Automatically generating image datasets for use in image recognition and detection
CN114429457A (zh) 一种基于双模态融合的风机叶片缺陷智能检测方法
CN111626960A (zh) 图像去雾方法、终端及计算机存储介质
CN115272963A (zh) 基于YOLOv5s网络的白对虾加工前质量检测方法
CN112330651A (zh) 一种基于深度学习的Logo检测方法及系统
CN113298086A (zh) 基于U-Net网络的赤潮多光谱检测方法
CN113255797A (zh) 一种基于深度学习模型的危险品检测方法和系统
CN116757988A (zh) 基于语义丰富和分割任务的红外与可见光图像融合方法
Siswantoro Application of color and size measurement in food products inspection
CN113536896B (zh) 基于改进Faster RCNN的绝缘子缺陷检测方法、装置及存储介质
TW202240546A (zh) 用於自動視覺檢查之圖像增強技術
CN114241344A (zh) 一种基于深度学习的植物叶片病虫害严重程度评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination