CN117710966A - 基于YOLOv7-MEF模型的玉米籽粒品质检测方法 - Google Patents
基于YOLOv7-MEF模型的玉米籽粒品质检测方法 Download PDFInfo
- Publication number
- CN117710966A CN117710966A CN202410033472.0A CN202410033472A CN117710966A CN 117710966 A CN117710966 A CN 117710966A CN 202410033472 A CN202410033472 A CN 202410033472A CN 117710966 A CN117710966 A CN 117710966A
- Authority
- CN
- China
- Prior art keywords
- model
- yolov7
- mef
- network layer
- corn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 240000008042 Zea mays Species 0.000 title claims abstract description 85
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 title claims abstract description 85
- 235000002017 Zea mays subsp mays Nutrition 0.000 title claims abstract description 85
- 235000005822 corn Nutrition 0.000 title claims abstract description 85
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000011435 rock Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 9
- 238000012271 agricultural production Methods 0.000 abstract description 2
- 238000011161 development Methods 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 15
- 238000012360 testing method Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000003306 harvesting Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 235000013339 cereals Nutrition 0.000 description 2
- 230000035784 germination Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- NOOLISFMXDJSKH-UHFFFAOYSA-N p-menthan-3-ol Chemical compound CC(C)C1CCC(C)CC1O NOOLISFMXDJSKH-UHFFFAOYSA-N 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种基于YOLOv7‑MEF模型的玉米籽粒品质检测方法，属于玉米籽粒品质检测领域，采集玉米籽粒图像数据，并将采集到的玉米籽粒图像数据划分为正常、发霉、破损和发芽4个等类别，通过对图像进行标注和增强，构建数据集；然后构建YOLOv7‑MEF模型，以YOLOv7‑tiny模型作为基础模型，采用MobileNetV3替代原模型的特征提取主干网络，并融合了ESE‑Net加强特征提取，Focal‑EIoU Loss优化原损失函数，并对模型进行训练，以具备精度高、检测速度快、模型尺寸小等特点；本方案对农业生产中进行快速无损的按需分类玉米籽粒起到良好的基础性作用，精度高、检测速度快；对于嵌入到移动终端设备的现场工作环境中也具有较好的检测效果，具有广泛的实际应用和开发价值。
Description
技术领域
本发明属于玉米籽粒品质检测领域，具体涉及一种基于YOLOv7-MEF模型的玉米籽粒品质检测方法。
背景技术
玉米是世界上重要的谷物作物之一，广泛分布于美国、中国、巴西等国家，在中国，玉米的种植面积和产量位居三大作物之首。它是重要的能源，是畜牧养殖业重要的饲料来源，是众多行业中不可或缺的原材料之一。玉米联合收获机在玉米含水量低于25%的时候进行收割脱粒后进行安全储藏。然而玉米在大田环境中容易自然脱水，并且在机械收获过程中会产生霉变、发芽和破损等影响玉米品质的现象。为了提高玉米粒的高效利用，针对玉米籽粒的不同用途如食用、榨油、动物饲料和工业原料等有必要对玉米籽粒进行筛选和分类，而玉米籽粒批量分选的系统性能则直接影响选粒的效率和质量。
目前对玉米籽粒的检测模型大多在Faster R-CNN、ResNet等经典分类网络的基础上搭建，新推出的轻量化网络架构的应用研究相对较少。这使得目标检测算法参数量大、计算复杂度高，难以嵌入到移动终端设备。而且建立数据集的采样设备多以昂贵的光谱成像设备为主，同时玉米籽粒多是单粒采集或者多粒规则排放，不适用于现场作业环境。因此，设计一个高效、快速、无损、可靠的品质检测算法，对提高玉米收获自动化水平和商业价值具有重要的科学和社会意义。
发明内容
本发明为解决现有玉米籽粒检测模型计算复杂度高、难以嵌入移动设备，不适用现场作业环境等缺陷，提出一种基于YOLOv7-MEF模型的玉米籽粒品质检测方法，有效提高对于不同品质玉米籽粒的检测效率，同时适合嵌入到小型硬件设备实现实时检测。
本发明是采用以下的技术方案实现的：一种基于YOLOv7-MEF模型的玉米籽粒品质检测方法，包括以下步骤：
步骤A、构建训练数据集：采集玉米籽粒图像数据，并将采集到的玉米籽粒图像数据进行分类，包括正常、发霉、破损和发芽4个类别，对图像进行标注，构建数据集；
步骤B、构建YOLOv7-MEF模型，并基于训练数据集对模型进行训练；
以YOLOv7-tiny模型作为基础模型构建YOLOv7-MEF模型，YOLOv7-MEF模型包括Backbone、Neck和Head三个部分，通过SPPCSP模块连接Backbone部分与Neck部分，其中SPPCSP模块是由多个CBL结构与三个Max-Pool层共同组成；
在Backbone网络层结构中，使用ELAN结构代替原始的E-ELAN结构，并在Backbone网络层部分加入MobileNetV3模型，同时使用ESE-Net高效注意力模块替代MobileNetV3中的SE-Net模块；在Neck网络层部分采用原PANet结构进行特征聚合，PANet采用自顶向下和自底向上的双向融合骨干网络思想；在Head网络层部分中，使用CBL模块替代原REPConv模块；最后改进损失函数，用Focal-EIoU Loss替换原始的CIoU Loss；
步骤C、基于训练好的YOLOv7-MEF模型对玉米籽粒品质进行检测。
与现有技术相比，本发明的优点和积极效果在于：
本方案构建Yolov7-MEF模型对玉米籽粒品质检测，采用MobileNetV3替代原模型的特征提取主干网络，并融合了ESE-Net加强特征提取，Focal-EIoU Loss优化原损失函数，使算法具备精度高、检测速度快、模型尺寸小等特点；另外，采用自建数据库对模型进行训练，并建立一个标准化的玉米籽粒品质数据库，包括发芽、发霉、破损和正常四类，在农业生产过程中按需分类识别玉米籽粒起到良好的基础性作用；对于嵌入到配置不高的移动终端设备的现场工作环境中也具有较好的检测效果，具有广泛的实际应用和开发价值。
附图说明
图1为本发明实施例所述玉米籽粒图像标注过程示意图；
图2为本发明实施例数据增强结果示意图，（a）为原图，（b）为水平翻转示意图，（c）为旋转40度示意图，（d）为垂直翻转示意图，（e）为高斯噪声处理后示意图；
图3为本发明实施例各个模型精度和召回率对比示意图，（a）为模型精度对比示意图，（b）为召回率对比示意图；
图4为本发明实施例YOLOv7-tiny模型中的Backbone结构示意图；
图5为本发明实施例YOLOv7-tiny原模型结构示意图；
图6为本发明实施例MobileNetV3网络中的深度可分离卷积和传统卷积对比示意图；
图7为本发明实施例MobileNetV3网络结构示意图；
图8为本发明实施例SE-Net和ESE-Net网络结构对比示意图；
图9为本发明实施例MobileNetV3网络更换SE-Net和ESE-Net注意力机制热力图对比示意图；
图10为本发明实施例改进后的YOLOv7-MEF整体结构示意图；
图11为本发明实施例对YOLOv7-tiny模型不同改进中的Loss和map@0.5:0.95对比示意图；（a）为Loss对比示意图；（b）为map@0.5:0.95对比示意图；
图12为本发明实施例原模型与改进后模型检测1结果对比示意图；（a）为原图；（b）为YOLOv7-tiny检测结果示意图；（c）为YOLOv7-MEF检测结果示意图；
图13为本发明实施例原模型与改进后模型检测2结果对比示意图；（a）为原图；（b）为YOLOv7-tiny检测结果示意图；（c）为YOLOv7-MEF检测结果示意图；
图14为本发明实施例原模型与改进后模型检测3结果对比示意图，（a）为原图；（b）为YOLOv7-tiny检测结果示意图；（c）为YOLOv7-MEF检测结果示意图。
具体实施方式
为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图及实施例对本发明做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例。
本实施例提出一种基于YOLOv7-MEF模型的玉米籽粒品质检测方法，包括以下步骤：
步骤A、构建训练数据集：采集玉米籽粒图像数据，并将采集到的玉米籽粒图像数据进行分类，包括正常、发霉、破损和发芽4个类别，对图像进行标注，构建数据集；
步骤B、构建YOLOv7-MEF模型，并对模型进行训练；
以YOLOv7-tiny模型作为基础模型构建YOLOv7-MEF模型，YOLOv7-MEF模型以MobileNetV3网络为骨干，大大减少了参数量，随后将MobileNetV3内的SE-Net注意力机制更换为高效注意力ESE-Net，为提高模型收敛速度和性能采用Focal-EIoU Loss，进一步提高模型检测效率；
步骤C、基于训练好的YOLOv7-MEF模型对玉米籽粒品质进行检测。
具体的，在步骤A中，构建训练数据集时，玉米籽粒采集于山东省菏泽市曹县玉米生产基地，所得玉米品种为登海W385。在玉米经过玉米联合收获机收获脱粒后，采集正常、破损、发芽、发霉4种品质的籽粒。
使用电磁振动分散玉米籽粒，在运输轨道上使用Mokose工业相机搭配RH-MVT3-900-1固定支架进行拍摄，相机初始像素为1920×1080，使用S-EYE软件实现相机与电脑的通讯设置，相机的其他调试如对比度、曝光率、亮度等，统一采用默认设置。拍摄时将相机角度调整至水平位置，高度调至距离地面10公分距离，在同一灯源环境下选用黑色背景进行图像采集，初步采集到样本图片共775张。
然后将采集完成后的玉米籽粒图像通过标注软件LabelImg对其数据集进行人工标注，对输入的图像用矩形框进行标注并生成对应xml文件。软件中的矩形框位置由两对角坐标确定，由于每种玉米籽粒的形状各不相同，容易对模型训练产生不良影响，因此需尽量减少无关因素进入矩形框中。每幅图像约标注20个不同位置的玉米籽粒，所有图像标注完成后产生16226个矩形框，其中正常品质的玉米籽粒用intact表示；出现霉变的玉米籽粒用moldy表示；个体出现破损的玉米籽粒用broken表示；顶部发芽的用germinant表示。具体标注过程如图1所示，数据集的标签类别数量分布见表1。
表1 数据集标签类别数量表
| 类别名 | 数量/个 |
| intact | 3961 |
| moldy | 4026 |
| broken | 4165 |
| germinant | 4074 |
;为了丰富图像数据集，减少过拟合，更好地提取玉米籽粒图像特征，提高模型的泛化能力，本申请采用随机数据增强技术对标注好的图像进行了扩展。玉米籽粒图像通过高斯噪声、平移与角度翻转进行处理。数据增强的结果如图2所示。为更加突出图像特征，对数据增强后的图像进行进一步的手动裁剪与筛选。最终经数据增强后，图像数量由775张增加到了2873张，将增强后的数据集按8：1：1的比例分为训练集、测试集与验证集，用于之后进行模型训练。
本实施例中，在步骤B构建模型时，通过对YOLOv7-tiny模型进行改进得到轻量化YOLOv7-MEF(MobileNetV3-ESENet-Focal EIoU Loss)模型，具体采用以下方式：
1、不同目标检测模型对比
本实施例使用相同自制数据集对不同模型进行训练对比后，最终选用YOLOv7-tiny模型为骨干网络进行深入研究。各模型的训练结果如表2所示，与其他模型相比YOLOv7-tiny模型的参数量最小，仅为11.72MB，更易于进行嵌入式部署；同时YOLOv7-tiny模型对于训练集的预测精度达到了97.21%，高于Faster-RCNN、SSD与YOLOv5模型，结合召回率、map@0.5/%与模型参数量综合考虑，YOLOv7-tiny模型性能更加良好。图3为不同模型训练后的精度、召回率曲线，由图可知YOLOv7-tiny模型在玉米籽粒数据集上训练效果相对更理想。由此最终选择使用YOLOv7-tiny作为初始模型进行深入研究。
表2 各个模型检测性能对比
| 模型 | 精度 | 召回率 | map@0.5 | 模型大小 |
| Faster-RCNN | 88.51% | 88.54% | 86.56% | 108.29MB |
| SSD | 92.89% | 92.66% | 92.83% | 92.13MB |
| YOLOv5 | 89.13% | 91.3% | 91.75% | 27.14MB |
| YOLOv7 | 97.66% | 91.93 | 94.35% | 73.38MB |
| YOLOv7x | 98.83% | 88.35% | 96.62% | 138.7MB |
| YOLOv7-tiny | 97.21% | 92.3% | 94.95% | 11.72MB |
。
2、以YOLOv7-tiny模型为骨干网络进行模型改进
YOLOv7-tiny是在YOLOv7模型的基础上经轻量化调整后得到，网络主体包括Backbone、Neck和Head三个部分。其中在Backbone结构中，YOLOv7-tiny使用了ELAN结构来代替原始YOLOv7模型中的E-ELAN结构。ELAN是由多个卷积层、BN层和Leaky ReLU激活函数堆叠而成，其主分支的3个CBL模块输出的特征图与外围中1个CBL模块输出特征图经Concat层相融合后，通过最后的CBL模块输出最后结果。在ELAN结构中，除最初的两个CBL模块的通道数发生了变化外，其余每个分支中的输入通道数与输出通道数均保持一致，由此可以减小内存访问量，减少运行时间，提高训练效率，Backbone部分结构图如图4所示。
YOLOv7-tiny模型通过SPPCSP模块连接其Backbone部分与Neck部分，其中SPPCSP模块是由众多CBL结构与三个Max-Pool层共同组成，此结构的加入可以实现更丰富的梯度组合方式，同时减少模型计算量。在Neck部分依旧采用原YOLOv7的PANet结构进行特征聚合，PANet采用自顶向下和自底向上的双向融合骨干网络思想，搭配CBL模块与ELAN结构，可以对Backbone部分中不同层的输出特征信息进行融合，增强模型提取深层和浅层特征信息的能力，保证提取特征的完整性和多样性。在Head部分中，YOLOv7-tiny模型使用了CBL模块替代原YOLOv7结构中的REPConv模块，实现其调整通道数的功能，从而使模型结构得到了进一步简化，完整的YOLOv7-tiny模型结构如图5所示。
（1）YOLOv7-MobileNetV3的设计
为了使模型更易实现嵌入式部署，本申请将MobileNetV3模型加入到YOLOv7-tiny的Backbone部分中，使模型整体更加轻量化，减少了模型的参数量和运算量，提升了检测的实时性。
MobileNetV3作为一种轻量化网络结构，使用深度可分离卷积替代原始的卷积层，通过将空间滤波与特征生成机制分离，有效的分解了传统卷积，从而大大减少了计算量。图6所示的是两种卷积的卷积方式，左侧为传统卷积，右侧为深度可分离卷积。与YOLOv7-tiny的传统卷积相比，深度可分离卷积将其拆分为逐通道卷积和点向卷积两个阶段。在逐通道卷积阶段，输入特征图中的每个通道仅和与之对应的单通道卷积核进行卷积操作，各输入通道之间相互独立，取消了通道之间的特征融合，从而使卷积后输出特征图的通道数量不变。点向卷积使用传统卷积方式，采用1×1大小卷积核对所有通道的输出特征图进行整合，进而改变输出特征图的通道数，深度可分离卷积参数量与传统卷积参数量的比值Q与计算量比值R为：,式中，/>为输出特征图数量，/>为输出特征图尺寸。
MobileNetV3网络整体采用具有线性瓶颈的逆残差结构进行设计，在Bottlenecks的最后把ReLU函数替换为了Linear 线性函数，防止特征被破坏，并且对Bottlenecks采用与ResNet相反的设计方式：先扩张在提取特征在进行压缩，进而提高了特征提取的效率。除此之外，MobileNetV3网络中的SE注意力模块会使网络更加关注更有用的信息；利用h-swish激活函数代替原始的swish函数也会使模型计算速度更快，效率更高。整体网络结构如图7所示。
（2）YOLOv7-ESENet高效注意力机制的设计
为进一步提高模型提取特征的能力，本申请使用ESE-Net高效注意力模块替代了MobileNetV3中的SE-Net模块，原始SE-Net模块结构如图所示，输入一个大小为H×W×C的三通道特征图，然后经过Squeeze模块（Global pooling）使图像大小变为1×1×C，紧接着进行Excitation操作，将Squeeze模块输出的特征图经过第一个全连接层，转化为1×1×C/r（r>1，且为正整数）大小的特征图，后接ReLU激活函数，然后接入第二个全连接层将通道数转化为C，后经Sigmoid激活函数即可得到各个通道的权重，将权重与输入X相乘即可得到带有SE-Net注意力机制的特征图输出。
为了减小模型的计算量，SE-Net中引入了比例因子r，但这同时也降低了SE模块的特征提取权重能力，进而造成特征损失，使模块的权重表达能力减弱。由此本实施例考虑使用ESE-Net模块替代SE-Net，ESE-Net模块结构如图8所示，与SE-Net相比去掉了带有比例因子r的第一个全连接层和ReLU激活函数，而从提升了模块产生的通道注意力权重，同时降低了模型的计算量。
如图9所示的是用两种不同注意力模块输出的热力图，其中颜色越深说明网络提取特征明显。由图可知加入ESE-Net模块后模型更加关注玉米籽粒不同品质的细致特征，对玉米籽粒的预测精度也得到了提高。
（3）YOLOv7- Focal-EIoU Loss损失函数的设计
YOLOv7-tiny使用CIoU-Loss作为边框损失函数，CIoU的惩罚项为矩形框的距离和相对比例，其计算公式如下：；/>；，其中/>是预测框和真实框的交集和并集的比值，/>为预测框和目标框中心点距离，/>为最小外接矩形C的对角线距离，/>为平衡参数，/>是衡量两个矩形框相对比例的一致性的参数。
CIoU的惩罚项为宽和高的相对比例，而不是宽和高的值。但是当宽和高满足时，将相对比例作为惩罚项便不在发挥作用，由此提出了直接将对宽和高的预测结果作为惩罚项的损失函数EIoU，其公式如下：，其中/>和/>分别是两个矩形的宽和高；由公式可以看出，EIoU直接将边长作为惩罚项，将损失函数分成了三个部分，IoU损失/>，距离损失/>，边长损失/>；EIoU从理论上解决了CIoU中宽和高不能同时放大或者缩小的问题，对CIoU进行了优化改良。
在物体检测中，样本质量的高低是影响模型收敛的一个重要因素。对于目标检测来说，大部分根据锚点得到的预测框都和ground truth框的IoU差距不大，此部分被称为低质量样本，而在低质量样本上进行训练容易造成损失值的剧烈波动，本实施例通过使用FocalL1 Loss来给低质量样本更小的梯度，从而减小低质量样本对梯度的负面影响，其表达式为：，其中/>用于解决正负样本不平衡的问题，/>用于解决难易样本不平衡的问题。
通过整合EIoU Loss和FocalL1 Loss，可以得到最终在YOLOv7-MEF模型中使用的Focal-EIoU Loss，其表达式为：。
3、YOLOv7-MEF模型
本申请以YOLOv7-tiny为原始模型，在模型的Backbone部分中引入轻量化的MobileNetV3网络来进一步减少模型参数，降低网络复杂程度；并将MobileNetv3模型中的SE-Net注意力机制更换为ESE-Net注意力机制，用以减少通道信息损失，提高模型特征提取能力；最后通过改进损失函数，用Focal-EIoU Loss替换原始的CIoU Loss，提高了模型的收敛速度。最终YOLOv7-MEF模型的结构图如图10所示。
在对YOLOv7-MEF模型进行训练时，本实施例使用精度、召回率和mean AveragePrecision(mAP)作为模型评价指标，同时搭配模型参数量大小对模型性能进行综合评价，其中选取map@0.5作为评估模型准确度的指标，表示IoU阈值取50%时的mAP值。各指标计算公式如下：
；/>；/>，式中，/>表示模型预测为正的正样本，/>表示模型预测为正类的负样本，/>表示模型预测为负类的正样本，/>表示模型预测为负类的负样本；/>为平均精度，/>为具体某一类别的精度，/>为品质分类数。
本申请在进行大量实验后，为使模型发挥最佳性能，训练时选用Adam优化器进行参数优化，训练批次设置为16，初始学习率为0.01，初始动量设为0.937，在进行100个epoch后输出训练结果，模型具体训练环境如表3所示。
表3 训练环境
| 项目 | 内容 |
| GPU | RTX 2080 Ti |
| 显存 | 11GB |
| CPU | Intel(R) Core(TM) i9-10920X |
| 硬盘 | INTEL SSDPEKNW512G8 |
| 内存 | 64G |
| 操作系统 | Windows 10 |
| 编程语言 | Python3.9.7 |
| 编程软件 | Pycharm |
| 深度学习框架 | pytorch1.12.1 |
，在对待检测的玉米籽粒进行品质检测时，将得到的玉米籽粒图像输入到YOLOv7-MEF模型中，首先，玉米籽粒图像经由简化的CBH模块、 ME BLOCK模块和SPPCSPC 结构的Backbone进行特征提取后，将不同深度特征层所获采样特征图，输入Concat模块和ELAN模块的 Neck 部分实施多尺度特征融合，随后送入 Head 部分进行目标籽粒的识别与定位，输出玉米籽粒品质，完成对玉米籽粒的检测。
实验验证：
（1）改进算法对比试验
本申请通过对比试验对YOLOv7-MEF的模型性能进行验证，具体训练了5种模型，实验结果如表4所示。在相同实验参数下，加入MobileNetV3的YOLOv7-MobileNetV3模型的精度、召回率等有所下降，模型尺寸变小，实时检测速度得到了增强；在此基础之上对模型中的SE-Net进行更换后，模型精度有所提升，由93.13%提升到了95.32%，召回率有所增加，提高了6.17%，模型大小进一步降低，检测训练速度再次加快，FPS值达到了71.43/s；之后为了验证Focal-EIoU Loss的作用，在YOLOv7-MobileNetV3模型的基础上对CIoU Loss进行更换，更换为Focal-EIoU Loss后的YOLOv7-MF模型直接对预测框边长进行调整，减少了因低质量预测框而造成的损失值的剧烈波动，由图11可知，与上述模型相比YOLOv7-MF模型的loss曲线更加平滑，收敛速度更快。
最终对YOLOv7-MEF模型进行训练，对比各评价指标来看，YOLOv7-MEF模型的精度最高，达到了98.94%；其召回率也为最大，为96.42%；模型大小在YOLOv7-tiny的基础上有了进一步的降低，仅为9.1 MB，同时实时检测速度达到了76.92 frame/s，在5种模型中最快，使其更加利于进行嵌入式部署。由此可知改进后的YOLOv7-MEF模型不仅减少了模型参数，同时提高了实时检测玉米籽粒品质的效率，并且模型的检测质量也得到了提升。
表4 对比试验结果
| 模型 | 精度 | 召回率 | 模型大小 | FPS |
| YOLOv7-tiny | 97.21% | 93.14% | 11.72MB | 47.62frame/s |
| YOLOv7-MobileNetV3 | 93.13% | 81.3% | 8.25MB | 64.52frame/s |
| YOLOv7-ME | 95.32% | 87.47% | 8.17MB | 71.43frame/s |
| YOLOv7-MF | 94.43% | 91.3% | 8.23MB | 67.11frame/s |
| YOLOv7-MEF | 98.94% | 96.42% | 9.1MB | 76.92frame/s |
；
为进一步验证YOLOv7-MEF模型的检测性能，本申请输出了5种模型的map@0.5:0.95曲线与loss曲线，如图11(a)所示，YOLOv7-MEF模型相较于其他4种模型而言，其map@0.5:0.95的值最高，同时对比loss曲线可知YOLOv7-MEF模型的loss曲线最平滑，曲线收敛速度最快，与其他4种模型相比其综合性能最好。
（2）YOLOv7-MEF与YOLOv7-tiny模型对比分析
为进一步研究模型对每种品质玉米籽粒的预测情况，本申请输出了YOLOv7-tiny模型与YOLOv7-MEF模型的P-R曲线。如图11(b)所示，对YOLOv7-tiny模型来说，模型对发霉籽粒的预测效果最好，其map@0.5/%值达到了99.5%，但是模型对于完整与破损的玉米籽粒的预测效果还有待改善，预测完整品质玉米籽粒的map@0.5/%值为92.9%，对破损玉米籽粒预测的map@0.5/%值仅为91.7%，整体的map@0.5/%值为94.6%，说明模型还有很大改善空间。对于改进后的YOLOv7-MEF来说，模型对于所有品质玉米籽粒的预测map@0.5/%值都达到了95%以上，其中对于发霉玉米籽粒的预测效果最好，map@0.5/%值为99.2%；此外模型对于破损品质玉米籽粒的识别效果得到了改善，由91.7%变为了95.3%，提升了3.6%；对于完整品质玉米籽粒的识别也提高了 3.3%，总体预测的map@0.5/%值提升了2.4%。总体来说，YOLOv7-MEF模型的预测效果在YOLOv7-tiny模型的基础上有了进一步的提升，模型预测精度得到了改善。
另外，为验证YOLOv7-MEF模型的检测性能，本申请输出了YOLOv7-tiny和YOLOv7-MEF对不同品质玉米籽粒的实际预测图。改进后的YOLOv7-MEF模型通过使用ESE-Net高效注意力机制，减少了通道信息的损失，可以更好的判断出玉米籽粒的品质与位置信息，从而能够进行更高质量的锚框，提高了模型在不同区域下检测玉米籽粒的精度。由图12-图14可知，原YOLOv7-tiny模型对不同品质玉米籽粒检测的置信度不高，并且图像中个别玉米籽粒出现了识别错误；使用改进后的YOLOv7-MEF模型进行检测时，检测结果基本没有出错，并且模型对各种品质玉米籽粒识别的置信度均达到了85%以上，其中绝大部分置信度达到了95%左右，由此可见改进后的YOLOv7-MEF模型的检测精度达到了实用要求，可以部署到实践生产环境中。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (4)
1.基于YOLOv7-MEF模型的玉米籽粒品质检测方法，其特征在于，包括以下步骤：
步骤A、构建训练数据集：采集玉米籽粒图像数据，并将采集到的玉米籽粒图像数据进行分类，包括正常、发霉、破损和发芽4个类别，对图像进行标注，构建数据集；
步骤B、构建YOLOv7-MEF模型，并基于训练数据集对模型进行训练；
其中，以YOLOv7-tiny模型作为基础模型构建YOLOv7-MEF模型，YOLOv7-MEF模型包括Backbone网络层、Neck网络层和Head网络层三个部分，通过SPPCSP模块连接Backbone网络层部分与Neck网络层部分，所述SPPCSP模块是由多个CBL结构与三个Max-Pool层共同组成；
在Backbone网络层结构中，使用ELAN结构代替原始的E-ELAN结构，并在Backbone网络层部分加入MobileNetV3模型，同时使用ESE-Net高效注意力模块替代MobileNetV3中的SE-Net模块；在Neck网络层部分采用原PANet结构进行特征聚合，PANet采用自顶向下和自底向上的双向融合骨干网络思想；在Head网络层部分中，使用CBL模块替代原REPConv模块；最后改进损失函数，用Focal-EIoU Loss替换原始的CIoU Loss；
步骤C、基于训练好的YOLOv7-MEF模型对玉米籽粒品质进行检测。
2.根据权利要求1所述的基于YOLOv7-MEF模型的玉米籽粒品质检测方法，其特征在于：所述步骤A中，对采集的玉米籽粒图像通过标注软件对其数据集进行人工标注，对输入的图像用矩形框进行特征点标注并生成对应xml文件，然后采用随机数据增强技术对标注好的图像进行扩展，并通过高斯噪声、平移与角度翻转进行数据增强处理。
3.根据权利要求1所述的基于YOLOv7-MEF模型的玉米籽粒品质检测方法，其特征在于：所述步骤C中，首先将待检测的玉米籽粒图像数据集输入到YOLOv7-MEF的 Backbone网络层，以提取玉米籽粒的特征信息编码，然后将得到的特征信息编码输入到Neck网络层中，对特征信息进行解码，最后经Head网络层实现玉米籽粒特征点的提取，并将预测结果输出。
4.根据权利要求1所述的基于YOLOv7-MEF模型的玉米籽粒品质检测方法，其特征在于：所述步骤B中，在进行模型训练时，使用精度、召回率和mAP作为模型评价指标，同时搭配模型参数量大小对模型性能进行综合评价，同时将IoU阈值取50%时的mAP值map@0.5输出作为评估模型准确度的指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410033472.0A CN117710966A (zh) | 2024-01-10 | 2024-01-10 | 基于YOLOv7-MEF模型的玉米籽粒品质检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410033472.0A CN117710966A (zh) | 2024-01-10 | 2024-01-10 | 基于YOLOv7-MEF模型的玉米籽粒品质检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117710966A true CN117710966A (zh) | 2024-03-15 |
Family
ID=90153480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410033472.0A Pending CN117710966A (zh) | 2024-01-10 | 2024-01-10 | 基于YOLOv7-MEF模型的玉米籽粒品质检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117710966A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310756A (zh) * | 2020-01-20 | 2020-06-19 | 陕西师范大学 | 一种基于深度学习的损伤玉米颗粒检测和分类方法 |
| CN116012571A (zh) * | 2021-10-19 | 2023-04-25 | 中国科学院沈阳自动化研究所 | 一种融合注意力机制的玉米籽粒破碎率实时检测方法 |
| CN116468716A (zh) * | 2023-04-26 | 2023-07-21 | 山东省计算中心（国家超级计算济南中心） | 一种基于YOLOv7-ECD的钢材表面缺陷检测方法 |
| CN117078614A (zh) * | 2023-08-11 | 2023-11-17 | 厦门大学嘉庚学院 | 一种基于改进yolox的竹条表面缺陷检测方法 |
| CN117197896A (zh) * | 2023-09-21 | 2023-12-08 | 安徽工业大学 | 一种基于深度学习的医疗废弃物暂存站异常行为实时检测方法 |
| CN117274774A (zh) * | 2023-09-20 | 2023-12-22 | 哈尔滨理工大学 | 一种基于YOLOv7的X射线安检图像危险品检测算法 |
-
2024
- 2024-01-10 CN CN202410033472.0A patent/CN117710966A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310756A (zh) * | 2020-01-20 | 2020-06-19 | 陕西师范大学 | 一种基于深度学习的损伤玉米颗粒检测和分类方法 |
| CN116012571A (zh) * | 2021-10-19 | 2023-04-25 | 中国科学院沈阳自动化研究所 | 一种融合注意力机制的玉米籽粒破碎率实时检测方法 |
| CN116468716A (zh) * | 2023-04-26 | 2023-07-21 | 山东省计算中心（国家超级计算济南中心） | 一种基于YOLOv7-ECD的钢材表面缺陷检测方法 |
| CN117078614A (zh) * | 2023-08-11 | 2023-11-17 | 厦门大学嘉庚学院 | 一种基于改进yolox的竹条表面缺陷检测方法 |
| CN117274774A (zh) * | 2023-09-20 | 2023-12-22 | 哈尔滨理工大学 | 一种基于YOLOv7的X射线安检图像危险品检测算法 |
| CN117197896A (zh) * | 2023-09-21 | 2023-12-08 | 安徽工业大学 | 一种基于深度学习的医疗废弃物暂存站异常行为实时检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| LIZHONG LI 等: "A Dual-Modal Face Anti-Spooging Method via Light-Weight Networks", IEEE, 31 December 2019 (2019-12-31), pages 1 - 5 * |
| 丘锐聪 等: "基于轻量化YOLOv7-tiny的船舶目标检测算法", 大连海事大学学报, 30 November 2023 (2023-11-30), pages 1 - 4 * |
| 刘仲鹏 等: "基于图像处理和特征优选的玉米品质识别", 江苏农业科学, no. 03, 25 March 2015 (2015-03-25), pages 393 - 396 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Parvathi et al. | Detection of maturity stages of coconuts in complex background using Faster R-CNN model | |
| CN111400536B (zh) | 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法 | |
| Zhao et al. | A detection method for tomato fruit common physiological diseases based on YOLOv2 | |
| CN115272828A (zh) | 一种基于注意力机制的密集目标检测模型训练方法 | |
| Liu et al. | Deep learning based research on quality classification of shiitake mushrooms | |
| CN111340019A (zh) | 基于Faster R-CNN的粮仓害虫检测方法 | |
| CN114898359B (zh) | 一种基于改进EfficientDet的荔枝病虫害检测方法 | |
| CN116030348A (zh) | 一种基于LS-YOLOv5网络的绿豆叶斑病病斑检测方法及装置 | |
| Gopi et al. | Transfer learning for rice leaf disease detection | |
| CN114596274A (zh) | 基于改进Cascade RCNN网络的自然背景柑橘黄龙病检测方法 | |
| Azizi et al. | Comprehensive wheat lodging detection after initial lodging using UAV RGB images | |
| Chen et al. | YOLOv8-CML: A lightweight target detection method for Color-changing melon ripening in intelligent agriculture | |
| Li et al. | Detection and identification of peach leaf diseases based on YOLO v5 improved model | |
| CN117710966A (zh) | 基于YOLOv7-MEF模型的玉米籽粒品质检测方法 | |
| CN116012571A (zh) | 一种融合注意力机制的玉米籽粒破碎率实时检测方法 | |
| CN114511850A (zh) | 一种阳光玫瑰葡萄果实大小粒图像识别方法 | |
| Huang et al. | An intelligent rice yield trait evaluation system based on threshed panicle compensation | |
| DOUTOUM et al. | Classification of Guava Leaf Disease using Deep Learning | |
| Wang et al. | Dba_ssd: a novel end-to-end object detection using deep attention module for helping smart device with vegetable and fruit leaf plant disease detection | |
| HARMANCI et al. | Classification of hazelnut species with pre-trained deep learning models | |
| Khan et al. | An intelligent and fast system for detection of grape diseases in RGB, grayscale, YCbCr, HSV and L* a* b* color spaces | |
| Xu et al. | Application of an improved lightweight YOLOv5 model to wheat stripe rust detection | |
| Shinde et al. | Deep Learning for Tea Leaf Disease Classification: Challenges, Study Gaps, and Emerging Technologies | |
| CN117611828B (zh) | 一种基于高光谱图像分割技术的非烟杂物检测方法 | |
| Pandey et al. | An Exploration of Deep Learning Techniques for the Detection of Grape Diseases |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |