CN116485766A - 一种基于改进yolox的粮食不完善粒检测和计数方法 - Google Patents

Abstract

本发明公开了一种基于改进YOLOX的粮食不完善粒检测和计数方法,包括以下步骤：S1、采集不同密集程度单层随机排布的粮食不完善籽粒原始RGB图像，并根据虫蚀粒、病斑粒、破损粒、生芽粒、生霉粒和完善粒进行框选分类标记，建立原始图像数据集；S2、将原始图像数据集输入至所述改进YOLOX网络模型，确定所述改进YOLOX网络模型的学习参数；S3、对存在交错特征的颗粒总计数进行修正，得到粮食不完善粒的检测模型；S4、根据待检测的粮食不完善粒实物图片或者视频，实现对待检测的粮食不完善粒的检测，得到各类不完善粒的计数结果。本发明适合粮食不完善粒细粒度特征识别和高通量检测计数的深度学习网络结构以提高检测和计数的准确率。

Description

一种基于改进YOLOX的粮食不完善粒检测和计数方法

技术领域

本发明涉及粮食在线检测技术领域，尤其涉及一种基于改进YOLOX的粮食不完善粒检测和计数方法。

背景技术

粮食在农业生产、流通和食品加工中具有重要地位。在粮食的贮存、生产、运输等过程中会产生粮食不完善粒，如GB 1351-2008《小麦》中，不完善粒是指受到损伤但尚有使用价值的小麦颗粒。包括虫蚀粒、病斑粒、破碎粒、生芽粒和生霉粒。粮食不完善粒是粮食收购等流通过程中质量检验的重要指标之一，粮食不完善粒对粮食的储藏和加工有很大影响，很容易出现粮食质量和安全问题。目前，对于粮食不完善粒的检测方法主要有人工检测和机器视觉的识别方法。其中人工检测的方法主要依赖于检测员的主观判断，检测过程费时费力，可重复性低，无法满足大规模的麦粒快速准确检测的要求。

近年来，利用机器视觉进行麦粒自动识别的方法受到了普遍关注，机器视觉检测方法一类是基于人工特征提取的方法，利用相机拍摄粮食图像，通过对图像进行分析处理，计算出粮食的颜色，纹理及形态等多种特征参数，该方法克服了人工检测的缺点，而且在识别过程中保证了粮食籽粒的完整性。但是，该方法需要人工提取特征参数，不断测试择优且过程较为复杂，而且粮食品种混合、不完善粒间存在交错现象(如单个破碎麦粒在某个部位有病斑)且易受到光照因素的影响，导致在实际应用中难以找到准确、稳定的特征，识别准确率也较为不稳定。

另一类是基于深度学习特征自提取的方法，是一种端到端的方案，由卷积神经网络自动提取缺陷的特征。深度学习算法的特征自提取能力使得网络可以自动学习到不完善粒表征的图像特征，其对于不完善粒目标从局部到全局的理解，如从结构信息到语义信息，分布在网络的不同层中，最终形成对不完善粒目标的整体感知。但是，粮食不完善粒之间形态颜色等差异微弱，不同不完善粒局部特征区别很小，这对识别及计数有一定的困难，亟需设计适合粮食不完善粒细粒度特征识别和高通量检测计数的深度学习网络结构以提高检测和计数的准确率。

本发明选择使用YOLOX作为框架基础，向其中添加CBAM注意力模块，CBAM注意力模块可以让网络模型更多地关注图像中用于区分不同不完善粒的特征部分，从而忽略一些无用的信息，改进后的YOLOX结构如图3。YOLOX是基于YOLOv3-SSP改进而来，使用了很多模块如图3所示，比如Focus,CSP(Cross Stage Partial connections),SPP(Sptial PyramidPooling)和FPN(Feature Pyramid Network)，PAN(Pixel Aggregation Network)等。同时YOLOX还运用了很多小技巧比如使用Anchor Free的思想，对于小麦不完善粒的小样本检测不需要通过聚类分析筛选合适的先验框大小，增强了模型的泛化能力，同时减小了参数量。使用SimOTA为不同大小的目标动态匹配正样本。使用Decoupled Head的结构，将Head中的分类和回归分成两个分支。综上所述，的在YOLOX中合适的位置添加合适数量的CBAM模块对于粮食不完善粒细粒度特征具有更好的识别能力，对籽粒类小样本的检测更加合适。

发明内容

本发明提出的一种基于改进YOLOX的粮食不完善粒检测和计数方法，适合粮食不完善粒细粒度特征识别和高通量检测计数的深度学习网络结构以提高检测和计数的准确率。

为了实现上述目的，本发明采用了如下技术方案：

一种基于改进YOLOX的粮食不完善粒检测和计数方法，包括以下步骤：

S1、采集不同密集程度单层随机排布的粮食不完善籽粒原始RGB图像，并根据虫蚀粒、病斑粒、破损粒、生芽粒、生霉粒和完善粒进行框选分类标记，建立原始图像数据集；

S2、构建融合注意力模块的改进YOLOX网络模型框架，将原始图像数据集输入至所述改进YOLOX网络模型，确定所述改进YOLOX网络模型的学习参数；

S3、基于所述改进YOLOX网络模型的学习参数，对存在交错特征的颗粒总计数进行修正，得到粮食不完善粒的检测模型；

S4、基于所述粮食不完善粒检测模型，根据待检测的粮食不完善粒实物图片或者视频，实现对待检测的粮食不完善粒的检测，得到各类不完善粒的计数结果。

优选地，所述的S2中构建融合注意力模块的改进YOLOX网络模型框架，包括：

将YOLOX模型分解为Backbone网络、FPN网络、PAN网络和Head网络；

将Backbone网络中的Darknet53替换为CSPDarknet；

将Backbone网络中获得的三个特征层Feat1、Feat2和Feat3后分别添加CBAM注意力模块；

将FPN网络中经过上采样后的特征层后添加CBAM注意力模块。

优选地，所述的S3中对存在交错特征的颗粒总计数进行修正，修正方法如下：

将改进YOLOX网络模型检测得到颗粒检测结果的坐标逐一计算Iou，Iou表示两个框重叠程度,如果IoU＞0.8，则认为出现交错特征现象，则将检测总数减一，

公式中分子部分表示预测框与真实框的交叉部分面积大小，分母部分表示预测框加上真实框所占的面积大小。

与现有技术相比，本发明提供了一种粮食不完善粒的在线机器视觉识别技术，粮食籽粒无需特殊摆放，均可对其拍摄后用该方法一次识别，能够为粮食仓储、流通等环节的提供高效的粮食质量检测方法。本发明对YOLOX模型框架添加注意力模块进行改进，得到改进的YOLOX模型框架，以提高对粮食不完善粒多尺度特征或交错特征等细粒度特征高通量检测和计数精度；构建粮食不完善粒细粒度特征识别的YOLOX网络模型，需要构建适用于不完善粒特征尺度的注意力模块位置及数量；对改进的YOLOX模型框架进行训练，并对存在交错特征的颗粒总计数进行修正，得到粮食不完善粒检测模型。

附图说明

图1为本发明实施例提供的一种基于改进YOLOX的粮食不完善粒检测和计数方法的流程示意图；

图2为本发明实施例提供的注意力机制模块结构示意图；

图3为本发明实施例提供的改进YOLOX网络结构示意图；

图4为本发明实施例的待检测小麦不完善籽粒的示例图像；

图5为本发明实施例的改进YOLOX模型对待检测小麦不完善籽粒的识别计数结果示例图像。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1，本发明提出的一种基于改进YOLOX的粮食不完善粒检测和计数方法，

S1、采集不同密集程度单层随机排布的粮食不完善籽粒原始RGB图像，并根据虫蚀粒、病斑粒、破损粒、生芽粒、生霉粒和完善粒进行框选分类标记，建立原始图像数据集；

采集粮食籽粒图像的方法是，取随机数目的粮食籽粒置于黑色背景板上，拍摄相机在粮食籽粒上方拍摄获取粮食籽粒图片，为保证训练样本充足，按照每张图片5-30粒标准拍摄1500张包含粮食籽粒的图像。为了保证测试集的独立性，另取一份籽粒样品按照每张20-50粒标注拍摄100张图片。并使用Labelimg软件分别对每张图片进行人工标注。拍摄所得数据集图片均为1920×1080像素大小，训练中使用1500张图片按照9：1划分为训练集和验证集。测试集使用100张图像。参照图4、图5，图4为本发明实施例的待检测小麦不完善籽粒的示例图像；图5为本发明实施例的改进YOLOX模型对待检测小麦不完善籽粒的识别计数结果示例图像。

S2、构建融合注意力模块的改进YOLOX网络模型框架，将原始图像数据集输入至所述改进YOLOX网络模型，确定所述改进YOLOX网络模型的学习参数；

本实施例构建的网络模型请参阅图3，网络按照结构划分为四个部分，分别为Backbone网络、FPN网络、PAN网络和Head网络；

其中Backbone网络第一层为数据输入层，用于接收训练图像，大小为(640，640，3)的特征层。后经过Focus网络，Focus网络的操作是使用一个2×2的卷积核对特征层进行隔像素取值。后经过两次CBS(Convlutation+Batch Normalazation+SiLU激活函数)。再经过一次CSP网络，CSP网络的操作为将输入层为两个分支，一个分支经过一次CBS，另一个分支经过n次两个CBS结构并将输入与输出连接起来，之后再将这两个分支的结果相连接后再经过一次CBS。

通过第一次CBS和CSP网络获得第一个特征提取层Feature1。通过第二次CBS和CSP网络获得第二个特征提取层Feature2。再通过第三次CBS、SPP网络和CSP网络获得第三个特征提取层Feature3，SPP网络的操作为对输入的结果先经过一次CBS后经过不同步长的最大池化，步长分别为1、5、9和13。再将结果连接起来经过一次CBS。

FPN网络结构为将Backbone中得到的三个特征提取层Feature1、Feature2和Feature3分别经过一次CBAM模块获得新的Feature1、Feature2和Feature3。CBAM的具体网络模型请参阅图2。将Feat3经过一次卷积加上采样加CBAM，然后将经过上采样后的特征层和经过CBAM的特征层相连接。再将输出和Feat2相连接经过一次CSP加卷积加上采样加CBAM，将经过上采样后的特征层和经过CBAM的特征层相连接，将输出和Feature3相连接。

PAN网络结构为将FPN的输出经过一次CSP获得了第一个Feature1。经过一次下采样和CSP获得第二个Feature2。再经过一次下采样和CSP获得第三个Feature3。

Head网络结构为将获得的三个Feature经过一次CBS后分为两个分支，分别经过两个CBS，这两个分支的结果分别用于预测分类和回归坐标。

本实施例还在卷积神经网络模型的训练中采用迁移学习的方法，使用预训练好的网络权重作为初始权重。具体的训练过程如下：

训练一共迭代150次，其中前50个迭代冻结Backbone网络，这时Backbone网络的权重不会发生改变，加速网络收敛。50个迭代以后解冻Backbone网络，这时整个网络的权重都会发生改变。网络训练过程中学习率设置为0.0001。

S3、基于所述改进YOLOX网络模型的学习参数，对存在交错特征的颗粒总计数进行修正，得到粮食不完善粒的检测模型；

所述的S3中对存在交错特征的颗粒总计数进行修正，修正方法如下：

将改进YOLOX网络模型检测得到颗粒检测结果的坐标逐一计算Iou，Iou表示两个框重叠程度,如果IoU＞0.8，则认为出现交错特征现象，则将检测总数减一，

公式中分子部分表示预测框与真实框的交叉部分面积大小，分母部分表示预测框加上真实框所占的面积大小。

计数方法通常通过计算单个检测图像中的边界盒数来实现。考虑到单个小麦籽粒可能具有多个不健全的籽粒特征，这意味着单个籽粒在检测过程中可能具有多个标记框。如果用这种方法来检测不完美晶粒的数量，总数将出现计数错误。在这种情况下，设计了上述算法来消除重复计算的次数。实际操作是获取所有检测到的边界框的坐标信息，逐个计算IoU，并将IoU阈值设置为0.8。当两个边界框的IoU大于0.8时，认为单个内核有多个边界框，这种情况在总数中被删除。

S4、基于所述粮食不完善粒检测模型，根据待检测的粮食不完善粒实物图片或者视频，实现对待检测的粮食不完善粒的检测，得到各类不完善粒的计数结果。

训练时，将1500张图片按照9：1划分为训练集和验证集。使用另外拍摄的100张图片作为测试集，以下为测试结果：

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于改进YOLOX的粮食不完善粒检测和计数方法，其特征在于，包括以下步骤：

S1、采集不同密集程度单层随机排布的粮食不完善籽粒原始RGB图像，并根据虫蚀粒、病斑粒、破损粒、生芽粒、生霉粒和完善粒进行框选分类标记，建立原始图像数据集；

S2、构建融合注意力模块的改进YOLOX网络模型框架，将原始图像数据集输入至所述改进YOLOX网络模型，确定所述改进YOLOX网络模型的学习参数；

S3、基于所述改进YOLOX网络模型的学习参数，对存在交错特征的颗粒总计数进行修正，得到粮食不完善粒的检测模型；

S4、基于所述粮食不完善粒检测模型，根据待检测的粮食不完善粒实物图片或者视频，实现对待检测的粮食不完善粒的检测，得到各类不完善粒的计数结果。

2.根据权利要求1所述的一种基于改进YOLOX的粮食不完善粒检测和计数方法，其特征在于，所述的S2中构建融合注意力模块的改进YOLOX网络模型框架，包括：

将YOLOX模型分解为Backbone网络、FPN网络、PAN网络和Head网络；

将Backbone网络中的Darknet53替换为CSPDarknet；

将Backbone网络中获得的三个特征层Feat1、Feat2和Feat3后分别添加CBAM注意力模块；

将FPN网络中经过上采样后的特征层后添加CBAM注意力模块。

3.根据权利要求1所述的一种基于改进YOLOX的粮食不完善粒检测和计数方法，其特征在于，所述的S3中对存在交错特征的颗粒总计数进行修正，修正方法如下：

将改进YOLOX网络模型检测得到颗粒检测结果的坐标逐一计算Iou，Iou表示两个框重叠程度,如果IoU＞0.8，则认为出现交错特征现象，则将检测总数减一，

公式中分子部分表示预测框与真实框的交叉部分面积大小，分母部分表示预测框加上真实框所占的面积大小。