CN114067109A - 谷物检测方法及检测设备、存储介质 - Google Patents

Abstract

本发明公开了一种谷物检测方法及检测设备、存储介质，方法包括：获取谷物图像训练样本集和谷物图像测试样本集；基于标注图像数据对当前谷物检测模型进行监督学习训练，并在每次训练结束后，将未标注图像数据输入至当前训练得到的谷物检测模型，并对输出的相应伪标签进行筛选得到简单和困难样本，将简单样本及其伪标签加入当前有标注训练样本集作为下一次训练的有标注训练样本集，将困难样本作为下一次训练的测试样本集；分别利用每一次训练得到的谷物检测模型对未标注图像数据进行检测，对得到的多模型检测结果进行处理得到未标注图像数据的最终检测结果。该方法，提高了目标检测准确性，使得生成的伪标签更加正确，还提高了模型性能。

Description

谷物检测方法及检测设备、存储介质

技术领域

本发明涉及谷物检测技术领域，尤其涉及一种谷物检测方法、一种计算机可读存储介质和一种谷物检测设备。

背景技术

谷物作为国家重要的粮食贮备资源，广泛用于粮食生产、饲料制作领域，有着极其重要的地位。然而，在这些加工及流通过程中缺乏快速的检测手段。各类谷物颗粒数量大，体积不一，肉眼难以区分其特征。因此依靠人工操作繁琐、工作量大且速度慢，甚至出现差错。

相关技术中采用基于全监督学习的目标检测算法、基于无监督学习的目标检测算法和基于半监督学习的目标检测算法三种检测方法，而以上三种检测方法均存在缺点。其中，基于全监督学习的目标检测算法性能严重依赖带标注的训练数据，其应用场景与数据规模影响着算法效果，在不同场景下相同任务，往往需要花费大量时间与人力来标注数据；基于无监督学习的目标检测往往不需要标签数据，而是在不断学习中尝试发现数据中的内在规律与特征，但是其性能指标远远不足全监督学习的目标检测算法；基于半监督学习的目标检测算法通过大量的未标注数据来提高全监督目标检测的性能，尤其是在只有部分数据可以获取的情况。目前大部分基于半监督学习的检测算法首先建立伪标签，并且使用该伪标签直接训练网络，但是他们没有解决伪标签数据中存在的噪音及部分数据伪标签的缺失问题，而这两点都会大大减小模型的准确性。

以上检测方法针对特定域来准备数据和训练模型，或针对多个域的特定类别谷物来准备数据和训练模型。然而，此类检测方法在不同域和不同谷物上泛化性能差。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种谷物检测方法，能够增加域适应功能，促使模型能够适用不同设备和不同谷物，并在增大数据量的基础上减少人工全部标注工作，提高目标检测准确性，使得生成的伪标签更加正确，还解决错误伪标签在训练时带来的不确定性，进一步提高模型性能，使检测结果更加准确。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种谷物检测设备。

为达到上述目的，本发明第一方面实施例提供了一种谷物检测方法，包括以下步骤：获取谷物图像训练样本集和谷物图像测试样本集，其中，所述谷物图像训练样本集中的各谷物图像数据均为标注图像数据，所述谷物图像测试样本集中的各谷物图像数据均为未标注图像数据；基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练，直到训练次数达到预设次数，其中，在每次训练结束后，将当前测试样本集中的未标注图像数据输入至当前训练得到的谷物检测模型，以输出相应的伪标签，并对所述伪标签进行筛选得到所述当前测试样本集的简单样本和困难样本，将所述简单样本及其伪标签作为标注图像数据加入当前有标注训练样本集作为下一次训练的有标注训练样本集，并将所述困难样本对应的未标注图像数据作为下一次训练的测试样本集；分别利用每一次训练得到的谷物检测模型对所述谷物图像测试样本集中的未标注图像数据进行检测，得到所述未标注图像数据的多模型检测结果，并利用软化非极大值抑制算法对所述多模型检测结果进行处理得到所述未标注图像数据的最终检测结果。

进一步地，所述基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练，包括：从预设的K种数据增强方式中随机选择k种对所述当前有标注训练样本集中的标注图像数据进行数据增强处理，其中，K、k均为正整数，K＞k，k≥4；将增强处理后的标注图像数据输入至当前谷物检测模型，输出所述标注图像数据中目标的检测结果，其中，所述当前谷物检测模型的网络架构由依次连接的预设基础网络、区域候选网络RPN、感兴趣区域池化层ROI Pooling和全连接层组成；根据所述检测结果和所述标注图像数据的标注信息对所述当前谷物检测模型进行训练。

根据本发明的一个实施例，所述对所述伪标签进行筛选得到所述当前测试样本集的简单样本和困难样本，包括：通过下式计算所述当前测试样本集中各未标注图像数据中目标的平均置信度：

，其中，第m个未标注图像数据Im的伪标签为{(bbox_m，conf_m)}^M _m=1，bbox_m为第m个未标注图像数据的边界框，conf_m为第m个未标注图像数据的置信度，

为所述平均置信度，M为第m个未标注图像数据中目标的个数；将大于当前训练阶段对应的设定阈值的平均置信度对应的未标注图像数据视为简单样本，将小于或等于当前训练阶段对应的设定阈值的平均置信度对应的未标注图像数据视为困难样本。

根据本发明的一个实施例，所述基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练，还包括：所述当前有标注训练样本集中的标注图像数据经过候选区域网络RPN处理后，输出包含目标的候选区域；将所述候选区域与各伪标签中的边界框进行交并比IOU匹配计算，得到相应的IOU值；如果候选边界框与所有伪标签中的边界框的IOU值均为0，则使用预设的辅助教师网络对所述候选区域进行分析，以判断所述候选区域是否为正样本类别；如果是，则将所述候选区域作为缺失标签添加到相应的伪标签数据中。

根据本发明的一个实施例，所述利用软化非极大值抑制算法对所述多模型检测结果进行处理得到所述未标注图像数据的最终检测结果，包括：将每个模型检测结果中的边界框添加到列表Box_a中，并建立边界框聚类列表Box_c和融合边界框列表Box_f；循环遍历Box_a中的边界框，并判断Box_f中是否存在与当前遍历的边界框匹配的融合框；如果不存在匹配融合框，则将当前遍历的边界框分别添加到Box_c与Box_f的尾部；如果存在匹配融合框，则将当前遍历的边界框添加到Box_c中，添加的位置与Box_f中匹配的融合框位置一致；遍历完Box_a中的边界框后，对Box_c中各位置的多个边界框进行融合处理得到融合框，更新Box_f和置信度；根据更新后的Box_f和置信度得到所述最终检测结果。

进一步地，利用IOU值判断Box_f中是否存在与当前遍历的边界框匹配的融合框，其中，如果存在大于预设阈值的IOU值，则将该IOU值对应的融合框作为与相应边界框匹配的融合框。

进一步地，通过下式对多个边界框进行融合处理：

，

，

其中，T为对应位置索引下边界框聚类列表Box_c下所有边界框的个数，C_i为T中第i个边界框的置信度，X1,2_i与Y1,2_i为融合前的T中第i个边界框坐标（x1,y1）_i、（x2,y2）_i，X1,2与Y1,2为融合后的融合框坐标（x1,y1）、（x2,y2）。

进一步地，通过下式对置信度进行融合调整：

，

，

其中，N为参与预测的检测模型数，T为对应位置索引下边界框聚类列表Box_c下所有的边界框的个数，C为置信度得分，

为融合调整后的置信度。

根据本发明实施例的谷物检测方法，能够增加域适应功能，促使模型能够适用不同设备和不同谷物，并在增大数据量的基础上减少人工全部标注工作，提高目标检测准确性，使得生成的伪标签更加正确，还解决错误伪标签在训练时带来的不确定性，进一步提高模型性能，使检测结果更加准确。

为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述的谷物检测方法。

为达到上述目的，本发明第三方面实施例提出了一种谷物检测设备，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现所述的谷物检测方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是本发明一个实施例的谷物检测方法的流程图；

图2是本发明一本实施例的谷物检测方法的示意图；

图3是本发明一个具体实施例的谷物检测方法的流程图；

图4是本发明一个实施例的bootleneck的示意图；

图5是本发明一个实施例的ResNet50的示意图；

图6是本发明一个实施例的辅助教师网络对候选区域进行分析的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图1-3描述本发明实施例的谷物检测方法及检测设备、存储介质。

图1是本发明一个实施例的谷物检测方法的流程图。如图1所示，谷物检测方法，包括以下步骤：

S101、获取谷物图像训练样本集和谷物图像测试样本集，其中，谷物图像训练样本集中的各谷物图像数据均为标注图像数据，谷物图像测试样本集中的各谷物图像数据均为未标注图像数据。

S102、基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练，直到训练次数达到预设次数，其中，在每次训练结束后，将当前测试样本集中的未标注图像数据输入至当前训练得到的谷物检测模型，以输出相应的伪标签，并对伪标签进行筛选得到当前测试样本集的简单样本和困难样本，将简单样本及其伪标签作为标注图像数据加入当前有标注训练样本集作为下一次训练的有标注训练样本集，并将困难样本对应的未标注图像数据作为下一次训练的测试样本集。

作为一个示例，基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练，可包括：从预设的K种数据增强方式中随机选择k种对当前有标注训练样本集中的标注图像数据进行数据增强处理，其中，K、k均为正整数，K＞k，k≥4；将增强处理后的标注图像数据输入至当前谷物检测模型，输出标注图像数据中目标的检测结果，其中，当前谷物检测模型的网络架构由依次连接的预设基础网络、RPN（Region ProposalNetwork，区域候选网络，在输入数据可能存在物体位置的区域生成候选框，并将该候选区域输入后续检测网络）、ROI Pooling（Regions Of InterestPooling，感兴趣区域池化层）和全连接层组成；根据检测结果和标注图像数据的标注信息对当前谷物检测模型进行训练。

具体地，相关检测方法一般都会使用数据增强，如：旋转、随机裁剪等方式，从而使网络更加鲁棒，并且，相关检测方法仅采用固定的3-4种不同的数据增强方式。而本发明采用将预设的K种（如10个以上）数据增强方式集成到一起，并且在数据增强时随机选择k种增强方式，使用k种增强方式对当前有标注训练样本集中的标注图像数据10进行数据增强20处理（参见图2）。其中，k是在数据增强方式总数之间随机生成，K、k均为正整数，K＞k，k≥4。由此，组合不同数据增强方式，在训练时随机选取数据增强方式与数据增强方式的数量，数据经过这种强数据增强，它的域与原来的域产生变化（即不断生成新的域），从而提高了算法的域适应，使得算法能够适应不同域下不同设备不同谷物的检测。

进一步地，参见图2，将增强处理20后的标注图像数据10输入至当前谷物检测模型30，输出标注图像数据10中目标即谷物的检测结果（如当前图像中谷物的类别信息与位置信息），其中，当前谷物检测模型30的网络架构由依次连接的预设基础网络31、区域候选网络RPN32、感兴趣区域池化层ROI Pooling33和全连接层34组成。根据检测结果和标注图像数据10的标注信息对当前谷物检测模型30进行训练。

需要说明的是，为了有效提取深层特征，预设基础网络31采用ResNet50（ResidualNetwork，残差网络），ResNet50由多个“bottleneck（瓶颈层）”组成。“bottleneck”如图4所示：输入首先经过1×1卷积，BN（Batch Normalization，批归一化）与ReLu（RectifiedLinear Unit，激活函数）；然后输入下一层3×3卷积，批归一化BN与激活函数ReLu；最后输入下一层1×1卷积，批归一化BN，同时将前几层的输入与该层进行特征融合；当维度不一致（即×1-d不等于×4-d）时使用1×1卷积保证维度一致，该操作称为“shortrcutconnection（跳跃连接）”，使网络提取更深层次特征的基础上防止梯度消失。ResNet50结构如5所示，网络分为7×7步长为2的卷积，3×3步长为2的池化，4个阶段的bottleneck层（即bottleneck模块），其中，各个阶段的bottleneck层数量有所不同，并且特征图尺度不断缩小。由此，得到特征图。

进一步地，判断当前训练次数是否与预设次数相等，相等则训练完成。其中，在每次训练结束后，参见图2，可将当前测试样本集中的未标注图像数据40输入至使用标注图像数据10训练得到的当前谷物检测模型30中，以输出相应的伪标签。还可使用上述数据增强20处理对当前测试样本集中的未标注图像数据40进行数据处理，再将经数据增强20处理后的未标注图像数据40，输入至使用标注图像数据10训练得到的当前谷物检测模型30中，以输出相应的伪标签。需要说明的是，还可使用生成的伪标签和未标注图像数据40作为输入，来训练使用标注图像数据10训练得到的当前谷物检测模型30。

需要说明的是，相关半监督学习的目标检测算法采用单个阶段训练，即将所有未标注数据40生成的伪标签，全部用于训练使用标注图像数据10训练得到的当前谷物检测模型30。它们忽略了伪标签不同于人工标注，是当前谷物检测模型30的一个预测，因此，一幅图像数据不可避免会包含正确信息与错误信息，其中，正确的信息能够提升当前谷物检测模型30性能，而错误的信息则有损性能。这种单阶段训练方式假设所有伪标签都是正确的，忽略了错误标签信息对算法的影响。但算法预测的准确性往往与样本有着联系，包含正确信息越多的样本无疑越能提高算法性能，错误信息是数据中的噪音，网络不断拟合噪音数据使整个当前谷物检测模型30性能下降。由此，本发明对伪标签进行筛选得到当前测试样本集的简单样本和困难样本。其中，包含正确信息的图像称为简单样本，而包含较多错误信息的图像称为困难样本。

进一步地，对伪标签进行筛选得到当前测试样本集的简单样本和困难样本，可包括：通过下式计算当前测试样本集中各未标注图像数据中目标的平均置信度：

，其中，第m个未标注图像数据Im的伪标签为{(bbox_m，conf_m)}^M _m=1，bbox_m为第m个未标注图像数据的边界框，conf_m为第m个未标注图像数据的置信度，

为平均置信度，M为第m个未标注图像数据中目标的个数；将大于当前训练阶段对应的设定阈值的平均置信度对应的未标注图像数据视为简单样本，将小于或等于当前训练阶段对应的设定阈值的平均置信度对应的未标注图像数据视为困难样本。

具体地，相关半监督学习的目标检测算法并未考虑错误伪标签的噪音问题，本发明提出置信度均值方式来消除伪标签生成中产生的噪音。但是未标注图像数据40没有标注信息，无法判断当前未标注图像数据40是简单样本，还是困难样本（参见图2），然而这些数据都含有伪标签。对于第m个未标注图像数据Im的伪标签为{(bbox_m，conf_m)}^M _m=1，bbox_m为第m个未标注图像数据的边界框，conf_m为第m个未标注图像数据的置信度，

为平均置信度，M为第m个未标注图像数据中目标的个数，可通过下式求得未标注图像数据Im中目标即谷物的平均置信度：

，

当平均置信度大于当前训练阶段设定的阈值（如0.5）时，对应的未标注图像数据便视为简单样本。当平均置信度小于或等于当前训练阶段设定的阈值（如0.5）时，对应的未标注图像数据便视为困难样本。由此，使用计算平均置信度的方式来区分简单样本和困难样本，去除噪音，保证数据正确性。

进一步地，将简单样本及其伪标签作为标注图像数据加入当前有标注训练样本集作为下一次训练的有标注训练样本集，并将困难样本对应的未标注图像数据作为下一次训练的测试样本集。

具体地，参见图2，本发明基于级联网络思想，提出了一种多阶段训练方式，在初始阶段使用简单样本训练，不断提高伪标签的准确性，从而将在初始阶段中被预测为困难样本的在后续阶段转变为简单样本，每个阶段针都会缩小困难样本的范围，不断提升伪标签正确性。由此，使得每个阶段的当前谷物检测模型关注自身最有把握的预测，减少了困难样本中噪音对当前谷物检测模型的损害。

需要说明的是，参见图3，将上述对伪标签进行筛选得到当前测试样本集的简单样本和困难样本，以及将简单样本及其伪标签作为标注图像数据加入当前有标注训练样本集作为下一次训练的有标注训练样本集，并将困难样本对应的未标注图像数据作为下一次训练的测试样本集作为一个整体。具体为，使用少部分标注图像数据训练好的当前谷物检测模型30作为初始检测网络，对大部分未标注图像数据生成伪标签，生成的伪标签经过噪音消除即过滤困难样本，将保留的简单样本作为输入数据开始当前谷物检测模型训练。每次训练结束后，判断当前训练次数是否与预设次数相等，相等则训练完成。如果不相等，则使用这一阶段训练得到的当前谷物检测模型30继续对未标注图像数据40进行伪标签生成，并重复上述步骤。由于初始网络加入伪标签数据训练后，检测准确度相应提高，下一阶段伪标签的置信度提高，则简单样本量增大。随着不断的训练，简单样本的数据量慢慢扩大至整个未标注图像数据量。

另外，伪标签生成依赖于少部分标注图像数据10训练的当前谷物检测模型30，通过少部分标注图像数据10训练的当前谷物检测模型30来预测大部分未标注图像数据40的伪标签，由于网络没有很好的拟合，部分未标注图像数据40会出现数据中的很多物体未被检测出，从而导致伪标签缺失，尤其是在遮挡、高密度等复杂情况。而谷物无疑是密度很高且存在遮挡的，最终导致部分未标注图像数据40数据缺失伪标签，而这样的数据应划分为错误数据，使用错误数据训练当前谷物检测模型30无疑降低了算法的准确性。由此，本发明提出了使用更加鲁棒的辅助教师网络50，对可能遗漏的伪标签作出修正，得到正确的伪标签。

作为另一个示例，基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练，还可包括：当前有标注训练样本集中的标注图像数据经过候选区域网络RPN处理后，输出包含目标的候选区域；将候选区域与各伪标签中的边界框进行交并比IOU（Intersection Over Union，交并比）匹配计算，得到相应的IOU值；如果候选边界框与所有伪标签中的边界框的IOU值均为0，则使用预设的辅助教师网络对候选区域进行分析，以判断候选区域是否为正样本类别；如果是，则将候选区域作为缺失标签添加到相应的伪标签数据中。

具体地，当前有标注训练样本集中的标注图像数据经过候选区域网络RPN处理（即在输入数据可能存在物体位置的区域生成候选框，并将该候选区域输入后续检测网络）后，会列举出所有可能包含目标即谷物的候选区域，参见图2，这些候选区域与各伪标签中的边界框进行IOU匹配计算（即通过计算两边界框的交集与并集的比值衡量边界框的重叠程度），得到相应的IOU值。当出现某个RPN提出的候选边界框与所有伪标签框中的IOU均为0，则使用辅助教师网络50对该候选区域进行分析（如图6所示），即未匹配的候选边界框映射回原图后，选取对应区域送入辅助教师网络50，辅助教师网络50会输出对应类别或背景，只有非背景的类别区域才会被视为正样本类别；如果该区域为正样本类别，则将该候选区域作为缺失的标签添加到伪标签数据中。其中，辅助教师网络50采用ResNet50，并且，辅助教师网络50为大量数据训练的分类网络，分类数据无需标注，将谷物类别依据对应文件夹保存即可。由此，使用辅助教师网络来补全缺失的伪标签，提高伪标签的正确性，从而提高当前谷物检测模型准确性。

S103、分别利用每一次训练得到的谷物检测模型对谷物图像测试样本集中的未标注图像数据进行检测，得到未标注图像数据的多模型检测结果，并利用软化非极大值抑制算法对多模型检测结果进行处理得到未标注图像数据的最终检测结果。

具体地，分别利用每一次训练得到的谷物检测模型对谷物图像测试样本集中的未标注图像数据进行检测，得到未标注图像数据的多模型检测结果（即将所有模型的检测结果集中到一起）。然后，进行常规的NMS(Non-Maximum Suppression，非极大值抑制，常用于目标检测后处理过程中，用来消除检测结果中同一物体出现重复框的情况)操作。而常规的NMS操作是一个略显粗暴（hard）的操作，因为NMS将IOU大于阈值的边界框全部移除。这种操作是不合理的，因此，本发明将soft-NMS（即缓和的非极大值抑制）算法以及WBF（WeightedBoxes Fusion，WBF-目标框加权融合）用于模型结果的加权融合，其中，soft-NMS排除了一些框，但是WBF利用了所有框的信息，可以解决某些情况下，模型预测的框不准确的问题。由此，考虑所有检测结果的边界框，最终确定的边界框由所有边界框融合得到，使结果更合理。

进一步地，利用软化非极大值抑制算法对多模型检测结果进行处理得到未标注图像数据的最终检测结果，可包括：将每个模型检测结果中的边界框添加到列表Box_a中，并建立边界框聚类列表Box_c和融合边界框列表Box_f；循环遍历Box_a中的边界框，并判断Box_f中是否存在与当前遍历的边界框匹配的融合框；如果不存在匹配融合框，则将当前遍历的边界框分别添加到Box_c与Box_f的尾部；如果存在匹配融合框，则将当前遍历的边界框添加到Box_c中，添加的位置与Box_f中匹配的融合框位置一致；遍历完Box_a中的边界框后，对Box_c中各位置的多个边界框进行融合处理得到融合框，更新Box_f和置信度；根据更新后的Box_f和置信度得到最终检测结果。

具体地，对于多个模型的输出结果，将每个模型检测结果中的边界框添加到同一个列表中Box_a，并且可依据置信度得分C降序排列，其中，

；建立边界框聚类列表Box_c与融合边界框列表Box_f，Box_c中每个位置可以一组，具有多个边界框，Box_f为对应边界框融合后的边界框列表；循环遍历Box_a的边界框，并且在Box_f中寻找与当前遍历的边界框匹配的融合框，其中，可利用IOU值判断Box_f中是否存在与当前遍历的边界框匹配的融合框，如果存在大于预设阈值的IOU值，则将该IOU值对应的融合框作为与相应边界框匹配的融合框；若不存在匹配融合框，则将Box_a中当前遍历的边界框分别添加到Box_c与Box_f的尾部，并且继续下一个边界框的匹配；若存在匹配融合框，则将Box_a中当前遍历的边界框添加到Box_c中，添加的位置与Box_f中匹配的融合框位置一致。

进一步地，遍历完Box_a中的边界框后，可通过下式对Box_c中各位置的多个边界框进行融合处理得到融合框（参见图2），并更新Box_f：

，

，

其中，T为对应位置索引下边界框聚类列表Box_c下所有边界框的个数，C_i为T中第i个边界框的置信度，X1,2_i与Y1,2_i为融合前的T中第i个边界框坐标（x1,y1）_i、（x2,y2）_i，X1,2与Y1,2为融合后的融合框坐标（x1,y1）、（x2,y2）。

进一步地，可通过下式对置信度进行融合调整即更新置信度：

，

，

其中，N为参与预测的检测模型数，T为对应位置索引下边界框聚类列表Box_c下所有的边界框的个数，C为置信度得分，

为融合调整后的置信度即更新后的置信度。再根据更新后的Box_f和置信度得到未标注图像数据的最终检测结果。其中，更新后的Box_f包含了目标即谷物的位置信息与类别信息，因融合了多个模型的检测结果，输出的边界框与置信度更加准确。根据这些位置信息与类别信息可进行后续其他操作。

综上所述，该谷物检测方法，能够增加域适应功能，促使模型能够适用不同设备和不同谷物，并在增大数据量的基础上减少人工全部标注工作，提高目标检测准确性，使得生成的伪标签更加正确，还解决错误伪标签在训练时带来的不确定性，进一步提高模型性能，使检测结果更加准确。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述实施例的谷物检测方法。

本发明实施例的计算机可读存储介质，在其上存储的与上述谷物检测方法对应的计算机程序被处理器执行时，能够增加域适应功能，促使模型能够适用不同设备和不同谷物，并在增大数据量的基础上减少人工全部标注工作，提高目标检测准确性，使得生成的伪标签更加正确，还解决错误伪标签在训练时带来的不确定性，进一步提高模型性能，使检测结果更加准确。

本发明还提供了一种谷物检测设备，包括存储器、处理器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现上述实施例的谷物检测方法。

本发明实施例的谷物检测设备，在其存储器上存储的与上述谷物检测方法对应的计算机程序被处理，能够增加域适应功能，促使模型能够适用不同设备和不同谷物，并在增大数据量的基础上减少人工全部标注工作，提高目标检测准确性，使得生成的伪标签更加正确，还解决错误伪标签在训练时带来的不确定性，进一步提高模型性能，使检测结果更加准确。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种谷物检测方法，其特征在于，包括以下步骤：

获取谷物图像训练样本集和谷物图像测试样本集，其中，所述谷物图像训练样本集中的各谷物图像数据均为标注图像数据，所述谷物图像测试样本集中的各谷物图像数据均为未标注图像数据；

基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练，直到训练次数达到预设次数，其中，在每次训练结束后，将当前测试样本集中的未标注图像数据输入至当前训练得到的谷物检测模型，以输出相应的伪标签，并对所述伪标签进行筛选得到所述当前测试样本集的简单样本和困难样本，将所述简单样本及其伪标签作为标注图像数据加入当前有标注训练样本集作为下一次训练的有标注训练样本集，并将所述困难样本对应的未标注图像数据作为下一次训练的测试样本集；

分别利用每一次训练得到的谷物检测模型对所述谷物图像测试样本集中的未标注图像数据进行检测，得到所述未标注图像数据的多模型检测结果，并利用软化非极大值抑制算法对所述多模型检测结果进行处理得到所述未标注图像数据的最终检测结果。

2.如权利要求1所述的谷物检测方法，其特征在于，所述基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练，包括：

从预设的K种数据增强方式中随机选择k种对所述当前有标注训练样本集中的标注图像数据进行数据增强处理，其中，K、k均为正整数，K＞k，k≥4；

将增强处理后的标注图像数据输入至当前谷物检测模型，输出所述标注图像数据中目标的检测结果，其中，所述当前谷物检测模型的网络架构由依次连接的预设基础网络、区域候选网络RPN、感兴趣区域池化层ROI Pooling和全连接层组成；

根据所述检测结果和所述标注图像数据的标注信息对所述当前谷物检测模型进行训练。

3.如权利要求2所述的谷物检测方法，其特征在于，所述对所述伪标签进行筛选得到所述当前测试样本集的简单样本和困难样本，包括：

通过下式计算所述当前测试样本集中各未标注图像数据中目标的平均置信度：

，

其中，第m个未标注图像数据Im的伪标签为{(bbox_m，conf_m)}^M _m=1，bbox_m为第m个未标注图像数据的边界框，conf_m为第m个未标注图像数据的置信度，

为所述平均置信度，M为第m个未标注图像数据中目标的个数；

将大于当前训练阶段对应的设定阈值的平均置信度对应的未标注图像数据视为简单样本，将小于或等于当前训练阶段对应的设定阈值的平均置信度对应的未标注图像数据视为困难样本。

4.如权利要求3所述的谷物检测方法，其特征在于，所述基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练，还包括：

所述当前有标注训练样本集中的标注图像数据经过候选区域网络RPN处理后，输出包含目标的候选区域；

将所述候选区域与各伪标签中的边界框进行交并比IOU匹配计算，得到相应的IOU值；

如果候选边界框与所有伪标签中的边界框的IOU值均为0，则使用预设的辅助教师网络对所述候选区域进行分析，以判断所述候选区域是否为正样本类别；

如果是，则将所述候选区域作为缺失标签添加到相应的伪标签数据中。

5.如权利要求1所述的谷物检测方法，其特征在于，所述利用软化非极大值抑制算法对所述多模型检测结果进行处理得到所述未标注图像数据的最终检测结果，包括：

将每个模型检测结果中的边界框添加到列表Box_a中，并建立边界框聚类列表Box_c和融合边界框列表Box_f；

循环遍历Box_a中的边界框，并判断Box_f中是否存在与当前遍历的边界框匹配的融合框；

如果不存在匹配融合框，则将当前遍历的边界框分别添加到Box_c与Box_f的尾部；

如果存在匹配融合框，则将当前遍历的边界框添加到Box_c中，添加的位置与Box_f中匹配的融合框位置一致；

遍历完Box_a中的边界框后，对Box_c中各位置的多个边界框进行融合处理得到融合框，更新Box_f和置信度；

根据更新后的Box_f和置信度得到所述最终检测结果。

6.如权利要求5所述的谷物检测方法，其特征在于，利用IOU值判断Box_f中是否存在与当前遍历的边界框匹配的融合框，其中，如果存在大于预设阈值的IOU值，则将该IOU值对应的融合框作为与相应边界框匹配的融合框。

7.如权利要求5所述的谷物检测方法，其特征在于，通过下式对多个边界框进行融合处理：

，

，

其中，T为对应位置索引下边界框聚类列表Box_c下所有边界框的个数，C_i为T中第i个边界框的置信度，X1,2_i与Y1,2_i为融合前的T中第i个边界框坐标（x1,y1）_i、（x2,y2）_i，X1,2与Y1,2为融合后的融合框坐标（x1,y1）、（x2,y2）。

8.如权利要求5所述的谷物检测方法，其特征在于，通过下式对置信度进行融合调整：

，

，

其中，N为参与预测的检测模型数，T为对应位置索引下边界框聚类列表Box_c下所有的边界框的个数，C为置信度得分，

为融合调整后的置信度。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8中任一项所述的谷物检测方法。

10.一种谷物检测设备，包括存储器、处理器以及存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现权利要求1-8中任一项所述的谷物检测方法。

Images