CN114067109A - 谷物检测方法及检测设备、存储介质 - Google Patents

谷物检测方法及检测设备、存储介质 Download PDF

Info

Publication number
CN114067109A
CN114067109A CN202210036372.4A CN202210036372A CN114067109A CN 114067109 A CN114067109 A CN 114067109A CN 202210036372 A CN202210036372 A CN 202210036372A CN 114067109 A CN114067109 A CN 114067109A
Authority
CN
China
Prior art keywords
image data
box
grain
training
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210036372.4A
Other languages
English (en)
Other versions
CN114067109B (zh
Inventor
武勇
刘涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Gaozhe Information Technology Co ltd
Original Assignee
Anhui Gaozhe Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Gaozhe Information Technology Co ltd filed Critical Anhui Gaozhe Information Technology Co ltd
Priority to CN202210036372.4A priority Critical patent/CN114067109B/zh
Publication of CN114067109A publication Critical patent/CN114067109A/zh
Application granted granted Critical
Publication of CN114067109B publication Critical patent/CN114067109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种谷物检测方法及检测设备、存储介质,方法包括:获取谷物图像训练样本集和谷物图像测试样本集;基于标注图像数据对当前谷物检测模型进行监督学习训练,并在每次训练结束后,将未标注图像数据输入至当前训练得到的谷物检测模型,并对输出的相应伪标签进行筛选得到简单和困难样本,将简单样本及其伪标签加入当前有标注训练样本集作为下一次训练的有标注训练样本集,将困难样本作为下一次训练的测试样本集;分别利用每一次训练得到的谷物检测模型对未标注图像数据进行检测,对得到的多模型检测结果进行处理得到未标注图像数据的最终检测结果。该方法,提高了目标检测准确性,使得生成的伪标签更加正确,还提高了模型性能。

Description

谷物检测方法及检测设备、存储介质
技术领域
本发明涉及谷物检测技术领域,尤其涉及一种谷物检测方法、一种计算机可读存储介质和一种谷物检测设备。
背景技术
谷物作为国家重要的粮食贮备资源,广泛用于粮食生产、饲料制作领域,有着极其重要的地位。然而,在这些加工及流通过程中缺乏快速的检测手段。各类谷物颗粒数量大,体积不一,肉眼难以区分其特征。因此依靠人工操作繁琐、工作量大且速度慢,甚至出现差错。
相关技术中采用基于全监督学习的目标检测算法、基于无监督学习的目标检测算法和基于半监督学习的目标检测算法三种检测方法,而以上三种检测方法均存在缺点。其中,基于全监督学习的目标检测算法性能严重依赖带标注的训练数据,其应用场景与数据规模影响着算法效果,在不同场景下相同任务,往往需要花费大量时间与人力来标注数据;基于无监督学习的目标检测往往不需要标签数据,而是在不断学习中尝试发现数据中的内在规律与特征,但是其性能指标远远不足全监督学习的目标检测算法;基于半监督学习的目标检测算法通过大量的未标注数据来提高全监督目标检测的性能,尤其是在只有部分数据可以获取的情况。目前大部分基于半监督学习的检测算法首先建立伪标签,并且使用该伪标签直接训练网络,但是他们没有解决伪标签数据中存在的噪音及部分数据伪标签的缺失问题,而这两点都会大大减小模型的准确性。
以上检测方法针对特定域来准备数据和训练模型,或针对多个域的特定类别谷物来准备数据和训练模型。然而,此类检测方法在不同域和不同谷物上泛化性能差。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的第一个目的在于提出一种谷物检测方法,能够增加域适应功能,促使模型能够适用不同设备和不同谷物,并在增大数据量的基础上减少人工全部标注工作,提高目标检测准确性,使得生成的伪标签更加正确,还解决错误伪标签在训练时带来的不确定性,进一步提高模型性能,使检测结果更加准确。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种谷物检测设备。
为达到上述目的,本发明第一方面实施例提供了一种谷物检测方法,包括以下步骤:获取谷物图像训练样本集和谷物图像测试样本集,其中,所述谷物图像训练样本集中的各谷物图像数据均为标注图像数据,所述谷物图像测试样本集中的各谷物图像数据均为未标注图像数据;基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练,直到训练次数达到预设次数,其中,在每次训练结束后,将当前测试样本集中的未标注图像数据输入至当前训练得到的谷物检测模型,以输出相应的伪标签,并对所述伪标签进行筛选得到所述当前测试样本集的简单样本和困难样本,将所述简单样本及其伪标签作为标注图像数据加入当前有标注训练样本集作为下一次训练的有标注训练样本集,并将所述困难样本对应的未标注图像数据作为下一次训练的测试样本集;分别利用每一次训练得到的谷物检测模型对所述谷物图像测试样本集中的未标注图像数据进行检测,得到所述未标注图像数据的多模型检测结果,并利用软化非极大值抑制算法对所述多模型检测结果进行处理得到所述未标注图像数据的最终检测结果。
进一步地,所述基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练,包括:从预设的K种数据增强方式中随机选择k种对所述当前有标注训练样本集中的标注图像数据进行数据增强处理,其中,K、k均为正整数,K>k,k≥4;将增强处理后的标注图像数据输入至当前谷物检测模型,输出所述标注图像数据中目标的检测结果,其中,所述当前谷物检测模型的网络架构由依次连接的预设基础网络、区域候选网络RPN、感兴趣区域池化层ROI Pooling和全连接层组成;根据所述检测结果和所述标注图像数据的标注信息对所述当前谷物检测模型进行训练。
根据本发明的一个实施例,所述对所述伪标签进行筛选得到所述当前测试样本集的简单样本和困难样本,包括:通过下式计算所述当前测试样本集中各未标注图像数据中目标的平均置信度:
Figure 9864DEST_PATH_IMAGE001
,其中,第m个未标注图像数据Im的伪标签为{(bboxm,confm)}M m=1,bboxm为第m个未标注图像数据的边界框,confm为第m个未标注图像数据的置信度,
Figure 22819DEST_PATH_IMAGE002
为所述平均置信度,M为第m个未标注图像数据中目标的个数;将大于当前训练阶段对应的设定阈值的平均置信度对应的未标注图像数据视为简单样本,将小于或等于当前训练阶段对应的设定阈值的平均置信度对应的未标注图像数据视为困难样本。
根据本发明的一个实施例,所述基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练,还包括:所述当前有标注训练样本集中的标注图像数据经过候选区域网络RPN处理后,输出包含目标的候选区域;将所述候选区域与各伪标签中的边界框进行交并比IOU匹配计算,得到相应的IOU值;如果候选边界框与所有伪标签中的边界框的IOU值均为0,则使用预设的辅助教师网络对所述候选区域进行分析,以判断所述候选区域是否为正样本类别;如果是,则将所述候选区域作为缺失标签添加到相应的伪标签数据中。
根据本发明的一个实施例,所述利用软化非极大值抑制算法对所述多模型检测结果进行处理得到所述未标注图像数据的最终检测结果,包括:将每个模型检测结果中的边界框添加到列表Boxa中,并建立边界框聚类列表Boxc和融合边界框列表Boxf;循环遍历Boxa中的边界框,并判断Boxf中是否存在与当前遍历的边界框匹配的融合框;如果不存在匹配融合框,则将当前遍历的边界框分别添加到Boxc与Boxf的尾部;如果存在匹配融合框,则将当前遍历的边界框添加到Boxc中,添加的位置与Boxf中匹配的融合框位置一致;遍历完Boxa中的边界框后,对Boxc中各位置的多个边界框进行融合处理得到融合框,更新Boxf和置信度;根据更新后的Boxf和置信度得到所述最终检测结果。
进一步地,利用IOU值判断Boxf中是否存在与当前遍历的边界框匹配的融合框,其中,如果存在大于预设阈值的IOU值,则将该IOU值对应的融合框作为与相应边界框匹配的融合框。
进一步地,通过下式对多个边界框进行融合处理:
Figure 905324DEST_PATH_IMAGE003
Figure 257808DEST_PATH_IMAGE004
其中,T为对应位置索引下边界框聚类列表Boxc下所有边界框的个数,Ci为T中第i个边界框的置信度,X1,2i与Y1,2i为融合前的T中第i个边界框坐标(x1,y1)i、(x2,y2)i,X1,2与Y1,2为融合后的融合框坐标(x1,y1)、(x2,y2)。
进一步地,通过下式对置信度进行融合调整:
Figure 200357DEST_PATH_IMAGE005
Figure 700608DEST_PATH_IMAGE006
其中,N为参与预测的检测模型数,T为对应位置索引下边界框聚类列表Boxc下所有的边界框的个数,C为置信度得分,
Figure 121225DEST_PATH_IMAGE007
为融合调整后的置信度。
根据本发明实施例的谷物检测方法,能够增加域适应功能,促使模型能够适用不同设备和不同谷物,并在增大数据量的基础上减少人工全部标注工作,提高目标检测准确性,使得生成的伪标签更加正确,还解决错误伪标签在训练时带来的不确定性,进一步提高模型性能,使检测结果更加准确。
为达到上述目的,本发明第二方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现所述的谷物检测方法。
为达到上述目的,本发明第三方面实施例提出了一种谷物检测设备,包括存储器、处理器以及存储在所述存储器上的计算机程序,所述计算机程序被所述处理器执行时,实现所述的谷物检测方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1是本发明一个实施例的谷物检测方法的流程图;
图2是本发明一本实施例的谷物检测方法的示意图;
图3是本发明一个具体实施例的谷物检测方法的流程图;
图4是本发明一个实施例的bootleneck的示意图;
图5是本发明一个实施例的ResNet50的示意图;
图6是本发明一个实施例的辅助教师网络对候选区域进行分析的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图1-3描述本发明实施例的谷物检测方法及检测设备、存储介质。
图1是本发明一个实施例的谷物检测方法的流程图。如图1所示,谷物检测方法,包括以下步骤:
S101、获取谷物图像训练样本集和谷物图像测试样本集,其中,谷物图像训练样本集中的各谷物图像数据均为标注图像数据,谷物图像测试样本集中的各谷物图像数据均为未标注图像数据。
S102、基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练,直到训练次数达到预设次数,其中,在每次训练结束后,将当前测试样本集中的未标注图像数据输入至当前训练得到的谷物检测模型,以输出相应的伪标签,并对伪标签进行筛选得到当前测试样本集的简单样本和困难样本,将简单样本及其伪标签作为标注图像数据加入当前有标注训练样本集作为下一次训练的有标注训练样本集,并将困难样本对应的未标注图像数据作为下一次训练的测试样本集。
作为一个示例,基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练,可包括:从预设的K种数据增强方式中随机选择k种对当前有标注训练样本集中的标注图像数据进行数据增强处理,其中,K、k均为正整数,K>k,k≥4;将增强处理后的标注图像数据输入至当前谷物检测模型,输出标注图像数据中目标的检测结果,其中,当前谷物检测模型的网络架构由依次连接的预设基础网络、RPN(Region ProposalNetwork,区域候选网络,在输入数据可能存在物体位置的区域生成候选框,并将该候选区域输入后续检测网络)、ROI Pooling(Regions Of InterestPooling,感兴趣区域池化层)和全连接层组成;根据检测结果和标注图像数据的标注信息对当前谷物检测模型进行训练。
具体地,相关检测方法一般都会使用数据增强,如:旋转、随机裁剪等方式,从而使网络更加鲁棒,并且,相关检测方法仅采用固定的3-4种不同的数据增强方式。而本发明采用将预设的K种(如10个以上)数据增强方式集成到一起,并且在数据增强时随机选择k种增强方式,使用k种增强方式对当前有标注训练样本集中的标注图像数据10进行数据增强20处理(参见图2)。其中,k是在数据增强方式总数之间随机生成,K、k均为正整数,K>k,k≥4。由此,组合不同数据增强方式,在训练时随机选取数据增强方式与数据增强方式的数量,数据经过这种强数据增强,它的域与原来的域产生变化(即不断生成新的域),从而提高了算法的域适应,使得算法能够适应不同域下不同设备不同谷物的检测。
进一步地,参见图2,将增强处理20后的标注图像数据10输入至当前谷物检测模型30,输出标注图像数据10中目标即谷物的检测结果(如当前图像中谷物的类别信息与位置信息),其中,当前谷物检测模型30的网络架构由依次连接的预设基础网络31、区域候选网络RPN32、感兴趣区域池化层ROI Pooling33和全连接层34组成。根据检测结果和标注图像数据10的标注信息对当前谷物检测模型30进行训练。
需要说明的是,为了有效提取深层特征,预设基础网络31采用ResNet50(ResidualNetwork,残差网络),ResNet50由多个“bottleneck(瓶颈层)”组成。“bottleneck”如图4所示:输入首先经过1×1卷积,BN(Batch Normalization,批归一化)与ReLu(RectifiedLinear Unit,激活函数);然后输入下一层3×3卷积,批归一化BN与激活函数ReLu;最后输入下一层1×1卷积,批归一化BN,同时将前几层的输入与该层进行特征融合;当维度不一致(即×1-d不等于×4-d)时使用1×1卷积保证维度一致,该操作称为“shortrcutconnection(跳跃连接)”,使网络提取更深层次特征的基础上防止梯度消失。ResNet50结构如5所示,网络分为7×7步长为2的卷积,3×3步长为2的池化,4个阶段的bottleneck层(即bottleneck模块),其中,各个阶段的bottleneck层数量有所不同,并且特征图尺度不断缩小。由此,得到特征图。
进一步地,判断当前训练次数是否与预设次数相等,相等则训练完成。其中,在每次训练结束后,参见图2,可将当前测试样本集中的未标注图像数据40输入至使用标注图像数据10训练得到的当前谷物检测模型30中,以输出相应的伪标签。还可使用上述数据增强20处理对当前测试样本集中的未标注图像数据40进行数据处理,再将经数据增强20处理后的未标注图像数据40,输入至使用标注图像数据10训练得到的当前谷物检测模型30中,以输出相应的伪标签。需要说明的是,还可使用生成的伪标签和未标注图像数据40作为输入,来训练使用标注图像数据10训练得到的当前谷物检测模型30。
需要说明的是,相关半监督学习的目标检测算法采用单个阶段训练,即将所有未标注数据40生成的伪标签,全部用于训练使用标注图像数据10训练得到的当前谷物检测模型30。它们忽略了伪标签不同于人工标注,是当前谷物检测模型30的一个预测,因此,一幅图像数据不可避免会包含正确信息与错误信息,其中,正确的信息能够提升当前谷物检测模型30性能,而错误的信息则有损性能。这种单阶段训练方式假设所有伪标签都是正确的,忽略了错误标签信息对算法的影响。但算法预测的准确性往往与样本有着联系,包含正确信息越多的样本无疑越能提高算法性能,错误信息是数据中的噪音,网络不断拟合噪音数据使整个当前谷物检测模型30性能下降。由此,本发明对伪标签进行筛选得到当前测试样本集的简单样本和困难样本。其中,包含正确信息的图像称为简单样本,而包含较多错误信息的图像称为困难样本。
进一步地,对伪标签进行筛选得到当前测试样本集的简单样本和困难样本,可包括:通过下式计算当前测试样本集中各未标注图像数据中目标的平均置信度:
Figure 593795DEST_PATH_IMAGE008
,其中,第m个未标注图像数据Im的伪标签为{(bboxm,confm)}M m=1,bboxm为第m个未标注图像数据的边界框,confm为第m个未标注图像数据的置信度,
Figure 707244DEST_PATH_IMAGE009
为平均置信度,M为第m个未标注图像数据中目标的个数;将大于当前训练阶段对应的设定阈值的平均置信度对应的未标注图像数据视为简单样本,将小于或等于当前训练阶段对应的设定阈值的平均置信度对应的未标注图像数据视为困难样本。
具体地,相关半监督学习的目标检测算法并未考虑错误伪标签的噪音问题,本发明提出置信度均值方式来消除伪标签生成中产生的噪音。但是未标注图像数据40没有标注信息,无法判断当前未标注图像数据40是简单样本,还是困难样本(参见图2),然而这些数据都含有伪标签。对于第m个未标注图像数据Im的伪标签为{(bboxm,confm)}M m=1,bboxm为第m个未标注图像数据的边界框,confm为第m个未标注图像数据的置信度,
Figure 694792DEST_PATH_IMAGE009
为平均置信度,M为第m个未标注图像数据中目标的个数,可通过下式求得未标注图像数据Im中目标即谷物的平均置信度:
Figure 919100DEST_PATH_IMAGE008
当平均置信度大于当前训练阶段设定的阈值(如0.5)时,对应的未标注图像数据便视为简单样本。当平均置信度小于或等于当前训练阶段设定的阈值(如0.5)时,对应的未标注图像数据便视为困难样本。由此,使用计算平均置信度的方式来区分简单样本和困难样本,去除噪音,保证数据正确性。
进一步地,将简单样本及其伪标签作为标注图像数据加入当前有标注训练样本集作为下一次训练的有标注训练样本集,并将困难样本对应的未标注图像数据作为下一次训练的测试样本集。
具体地,参见图2,本发明基于级联网络思想,提出了一种多阶段训练方式,在初始阶段使用简单样本训练,不断提高伪标签的准确性,从而将在初始阶段中被预测为困难样本的在后续阶段转变为简单样本,每个阶段针都会缩小困难样本的范围,不断提升伪标签正确性。由此,使得每个阶段的当前谷物检测模型关注自身最有把握的预测,减少了困难样本中噪音对当前谷物检测模型的损害。
需要说明的是,参见图3,将上述对伪标签进行筛选得到当前测试样本集的简单样本和困难样本,以及将简单样本及其伪标签作为标注图像数据加入当前有标注训练样本集作为下一次训练的有标注训练样本集,并将困难样本对应的未标注图像数据作为下一次训练的测试样本集作为一个整体。具体为,使用少部分标注图像数据训练好的当前谷物检测模型30作为初始检测网络,对大部分未标注图像数据生成伪标签,生成的伪标签经过噪音消除即过滤困难样本,将保留的简单样本作为输入数据开始当前谷物检测模型训练。每次训练结束后,判断当前训练次数是否与预设次数相等,相等则训练完成。如果不相等,则使用这一阶段训练得到的当前谷物检测模型30继续对未标注图像数据40进行伪标签生成,并重复上述步骤。由于初始网络加入伪标签数据训练后,检测准确度相应提高,下一阶段伪标签的置信度提高,则简单样本量增大。随着不断的训练,简单样本的数据量慢慢扩大至整个未标注图像数据量。
另外,伪标签生成依赖于少部分标注图像数据10训练的当前谷物检测模型30,通过少部分标注图像数据10训练的当前谷物检测模型30来预测大部分未标注图像数据40的伪标签,由于网络没有很好的拟合,部分未标注图像数据40会出现数据中的很多物体未被检测出,从而导致伪标签缺失,尤其是在遮挡、高密度等复杂情况。而谷物无疑是密度很高且存在遮挡的,最终导致部分未标注图像数据40数据缺失伪标签,而这样的数据应划分为错误数据,使用错误数据训练当前谷物检测模型30无疑降低了算法的准确性。由此,本发明提出了使用更加鲁棒的辅助教师网络50,对可能遗漏的伪标签作出修正,得到正确的伪标签。
作为另一个示例,基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练,还可包括:当前有标注训练样本集中的标注图像数据经过候选区域网络RPN处理后,输出包含目标的候选区域;将候选区域与各伪标签中的边界框进行交并比IOU(Intersection Over Union,交并比)匹配计算,得到相应的IOU值;如果候选边界框与所有伪标签中的边界框的IOU值均为0,则使用预设的辅助教师网络对候选区域进行分析,以判断候选区域是否为正样本类别;如果是,则将候选区域作为缺失标签添加到相应的伪标签数据中。
具体地,当前有标注训练样本集中的标注图像数据经过候选区域网络RPN处理(即在输入数据可能存在物体位置的区域生成候选框,并将该候选区域输入后续检测网络)后,会列举出所有可能包含目标即谷物的候选区域,参见图2,这些候选区域与各伪标签中的边界框进行IOU匹配计算(即通过计算两边界框的交集与并集的比值衡量边界框的重叠程度),得到相应的IOU值。当出现某个RPN提出的候选边界框与所有伪标签框中的IOU均为0,则使用辅助教师网络50对该候选区域进行分析(如图6所示),即未匹配的候选边界框映射回原图后,选取对应区域送入辅助教师网络50,辅助教师网络50会输出对应类别或背景,只有非背景的类别区域才会被视为正样本类别;如果该区域为正样本类别,则将该候选区域作为缺失的标签添加到伪标签数据中。其中,辅助教师网络50采用ResNet50,并且,辅助教师网络50为大量数据训练的分类网络,分类数据无需标注,将谷物类别依据对应文件夹保存即可。由此,使用辅助教师网络来补全缺失的伪标签,提高伪标签的正确性,从而提高当前谷物检测模型准确性。
S103、分别利用每一次训练得到的谷物检测模型对谷物图像测试样本集中的未标注图像数据进行检测,得到未标注图像数据的多模型检测结果,并利用软化非极大值抑制算法对多模型检测结果进行处理得到未标注图像数据的最终检测结果。
具体地,分别利用每一次训练得到的谷物检测模型对谷物图像测试样本集中的未标注图像数据进行检测,得到未标注图像数据的多模型检测结果(即将所有模型的检测结果集中到一起)。然后,进行常规的NMS(Non-Maximum Suppression,非极大值抑制,常用于目标检测后处理过程中,用来消除检测结果中同一物体出现重复框的情况)操作。而常规的NMS操作是一个略显粗暴(hard)的操作,因为NMS将IOU大于阈值的边界框全部移除。这种操作是不合理的,因此,本发明将soft-NMS(即缓和的非极大值抑制)算法以及WBF(WeightedBoxes Fusion,WBF-目标框加权融合)用于模型结果的加权融合,其中,soft-NMS排除了一些框,但是WBF利用了所有框的信息,可以解决某些情况下,模型预测的框不准确的问题。由此,考虑所有检测结果的边界框,最终确定的边界框由所有边界框融合得到,使结果更合理。
进一步地,利用软化非极大值抑制算法对多模型检测结果进行处理得到未标注图像数据的最终检测结果,可包括:将每个模型检测结果中的边界框添加到列表Boxa中,并建立边界框聚类列表Boxc和融合边界框列表Boxf;循环遍历Boxa中的边界框,并判断Boxf中是否存在与当前遍历的边界框匹配的融合框;如果不存在匹配融合框,则将当前遍历的边界框分别添加到Boxc与Boxf的尾部;如果存在匹配融合框,则将当前遍历的边界框添加到Boxc中,添加的位置与Boxf中匹配的融合框位置一致;遍历完Boxa中的边界框后,对Boxc中各位置的多个边界框进行融合处理得到融合框,更新Boxf和置信度;根据更新后的Boxf和置信度得到最终检测结果。
具体地,对于多个模型的输出结果,将每个模型检测结果中的边界框添加到同一个列表中Boxa,并且可依据置信度得分C降序排列,其中,
Figure 980597DEST_PATH_IMAGE010
;建立边界框聚类列表Boxc与融合边界框列表Boxf,Boxc中每个位置可以一组,具有多个边界框,Boxf为对应边界框融合后的边界框列表;循环遍历Boxa的边界框,并且在Boxf中寻找与当前遍历的边界框匹配的融合框,其中,可利用IOU值判断Boxf中是否存在与当前遍历的边界框匹配的融合框,如果存在大于预设阈值的IOU值,则将该IOU值对应的融合框作为与相应边界框匹配的融合框;若不存在匹配融合框,则将Boxa中当前遍历的边界框分别添加到Boxc与Boxf的尾部,并且继续下一个边界框的匹配;若存在匹配融合框,则将Boxa中当前遍历的边界框添加到Boxc中,添加的位置与Boxf中匹配的融合框位置一致。
进一步地,遍历完Boxa中的边界框后,可通过下式对Boxc中各位置的多个边界框进行融合处理得到融合框(参见图2),并更新Boxf
Figure 264948DEST_PATH_IMAGE011
Figure 739791DEST_PATH_IMAGE012
其中,T为对应位置索引下边界框聚类列表Boxc下所有边界框的个数,Ci为T中第i个边界框的置信度,X1,2i与Y1,2i为融合前的T中第i个边界框坐标(x1,y1)i、(x2,y2)i,X1,2与Y1,2为融合后的融合框坐标(x1,y1)、(x2,y2)。
进一步地,可通过下式对置信度进行融合调整即更新置信度:
Figure 767790DEST_PATH_IMAGE005
Figure 949373DEST_PATH_IMAGE013
其中,N为参与预测的检测模型数,T为对应位置索引下边界框聚类列表Boxc下所有的边界框的个数,C为置信度得分,
Figure 139046DEST_PATH_IMAGE014
为融合调整后的置信度即更新后的置信度。再根据更新后的Boxf和置信度得到未标注图像数据的最终检测结果。其中,更新后的Boxf包含了目标即谷物的位置信息与类别信息,因融合了多个模型的检测结果,输出的边界框与置信度更加准确。根据这些位置信息与类别信息可进行后续其他操作。
综上所述,该谷物检测方法,能够增加域适应功能,促使模型能够适用不同设备和不同谷物,并在增大数据量的基础上减少人工全部标注工作,提高目标检测准确性,使得生成的伪标签更加正确,还解决错误伪标签在训练时带来的不确定性,进一步提高模型性能,使检测结果更加准确。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现上述实施例的谷物检测方法。
本发明实施例的计算机可读存储介质,在其上存储的与上述谷物检测方法对应的计算机程序被处理器执行时,能够增加域适应功能,促使模型能够适用不同设备和不同谷物,并在增大数据量的基础上减少人工全部标注工作,提高目标检测准确性,使得生成的伪标签更加正确,还解决错误伪标签在训练时带来的不确定性,进一步提高模型性能,使检测结果更加准确。
本发明还提供了一种谷物检测设备,包括存储器、处理器,存储器上存储有计算机程序,计算机程序被处理器执行时,实现上述实施例的谷物检测方法。
本发明实施例的谷物检测设备,在其存储器上存储的与上述谷物检测方法对应的计算机程序被处理,能够增加域适应功能,促使模型能够适用不同设备和不同谷物,并在增大数据量的基础上减少人工全部标注工作,提高目标检测准确性,使得生成的伪标签更加正确,还解决错误伪标签在训练时带来的不确定性,进一步提高模型性能,使检测结果更加准确。
需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种谷物检测方法,其特征在于,包括以下步骤:
获取谷物图像训练样本集和谷物图像测试样本集,其中,所述谷物图像训练样本集中的各谷物图像数据均为标注图像数据,所述谷物图像测试样本集中的各谷物图像数据均为未标注图像数据;
基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练,直到训练次数达到预设次数,其中,在每次训练结束后,将当前测试样本集中的未标注图像数据输入至当前训练得到的谷物检测模型,以输出相应的伪标签,并对所述伪标签进行筛选得到所述当前测试样本集的简单样本和困难样本,将所述简单样本及其伪标签作为标注图像数据加入当前有标注训练样本集作为下一次训练的有标注训练样本集,并将所述困难样本对应的未标注图像数据作为下一次训练的测试样本集;
分别利用每一次训练得到的谷物检测模型对所述谷物图像测试样本集中的未标注图像数据进行检测,得到所述未标注图像数据的多模型检测结果,并利用软化非极大值抑制算法对所述多模型检测结果进行处理得到所述未标注图像数据的最终检测结果。
2.如权利要求1所述的谷物检测方法,其特征在于,所述基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练,包括:
从预设的K种数据增强方式中随机选择k种对所述当前有标注训练样本集中的标注图像数据进行数据增强处理,其中,K、k均为正整数,K>k,k≥4;
将增强处理后的标注图像数据输入至当前谷物检测模型,输出所述标注图像数据中目标的检测结果,其中,所述当前谷物检测模型的网络架构由依次连接的预设基础网络、区域候选网络RPN、感兴趣区域池化层ROI Pooling和全连接层组成;
根据所述检测结果和所述标注图像数据的标注信息对所述当前谷物检测模型进行训练。
3.如权利要求2所述的谷物检测方法,其特征在于,所述对所述伪标签进行筛选得到所述当前测试样本集的简单样本和困难样本,包括:
通过下式计算所述当前测试样本集中各未标注图像数据中目标的平均置信度:
Figure 138948DEST_PATH_IMAGE001
其中,第m个未标注图像数据Im的伪标签为{(bboxm,confm)}M m=1,bboxm为第m个未标注图像数据的边界框,confm为第m个未标注图像数据的置信度,
Figure 414071DEST_PATH_IMAGE002
为所述平均置信度,M为第m个未标注图像数据中目标的个数;
将大于当前训练阶段对应的设定阈值的平均置信度对应的未标注图像数据视为简单样本,将小于或等于当前训练阶段对应的设定阈值的平均置信度对应的未标注图像数据视为困难样本。
4.如权利要求3所述的谷物检测方法,其特征在于,所述基于当前有标注训练样本集中的标注图像数据对当前谷物检测模型进行监督学习训练,还包括:
所述当前有标注训练样本集中的标注图像数据经过候选区域网络RPN处理后,输出包含目标的候选区域;
将所述候选区域与各伪标签中的边界框进行交并比IOU匹配计算,得到相应的IOU值;
如果候选边界框与所有伪标签中的边界框的IOU值均为0,则使用预设的辅助教师网络对所述候选区域进行分析,以判断所述候选区域是否为正样本类别;
如果是,则将所述候选区域作为缺失标签添加到相应的伪标签数据中。
5.如权利要求1所述的谷物检测方法,其特征在于,所述利用软化非极大值抑制算法对所述多模型检测结果进行处理得到所述未标注图像数据的最终检测结果,包括:
将每个模型检测结果中的边界框添加到列表Boxa中,并建立边界框聚类列表Boxc和融合边界框列表Boxf
循环遍历Boxa中的边界框,并判断Boxf中是否存在与当前遍历的边界框匹配的融合框;
如果不存在匹配融合框,则将当前遍历的边界框分别添加到Boxc与Boxf的尾部;
如果存在匹配融合框,则将当前遍历的边界框添加到Boxc中,添加的位置与Boxf中匹配的融合框位置一致;
遍历完Boxa中的边界框后,对Boxc中各位置的多个边界框进行融合处理得到融合框,更新Boxf和置信度;
根据更新后的Boxf和置信度得到所述最终检测结果。
6.如权利要求5所述的谷物检测方法,其特征在于,利用IOU值判断Boxf中是否存在与当前遍历的边界框匹配的融合框,其中,如果存在大于预设阈值的IOU值,则将该IOU值对应的融合框作为与相应边界框匹配的融合框。
7.如权利要求5所述的谷物检测方法,其特征在于,通过下式对多个边界框进行融合处理:
Figure 119859DEST_PATH_IMAGE003
Figure 455025DEST_PATH_IMAGE004
其中,T为对应位置索引下边界框聚类列表Boxc下所有边界框的个数,Ci为T中第i个边界框的置信度,X1,2i与Y1,2i为融合前的T中第i个边界框坐标(x1,y1)i、(x2,y2)i,X1,2与Y1,2为融合后的融合框坐标(x1,y1)、(x2,y2)。
8.如权利要求5所述的谷物检测方法,其特征在于,通过下式对置信度进行融合调整:
Figure 183947DEST_PATH_IMAGE005
Figure 262761DEST_PATH_IMAGE006
其中,N为参与预测的检测模型数,T为对应位置索引下边界框聚类列表Boxc下所有的边界框的个数,C为置信度得分,
Figure 760739DEST_PATH_IMAGE007
为融合调整后的置信度。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1-8中任一项所述的谷物检测方法。
10.一种谷物检测设备,包括存储器、处理器以及存储在所述存储器上的计算机程序,其特征在于,所述计算机程序被所述处理器执行时,实现权利要求1-8中任一项所述的谷物检测方法。
CN202210036372.4A 2022-01-13 2022-01-13 谷物检测方法及检测设备、存储介质 Active CN114067109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210036372.4A CN114067109B (zh) 2022-01-13 2022-01-13 谷物检测方法及检测设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210036372.4A CN114067109B (zh) 2022-01-13 2022-01-13 谷物检测方法及检测设备、存储介质

Publications (2)

Publication Number Publication Date
CN114067109A true CN114067109A (zh) 2022-02-18
CN114067109B CN114067109B (zh) 2022-04-22

Family

ID=80231078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210036372.4A Active CN114067109B (zh) 2022-01-13 2022-01-13 谷物检测方法及检测设备、存储介质

Country Status (1)

Country Link
CN (1) CN114067109B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359676A (zh) * 2022-03-08 2022-04-15 人民中科(济南)智能技术有限公司 训练目标检测模型和构建样本集的方法、装置及存储介质
CN114463603A (zh) * 2022-04-14 2022-05-10 浙江啄云智能科技有限公司 图像检测模型的训练方法、装置、电子设备及存储介质
CN114581350A (zh) * 2022-02-23 2022-06-03 清华大学 一种适用于单目3d目标检测任务的半监督学习方法
CN116109840A (zh) * 2023-04-10 2023-05-12 山东农业大学 一种基于机器视觉的樱桃孢子识别方法
CN117237814A (zh) * 2023-11-14 2023-12-15 四川农业大学 一种基于注意力机制优化的大规模果园虫情监测方法
CN118015402A (zh) * 2024-04-10 2024-05-10 传申弘安智能(深圳)有限公司 小样本迁移目标检测模型训练方法、装置及计算机设备
WO2024101666A1 (en) * 2022-11-09 2024-05-16 Samsung Electronics Co., Ltd. Method and electronic device for training a machine learning model

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN109102076A (zh) * 2018-08-06 2018-12-28 百度在线网络技术(北京)有限公司 模型训练方法、装置、设备及存储介质
CN110084131A (zh) * 2019-04-03 2019-08-02 华南理工大学 一种基于深度卷积网络的半监督行人检测方法
CN112164030A (zh) * 2020-09-04 2021-01-01 华南农业大学 水稻穗粒快速检测方法、装置、计算机设备及存储介质
WO2021142975A1 (zh) * 2020-01-19 2021-07-22 深圳壹账通智能科技有限公司 人工智能检测方法及装置、终端和计算机可读存储介质
CN113222149A (zh) * 2021-05-31 2021-08-06 联仁健康医疗大数据科技股份有限公司 模型训练方法、装置、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN109102076A (zh) * 2018-08-06 2018-12-28 百度在线网络技术(北京)有限公司 模型训练方法、装置、设备及存储介质
CN110084131A (zh) * 2019-04-03 2019-08-02 华南理工大学 一种基于深度卷积网络的半监督行人检测方法
WO2021142975A1 (zh) * 2020-01-19 2021-07-22 深圳壹账通智能科技有限公司 人工智能检测方法及装置、终端和计算机可读存储介质
CN112164030A (zh) * 2020-09-04 2021-01-01 华南农业大学 水稻穗粒快速检测方法、装置、计算机设备及存储介质
CN113222149A (zh) * 2021-05-31 2021-08-06 联仁健康医疗大数据科技股份有限公司 模型训练方法、装置、设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEN MA等: "A Lightweight Feature Fusion Single Shot Multibox Detector for Garbage Detection", 《IEEE ACCESS》 *
凌海波 等: "基于改进Faster R-CNN的自然环境下麦穗检测方法", 《赤峰学院学报(自然科学版)》 *
张智 等: "结合帧间目标回归网络的无人机视频车辆检测", 《西安电子科技大学学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581350A (zh) * 2022-02-23 2022-06-03 清华大学 一种适用于单目3d目标检测任务的半监督学习方法
CN114359676A (zh) * 2022-03-08 2022-04-15 人民中科(济南)智能技术有限公司 训练目标检测模型和构建样本集的方法、装置及存储介质
CN114359676B (zh) * 2022-03-08 2022-07-19 人民中科(济南)智能技术有限公司 训练目标检测模型和构建样本集的方法、装置及存储介质
CN114463603A (zh) * 2022-04-14 2022-05-10 浙江啄云智能科技有限公司 图像检测模型的训练方法、装置、电子设备及存储介质
WO2024101666A1 (en) * 2022-11-09 2024-05-16 Samsung Electronics Co., Ltd. Method and electronic device for training a machine learning model
CN116109840A (zh) * 2023-04-10 2023-05-12 山东农业大学 一种基于机器视觉的樱桃孢子识别方法
CN116109840B (zh) * 2023-04-10 2023-08-29 山东农业大学 一种基于机器视觉的樱桃孢子识别方法
CN117237814A (zh) * 2023-11-14 2023-12-15 四川农业大学 一种基于注意力机制优化的大规模果园虫情监测方法
CN117237814B (zh) * 2023-11-14 2024-02-20 四川农业大学 一种基于注意力机制优化的大规模果园虫情监测方法
CN118015402A (zh) * 2024-04-10 2024-05-10 传申弘安智能(深圳)有限公司 小样本迁移目标检测模型训练方法、装置及计算机设备

Also Published As

Publication number Publication date
CN114067109B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN114067109B (zh) 谷物检测方法及检测设备、存储介质
US11816579B2 (en) Method and apparatus for detecting defect pattern on wafer based on unsupervised learning
EP3478728B1 (en) Method and system for cell annotation with adaptive incremental learning
JP6710135B2 (ja) 細胞画像の自動分析方法及びシステム
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
CN111815599A (zh) 一种图像处理方法、装置、设备及存储介质
US9152926B2 (en) Systems, methods, and media for updating a classifier
US9330336B2 (en) Systems, methods, and media for on-line boosting of a classifier
CN108629286B (zh) 一种基于主观感知显著模型的遥感机场目标检测方法
CN101002228A (zh) 结节边界检测
CN113420669B (zh) 基于多尺度训练和级联检测的文档版面分析方法和系统
CN112819110B (zh) 基于权重生成的增量式小样本目标检测方法及系统
CN109840554A (zh) 一种基于svm-rfe-mrmr算法的阿兹海默症mri图像分类方法
US20140079309A1 (en) Rib suppression in radiographic images
CN112001401A (zh) 实例分割网络的训练模型及训练方法,实例分割网络
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN114882215A (zh) 一种煤矸光电分选图像颗粒集料区域形选识别方法
CN114998362A (zh) 基于双分割模型的医学图像分割方法
CN116883390B (zh) 模糊抵抗性半监督缺陷检测方法、装置及存储介质
CN113506288A (zh) 基于transform注意力机制的肺结节检测方法及装置
GB2457022A (en) Creating a fuzzy inference model for medical image analysis
Martin et al. A learning approach for adaptive image segmentation
Lad et al. Estimating label quality and errors in semantic segmentation data via any model
CN112949634B (zh) 一种铁路接触网鸟窝检测方法
CN114140671A (zh) 基于多尺度融合的高分辨率芯片图像的分类方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant