CN114743048A - 检测异常秸秆图片的方法和检测装置 - Google Patents

检测异常秸秆图片的方法和检测装置 Download PDF

Info

Publication number
CN114743048A
CN114743048A CN202210367055.0A CN202210367055A CN114743048A CN 114743048 A CN114743048 A CN 114743048A CN 202210367055 A CN202210367055 A CN 202210367055A CN 114743048 A CN114743048 A CN 114743048A
Authority
CN
China
Prior art keywords
straw
picture
detected
pictures
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210367055.0A
Other languages
English (en)
Inventor
常志中
王香珊
汪国会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang Huida Technology Development Co ltd
Original Assignee
Heilongjiang Huida Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heilongjiang Huida Technology Development Co ltd filed Critical Heilongjiang Huida Technology Development Co ltd
Priority to CN202210367055.0A priority Critical patent/CN114743048A/zh
Publication of CN114743048A publication Critical patent/CN114743048A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种检测异常秸秆图片的方法和检测装置，该方法包括：将多张待检测秸秆图片输入预先训练好的神经网络模型中；根据所述神经网络模型输出的分类结果和相似度结果确定所述多张待检测秸秆图片中的异常秸秆图片，其中，所述分类结果用于表示所述待检测秸秆图片的类别，所述相似度结果用于表示所述待检测秸秆图片与所述模板秸秆图片的相似度。该技术方案可以根据模型的输出结果确定待检测秸秆图片中的异常秸秆图片，从而可以在挑选错误数据时减少人工审核图片的数量。

Description

检测异常秸秆图片的方法和检测装置
技术领域
本申请涉及农业领域，并且更具体地，涉及一种检测异常秸秆图片的方法和检测装置。
背景技术
在农业领域中，经常需要对作业地块进行采集照片，以获取作业地块的一些信息。例如，通过采集的作业地块的照片进行神经网络模型的训练，后续可以直接通过该训练好的神经网络模型识别作业地块的秸秆类型，使得农机有选择地进行作业，从而提升农业自动化程度。但由于在具体作业时，在对作业地块进行采集照片时，会受到如遮挡、光线、拍摄角度以及各种干扰的影响，导致拍摄的图片与训练集偏差较大，会对作业地块的秸秆分类结果造成影响。
另外，在使用神经网络对作业地块的秸秆类型进行分类时，会有一定的准确率，例如准确率为90％，那么对于识别错误的10％来说，需要进行人工审核，以确定哪些图片是错误的，当数据量较大时，人工审核的工作量较大，会耗费大量精力和时间。
发明内容
本申请实施例提供了一种检测异常秸秆图片的方法和检测装置，该技术方案可以根据待检测秸秆图片与模板秸秆图片的差异程度确定待检测秸秆图片中的异常秸秆图片，从而可以减少用户在人工审核识别错误的数据时的工作量。
第一方面，提供一种检测异常秸秆图片的方法，所述方法包括：将多张待检测秸秆图片输入预先训练好的神经网络模型中；根据所述神经网络模型输出的分类结果和相似度结果确定所述多张待检测秸秆图片中的异常秸秆图片，其中，所述分类结果用于表示所述待检测秸秆图片的类别，所述相似度结果用于表示所述待检测秸秆图片与所述模板秸秆图片的相似度。
本申请实施例中，可以根据待检测秸秆图片与模板秸秆图片的差异程度确定待检测秸秆图片中的异常秸秆图片，从而可以减少用户在人工审核识别错误的数据时的工作量。
结合第一方面，在第一方面的一种实现方式中，所述根据所述神经网络模型输出的分类结果和相似度结果确定所述多张待检测秸秆图片中的异常秸秆图片，包括：当所述待检测秸秆图片与所述模板秸秆图片的相似度小于第一预设值时，确定所述待检测秸秆图片为异常秸秆图片。
结合第一方面，在第一方面的一种实现方式中，所述模板秸秆图片包括N种类型，所述当所述待检测秸秆图片与所述模板秸秆图片的相似度小于第一预设值时，确定所述待检测秸秆图片为异常秸秆图片，包括：当所述待检测秸秆图片与所述模板秸秆图片中的N种类型的N个相似度中最大的相似度小于第一预设值时，确定所述待检测秸秆图片为异常秸秆图片；其中，N为大于或等于2的整数。
基于本申请实施例，可以通过待检测秸秆图片与模板的相似度来确定是否为异常秸秆图片，从而有利于减少仍审核的工作量。
结合第一方面，在第一方面的一种实现方式中，所述根据所述神经网络模型输出的分类结果和相似度结果确定所述多张待检测秸秆图片中的异常秸秆图片，包括：当所述待检测秸秆图片的分类结果与所述相似度结果不一致时，确定所述待检测秸秆图片为异常秸秆图片。
基于本申请实施例，当待检测秸秆图片的分类结果与相似度结果不一致时，可以确定待检测秸秆图片为异常秸秆图片。
结合第一方面，在第一方面的一种实现方式中，所述模板秸秆图片包括N种类型，当所述待检测秸秆图片的分类结果与所述相似度结果不一致时，确定所述待检测秸秆图片为异常秸秆图片，包括：当所述待检测秸秆图片与所述待检测秸秆图片的分类结果对应的类型的相似度不是N个相似度中的最大值时，确定所述待检测秸秆图片为异常秸秆图片；其中，N为大于或等于2的整数。
结合第一方面，在第一方面的一种实现方式中，在所述将多张待检测秸秆图片输入训练好的神经网络模型中之前，所述方法还包括：
将训练数据集和模板数据输入神经网络模型中进行训练，或者，将训练数据集和模板数据的特征输入神经网络模型中进行训练。
本申请实施例中，通过加入模板数据或模板数据的特征对模型进行训练，可以给训练数据集提供一些参考，从而有利于确定训练数据集与不同模板之间的关联程度。
结合第一方面，在第一方面的一种实现方式中，所述将训练数据集和模板数据的特征输入神经网络模型中进行训练，包括：在所述神经网络模型中，将所述训练数据集的第一特征与第二特征进行自注意力学习，其中，所述第二特征为随机初始化得到的特征；将所述第二特征与所述第一特征进行自注意力学习后得到的第三特征与所述模板数据的第四特征进行交叉注意力学习。
基于本申请实施例，将训练数据集的第一特征与第二token进行自注意力学习，通过自注意力机制学习，可以使得网络模型学习作业地块中不同图片节点之间的关系，从而获取作业地块的全局表达；通过该交叉注意力学习，可以将作业地块的特征表示与模板的特征之间的关联特征进行了统一，从而可以模拟人的大脑在认识陌生事物时，通过先验知识进行理解和判断的过程。
结合第一方面，在第一方面的一种实现方式中，所述方法还包括：
将所述异常秸秆图片存放在第一集合中。
该技术方案有利于从该第一集合中寻找模型识别错误的秸秆图片。
结合第一方面，在第一方面的一种实现方式中，所述神经网络模型的损失函数为：
Ltotal＝α·Lcls+β·Ldis；
其中，
Figure BDA0003586304520000031
α表示分类损失函数的权重、β表示相似度损失函数的权重；wi表示，类别的分值，ci表示预测的类别；Ai表示模板秸秆图片特征的特征向量，Bi表示标准数据的特征向量，Ldis计算了两个向量之间的余弦距离。
本申请实施例中，增加了相似度损失函数，从而可以计算待检测秸秆图片与模板秸秆图片的相似度，以进行异常秸秆图片的识别。
结合第一方面，在第一方面的一种实现方式中，所述模板秸秆图片包括的类型包括以下中的至少两种：干扰、无秸秆、个别图片有秸秆、少量秸秆连片、大量秸秆连片、秸秆全量。
第二方面，提供一种检测装置，包括：输入模块，用于将多张待检测秸秆图片输入预先训练好的神经网络模型中；处理模块，用于根据所述神经网络模型输出的分类结果和相似度结果确定所述多张待检测秸秆图片中的异常秸秆图片；其中，所述分类结果用于表示所述待检测秸秆图片的类别，所述相似度结果用于表示所述待检测秸秆图片与所述模板秸秆图片的相似度。
结合第二方面，在第二方面的一种实现方式中，所述处理模块具体用于：当所述待检测秸秆图片与所述模板秸秆图片的相似度小于第一预设值时，确定所述待检测秸秆图片为异常秸秆图片。
结合第二方面，在第二方面的一种实现方式中，所述模板秸秆图片包括N种类型，所述处理模块具体用于：当所述待检测秸秆图片与所述模板秸秆图片中的N种类型的N个相似度结果中的相似度小于第一预设值时，确定所述待检测秸秆图片为异常秸秆图片；其中，N为大于或等于2的整数。
结合第二方面，在第二方面的一种实现方式中，所述处理模块具体用于：当所述待检测秸秆图片的分类结果与所述相似度结果不一致时，确定所述待检测秸秆图片为异常秸秆图片。
结合第二方面，在第二方面的一种实现方式中，所述模板秸秆图片包括N种类型，所述处理模块具体用于：当所述待检测秸秆图片与所述待检测秸秆图片的分类结果对应的类型的相似度不是N个相似度中的最大值时，确定所述待检测秸秆图片为异常秸秆图片；其中，N为大于或等于2的整数。
结合第二方面，在第二方面的一种实现方式中，在所述输入模块将多张待检测秸秆图片输入训练好的神经网络模型中之前，所述装置还包括：训练模块，用于将训练数据集和模板数据输入神经网络模型中进行训练，或者，将训练数据集和模板数据的特征输入神经网络模型中进行训练。
结合第二方面，在第二方面的一种实现方式中，所述训练模块具体用于：在所述神经网络模型中，将所述训练数据集的第一特征与第二特征进行自注意力学习，其中，所述第二特征为随机初始化得到的特征；将所述第二特征与第一特征进行自注意力学习后得到的第三特征与所述模板数据的第四特征进行交叉注意力学习。
结合第二方面，在第二方面的一种实现方式中，所述处理模块还用于：将所述异常秸秆图片存放在第一集合中。
结合第二方面，在第二方面的一种实现方式中，所述神经网络模型的损失函数为：
Ltotal＝α·Lcls+β·Ldis；
其中，
Figure BDA0003586304520000051
α表示分类损失函数的权重、β表示相似度损失函数的权重；wi表示，类别的分值，ci表示预测的类别；Ai表示模板秸秆图片特征的特征向量，Bi表示标准数据的特征向量，Ldis计算了两个向量之间的余弦距离。
结合第二方面，在第二方面的一种实现方式中，所述模板秸秆图片包括的类型包括以下中的至少两种：干扰、无秸秆、个别图片有秸秆、少量秸秆连片、大量秸秆连片、秸秆全量。
第三方面，提供一种计算机可读存储介质，其上存储有计算机程序或指令，所述计算机程序或指令被执行时，使得如上述第一方面及其任一种可能的实现方式中所述的检测异常秸秆图片的方法被执行。
第四方面，提供一种计算机程序产品，该计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当该计算机程序被运行时，使得如上述第一方面及其任一种可能的实现方式中所述的检测异常秸秆图片的方法被执行。
第五方面，提供一种芯片，所述芯片包括处理器和通信接口，所述通信接口用于接收信号，并将所述信号传输至所述处理器，所述处理器处理所述信号，使得如上述第一方面及其任一种可能的实现方式中所述的检测异常秸秆图片的方法被执行。
附图说明
图1是本申请实施例提供的秸秆图片分类的示意图。
图2是本申请中提升神经网络模型的泛化能力的示意图。
图3是本申请实施例提供的一种神经网络模型的示意图。
图4是本申请实施例提供的一种检测异常秸秆图片的方法的示意性流程图。
图5是本申请实施例提供的实验一的示意图。
图6是本申请实施例提供的实验二的示意图。
图7是本申请实施例提供的实验三的示意图。
图8是本申请实施例提供的一种检测装置的示意性框图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
在农业领域中，经常需要对作业地块进行采集照片，以获取作业地块的一些信息。例如，通过采集的作业地块的照片进行神经网络模型的训练，后续可以直接通过该训练好的神经网络模型识别作业地块的秸秆类型，使得农机有选择地进行作业，从而提升农业自动化程度。但由于在具体作业时，在对作业地块进行采集照片时，会受到如遮挡、光线、拍摄角度以及各种干扰的影响，导致拍摄的图片与训练集偏差较大，会对作业地块的分类结果造成影响。
另外，在使用神经网络对作业地块的秸秆类型进行分类时，会有一定的准确率，例如准确率为90％，那么对于识别错误的10％来说，需要进行人工审核，以确定哪些图片是错误的，当数据量较大时，人工审核的工作量较大，会耗费大量精力和时间。
有鉴于此，本申请实施例提供一种检测异常秸秆图片的方法和检测装置，该技术方案可以根据模型的输出结果确定待检测秸秆图片中的异常秸秆图片，从而可以在挑选错误数据时减少人工审核图片的数量。
下文将结合图1至图8介绍本申请实施例中的技术方案。
在农机作业的过程中，不同的地块中含有的秸秆量是不同的，为准确的区分地块中的秸秆量，需要对地块的秸秆量进行分类。对此，本申请实施例中对于采集的秸秆图片做了一些分类。
图1是本申请实施例提供的秸秆图片分类的示意图。如图1所示，根据采集到的作业地块中的秸秆量的多少对秸秆图片进行分类。
在一些实施例中，将秸秆图片分为干扰、无秸秆、个别图片有秸秆、少量秸秆连片、大量秸秆连片、秸秆全量等六类。
应理解，分类为“干扰”的图片可以认为采集的图片不是秸秆所在地块，例如，该图片中包括的内容是作业中的机器，从而会对秸秆量判断造成一些干扰，故将其分类为“干扰”。
分类为无秸秆、个别图片有秸秆、少量秸秆连片、大量秸秆连片、秸秆全量的图片中包括的内容是作业地块，根据其中包括的秸秆量进行区分。
在深度学习中，数据集的好坏会影响到模型的准确率。在本申请实施例中，数据集的制作可以包括如下步骤：
步骤一：获取作业地块的图片。
该步骤一中，可以使用手机、相机、车载摄像头等电子设备拍摄各个不同作业地块的图片，得到大量的秸秆图片，例如，可以获取总量为3000张的不同秸秆图片。
应理解，对于同一个作业地块，可以从多个角度拍摄获取该作业地块的多张秸秆图片，或者在不同天气下、不同时间段拍摄获取作业地块的多张秸秆图片。
步骤二：根据秸秆图片的特征对图片进行分类。
示例性地，对步骤一中获取的图片，根据图片中的秸秆量的多少分为干扰、无秸秆、个别图片有秸秆、少量秸秆连片、大量秸秆连片、秸秆全量等六类。
应理解，在一些实施例中，也可以根据图片中的秸秆量的多少将图片分为更多的类或更少的类，本身实施例不予限定。
步骤三：对各个类别的图片进行人工标注，得到数据集。
示例性地，步骤二中将图片分为六类，则该步骤三中可以对每个类别的图片进行数标注。例如，将类别为“干扰”的图片标注为1、将类别为“无秸秆”的图片标注为2、将类别为“个别图片有秸秆”的图片标注为3、将类别为“少量秸秆连片”的图片标注为4、将类别为“大量秸秆连片”的图片标注为5、将类别为“秸秆全量”的图片标注为6。
步骤四：初步输入网络中模型进行训练，验证数据集的合理性。
该步骤四中，可以将该数据集输入网络模型中进行训练，以验证数据集的合理性。
本申请实施例中，可以通过神经网络模型对该数据集进行训练，通过一系列的调参优化，可以得到各个类别的模板。
本申请实施例中，对于每个类型可以选择十张秸秆图片作为该类的模板，该十张秸秆图片为模板秸秆图片，各个类别的模板组成标准数据集。在后续处理中，可以通过该标准数据集判断待检测秸秆图片与标准数据集之间的差别，当差别较大时，可以认为该待检测秸秆图片为异常图片，然后可以将该异常图片自动挑出，从而可以在挑选错误数据时减少人工审核图片的数量。
应理解，该每个类别的图片数量还可以为其他值，例如，15、20等，本申请实施例不予限定。
下面介绍本申请实施例中涉及的损失函数：
本申请的损失函数主要由两部分组成：分类损失函数Lcls和相似度损失函数Ldis。
Ltotal＝α·Lcls+β·Ldis (1)
其中，α表示分类损失函数的权重、β表示相似度损失函数的权重。
分类损失函数Lcls为交叉熵损失函数，其定义如下：
Figure BDA0003586304520000081
其中，wi表示类别的分值，ci表示预测的类别。交叉熵损失函数是一个有效寻找最小值目标的损失函数。
相似度损失函数Ldis的定义如下：
Figure BDA0003586304520000082
其中，Ai表示模板token的特征向量，Bi表示标准数据的特征向量，Ldis计算了两个向量之间的余弦距离。
图2是本申请中提升神经网络模型的泛化能力的示意图。如图2所示，为了增加本申请实施例中神经网络模型的鲁棒性，可以对各个类别的图片进行数据增强处理。
在一些实施例中，可以对图片中的部分不重要的地方进行擦除处理，例如，在第一组图片中，对图片中的部分区域(如区域A)进行擦除图像信息处理。
或者，可以对秸秆图片进行旋转，得到不同角度的秸秆图片。或者，可以对秸秆图片进行裁切。或者，对秸秆图片添加噪声、模糊、颜色变换等处理，以达到数据增强的目的。
应理解，本申请实施例中对于数据增强的具体方式不予限定。
图3是本申请实施例提供的一种神经网络模型的示意图。如图3所示，该神经网络模型可以由六个阶段(stage)组成。图中为简便描述，仅示意出了stage1和stage6，应理解，省略的stage2-stage5的结构可以和stage1相同。
其中，每个stage中可以包含两个深度自注意力变换网络块(transformer block，TB)，在每个transformer block中，待检测秸秆图片的第一特征(token)和第二token进行自注意力(self-attention)机制学习。通过自注意力机制学习，可以使得网络模型学习作业地块中不同图片节点之间的关系，从而获取作业地块的全局表达。
应理解，该待检测秸秆图片的第二token可以是随机生成的，或者是预设的，本申请实施例不予限定。
例如，该待检测秸秆图片被划分为九个小块(patch)，该九个小块则为该待检测图片的第一token，则该第二token为一个小块的大小，该第二token与待检测图片的每个小块进行自注意力学习，从而该第二token可以学习到整个待检测秸秆图片的特征。
在待检测秸秆图片的第一特征(token)和第二token进行自注意力机制学习的同时，将第二token进行自注意力学习后得到的第三token与模板秸秆图片的第四token进行交叉注意力(cross-attention)机制学习。通过该交叉注意力学习，可以将作业地块的特征表示与模板的特征之间的关联特征进行了统一，从而可以模拟人的大脑在认识陌生事物时，通过先验知识进行理解和判断的过程。
应理解，该第四token的生成方式与第二token类似。例如，将模板秸秆图片分为九个小块，将模板秸秆图片的初始化token与上述九个小块分别进行自注意力学习，得到该第四token。
图4是本申请实施例提供的一种检测异常秸秆图片的方法的示意性流程图。如图4所示，该方法可以包括步骤410至步骤420。
410，将多张待检测秸秆图片输入预先训练好的神经网络模型中。
应理解，该多张待检测秸秆图片可以是使用手机、相机、车载摄像头等电子设备拍摄的各个不同作业地块的秸秆图片。
420，根据所述神经网络模型输出的分类结果和相似度结果确定所述多张待检测秸秆图片中的异常秸秆图片，其中，所述分类结果用于表示所述待检测秸秆图片的类别，所述相似度结果用于表示所述待检测秸秆图片与所述模板秸秆图片的相似度。
该步骤中，神经网络模型既可以输出多张待检测秸秆图片的分类，也可以输出待检测秸秆图片与模板秸秆图片的相似度。从而有利于确定待检测秸秆图片是否为异常秸秆图片，减少后续人工审核的工作量。
在一些实施例中，所述根据所述神经网络模型输出的分类结果和相似度结果确定所述多张待检测秸秆图片中的异常秸秆图片，包括：
当所述待检测秸秆图片与所述模板秸秆图片的相似度结果小于第一预设值时，确定所述待检测秸秆图片为异常秸秆图片。
可选地，所述模板秸秆图片包括N种类型，所述当所述待检测秸秆图片与所述模板秸秆图片的相似度小于第一预设值时，确定所述待检测秸秆图片为异常秸秆图片，包括：
当所述待检测秸秆图片与所述模板秸秆图片中的N种类型的N个相似度中最大的相似度小于第一预设值时，确定所述待检测秸秆图片为异常秸秆图片；
其中，N为大于或等于2的整数。
示例性地，当模板秸秆图片共分为六类时，对于多张待检测秸秆图片的每一张图片来说，神经网络模型会分别计算其与该六类模板秸秆图片的每一类进行计算，得到图片与该类的相似度。例如，对于待检测秸秆图片A，通过计算会得到六个相似度值，分别为相似度A、相似度B、相似度C、相似度D、相似度E、相似度F。当该六个相似度值均小于第一预设值时，可以确定该待检测秸秆图片A与六类模板秸秆图片的相似度小，则可以确定该待检测秸秆图片为异常秸秆图片。
应理解，该第一预设值可以是预先设定的，例如，可以为0.5、0.7等，本申请实施例对该第一预设值的具体取值不予限定。
在另一些实施例中，所述根据所述神经网络模型输出的分类结果和相似度结果确定所述多张待检测秸秆图片中的异常秸秆图片，包括：
当所述待检测秸秆图片的分类结果与所述相似度结果不一致时，确定所述待检测秸秆图片为异常秸秆图片。
该实施例中，可以通过待检测秸秆图片的分类结果和相似度结果共同确定该待检测秸秆图片是否为异常秸秆图片。
可选地，所述模板秸秆图片包括N种类型，当所述待检测秸秆图片的分类结果与所述相似度结果不一致时，确定所述待检测秸秆图片为异常秸秆图片，包括：
当所述待检测秸秆图片与所述待检测秸秆图片的分类结果所属模板类型的相似度不是N个相似度中的最大值时，确定所述待检测秸秆图片为异常秸在人工审图时参考异常排除的结果，能定位到模型最可能出错的图片。去除异常图片后的分类准确率能够满足业务需求，则不需要再审图，只考虑异常排除即可
秆图片；
其中，N为大于或等于2的整数。
示例性地，N＝6，即模板秸秆图片共分为六类，该待检测秸秆图片A的分类结果为类别A，但是该待检测秸秆图片A与模板秸秆类型的类别A的相似度结果不是六个相似度结果中的最大值，则可以确定该待检测秸秆图片为异常秸秆图片。例如，待检测秸秆图片A的类别为类别A，其与模板秸秆图片中的类别A的相似度结果为0.55、其与模板秸秆图片中的类别B的相似度为0.61、其与模板秸秆图片中的类别C的相似度为0.44、其与模板秸秆图片中的类别D的相似度为0.43、其与模板秸秆图片中的类别E的相似度为0.46、其与模板秸秆图片中的类别F的相似度为0.41，则可以确定该待检测秸秆图片A与模板秸秆图片中的类别B的相似度最大，但是其分类结果为类别A，则可以确定该待检测秸秆图片A为异常秸秆图片。
在一些实施例中，在所述将多张待检测秸秆图片输入训练好的神经网络模型中之前，所述方法还包括：
将训练数据集和模板数据输入神经网络模型中进行训练，或者，将训练数据集和模板数据的特征输入神经网络模型中进行训练。
应理解，该模板数据可以是前文中的模板秸秆图片。
例如，如果将秸秆图片按照前文中的分类方法分为六类，则可以将训练数据集和该六类模板秸秆图片一同输入该神经网络模型中，从而该模板秸秆图片可以为训练数据集提供参考，有利于后续计算训练数据集与模板秸秆图片的相似度。
在另一个示例中，将训练数据集和模板数据的特征输入训练好的神经网络模型中。
应理解，该模板数据的特征可以是模板秸秆图片的token(如前文中的第四token)，该步骤中，可以将训练数据集经过(convolutional neural networks，CNN)映射(projection)之后转换为特征向量，然后读取模板秸秆图片的token，共同输入神经网络模型中进行训练。
该模板秸秆图片的token可以是预先生成的，例如，每类模板秸秆图片生成一个token。
本申请实施例中，通过加入模板数据或模板数据的特征对模型进行训练，可以给训练数据集提供一些参考，从而有利于确定训练数据集与不同模板之间的关联程度。
在一些实施例中，所述将训练数据集和模板数据的特征输入神经网络模型中进行训练，包括：
在所述神经网络模型中，将所述训练数据集的第一特征与第二特征进行自注意力学习，其中，所述第二特征为随机初始化得到的特征；
将所述第二特征与所述第一特征进行自注意力学习后得到的第三特征与所述模板数据的第四特征进行交叉注意力学习。
示例性地，参见图3。该第一特征可以是训练数据集的秸秆图片分成的按顺序排列的小块(patch)，该第二特征(token)可以是随机初始化得到的，然后将该第二token与第一特征进行自注意力学习；之后，该第二token更新为第三特征(token)，然后与模板数据的第四token进行交叉注意力学习。
基于本申请实施例，将训练数据集的第一特征与第二token进行自注意力学习，通过自注意力机制学习，可以使得网络模型学习作业地块中不同图片节点之间的关系，从而获取作业地块的全局表达；通过该交叉注意力学习，可以将作业地块的特征表示与模板的特征之间的关联特征进行了统一，从而可以模拟人的大脑在认识陌生事物时，通过先验知识进行理解和判断的过程。
在一些实施例中，所述方法还包括：
将所述异常秸秆图片存放在第一集合中。
应理解，该第一集合可以位于电子设备的文件夹中，或目标路径中。
本申请实施例中，可以将识别出的异常秸秆图片存放在一起，从而有利于用户查看。
在一些实施例中，所述神经网络模型的损失函数为：
Ltotal＝α·Lcls+β·Ldis；
其中，
Figure BDA0003586304520000121
α表示分类损失函数的权重、β表示相似度损失函数的权重；wi表示，类别的分值，ci表示预测的类别；Ai表示模板秸秆图片特征的特征向量，Bi表示标准数据的特征向量，Ldis计算了两个向量之间的余弦距离。
在一些实施例中，所述模板秸秆图片包括的类型包括以下中的至少两种：干扰、无秸秆、个别图片有秸秆、少量秸秆连片、大量秸秆连片、秸秆全量。
应理解，该模板秸秆图片中包括的类型还可以有其他划分方式，本申请实施例不予限定。
下面将结合几个实验验证本申请实施例中的技术方案的效果。
实验一：模板token进行参数更新，其损失函数不更新。
对神经网络模型进行训练时，将训练数据集的token和标准数据集(模板数据)的模板token输入神经网络模型，进行自注意力学习。
如图5所示，图5是实验一的示意图。将训练数据集的分类token和标准数据集的模板token输入神经网络模型中，进行自注意力学习，模板token随着训练不断进行参数更新。应理解，该分类token可以是前文中的第二token。
训练数据集的分类token用于计算损失函数loss1(softmax)，以用于对训练数据集中包括的秸秆图片进行分类，之后将分类token与模板token进行点乘(matmul)作为损失函数loss2，以用于计算待检测秸秆图片与模板秸秆图片的相似度，loss2部分不更新。
神经网络模型训练好之后，使用测试集验证模型。
实验一的结果参见表1。
表1 实验一的结果
待检测秸秆图片总量 813
检测出的异常图片数量 267
原始分类准确率 86％
去除异常图片后的分类准确率 91％
异常排除比例 33％
如表一所示，待检测秸秆图片的总量为813张，未对待检测秸秆图片进行异常检测的原始分类准确率为86％；当使用本申请的技术方案对813张待检测秸秆图片进行异常秸秆图片检测时，检测出的异常秸秆图片数量为267张，占总体待检测秸秆图片的33％(异常排除比例)；同时分类准确率提升为91％。
该技术方案中，原始分类准确率为86％，则识别错误的比例为14％，当用户希望查看究竟是哪些数据识别错误时，可能需要从813张图片中人工审核找到识别错误的14％。当使用检测算法检测异常秸秆图片时，分类准确率提升至91％，模型识别错误的比例为9％，提升了模型的分类准确率，用户可能只需从余下546张图片中寻找该识别错误的9％，从而可以降低人工审核的数据量。
实验二：对模板数据进行更新。
对神经网络模型进行训练时，将模板数据(模板秸秆图片)和训练数据集共同输入神经网络模型中。
如图6所示，图6是实验二的示意图。训练数据集的分类token用于计算损失函数loss1，以用于对训练数据集中的秸秆图片进行分类，模板数据是随着训练更新的，将分类token与模板数据进行点乘(matmul)作为损失函数loss2，以用于计算训练数据集中的秸秆图片与模板数据的相似度。
应理解，该分类token可以是前文中的第二token。
神经网络模型训练好之后，使用测试集验证模型。
实验二的结果参见表2。
表2 实验二的结果
待检测秸秆图片总量 813
检测出的异常图片数量 224
原始分类准确率 86％
去除异常图片后的分类准确率 92％
异常排除比例 28％
如表2所示，待检测秸秆图片的总量为813张，未对待检测秸秆图片进行异常检测的原始分类准确率为86％；当使用本申请的技术方案对813张待检测秸秆图片进行异常秸秆图片检测时，检测出的异常秸秆图片数量为224张，占总体待检测秸秆图片的28％(异常排除比例)；同时分类准确率提升为92％。
该技术方案中，原始分类准确率为86％，则识别错误的比例为14％，当用户希望查看究竟是哪些数据识别错误时，可能需要从813张图片中人工审核找到识别错误的14％。当使用检测算法检测异常秸秆图片时，分类准确率提升至92％，模型识别错误的比例为8％，提升了模型的分类准确率，用户可能只需从余下589张图片中寻找该识别错误的8％，从而可以降低人工审核的数据量。
实验三：模板token进行参数更新，增加交叉注意力层。
如图7所示，图7是实验三的示意图。对神经网络模型进行训练时，将训练数据集的token和初始化token进行自注意力学习、将初始化token更新后得到的分类token与模板数据的模板token进行交叉注意力学习，模板token随着训练不断进行参数更新。
交叉注意力学习后得到的分类token用于计算损失函数loss1，将模板token与模板数据进行点乘作为损失函数loss2，以用于训练数据集中的秸秆图片与模板数据的相似度。
神经网络模型训练好之后，使用测试集验证模型。
实验三的结果参见表3。
表3 实验三的结果
待检测秸秆图片总量 813
检测出的异常图片数量 117
原始分类准确率 86％
去除异常图片后的分类准确率 91％
异常排除比例 14％
如表三所示，待检测秸秆图片的总量为813张，未对待检测秸秆图片进行异常检测的原始分类准确率为86％；当使用本申请的技术方案对813张待检测秸秆图片进行异常秸秆图片检测时，检测出的异常秸秆图片数量为117张，占总体待检测秸秆图片的14％(异常排除比例)；同时分类准确率提升为91％。
该技术方案中，原始分类准确率为86％，则识别错误的比例为14％，当用户希望查看究竟是哪些数据识别错误时，可能需要从813张图片中人工审核找到识别错误的14％。当使用检测算法检测异常秸秆图片时，分类准确率提升至91％，模型识别错误的比例为9％，提升了模型的分类准确率，用户可能只需从余下696张图片中寻找该识别错误的9％，从而可以降低人工审核的数据量。
图8是本申请实施例提供的一种检测装置的示意性框图。如图8所示，该检测装置500可以包括输入模块510和处理模块520。
该输入模块510，用于将多张待检测秸秆图片和模板秸秆图片输入预先训练好的神经网络模型中，或者，将多张待检测秸秆图片和模板秸秆图片的特征输入预先训练好的神经网络模型中；
该处理模块520，用于根据所述神经网络模型输出的分类结果和相似度结果确定所述多张待检测秸秆图片中的异常秸秆图片，其中，所述分类结果用于表示所述待检测秸秆图片的类别，所述相似度结果用于表示所述待检测秸秆图片与所述模板秸秆图片的相似度。
应理解，该输入模块510、处理模块520还可以用于执行如前文实施例中任一种所述的检测异常秸秆图片的方法中的相应动作，以实现相应的功能。
本申请实施例还提供一种芯片，所述芯片包括处理器和通信接口，所述通信接口用于接收信号，并将所述信号传输至所述处理器，所述处理器处理所述信号，使得如上述实施例中所述的检测异常秸秆图片的方法被执行。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序或指令，所述计算机程序或指令被执行时使得计算机执行如前文中任一项所述的检测异常秸秆图片的方法。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当该计算机程序被运行时，使得计算机执行如前文中任一项所述的检测异常秸秆图片的方法。
本申请实施例还提供了一种处理装置，包括处理器和接口；所述处理器用于执行上述任一方法实施例中的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例中的方法，如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读存储介质中，基于这样的理解，本申请的技术方案或技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。该存储介质至少包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种检测异常秸秆图片的方法，其特征在于，包括：
将多张待检测秸秆图片输入预先训练好的神经网络模型中；
根据所述神经网络模型输出的分类结果和相似度结果确定所述多张待检测秸秆图片中的异常秸秆图片，其中，所述分类结果用于表示所述待检测秸秆图片的类别，所述相似度结果用于表示所述待检测秸秆图片与所述模板秸秆图片的相似度。
2.根据权利要求1所述的方法，其特征在于，所述根据所述神经网络模型输出的分类结果和相似度结果确定所述多张待检测秸秆图片中的异常秸秆图片，包括：
当所述待检测秸秆图片与所述模板秸秆图片的相似度小于第一预设值时，确定所述待检测秸秆图片为异常秸秆图片。
3.根据权利要求2所述的方法，其特征在于，所述模板秸秆图片包括N种类型，所述当所述待检测秸秆图片与所述模板秸秆图片的相似度小于第一预设值时，确定所述待检测秸秆图片为异常秸秆图片，包括：
当所述待检测秸秆图片与所述模板秸秆图片中的N种类型的N个相似度中最大的相似度小于第一预设值时，确定所述待检测秸秆图片为异常秸秆图片；
其中，N为大于或等于2的整数。
4.根据权利要求1所述的方法，其特征在于，所述根据所述神经网络模型输出的分类结果和相似度结果确定所述多张待检测秸秆图片中的异常秸秆图片，包括：
当所述待检测秸秆图片的分类结果与所述相似度结果不一致时，确定所述待检测秸秆图片为异常秸秆图片。
5.根据权利要求4所述的方法，其特征在于，所述模板秸秆图片包括N种类型，当所述待检测秸秆图片的分类结果与所述相似度结果不一致时，确定所述待检测秸秆图片为异常秸秆图片，包括：
当所述待检测秸秆图片与所述待检测秸秆图片的分类结果对应的类型的相似度不是N个相似度中的最大值时，确定所述待检测秸秆图片为异常秸秆图片；
其中，N为大于或等于2的整数。
6.根据权利要求1-5中任一项所述的方法，其特征在于，在所述将多张待检测秸秆图片输入训练好的神经网络模型中之前，所述方法还包括：
将训练数据集和模板数据输入神经网络模型中进行训练，或者，将训练数据集和模板数据的特征输入神经网络模型中进行训练。
7.根据权利要求6所述的方法，其特征在于，所述将训练数据集和模板数据的特征输入神经网络模型中进行训练，包括：
在所述神经网络模型中，将所述训练数据集的第一特征与第二特征进行自注意力学习，其中，所述第二特征为随机初始化得到的特征；
将所述第二特征与所述第一特征进行自注意力学习后得到的第三特征与所述模板数据的第四特征进行交叉注意力学习。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述神经网络模型的损失函数为：
Ltotal＝α·Lcls+β·Ldis；
其中，
Figure FDA0003586304510000021
α表示分类损失函数的权重、β表示相似度损失函数的权重；wi表示，类别的分值，ci表示预测的类别；Ai表示模板秸秆图片特征的特征向量，Bi表示标准数据的特征向量，Ldis计算了两个向量之间的余弦距离。
9.根据权利要求1-8中任一项所述的方法，其特征在于，所述模板秸秆图片包括的类型包括以下中的至少两种：干扰、无秸秆、个别图片有秸秆、少量秸秆连片、大量秸秆连片、秸秆全量。
10.一种检测异常秸秆图片的装置，其特征在于，包括：
输入模块，用于将多张待检测秸秆图片输入预先训练好的神经网络模型中；
处理模块，用于根据所述神经网络模型输出的分类结果和相似度结果确定所述多张待检测秸秆图片中的异常秸秆图片；其中，所述分类结果用于表示所述待检测秸秆图片的类别，所述相似度结果用于表示所述待检测秸秆图片与所述模板秸秆图片的相似度。
11.根据权利要求10所述的装置，其特征在于，所述处理模块具体用于：
当所述待检测秸秆图片与所述模板秸秆图片的相似度小于第一预设值时，确定所述待检测秸秆图片为异常秸秆图片。
12.根据权利要求11所述的装置，其特征在于，所述模板秸秆图片包括N种类型，所述处理模块具体用于：
当所述待检测秸秆图片与所述模板秸秆图片中的N种类型的N个相似度结果中的相似度小于第一预设值时，确定所述待检测秸秆图片为异常秸秆图片；
其中，N为大于或等于2的整数。
13.根据权利要求10所述的装置，其特征在于，所述处理模块具体用于：
当所述待检测秸秆图片的分类结果与所述相似度结果不一致时，确定所述待检测秸秆图片为异常秸秆图片。
14.根据权利要求13所述的装置，其特征在于，所述模板秸秆图片包括N种类型，所述处理模块具体用于：
当所述待检测秸秆图片与所述待检测秸秆图片的分类结果对应的类型的相似度不是N个相似度中的最大值时，确定所述待检测秸秆图片为异常秸秆图片；
其中，N为大于或等于2的整数。
15.根据权利要求10-14中任一项所述的装置，其特征在于，在所述输入模块将多张待检测秸秆图片输入训练好的神经网络模型中之前，所述装置还包括：
训练模块，用于将训练数据集和模板数据输入神经网络模型中进行训练，或者，将训练数据集和模板数据的特征输入神经网络模型中进行训练。
16.根据权利要求15所述的装置，其特征在于，所述训练模块具体用于：
在所述神经网络模型中，将所述训练数据集的第一特征与第二特征进行自注意力学习，其中，所述第二特征为随机初始化得到的特征；
将所述第二特征与第一特征进行自注意力学习后得到的第三特征与所述模板数据的第四特征进行交叉注意力学习。
17.根据权利要求10-15中任一项所述的装置，其特征在于，所述神经网络模型的损失函数为：
Ltotal＝α·Lcls+β·Ldis；
其中，
Figure FDA0003586304510000041
α表示分类损失函数的权重、β表示相似度损失函数的权重；wi表示，类别的分值，ci表示预测的类别；Ai表示模板秸秆图片特征的特征向量，Bi表示标准数据的特征向量，Ldis计算了两个向量之间的余弦距离。
18.根据权利要求10-17中任一项所述的装置，其特征在于，所述模板秸秆图片包括的类型包括以下中的至少两种：干扰、无秸秆、个别图片有秸秆、少量秸秆连片、大量秸秆连片、秸秆全量。
19.一种芯片，其特征在于，所述芯片包括处理器和通信接口，所述通信接口用于接收信号，并将所述信号传输至所述处理器，所述处理器处理所述信号，使得如权利要求1-9中任一项所述的检测异常秸秆图片的方法被执行。
20.一种计算机可读存储介质，其上存储有计算机程序或指令，其特征在于，所述计算机程序或指令被执行时，使得如权利要求1-9中任一项所述的检测异常秸秆图片的方法被执行。
CN202210367055.0A 2022-04-08 2022-04-08 检测异常秸秆图片的方法和检测装置 Pending CN114743048A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210367055.0A CN114743048A (zh) 2022-04-08 2022-04-08 检测异常秸秆图片的方法和检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210367055.0A CN114743048A (zh) 2022-04-08 2022-04-08 检测异常秸秆图片的方法和检测装置

Publications (1)

Publication Number Publication Date
CN114743048A true CN114743048A (zh) 2022-07-12

Family

ID=82279051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210367055.0A Pending CN114743048A (zh) 2022-04-08 2022-04-08 检测异常秸秆图片的方法和检测装置

Country Status (1)

Country Link
CN (1) CN114743048A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292395A (zh) * 2023-09-27 2023-12-26 自然资源部地图技术审查中心 审图模型的训练方法和训练装置及审图的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292395A (zh) * 2023-09-27 2023-12-26 自然资源部地图技术审查中心 审图模型的训练方法和训练装置及审图的方法和装置
CN117292395B (zh) * 2023-09-27 2024-05-24 自然资源部地图技术审查中心 审图模型的训练方法和训练装置及审图的方法和装置

Similar Documents

Publication Publication Date Title
CN110570389B (zh) 车辆损伤识别方法及装置
WO2021164232A1 (zh) 用户识别方法、装置、设备及存储介质
CN109740606B (zh) 一种图像识别方法及装置
CN112215201B (zh) 评估人脸识别模型、针对图像的分类模型的方法及装置
CN108229588B (zh) 一种基于深度学习的机器学习识别方法
CN110135505B (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
CN111046879A (zh) 证件图像分类方法、装置、计算机设备及可读存储介质
CN110956615B (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
CN111506798A (zh) 用户筛选方法、装置、设备及存储介质
CN111373393B (zh) 图像检索方法和装置以及图像库的生成方法和装置
CN112766427A (zh) 图像识别模型的训练方法、装置及设备
CN115082659A (zh) 一种图像标注方法、装置、电子设备及存储介质
CN114743048A (zh) 检测异常秸秆图片的方法和检测装置
CN112818946A (zh) 年龄识别模型的训练、年龄识别方法、装置及电子设备
CN116563735A (zh) 一种基于深度人工智能的输电杆塔巡检图像对焦判断方法
Liu et al. Container-code recognition system based on computer vision and deep neural networks
CN108345943B (zh) 一种基于嵌入编码与对比学习的机器学习识别方法
CN111507850A (zh) 核保方法及相关装置、设备
CN116071625A (zh) 深度学习模型的训练方法、目标检测方法及装置
CN115830351A (zh) 图像处理方法、设备以及存储介质
CN113836297B (zh) 文本情感分析模型的训练方法及装置
CN112446428B (zh) 一种图像数据处理方法及装置
Shen et al. Optical Prior‐Based Underwater Object Detection with Active Imaging
CN112699908A (zh) 标注图片的方法、电子终端、计算机可读存储介质及设备
CN118212621B (zh) 一种自动驾驶目标检测模型的测试样本选择方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 150029 Building 1, Kechuang headquarters, Shenzhen (Harbin) Industrial Park, No. 288, Zhigu street, Songbei District, Harbin, Heilongjiang Province

Applicant after: Heilongjiang Huida Technology Co.,Ltd.

Address before: 150029 Building 1, Kechuang headquarters, Shenzhen (Harbin) Industrial Park, No. 288, Zhigu street, Songbei District, Harbin, Heilongjiang Province

Applicant before: HEILONGJIANG HUIDA TECHNOLOGY DEVELOPMENT Co.,Ltd.