CN113936177A - 图像处理方法、识别方法、产量估算方法以及电子设备 - Google Patents

图像处理方法、识别方法、产量估算方法以及电子设备 Download PDF

Info

Publication number
CN113936177A
CN113936177A CN202111222182.3A CN202111222182A CN113936177A CN 113936177 A CN113936177 A CN 113936177A CN 202111222182 A CN202111222182 A CN 202111222182A CN 113936177 A CN113936177 A CN 113936177A
Authority
CN
China
Prior art keywords
image
marked
target
area
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111222182.3A
Other languages
English (en)
Inventor
肖罗霖
黄达锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Haohang Technology Co ltd
Original Assignee
Guangdong Haohang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Haohang Technology Co ltd filed Critical Guangdong Haohang Technology Co ltd
Priority to CN202111222182.3A priority Critical patent/CN113936177A/zh
Publication of CN113936177A publication Critical patent/CN113936177A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像处理方法、识别方法、产量估算方法以及电子设备，所述方法包括：获取预训练模型以及多个待标记图像；基于所述预训练模型对多个所述待标记图像进行识别，得到多个第一目标区域；对多个所述第一目标区域进行修正，得到修正后的多个第一目标区域；对修正后的多个所述第一目标区域进行加权融合处理，得到多个第二目标区域；基于多个所述第二目标区域对所述待标记图像进行标记，得到标记后的图像。

Description

图像处理方法、识别方法、产量估算方法以及电子设备
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、识别方法、产量估算方法以及电子设备。
背景技术
当前，小麦产量的估算主要通过人工手动统计的方法，这需要相关农业专家进入田间实测推算工作。传统的手工估算的方法需要经过标识测量，拉尺，收割，脱粒，去杂，称重等前期环节，之后还需要进行含水量测量，面积计算，产量计算等步骤才能得出最终产量。传统的测算方式不仅费时费力，步骤繁琐，没有统一的标准化流程，而且肉眼统计手动测量会产生不可预估的误差。
为尽可能准确的估算出麦田中小麦的麦穗数量，现有技术中提供了一种基于监督学习模型的麦穗识别方法，其利用大量的含有麦穗标签的样本图像进行模型训练，得到监督学习模型，用于识别图像中的麦穗数量。然而，由于标记样本图像中的麦穗标签可能需要专家知识、特殊设备以及大量时间，因此，想要获取大量的含有麦穗标签的样本图像往往是非常困难的。相对于含有麦穗标签的样本图像，未含有麦穗标签的麦穗图像广泛存在且非常容易收集，但是监督学习模型无法利用未含有麦穗标签的麦穗图像，在含有麦穗标签的麦穗图像较少时，训练得到的监督学习模型的性能较差，导致识别精度较低，使得小麦产量的估算误差较大。
发明内容
本申请提供了一种图像处理方法、识别方法、产量估算方法以及电子设备，能够对图像进行标记，提高图像标记的准确度，有利于提高半监督学习模型的性能，降低误差。
第一方面，本申请提供了一种图像处理方法，包括：
获取预训练模型以及多个待标记图像；
基于所述预训练模型对多个所述待标记图像进行识别，得到多个第一目标区域；
对多个所述第一目标区域进行修正，得到修正后的多个第一目标区域；
对修正后的多个所述第一目标区域进行加权融合处理，得到多个第二目标区域；
基于多个所述第二目标区域对所述待标记图像进行标记，得到标记后的图像。
其中一种可能的实现方式中，所述对多个所述第一目标区域进行修正，得到修正后的多个第一目标区域，包括：
若所述第一目标区域的坐标值大于预设第一数值，则将所述第一目标区域的坐标值设为所述预设第一数值，若所述第一目标区域的坐标值小于预设第二数值，则将所述第一目标区域的坐标值设为所述预设第二数值，所述预设第一数值大于所述预设第二数值；
若所述第一目标区域的左上角坐标值大于右下角坐标值，则对所述第一目标区域的左上角坐标值与右下角坐标值进行交换；
若所述第一目标区域的左上角坐标值与右下角坐标值相等，则删除所述第一目标区域。
其中一种可能的实现方式中，所述待标记图像包括第一尺寸，在获取多个待标记图像之后，所述方法还包括：
对所述第一尺寸的待标记图像进行填充，得到第二尺寸的待标记图像，所述第二尺寸大于所述第一尺寸；
对所述第二尺寸的待标记图像进行裁剪，得到第三尺寸的待标记图像，所述第三尺寸小于所述第二尺寸。
其中一种可能的实现方式中，所述基于所述预训练模型对多个所述待标记图像进行识别，得到多个第一目标区域，包括：
对所述待标记图像进行旋转，得到旋转后的待标记图像；
将所述待标记图像以及旋转后的所述待标记图像输入到所述预训练模型中，得到多个第一预测区域；
若所述第一预测区域对应所述旋转后的待标记图像，则对所述第一预测区域进行坐标转换，得到第二预测区域，对所述第二预测区域的左上角坐标与右下角坐标进行比较，根据比较结果，得到第一目标区域。
其中一种可能的实现方式中，所述第二预测区域由公式：
Figure BDA0003313024980000021
计算得到；
其中，(x1，y1)为第一预测区域的左上角坐标，(x2，y2)为第一预测区域的右下角坐标，(x′1，y′1)为第二预测区域的左上角坐标，(x′2，y′2)为第二预测区域的右下角坐标；
其中，x′1与x′2中的较小者以及y′1与y′2中的较小者为第一目标区域的左上角坐标，x′1与x′2中的较大者以及y′1与y′2中的较大者为第一目标区域的右下角坐标。
其中一种可能的实现方式中，在所述得到多个第一预测区域之后，所述方法还包括：
判断多个所述第一预测区域的置信度是否大于预设第一阈值，以及判断多个所述第一预测区域之间的重叠度是否大于预设第二阈值，根据判断结果，对多个第一预测区域进行筛选，得到筛选后的多个第一预测区域；
和/或，在所述得到多个第一目标区域之后，所述方法还包括：
判断多个所述第一目标区域的置信度是否大于预设第三阈值，根据判断结果，对多个所述第一目标区域进行筛选，得到筛选后的第一目标区域。
其中一种可能的实现方式中，所述对修正后的多个所述第一目标区域进行加权融合处理，得到多个第二目标区域，包括：
对修正后的多个所述第一目标区域进行加权融合处理，得到多个融合区域；
若所述融合区域与所述第一目标区域的重叠度大于预设第四阈值，则基于目标加权融合算法对所述融合区域进行处理，得到第二目标区域。
第二方面，本申请提供一种识别方法，包括：
获取采集到的待识别图像；
将所述待识别图像输入到半监督学习模型中，得到识别结果，所述半监督学习模型由标签数据集以及伪标签数据集训练得到，所述伪标签数据集中包含由第一方面所述的方法得到的标记后的图像。
第三方面，本申请提供一种产量估算方法，包括：
采集待识别图像，所述待识别图像由图像采集装置对麦田拍摄得到；
利用第二方面所述的方法对所述待识别图像进行识别，得到识别结果，所述识别结果中包含麦穗数量；
基于所述麦穗数量，获得麦田产量。
其中一种可能的实现方式中，所述采集待识别图像，包括：
获取待检测区域以及图像采集装置的拍摄区域；
基于所述待检测区域以及所述拍摄区域，获得拍摄路径以及拍摄距离；
控制所述图像采集装置沿着所述拍摄路径移动；
在所述图像采集装置沿着所述拍摄路径移动的过程中，控制所述图像采集装置每移动所述拍摄距离对所述待检测区域进行拍摄，得到多个待识别图像。
第四方面，本申请提供一种图像处理装置，包括：
获取模块，用于获取预训练模型以及多个待标记图像；
识别模块，用于基于所述预训练模型对多个所述待标记图像进行识别，得到多个第一目标区域；
修正模块，用于对多个所述第一目标区域进行修正，得到修正后的多个第一目标区域；
融合模块，用于对修正后的多个所述第一目标区域进行加权融合处理，得到多个第二目标区域；
标记模块，用于基于多个所述第二目标区域对所述待标记图像进行标记，得到标记后的图像。
第五方面，本申请提供一种识别装置，包括：
图像获取模块，用于获取采集到的待识别图像；
处理模块，用于将所述待识别图像输入到半监督学习模型中，得到识别结果，所述半监督学习模型由标签数据集以及伪标签数据集训练得到，所述伪标签数据集中包含由第一方面所述的方法得到的标记后的图像。
第六方面，本申请提供一种产量估算装置，包括：
采集模块，用于采集待识别图像，所述待识别图像由图像采集装置对麦田拍摄得到；
麦穗识别模块，用于利用第二方面所述的方法对所述待识别图像进行识别，得到识别结果，所述识别结果中包含麦穗数量；
产量获得模块，用于基于所述麦穗数量，获得麦田产量。
第七方面，本申请提供了一种电子设备，包括：
一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如第一方面、第二方面或第三方面所述的方法。
第八方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面、第二方面或第三方面所述的方法。
第九方面，本申请提供一种计算机程序，当所述计算机程序被计算机执行时，用于执行第一方面、第二方面或第三方面所述的方法。
在一种可能的设计中，第九方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
附图说明
图1为本申请图像处理方法一个实施例的方法示意图；
图2为本申请基于半监督学习的识别方法一个实施例的流程示意图；
图3为本申请图像处理方法一个实施例的流程示意图；
图4为本申请图像处理方法一个实施例中半监督学习模型的精确度与召回率曲线示意图；
图5为本申请识别方法一个实施例的方法示意图；
图6为本申请识别方法一个实施例中识别结果的示意图；
图7A为本申请产量估算方法一个实施例的方法示意图；
图7B为本申请产量估算方法一个实施例中图像采集装置采集图像的流程示意图；
图7C为本申请产量估算方法一个实施例中拍摄区域的平面示意图；
图8为本申请图像处理装置一个实施例的结构示意图；
图9为本申请识别装置一个实施例的结构示意图；
图10为本申请产量估算装置一个实施例的结构示意图；
图11为本申请电子设备一个实施例的结构示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
为此，本申请提出一种图像处理方法、识别方法、产量估算方法以及电子设备，能够对图像进行标记，提高图像标记的准确度，有利于提高半监督学习模型的性能，降低误差。
在本实施例中，采用半监督学习的识别方法实现麦穗识别，图1所示图像处理方法可以对待标记图像进行标记，得到标记后的图像，待标记图像如未含有麦穗标签的麦穗图像等，标记后的图像用于构成伪标签数据集，含有麦穗标签的样本图像用于构成标签数据集，利用标签数据集以及伪标签数据集进行模型训练，得到半监督学习模型，如图2所示。该半监督学习模型可以应用于识别方法中，对待识别图像进行识别，得到识别结果，待识别图像如由图像采集装置对麦田拍摄得到的图像，识别结果如麦穗数量等。该识别结果可以应用于产量估算方法，以估算得到麦田的小麦产量。
图1为本申请图像处理方法一个实施例的方法示意图。如图1和图3所示，上述图像处理方法可以包括：
S101、获取预训练模型以及多个待标记图像。
优选地，预训练模型可以由标签数据集训练得到。标签数据集如GWHD数据集(David E,Madec S,Sadeghi-Tehran P,et al.Global Wheat Head Detection(GWHD)，用于表示全球小麦麦穗(或麦头)的样本图像。GWHD数据集是一个从麦田光学图像中提取到小麦麦穗的大规模数据集，其包含有4700幅高分辨率样本图像(如RGB图像等)，每个样本图像中包含有标注(或标签等)，该标注如标记区域或标记框等，用于标记麦穗所在的区域，GWHD数据集中共约19万个标注。
待标记图像可以从图像采集装置(如带有拍摄装置的无人机等)对麦田拍摄得到视频中提取得到。例如，无人机在低空如1.8米等对某地的麦田进行视频拍摄，得到视频，视频分辨率为1280*720，30fps，该视频中可以包含多帧图像。步骤S101中，可以包括：每隔预设时间间隔(如1秒)或预设帧数，从该视频中抽取一帧图像，得到多个待标记图像。可以看出的是，待标记图像中未包含有标注(如待标记图像中的麦穗未被标记等)，获取难度明显较低。
需要说明的是，所述图像采集装置可以为搭载在飞行装置(如无人飞机)上的图像采集装置(如摄像头)，或者具有图像拍摄模块的飞行装置，此处并不做限定。
进一步地，所述方法还可以包括：对标签数据集进行预处理，得到预处理后的标签数据集。标签数据集可以按照8∶2比例切分为训练集和验证集，用于训练得到预训练模型。
具体地，对标签数据集进行预处理的流程可以包括：
S2.1、在GWHD数据集下存在7个不同的josn文件，分别代表来自不同国家或地区主导完成的7个数据集，对于每个josn文件，执行以下步骤S2.2至S2.11。
S2.2、通过josn.load的方法读取josn文件，设返回结果为object，object的类型为dict；遍历object中的imges列表(如样本图像列表)，建立key为image-id，value为[image_path，file_name]的对象id2image，id2image的类型为list，id2image中每一个元素都是一个dict。
S2.3、初始化控DataFrame对象，命名为df。
S2.4、遍历object中的annotations列表，往df中逐行追加annotations中image_id和bbox数据，其中，bbox为长度为4的列表，分别代表标记区域的横坐标x，纵坐标y，宽度w及高度h，在df中其列名分别记为“x”，“y”，“w”，“h”。
S2.5、对于df，通过列x和列w生成新列x-center，通过列y和列h生成新列y-center，其公式为：
Figure BDA0003313024980000051
Figure BDA0003313024980000052
其中，xcenter为x-center，ycenter为y-center。
S2.6、对于df，生成新列，值为0，列名为“classes”。
S2.7、设立(0，1]范围内的随机数r。
S2.8、通过groupby函数对di中按照“image_id”进行分组，即将df中相同image_id的数据合并到同一个列表之中，得到新的df。
S2.9、循环遍历所有df，每次循环重置随机数r，若r＜0.8，则标记该次数据为训练集，否则，标记该次数据为验证集，以保证随机性，提高后续模型训练结果的准确度。
S2.10、对步骤S2.9循环中的n*5的二维矩阵，转化为浮点型之后，除以1024(图像分辨率1024*1024)，其中，n为同一image_id的数据行数，数字5代表5列，d代表[“classes”，“x_center”，“y_center”，“w”，“h”]。
S2.11、根据步骤S2.9中标记的训练集或验证集，将步骤S2.10的结果，以及通过image_id索引id2image中对应的原图像写入训练集或验证集中。最终获得训练集图像2697张，验证集图像679张，训练集标注116185个，验证集标注29226个。
在本实施例中，利用训练集以及验证集对YOLOv5模型进行训练得到预训练模型。
进一步地，所述方法还可以包括：对待标记图像进行预处理，得到预处理后的待标记图像。具体地，所述待标记图像包括第一尺寸，对待标记图像进行预处理，包括：
S201、对所述第一尺寸的待标记图像进行填充，得到第二尺寸的待标记图像，所述第二尺寸大于所述第一尺寸；
S202、对所述第二尺寸的待标记图像进行裁剪，得到第三尺寸的待标记图像，所述第三尺寸小于所述第二尺寸。
举例地，由于第一尺寸的待标记图像为1280(长)*720(宽)，不利于后续处理得到半监督学习模型，因此，本实施例中，采用填充和裁剪的方法对第一尺寸的待标记图像进行处理，得到第三尺寸的待标记图像，第三尺寸为1024*1024，使得第三尺寸的待标记图像可以用于后续处理得到半监督学习模型。相对于图像拉伸的方式，本实施例中采用填充的方式对待标记图像进行处理，可以有效地提高后续处理得到的半监督学习模型的性能，提高图像识别率。
具体地，步骤S201中，优选采用固定色(如192,192,192等)对第一尺寸的待标记图像进行填充，如在两侧分别填充152的宽度等，得到第二尺寸的待标记图像，第二尺寸为1280*1024。在步骤S202中，从第二尺寸的待标记图像的左上角开始(或左上角坐标为坐标原点)，裁剪得到1024*1024的待标记图像。也就是说，1024*1024的待标记图像可以用于后续步骤S102至步骤S105进行处理，以对待标记图像进行标记，使得标记后的图像可以用于训练得到半监督学习模型。
S102、基于所述预训练模型对多个所述待标记图像进行识别，得到多个第一目标区域。
也就是说，待标记图像中包含多个目标如麦穗等，第一目标区域可以用于表示预测到的待标记图像中目标所在的区域以及置信度。具体地，第一目标区域可以包括坐标(如左上角坐标以及右下角坐标等)，坐标(如坐标值)可以用于表示其与坐标原点(坐标原点为待标记图像的左上角坐标)之间的距离，坐标可以包括x轴坐标以及y轴坐标。
其中一种可能的实现方式中，步骤S102可以包括：
S301、对所述待标记图像进行旋转，得到旋转后的待标记图像；
S302、将所述待标记图像以及旋转后的所述待标记图像输入到所述预训练模型中，得到多个第一预测区域；
S303、若所述第一预测区域对应所述旋转后的待标记图像，则对所述第一预测区域进行坐标转换，得到第二预测区域，对所述第二预测区域的左上角坐标与右下角坐标进行比较，根据比较结果，得到第一目标区域。
也就是说，本实施例中通过旋转待标记图像的方式来增加图像数量，以增强数据集。
优选地，待标记图像可以分别顺时针旋转90°、180°以及270°等。在本实施例中，对于每一个待标记图像，未旋转的待标记图像记为img1，旋转90°的待标记图像记为img2、旋转180°的待标记图像记为img3以及旋转270°的待标记图像记为img4。
在步骤S302中，第一预测区域可以包含坐标(如左上角坐标以及右下角坐标等)、置信度以及类别，类别用于表示该第一预测区域为麦穗等。将待标记图像img1输入预训练模型中，得到多个第一预测区域A1，将待标记图像img2输入预训练模型中，得到多个第一预测区域A2，将待标记图像img3输入预训练模型中，得到多个第一预测区域A3，将待标记图像img4输入预训练模型中，得到多个第一预测区域A4。第一预测区域A1、A2、A3、A4可以表示为预测框，如预测框为1*4矩阵的列表。
在步骤S303中，对于旋转后的待标记图像(如img2、img3、img4)，根据旋转角度的不同，对与该待标记图像对应的第一预测区域(如A2、A3或A4)进行坐标变换，得到多个第二预测区域，使其与未旋转的待标记图像(如img1)的第一预测区域(如A1)保持一致。
优选地，第二预测区域可以由公式：
Figure BDA0003313024980000071
计算得到；
其中，(x1，y1)为第一预测区域的左上角坐标，(x2，y2)为第一预测区域的右下角坐标，(x′1，y′1)为第二预测区域的左上角坐标，(x′2，y′2)为第二预测区域的右下角坐标。
具体地，若第一预测区域为待标记图像img2的第一预测区域A2，则对第一预测区域A2根据上述公式进行三次坐标变换，得到第二预测区域A21，若第一预测区域为待标记图像img3的第一预测区域A3，则对第一预测区域A3根据上述公式进行二次坐标变换，得到第二预测区域A31，若第一预测区域为待标记图像img4的第一预测区域A4，则对第一预测区域A4根据上述公式进行一次坐标变换，得到第二预测区域A41。
优选地，对于第二预测区域A21、A31以及A41的左上角坐标(x′1，y′1)以及右下角坐标(x′2，y′2)，x′1与x′2中的较小者以及y′1与y′2中的较小者为第一目标区域的左上角坐标，x′1与x′2中的较大者以及y′1与y′2中的较大者为第一目标区域的右下角坐标。
进一步地，若第一预测区域为待标记图像img1的第一预测区域A1，则无需对第一预测区域A1进行坐标变换，即第一预测区域A1为第一目标区域。
其中一种可能的实现方式中，步骤S302之后，步骤S303之前，所述方法还可以包括：
S401、判断多个所述第一预测区域的置信度是否大于预设第一阈值，以及判断多个所述第一预测区域之间的重叠度是否大于预设第二阈值，根据判断结果，对多个第一预测区域进行筛选，得到筛选后的多个第一预测区域。
优选地，预设第一阈值为conf-thres＝0.55，预设第二阈值为iou-thres＝0.6，重叠度用于表示多个区域的交集与并集的比值等。也就是说，为保证模型性能以及降低后续步骤的处理压力，先筛选出置信度高于0.55的第一预测区域，然后判断置信度高于0.55的多个第一预测区域之间的重叠度是否大于0.6，若是，则通过非极大值抑制方法(NMS)进行再次筛选，若否，则无需进行再次筛选，最终得到筛选后的多个第一预测区域。
和/或，在步骤S303之后，所述方法还可以包括：
S402、判断多个所述第一目标区域的置信度是否大于预设第三阈值，根据判断结果，对多个所述第一目标区域进行筛选，得到筛选后的第一目标区域。
优选地，预设第三阈值为skip-box-thres＝0.41。也就是说，由于提高后续加权融合处理步骤的可靠性以及进一步降低处理压力，在步骤S303之后，筛选到置信度大于0.41的第一目标区域，以用于后续步骤S103至步骤S105进行处理。
S103、对多个所述第一目标区域进行修正，得到修正后的多个第一目标区域。
考虑到系统误差或算法误差等影响，可能存在部分的第一目标区域出现坐标异常的现象，将导致后续步骤出现异常或降低对待标记图像进行标记的准确度等。因此，为避免这种情况发生，本实施例中，对第一目标区域进行修正，以修正或去除出现异常的第一目标区域等。
优选地，步骤S103可以包括：
S501、若所述第一目标区域的坐标值大于预设第一数值，则将所述第一目标区域的坐标值设为所述预设第一数值，若所述第一目标区域的坐标值小于预设第二数值，则将所述第一目标区域的坐标值设为所述预设第二数值，所述预设第一数值大于所述预设第二数值；
S502、若所述第一目标区域的左上角坐标值大于右下角坐标值，则对所述第一目标区域的左上角坐标值与右下角坐标值进行交换；
S503、若所述第一目标区域的左上角坐标值与右下角坐标值相等，则删除所述第一目标区域。
具体地，预设第一数值为1，预设第二数值为0，也就是说，第一目标区域的坐标值应当处于[0,1]内，因此，若第一目标区域的坐标值大于1，则将该坐标值置为1，若第一目标区域的坐标值小于0，则将该坐标值置为0。
举例地，第一目标区域的左上角坐标为(x3，y3)，右下角坐标为(x4，y4)，若x1、x2、x3或x4的值大于1，则将x1、x2、x3或x4的值置为1，若x1、x2、x3或x4的值小于0，则将x1、x2、x3或x4的值置为0。
由于第一目标区域的坐标值用于表示其与坐标原点的距离，坐标原点为待标记图像的左上角，则应当x3＜x4，y3＜y4。因此，若x3＞x4，则交换x3与x4的值，若y3＞y4，则交换y3与y4的值，若x3＝x4或y3＝y4，则删除(或忽略)该第一目标区域。
S104、对修正后的多个所述第一目标区域进行加权融合处理，得到多个第二目标区域。
在本实施例中，采用目标加权融合算法WBF(R Solovyev,Wang W,GabrusevaT.Weighted boxes fusion:Ensembling boxes from different object detectionmodels[J].2019.)对修正后的所有第一目标区域进行加权融合处理，输出多个第二目标区域。
其中一种可能的实现方式中，步骤S104可以包括：
S601、对修正后的多个所述第一目标区域进行加权融合处理，得到多个融合区域；
S602、若所述融合区域与所述第一目标区域的重叠度大于预设第四阈值，则基于目标加权融合算法对所述融合区域进行处理，得到第二目标区域。
具体地，在WBF算法中，将修正后的多个第一目标区域按照置信度降序的方式排序，并得到第一目标区域列表B，以及初始化空列表L和F，F用于表示融合(或组合)后的融合区域或融合框列表等。
在步骤S602中，预设第四阈值为iou-thres＝0.6，用于实现第一目标区域与融合区域的匹配，若融合区域与第一目标区域的重叠度大于0.6，则融合区域与第一目标区域匹配成功，否则匹配失败，在融合区域与第一目标区域匹配成功的情况下，WBF算法会基于目标加权融合算法对融合区域进行重新计算，得到第二目标区域。
S105、基于多个所述第二目标区域对所述待标记图像进行标记，得到标记后的图像。
在本实施例中，第二目标区域可以包括左上角坐标(x3、y3)、右下角坐标(x4，y4)以及类别。也就是说，第二目标区域作为伪标签对待标记图像进行标记，标记后的图像中包含待标记图像以及与该待标记图像对应的第二目标区域，多个标记后的图像组成伪标签数据集，用于训练得到半监督学习模型。半监督学习模型可以用于识别待识别图像，如识别待识别图像中的麦穗数量等。
为满足后续训练要求，在本实施例中，需将第二目标区域的左上角坐标(x、y)、宽w以及高h进行坐标转换，并将转换后的第二目标区域的x、y、w、h以及类别存入label文件中。第二目标区域的宽w根据x3与x4的差值得到，第二目标区域的高h根据y3与y4的差值得到。坐标转换公式如下：
Figure BDA0003313024980000091
可以理解的是，标记后的图像可以与由样本图像组成的训练集进行组合，得到组合后的训练集，利用组合后的训练集进行模型训练(如采用YOLOv5模型进行模型训练等)，可以得到半监督学习模型。如图4所示为半监督学习模型的精确度与召回率曲线示意图，从图中可以看出，本实施例中的半监督学习模型的性能明显较好，有利于提高识别准确率。
也就是说，半监督学习模型充分利用了大量标记后的图像提高了学习性能，避免了数据资源的浪费，解决了在样本图像较少时监督学习方法泛化能力不强和缺少样本图像引导时无监督学习方法不准确性的问题。
可以理解的是，上述实施例中的部分或全部步骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。
图5所示为本申请识别方法一个实施例的方法示意图。如图5所示，识别方法可以包括：
S701、获取采集到的待识别图像；
S702、将所述待识别图像输入到半监督学习模型中，得到识别结果，所述半监督学习模型由标签数据集以及伪标签数据集训练得到。
待识别图像可以由图像采集装置对麦田进行拍摄得到。为准确估算麦田的产量，图像采集装置可以对麦田中多个拍摄区域进行拍摄得到多个待识别图像。
在步骤S702中，标签数据集中的样本图像以及伪标签数据集中标记后的图像以及半监督学习模型可以参考图1所示方法实施例中的步骤或功能，在此不再赘述。
进一步地，如图6所示，步骤S702中，识别结果可以包括识别到的多个目标区域以及与目标区域对应的置信度，根据置信度可以对识别到的目标区域进行筛选，然后统计得到待识别图像中筛选后的目标区域数量，该目标区域数量可以用于表示待识别图像中的麦穗数量。也就是说，待识别图像中的麦穗数量可以用于表示拍摄区域内的麦穗数量，从而可以估算出整个麦田的麦穗数量。
可以理解的是，上述实施例中的部分或全部步骤骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。
图7A所示为本申请产量估算方法一个实施例的方法示意图。如图7A所示，产量估算方法可以包括：
S801、采集待识别图像，所述待识别图像由图像采集装置对麦田拍摄得到；
S802、对所述待识别图像进行识别，得到识别结果，所述识别结果中包含麦穗数量；
S803、基于所述麦穗数量，获得麦田产量。
在步骤S801中，利用图像采集装置对待检测区域(如麦田)进行拍摄得到待识别图像。
具体地，如图7B所示，步骤S801可以包括：
S901、获取待检测区域以及图像采集装置的拍摄区域；
S902、基于所述待检测区域以及所述拍摄区域，获得拍摄路径以及拍摄距离；
S903、控制所述图像采集装置沿着所述拍摄路径移动；
S904、在所述图像采集装置沿着所述拍摄路径移动的过程中，控制所述图像采集装置每移动所述拍摄距离对所述待检测区域进行拍摄，得到多个待识别图像。
在本实施例中，待检测区域的面积大于图像采集装置的拍摄区域的面积。待检测区域如麦田，优选地，待检测区域的形状为矩形，长为x(m)，宽为y(m)，其可以根据实际麦田的面积大小确定。图像采集装置如带有摄像装置的无人机等，其飞行高度为h(m)，优选地，1(m)≤h≤3(m)，摄像装置如摄像头的分辨率为rx*ry，摄像装置的图像传感器(CMOS)为w英寸，优选为16w(mm)，焦距为f(mm)。
需要说明的是，所述图像采集装置可以为搭载在飞行装置(如无人飞机)上的图像采集装置(如摄像头)，或者具有图像拍摄模块的飞行装置，此处并不做限定。
优选地，图像采集装置用于在待检测区域的上方飞行，且拍摄角度垂直向下，帧率为60fps。由图像采集装置的分辨率以及CMOS联立方程组得到：
Figure BDA0003313024980000101
因此，图像采集装置的画幅长
Figure BDA0003313024980000102
计算得到，画幅宽
Figure BDA0003313024980000103
Figure BDA0003313024980000104
计算得到。
进一步地，图像采集装置的焦距、飞行高度、画幅以及拍摄区域存在以下关系：
Figure BDA0003313024980000105
因此，图像采集装置的拍摄区域可以由公式：
Figure BDA0003313024980000106
Figure BDA0003313024980000107
计算得到；
其中，vx为拍摄区域的长，vy为拍摄区域的宽；
因此，拍摄区域的面积可以由公式：
Figure BDA0003313024980000111
计算得到；
其中，area为拍摄区域的面积。
也就是说，图像采集装置在该拍摄路径移动过程中采集到的图像，可以保证采集到的图像中的小麦最能够代表整个麦田的小麦。为降低或避免采集到的图像出现部分重叠或完全重叠的现象，图像采集装置在该拍摄路径移动过程中，每移动该拍摄距离对待检测区域进行拍摄。
优选地，拍摄路径与待检测区域的对角线相重合或相平行等，在保证采集到的图像中的小麦最能够代表整个麦田的小麦的情况下，进一步减小了图像采集装置的飞行距离，缩短飞行时间，提高图像采集效率。
在本实施例中，拍摄路径可以包括拍摄起点以及拍摄终点，步骤S902可以包括：
S9021、基于所述待检测区域以及所述拍摄区域，获得初始位置以及移动距离，在所述初始位置，所述图像采集装置的拍摄区域的两相邻侧边与所述待检测区域的两相邻侧边相重合；
S9022、在所述图像采集装置处于所述初始位置的情况下，控制所述图像采集装置移动所述移动距离，并将所述图像采集装置移动所述移动距离后的位置设定为所述拍摄起点。
优选地，如图7C所示，图像采集装置所处的位置为拍摄区域的中心点或对角线交叉点等，在图像采集装置处于拍摄起点的情况下，图像采集装置的拍摄区域处于待检测区域内，以避免因图像采集装置的拍摄区域超出待检测区域而影响产量估算。为确保拍摄路径与待检测区域的对角线相重合，且使拍摄路径尽量长，以增加在待检测区域的对角线上进行图像采集的位置数量，拍摄起点应当位于待检测区域的对角线上，且拍摄区域的至少一侧边与待检测区域的至少一侧边相重合。
初始位置用于表示图像采集装置的拍摄区域的两侧边与待检测区域的两侧边相重合的位置。举例地，待检测区域的四个角点分别为A、B、C、D，对角线分别为AC和BD，以角点A为例，调整图像采集装置的姿态(如调整拍摄角度垂直向下)，固定飞行高度为h，控制图像采集装置移动到使拍摄区域的长与待检测区域的AB边(或长)相重合，拍摄区域的宽与待检测区域的AD边(或宽)相重合的位置，即为初始位置。
移动距离用于表示图像采集装置的初始位置与拍摄起点之间的间距，使得图像采集装置从初始位置移动该移动距离后，将移动后所处的位置设定为拍摄起点。举例地，在图像采集装置处于初始位置的情况下，检测拍摄区域的中心点是否处于待检测区域的对角线上，若拍摄区域的中心点处于待检测区域的对角线靠近长(或长边)的一侧，则控制图像采集装置沿待检测区域宽(或短边)的方向移动(如向下水平移动)该移动距离，然后设定当前位置为拍摄起点，使得拍摄区域的中心点处于待检测区域的对角线上。若拍摄区域的中心点处于待检测区域的对角线靠近宽(或短边)的一侧，则控制图像采集装置沿待检测区域长(或长边)的方向移动(如向右水平移动)该移动距离，然后设定当前位置为拍摄起点，使得拍摄区域的中心点处于待检测区域的对角线上。若拍摄区域的中心点处于待检测区域的对角线上，则设定初始位置为拍摄起点。
具体地，移动距离可以由公式：
Figure BDA0003313024980000121
θ＝arc tan(y/x)计算得到；
其中，d1为移动距离，vx为拍摄区域的长，vy为拍摄区域的宽，x为待检测区域的长，y为待检测区域的宽。
在本实施例中，拍摄终点为距拍摄起点最远的待检测区域的角点。进一步地，拍摄路径可以包括第一拍摄路径以及第二拍摄路径。如图3所示，第一拍摄路径与待检测区域的对角线AC相重合，第一拍摄路径的拍摄起点C0与待检测区域的角点A相近，拍摄终点为待检测区域的角点C，P0为图像采集装置在拍摄起点C0的拍摄区域，P1为图像采集装置从拍摄起点C0移动拍摄距离dd后的拍摄区域，Pn为图像采集装置在拍摄终点C的拍摄区域。第二拍摄路径与待检测区域的对角线BD相重合，拍摄起点与待检测区域的角点B相近，拍摄终点为待检测区域的角点D。
也就是说，拍摄路径可以由公式：
Figure BDA0003313024980000122
Figure BDA0003313024980000123
计算得到；
其中，CC0为拍摄路径的长度，d为待检测区域的对角线长度。
进一步地，以第一拍摄路径为例，保持图像采集装置的飞行高度不变，控制图像采集装置移动至使拍摄区域的两侧边与待检测区域的BC侧边以及CD侧边相重合的位置，然后控制图像采集装置向右水平移动第一距离，以及向下水平移动第二距离，其中，第一距离为vx/2(m)，第二距离为vy/2(m)，然后设定当前位置为拍摄终点。或者，保持图像采集装置的飞行高度不变以及姿态不变(如拍摄角度不变等)，控制图像采集装置平移至使拍摄区域的中心点与待检测区域的角点C重合的位置，然后设定当前位置为拍摄终点。
其中一种可能的实现方式中，由于拍摄路径与待检测区域的对角线相重合或相平行等，则为降低或避免拍摄得到的图像发生部分重叠或全部重叠，拍摄距离可以由公式：
dd＝vy/cosθ；
θ＝arc tan(y/x)计算得到；
其中，dd为拍摄距离，vy为拍摄区域的宽，x为待检测区域的长，y为待检测区域的宽。
S103、控制所述图像采集装置沿着所述拍摄路径移动。
在本实施例中，图像采集装置从拍摄起点沿着拍摄路径移动至拍摄终点。在飞行过程中，图像采集装置保持飞行高度不变以及姿态不变(如拍摄角度不变)。
进一步地，为增加拍摄到图像数量以及降低图像发生部分重叠或全部重叠的现象，保证采集到的图像中的小麦最能够代表整个麦田的小麦。步骤S103可以包括：控制图像采集装置沿着第一拍摄路径移动以及控制图像采集装置沿着第二拍摄路径移动，使得图像采集装置可以在第一拍摄路径以及第二拍摄路径上分别拍摄得到多个待识别图像，以增加待识别图像的数量，待识别图像为采集到或拍摄到的图像。
也就是说，多个待识别图像可以包括第一图像、第二图像、第三图像...第N图像，图像采集装置在拍摄起点位置拍摄得到第一图像，在从拍摄起点移动该移动距离dd后的位置拍摄得到第二图像，在从拍摄起点移动2*dd后的位置拍摄得到第三图像...在从拍摄起点移动(n-1)*dd后的位置拍摄得到第N图像。
其中一种可能的实现方式中，步骤S904可以包括：
S9041、基于所述拍摄路径以及所述拍摄距离，获得目标拍摄次数；
S9042、若所述图像采集装置的拍摄次数达到所述目标拍摄次数，则控制所述图像采集装置停止拍摄。
在本实施例中，设定图像采集装置的拍摄参数，如飞行速度为V(m/s)，拍摄时间间隔为dd/v(s)，目标拍摄次数可以由公式N＝CC0//dd计算得到，其中，“//”用于表示求商且向下取整，以降低或避免因图像采集装置的拍摄区域超出待检测区域而影响产量估算。
因此，在第一拍摄路径或第二拍摄路径上，图像采集装置可以分别拍摄得到N张待识别图像，也就是说，图像采集装置对待检测区域拍摄得到2N张待识别图像，2N张待识别图像中的拍摄区域总面积为2N*area。
需要指出的是，由于第一拍摄路径以及第二拍摄路径存在交叉位置或区域，如待检测区域对角线交叉点或区域等，可能存在图像采集装置对待检测区域的对角线交叉点或区域进行重复拍摄的现象，为降低因重复拍摄而导致产量估算误差较大的现象，可以从图像采集装置拍摄到的2N张待识别图像中选取到对同一区域(如待检测区域的对角线交叉区域或中心区域等)重复拍摄到的图像，并删除其中一张重复拍摄到的图像，得到2N-1张待识别图像，其中，2N-1张待识别图像中的拍摄区域总面积为(2N-1)*area。
在步骤S802中，采用图5所示的识别方法对待识别图像进行识别，得到识别结果，该识别结果中包含待识别图像中的麦穗数量(或麦穗矩阵等)。
因此，在步骤S803中，待识别图像中所有麦穗的小麦产量可以由公式：
Syeild＝tw*dot*10-6(千克)计算得到；
整个麦田(如待检测区域)的小麦产量可以由公式：
Figure BDA0003313024980000131
或
Figure BDA0003313024980000132
计算得到；
其中，Syeild为待识别图像中所有麦穗的小麦产量，yeild为整个麦田的小麦产量，tw为小麦的千粒重量(克/1000粒)，dot为待识别图像中麦穗矩阵与麦粒矩阵的点积(粒)。
可以理解的是，上述实施例中的部分或全部步骤骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。
图8所示为本申请图像处理装置100一个实施例的结构示意图。如图8所示，图像处理装置100可以包括：
获取模块110，用于获取预训练模型以及多个待标记图像；
识别模块120，用于基于所述预训练模型对多个所述待标记图像进行识别，得到多个第一目标区域；
修正模块130，用于对多个所述第一目标区域进行修正，得到修正后的多个第一目标区域；
融合模块140，用于对修正后的多个所述第一目标区域进行加权融合处理，得到多个第二目标区域；
标记模块150，用于基于多个所述第二目标区域对所述待标记图像进行标记，得到标记后的图像。
其中一种可能的实现方式中，修正模块130还用于：
若所述第一目标区域的坐标值大于预设第一数值，则将所述第一目标区域的坐标值设为所述预设第一数值，若所述第一目标区域的坐标值小于预设第二数值，则将所述第一目标区域的坐标值设为所述预设第二数值，所述预设第一数值大于所述预设第二数值；
若所述第一目标区域的左上角坐标值大于右下角坐标值，则对所述第一目标区域的左上角坐标值与右下角坐标值进行交换；
若所述第一目标区域的左上角坐标值与右下角坐标值相等，则删除所述第一目标区域。
其中一种可能的实现方式中，图像处理装置100还用于：
对所述第一尺寸的待标记图像进行填充，得到第二尺寸的待标记图像，所述第二尺寸大于所述第一尺寸；
对所述第二尺寸的待标记图像进行裁剪，得到第三尺寸的待标记图像，所述第三尺寸小于所述第二尺寸。
其中一种可能的实现方式中，识别模块120还用于：
对所述待标记图像进行旋转，得到旋转后的待标记图像；
将所述待标记图像以及旋转后的所述待标记图像输入到所述预训练模型中，得到多个第一预测区域；
若所述第一预测区域对应所述旋转后的待标记图像，则对所述第一预测区域进行坐标转换，得到第二预测区域，对所述第二预测区域的左上角坐标与右下角坐标进行比较，根据比较结果，得到第一目标区域。
其中一种可能的实现方式中，所述第二预测区域由公式：
Figure BDA0003313024980000141
计算得到；
其中，(x1，y1)为第一预测区域的左上角坐标，(x2，y2)为第一预测区域的右下角坐标，(x′1，y′1)为第二预测区域的左上角坐标，(x′2，y′2)为第二预测区域的右下角坐标；
其中，x′1与x′2中的较小者以及y′1与y′2中的较小者为第一目标区域的左上角坐标，x′1与x′2中的较大者以及y′1与y′2中的较大者为第一目标区域的右下角坐标。
其中一种可能的实现方式中，图像处理装置100还用于：
判断多个所述第一预测区域的置信度是否大于预设第一阈值，以及判断多个所述第一预测区域之间的重叠度是否大于预设第二阈值，根据判断结果，对多个第一预测区域进行筛选，得到筛选后的多个第一预测区域；
和/或，图像处理装置100还用于：
判断多个所述第一目标区域的置信度是否大于预设第三阈值，根据判断结果，对多个所述第一目标区域进行筛选，得到筛选后的第一目标区域。
其中一种可能的实现方式中，融合模块140还用于：
对修正后的多个所述第一目标区域进行加权融合处理，得到多个融合区域；
若所述融合区域与所述第一目标区域的重叠度大于预设第四阈值，则基于目标加权融合算法对所述融合区域进行处理，得到第二目标区域。
可以理解的是，图8所示实施例提供的图像处理装置可用于执行本申请图1所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
图9所示为本申请识别装置200一个实施例的结构示意图。如图9所示，识别装置200可以包括：
图像获取模块210，用于获取采集到的待识别图像；
处理模块220，用于将所述待识别图像输入到半监督学习模型中，得到识别结果，所述半监督学习模型由标签数据集以及伪标签数据集训练得到。
可以理解的是，图9所示实施例提供的图像处理装置可用于执行本申请图5所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
图10所示为本申请产量估算装置300一个实施例的结构示意图。如图10所示，产量估算装置300可以包括：
采集模块310，用于采集待识别图像，所述待识别图像由图像采集装置对麦田拍摄得到；
麦穗识别模块320，用于对所述待识别图像进行识别，得到识别结果，所述识别结果中包含麦穗数量；
产量获得模块330，用于基于所述麦穗数量，获得麦田产量。
可以理解的是，图10所示实施例提供的图像处理装置可用于执行本申请图7A所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
应理解以上图8所示的图像处理装置、图9所示的识别装置或图10所示的产量估算装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，处理模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些模块可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。
图11为本申请电子设备一个实施例的结构示意图，如图11所示，上述电子设备可以包括：一个或多个处理器；存储器；以及一个或多个计算机程序。
其中，上述电子设备可以为计算机、产量估算设备等。
其中上述一个或多个计算机程序被存储在上述存储器中，上述一个或多个计算机程序包括指令，当上述指令被上述设备执行时，使得上述设备执行以下步骤：
获取预训练模型以及多个待标记图像；
基于所述预训练模型对多个所述待标记图像进行识别，得到多个第一目标区域；
对多个所述第一目标区域进行修正，得到修正后的多个第一目标区域；
对修正后的多个所述第一目标区域进行加权融合处理，得到多个第二目标区域；
基于多个所述第二目标区域对所述待标记图像进行标记，得到标记后的图像。
其中一种可能的实现方式中，当上述指令被上述设备执行时，使得上述设备执行所述对多个所述第一目标区域进行修正，得到修正后的多个第一目标区域，包括：
若所述第一目标区域的坐标值大于预设第一数值，则将所述第一目标区域的坐标值设为所述预设第一数值，若所述第一目标区域的坐标值小于预设第二数值，则将所述第一目标区域的坐标值设为所述预设第二数值，所述预设第一数值大于所述预设第二数值；
若所述第一目标区域的左上角坐标值大于右下角坐标值，则对所述第一目标区域的左上角坐标值与右下角坐标值进行交换；
若所述第一目标区域的左上角坐标值与右下角坐标值相等，则删除所述第一目标区域。
其中一种可能的实现方式中，所述待标记图像包括第一尺寸，当上述指令被上述设备执行时，使得上述设备在执行获取多个待标记图像之后，还执行：
对所述第一尺寸的待标记图像进行填充，得到第二尺寸的待标记图像，所述第二尺寸大于所述第一尺寸；
对所述第二尺寸的待标记图像进行裁剪，得到第三尺寸的待标记图像，所述第三尺寸小于所述第二尺寸。
其中一种可能的实现方式中，当上述指令被上述设备执行时，使得上述设备执行所述基于所述预训练模型对多个所述待标记图像进行识别，得到多个第一目标区域，包括：
对所述待标记图像进行旋转，得到旋转后的待标记图像；
将所述待标记图像以及旋转后的所述待标记图像输入到所述预训练模型中，得到多个第一预测区域；
若所述第一预测区域对应所述旋转后的待标记图像，则对所述第一预测区域进行坐标转换，得到第二预测区域，对所述第二预测区域的左上角坐标与右下角坐标进行比较，根据比较结果，得到第一目标区域。
其中一种可能的实现方式中，所述第二预测区域由公式：
Figure BDA0003313024980000161
计算得到；
其中，(x1，y1)为第一预测区域的左上角坐标，(x2，y2)为第一预测区域的右下角坐标，(x′1，y′1)为第二预测区域的左上角坐标，(x′2，y′2)为第二预测区域的右下角坐标；
其中，x′1与x′2中的较小者以及y′1与y′2中的较小者为第一目标区域的左上角坐标，x′1与x′2中的较大者以及y′1与y′2中的较大者为第一目标区域的右下角坐标。
其中一种可能的实现方式中，当上述指令被上述设备执行时，使得上述设备在执行所述得到多个第一预测区域之后，还执行：
判断多个所述第一预测区域的置信度是否大于预设第一阈值，以及判断多个所述第一预测区域之间的重叠度是否大于预设第二阈值，根据判断结果，对多个第一预测区域进行筛选，得到筛选后的多个第一预测区域；
和/或，当上述指令被上述设备执行时，使得上述设备在执行所述得到多个第一目标区域之后，还执行：
判断多个所述第一目标区域的置信度是否大于预设第三阈值，根据判断结果，对多个所述第一目标区域进行筛选，得到筛选后的第一目标区域。
其中一种可能的实现方式中，当上述指令被上述设备执行时，使得上述设备执行所述对修正后的多个所述第一目标区域进行加权融合处理，得到多个第二目标区域，包括：
对修正后的多个所述第一目标区域进行加权融合处理，得到多个融合区域；
若所述融合区域与所述第一目标区域的重叠度大于预设第四阈值，则基于目标加权融合算法对所述融合区域进行处理，得到第二目标区域。
其中一种可能的实现方式中，当上述指令被上述设备执行时，使得上述设备还执行：
获取采集到的待识别图像；
将所述待识别图像输入到半监督学习模型中，得到识别结果，所述半监督学习模型由标签数据集以及伪标签数据集训练得到。
其中一种可能的实现方式中，当上述指令被上述设备执行时，使得上述设备还执行：
采集待识别图像，所述待识别图像由图像采集装置对麦田拍摄得到；
对所述待识别图像进行识别，得到识别结果，所述识别结果中包含麦穗数量；
基于所述麦穗数量，获得麦田产量。
该设备可以用于执行本申请图1、图5或图7A所示实施例提供的图像处理方法中的功能/步骤。
如图11所示，电子设备900包括处理器910和存储器920。其中，处理器910和存储器920之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器920用于存储计算机程序，该处理器910用于从该存储器920中调用并运行该计算机程序。
上述存储器920可以是只读存储器(read-only memory，ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory，RAM)或可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备，或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。
上述处理器910可以和存储器920可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器920中存储的程序代码来实现上述功能。具体实现时，该存储器920也可以集成在处理器910中，或者，独立于处理器910。
除此之外，为了使得电子设备900的功能更加完善，该电子设备900还可以包括摄像头930、电源940、输入单元950等中的一个或多个。
可选地，电源950用于给电子设备中的各种器件或电路提供电源。
应理解，图11所示的电子设备900能够实现本申请图1、图5或图7A所示实施例提供的方法的各个过程。电子设备900中的各个模块的操作和/或功能，分别为了实现上述方法实施例中的相应流程。具体可参见本申请图1、图5或图7A所示方法实施例中的描述，为避免重复，此处适当省略详细描述。
应理解，图11所示的电子设备900中的处理器910可以是片上系统SOC，该处理器910中可以包括中央处理器(Central Processing Unit；以下简称：CPU)，还可以进一步包括其他类型的处理器，例如：图像处理器(Graphics Processing Unit；以下简称：GPU)等。
总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器920中。
本申请还提供一种电子设备，所述设备包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现本申请图1、图5或图7A所示实施例提供的方法。
以上各实施例中，涉及的处理器可以例如包括CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units；以下简称：NPU)和图像信号处理器(Image Signal Processing；以下简称：ISP)，该处理器还可包括必要的硬件加速器或逻辑处理硬件电路，如ASIC，或一个或多个用于控制本申请技术方案程序执行的集成电路等。此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储介质中。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行本申请图1、图5或图7A所示实施例提供的方法。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本申请图1、图5或图7A所示实施例提供的方法。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
获取预训练模型以及多个待标记图像；
基于所述预训练模型对多个所述待标记图像进行识别，得到多个第一目标区域；
对多个所述第一目标区域进行修正，得到修正后的多个第一目标区域；
对修正后的多个所述第一目标区域进行加权融合处理，得到多个第二目标区域；
基于多个所述第二目标区域对所述待标记图像进行标记，得到标记后的图像。
2.根据权利要求1所述的方法，其特征在于，所述对多个所述第一目标区域进行修正，得到修正后的多个第一目标区域，包括：
若所述第一目标区域的坐标值大于预设第一数值，则将所述第一目标区域的坐标值设为所述预设第一数值，若所述第一目标区域的坐标值小于预设第二数值，则将所述第一目标区域的坐标值设为所述预设第二数值，所述预设第一数值大于所述预设第二数值；
若所述第一目标区域的左上角坐标值大于右下角坐标值，则对所述第一目标区域的左上角坐标值与右下角坐标值进行交换；
若所述第一目标区域的左上角坐标值与右下角坐标值相等，则删除所述第一目标区域。
3.根据权利要求1所述的方法，其特征在于，所述待标记图像包括第一尺寸，在获取多个待标记图像之后，所述方法还包括：
对所述第一尺寸的待标记图像进行填充，得到第二尺寸的待标记图像，所述第二尺寸大于所述第一尺寸；
对所述第二尺寸的待标记图像进行裁剪，得到第三尺寸的待标记图像，所述第三尺寸小于所述第二尺寸。
4.根据权利要求1所述的方法，其特征在于，所述基于所述预训练模型对多个所述待标记图像进行识别，得到多个第一目标区域，包括：
对所述待标记图像进行旋转，得到旋转后的待标记图像；
将所述待标记图像以及旋转后的所述待标记图像输入到所述预训练模型中，得到多个第一预测区域；
若所述第一预测区域对应所述旋转后的待标记图像，则对所述第一预测区域进行坐标转换，得到第二预测区域，对所述第二预测区域的左上角坐标与右下角坐标进行比较，根据比较结果，得到第一目标区域。
5.根据权利要求4所述的方法，其特征在于，所述第二预测区域由公式：
Figure FDA0003313024970000011
计算得到；
其中，(x1，y1)为第一预测区域的左上角坐标，(x2，y2)为第一预测区域的右下角坐标，(x′1，y′1)为第二预测区域的左上角坐标，(x′2，y′2)为第二预测区域的右下角坐标；
其中，x′1与x′2中的较小者以及y′1与y′2中的较小者为第一目标区域的左上角坐标，x′1与x′2中的较大者以及y′1与y′2中的较大者为第一目标区域的右下角坐标。
6.根据权利要求4所述的方法，其特征在于，在所述得到多个第一预测区域之后，所述方法还包括：
判断多个所述第一预测区域的置信度是否大于预设第一阈值，以及判断多个所述第一预测区域之间的重叠度是否大于预设第二阈值，根据判断结果，对多个第一预测区域进行筛选，得到筛选后的多个第一预测区域；
和/或，在所述得到多个第一目标区域之后，所述方法还包括：
判断多个所述第一目标区域的置信度是否大于预设第三阈值，根据判断结果，对多个所述第一目标区域进行筛选，得到筛选后的第一目标区域。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述对修正后的多个所述第一目标区域进行加权融合处理，得到多个第二目标区域，包括：
对修正后的多个所述第一目标区域进行加权融合处理，得到多个融合区域；
若所述融合区域与所述第一目标区域的重叠度大于预设第四阈值，则基于目标加权融合算法对所述融合区域进行处理，得到第二目标区域。
8.一种识别方法，其特征在于，包括：
获取采集到的待识别图像；
将所述待识别图像输入到半监督学习模型中，得到识别结果，所述半监督学习模型由标签数据集以及伪标签数据集训练得到，所述伪标签数据集中包含由权利要求1至7任一项所述的方法得到的标记后的图像。
9.一种产量估算方法，其特征在于，包括：
采集待识别图像，所述待识别图像由图像采集装置对麦田拍摄得到；
利用权利要求8所述的方法对所述待识别图像进行识别，得到识别结果，所述识别结果中包含麦穗数量；
基于所述麦穗数量，获得麦田产量。
10.根据权利要求9所述的产量估算方法，其特征在于，所述采集待识别图像，包括：
获取待检测区域以及图像采集装置的拍摄区域；
基于所述待检测区域以及所述拍摄区域，获得拍摄路径以及拍摄距离；
控制所述图像采集装置沿着所述拍摄路径移动；
在所述图像采集装置沿着所述拍摄路径移动的过程中，控制所述图像采集装置每移动所述拍摄距离对所述待检测区域进行拍摄，得到多个待识别图像。
11.一种图像处理装置，其特征在于，包括：
获取模块，用于获取预训练模型以及多个待标记图像；
识别模块，用于基于所述预训练模型对多个所述待标记图像进行识别，得到多个第一目标区域；
修正模块，用于对多个所述第一目标区域进行修正，得到修正后的多个第一目标区域；
融合模块，用于对修正后的多个所述第一目标区域进行加权融合处理，得到多个第二目标区域；
标记模块，用于基于多个所述第二目标区域对所述待标记图像进行标记，得到标记后的图像。
12.一种识别装置，其特征在于，包括：
图像获取模块，用于获取采集到的待识别图像；
处理模块，用于将所述待识别图像输入到半监督学习模型中，得到识别结果，所述半监督学习模型由标签数据集以及伪标签数据集训练得到，所述伪标签数据集中包含由权利要求1至7任一项所述的方法得到的标记后的图像。
13.一种产量估算装置，其特征在于，包括：
采集模块，用于采集待识别图像，所述待识别图像由图像采集装置对麦田拍摄得到；
麦穗识别模块，用于利用权利要求8所述的方法对所述待识别图像进行识别，得到识别结果，所述识别结果中包含麦穗数量；
产量获得模块，用于基于所述麦穗数量，获得麦田产量。
14.一种电子设备，其特征在于，包括：
一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如权利要求1至7、8或9至10任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如权利要求1至7、8或9至10任一项所述的方法。
CN202111222182.3A 2021-10-20 2021-10-20 图像处理方法、识别方法、产量估算方法以及电子设备 Pending CN113936177A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111222182.3A CN113936177A (zh) 2021-10-20 2021-10-20 图像处理方法、识别方法、产量估算方法以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111222182.3A CN113936177A (zh) 2021-10-20 2021-10-20 图像处理方法、识别方法、产量估算方法以及电子设备

Publications (1)

Publication Number Publication Date
CN113936177A true CN113936177A (zh) 2022-01-14

Family

ID=79281049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111222182.3A Pending CN113936177A (zh) 2021-10-20 2021-10-20 图像处理方法、识别方法、产量估算方法以及电子设备

Country Status (1)

Country Link
CN (1) CN113936177A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457119A (zh) * 2022-09-21 2022-12-09 正泰集团研发中心(上海)有限公司 汇流条的标注方法、装置、计算机设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457119A (zh) * 2022-09-21 2022-12-09 正泰集团研发中心(上海)有限公司 汇流条的标注方法、装置、计算机设备及可读存储介质
CN115457119B (zh) * 2022-09-21 2023-10-27 正泰集团研发中心(上海)有限公司 汇流条的标注方法、装置、计算机设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN108520229B (zh) 图像检测方法、装置、电子设备和计算机可读介质
JP7033373B2 (ja) ターゲット検出方法及び装置、スマート運転方法、装置並びに記憶媒体
CN106548127B (zh) 图像识别方法
US10216979B2 (en) Image processing apparatus, image processing method, and storage medium to detect parts of an object
EP3488387B1 (en) Method for detecting object in image and objection detection system
Sameen et al. Classification of very high resolution aerial photos using spectral‐spatial convolutional neural networks
Homayounfar et al. Hierarchical recurrent attention networks for structured online maps
US20190180464A1 (en) Remote determination of containers in geographical region
US20170293800A1 (en) Remote determination of containers in geographical region
US20170124415A1 (en) Subcategory-aware convolutional neural networks for object detection
CN112257692B (zh) 一种行人目标的检测方法、电子设备及存储介质
WO2017015390A1 (en) Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
Zhang et al. Multi-scale adversarial network for vehicle detection in UAV imagery
EP2293243A2 (en) Image processing apparatus, image capture apparatus, image processing method, and program
Capobianco et al. Target detection with semisupervised kernel orthogonal subspace projection
US20200160547A1 (en) Method of predicting depth values of lines, method of outputting three-dimensional (3d) lines, and apparatus thereof
US11113563B2 (en) Apparatus for detecting object and method thereof
CN111382625A (zh) 道路标识识别方法、装置及电子设备
KR20190059083A (ko) 영상 분할 기반의 해양 상황 인식 장치 및 그 방법
CN113936177A (zh) 图像处理方法、识别方法、产量估算方法以及电子设备
Liu et al. Vehicle detection in aerial images using a fast oriented region search and the vector of locally aggregated descriptors
Vakalopoulou et al. Simultaneous registration, segmentation and change detection from multisensor, multitemporal satellite image pairs
CN112560856A (zh) 车牌检测识别方法、装置、设备及存储介质
KR20180113294A (ko) 곡률 반경을 이용하여 차선을 검출하는 장치 및 방법
Yin et al. Interest point detection from multi‐beam light detection and ranging point cloud using unsupervised convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination