CN115861858A - 基于背景过滤的小样本学习农作物冠层覆盖度计算方法 - Google Patents

基于背景过滤的小样本学习农作物冠层覆盖度计算方法 Download PDF

Info

Publication number
CN115861858A
CN115861858A CN202310122727.6A CN202310122727A CN115861858A CN 115861858 A CN115861858 A CN 115861858A CN 202310122727 A CN202310122727 A CN 202310122727A CN 115861858 A CN115861858 A CN 115861858A
Authority
CN
China
Prior art keywords
image
background
small sample
pixel
canopy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310122727.6A
Other languages
English (en)
Other versions
CN115861858B (zh
Inventor
张文广
王军
徐晓刚
马寅星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310122727.6A priority Critical patent/CN115861858B/zh
Publication of CN115861858A publication Critical patent/CN115861858A/zh
Application granted granted Critical
Publication of CN115861858B publication Critical patent/CN115861858B/zh
Priority to JP2024011391A priority patent/JP7450838B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及图像识别技术、农业育种领域，尤其涉及一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法，该方法包括以下步骤：步骤S1：利用无人机载具获取待计算的田间高空俯拍RGB图像数据，构建支持数据集和查询数据集；步骤S2：构造并训练背景分割网络模型；步骤S3：基于训练得到的背景分割网络模型进行推理，结合绿色特征指数得到背景指数图；步骤S4：构造并训练小样本分割网络模型；步骤S5：基于训练得到的小样本分割网络模型进行推理，集合背景指数图得到农作物的冠层覆盖区域，并基于冠层覆盖区域计算冠层覆盖度。本发明具有准确度高，标注成本极低，且对农作物类冠层覆盖度计算具有通用性。

Description

基于背景过滤的小样本学习农作物冠层覆盖度计算方法
技术领域
本发明涉及图像识别技术、农业育种领域，尤其涉及一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法。
背景技术
冠层覆盖度(GC)代表土壤表面被植物叶片所覆盖的比例，是测量并表征农作物立苗和早期生长状态（又称早期活力）的重要指标。在早期生长中具有更大冠层覆盖度的基因型通常能够截获更多的太阳辐射并遮蔽更大比例的土壤，从而减少土壤内水分的蒸发并可能提高水分利用率。较大的冠层覆盖度在较湿润的生长环境中可能具有更大的益处，但在干旱环境中则存在着一定的风险，即过早的生长可能会提前耗尽土壤水分，从而在生长季末期面临更严重的干旱胁迫。此外，冠层覆盖度高的作物在面对杂草时会有更强的竞争力，因此有助于对抗耐除草剂杂草。
在智能育种过程中，如何快速并精确地提取农作物在生长初期的冠层覆盖度逐渐变成一项重要的技术支撑。现阶段提取农作物的冠层覆盖度的方法主要有以下两种：
一、地面测量，该方法主要是以人工实地测量获取数据。主要是采样的方法，包括样方法、样带法和样点法等，但由于其受到较大的人为因素影响，获得的结果不够精确且波动较大。为了获得更准确的数据,科学家们发明了用于采样的仪器，如空间定量计和移动光量计等，这种仪器很好的满足了提高测量精度的目标，但是，在野外使用这些仪器操作上十分不便。
二、遥感测量，近些年来遥感技术的发展在一定程度上促进了生态学的进步。农作物的冠层覆盖度提取也形成了一个新的发展方向。常见的方法有：回归模型法、植被指数法与像元分解模型法以及色彩过滤法。回归模型法是寻找对植被冠层覆盖度敏感而对背景因素不敏感的植被指数，利用统计学思想分析植被指数与植被冠层覆盖度之间的关系，建立两者之间的各种回归模型。植被指数法是直接利用与植被指数关系好的指数来直接估算植被冠层覆盖度的反演方法。像元分解模型法是直接通过理论分析像元，对像元进行分解，进一步建立植被指数与植被冠层覆盖度的相关关系模型。色彩过滤法较为直接，其将遥感得到的RGB图像通过色彩等特征进行过滤，或者提取绿色相关的彩色特征进行过滤。
综上所述，上述农作物冠层覆盖度的获取方法都存在一定的缺陷和问题，主要体现在：(1)选取样方对先验知识的要求高，人眼估测的主观性大，照片勾绘费时费力；(2)采样仪器野外使用及携带不方便；(3)统计模型在寻找合适的指数时特异性强，适用范围不广；(4)利用遥感建立关系模型反演的方法，精度有限，反演适应范围有限。基于此，需要提供一种运行效率较高，抗同类目标遮挡且性能优异的行人多目标跟踪方法；（5）采用色彩等特征容易引入杂草或落叶等非农作物目标。（6）算法和农作物高度绑定，换一种作物效果大打折扣。
基于此，需要提供一种准确度高，成本较低的农作物冠层覆盖度提取方法。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提出了一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法，通过传统的区域分割网络将已知的杂草、土地、道路等背景区域滤除，然后利用小样本分割网络进行精细分割，最终得到农作物的冠层区域，最终计算冠层区域的像素占比来得到冠层覆盖度，其具体技术方案如下：
一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法，包括以下步骤：
步骤S1：利用无人机载具获取待计算的田间高空俯拍RGB图像数据，构建支持数据集和查询数据集；
步骤S2：构造并训练背景分割网络模型，将已知的背景目标包括杂草、土地、道路，设定为目标类，将已知的农作物设定为背景类；
步骤S3：基于训练得到的背景分割网络模型进行推理，获取待计算冠层覆盖度的查询图像中的目标区域的分割置信度图，并对全图提取绿色特征指数，将分割置信度与绿色特征指数进行叠加得到背景指数图，基于背景指数图得到背景区域与前景区域；
步骤S4：构造并训练小样本分割网络模型，将已知的农作物设定为目标类，将其他区域设置为背景类；
步骤S5：基于训练得到的小样本分割网络模型进行推理，将所述支持数据集中的支持图像和待计算冠层覆盖度的查询图像分别输入小样本分割网络模型得到分类预测图，预测置信度大于预设阈值的为目标区域，将该目标区域与步骤S3获得的前景区域进行求交集得到农作物的冠层覆盖区域，并基于冠层覆盖区域计算冠层覆盖度。
进一步的，所述步骤S1具体为：利用无人机载具搭载可见光相机，在田间设置巡航点，固定巡航点及飞行高度，并拍照获取田间的RGB可见光图像；整理无人机俯拍图像数据，挑选其中具有代表性的若干张图像作为支持数据集，并进行标注，标出农作物冠层的像素区域，其余图像不进行标注而作为查询图像。
进一步的，所述步骤S2，具体为基于FCN全卷积神经网络构建背景分割网络模型，将杂草、土地、道路分别设置为目标类0、目标类1、目标类2，其他所有区域设置为其他类3进行训练，采用已知公开数据集进行训练。
进一步的，所述步骤S3中，基于训练得到的背景分割网络模型进行推理，获取待计算冠层覆盖度的查询图像中的目标区域的分割置信度图，并对全图提取绿色特征指数，具体为：
将待计算冠层覆盖度的田间查询图像输入到训练好的背景分割网络模型，得到关于目标类0、目标类1、目标类2、其他类3四个区域的分割置信度图，并对原图计算绿色特征指数得到绿色特征指数图；所述绿色特征指数是指RGB图像的像素点G通道相对占比指数，占比指数越大则表示绿色特征指数越大，公式表示为
Figure SMS_3
，其中/>
Figure SMS_5
表示图像中第i行第j列的像素绿色特征值, />
Figure SMS_8
表示图像中第i行第j列的像素G通道的值，
Figure SMS_2
表示图像中第i行第j列的像素R通道的值，/>
Figure SMS_6
表示图像中第i行第j列的像素B通道的值，将其进行量化得到其绿色特征指数/>
Figure SMS_9
，其中/>
Figure SMS_10
表示/>
Figure SMS_1
中的最小值，/>
Figure SMS_4
表示/>
Figure SMS_7
中的最大值；
所述分割置信度图表示原图中每个像素在各个类中的分类置信度以及对应的类别标签，分割置信图表示为
Figure SMS_11
，其中/>
Figure SMS_12
表示原图中第i行第j列像素的各个类别的置信度，/>
Figure SMS_13
则表示为对应的类别。
进一步的，所述步骤S3中，将分割置信度与绿色特征指数进行叠加得到背景指数图，基于背景指数图得到背景区域与前景区域，具体为：
所述分割置信度图与绿色特征指数图进行叠加得到背景指数图表示为
Figure SMS_14
，/>
Figure SMS_15
表示原图中第i行第j列像素的背景指数，当像素类别为地面和道路时，其对应的背景指数为分类置信度减去绿色特征指数，当像素类别为杂草和其他类时，其背景指数为分类置信度，最终基于背景指数求取每个像素的最大背景指数对应的类别，将最大背景指数的类别为杂草、地面、道路的像素区域设置为背景区域，最大背景指数的类别为其他类的像素区域设置为前景区域。
进一步的，所述步骤S4中的小样本分割网络模型由语义特征提取模块、先验掩摸生成模块、多尺度特征融合模块组成；
所述语义特征提取模块采用ResNet50网络，在推理阶段，先验掩摸生成模块的输入为支持图像即步骤S1中已标注的支持数据集中的图像与查询图像即未标注的剩余的图像，通过语义特征提取模块提取高层语义特征图和中层语义特征，通过计算两个特征图每个像素两两对应的余弦距离，并求取每个像素的余弦距离的最大值来得到支持图像与查询图像的相关性图，将相关性图进行归一化处理，最终得到先验掩摸；
所述多尺度特征融合模块主要由ASPP空洞金字塔池化网络层组成，将支持图像与查询图像通过语义特征提取模块提取的中层语义特征与先验掩摸在ASPP空洞金字塔池化网络层中进行融合，最终得到查询图像的分割预测图；
在模型训练阶段，所述小样本分割网络模型的训练数据集采用对应现有的已知公开数据集，训练时按照公开数据集的类别进行训练，部署推理时修改为两类，1类为背景类，0类为目标类。
进一步的，所述语义特征提取模块，分别对输入图像提取高层语义特征和中层语义特征，将
Figure SMS_16
表示为支持图像的高层语义特征，将/>
Figure SMS_17
表示为查询图像的高层语义特征，则支持图像与查询图像的高层语义特征的余弦距离表示为
Figure SMS_18
，其中w与h分别表示图像的宽和高；
所述先验掩摸生成模块，通过计算查询图像和支持图像的相关性来得到先验掩摸；查询图像每个像素对于支持图像的相关性用各自的高层语义特征图的余弦距离的最大值表示，即
Figure SMS_19
，其中，/>
Figure SMS_20
表示为支持图像的高层语义特征，将/>
Figure SMS_21
表示为查询图像的高层语义特征，则查询图像与支持图像的相关性图表示为
Figure SMS_22
，将相关性图进行归一化得到先验掩摸表示为/>
Figure SMS_23
；
将语义特征提取模块提取的中层语义特征与先验掩摸生成模块生成的归一化掩摸进行拼接输入到多尺度特征融合模块中，最终通过多尺度特征融合模块输出的特征图预测每个像素分属于不同类别的置信度。
进一步的，所述多尺度特征融合模块由空洞金字塔池化层组成，即由3*3的6跨距、3*3的12跨距、3*3的18跨距、3*3的24跨距的空洞卷积以及一个平均池化层并联拼接后连接一个1*1的卷积组成。
进一步的，所述步骤S5具体为：
基于训练得到的小样本分割网络模型进行推理，将已标注的支持图像和未标注的查询图像分别输入小样本分割网络模型得到分类预测图，预测置信度大于0.5的为目标区域，将所述S3步骤中的前景区域与所述目标区域进行求交集最终得到农作物的冠层区域和背景区域，最终农作物的冠层覆盖度计算公式为
Figure SMS_24
，其中h和w分别为原图的像素高和宽，/>
Figure SMS_25
表示分类为前景的第i个像素。
一种基于背景过滤的小样本学习农作物冠层覆盖度计算装置，包括一个或多个处理器，用于实现所述的基于背景过滤的小样本学习农作物冠层覆盖度计算方法。
与现有的技术相比，本发明的有益效果为：1.背景分割网络模型可以很好的去除已知类背景目标如杂草、道路、土地等对农作物区域分割的影响；2.通过引入绿色特征指数叠加得到背景指数图可以防止农作物被错分类为背景；3.通过小样本分割网络可以大规模应用在不同的未知农作物种类的冠层分割任务中，大幅降低由于前期数据采集和标注导致的高成本问题；4.通过计算机视觉来实现冠层覆盖度的计算比其他主观方法更加精确，且不会导致由于主观测量方式等原因而带来的结果波动问题。
附图说明
图1为本发明实施例提供的一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法流程示意图；
图2为本发明实施例提供的一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法的整体网络框架示意图；
图3为本发明实施例提供的一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法的多尺度特征融合模块网络框架示意图；
图4为本发明实施例的一种基于背景过滤的小样本学习农作物冠层覆盖度计算装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。
如图1所示，本发明的一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法，具体包括以下步骤内容：
步骤S1：利用无人机载具来获取待计算的田间高空俯拍RGB图像数据，构建支持数据集和查询数据集。
具体地，利用无人机载具搭载可见光相机，在田间设置巡航点，固定巡航点及飞行高度，并拍照获取田间的RGB可见光图像；整理无人机俯拍图像数据，挑选其中具有代表性的5张图像作为支持数据集，并进行标注，标出农作物的冠层像素区域，剩余的图像则作测试推理阶段的待计算冠层覆盖度的图像即查询图像数据。
步骤S2：构造并训练背景分割网络模型，将杂草、土地、道路等已知的背景目标设定为目标类，将已知的农作物设定为背景类。
具体地，基于FCN全卷积神经网络构建背景分割网络模型，将杂草、土地、道路分别设置为目标类0、目标类1、目标类2，其他所有区域设置为其他类3进行训练，采用已知公开数据集进行训练。
步骤S3：基于训练得到的背景分割网络模型进行推理，获取待计算冠层覆盖度的图像中的目标区域的分割置信度图，并对全图提取绿色特征指数，将分割置信度与绿色特征指数进行叠加得到背景指数图，基于背景指数图得到背景与前景两类区域。
具体地，将待计算冠层覆盖度的田间图像输入到训练好的背景分割网络模型，得到关于目标类0、目标类1、目标类2、其他类3四个区域的分割置信度图，并对原图计算绿色特征指数得到绿色特征指数图；所述绿色特征指数是指RGB图像的像素点G通道相对占比指数，占比指数越大则表示绿色特征指数越大，公式表示为
Figure SMS_26
，其中
Figure SMS_31
表示图像中第i行第j列的像素绿色特征值, />
Figure SMS_34
表示图像中第i行第j列的像素G通道的值，/>
Figure SMS_28
表示图像中第i行第j列的像素R通道的值，/>
Figure SMS_30
表示图像中第i行第j列的像素B通道的值，将其进行量化得到其绿色特征指数/>
Figure SMS_33
，其中/>
Figure SMS_35
表示/>
Figure SMS_27
中的最小值，/>
Figure SMS_29
表示/>
Figure SMS_32
中的最大值。
所述背景分割网络模型得到的分割置信度图表示原图中每个像素在各个类中的分类置信度以及对应的类别标签，分割置信图表示为
Figure SMS_36
，其中/>
Figure SMS_37
表示原图中第i行第j列像素的各个类别的置信度，/>
Figure SMS_38
则表示为对应的类别。
所述分割置信度图与绿色特征指数图进行叠加得到背景指数图表示为
Figure SMS_39
，/>
Figure SMS_40
表示原图中第i行第j列像素的背景指数，当像素类别为地面和道路时，其对应的背景指数为分类置信度减去绿色特征指数，当像素类别为杂草和其他类时，其背景指数为分类置信度，最终基于背景指数求取每个像素的最大背景指数对应的类别，将最大背景指数的类别为杂草、地面、道路的像素区域设置为背景区域，最大背景指数的类别为其他类的像素区域设置为前景区域。
步骤S4：构造并训练小样本分割网络模型，在训练阶段，将已知的农作物等目标设定为目标类，将其他区域设置为背景类。
具体地，如图2所示，小样本分割网络模型由语义特征提取模块、先验掩摸生成模块、多尺度特征融合模块组成。
所述语义特征提取模块采用ResNet50网络，在推理阶段，先验掩摸生成模块的输入为支持图像即步骤S1中已标注的图像与查询图像即未标注的图像，通过语义特征提取模块提取的高层语义特征图，通过计算两个特征图每个像素两两对应的余弦距离，并求取每个像素的余弦距离的最大值来得到支持图像与查询图像的相关性图，将相关性图进行归一化处理，最终得到先验掩摸。
所述多尺度特征融合模块主要由ASPP（空洞金字塔池化）网络层组成，将支持图像与查询图像通过语义特征提取模块提取的中层语义特征与先验掩摸在ASPP网络中进行融合，最终得到查询图像的分割预测图。
在训练阶段，所述小样本分割网络模型的训练数据集采用对应现有的已知公开数据集，训练时按照公开数据集的类别进行训练，部署推理时修改为两类，1类为背景类，0类为目标类。
具体地，在语义特征提取模块中，分别对输入图像提取高层语义特征和中层语义特征，将
Figure SMS_41
表示为支持图像的高层语义特征，将/>
Figure SMS_42
表示为查询图像的高层语义特征，则支持图像与查询图像的高层语义特征的余弦距离表示为
Figure SMS_43
，其中w与h分别表示图像的宽和高。
在先验掩摸生成模块中，通过计算查询图像和支持图像的相关性来得到先验掩摸；查询图像每个像素对于支持图像的相关性用各自的高层语义特征图的余弦距离的最大值表示，即
Figure SMS_44
，其中，/>
Figure SMS_45
表示为支持图像的高层语义特征，将/>
Figure SMS_46
表示为查询图像的高层语义特征，则查询图像与支持图像的相关性图表示为
Figure SMS_47
，将相关性图进行归一化得到先验掩摸表示为/>
Figure SMS_48
。
在多尺度特征融合模块中，将语义特征提取模块提取的中层语义特征与先验掩摸生成模块生成的归一化掩摸进行拼接输入到多尺度特征融合模块中，多尺度特征融合模块主要由空洞金字塔池化层组成，如图3所示，即由3*3的6跨距、3*3的12跨距、3*3的18跨距、3*3的24跨距的空洞卷积以及一个平均池化层并联拼接后连接一个1*1的卷积组成，金字塔池化可以使得特征图不需要进行缩放即可扩大感受野。
最终网络通过多尺度特征融合模块输出的特征图预测每个像素分属于不同类别的置信度。
步骤S5：基于训练得到的小样本分割网络模型进行推理，所述支持数据集中的支持图像和待计算冠层覆盖度的查询图像分别输入小样本分割网络模型得到分类预测图，预测置信度大于0.5的为目标区域，将该目标区域与步骤S3获得的前景区域进行求交集得到农作物的冠层覆盖区域，并基于冠层覆盖区域计算冠层覆盖度。
具体地，将所述S3步骤中获得的前景区域图与S5步骤中小样本分割网络模型得到的前景区域图进行求交集最终得到农作物的冠层区域和背景区域，最终农作物的冠层覆盖度计算公式为
Figure SMS_49
，/>
Figure SMS_50
表示分类为前景区域的第i个像素。
与前述基于背景过滤的小样本学习农作物冠层覆盖度计算方法的实施例相对应，本发明还提供了基于背景过滤的小样本学习农作物冠层覆盖度计算装置的实施例。
参见图4，本发明实施例提供的一种基于背景过滤的小样本学习农作物冠层覆盖度计算装置，包括一个或多个处理器，用于实现上述实施例中的基于背景过滤的小样本学习农作物冠层覆盖度计算方法。
本发明的基于背景过滤的小样本学习农作物冠层覆盖度计算方法的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明的基于背景过滤的小样本学习农作物冠层覆盖度计算装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于背景过滤的小样本学习农作物冠层覆盖度计算方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法，其特征在于，包括以下步骤：
步骤S1：利用无人机载具获取待计算的田间高空俯拍RGB图像数据，构建支持数据集和查询数据集；
步骤S2：构造并训练背景分割网络模型，将已知的背景目标包括杂草、土地、道路，设定为目标类，将已知的农作物设定为背景类；
步骤S3：基于训练得到的背景分割网络模型进行推理，获取待计算冠层覆盖度的查询图像中的目标区域的分割置信度图，并对全图提取绿色特征指数，将分割置信度与绿色特征指数进行叠加得到背景指数图，基于背景指数图得到背景区域与前景区域；
步骤S4：构造并训练小样本分割网络模型，将已知的农作物设定为目标类，将其他区域设置为背景类；
步骤S5：基于训练得到的小样本分割网络模型进行推理，将所述支持数据集中的支持图像和待计算冠层覆盖度的查询图像分别输入小样本分割网络模型得到分类预测图，预测置信度大于预设阈值的为目标区域，将该目标区域与步骤S3获得的前景区域进行求交集得到农作物的冠层覆盖区域，并基于冠层覆盖区域计算冠层覆盖度。
2.如权利要求1所述的一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法，其特征在于，所述步骤S1具体为：利用无人机载具搭载可见光相机，在田间设置巡航点，固定巡航点及飞行高度，并拍照获取田间的RGB可见光图像；整理无人机俯拍图像数据，挑选其中具有代表性的若干张图像作为支持数据集，并进行标注，标出农作物冠层的像素区域，其余图像不进行标注而作为查询图像。
3.如权利要求2所述的一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法，其特征在于，所述步骤S2，具体为基于FCN全卷积神经网络构建背景分割网络模型，将杂草、土地、道路分别设置为目标类0、目标类1、目标类2，其他所有区域设置为其他类3进行训练，采用已知公开数据集进行训练。
4.如权利要求3所述的一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法，其特征在于，所述步骤S3中，基于训练得到的背景分割网络模型进行推理，获取待计算冠层覆盖度的查询图像中的目标区域的分割置信度图，并对全图提取绿色特征指数，具体为：
将待计算冠层覆盖度的田间查询图像输入到训练好的背景分割网络模型，得到关于目标类0、目标类1、目标类2、其他类3四个区域的分割置信度图，并对原图计算绿色特征指数得到绿色特征指数图；所述绿色特征指数是指RGB图像的像素点G通道相对占比指数，占比指数越大则表示绿色特征指数越大，公式表示为
Figure QLYQS_1
，其中/>
Figure QLYQS_5
表示图像中第i行第j列的像素绿色特征值, />
Figure QLYQS_8
表示图像中第i行第j列的像素G通道的值，/>
Figure QLYQS_3
表示图像中第i行第j列的像素R通道的值，/>
Figure QLYQS_6
表示图像中第i行第j列的像素B通道的值，将其进行量化得到其绿色特征指数/>
Figure QLYQS_9
，其中/>
Figure QLYQS_10
表示/>
Figure QLYQS_2
中的最小值，/>
Figure QLYQS_4
表示/>
Figure QLYQS_7
中的最大值；
所述分割置信度图表示原图中每个像素在各个类中的分类置信度以及对应的类别标签，分割置信图表示为
Figure QLYQS_11
，其中/>
Figure QLYQS_12
表示原图中第i行第j列像素的各个类别的置信度，/>
Figure QLYQS_13
则表示为对应的类别。
5.如权利要求4所述的一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法，其特征在于，所述步骤S3中，将分割置信度与绿色特征指数进行叠加得到背景指数图，基于背景指数图得到背景区域与前景区域，具体为：
所述分割置信度图与绿色特征指数图进行叠加得到背景指数图表示为
Figure QLYQS_14
，/>
Figure QLYQS_15
表示原图中第i行第j列像素的背景指数，当像素类别为地面和道路时，其对应的背景指数为分类置信度减去绿色特征指数，当像素类别为杂草和其他类时，其背景指数为分类置信度，最终基于背景指数求取每个像素的最大背景指数对应的类别，将最大背景指数的类别为杂草、地面、道路的像素区域设置为背景区域，最大背景指数的类别为其他类的像素区域设置为前景区域。
6.如权利要求5所述的一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法，其特征在于，所述步骤S4中的小样本分割网络模型由语义特征提取模块、先验掩摸生成模块、多尺度特征融合模块组成；
所述语义特征提取模块采用ResNet50网络，在推理阶段，先验掩摸生成模块的输入为支持图像即步骤S1中已标注的支持数据集中的图像与查询图像即未标注的剩余的图像，通过语义特征提取模块提取高层语义特征图和中层语义特征，通过计算两个特征图每个像素两两对应的余弦距离，并求取每个像素的余弦距离的最大值来得到支持图像与查询图像的相关性图，将相关性图进行归一化处理，最终得到先验掩摸；
所述多尺度特征融合模块主要由ASPP空洞金字塔池化网络层组成，将支持图像与查询图像通过语义特征提取模块提取的中层语义特征与先验掩摸在ASPP空洞金字塔池化网络层中进行融合，最终得到查询图像的分割预测图；
在模型训练阶段，所述小样本分割网络模型的训练数据集采用对应现有的已知公开数据集，训练时按照公开数据集的类别进行训练，部署推理时修改为两类，1类为背景类，0类为目标类。
7.如权利要求6所述的一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法，其特征在于，所述语义特征提取模块，分别对输入图像提取高层语义特征和中层语义特征，将
Figure QLYQS_16
表示为支持图像的高层语义特征，将/>
Figure QLYQS_17
表示为查询图像的高层语义特征，则支持图像与查询图像的高层语义特征的余弦距离表示为
Figure QLYQS_18
，其中w与h分别表示图像的宽和高；
所述先验掩摸生成模块，通过计算查询图像和支持图像的相关性来得到先验掩摸；查询图像每个像素对于支持图像的相关性用各自的高层语义特征图的余弦距离的最大值表示，即
Figure QLYQS_19
，其中，/>
Figure QLYQS_20
表示为支持图像的高层语义特征，将/>
Figure QLYQS_21
表示为查询图像的高层语义特征，则查询图像与支持图像的相关性图表示为/>
Figure QLYQS_22
，将相关性图进行归一化得到先验掩摸表示为/>
Figure QLYQS_23
；
将语义特征提取模块提取的中层语义特征与先验掩摸生成模块生成的归一化掩摸进行拼接输入到多尺度特征融合模块中，最终通过多尺度特征融合模块输出的特征图预测每个像素分属于不同类别的置信度。
8.如权利要求7所述的一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法，其特征在于，所述多尺度特征融合模块由空洞金字塔池化层组成，即由3*3的6跨距、3*3的12跨距、3*3的18跨距、3*3的24跨距的空洞卷积以及一个平均池化层并联拼接后连接一个1*1的卷积组成。
9.如权利要求7所述的一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法，其特征在于，所述步骤S5具体为：
基于训练得到的小样本分割网络模型进行推理，将已标注的支持图像和未标注的查询图像分别输入小样本分割网络模型得到分类预测图，预测置信度大于0.5的为目标区域，将所述S3步骤中的前景区域与所述目标区域进行求交集最终得到农作物的冠层区域和背景区域，最终农作物的冠层覆盖度计算公式为
Figure QLYQS_24
，其中h和w分别为原图的像素高和宽，/>
Figure QLYQS_25
表示分类为前景的第i个像素。
10.一种基于背景过滤的小样本学习农作物冠层覆盖度计算装置，其特征在于，包括一个或多个处理器，用于实现权利要求1至9中任一项所述的一种基于背景过滤的小样本学习农作物冠层覆盖度计算方法。
CN202310122727.6A 2023-02-16 2023-02-16 基于背景过滤的小样本学习农作物冠层覆盖度计算方法 Active CN115861858B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310122727.6A CN115861858B (zh) 2023-02-16 2023-02-16 基于背景过滤的小样本学习农作物冠层覆盖度计算方法
JP2024011391A JP7450838B1 (ja) 2023-02-16 2024-01-30 背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310122727.6A CN115861858B (zh) 2023-02-16 2023-02-16 基于背景过滤的小样本学习农作物冠层覆盖度计算方法

Publications (2)

Publication Number Publication Date
CN115861858A true CN115861858A (zh) 2023-03-28
CN115861858B CN115861858B (zh) 2023-07-14

Family

ID=85658162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310122727.6A Active CN115861858B (zh) 2023-02-16 2023-02-16 基于背景过滤的小样本学习农作物冠层覆盖度计算方法

Country Status (2)

Country Link
JP (1) JP7450838B1 (zh)
CN (1) CN115861858B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052141A (zh) * 2023-03-30 2023-05-02 北京市农林科学院智能装备技术研究中心 作物生育期的识别方法、装置、设备及介质
CN116453003A (zh) * 2023-06-14 2023-07-18 之江实验室 一种基于无人机监测智能识别水稻生长势的方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719320A (zh) * 2016-01-25 2016-06-29 华中农业大学 一种基于彩色数字图像植被冠层覆盖度计算方法及系统
CN106951836A (zh) * 2017-03-05 2017-07-14 北京工业大学 基于先验阈值优化卷积神经网络的作物覆盖度提取方法
CN111259898A (zh) * 2020-01-08 2020-06-09 西安电子科技大学 基于无人机航拍图像的农作物分割方法
CN111738165A (zh) * 2020-06-24 2020-10-02 中国农业科学院农业信息研究所 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法
US20210334603A1 (en) * 2020-04-28 2021-10-28 Canon Kabushiki Kaisha Dividing pattern determination device capable of reducing amount of computation, dividing pattern determination method, learning device, learning method, and storage medium
CN114821045A (zh) * 2022-03-23 2022-07-29 腾讯科技（深圳）有限公司 语义分割方法、装置、电子设备及存储介质
CN115019036A (zh) * 2022-05-10 2022-09-06 西北工业大学 一种学习非目标知识的小样本语义分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719320A (zh) * 2016-01-25 2016-06-29 华中农业大学 一种基于彩色数字图像植被冠层覆盖度计算方法及系统
CN106951836A (zh) * 2017-03-05 2017-07-14 北京工业大学 基于先验阈值优化卷积神经网络的作物覆盖度提取方法
CN111259898A (zh) * 2020-01-08 2020-06-09 西安电子科技大学 基于无人机航拍图像的农作物分割方法
US20210334603A1 (en) * 2020-04-28 2021-10-28 Canon Kabushiki Kaisha Dividing pattern determination device capable of reducing amount of computation, dividing pattern determination method, learning device, learning method, and storage medium
CN111738165A (zh) * 2020-06-24 2020-10-02 中国农业科学院农业信息研究所 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法
CN114821045A (zh) * 2022-03-23 2022-07-29 腾讯科技（深圳）有限公司 语义分割方法、装置、电子设备及存储介质
CN115019036A (zh) * 2022-05-10 2022-09-06 西北工业大学 一种学习非目标知识的小样本语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MARTIN HOFMANN ET.AL: "Background segmentation with feedback: The Pixel-Based Adaptive Segmenter", 《2012 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
XIN LAI ET.AL: "DecoupleNet: Decoupled Network for Domain Adaptive Semantic Segmentation", 《 ARXIV:2207.09988V1 [CS.CV]》 *
程晓龙;刘立波;: "基于SVM的棉田冠层图像分割方法研究", 农业科学研究 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052141A (zh) * 2023-03-30 2023-05-02 北京市农林科学院智能装备技术研究中心 作物生育期的识别方法、装置、设备及介质
CN116052141B (zh) * 2023-03-30 2023-06-27 北京市农林科学院智能装备技术研究中心 作物生育期的识别方法、装置、设备及介质
CN116453003A (zh) * 2023-06-14 2023-07-18 之江实验室 一种基于无人机监测智能识别水稻生长势的方法和系统
CN116453003B (zh) * 2023-06-14 2023-09-01 之江实验室 一种基于无人机监测智能识别水稻生长势的方法和系统

Also Published As

Publication number Publication date
CN115861858B (zh) 2023-07-14
JP7450838B1 (ja) 2024-03-15

Similar Documents

Publication Publication Date Title
Zhao et al. Comparing U-Net convolutional network with mask R-CNN in the performances of pomegranate tree canopy segmentation
CN115861858B (zh) 基于背景过滤的小样本学习农作物冠层覆盖度计算方法
WO2023029373A1 (zh) 一种高精度的农田植被信息提取方法
CN108710863A (zh) 基于深度学习的无人机航拍场景语义分割方法及系统
CN107918776B (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
Chen et al. A YOLOv3-based computer vision system for identification of tea buds and the picking point
Bao et al. UAV remote sensing detection of tea leaf blight based on DDMA-YOLO
Zhang et al. Extraction of tree crowns damaged by Dendrolimus tabulaeformis Tsai et Liu via spectral-spatial classification using UAV-based hyperspectral images
Zhao et al. Tree canopy differentiation using instance-aware semantic segmentation
CN114067219A (zh) 一种基于语义分割与超像素分割融合的农田作物识别方法
Xia et al. Fast and robust detection of oil palm trees using high-resolution remote sensing images
CN112560623A (zh) 一种基于无人机的红树植物种类快速识别方法
CN113537293A (zh) 基于无人机和全卷积神经网络的小麦倒伏区域识别方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
Xu et al. MP-Net: An efficient and precise multi-layer pyramid crop classification network for remote sensing images
CN116403048B (zh) 一种基于多模态数据融合的农作物生长估计模型构建方法
CN117392535A (zh) 一种面向复杂环境的果树花芽目标检测与白点率估算方法
CN115546569B (zh) 一种基于注意力机制的数据分类优化方法及相关设备
CN116739739A (zh) 一种贷款额度评估方法、装置、电子设备及存储介质
Teodoro et al. Exploration of the OBIA methods available in SPRING non-commercial software to UAV data processing
Stanski et al. Flower detection using object analysis: new ways to quantify plant phenology in a warming tundra biome
CN113256567A (zh) 香蕉叶面积指数检测方法及系统
CN113947751A (zh) 一种基于深度学习方向特征的多尺度场景识别装置和方法
CN108399413A (zh) 一种图片拍摄区域识别及地理定位方法及装置
Deng et al. A paddy field segmentation method combining attention mechanism and adaptive feature fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant