CN115797781A - 农作物识别方法、装置、计算机设备和存储介质 - Google Patents

农作物识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115797781A
CN115797781A CN202211731095.5A CN202211731095A CN115797781A CN 115797781 A CN115797781 A CN 115797781A CN 202211731095 A CN202211731095 A CN 202211731095A CN 115797781 A CN115797781 A CN 115797781A
Authority
CN
China
Prior art keywords
image
network
crop
fusion
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211731095.5A
Other languages
English (en)
Inventor
范蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202211731095.5A priority Critical patent/CN115797781A/zh
Publication of CN115797781A publication Critical patent/CN115797781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Image Analysis (AREA)

Abstract

本申请涉及一种农作物识别方法、装置、计算机设备、存储介质和计算机程序产品，涉及人工智能技术领域，可用于金融科技领域或其他领域。所述方法包括：获取农作物遥感图像，将农作物遥感图像输入至农作物分割模型；通过农作物分割模型的全局特征提取网络对农作物遥感图像进行全局特征提取操作，得到全局图像特征信息，通过基础特征提取网络对农作物遥感图像进行基础特征提取操作，得到基础图像特征信息；通过融合网络对全局图像特征信息和基础图像特征信息进行融合处理，得到融合图像特征信息；通过识别网络对融合图像特征信息进行农作物识别处理，得到农作物遥感图像的识别结果。采用本方法能够提高农作物识别精度，进而提高图像分割精度。

Description

农作物识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种农作物识别方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着人工智能技术和智慧农业的发展，出现了基于深度学习的农作物识别方法。通过图像分割模型对农作物遥感图像进行像素级的农作物识别，可以得到种植的农作物种类、种植面积等基本情况，从而为农情监测、作物估产、生长状态检测、灾害监测和预警提供农情解译数据和信息支持。
相关技术中，图像分割模型一般采用卷积神经网络，如U-Net网络等。然而，由于农田中不同类别的农作物通常相邻分布，且不同类别的农作物存在外形相似的特点，而卷积神经网络中卷积操作下采样的过程会丢失小尺度特征，这就容易产生语义歧义问题，不利于密集农作物遥感图像的农作物识别，导致农作物识别结果的精确度较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高农作物遥感图像的农作物识别精度的农作物识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种农作物识别方法。所述方法包括：
获取农作物遥感图像，并将所述农作物遥感图像输入至农作物分割模型；所述农作物分割模型包括全局特征提取网络、基础特征提取网络、融合网络和识别网络；
通过所述全局特征提取网络对所述农作物遥感图像进行全局特征提取操作，得到全局图像特征信息，并通过所述基础特征提取网络对所述农作物遥感图像进行基础特征提取操作，得到基础图像特征信息；
通过所述融合网络对所述全局图像特征信息和所述基础图像特征信息进行融合处理，得到融合图像特征信息；
通过所述识别网络对所述融合图像特征信息进行农作物识别处理，得到所述农作物遥感图像的识别结果。
在其中一个实施例中，所述通过所述全局特征提取网络对所述农作物遥感图像进行全局特征提取操作，得到全局图像特征信息，包括：
通过所述全局特征提取网络对所述农作物遥感图像进行初始的全局特征提取操作，得到初始的全局图像特征信息；
对所述农作物遥感图像进行局部特征提取操作，得到局部特征数据，并对所述农作物遥感图像进行全局平均池化操作，得到全局特征数据；
对所述局部特征数据和所述全局特征数据进行融合处理，基于融合处理后的特征数据得到特征权重信息，并将所述特征权重信息和所述农作物遥感图像进行融合处理，得到增强特征信息；
将所述初始的全局图像特征信息和所述增强特征信息进行融合处理，得到最终的全局图像特征信息。
在其中一个实施例中，所述通过所述融合网络对所述全局图像特征信息和所述基础图像特征信息进行融合处理，得到融合图像特征信息，包括：
通过所述融合网络，将所述全局图像特征信息和所述基础图像特征信息进行融合处理，得到初始的融合图像特征信息；
将所述初始的融合图像特征信息分别进行水平方向的特征提取操作和垂直方向的特征提取操作，得到水平特征数据和垂直特征数据；
将所述水平特征数据和所述垂直特征数据进行融合处理，得到最终的融合图像特征信息。
在其中一个实施例中，所述基础特征提取网络包括多级基础特征提取子网络；所述融合网络包括多级子融合网络，所述基础特征提取子网络与所述子融合网络一一对应；
所述通过所述基础特征提取网络对所述农作物遥感图像进行基础特征提取操作，得到基础图像特征信息，包括：
通过第一级的基础特征提取子网络对所述农作物遥感图像进行基础特征提取操作，得到第一级基础特征提取子网络对应的基础图像特征信息；
针对多级基础特征提取子网络中除所述第一级的基础特征提取子网络之外的其它各级基础特征提取子网络，通过下一级基础特征提取子网络对上一级基础特征提取子网络输出的基础图像特征信息进行基础特征提取操作，得到除第一级之外的其它每一级基础特征提取子网络对应的基础图像特征信息；
所述通过所述融合网络对所述全局图像特征信息和所述基础图像特征信息进行融合处理，得到融合图像特征信息，包括：
通过第一级子融合网络对所述全局图像特征信息和最后一级基础特征提取子网络输出的基础图像特征信息进行融合处理，得到所述第一级子融合网络对应的融合图像特征信息；
针对除第一级之外的其它每级子融合网络，将该级子融合网络对应的基础特征提取子网络输出的基础图像特征信息，和上一级子融合网络输出的融合图像特征信息进行融合处理，得到其它每级子融合网络对应的融合图像特征信息；
将最后一级子融合网络对应的融合图像特征信息确定为最终的融合图像特征信息。
在其中一个实施例中，所述农作物分割模型的训练过程包括：
获取样本图像和所述样本图像的标注数据；所述样本图像为农作物遥感图像，所述标注数据包括所述样本图像中各像素点对应的农作物真实类别；
将所述样本图像输入至初始的农作物分割模型，得到所述样本图像中各像素点对应的农作物类别为所述农作物真实类别的预测概率；
根据所述样本图像中各像素点对应的所述预测概率，计算各所述像素点对应的损失值；
从各所述像素点中筛选出损失值满足预设条件的目标像素点，并基于所述目标像素点对应的损失值确定模型损失值；其中，所述目标像素点的损失值大于各所述像素点中除所述目标像素点之外的其它像素点的损失值；
基于所述模型损失值对所述初始的农作物分割模型进行参数更新，得到训练后的农作物分割模型。
在其中一个实施例中，所述从各所述像素点中筛选出损失值满足预设条件的目标像素点，并基于所述目标像素点对应的损失值确定模型损失值，包括：
将各所述像素点按照损失值的大小从大到小进行排序，得到像素点序列；
将所述像素点序列中，排序在前的目标数目个像素点确定为目标像素点；
将所述目标像素点对应的损失值进行平均计算，得到模型损失值。
第二方面，本申请还提供了一种农作物识别装置。所述装置包括：
第一获取模块，用于获取农作物遥感图像，并将所述农作物遥感图像输入至农作物分割模型；所述农作物分割模型包括全局特征提取网络、基础特征提取网络、融合网络和识别网络；
提取模块，用于通过所述全局特征提取网络对所述农作物遥感图像进行全局特征提取操作，得到全局图像特征信息，并通过所述基础特征提取网络对所述农作物遥感图像进行基础特征提取操作，得到基础图像特征信息；
融合模块，用于通过所述融合网络对所述全局图像特征信息和所述基础图像特征信息进行融合处理，得到融合图像特征信息；
识别模块，用于通过所述识别网络对所述融合图像特征信息进行农作物识别处理，得到所述农作物遥感图像的识别结果。
在其中一个实施例中，所述提取模块具体用于：
通过所述全局特征提取网络对所述农作物遥感图像进行初始的全局特征提取操作，得到初始的全局图像特征信息；对所述农作物遥感图像进行局部特征提取操作，得到局部特征数据，并对所述农作物遥感图像进行全局平均池化操作，得到全局特征数据；对所述局部特征数据和所述全局特征数据进行融合处理，基于融合处理后的特征数据得到特征权重信息，并将所述特征权重信息和所述农作物遥感图像进行融合处理，得到增强特征信息；将所述初始的全局图像特征信息和所述增强特征信息进行融合处理，得到最终的全局图像特征信息。
在其中一个实施例中，所述融合模块具体用于：
通过所述融合网络，将所述全局图像特征信息和所述基础图像特征信息进行融合处理，得到初始的融合图像特征信息；将所述初始的融合图像特征信息分别进行水平方向的特征提取操作和垂直方向的特征提取操作，得到水平特征数据和垂直特征数据；将所述水平特征数据和所述垂直特征数据进行融合处理，得到最终的融合图像特征信息。
在其中一个实施例中，所述基础特征提取网络包括多级基础特征提取子网络；所述融合网络包括多级子融合网络，所述基础特征提取子网络与所述子融合网络一一对应；所述提取模块具体用于：
通过第一级的基础特征提取子网络对所述农作物遥感图像进行基础特征提取操作，得到第一级基础特征提取子网络对应的基础图像特征信息；针对多级基础特征提取子网络中除所述第一级的基础特征提取子网络之外的其它各级基础特征提取子网络，通过下一级基础特征提取子网络对上一级基础特征提取子网络输出的基础图像特征信息进行基础特征提取操作，得到除第一级之外的其它每一级基础特征提取子网络对应的基础图像特征信息；
所述融合模块具体用于：
通过第一级子融合网络对所述全局图像特征信息和最后一级基础特征提取子网络输出的基础图像特征信息进行融合处理，得到所述第一级子融合网络对应的融合图像特征信息；针对除第一级之外的其它每级子融合网络，将该级子融合网络对应的基础特征提取子网络输出的基础图像特征信息，和上一级子融合网络输出的融合图像特征信息进行融合处理，得到其它每级子融合网络对应的融合图像特征信息；将最后一级子融合网络对应的融合图像特征信息确定为最终的融合图像特征信息。
在其中一个实施例中，所述装置还包括：
第二获取模块，用于获取样本图像和所述样本图像的标注数据；所述样本图像为农作物遥感图像，所述标注数据包括所述样本图像中各像素点对应的农作物真实类别；
预测模块，用于将所述样本图像输入至初始的农作物分割模型，得到所述样本图像中各像素点对应的农作物类别为所述农作物真实类别的预测概率；
计算模块，用于根据所述样本图像中各像素点对应的所述预测概率，计算各所述像素点对应的损失值；
确定模块，用于从各所述像素点中筛选出损失值满足预设条件的目标像素点，并基于所述目标像素点对应的损失值确定模型损失值；其中，所述目标像素点的损失值大于各所述像素点中除所述目标像素点之外的其它像素点的损失值；
更新模块，用于基于所述模型损失值对所述初始的农作物分割模型进行参数更新，得到训练后的农作物分割模型。
在其中一个实施例中，所述确定模块具体用于：
将各所述像素点按照损失值的大小从大到小进行排序，得到像素点序列；将所述像素点序列中，排序在前的目标数目个像素点确定为目标像素点；将所述目标像素点对应的损失值进行平均计算，得到模型损失值。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的方法的步骤。
上述农作物识别方法、装置、计算机设备、存储介质和计算机程序产品，通过农作物分割模型中的全局特征提取网络提取农作物遥感图像的全局图像特征信息，并与由基础特征提取网络提取的基础图像特征信息进行融合，得到融合图像特征信息，进而对融合图像特征信息进行农作物识别处理，得到识别结果。本方法中，通过全局特征提取网络提取的全局图像特征信息，包含更精确的空间特征信息和完整的全局上下文信息，进而将全局图像特征信息和基础图像特征信息进行融合，可以弥补基础特征提取网络中因下采样操作而丢失的特征信息，从而对融合图像特征信息进行农作物识别，可以得到识别精确度更高的识别结果。
附图说明
图1为一个实施例中农作物识别方法的流程示意图；
图2为一个示例中农作物分割模型的结构示意图；
图3为一个实施例中提取全局图像特征信息的流程示意图；
图4(a)为一个示例中全局特征提取网络的结构示意图；
图4(b)为一个示例中第二子网络的结构示意图；
图4(c)为另一个示例中第二子网络的结构示意图；
图5为一个实施例中得到融合图像特征信息的流程示意图；
图6为一个示例中融合网络的结构示意图；
图7为另一个示例中农作物分割模型的结构示意图；
图8为一个实施例中农作物识别装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
首先，在具体介绍本申请实施例的技术方案之前，先对本申请实施例基于的技术背景或者技术演进脉络进行介绍。随着人工智能技术和智慧农业的发展，出现了基于深度学习的农作物识别方法。通过图像分割模型对农作物遥感图像进行像素级的农作物识别和农作物图像分割，可以得到种植的农作物种类、种植面积、面积分布等基本情况，从而为农情监测、作物估产、生长状态检测、灾害监测和预警提供农情解译数据和信息支持。相关技术中，图像分割模型一般采用卷积神经网络，如U-Net网络等。然而，由于农田中不同类别的农作物通常相邻分布，且不同类别的农作物存在外形相似的特点，而卷积神经网络中卷积操作下采样的过程会丢失小尺度特征，这就容易产生语义歧义问题，不利于密集农作物遥感图像的农作物识别和图像分割，导致农作物识别结果的精确度较低，进而得到的图像分割结果存在农作物边缘分割模糊、分割精度低的问题。
基于该背景，申请人通过长期的研发以及实验验证，提出本申请的农作物识别方法，可以提高对农作物遥感图像进行农作物识别的精确度，从而可以基于该识别结果得到边缘分割更清楚、分割精度更高的图像分割结果，有利于为农情监测、作物估产、生长状态检测、灾害监测和预警提供更准确的农情解译数据和信息支持。另外，需要说明的是，本申请技术问题的发现以及下述实施例介绍的技术方案，申请人均付出了大量的创造性劳动。
在一个实施例中，如图1所示，提供了一种农作物识别方法，本实施例以该方法应用于终端进行举例说明，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备等。可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤101，获取农作物遥感图像，并将农作物遥感图像输入至农作物分割模型。
在实施中，终端可以获取待进行农作物识别的农作物遥感图像，并将其输入至农作物分割模型中。农作物分割模型可以为预先基于样本图像和标注数据进行训练后的模型。如图2所示，该模型可以包括全局特征提取网络、基础特征提取网络、融合网络和识别网络，其中，农作物遥感图像分别输入至全局特征提取网络和基础特征提取网络的输入端，全局特征提取网络的输出端和基础特征提取网络的输出端分别与融合网络的输入端连接，融合网络的输出端与识别网络的输入端连接。识别网络可以输出识别结果。
可以理解的，输入至农作物分割模型的农作物遥感图像可以为经过预处理的图像，具体的，可以对农作物遥感图像的原始图像进行辐射定标处理，以提升目标的目视效果。然后，可以通过大气校正处理来消除图像中的大气和光照等因素对地物反射的影响。之后再进行图像镶嵌和图像裁剪处理，得到最终输入进农作物分割模型的图像数据。
步骤102，通过全局特征提取网络对农作物遥感图像进行全局特征提取操作，得到全局图像特征信息，并通过基础特征提取网络对农作物遥感图像进行基础特征提取操作，得到基础图像特征信息。
在实施中，终端将农作物遥感图像输入至农作物分割模型后，可以通过全局特征提取网络对农作物遥感图像进行全局特征提取操作，得到全局图像特征信息，并通过基础特征提取网络对农作物遥感图像进行基础特征提取操作，得到基础图像特征信息。其中，基础特征提取网络可以为卷积神经网络(如UNet网络)中的特征提取网络，包括卷积层和进行下采样的池化层等。全局特征提取网络为可以提取图像中完整的全局上下文信息的网络，例如，全局特征提取网络可以采用具有长序列建模能力的Transformer网络或SwinTransformer网络等。
步骤103，通过融合网络对全局图像特征信息和基础图像特征信息进行融合处理，得到融合图像特征信息。
在实施中，终端可以将全局特征提取网络得到的全局图像特征信息，和基础特征提取网络得到的基础图像特征信息，分别输入至融合网络，通过融合网络进行融合处理，得到融合图像特征信息。融合处理可以是相加融合(Add融合)、拼接融合(concate融合)等，也可以是其它融合处理方式，本实施例不做限定。
步骤104，通过识别网络对融合图像特征信息进行农作物识别处理，得到农作物遥感图像的识别结果。
在实施中，终端可以将融合网络得到的融合图像特征信息，输入至识别网络，通过识别网络对融合图像特征信息进行农作物识别处理。识别网络可以基于融合图像特征信息，对农作物遥感图像进行像素级的农作物识别，即对农作物遥感图像中的各像素点进行农作物分类(或农作物类别预测)，将预测概率最大的农作物类别作为该像素点对应的农作物类别。进一步的，可以根据农作物识别结果，对每个像素点赋予与农作物类别对应的像素值，进行可视化显示，得到农作物遥感图像对应的农作物分割图像，作为农作物分割结果。
上述农作物识别方法中，通过农作物分割模型中的全局特征提取网络提取农作物遥感图像的全局图像特征信息，并与由基础特征提取网络提取的基础图像特征信息进行融合，得到融合图像特征信息，进而对融合图像特征信息进行农作物识别处理，得到识别结果。本方法中，通过全局特征提取网络提取的全局图像特征信息，包含更精确的空间特征信息和完整的全局上下文信息，进而将全局图像特征信息和基础图像特征信息融合，可以弥补基础特征提取网络中因下采样操作而丢失的特征信息，因此，通过对融合图像特征信息进行农作物识别，得到的识别精度更高的识别结果，从而可以基于识别结果得到边缘分割更清楚、分割精度更高的图像分割结果，有利于为农业金融所涉及的农情监测、作物估产、生长状态检测、灾害监测和预警提供更准确的农情解译数据和信息支持。
在一个实施例中，如图3所示，步骤102中提取全局图像特征信息的过程具体包括如下步骤：
步骤301，通过全局特征提取网络对农作物遥感图像进行初始的全局特征提取操作，得到初始的全局图像特征信息。
在实施中，全局特征提取网络可以包括多个子网络。在一个示例中，如图4(a)所示，全局特征提取网络可以包括第一子网络、第二子网络和第一融合层，第一子网络的输出端与第二子网络的输出端分别与第一融合层的输入端连接。第一子网络可以是能够提取图像中完整的全局上下文信息的网络(如Transformer网络或Swin Transformer网络等)。具体可以通过第一子网络对农作物遥感图像进行初始的全局特征提取操作，得到初始的全局图像特征信息。
步骤302，对农作物遥感图像进行局部特征提取操作，得到局部特征数据，并对农作物遥感图像进行全局平均池化操作，得到全局特征数据。
在实施中，第二子网络可以包括软池化操作网络、全局平均池化层、第二融合层、第一激活层和第三融合层。如图4(b)所示，软池化操作网络的输出端和全局平均池化层的输出端分别与第二融合层的输入端连接，第二融合层的输出端与第一激活层的输入端连接，第一激活层的输出端与第三融合层的输入端连接。具体的，软池化操作网络可以对农作物遥感图像进行局部特征提取操作，得到局部特征数据。软池化操作网络主要包括软池化层，通过软池化层对农作物遥感图像进行软池化操作(SoftPool)，以提取到更精确的局部特征信息。以及，可以通过全局平均池化层对农作物遥感图像进行全局平均池化操作，以提取到全局空间联系更强、全局信息更充分的全局特征数据。
步骤303，对局部特征数据和全局特征数据进行融合处理，基于融合处理后的特征数据得到特征权重信息，并将特征权重信息和农作物遥感图像进行融合处理，得到增强特征信息。
在实施中，第二融合层可以对软池化操作网络输出的局部特征数据和全局平均池化层输出的全局特征数据进行融合处理，例如逐像素相加融合。然后，第一激活层可以对第二融合层输出的融合处理后的特征数据进行激活函数(如sigmoid激活函数)计算，得到特征权重信息。之后，第三融合层可以对第一激活层输出的特征权重信息、以及农作物遥感图像进行融合处理，例如叉乘运算，得到增强特征信息。
可选的，如图4(c)所示的另一第二子网络的结构示意图，其中，软池化操作网络可以包括软池化层、第一卷积层、第二激活层和第二卷积层，软池化层的输出端与第一卷积层的输入端连接，第一卷积层的输出端与第二激活层的输入端连接，第二激活层的输出端与第二卷积层连接。具体的，第一卷积层可以将软池化层提取的初始的局部特征信息，进行第一卷积处理(如1x1卷积)，以缩放通道数降低学习复杂度，然后第二激活层可以对第一卷积层输出的、卷积处理缩放通道后的特征信息进行激活函数计算(如PReLU激活函数)。可以理解的，第二激活层可以先对特征信息进行批归一化处理后再进行激活函数计算。然后，第二卷积层可以对第二激活层输出的、经激活函数计算后的信息进行第二卷积处理(如1x1卷积)，复原特征信息的通道数，由此可以得到泛化能力更强的局部特征数据。
步骤304，将初始的全局图像特征信息和增强特征信息进行融合处理，得到最终的全局图像特征信息。
在实施中，终端可以将步骤301中得到的初始的全局图像特征信息，以及步骤303中得到的增强特征信息进行融合处理，如相加融合，得到最终的全局图像特征信息，作为全局特征提取网络提取得到的全局图像特征信息，可以输入至融合网络进行后续处理。
本实施例中，全局特征提取网络可以包括两个主要的子网络，分别提取初始的全局图像特征信息和增强特征信息，然后将两者融合得到最终的全局图像特征信息，由此得到的全局图像特征信息可以兼顾全局信息的充分性和局部信息的精确性，因此可以提高农作物识别精度和图像分割精度。其中，增强特征信息的提取过程，设置了两个分支分别提取局部特征数据和全局特征数据，也同时兼顾了全局特征信息的充分性和局部特征信息的精确性，进而得到的特征权重信息中偏向的特征更全面和精确，从而可以进一步提高农作物识别精度和图像分割精度。
在一个实施例中，如图5所示，步骤103中得到融合图像特征信息的过程具体包括如下步骤：
步骤501，通过融合网络，将全局图像特征信息和基础图像特征信息进行融合处理，得到初始的融合图像特征信息。
在实施中，融合网络可以包括第四融合层和拆分提取网络，第四融合层的输出端与拆分提取网络的输入端连接。具体的，可以通过第四融合层对全局图像特征信息和基础图像特征信息进行融合处理，如拼接融合，得到初始的融合图像特征信息。
步骤502，将初始的融合图像特征信息分别进行水平方向的特征提取操作和垂直方向的特征提取操作，得到水平特征数据和垂直特征数据。
在实施中，可以通过融合网络中的拆分提取网络对初始的融合图像特征信息分别进行水平方向的特征提取操作和垂直方向的特征提取操作，以进行拆分学习，得到水平特征数据和垂直特征数据。具体的，水平方向的特征提取操作和垂直方向的特征提取操作可以通过软池化操作实现。
步骤503，将水平特征数据和垂直特征数据进行融合处理，得到最终的融合图像特征信息。
在实施中，拆分提取网络可以进一步将拆分提取得到的水平特征数据和垂直特征数据进行融合处理，如叉乘运算，得到最终的融合图像特征信息。
可选的，如图6所示的融合网络结构示意图，融合网络还可以包括空洞卷积层和标准卷积子网络，可以通过空洞卷积层对初始的融合图像特征信息进行特征提取，以广泛收集密集小尺度物体的特征和结构信息，然后将提取的特征信息输入至拆分提取网络分别进行水平方向的软池化操作和垂直方向的软池化操作，以分别提取水平特征数据和垂直特征数据，由此，可以减少计算复杂度，提高计算效率。此外，还可以通过标准卷积子网络对拆分提取网络输出的融合图像特征信息进行基于标准卷积的特征提取，输出最终的融合图像特征信息，以此可以得到更稳定的融合图像特征信息。
本实施例中，通过融合网络将全局图像特征信息和基础图像特征信息进行融合处理得到初始的融合图像特征信息后，进一步对初始的融合图像特征信息分别进行水平方向和垂直方向的特征提取，然后将水平特征数据和垂直特征数据进行融合，得到最终的融合图像特征信息，由此，相比简单的特征堆叠融合，通过拆分学习可以学习到非相邻像素点之间的特征关联性，使得融合图像特征信息包含更充分、更精确的信息，从而可以提高农作物识别精度和图像分割精度。并且，还可以通过融合网络包含的标准卷积子网络对拆分提取网络输出的融合图像特征信息进行基于标准卷积的特征提取，输出最终的融合图像特征信息，以此得到更稳定的融合图像特征信息，从而提升农作物识别效果。
在一个实施例中，基础特征提取网络包括多级基础特征提取子网络，融合网络包括多级子融合网络，基础特征提取子网络与子融合网络一一对应。步骤102中提取基础图像特征信息的过程具体包括如下步骤：通过第一级的基础特征提取子网络对农作物遥感图像进行基础特征提取操作，得到第一级基础特征提取子网络对应的基础图像特征信息；针对多级基础特征提取子网络中除第一级的基础特征提取子网络之外的其它各级基础特征提取子网络，通过下一级基础特征提取子网络对上一级基础特征提取子网络输出的基础图像特征信息进行基础特征提取操作，得到除第一级之外的其它每一级基础特征提取子网络对应的基础图像特征信息。相应的，步骤103中得到融合图像特征信息的过程具体包括如下步骤：通过第一级子融合网络对全局图像特征信息和最后一级基础特征提取子网络输出的基础图像特征信息进行融合处理，得到第一级子融合网络对应的融合图像特征信息；针对除第一级之外的其它每级子融合网络，将该级子融合网络对应的基础特征提取子网络输出的基础图像特征信息，和上一级子融合网络输出的融合图像特征信息进行融合处理，得到其它每级子融合网络对应的融合图像特征信息；将最后一级子融合网络对应的融合图像特征信息确定为最终的融合图像特征信息。
在实施中，基础特征提取网络可以包括多级基础特征提取子网络，融合网络可以包括多级子融合网络，且基础特征提取子网络与子融合网络一一对应。如图7所示，第一级基础特征提取子网络与最后一级子融合网络对应，以此类推，最后一级基础特征提取子网络与第一级子融合网络对应。上一级基础特征提取子网络的第一输出端与下一级基础特征提取子网络的输入端连接(如第一级与第二级连接)，第二输出端与对应的子融合网络的输入端连接。最后一级基础特征提取子网络的输出端与第一级子融合网络的输入端连接，最后一级子融合网络的输出端与识别网络的输入端连接。此外，全局特征提取网络的输出端与第一级子融合网络的输入端连接。
具体的，第一级基础特征提取子网络可以对输入的农作物遥感图像进行基础特征提取操作，得到第一级基础特征提取子网络对应的基础图像特征信息，第一级基础特征提取子网络可以将其提取的基础图像特征信息分别输入至第二级基础特征提取子网络和最后一级子融合网络。第二级基础特征提取子网络可以对第一级基础特征提取子网络输出的基础图像特征信息进行基础特征提取操作，得到第二级对应的基础图像特征信息，并输入至下一级基础特征提取子网络，由此，可以得到每一级基础特征提取子网络对应的基础图像特征信息。每一级基础特征提取子网络均可以将其提取的基础图像特征信息输入至对应的子融合网络。
第一级子融合网络可以将最后一级基础特征提取子网络输出的基础图像特征信息和全局特征提取网络输出的全局图像特征信息进行融合处理，得到第一级子融合网络对应的融合图像特征信息。然后，第一级子融合网络可以将其融合得到的融合图像特征信息输入至第二级子融合网络，通过第二级子融合网络将其对应的基础特征提取子网络输出的基础图像特征信息，以及第一级子融合网络输出的融合图像特征信息进行融合处理，得到第二级子融合网络对应的融合图像特征信息，并输入至下一级子融合网络，由此，可以得到每级子融合网络对应的融合图像特征信息。可以将最后一级子融合网络输出的融合图像特征信息输入至识别网络进行像素级的农作物识别处理，得到逐像素点的农作物识别结果，并进一步可得到分割图像。可以理解的，下一级子融合网络的对应的基础特征提取子网络输出的基础图像特征信息的尺寸，一般大于上一级子融合网络输出的融合图像特征信息的尺寸，因而，可以将上一级子融合网络输出的融合图像特征信息经过上采样操作(如经过转置卷积处理)，得到与下一级子融合网络的对应的基础特征提取子网络输出的基础图像特征信息相同的尺寸，以便输入至下一级子融合网络进行融合处理。
可选的，全局特征提取网络可以包括多级全局特征提取子网络，则第一级全局特征提取子网络的输入为农作物遥感图像，输出为第一级全局图像特征信息，第二级全局特征提取子网络的输入为第一级全局图像特征信息，并输出第二级全局图像特征信息，由此，最后一级全局特征提取子网络输出的全局图像特征信息即为全局特征提取网络提取到的最终的全局图像特征信息。其中，每一级全局特征提取子网络均可包含第一子网络提取初始的全局图像特征信息，和第二子网络提取增强特征信息，并将二者融合处理，得到该级对应的全局图像特征信息，作为下一级全局特征提取子网络的输入。最后一级全局特征提取子网络的输出端与第一级子融合网络的输入端连接。在一个示例中，全局特征提取网络包含的全局特征提取子网络的级数可以比基础特征提取网络包含的基础特征提取子网络的级数多一级，相应的，最后一级全局特征提取子网络输出的全局图像特征信息可以经过转置卷积网络进行上采样操作，得到与最后一级基础特征提取子网络输出的基础图像特征信息的尺寸相同，以便输入至第一级子融合网络进行融合处理。
本实施例中，通过基础特征提取网络包含的多级基础特征提取子网络逐级提取基础图像特征信息，并通过融合网络包含的多级子融合网络进行逐级融合，由此，可以得到兼顾特征全局充分性和局部精确性的融合图像特征信息，从而提高农作物识别精度和图像分割精度。
在一个实施例中，还提供了农作物分割模型的训练过程，包括如下步骤：获取样本图像和样本图像的标注数据；样本图像为农作物遥感图像，标注数据包括样本图像中各像素点对应的农作物真实类别；将样本图像输入至初始的农作物分割模型，得到样本图像中各像素点对应的农作物类别为农作物真实类别的预测概率；根据样本图像中各像素点对应的预测概率，计算各像素点对应的损失值；从各像素点中筛选出损失值满足预设条件的目标像素点，并基于目标像素点对应的损失值得到模型损失值；其中，目标像素点的损失值大于各像素点中除目标像素点之外的其它像素点的损失值；基于模型损失值对初始的农作物分割模型进行参数更新，得到训练后的农作物分割模型。
在实施中，终端可以基于样本图像和标注数据对初始的农作物分割模型进行训练，以得到训练后的农作物分割模型，用于农作物识别。具体的，样本图像为农作物遥感图像，标注数据包括样本图像中各像素点对应的农作物真实类别。通过将样本图像输入至初始的农作物分割模型进行逐像素点的农作物类别分类，可以得到各像素点对应的农作物类别为每种预设农作物类别(如小麦、玉米、大豆等农作物类别)的预测概率，包括将各像素点的农作物类别预测为农作物真实类别的预测概率。然后，终端可以基于样本图像中各像素点对应的预测概率，计算各像素点对应的损失值。例如，像素点i对应的损失值(可记为Lossi)可以采用如下公式计算得到：
Lossi＝-log(PiC)
其中，Pic表示训练过程中，农作物分割模型将像素点i对应的农作物类别预测为农作物真实类别C(即标注数据中对该像素点标注出的农作物真实类别C)的预测概率。
然后，终端可以根据各像素点的损失值和预设条件，从各像素点中筛选出损失值满足预设条件的目标像素点。根据预设条件筛选出目标像素点，其损失值大于各像素点中除目标像素点之外的其它像素点的损失值。具体的，终端可以将各像素点中损失值相对较小的一部分像素点(如K个)去除，保留损失值相对较大的目标像素点。然后，终端可以基于目标像素点对应的损失值得到模型损失值，例如可以将目标像素点对应的损失值的平均值作为模型损失值。在一个示例中，模型损失值(可记为LossMeanPixel)的计算公式如下所示：
Figure BDA0004031630610000171
其中，N表示像素点的总数，K表示剔除的像素点的个数(除目标像素点之外的其它像素点)，则N-K表示目标像素点的个数。Lossi表示像素点i的损失值，Lossj表示剔除的像素点的损失值。也即，可以通过计算出所有像素点的损失值的总和，然后减去需剔除的像素点的损失值，得到保留的目标像素点的损失值的总和，进而除以目标像素点的个数，得到模型损失值。
然后，终端可以根据模型损失值对初始的农作物分割模型进行参数更新，例如可以采用反向传播法，对农作物分割模型进行调参，使得调参后的农作物分割模型对样本图像进行农作物识别后，得到的新的模型损失值减小，经多次迭代，直到达到预期的模型训练效果，从而得到训练后的农作物分割模型。
本实施例中，由于不同农作物的种植面积差异较大，即部分农作物的种植面积占比较小，而部分农作物的种植面积占比较大，因此，用于模型训练的样本图像中，包含部分类别的农作物的样本数量远大于包含其它一些类别的农作物的样本数量。也即，训练样本存在农作物类别不均衡的问题，在模型训练过程中，起主导作用的为样本数量占比较大的农作物类别的识别，因而模型更倾向于将农作物识别为大样本量的农作物类别，因而模型对小样本量的农作物的识别精确度较低。对于农作物类别为大样本量的类别的像素点，农作物分割模型对其识别的准确度较高，因而该像素点对应的损失值较小，然而，损失小对于模型学习的影响可以忽略不计，即模型没有再继续学习的方向了，阻碍了模型继续学习小样本量的农作物类别的分类。因此，本方法中，将损失值较小的像素点剔除，保留损失值相对较大的目标像素点，各目标像素点中小样本量类别的农作物的占比增大，基于目标像素点的损失值计算出模型损失值，作为模型参数更新的依据，可以缓解样本中农作物类别不均衡问题带来的影响，从而可以提高训练后的农作物分割模型的识别准确度，进而提高图像分割精度。
在一个实施例中，农作物分割模型的训练过程中计算模型损失值的过程具体包括如下步骤：将各像素点按照损失值的大小从大到小进行排序，得到像素点序列；将像素点序列中，排序在前的目标数目个像素点确定为目标像素点；将目标像素点对应的损失值进行平均计算，得到模型损失值。
在实施中，终端可以将各像素点按照损失值的大小从大到小进行排序，得到像素点序列，然后将像素点序列中，排序在前的目标数目个像素点确定为目标像素点，进而将目标像素点对应的损失值进行平均计算，得到模型损失值。其中，目标数目可以是根据像素点的总数和预设的剔除像素数计算得到。如像素点总数为N，而预设剔除损失值最小的K个像素点，即剔除像素数为K，则目标像素点的目标数目为N-K。
本实施例中，通过将像素点根据损失值大小排序，进而保留序列中损失值较大的目标数目个像素点作为目标像素点，然后计算目标像素点的损失值的均值作为模型损失值，用于指导模型调参，由此，可以缓解样本中农作物类别不均衡问题带来的影响，从而可以提高训练后的农作物分割模型的识别准确度，进而提高图像分割精度。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的农作物识别方法的农作物识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个农作物识别装置实施例中的具体限定可以参见上文中对于农作物识别方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种农作物识别装置800，包括：第一获取模块801、提取模块802、融合模块803和识别模块804，其中：
第一获取模块801，用于获取农作物遥感图像，并将农作物遥感图像输入至农作物分割模型；农作物分割模型包括全局特征提取网络、基础特征提取网络、融合网络和识别网络。
提取模块802，用于通过全局特征提取网络对农作物遥感图像进行全局特征提取操作，得到全局图像特征信息，并通过基础特征提取网络对农作物遥感图像进行基础特征提取操作，得到基础图像特征信息。
融合模块803，用于通过融合网络对全局图像特征信息和基础图像特征信息进行融合处理，得到融合图像特征信息。
识别模块804，用于通过识别网络对融合图像特征信息进行农作物识别处理，得到农作物遥感图像的识别结果。
在其中一个实施例中，提取模块802具体用于：通过全局特征提取网络对农作物遥感图像进行初始的全局特征提取操作，得到初始的全局图像特征信息；对农作物遥感图像进行局部特征提取操作，得到局部特征数据，并对农作物遥感图像进行全局平均池化操作，得到全局特征数据；对局部特征数据和全局特征数据进行融合处理，基于融合处理后的特征数据得到特征权重信息，并将特征权重信息和农作物遥感图像进行融合处理，得到增强特征信息；将初始的全局图像特征信息和增强特征信息进行融合处理，得到最终的全局图像特征信息。
在其中一个实施例中，融合模块803具体用于：通过融合网络，将全局图像特征信息和基础图像特征信息进行融合处理，得到初始的融合图像特征信息；将初始的融合图像特征信息分别进行水平方向的特征提取操作和垂直方向的特征提取操作，得到水平特征数据和垂直特征数据；将水平特征数据和垂直特征数据进行融合处理，得到最终的融合图像特征信息。
在其中一个实施例中，基础特征提取网络包括多级基础特征提取子网络；融合网络包括多级子融合网络，基础特征提取子网络与子融合网络一一对应；提取模块802具体用于：通过第一级的基础特征提取子网络对农作物遥感图像进行基础特征提取操作，得到第一级基础特征提取子网络对应的基础图像特征信息；针对多级基础特征提取子网络中除第一级的基础特征提取子网络之外的其它各级基础特征提取子网络，通过下一级基础特征提取子网络对上一级基础特征提取子网络输出的基础图像特征信息进行基础特征提取操作，得到除第一级之外的其它每一级基础特征提取子网络对应的基础图像特征信息。
相应的，融合模块803具体用于：通过第一级子融合网络对全局图像特征信息和最后一级基础特征提取子网络输出的基础图像特征信息进行融合处理，得到第一级子融合网络对应的融合图像特征信息；针对除第一级之外的其它每级子融合网络，将该级子融合网络对应的基础特征提取子网络输出的基础图像特征信息，和上一级子融合网络输出的融合图像特征信息进行融合处理，得到其它每级子融合网络对应的融合图像特征信息；将最后一级子融合网络对应的融合图像特征信息确定为最终的融合图像特征信息。
在其中一个实施例中，该装置还包括第二获取模块、预测模块、计算模块、确定模块和更新模块，其中：
第二获取模块，用于获取样本图像和样本图像的标注数据；样本图像为农作物遥感图像，标注数据包括样本图像中各像素点对应的农作物真实类别。
预测模块，用于将样本图像输入至初始的农作物分割模型，得到样本图像中各像素点对应的农作物类别为农作物真实类别的预测概率。
计算模块，用于根据样本图像中各像素点对应的预测概率，计算各像素点对应的损失值。
确定模块，用于从各像素点中筛选出损失值满足预设条件的目标像素点，并基于目标像素点对应的损失值确定模型损失值；其中，目标像素点的损失值大于各像素点中除目标像素点之外的其它像素点的损失值。
更新模块，用于基于模型损失值对初始的农作物分割模型进行参数更新，得到训练后的农作物分割模型。
在其中一个实施例中，确定模块具体用于：将各像素点按照损失值的大小从大到小进行排序，得到像素点序列；将像素点序列中，排序在前的目标数目个像素点确定为目标像素点；将目标像素点对应的损失值进行平均计算，得到模型损失值。
上述农作物识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种农作物识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本申请提供的农作物识别方法、装置、计算机设备、存储介质和计算机程序产品涉及人工智能技术领域，可用于金融科技领域或其他领域，本申请对其应用领域不做限定。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种农作物识别方法，其特征在于，所述方法包括：
获取农作物遥感图像，并将所述农作物遥感图像输入至农作物分割模型；所述农作物分割模型包括全局特征提取网络、基础特征提取网络、融合网络和识别网络；
通过所述全局特征提取网络对所述农作物遥感图像进行全局特征提取操作，得到全局图像特征信息，并通过所述基础特征提取网络对所述农作物遥感图像进行基础特征提取操作，得到基础图像特征信息；
通过所述融合网络对所述全局图像特征信息和所述基础图像特征信息进行融合处理，得到融合图像特征信息；
通过所述识别网络对所述融合图像特征信息进行农作物识别处理，得到所述农作物遥感图像的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述通过所述全局特征提取网络对所述农作物遥感图像进行全局特征提取操作，得到全局图像特征信息，包括：
通过所述全局特征提取网络对所述农作物遥感图像进行初始的全局特征提取操作，得到初始的全局图像特征信息；
对所述农作物遥感图像进行局部特征提取操作，得到局部特征数据，并对所述农作物遥感图像进行全局平均池化操作，得到全局特征数据；
对所述局部特征数据和所述全局特征数据进行融合处理，基于融合处理后的特征数据得到特征权重信息，并将所述特征权重信息和所述农作物遥感图像进行融合处理，得到增强特征信息；
将所述初始的全局图像特征信息和所述增强特征信息进行融合处理，得到最终的全局图像特征信息。
3.根据权利要求1所述的方法，其特征在于，所述通过所述融合网络对所述全局图像特征信息和所述基础图像特征信息进行融合处理，得到融合图像特征信息，包括：
通过所述融合网络，将所述全局图像特征信息和所述基础图像特征信息进行融合处理，得到初始的融合图像特征信息；
将所述初始的融合图像特征信息分别进行水平方向的特征提取操作和垂直方向的特征提取操作，得到水平特征数据和垂直特征数据；
将所述水平特征数据和所述垂直特征数据进行融合处理，得到最终的融合图像特征信息。
4.根据权利要求1所述的方法，其特征在于，所述基础特征提取网络包括多级基础特征提取子网络，所述融合网络包括多级子融合网络，所述基础特征提取子网络与所述子融合网络一一对应；
所述通过所述基础特征提取网络对所述农作物遥感图像进行基础特征提取操作，得到基础图像特征信息，包括：
通过第一级的基础特征提取子网络对所述农作物遥感图像进行基础特征提取操作，得到第一级基础特征提取子网络对应的基础图像特征信息；
针对多级基础特征提取子网络中除所述第一级的基础特征提取子网络之外的其它各级基础特征提取子网络，通过下一级基础特征提取子网络对上一级基础特征提取子网络输出的基础图像特征信息进行基础特征提取操作，得到除第一级之外的其它每一级基础特征提取子网络对应的基础图像特征信息；
所述通过所述融合网络对所述全局图像特征信息和所述基础图像特征信息进行融合处理，得到融合图像特征信息，包括：
通过第一级子融合网络对所述全局图像特征信息和最后一级基础特征提取子网络输出的基础图像特征信息进行融合处理，得到所述第一级子融合网络对应的融合图像特征信息；
针对除第一级之外的其它每级子融合网络，将该级子融合网络对应的基础特征提取子网络输出的基础图像特征信息，和上一级子融合网络输出的融合图像特征信息进行融合处理，得到其它每级子融合网络对应的融合图像特征信息；
将最后一级子融合网络对应的融合图像特征信息确定为最终的融合图像特征信息。
5.根据权利要求1所述的方法，其特征在于，所述农作物分割模型的训练过程包括：
获取样本图像和所述样本图像的标注数据；所述样本图像为农作物遥感图像，所述标注数据包括所述样本图像中各像素点对应的农作物真实类别；
将所述样本图像输入至初始的农作物分割模型，得到所述样本图像中各像素点对应的农作物类别为所述农作物真实类别的预测概率；
根据所述样本图像中各像素点对应的所述预测概率，计算各所述像素点对应的损失值；
从各所述像素点中筛选出损失值满足预设条件的目标像素点，并基于所述目标像素点对应的损失值确定模型损失值；其中，所述目标像素点的损失值大于各所述像素点中除所述目标像素点之外的其它像素点的损失值；
基于所述模型损失值对所述初始的农作物分割模型进行参数更新，得到训练后的农作物分割模型。
6.根据权利要求5所述的方法，其特征在于，所述从各所述像素点中筛选出损失值满足预设条件的目标像素点，并基于所述目标像素点对应的损失值确定模型损失值，包括：
将各所述像素点按照损失值的大小从大到小进行排序，得到像素点序列；
将所述像素点序列中，排序在前的目标数目个像素点确定为目标像素点；
将所述目标像素点对应的损失值进行平均计算，得到模型损失值。
7.一种农作物识别装置，其特征在于，所述装置包括：
第一获取模块，用于获取农作物遥感图像，并将所述农作物遥感图像输入至农作物分割模型；所述农作物分割模型包括全局特征提取网络、基础特征提取网络、融合网络和识别网络；
提取模块，用于通过所述全局特征提取网络对所述农作物遥感图像进行全局特征提取操作，得到全局图像特征信息，并通过所述基础特征提取网络对所述农作物遥感图像进行基础特征提取操作，得到基础图像特征信息；
融合模块，用于通过所述融合网络对所述全局图像特征信息和所述基础图像特征信息进行融合处理，得到融合图像特征信息；
识别模块，用于通过所述识别网络对所述融合图像特征信息进行农作物识别处理，得到所述农作物遥感图像的识别结果。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202211731095.5A 2022-12-30 2022-12-30 农作物识别方法、装置、计算机设备和存储介质 Pending CN115797781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211731095.5A CN115797781A (zh) 2022-12-30 2022-12-30 农作物识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211731095.5A CN115797781A (zh) 2022-12-30 2022-12-30 农作物识别方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115797781A true CN115797781A (zh) 2023-03-14

Family

ID=85428383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211731095.5A Pending CN115797781A (zh) 2022-12-30 2022-12-30 农作物识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115797781A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012626A (zh) * 2023-03-21 2023-04-25 腾讯科技（深圳）有限公司 建筑立面图像的素材匹配方法、装置、设备和存储介质
CN116704328A (zh) * 2023-04-24 2023-09-05 中国科学院空天信息创新研究院 地物分类方法、装置、电子设备及存储介质
CN117095360A (zh) * 2023-10-18 2023-11-21 四川傲空航天科技有限公司 基于sar卫星遥感技术的粮食作物监测方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012626A (zh) * 2023-03-21 2023-04-25 腾讯科技（深圳）有限公司 建筑立面图像的素材匹配方法、装置、设备和存储介质
CN116012626B (zh) * 2023-03-21 2023-06-30 腾讯科技（深圳）有限公司 建筑立面图像的素材匹配方法、装置、设备和存储介质
CN116704328A (zh) * 2023-04-24 2023-09-05 中国科学院空天信息创新研究院 地物分类方法、装置、电子设备及存储介质
CN117095360A (zh) * 2023-10-18 2023-11-21 四川傲空航天科技有限公司 基于sar卫星遥感技术的粮食作物监测方法及系统
CN117095360B (zh) * 2023-10-18 2023-12-15 四川傲空航天科技有限公司 基于sar卫星遥感技术的粮食作物监测方法及系统

Similar Documents

Publication Publication Date Title
CN109063742B (zh) 蝴蝶识别网络构建方法、装置、计算机设备及存储介质
Smith Image segmentation scale parameter optimization and land cover classification using the Random Forest algorithm
Song et al. Comparison of artificial neural networks and support vector machine classifiers for land cover classification in Northern China using a SPOT-5 HRG image
CN115797781A (zh) 农作物识别方法、装置、计算机设备和存储介质
Zhang et al. Deep learning-based automatic recognition network of agricultural machinery images
CN109033107B (zh) 图像检索方法和装置、计算机设备和存储介质
Mari et al. Temporal and spatial data mining with second-order hidden markov models
Samadzadegan et al. Simultaneous feature selection and SVM parameter determination in classification of hyperspectral imagery using ant colony optimization
Kamath et al. Classification of paddy crop and weeds using semantic segmentation
CN111860233A (zh) 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
Kim et al. Deep learning-based monitoring of overshooting cloud tops from geostationary satellite data
CN111916144A (zh) 基于自注意力神经网络和粗化算法的蛋白质分类方法
Li et al. A Scale Sequence Object-based Convolutional Neural Network (SS-OCNN) for crop classification from fine spatial resolution remotely sensed imagery
CN115424101A (zh) 病害识别方法、装置、设备及存储介质
Agarwal et al. A new Bayesian ensemble of trees approach for land cover classification of satellite imagery
Ganguli et al. Predicting food security outcomes using convolutional neural networks (cnns) for satellite tasking
CN115861617A (zh) 语义分割模型训练方法、装置、计算机设备和存储介质
Ps et al. Building footprint extraction from very high-resolution satellite images using deep learning
Liu et al. Flooding-based MobileNet to identify cucumber diseases from leaf images in natural scenes
Alam et al. Classification of deep-SAT images under label noise
Sundaram et al. Disaster relief compensation computational framework
CN113066537B (zh) 基于图神经网络的化合物分类方法
Raju et al. CropCast: Harvesting the future with interfused machine learning and advanced stacking ensemble for precise crop prediction
Simms Fully convolutional neural nets in-the-wild
Rogozinski et al. 3D convolution for multidate crop recognition from multitemporal image sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination