CN115376008A - 病虫害识别方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明提供一种病虫害识别方法、装置、电子设备和存储介质，其中方法包括：确定待识别的病虫害图像，以及病虫害图像对应的病虫害环境数据，病虫害环境数据包括种植制度数据、种植区域数据、地理气候数据、土壤类型数据、土壤质地数据中的至少一种；基于病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性，对图像特征和环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果，克服了传统方案中基于单一的图像特征进行病虫害识别时，忽略了环境因素，以致病虫害识别易受环境影响的缺陷，利用不同模态的数据所反映的不同层面和不同角度的病虫害信息，能够在极大程度上提升病虫害识别精确度和准确率。

Description

病虫害识别方法、装置、电子设备和存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种病虫害识别方法、装置、电子设备和存储介质。

背景技术

近年来，农作物病虫害愈演愈烈，给粮食安全带来了严重的威胁，此种大环境下，越来越多的研究人员聚焦于农业方面，以利用人工智能技术识别农作物的病虫害，从而达到提升粮食产量的目的。

目前，对于农作物病虫害的识别方法，主要有以下三类，其一是基于数理统计的识别方法，但是这一方法的应用依赖于大量完整的历史数据，而这一历史数据的收集和挖掘需耗费数年时间，并且，其适用面较为狭窄；其二是基于模式识别和机器学习的识别方法，然而这一方法在特征提取层面较为困难，并且，模型训练所需的样本稀少，训练完成的模型也无法直接使用；其三是基于深度学习的识别方法，这一方法虽然可以应用于农作物病虫害的识别，但是其识别效果不佳。

发明内容

本发明提供一种病虫害识别方法、装置、电子设备和存储介质，用以解决现有技术中输入单一，致使病虫害识别准确率不高的缺陷。

本发明提供一种病虫害识别方法，包括：

确定待识别的病虫害图像，以及所述病虫害图像对应的病虫害环境数据，所述病虫害环境数据包括种植制度数据、种植区域数据、地理气候数据、土壤类型数据、土壤质地数据中的至少一种；

基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果。

根据本发明提供的一种病虫害识别方法，所述基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，包括：

确定所述病虫害环境数据中各类数据的环境特征之间的相关性；

基于所述病虫害环境数据中各类数据的环境特征之间的相关性，以及所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合。

根据本发明提供的一种病虫害识别方法，所述基于所述病虫害环境数据中各类数据的环境特征之间的相关性，以及所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，包括：

基于所述病虫害环境数据中各类数据的环境特征之间的相关性，确定所述病虫害环境数据中各类数据的环境特征的权重，并基于所述权重确定目标环境特征；

基于所述病虫害图像的图像特征和所述目标环境特征之间的相关性，对所述图像特征和所述环境特征进行融合。

根据本发明提供的一种病虫害识别方法，所述基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果，包括：

基于病虫害识别模型，对所述病虫害图像和所述病虫害环境数据分别进行特征提取，得到所述病虫害图像的图像特征，以及所述病虫害环境数据的环境特征，基于所述图像特征和所述环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果；

所述病虫害识别模型基于标准病虫害特征与样本病虫害特征之间的特征相似度训练得到，所述标准病虫害特征基于标准病虫害图像和标准病虫害环境数据确定，所述样本病虫害特征基于样本病虫害图像和样本病虫害环境数据确定。

根据本发明提供的一种病虫害识别方法，所述病虫害识别模型基于如下步骤训练：

基于初始病虫害识别模型、所述样本病虫害图像和所述样本病虫害环境数据，以及所述标准病虫害图像和所述标准病虫害环境数据，确定所述标准病虫害特征和所述样本病虫害特征；

从所述样本病虫害图像和所述样本病虫害环境数据中，选取样本病虫害识别结果与标准病虫害识别结果相同的样本病虫害图像和样本病虫害环境数据，作为正样本；

从所述样本病虫害图像和所述样本病虫害环境数据中，选取所述样本病虫害识别结果与所述标准病虫害识别结果不同的样本病虫害图像和样本病虫害环境数据，作为负样本；

基于所述标准病虫害特征与所述正样本的样本病虫害特征之间的特征相似度，以及所述标准病虫害特征与所述负样本的样本病虫害特征之间的特征相似度，对所述初始病虫害识别模型进行参数迭代，得到病虫害识别模型。

根据本发明提供的一种病虫害识别方法，所述基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果，之后还包括：

基于重排序规则，对所述病虫害识别结果进行重排序；

所述重排序规则基于所述病虫害图像和所述病虫害环境数据对应作物的生长规律、种植区域、地理气候中的至少一种确定。

根据本发明提供的一种病虫害识别方法，所述基于病虫害识别模型，对所述病虫害图像和所述病虫害环境数据分别进行特征提取，得到所述病虫害图像的图像特征，以及所述病虫害环境数据的环境特征，包括：

基于病虫害识别模型中的图像特征提取网络，对所述病虫害图像进行特征提取，得到所述病虫害图像的图像特征；

基于所述病虫害识别模型中的环境特征提取网络，对所述病虫害环境数据进行特征提取，得到所述病虫害环境数据的环境特征；

所述图像特征提取网络是在残差网络和特征金字塔网络的基础上，应用所述样本病虫害图像训练得到的，所述环境特征提取网络是在语言模型的基础上，应用所述样本病虫害环境数据训练得到的。

本发明还提供一种病虫害识别装置，包括：

确定单元，用于确定待识别的病虫害图像，以及所述病虫害图像对应的病虫害环境数据，所述病虫害环境数据包括种植制度数据、种植区域数据、地理气候数据、土壤类型数据、土壤质地数据中的至少一种；

识别单元，用于基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的病虫害识别方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的病虫害识别方法。

本发明提供的病虫害识别方法、装置、电子设备和存储介质，借助病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性，对此两者进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果，以图像特征和环境特征之间的相关性为基准，进行特征融合，能够使得融合所得的病虫害特征在蕴含图像中的表观信息和环境中的环境信息的同时，增添病虫害相关区域的细微特征，基于此病虫害特征进行病虫害识别，能够克服传统方案中基于单一的图像特征进行病虫害识别时，忽略了环境因素，以致病虫害识别易受环境影响的缺陷，利用不同模态的数据所反映的不同层面和不同角度的病虫害信息，能够在极大程度上提升病虫害识别精确度和准确率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的病虫害识别方法的流程示意图；

图2是本发明提供的图像特征和环境特征的融合过程的示意图；

图3是本发明提供的病虫害环境数据中各类数据的环境特征之间的相关性的确定过程的框架图；

图4是本发明提供的病虫害识别方法中步骤220的流程示意图；

图5是本发明提供的图像特征和目标环境特征之间的相关性的确定过程的框架图；

图6是本发明提供的病虫害识别模型的训练过程的示意图；

图7是本发明提供的病虫害识别方法的总体框架图；

图8是本发明提供的病虫害识别装置的结构示意图；

图9是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着农作物病虫害发展趋势的日益严重，给粮食安全带来的威胁也在与日俱增，此种情况下，构建病虫害自动化识别方法是重中之重，基于此，越来越多的研究人员聚焦于农业方面，以利用人工智能技术识别农作物的病虫害，从而达到提升粮食产量的目的。

目前，对于农作物病虫害的识别方法，大致可以分为以下三类：

其一是基于数理统计的识别方法，该方法是分析农作物病虫害在不同阶段的流行特点，并利用多年定点系统调查数据，以及采取统计学和流行学相结合的方法去组建能够进行动态预测的预测模型，以对农作物的病虫害进行识别和预测；

其二是基于模式识别和机器学习的识别方法，该方法是对提取的颜色、纹理、形态等特征进行筛选和优化组合，在此基础上，利用线性分类器、贝叶斯决策理论、模糊识别等模式识别技术，对各种农作物病虫害进行识别，以在提高病虫害识别准确率的基础上，推动农业的信息化和精准化发展；

其三是基于深度学习的识别方法，该方法的核心思想是以数据为驱动，通过各种线性和非线性转换，从大量的样本数据中提取多层特征表示，并利用有监督和无监督相结合的训练方式，完成特征提取和转换任务，实现复杂样本数据的关系拟合。值得注意的是，该方法得益于深度神经网络的结构，其前一层网络所提取的错误特征能在一定程度上被弱化，且复杂函数可以用较少的参数进行表示，这使得深度神经网络的结构更加紧凑，从而可以提升网络效率和性能。

然而，上述识别方法虽然能够应用于农作物病虫害的识别，但是在识别过程中仍然存在一些缺陷，具体在于：

第一类：基于数理统计的识别方法的应用依赖于大量完整的历史数据，而这一历史数据的收集和挖掘往往需要耗费数年甚至数十年的时间，换而言之，应用此类识别方法进行病虫害识别的前提是，耗费大量的时间精力挖掘农作物病虫害的发生规律；并且，由于某一地区农作物病虫害的发生规律只适用于该地区，因而，该方法的适用范围较小，适用面较为狭窄；此外，该方法对于操作人员有较高的要求，即要求其具备专业的统计学知识，存在较高的门槛限制。

第二类：基于模式识别和机器学习的识别方法在特征提取上较为困难，原因在于：不同时段和/或不同地区的气候条件、种植条件等环境数据存在一定程度的差异，而这一差异会对农作物病虫害的大小、颜色、分布等造成影响，此种情况下，很难采用一定时段和/或一定区域内的某一特征或多个特征，对农作物病虫害进行表述；此外，该方法中模型训练所需的样本稀少，并且，训练完成的模型也无法直接使用，需要根据实际情况进行修正。

第三类：基于深度学习的识别方法虽然能够很好的应用于农作物病虫害的识别，但是，由于其输入过于单一，即仅仅是将图像作为输入，而忽略了环境因素，这极易使得病虫害的识别过程受到环境影响，从而导致识别准确率不高。

本发明提供一种病虫害识别方法，旨在病虫害图像的基础上，结合其对应的病虫害环境数据，进行病虫害识别，实现病虫害识别准确率和精确度的双重提升，图1是本发明提供的病虫害识别方法的流程示意图，如图1所示，该方法包括：

步骤110，确定待识别的病虫害图像，以及病虫害图像对应的病虫害环境数据，病虫害环境数据包括种植制度数据、种植区域数据、地理气候数据、土壤类型数据、土壤质地数据中的至少一种；

具体地，在进行病虫害识别之前，首先需要确定需要进行病虫害识别的病虫害的图像，即待识别的病虫害图像，而为避免仅将病虫害图像作为输入，导致病虫害识别准确率低下的缺陷，本发明实施例中，考虑到农作物的病虫害与地理气候、种植区域、种植制度等环境数据密切相关，因而，还可以获取待识别的病虫害图像对应的环境数据，即病虫害环境数据，并将其与待识别的病虫害图像一同作为病虫害识别的基准，以提升病虫害识别的精确度和准确率。

此处，病虫害环境数据可以是种植制度数据、种植区域数据、地理气候数据、土壤类型数据、土壤质地数据中的一种或多种，其中，种植制度数据和种植区域数据可以是用户的输入的，而考虑到用户填写时多存在语言不够精炼、描述过于分散的情况，本发明实施例中，可以通过选择的方式从提供的农业术语中选取对应的数据，即用户可以从直接提供的农业术语或者与其输入相匹配的农业术语中，选取对应于待识别的病虫害图像的种植制度和种植区域，以形成种植制度数据和种植区域数据，如此即可避免用户输入的种植制度数据和种植区域数据冗余反复、描述发散的缺陷，实现了数据精简化。

例如，用户输入的对应于待识别的病虫害图像的种植制度数据可以是“小麦-玉米二熟制；旱地；每亩氮肥、磷肥和钾肥的用量”，与之对应的种植区域数据则可以是“华北区域”。

而地理气候数据、土壤类型数据以及土壤质地数据则可以从专业的气象数据库和土壤数据库中查询得到，例如，从气象数据库中查询近期的气象数据，得到的地理气候数据可以是“降水较多、日照较少等”，对应地，从土壤数据库中查询得到的土壤类型数据则可以是“沙土或黏土”。

本发明实施例中，将待识别的病虫害图像及其对应的病虫害环境数据作为一个数据组，进行病虫害识别，利用数据组中不同模态的数据所反映的病虫害在不同层面和不同角度的信息，能够极大地提升病虫害识别过程中的精确度和准确率。

此外，本发明实施例中，由待识别的病虫害图像，以及其对应的病虫害环境数据构成的数据组可以是一个也可以是多个，在数据组为多个的情况下，需确定每一数据组的病虫害类别，即需对每一数据组进行病虫害识别，以确定其对应的病虫害识别结果。

步骤120，基于病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性，对图像特征和环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果。

具体地，在步骤110中，得到待识别的病虫害数据，以及其对应的病虫害环境数据的基础上，可以执行步骤120，依据待识别的病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性，进行特征融合，并基于融合所得的病虫害特征进行病虫害识别，从而得到病虫害识别结果，这一过程具体包括如下步骤：

首先，可以对待识别的病虫害图像和病虫害环境数据分别进行特征提取，以提取病虫害图像和病虫害环境数据中各自蕴含的病虫害信息，从而得到病虫害图像的图像特征和病虫害环境数据的环境特征，此过程可以通过特征提取网络实现，具体可以是，将待识别的病虫害图像和病虫害环境数据分别输入至图像特征提取网络和环境特征提取网络，通过图像特征提取网络对输入的病虫害图像进行特征提取，通过环境特征提取网络对病虫害环境数据进行特征提取，然后由图像特征提取网络和环境特征提取网络分别输出待识别的病虫害图像的图像特征和病虫害环境数据的环境特征；

而在对待识别的病虫害图像和病虫害环境数据分别进行特征提取之前，还可以应用样本病虫害图像和样本病虫害环境数据预先训练得到特征提取网络；值得注意的是，此处的环境特征提取网络是在语言模型的基础上，应用样本病虫害环境数据进行训练得到的，而图像特征提取网络则是在残差网络和特征金字塔网络的基础上，应用样本病虫害图像进行训练得到的。

随即，考虑到图像特征与环境特征所表征的病虫害信息在信息层面、信息角度以及信息侧重点上的差异，本发明实施例中，可以对此两者进行融合，以使图像特征和环境特征能够互相补充，融合过程可以是以图像特征和环境特征之间的相关性为基准进行的，即可以依据图像特征和环境特征之间的相关性，对待识别的病虫害图像的图像特征和病虫害环境数据的环境特征进行融合，从而得到病虫害特征；

需要说明的是，基于两者之间的相关性进行融合实际上等同于基于注意力机制对此两者进行融合，此处，选用的注意力机制为类似于非局部块的结构，融合所得的病虫害特征，不仅蕴含了病虫害图像中病虫害相关区域的表观信息，还囊括了病虫害环境数据中能够作用于病虫害识别的环境信息；并且，以图像特征和环境特征之间的相关性为前提，进行特征融合，能够使融合所得的病虫害特征增添病虫害相关区域(行为动作、颜色纹理、形态大小等)的细微特征，此细微特征在相似病虫害的识别层面具有关键性的作用，即可以区分具有相似行为、颜色、纹理、形态、大小等的病虫害，能够为病虫害识别准确率和精确度的提升提供了强大的助力。

此后，即可基于此病虫害特征进行病虫害识别，从而得到病虫害识别结果，需要说明的是，据此病虫害特征进行的病虫害识别，恰好能够弥补传统方案中仅基于病虫害图像的图像特征进行病虫害识别时，忽略了环境因素，以致病虫害识别易受环境影响，以及对于具有相似行为、颜色、纹理、形态、大小等的病虫害易出现误判的缺陷，提升了病虫害识别的精度。

本发明提供的病虫害识别方法，借助病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性，对此两者进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果，以图像特征和环境特征之间的相关性为基准，进行特征融合，能够使得融合所得的病虫害特征在蕴含图像中的表观信息和环境中的环境信息的同时，增添病虫害相关区域的细微特征，基于此病虫害特征进行病虫害识别，能够克服传统方案中基于单一的图像特征进行病虫害识别时，忽略了环境因素，以致病虫害识别易受环境影响的缺陷，利用不同模态的数据所反映的不同层面和不同角度的病虫害信息，能够在极大程度上提升病虫害识别精确度和准确率。

基于上述实施例，图2是本发明提供的图像特征和环境特征融合过程的示意图，如图2所示，步骤120中，基于病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性，对图像特征和环境特征进行融合，包括：

步骤210，确定病虫害环境数据中各类数据的环境特征之间的相关性；

步骤220，基于病虫害环境数据中各类数据的环境特征之间的相关性，以及病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性，对图像特征和环境特征进行融合。

具体地，步骤120中，根据病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性，对图像特征和环境特征进行融合的过程，具体包括如下步骤：

步骤210，由于病虫害环境数据中包含多类数据，因此，可以确定病虫害环境数据中各类数据的环境特征之间的相关性，即可以采用自注意力机制，捕捉病虫害环境数据中各类数据之间的内部关联；

图3是本发明提供的病虫害环境数据中各类数据的环境特征之间的相关性的确定过程的框架图，如图3所示，首先可以对病虫害环境数据中各类数据的环境特征进行线性加权，即可以通过简单的线性函数，对病虫害环境数据中各类数据的环境特征进行线性处理，从而得到线性变换后的环境特征，然后，可以依次利用注意力函数和归一化指数函数(softmax)，对线性变换后的环境特征进行处理，在此之后，还可以进行矩阵乘法运算，最终可以得到病虫害环境数据中各类数据的环境特征之间的相关性。

需要说明的是，本发明实施例中通过自注意力机制，获取病虫害环境数据中各类数据的环境特征之间的相关性的过程，可以理解为，从各类数据的环境特征中筛选出少量且重要的环境特征的过程，换而言之，通过自注意力机制，可以增加有益于病虫害识别的病虫害相关区域的权重，削弱不相关区域的权重，从而使得后续的病虫害识别过程能够着重关注病虫害相关区域，并忽略不相关区域，进而为病虫害识别准确率的提升提供了助益。

步骤220，可以确定病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性，即可以利用注意力机制，捕获图像特征和环境特征之间的内部关联，以得到图像特征和环境特征之间的相关性，然后，可以在此基础上，结合通过步骤110得到的各类数据的环境特征之间的相关性，对图像特征和环境特征进行融合，即可以以病虫害环境数据中各类数据的环境特征之间的相关性，以及病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性为基准，对图像特征和环境特征进行融合。

值得注意的是，此处针对图像特征和环境特征的融合过程，所选用的融合方式可以是拼接、相加、加权融合等，本发明实施例对此不作具体限定。作为优选，本发明实施例中，将融合方式选定为加权融合，即可以以图像特征和环境特征的权重为参考，对此两者进行融合，从而得到病虫害特征，据此确定的病虫害特征不仅包含了表观信息和环境信息，还包含了病虫害相关区域的细微特征，具备较强的判别能力，能够使得基于此病虫害特征的病虫害识别过程的识别精确度和识别准确率获得较大程度的提升。

进一步地，针对上述两者进行特征融合的情况，图像特征和环境特征可以互相补充，前者可以弥补后者缺失的病虫害行为、颜色、纹理、大小等图像层面的表观信息，而后者则可以补充前者缺少的病虫害所处环境的环境信息，两者融合还增加了病虫害相关区域的细微特征，从而保证由此得到病虫害特征能够更加完整地反映病虫害的类别，进而使得基于此病虫害特征进行的病虫害识别过程，能够完全克服传统方案中因单一输入导致病虫害识别准确率低下，以及对于具有相似行为、颜色、纹理、形态、大小等的病虫害易出现误判的缺陷，为病虫害识别精确度和准确率的提升提供了关键性的助力。

基于上述实施例，线性函数可以表示为

y＝xw+b

其中，y为线性函数的输出，即经过线性变换后的环境特征，x为线性函数的输入，即病虫害环境数据中各类数据的环境特征，w和b为线性函数的参数。

自注意力机制中的注意力函数为：

A＝sotfmax(QK^T)

F_out＝AV

其中，Q、K和V分别为病虫害环境数据中各类数据的环境特征经过线性变换，将其映射到三个不同的空间得到的特征，K^T为K的转置，F_out为注意力函数的输出。

基于上述实施例，图4是本发明提供的病虫害识别方法中步骤220的流程示意图，如图4所示，步骤220包括：

步骤221，基于病虫害环境数据中各类数据的环境特征之间的相关性，确定病虫害环境数据中各类数据的环境特征的权重，并基于权重确定目标环境特征；

步骤222，基于病虫害图像的图像特征和目标环境特征之间的相关性，对图像特征和环境特征进行融合。

具体地，步骤220中，参照病虫害环境数据中各类数据的环境特征之间的相关性，以及病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性，对图像特征和环境特征进行融合的过程，具体可以包括如下步骤：

首先，执行步骤211，依据病虫害环境数据中各类数据的环境特征之间的相关性，确定病虫害环境数据中各类数据的环境特征的权重，即通过病虫害环境数据中各类数据的环境特征之间的自注意力，可以捕捉各类数据之间的内部关联，从而可以确定各类数据的环境特征的权重，权重越大表明越聚焦于其对应的环境特征上，其表征的病虫害信息的重要性也越高，反之，权重越小，则越忽略于其对应的环境特征，其表征的病虫害信息的重要性也越低；

而在得到各类数据的权重后，即可据此权重直接确定各类数据的环境特征在后续的病虫害识别过程中所起的作用，即可以确定各类数据的环境特征的重要性，据此重要性可以确定目标环境特征，即作用程度从大到小、重要性从高到低的预设数量个环境特征；

随即，执行步骤222，确定病虫害图像的图像特征和目标环境特征之间的相关性，即可以利用注意力机制，捕获图像特征和目标环境特征之间的内部关联，以得到图像特征和目标环境特征之间的相关性，并可以以此相关性为基准，对病虫害图像的图像特征和病虫害环境数据的环境特征进行融合，从而得到病虫害特征。

图5是本发明提供的图像特征和目标环境特征之间的相关性的确定过程的框架图，如图5所示，首先可以对图像特征和目标环境特征进行线性加权，即可以通过简单的线性函数，对图像特征和目标环境特征进行线性处理，从而得到线性变换后的特征，再利用注意力函数和归一化指数函数(softmax)，对线性变换后的特征进行处理，此后，还可以进行矩阵乘法运算，最终可以得到图像特征和目标环境特征之间的相关性。

需要说明的是，此处的注意力函数可以是点积形式、双线性形式、加形式、缩放点积形式中的任意一种，本发明实施例对此不做具体限定，其中，点积形式的注意力函数可以表示为S＝Q·K^T，双线性形式的注意力函数可以表示为S＝WQ·K^T，加形式的注意力函数则可以表示为S＝WQ+K，缩放点积形式的注意力函数为

其中，Q和K为注意力函数的输入，即图像特征和目标环境特征经过线性变换后的特征，K^T为K的转置，S为注意力函数的输出，W为可学习的参数，d为输入的图像特征和目标环境特征的维度。

而作为优选，本发明实施例中选定的注意力函数为点积形式的注意力函数，即可以将图像特征与目标环境特征进行点积，从而得到初始权重，在这之后，还需通过归一化指数函数(softmax)对初始权重进行归一化处理，以得到图像特征和目标环境特征各自的权重，最后进行矩阵乘法运算，即可得到此两者之间的相关性。

本发明实施例中，通过病虫害环境数据中各类数据的环境特征的权重，确定出目标环境特征，并依据目标环境特征与图像特征之间的相关性，进行特征融合，在保证融合所得的病虫害特征蕴含信息的丰富度的同时，实现了特征融合过程的精简化。

基于上述实施例，步骤120包括：

基于病虫害识别模型，对病虫害图像和病虫害环境数据分别进行特征提取，得到病虫害图像的图像特征，以及病虫害环境数据的环境特征，基于图像特征和环境特征之间的相关性，对图像特征和环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果；

病虫害识别模型基于标准病虫害特征与样本病虫害特征之间的特征相似度训练得到，标准病虫害特征基于标准病虫害图像和标准病虫害环境数据确定，样本病虫害特征基于样本病虫害图像和样本病虫害环境数据确定。

具体地，步骤120中，根据病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性，对图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果的过程，可以借助病虫害识别模型完成，具体过程包括如下步骤：

首先，可以通过病虫害识别模型，对病虫害图像和病虫害环境数据分别进行特征提取，从而得到病虫害图像的图像特征，以及病虫害环境数据的环境特征，此过程可以通过病虫害识别模型中的图像特征提取网络和环境特征提取网络实现，具体可以是，将待识别的病虫害图像和病虫害环境数据分别输入病虫害识别模型中的图像特征提取网络和环境特征提取网络，通过图像特征提取网络对输入的病虫害图像进行特征提取，通过环境特征提取网络对病虫害环境数据进行特征提取，然后由图像特征提取网络和环境特征提取网络分别输出病虫害图像的图像特征和病虫害环境数据的环境特征；

随即，考虑到图像特征和环境特征所表征的病虫害信息的差异，本发明实施例中，可以对此两者进行融合，以使图像特征和环境特征能够互相补充，融合过程可以是以图像特征和环境特征之间的相关性为基准，通过病虫害识别模型执行的，即可以依据图像特征和环境特征之间的相关性，对图像特征和环境特征进行融合，得到病虫害特征；

随后，即可以融合所得的病虫害特征为基准，通过病虫害识别模型进行病虫害识别，从而得到病虫害识别结果。需要说明的是，据此病虫害特征进行的病虫害识别，恰好能够弥补传统方案中仅基于病虫害图像的图像特征进行病虫害识别时，忽略了环境因素，以致病虫害识别易受环境影响，以及对于具有相似行为、颜色、纹理、形态、大小等的病虫害易出现误判的缺陷，提升了病虫害识别的精度。

而在将病虫害图像和病虫害环境数据分别输入病虫害识别模型之前，还可以应用标准病虫害图像和标准病虫害环境数据，以及样本病虫害图像和样本病虫害环境数据预先训练得到病虫害识别模型，病虫害识别模型的训练过程具体包括：首先，收集大量的样本病虫害图像和样本病虫害环境数据，以构成样本数据组，同时，收集标准病虫害图像和标准病虫害环境数据，以构成标准数据组；随即，可以确定样本数据组的样本病虫害特征和标准数据组的标准病虫害特征，并可基于样本病虫害特征与标准病虫害特征之间的特征相似度，对初始病虫害识别模型进行训练得到，从而得到训练完成的病虫害识别模型。

本发明实施例中，应用特征相似度进行模型训练，能够使得模型充分学习到样本数据组的样本病虫害特征与标准数据组的标准病虫害特征之间的远近关系，从而为病虫害识别精确度和准确率的提升提供了助力。

基于上述实施例，图6是本发明提供的病虫害识别模型的训练过程的示意图，如图6所示，病虫害识别模型基于如下步骤训练：

步骤610，基于初始病虫害识别模型、样本病虫害图像和样本病虫害环境数据，以及标准病虫害图像和标准病虫害环境数据，确定标准病虫害特征和样本病虫害特征；

步骤620，从样本病虫害图像和样本病虫害环境数据中，选取样本病虫害识别结果与标准病虫害识别结果相同的样本病虫害图像和样本病虫害环境数据，作为正样本；

步骤630，从样本病虫害图像和样本病虫害环境数据中，选取样本病虫害识别结果与标准病虫害识别结果不同的样本病虫害图像和样本病虫害环境数据，作为负样本；

步骤640，基于标准病虫害特征与正样本的样本病虫害特征之间的特征相似度，以及标准病虫害特征与负样本的样本病虫害特征之间的特征相似度，对初始病虫害识别模型进行参数迭代，得到病虫害识别模型。

具体地，病虫害识别模型的训练过程，具体可以包括如下步骤：

首先，执行步骤610，需要确定初始病虫害识别模型，以及样本数据组和标准数据组，此处的样本数据组中包含样本病虫害图像和样本病虫害环境数据，标准数据组中包含标准病虫害图像和标准病虫害环境数据，然后，可通过初始病虫害识别模型，对样本病虫害图像、样本病虫害环境数据、标准病虫害图像以及标准病虫害环境数据分别进行特征提取，从而得到样本图像特征、样本环境特征、标准图像特征和标准环境特征，而后，即可依据样本图像特征和样本环境特征之间的相关性，通过初始病虫害识别模型对样本图像特征和样本环境特征进行融合，得到样本病虫害特征，同理，可以以标准图像特征和标准环境特征之间的相关性为基准，利用初始病虫害识别模型对标准图像特征和标准环境特征进行融合，从而得到标准病虫害特征；

随即，执行步骤620和630，确定各个样本数据组的样本病虫害识别结果，以及标准数据组的标准病虫害识别结果，此处的样本病虫害识别结果和标准病虫害识别结果可以理解为样本数据组和标准数据组的类别标签；然后，可以依据样本病虫害识别结果和标准病虫害识别结果，从各个样本数据组中选取数据，以组建正样本和负样本，即可以从各个样本数据组中，选取样本病虫害识别结果与标准病虫害识别结果相同的样本数据组，作为正样本；对应地，选取样本病虫害识别结果与标准病虫害识别结果不同的样本数据组，作为负样本；

此后，即可执行步骤640，分别确定标准病虫害特征与正样本的样本病虫害特征之间的特征相似度，以及标准病虫害特征与负样本的样本病虫害特征之间的特征相似度，即计算标准数据组的标准病虫害特征与正样本中各样本数据组的样本病虫害特征之间的特征相似度，以及与负样本中各样本数据组的样本病虫害特征之间的特征相似度，并应用此两个相似度，对初始病虫害识别模型进行参数迭代，从而得到病虫害识别模型，这一过程实质上是对初始病虫话识别模型的参数进行调整，以使其在调整过程中能够充分学习到样本数据组和样本病虫害特征之间的映射关系，从而可以在应用过程中凭借此映射关系，输出与病虫害图像和病虫害环境数据对应的病虫害特征。

值得注意的是，此处的特征相似度可以表示为余弦相似度、欧式距离、闵氏距离等；而作为优选，本发明实施例中特征相似度可以是通过余弦相似度度量的特征之间的语义相似度。

需要说明的是，以初始特征提取模型输出的标准病虫害特征与正样本的样本病虫害特征之间的语义相似度，以及与负样本的样本病虫害特征之间的语义相似度为训练目标，对初始病虫害识别模型进行训练的过程，实质上旨在通过训练使得初始病虫害识别模型输出的标准病虫害特征与正样本的样本病虫害特征之间的语义相似度尽可能的高，无限趋近于百分之百，输出的标准病虫害特征与负样本的样本病虫害特征之间的语义相似度尽可能的低，无限趋近于零。

基于上述实施例，初始特征提取模型的训练过程的损失函数可以表示为：

L＝e(x,y^{^+},y^{^-},ω)＝max(0,1-cos(x,y^{^+})+cos(x,y^{^-}))

其中，L为损失函数，x,y^{^+},y^{^-},ω分别为标准数据组、正样本、负样本、模型参数，cos(x,y^{^+})和cos(x,y^{^-})分别表示标准数据组的标准病虫害特征与正样本的样本病虫害特征之间的特征相似度，标准病虫害特征与负样本的样本病虫害特征之间的特征相似度。

基于上述实施例，步骤120中，基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果，之后还包括：

基于重排序规则，对病虫害识别结果进行重排序；

重排序规则基于病虫害图像和病虫害环境数据对应作物的生长规律、种植区域、地理气候中的至少一种确定。

具体地，在经过步骤120，得到病虫害识别结果之后，还可以对病虫害识别结果进行重排序，具体过程可以是，由于在进行病虫害识别时，病虫害识别模型会根据病虫害特征与已有病虫害特征之间的特征相似度，以及预设相似度阈值，确定病虫害识别结果，即确定大于预设相似度阈值的特征相似度，并按照此部分特征相似度从高到低的顺序，从其对应的病虫害类别中选取前预设数量个病虫害类别，将其作为最终输出的病虫害识别结果，又考虑到病虫害与作物的生长规律、种植区域、地理气候等相关，因而，本发明实施例中可以据此生长规律、种植区域、地理气候中的至少一种，确定重排序规则，以据此重排序规则对病虫害识别结果进行重排序。

例如，玉米螟仅在幼苗期危害根部，成虫没有危害，因而，在病虫害识别结果中包括玉米螟，且玉米的生长阶段非幼苗期的情况下，可以筛除病虫害识别结果中的玉米螟排在最末，或直接筛除。

此处，预设数量可以根据实际情况相应设定，例如，可以是3、4、5等，作为优选，本发明实施例中将预设数量确定为3，即将大于预设相似度阈值的特征相似度中，选取特征相似度最高的前3个特征相似度对应的病虫害类别，作为病虫害识别结果，预设相似度阈值同样可以根据实际情况相应设定，例如，可以是80％、85％、90％等。

基于上述实施例，步骤120中，基于病虫害识别模型，对病虫害图像和病虫害环境数据分别进行特征提取，得到病虫害图像的图像特征，以及病虫害环境数据的环境特征，包括：

基于病虫害识别模型中的图像特征提取网络，对病虫害图像进行特征提取，得到病虫害图像的图像特征；

基于病虫害识别模型中的环境特征提取网络，对病虫害环境数据进行特征提取，得到病虫害环境数据的环境特征；

图像特征提取网络是在残差网络和特征金字塔网络的基础上，应用样本病虫害图像训练得到的，环境特征提取网络是在语言模型的基础上，应用样本病虫害环境数据训练得到的。

具体地，上述过程中，通过病虫害识别模型，对病虫害图像和病虫害环境数据分别进行特征提取，得到病虫害图像的图像特征，以及病虫害环境数据的环境特征的过程，具体可以包括如下步骤：

首先，可以利用病虫害识别模型中的图像特征提取网络，对病虫害图像进行特征提取，从而得到病虫害图像的图像特征，即可以将病虫害图像输入至病虫害识别模型中的图像特征提取网络，以通过图像特征提取网络提取输入的病虫害图像中蕴含的病虫害信息，从而得到图像特征提取网络输出的病虫害图像的图像特征；

与此同时，可以借助病虫害识别模型中的环境特征提取网络，对病虫害环境数据进行特征提取，从而得到病虫害环境数据的环境特征，具体可以是，可以将病虫害环境数据输入至病虫害识别模型中的环境特征提取网络，以通过环境特征提取网络提取输入的病虫害环境数据中蕴含的病虫害信息，最终得到环境特征提取网络输出的病虫害环境数据的环境特征。

而在将病虫害图像和病虫害环境数据输入至对应的特征提取网络之前，还可以应用样本病虫害图像和样本病虫害环境数据预先训练得到特征提取网络；值得注意的是，此处的环境特征提取网络是在语言模型(Bidirectional Encoder Representation fromTransformers，BERT)的基础上，应用样本病虫害环境数据进行训练得到的，而图像特征提取网络则是在残差网络(ResNeXt)和特征金字塔网络(Feature Pyramid Networks，FPN)的基础上，应用样本病虫害图像进行训练得到的。

本发明实施例中，利用基于ResNeXt-FPN架构的图像特征提取网络，对病虫害图像进行特征提取，可以解决传统特征提取模型无法针对多尺寸图像进行特征提取的问题，并且ResNeXt在通过通道分组减小计算量的同时，还能保证特征提取的精度。

基于上述实施例，图7是本发明提供的病虫害识别方法的总体框架图，如图7所示，该方法包括：

首先，可以确定待识别的病虫害图像，以及病虫害图像对应的病虫害环境数据，病虫害环境数据包括种植制度数据、种植区域数据、地理气候数据、土壤类型数据、土壤质地数据中的至少一种；

随即，可以基于病虫害识别模型，对病虫害图像和病虫害环境数据分别进行特征提取，得到病虫害图像的图像特征，以及病虫害环境数据的环境特征，基于图像特征和环境特征之间的相关性，对图像特征和环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，从而得到病虫害识别结果；

其中，病虫害识别模型基于标准病虫害特征与样本病虫害特征之间的特征相似度训练得到，标准病虫害特征基于标准病虫害图像和标准病虫害环境数据确定，样本病虫害特征基于样本病虫害图像和样本病虫害环境数据确定。

进一步地，基于病虫害识别模型，对病虫害图像和病虫害环境数据分别进行特征提取，得到病虫害图像的图像特征，以及病虫害环境数据的环境特征的过程，具体可以是，基于病虫害识别模型中的图像特征提取网络，对病虫害图像进行特征提取，得到病虫害图像的图像特征；基于病虫害识别模型中的环境特征提取网络，对病虫害环境数据进行特征提取，得到病虫害环境数据的环境特征；其中，图像特征提取网络是在残差网络和特征金字塔网络的基础上，应用样本病虫害图像训练得到的，环境特征提取网络是在语言模型的基础上，应用所述样本病虫害环境数据训练得到的。

进一步地，基于图像特征和环境特征之间的相关性，对图像特征和环境特征进行融合的过程，具体可以是，确定病虫害环境数据中各类数据的环境特征之间的相关性，并基于病虫害环境数据中各类数据的环境特征之间的相关性，确定病虫害环境数据中各类数据的环境特征的权重，并基于权重确定目标环境特征；基于病虫害图像的图像特征和目标环境特征之间的相关性，对图像特征和环境特征进行融合。

病虫害识别模型的训练过程，具体可以包括：首先，基于初始病虫害识别模型、样本病虫害图像和样本病虫害环境数据，以及标准病虫害图像和标准病虫害环境数据，确定标准病虫害特征和样本病虫害特征；随即，从样本病虫害图像和样本病虫害环境数据中，选取样本病虫害识别结果与标准病虫害识别结果相同的样本病虫害图像和样本病虫害环境数据，作为正样本；从样本病虫害图像和样本病虫害环境数据中，选取样本病虫害识别结果与标准病虫害识别结果不同的样本病虫害图像和样本病虫害环境数据，作为负样本；此后，基于标准病虫害特征与正样本的样本病虫害特征之间的特征相似度，以及标准病虫害特征与负样本的样本病虫害特征之间的特征相似度，对初始病虫害识别模型进行参数迭代，得到病虫害识别模型。

此后，可以基于重排序规则，对病虫害识别结果进行重排序；此处的重排序规则基于病虫害图像和病虫害环境数据对应作物的生长规律、种植区域、地理气候中的至少一种确定。

本发明实施例提供的方法，借助病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性，对此两者进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果，以图像特征和环境特征之间的相关性为基准，进行特征融合，能够使得融合所得的病虫害特征在蕴含图像中的表观信息和环境中的环境信息的同时，增添病虫害相关区域的细微特征，基于此病虫害特征进行病虫害识别，能够克服传统方案中基于单一的图像特征进行病虫害识别时，忽略了环境因素，以致病虫害识别易受环境影响的缺陷，利用不同模态的数据所反映的不同层面和不同角度的病虫害信息，能够在极大程度上提升病虫害识别精确度和准确率。

下面对本发明提供的病虫害识别装置进行描述，下文描述的病虫害识别装置与上文描述的病虫害识别方法可相互对应参照。

图8是本发明提供的病虫害识别装置的结构示意图，如图8所示，该装置包括：

确定单元810，用于确定待识别的病虫害图像，以及所述病虫害图像对应的病虫害环境数据，所述病虫害环境数据包括种植制度数据、种植区域数据、地理气候数据、土壤类型数据、土壤质地数据中的至少一种；

识别单元820，用于基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果。

本发明提供的病虫害识别装置，借助病虫害图像的图像特征和病虫害环境数据的环境特征之间的相关性，对此两者进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果，以图像特征和环境特征之间的相关性为基准，进行特征融合，能够使得融合所得的病虫害特征在蕴含图像中的表观信息和环境中的环境信息的同时，增添病虫害相关区域的细微特征，基于此病虫害特征进行病虫害识别，能够克服传统方案中基于单一的图像特征进行病虫害识别时，忽略了环境因素，以致病虫害识别易受环境影响的缺陷，利用不同模态的数据所反映的不同层面和不同角度的病虫害信息，能够在极大程度上提升病虫害识别精确度和准确率。

基于上述实施例，识别单元820用于：

确定所述病虫害环境数据中各类数据的环境特征之间的相关性；

基于所述病虫害环境数据中各类数据的环境特征之间的相关性，以及所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合。

基于上述实施例，识别单元820用于：

基于所述病虫害环境数据中各类数据的环境特征之间的相关性，确定所述病虫害环境数据中各类数据的环境特征的权重，并基于所述权重确定目标环境特征；

基于所述病虫害图像的图像特征和所述目标环境特征之间的相关性，对所述图像特征和所述环境特征进行融合。

基于上述实施例，识别单元820用于：

基于病虫害识别模型，对所述病虫害图像和所述病虫害环境数据分别进行特征提取，得到所述病虫害图像的图像特征，以及所述病虫害环境数据的环境特征，基于所述图像特征和所述环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果；

所述病虫害识别模型基于标准病虫害特征与样本病虫害特征之间的特征相似度训练得到，所述标准病虫害特征基于标准病虫害图像和标准病虫害环境数据确定，所述样本病虫害特征基于样本病虫害图像和样本病虫害环境数据确定。

基于上述实施例，所述装置还包括模型训练单元，用于：

基于初始病虫害识别模型、所述样本病虫害图像和所述样本病虫害环境数据，以及所述标准病虫害图像和所述标准病虫害环境数据，确定所述标准病虫害特征和所述样本病虫害特征；

从所述样本病虫害图像和所述样本病虫害环境数据中，选取样本病虫害识别结果与标准病虫害识别结果相同的样本病虫害图像和样本病虫害环境数据，作为正样本；

从所述样本病虫害图像和所述样本病虫害环境数据中，选取所述样本病虫害识别结果与所述标准病虫害识别结果不同的样本病虫害图像和样本病虫害环境数据，作为负样本；

基于所述标准病虫害特征与所述正样本的样本病虫害特征之间的特征相似度，以及所述标准病虫害特征与所述负样本的样本病虫害特征之间的特征相似度，对所述初始病虫害识别模型进行参数迭代，得到病虫害识别模型。

基于上述实施例，所述装置还包括重排序单元，用于：

基于重排序规则，对所述病虫害识别结果进行重排序；

所述重排序规则基于所述病虫害图像和所述病虫害环境数据对应作物的生长规律、种植区域、地理气候中的至少一种确定。

基于上述实施例，识别单元820用于：

基于病虫害识别模型中的图像特征提取网络，对所述病虫害图像进行特征提取，得到所述病虫害图像的图像特征；

基于所述病虫害识别模型中的环境特征提取网络，对所述病虫害环境数据进行特征提取，得到所述病虫害环境数据的环境特征；

所述图像特征提取网络是在残差网络和特征金字塔网络的基础上，应用所述样本病虫害图像训练得到的，所述环境特征提取网络是在语言模型的基础上，应用所述样本病虫害环境数据训练得到的。

图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行病虫害识别方法，该方法包括：确定待识别的病虫害图像，以及所述病虫害图像对应的病虫害环境数据，所述病虫害环境数据包括种植制度数据、种植区域数据、地理气候数据、土壤类型数据、土壤质地数据中的至少一种；基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果。

此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的病虫害识别方法，该方法包括：确定待识别的病虫害图像，以及所述病虫害图像对应的病虫害环境数据，所述病虫害环境数据包括种植制度数据、种植区域数据、地理气候数据、土壤类型数据、土壤质地数据中的至少一种；基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法所提供的病虫害识别方法，该方法包括：确定待识别的病虫害图像，以及所述病虫害图像对应的病虫害环境数据，所述病虫害环境数据包括种植制度数据、种植区域数据、地理气候数据、土壤类型数据、土壤质地数据中的至少一种；基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种病虫害识别方法，其特征在于，包括：

确定待识别的病虫害图像，以及所述病虫害图像对应的病虫害环境数据，所述病虫害环境数据包括种植制度数据、种植区域数据、地理气候数据、土壤类型数据、土壤质地数据中的至少一种；

基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果。

2.根据权利要求1所述的病虫害识别方法，其特征在于，所述基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，包括：

确定所述病虫害环境数据中各类数据的环境特征之间的相关性；

基于所述病虫害环境数据中各类数据的环境特征之间的相关性，以及所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合。

3.根据权利要求2所述的病虫害识别方法，其特征在于，所述基于所述病虫害环境数据中各类数据的环境特征之间的相关性，以及所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，包括：

基于所述病虫害环境数据中各类数据的环境特征之间的相关性，确定所述病虫害环境数据中各类数据的环境特征的权重，并基于所述权重确定目标环境特征；

基于所述病虫害图像的图像特征和所述目标环境特征之间的相关性，对所述图像特征和所述环境特征进行融合。

4.根据权利要求1至3中任一项所述的病虫害识别方法，其特征在于，所述基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果，包括：

基于病虫害识别模型，对所述病虫害图像和所述病虫害环境数据分别进行特征提取，得到所述病虫害图像的图像特征，以及所述病虫害环境数据的环境特征，基于所述图像特征和所述环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果；

所述病虫害识别模型基于标准病虫害特征与样本病虫害特征之间的特征相似度训练得到，所述标准病虫害特征基于标准病虫害图像和标准病虫害环境数据确定，所述样本病虫害特征基于样本病虫害图像和样本病虫害环境数据确定。

5.根据权利要求4所述的病虫害识别方法，其特征在于，所述病虫害识别模型基于如下步骤训练：

基于初始病虫害识别模型、所述样本病虫害图像和所述样本病虫害环境数据，以及所述标准病虫害图像和所述标准病虫害环境数据，确定所述标准病虫害特征和所述样本病虫害特征；

从所述样本病虫害图像和所述样本病虫害环境数据中，选取样本病虫害识别结果与标准病虫害识别结果相同的样本病虫害图像和样本病虫害环境数据，作为正样本；

从所述样本病虫害图像和所述样本病虫害环境数据中，选取所述样本病虫害识别结果与所述标准病虫害识别结果不同的样本病虫害图像和样本病虫害环境数据，作为负样本；

基于所述标准病虫害特征与所述正样本的样本病虫害特征之间的特征相似度，以及所述标准病虫害特征与所述负样本的样本病虫害特征之间的特征相似度，对所述初始病虫害识别模型进行参数迭代，得到病虫害识别模型。

6.根据权利要求1至3中任一项所述的病虫害识别方法，其特征在于，所述基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果，之后还包括：

基于重排序规则，对所述病虫害识别结果进行重排序；

所述重排序规则基于所述病虫害图像和所述病虫害环境数据对应作物的生长规律、种植区域、地理气候中的至少一种确定。

7.根据权利要求4所述的病虫害识别方法，其特征在于，所述基于病虫害识别模型，对所述病虫害图像和所述病虫害环境数据分别进行特征提取，得到所述病虫害图像的图像特征，以及所述病虫害环境数据的环境特征，包括：

基于病虫害识别模型中的图像特征提取网络，对所述病虫害图像进行特征提取，得到所述病虫害图像的图像特征；

基于所述病虫害识别模型中的环境特征提取网络，对所述病虫害环境数据进行特征提取，得到所述病虫害环境数据的环境特征；

所述图像特征提取网络是在残差网络和特征金字塔网络的基础上，应用所述样本病虫害图像训练得到的，所述环境特征提取网络是在语言模型的基础上，应用所述样本病虫害环境数据训练得到的。

8.一种病虫害识别装置，其特征在于，包括：

确定单元，用于确定待识别的病虫害图像，以及所述病虫害图像对应的病虫害环境数据，所述病虫害环境数据包括种植制度数据、种植区域数据、地理气候数据、土壤类型数据、土壤质地数据中的至少一种；

识别单元，用于基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性，对所述图像特征和所述环境特征进行融合，并基于融合所得的病虫害特征进行病虫害识别，得到病虫害识别结果。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的病虫害识别方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的病虫害识别方法。

Images