CN115937689B - 一种农业害虫智能识别与监测技术 - Google Patents

Abstract

本发明涉及人工智能技术领域，且公开了一种农业害虫智能识别与监测技术，通过利用公开知识图谱和私有数据构建多模态农业病虫害知识图谱，收集多类别害虫图片作为训练数据，并对数据进行预处理，利用训练数据训练一个卷积视觉模型和一个视觉注意力模型，然后将训练完成的模型保存，冻结模型后，使用融合模块融合两个模型，利用多模态知识图谱推理出输入害虫图片的相关粗粒度的属性特征，利用编码器对推理的属性特征进行编码。该农业害虫智能识别与监测技术，可以利用粗粒度多模态知识图谱辅助混合视觉模型对害虫进行识别和监测，提高了对害虫种类的识别准确度。

Description

一种农业害虫智能识别与监测技术

技术领域

本发明涉及人工智能技术领域，具体为一种农业害虫智能识别与监测技术。

背景技术

虫害是水稻、小麦、玉米、大豆、甘蔗、鹰嘴豆、土豆等农作物重大损失的重要原因之一，据有关数据显示，全球每年多达40%的农作物产量因虫害而损失，而入侵昆虫造成的损失至少为700亿美元，所以病虫害防治是一项重要的实用的研究工作,虫害的防治需要具有针对性，在早期对虫害种类的鉴定至关重要，以便采取必要的防治措施，将害虫的损失控制在较低的水平,然而，世界上的害虫种类数量庞大，由于害虫种类之间的相似性以及农民对害虫知识的缺乏，准确识别各类害虫，提前做好病虫害的防治工作，能够有效的降低农作物减产的这一问题，目前，常用的识别害虫的技术主要通过传统的视觉识别方法，该技术采用单一的特征采集器、卷积模型或者视觉注意力模型，用于识别害虫的种类。

然而，现有技术中常用的两种模型的采集偏向不同，各有特点，且害虫自身存在着变态发育、季节变色、自然条件下的遮挡等问题，导致传统视觉模型无法准确识别害虫种类。

发明内容

（一）解决的技术问题

针对现有技术的不足，本发明提供了一种农业害虫智能识别与监测技术，具备利用粗粒度多模态知识图谱辅助混合视觉模型对害虫进行识别和监测，提高了对害虫种类的识别准确度等优点，解决了现有技术中常用的两种模型的采集偏向不同，各有特点，且害虫自身存在着变态发育、季节变色、自然条件下的遮挡等问题，导致传统视觉模型无法准确识别害虫种类的问题。

（二）技术方案

为实现上述的目的，本发明提供如下技术方案：一种农业害虫智能识别与监测技术，利用粗粒度多模态知识图谱辅助混合视觉模型对害虫进行识别和监测，包括以下步骤：

S1、利用公开知识图谱和私有数据构建多模态农业病虫害知识图谱；

S2、收集多类别害虫图片作为训练数据，并对数据进行预处理；

S3、利用训练数据训练一个卷积视觉模型和一个视觉注意力模型，然后将训练完成的模型保存，冻结模型后，使用融合模块融合两个模型；

S4、利用多模态知识图谱推理出输入害虫图片的相关粗粒度的属性特征，利用编码器对推理的属性特征进行编码；

S5、利用融合模块对知识图谱输出特征编码和视觉模型的特征输出融合后利用unet模型进行虫害识别；

优选的，步骤S3中利用融合模块将swin transformer和convnext两种不同采集特点的视觉模型对最后一层特征进行输出特征的融合，组成一种视觉模型架构。

优选的，步骤S3中利用多层神经网络的强表示能力，设计多层残差神经网络融合模块来融合两种方法提取的特征。

优选的，步骤S3中融合模块有7个线性层，由两个降采样层组成，维数减半，两个特征合并模块和一个分类层组成，每个特征合并模块由两个线性层组成，维数不变，融合模块使用GELU作为激活函数，为了防止过拟合，提高收敛速度，我们在每个特征合并模块中添加了残差连接和drop out层。

优选的，步骤S3中训练卷积视觉模型和视觉注意力模型的过程包括以下步骤：

（1）、对输入数据采取预处理，并对输入数据采用图片融合数据增强策略，同时保留原始数据的分布，公式为：

其中xn为图片n,a为混合比例（在0到1之间），为新生成图片；

（2）、分别使用训练好的swin transformer和convnext；将这两种方法的输出向量拼接起来，并将结果输入到融合模块中；

（3）、在融合模块中拼接向量将进行两次融合，每次融合将经历一次下采样和两个输入输出相同的线形层,公式为：

为单个线形层公式，/>为单次融合的公式；

以及输入dropout层，以增强模型鲁棒性公式为：

最后输入一个GELU层，增加模型的非线性因素，公式为：

每次融合间加入残差设计，防止模型的过拟合公式为：

融合模块一大优势在于可解耦并且可以融合更多的特征来源提升准确率，多特征融合能力的公式表示：

其中，为多个主干网络的输出向量；

（4）、对于训练的正则化策略，采用EMA和标签平滑，使用Adam作为优化器。

优选的，步骤S4中利用多模态知识图谱将图片输入后进行推理，通过图谱推理出粗粒度属性，随后利用编码器将属性转化为向量。

优选的，融合图谱编码后，属性和视觉模型输出特征通过融合模块进行特征融合，最后利用unet对融合特征做解码完成检测。

（三）有益效果

与现有技术相比，本发明提供了一种农业害虫智能识别与监测技术，具备以下有益效果：

1、本发明通过的检测技术，通过将拍摄图片输入视觉模型和多模态知识图谱，获得视觉模型的特征输出和知识图谱的属性输出，且利用融合模块将swin transformer和convnext两种不同采集特点的视觉模型对最后一层特征进行输出特征的融合，组成一种视觉模型架构，通过多层神经网络的强表示能力，设计多层残差神经网络融合模块来融合两种方法提取的特征，之后利用编码器对知识图谱的属性输出进行向量化编码，将向量化的属性和视觉模型输出拼接后经过融合模块的融合后输入unet解码器，通过unet解码器检测出图像中的害虫，以此实现准确识别昆虫图片的目的。

附图说明

图1为本发明提出的一种农业害虫智能识别与监测技术的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

参照附图1,一种农业害虫智能识别与监测技术，利用粗粒度多模态知识图谱辅助混合视觉模型对害虫进行识别和监测，包括以下步骤：

S1利用公开知识图谱和私有数据构建多模态农业病虫害知识图谱；

S2收集多类别害虫图片作为训练数据，并对数据进行预处理；

S3利用训练数据训练一个卷积视觉模型和一个视觉注意力模型，然后将训练完成的模型保存，冻结模型后，使用融合模块融合两个模型，利用融合模块将swin transformer和convnext两种不同采集特点的视觉模型对最后一层特征进行输出特征的融合，组成一种视觉模型架构；

训练卷积视觉模型和视觉注意力模型的过程包括以下步骤：

（1）、对输入数据采取预处理，并对输入数据采用图片融合数据增强策略，同时保留原始数据的分布，公式为：

其中xn为图片n,a为混合比例（在0到1之间），为新生成图片；

（2）、分别使用训练好的swin transformer和convnext；将这两种方法的输出向量拼接起来，并将结果输入到融合模块中；

（3）、在融合模块中拼接向量将进行两次融合，每次融合将经历一次下采样和两个输入输出相同的线形层,公式为：

为单个线形层公式，/>为单次融合的公式；

以及输入dropout层，以增强模型鲁棒性公式为：

最后输入一个GELU层，增加模型的非线性因素，公式为：

每次融合间加入残差设计，防止模型的过拟合公式为：

融合模块一大优势在于可解耦并且可以融合更多的特征来源提升准确率，多特征融合能力的公式表示：

其中，为多个主干网络的输出向量；

（4）、对于训练的正则化策略，采用EMA和标签平滑，使用Adam作为优化器。

通过多层神经网络的强表示能力，设计多层残差神经网络融合模块来融合两种方法提取的特征，融合模块有7个线性层，由两个降采样层组成，维数减半，两个特征合并模块和一个分类层组成，每个特征合并模块由两个线性层组成，维数不变，融合模块使用GELU作为激活函数，为了防止过拟合，提高收敛速度，需要在每个特征合并模块中添加残差连接和drop out层；

S4利用多模态知识图谱推理出输入害虫图片的相关粗粒度的属性特征，利用编码器对推理的属性特征进行编码，利用多模态知识图谱将图片输入后进行推理，通过图谱推理出粗粒度属性，随后利用编码器将属性转化为向量；

S5利用融合模块对知识图谱输出特征编码和视觉模型的特征输出融合后利用unet模型进行虫害识别，融合图谱编码后，属性和视觉模型输出特征通过融合模块进行特征融合，最后利用unet对融合特征做解码完成检测。

使用时，将拍摄图片输入视觉模型和多模态知识图谱，获得视觉模型的特征输出和知识图谱的属性输出，且利用融合模块将swin transformer和convnext两种不同采集特点的视觉模型对最后一层特征进行输出特征的融合，组成一种视觉模型架构，通过多层神经网络的强表示能力，设计多层残差神经网络融合模块来融合两种方法提取的特征，之后利用编码器对知识图谱的属性输出进行向量化编码，将向量化的属性和视觉模型输出拼接后经过融合模块的融合后输入unet解码器，通过unet解码器检测出图像中的害虫，以此实现准确识别昆虫图片的目的。

需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种农业害虫智能识别与监测技术，其特征在于：包括以下步骤：

S1、利用公开知识图谱和私有数据构建多模态农业病虫害知识图谱；

S2、收集多类别害虫图片作为训练数据，并对数据进行预处理；

S3、利用训练数据训练一个卷积视觉模型和一个视觉注意力模型，然后将训练完成的模型保存，冻结模型后，使用融合模块融合两个模型；

利用融合模块将swintransformer和convnext两种不同采集特点的视觉模型对最后一层特征进行输出特征的融合，组成一种视觉模型架构；

训练卷积视觉模型和视觉注意力模型的过程包括以下步骤：

（1）、对输入数据采取预处理，并对输入数据采用图片融合数据增强策略，同时保留原始数据的分布，公式为：

其中，/>，...，/>为图片,/>，/>，...，/>为混合比例，/>，/>，...，/>的值在0到1之间/>为新生成图片；

（2）、分别使用训练好的swin transformer和convnext；将这两种方法的输出向量拼接起来，并将结果输入到融合模块中；

（3）、在融合模块中拼接向量将进行两次融合，每次融合将经历一次下采样和两个输入输出相同的线形层,公式为：

为单个线形层公式，/>为单次融合的公式；

以及输入dropout层，增强模型鲁棒性公式为：

为dropout层的输出；

最后输入一个GELU层，增加模型的非线性因素，公式为：

每次融合间加入残差设计，防止模型的过拟合公式为：

融合模块一大优势在于可解耦并且可以融合更多的特征来源提升准确率，多特征融合能力的公式表示：

其中为多个主干网络的输出向量；

（4）、对于训练的正则化策略，采用EMA和标签平滑，使用Adam作为优化器；

S4、利用多模态知识图谱推理出输入害虫图片的相关粗粒度的属性特征，利用编码器对推理的属性特征进行编码；

S5、利用融合模块对知识图谱输出特征编码和视觉模型的特征输出融合后利用unet模型进行虫害识别。

2.如权利要求1所述的一种农业害虫智能识别与监测技术，其特征在于：步骤S3中利用多层神经网络的强表示能力，设计多层残差神经网络融合模块来融合两种方法提取的特征。

3.如权利要求2所述的一种农业害虫智能识别与监测技术，其特征在于：步骤S3中融合模块有7个线性层，由两个降采样层组成，维数减半，两个特征合并模块和一个分类层组成，每个特征合并模块由两个线性层组成，维数不变。

4.如权利要求3所述的一种农业害虫智能识别与监测技术，其特征在于：融合模块使用GELU作为激活函数，为了防止过拟合，提高收敛速度，需要在每个特征合并模块中添加了残差连接和drop out层。

5.如权利要求1所述的一种农业害虫智能识别与监测技术，其特征在于：步骤S4中利用多模态知识图谱将图片输入后进行推理，通过图谱推理出粗粒度属性，随后利用编码器将属性转化为向量。

6.如权利要求5所述的一种农业害虫智能识别与监测技术，其特征在于：融合图谱编码时，属性和视觉模型输出特征通过融合模块进行特征融合，最后利用unet对融合特征做解码完成检测。