CN114332621A - 一种基于多模型特征融合的病虫害识别方法及系统 - Google Patents

一种基于多模型特征融合的病虫害识别方法及系统 Download PDF

Info

Publication number
CN114332621A
CN114332621A CN202111655709.1A CN202111655709A CN114332621A CN 114332621 A CN114332621 A CN 114332621A CN 202111655709 A CN202111655709 A CN 202111655709A CN 114332621 A CN114332621 A CN 114332621A
Authority
CN
China
Prior art keywords
neural network
pest
model
features
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111655709.1A
Other languages
English (en)
Other versions
CN114332621B (zh
Inventor
余沛毅
龙晓波
田冰川
贾高峰
叶昌荣
甘峰
赵健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhi Biotechnology Co ltd
Original Assignee
Huazhi Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhi Biotechnology Co ltd filed Critical Huazhi Biotechnology Co ltd
Priority to CN202111655709.1A priority Critical patent/CN114332621B/zh
Publication of CN114332621A publication Critical patent/CN114332621A/zh
Application granted granted Critical
Publication of CN114332621B publication Critical patent/CN114332621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Image Analysis (AREA)
  • Catching Or Destruction (AREA)

Abstract

本发明公开了一种基于多模型特征融合的病虫害识别方法及系统,本发明通过可见光图像、红外图像以及高光谱图像构成模型的训练样本,模型能够从高光谱图像中提取更为丰富的特征,从而提高识别精度,而且将训练图像集划分为多组子集,预设多个相互间具有差异性的神经网络模块,将多组子集输入每一个神经网络模块中,得到每一个神经网络模块提取的多个初始特征,融合多个初始特征,得到融合特征,根据融合特征进行分类,神经网络模块既可以是非常深的模型结构,也可以是浅层或者宽尺度的神经网络结构,各个模型输出结果的差异性高,提取的特征信息更加丰富,综合各个神经网络模块的优点得其最优解,提高病虫害识别模型的泛化能力。

Description

一种基于多模型特征融合的病虫害识别方法及系统
技术领域
本发明涉及农作物虫害识别技术领域,特别涉及一种基于多模型特征融合的病虫害识别方法及系统。
背景技术
在农业领域中,由于害虫种类繁多,数量巨大,会影响作物的产出和质量,因此病虫害防治是一项重点工作,在病虫害防治工作中,需要准确的找出害虫类别并采取对应的措施。
在传统方案中,害虫的识别和分类主要依靠人工完成,但人工识别和分类的误差较大,而且检测的效率也比较低。随着电子信息技术、计算机可视化技术和互联网技术的迅速发展,传统的农业管理方式正逐渐被新型的农业信息化管理方法所替代,现阶段,主要通过神经网络对作物图像进行处理,从而对作物的病虫害进行识别分类,但目前的处理方案还存在如下技术缺陷:
(1)通过可见光图像(RGB图像)和红外图像作为相同神经网络的输入数据,这样难以满足复杂环境下的高精度要求,从可见光图像和红外图像中虽然能提取较多特征,但作物的病虫害在复杂情况下往往还存在众多的可用特征,这些可用特征没有得到充分利用;(2)通过两个独立且相同的神经网络模型分别对可见光图像和红外图像进行特征提取,使用单一模型处理某个问题时容易遇到模型泛化瓶颈,从而导致农作物的病虫害识别精度不佳。
发明内容
本发明旨在至少解决现有技术中存在的技术问题。为此,本发明提出一种基于多模型特征融合的病虫害识别方法及系统,能够提取农作物上更丰富的特征信息,提高模型的识别精度,而且能够提高模型识别病虫害的泛化能力。
本发明的第一方面,提供了一种基于多模型特征融合的病虫害识别方法,包括如下步骤:
获取训练图像集,所述训练图像集包含农作物的多张可见光图像、红外图像以及高光谱图像,所述高光谱图像包括多个波段的光谱图像;
根据所述训练图像集训练预设的病虫害识别模型:将所述训练图像集划分为多组子集,其中每一组所述子集均包含设定数量的可见光图像、红外图像以及高光谱图像;预设多个相互间具有差异性的神经网络模块,将所述多组子集分别输入至每一个所述神经网络模块中,得到每一个所述神经网络模块提取的多个初始特征;融合所述多个初始特征,得到融合特征,根据所述融合特征对农作物的病虫害进行识别分类;
根据训练完成的所述病虫害识别模型对包含农作物的目标图像进行病虫害识别。
根据本发明的实施例,至少具有如下技术效果:
本方法通过可见光图像、红外图像以及高光谱图像构成模型的训练样本,较于可见光和红外图像,高光谱在全波段具备更为丰富的光谱信息,不仅可以反映不同农作物物理特性的细微变化,还可以检测作物的内部结构和化学成分的变化,通过模型能够从高光谱图像中提取更为丰富的特征,从而提高模型的识别精度,本方法将训练图像集划分为多组子集,预设多个相互间具有差异性的神经网络模块,将多组子集输入至每一个神经网络模块中,得到每一个神经网络模块提取的多个初始特征,融合多个初始特征,得到融合特征,根据融合特征进行分类,神经网络模块既可以是非常深的模型结构,也可以是浅层或者宽尺度的神经网络结构,各个模型输出结果的差异性高,提取的特征信息更加丰富,综合各个神经网络模块的优点得其最优解,提高病虫害识别模型的泛化能力。
根据本发明的一些实施例,所述神经网络模块至少包括依次设置的多路卷积神经网络、级联层、卷积层和Softmax层,所述多路卷积神经网络至少包括数据层和多个交替分布设置的卷积层和池化层。
根据本发明的一些实施例,所述融合所述多个初始特征,得到融合特征,根据所述融合特征进行分类,包括:
拼接每一个所述神经网络模块的所述多个初始特征,得到每一个所述神经网络模块的拼接特征;
拼接所有所述神经网络模块的所述拼接特征,得到融合特征;
根据全连接层对所述融合特征进行分类识别。
根据本发明的一些实施例,在所述根据训练完成的所述病虫害识别模型对包含农作物的目标图像进行病虫害识别之前,还包括:
获取标签图像集,所述标签图像集中包含多张具有的预设分类标签的可见光图像、红外图像以及高光谱图像;
将所述标签图像集输入至所述病虫害识别模型中,得到每一个所述神经网络模块输出的多个第一特征,并拼接每一个所述神经网络模块的多个第一特征,得到每一个所述神经网络模块的第二特征;
根据每一个所述神经网络模块的所述第二特征,为每一个所述神经网络模块构建相应的模板特征库,所述模板特征库包含特征与类别之间的匹配关系。
根据本发明的一些实施例,所述根据训练完成的所述病虫害识别模型对包含农作物的目标图像进行病虫害识别,包括:
将目标图像输入至训练完成的所述病虫害识别模型中,得到每一个所述神经网络模块输出的多个目标第一特征,拼接每一个所述神经网络模块的多个目标第一特征,得到每一个所述神经网络模块的目标第二特征;
计算每一个所述目标第二特征与相应所述模板特征库中的所有特征之间的相似度,根据所述相似度从所述模板特征库中选取出所述目标第二特征的类别匹配结果;
从所有所述目标第二特征的类别匹配结果中选取最优的所述类别匹配结果作为所述目标图像的病虫害识别结果。
根据本发明的一些实施例,根据bagging决策方法、boosting决策方法或stacking决策方法选取出最优的所述类别匹配结果。
根据本发明的一些实施例,在所述将所述训练图像集划分为多组子集之后,还包括:
对所述子集中的每张图像进行两次随机增强处理,所述随机增强处理包括随机仿射变换、左右翻转、上下翻转、随机旋转、随机裁剪、高斯噪声变换以及随机亮度变换中的其中一种。
本发明的第二方面,提供了一种基于多模型特征融合的病虫害识别系统,其特征在于,包括:
图像获取单元,用于获取训练图像集,所述训练图像集包含农作物的多张可见光图像、红外图像以及高光谱图像,所述高光谱图像包括多个波段的光谱图像;
模型训练模块,用于根据所述训练图像集训练预设的病虫害识别模型:将所述训练图像集划分为多组子集,其中每一组所述子集均包含设定数量的可见光图像、红外图像以及高光谱图像;预设多个相互间具有差异性的神经网络模块,将所述多组子集分别输入至每一个所述神经网络模块中,得到每一个所述神经网络模块提取的多个初始特征;融合所述多个初始特征,得到融合特征,根据所述融合特征对农作物的病虫害进行识别分类;
图像识别单元,用于根据训练完成的所述病虫害识别模型对包含农作物的目标图像进行病虫害识别。
本发明的第三方面,提供了一种电子设备,包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器;所述存储器存储有可被所述至少一个控制处理器执行的指令,所述指令被所述至少一个控制处理器执行,以使所述至少一个控制处理器能够执行上述的基于多模型特征融合的病虫害识别方法。
本发明的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行上述的基于多模型特征融合的病虫害识别方法。
需要注意的是,本发明的第二方面至第四方面与现有技术之间的有益效果与上述的基于多模型特征融合的病虫害识别方法与现有技术之间的有益效果相同,此处不再细述。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为相关方案的双输入数据分别并行提取特征后进行特征融合的示意图;
图2为本发明的一个实施例提供的一种基于多模型特征融合的病虫害识别方法的流程示意图;
图3为本发明的一个实施例提供的一种基于多模型特征融合的病虫害识别方法的流程框图;
图4为本发明的另一个实施例提供的一种基于多模型特征融合的病虫害识别方法的流程示意图;
图5为本发明的另一个实施例提供的一种基于多模型特征融合的病虫害识别方法的流程框图;
图6为本发明的另一个实施例提供的一种基于多模型特征融合的病虫害识别方法的流程框图;
图7为本发明的一个实施例提供的一种基于多模型特征融合的病虫害识别系统的结构示意图;
图8为本发明的一个实施例提供的一种电子设备的结构示意图;
图9为本发明的一个实施例提供的存储介质的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
参照图1,在相关方案中,以两种输入(可见光图像与对应的红外图像)与两个相同结构神经网络(神经网络A与神经网络B)对图像进行特征提取和分类。如输入可见光图像到神经网络A,经过卷积、池化等一系列操作后,得到第一类特征,同时输入红外图像到神经网络B后按同样的操作得到第二类特征,第二类特征的维度与第一类特征相同,然后将第一类特征和第二类特征融合,将融合的特征对分类器进行训练。但该方案的缺陷在于:
(1)通过可见光图像和红外图像作为神经网络的输入数据,这样难以满足复杂环境下的高精度要求,从可见光图像和红外图像中虽然能提取较多特征,但作物的病虫害在复杂情况下往往还存在众多的可用特征,这些可用特征没有得到充分利用;
(2)以两个独立且相同的神经网络模型并联设置,并且分别对可见光图像和红外图像进行特征提取,使用单一模型处理某个问题时很容易遇到模型泛化瓶颈,从而导致病虫害识别精度不佳。
参照图2,本发明的一个实施例,提供了一种基于多模型特征融合的病虫害识别方法,包括如下步骤:
步骤S200、获取训练图像集,训练图像集包含农作物的多张可见光图像、红外图像以及高光谱图像,高光谱图像包括多个波段的光谱图像。
步骤S400、根据训练图像集训练预设的病虫害识别模型:
将训练图像集划分为多组子集,其中每一组子集均包含设定数量的可见光图像、红外图像以及高光谱图像;预设多个相互间具有差异性的神经网络模块,将多组子集分别输入至每一个神经网络模块中,得到每一个神经网络模块提取的多个初始特征;融合多个初始特征,得到融合特征,根据融合特征对农作物的病虫害进行识别分类。
步骤S600、根据训练完成的病虫害识别模型对包含农作物的目标图像进行病虫害识别。
参照图3,以下提供一组实例,本申请对农作物的类别不进行具体的限制,可以“水稻”为例进行理解:
首先进行训练图像集的获取和预处理操作:如随机选取一个批次的包含农作物的训练图像(比如32张,这里每一张对应了相应的可见光、红外以及高光谱图像,其中高光谱图像有多个波段(有多个维度),假设合计输入了m维,那一个批次即32*m张)。在一些实施例中,考虑到作物的病虫害识别与颜色等有关,所以只做旋转、翻转等增强变换,即对这个批次中的每张图进行两次随机增强处理(如随机仿射变换、左右翻转、上下翻转、随机旋转、随机裁剪、高斯噪声、随机亮度等变换),并且只保留增强后的图像,这样能够提高模型识别特征的准确度。此时这个批次中,图像的数量就会翻倍(比如32*m张就会变成64*m张)。
需要说明的是:高光谱在全波段具备更为丰富的光谱信息,不仅可以反映不同植物物理特性的细微变化,还可以检测植物的内部结构和化学成分的变化,进而实现病虫害的早期检测和预防。至于高光谱、红外和可见光图像的采集,为本领域技术人员的公知常识,此处不再细述。还需要说明的是,红外图像也可以分为多个波段的图像,为了便于说明,图3中仅以一种红外图像为例。
然后通过训练图像集对预设的病虫害识别模型进行训练:相较于现阶段使用同一个神经网络模型并且使用并行输入的方案(如图1),在本方法中,用于进行特征提取的各个神经网络模块之间具备一定差异性,可以根据实际情况选择相应的神经网络,例如可以选择深网络、浅网络、宽网络和残差网络,或者如选择现有比较常见的简单神经网络(LeNet、AlexNet、VGGNet等)、复杂神经网络(ResNet、inceptionNetV1-V4、DenseNet)或轻量型神经网络(MobileNetV1-V3、ShuffleNet、squeezeNet等)。因为不同的神经网络结构差距巨大,且种类无数,这里不再穷举。
将这个批次的训练图像,分别输入不同的神经网络模块中,利用神经网络模块对输入的一个批次图像进行运算,经历多次的降采样之后,获取到不同的神经网络模块提取的固定维度特征(如第1个神经网络模块输出的特征为F11至F1m,第2个神经网络模块输出的特征为F21至F2m,第n个神经网络模块输出的特征为Fn1至Fnm)(如64*m张图,每张图提取的特征维度为256维,就是64*m个256维的特征)。
神经网络模块至少包括依次设置的多路卷积神经网络、级联层、卷积层和Softmax层,其中多路卷积神经网络至少包括数据层、卷积层和池化层,由数据层出发,卷积层和池化层均设置多个,且交替分布,不同网络中可能嵌套不同的Dropout层或BN层(BN层和Dropout都属于正则化方法,目的是防止模型过拟合),多路卷积神经网络同时处理可见光图像、红外图像与多个维度的高光谱图像,提取多通道特征经由级联层进行融合,再卷积层学习,借助Softmax层量化更新过程或输出结果。
当神经网络模块提取到这一个批次的训练图像的特征之后,分组进行拼接(Concat)操作得到n个256*m维的分组融合特征,然后将不同分组的融合特征进一步融合后,添加一个全连接层(分类器),全连接层的输出数量为病虫害的类别数。
然后利用有标签的数据对训练的病虫害识别模型进行调优:如随机选取一两千张人工标注的数据训练整个模型,利用softmax+交叉熵损失函数(Cross_entropy)进行优化,在训练结束(即loss稳定后模型可以满足要求)后得到一个多输入、多神经网络结构、单输出的病虫害识别模型。
其中,Softmax函数的计算公式为:
Figure BDA0003445690360000101
其中,C表示输出层神经元的个数,z是一个C维的向量,表示的是未经softmax之前的输出(softmax层的输入)。P(i)表示是第i类的概率,是一个标量。
可以将softmax函数写成向量形式:
Figure BDA0003445690360000102
交叉熵损失函数的计算公式为:
Figure BDA0003445690360000103
其中,
Figure BDA0003445690360000104
指的是预测值(softmax层的输出)。y指的是真实值,是一个One-Hot编码后的C维向量,如果样例x是类别i,则y的第i维的值为1,其余维的值为0(例如,x是类别2,共4类,则y的值为[0,1,0,0])。
也可以将其写成向量形式:
Figure BDA0003445690360000105
对应的cost function(代价函数)如下所示:
Figure BDA0003445690360000106
最后利用训练完成的病虫害识别模型对目标图像进行病虫害识别:将包含农作物的目标图像(即待识别图像,包括可见光、红外和高光谱图像,并且数据不进行限制)输入至病虫害识别模型中,得到模型的输出结果(分类识别结果),从而实现了对病虫害的分类。
在现有方案中,仅使用相同的神经网络来对不同图像进行并行的特征提取,忽视了深度学习模型的泛化性能,很容易遇到模型泛化瓶颈。此外,建立一个模型后,这个模型可能在解决某个问题的能力上比较出色,在解决其他问题时,结果却不尽如人意。而且仅使用可见光和红外图像对模型进行分类识别训练,难以满足复杂环境下的高精度要求。
相较于现有方案,本方法通过可见光图像、红外图像以及高光谱图像构成模型的训练样本,高光谱在全波段具备更为丰富的光谱信息(更多维度的信息),不仅可以反映不同作物物理特性的细微变化,还可以检测作物的内部结构和化学成分的变化,通过模型能够从高光谱图像中提取更为丰富的特征,从而提高模型的识别精度。而且,本方法将训练图像集划分为多组子集,预设多个相互间具有差异性的神经网络模块,将多组子集输入至每一个神经网络模块中,得到每一个神经网络模块提取的多个初始特征,融合多个初始特征,得到融合特征,根据融合特征进行分类,实现了多输入+多神经网络模块+单输出的训练模型结构,神经网络模块既可以是非常深的模型结构,也可以是浅层或者宽尺度的神经网络结构,各个模型输出结果的差异性高,提取的特征信息更加丰富,综合各个神经网络模块的优点得其最优解(不同的图像在不同的条件下,特征不一致,融合后更全面,能更有效的描述该图像),提高病虫害识别模型的泛化能力。
由于农作物的病虫害种类繁多,在利用深度学习对病虫害进行分类识别时,遇到新增的类别,通常需要标注后重新训练模型,这样不仅效率低,而且往往新增类别的数据样本很少,导致数据不均衡,严重影响模型性能。如以训练一个病虫害分类模型为例,假设已收集整理的数据集为十分类,也就是十种害虫,传统的深度网络结构包括:输入-卷积-池化-…全连接(特征层)-softmax(10分类输出层)。当模型训练完成后,如果目标图像是这十种害虫中的一类,那么将图片输入这个网络后,预测能顺利得到它属于哪一类害虫,但如果害虫是超出这十类之外的未知类,模型没有训练过,直接用这个模型预测,预测结果仍然为这十类之一,这里就需要重新构建模型进行训练,比如修改上述网络的最后一层(softmax层),将10分类修改成11分类,然后重新训练,此时卷积神经网络结构为输入-卷积-池化-…全连接(特征层)-softmax(11分类输出层)。
参照图4和图5,为了解决这一技术缺陷,基于上述方法实施例,在步骤S600之前,还包括步骤:
步骤S510、获取标签图像集,标签图像集中包含多张具有的预设分类标签的可见光图像、红外图像以及高光谱图像。
步骤S520、将标签图像集输入至病虫害识别模型中,得到每一个神经网络模块输出的多个第一特征,并拼接每一个神经网络模块的多个第一特征,得到每一个神经网络模块的第二特征。
步骤S530、根据每一个神经网络模块的第二特征,为每一个神经网络模块构建相应的模板特征库,模板特征库包含特征与类别之间的匹配关系。
上述步骤S400已得到训练好的病虫害识别模型。在步骤S510至步骤S530中,首先,基于少量(如3至5张)已标注的图像(含新增类别的数据)构建标签图像集,然后,将标签图像集分别输入至病虫害识别模型中的每一个神经网络模块中,得到每一个神经网络模块输出的多个第一特征,然后,每一个神经网络模块输出的多个第一特征进行拼接,得到拼接后的第二特征,最后,根据每一个第二特征,为每一个神经网络模块构建相应的模板特征库,例如:
已知类别1 特征F1(256维特征)
已知类别2 特征F2(256维特征)
已知类别10 特征F10(256维特征)
如果遇到未知类别,直接提取特征,把类别名称和特征保存到模板特征库即可,如:未知类别11 FA(256维特征)。
参照图6,基于上述实施例,步骤S600具体包括:
步骤S610、将目标图像输入至训练完成的病虫害识别模型中,得到每一个神经网络模块输出的多个目标第一特征,拼接每一个神经网络模块的多个目标第一特征,得到每一个神经网络模块的目标第二特征。
步骤S620、计算每一个目标第二特征与相应模板特征库中的所有特征之间的相似度,根据相似度从模板特征库中选取出目标第二特征的类别匹配结果。
步骤S630、从所有目标第二特征的类别匹配结果中选取最优的类别匹配结果作为目标图像的病虫害识别结果。
假设目标图像中的病虫害是未知类别,输入图片至病虫害识别模型后,每一个神经网络模块会得到一个256维的目标第二特征向量,然后利用该目标第二特征向量与上述建立的模板特征库中的特征向量进行相似度计算,得到一个相似度最接近的特征向量作为该目标第二特征向量的类别匹配结果。需要注意的是,每一个神经网络模块输出的特征向量都会与相对应的模板特征库中的特征向量进行相似度计算和匹配。最后从所有目标第二特征的类别匹配结果中选取最优的类别匹配结果作为目标图像的病虫害识别结果。
例如:病虫害识别模型中n神经网络模块输出n个目标第二特征向量,n个目标第二特征向量分别与n个模板特征库中的特征向量进行相似度计算和匹配,相似度计算可以使用特征向量之间的欧氏距离和余弦距离作为度量(欧氏距离越小则匹配程度越高,余弦距离越大则匹配程度越高),得到n个类别匹配结果。然后,通过采用bagging、boosting、stacking和其他一些算法进行决策,从n个类别匹配结果选取一个最优的类别匹配结果作为目标图像的病虫害识别结果。
基于上述构建的病虫害识别模型,本方法直接利用每一个神经网络模块对少量新增类别的标签数据提取特征,存入模板库;后续进一步利用多神经网络模块提取多组特征进行模板匹配来识别新增类别的病虫害,从而可以减轻模型训练的工作量,加快模型运行速度。
本方法不直接依赖于传统的图像的纹理、边缘、局部特征点等人工选择的特征,也不依赖于深度卷积神经网络的最后一层分类层(softmax层),而是通过基于深度学习的方法提取不同图像、不同网络结构、不同层的特征,通过集成学习的方法,联合包含欧氏距离和余弦距离度量方式进行计算输出,然后采用bagging、boosting、stacking等算法进行决策后可以得到更好的准确率及泛化性,而且也更不容易受到图像亮度、清晰度、旋转、缩放和位移的影响。尤其是对新增分类的数据直接进行特征提取与匹配,替代了重新标注数据,修改网络最后一层再重新训练的复杂工作。
参照图7,本发明的一个实施例,提供了一种基于多模型特征融合的病虫害识别系统,包括图像获取单元1000、模型训练模块2000和图像识别单元2000,其中:
图像获取单元1000用于获取训练图像集,训练图像集包含农作物的多张可见光图像、红外图像以及高光谱图像,高光谱图像包括多个波段的光谱图像。
模型训练模块2000用于根据训练图像集训练预设的病虫害识别模型:将训练图像集划分为多组子集,其中每一组子集均包含设定数量的可见光图像、红外图像以及高光谱图像;预设多个相互间具有差异性的神经网络模块,将多组子集分别输入至每一个神经网络模块中,得到每一个神经网络模块提取的多个初始特征;融合多个初始特征,得到融合特征,根据融合特征对农作物的病虫害进行识别分类。
图像识别单元2000用于根据训练完成的病虫害识别模型对包含农作物的目标图像进行病虫害识别。
需要注意的是,本系统实施例与上述方法实施例是基于同一个发明构思,因此上述方法实施例的相关内容同样适用于本系统实施例,此处不再细述。
参照图8,本申请还提供一种计算机设备301,包括:存储器310、处理器320及存储在存储器310上并可在处理器上运行的计算机程序311,处理器320执行计算机程序311时实现:如上述的基于多模型特征融合的病虫害识别方法。
处理器320和存储器310可以通过总线或者其他方式连接。
存储器310作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器310可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器310可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的基于多模型特征融合的病虫害识别方法所需的非暂态软件程序以及指令存储在存储器中,当被处理器执行时,执行上述实施例中的基于多模型特征融合的病虫害识别方法,例如,执行以上描述的图2中的方法步骤S200至步骤S600和图4中的方法步骤S510至步骤S530。
参照图9,本申请还提供一种计算机可读存储介质401,存储有计算机可执行指令410,计算机可执行指令410用于执行:如上述的基于多模型特征融合的病虫害识别方法。
该计算机可读存储介质401存储有计算机可执行指令410,该计算机可执行指令410被一个处理器或控制器执行,例如,被上述电子设备实施例中的一个处理器执行,可使得上述处理器执行上述实施例中的基于多模型特征融合的病虫害识别方法,例如,执行以上描述的图2中的方法步骤S200至步骤S600和图4中的方法步骤S510至步骤S530。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储数据(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的数据并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何数据递送介质。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于多模型特征融合的病虫害识别方法,其特征在于,包括如下步骤:
获取训练图像集,所述训练图像集包含农作物的多张可见光图像、红外图像以及高光谱图像,所述高光谱图像包括多个波段的光谱图像;
根据所述训练图像集训练预设的病虫害识别模型:将所述训练图像集划分为多组子集,其中每一组所述子集均包含设定数量的可见光图像、红外图像以及高光谱图像;预设多个相互间具有差异性的神经网络模块,将所述多组子集分别输入至每一个所述神经网络模块中,得到每一个所述神经网络模块提取的多个初始特征;融合所述多个初始特征,得到融合特征,根据所述融合特征对农作物的病虫害进行识别分类;
根据训练完成的所述病虫害识别模型对包含农作物的目标图像进行病虫害识别。
2.根据权利要求1所述的基于多模型特征融合的病虫害识别方法,其特征在于,所述神经网络模块至少包括依次设置的多路卷积神经网络、级联层、卷积层和Softmax层,所述多路卷积神经网络至少包括数据层和多个交替分布设置的卷积层和池化层。
3.根据权利要求2所述的基于多模型特征融合的病虫害识别方法,其特征在于,所述融合所述多个初始特征,得到融合特征,根据所述融合特征对农作物的病虫害进行识别分类,包括:
拼接每一个所述神经网络模块的所述多个初始特征,得到每一个所述神经网络模块的拼接特征;
拼接所有所述神经网络模块的所述拼接特征,得到融合特征;
将所述融合特征输入至全连接层,以实现对农作物的病虫害的识别分类。
4.根据权利要求2所述的基于多模型特征融合的病虫害识别方法,其特征在于,在所述根据训练完成的所述病虫害识别模型对包含农作物的目标图像进行病虫害识别之前,还包括:
获取标签图像集,所述标签图像集中包含多张具有的预设分类标签的可见光图像、红外图像以及高光谱图像;
将所述标签图像集输入至所述病虫害识别模型中,得到每一个所述神经网络模块输出的多个第一特征,并拼接每一个所述神经网络模块的多个第一特征,得到每一个所述神经网络模块的第二特征;
根据每一个所述神经网络模块的所述第二特征,为每一个所述神经网络模块构建相应的模板特征库,所述模板特征库包含特征与类别之间的匹配关系。
5.根据权利要求4所述的基于多模型特征融合的病虫害识别方法,其特征在于,所述根据训练完成的所述病虫害识别模型对包含农作物的目标图像进行病虫害识别,包括:
将目标图像输入至训练完成的所述病虫害识别模型中,得到每一个所述神经网络模块输出的多个目标第一特征,拼接每一个所述神经网络模块的多个目标第一特征,得到每一个所述神经网络模块的目标第二特征;
计算每一个所述目标第二特征与相应所述模板特征库中的所有特征之间的相似度,根据所述相似度从所述模板特征库中选取出所述目标第二特征的类别匹配结果;
从所有所述目标第二特征的类别匹配结果中选取最优的所述类别匹配结果作为所述目标图像的病虫害识别结果。
6.根据权利要求5所述的基于多模型特征融合的病虫害识别方法,其特征在于,根据bagging决策方法、boosting决策方法或stacking决策方法选取出最优的所述类别匹配结果。
7.根据权利要求1至6任一项所述的基于多模型特征融合的病虫害识别方法,其特征在于,在所述将所述训练图像集划分为多组子集之后,还包括:
对所述子集中的每张图像进行两次随机增强处理,所述随机增强处理包括随机仿射变换、左右翻转、上下翻转、随机旋转、随机裁剪、高斯噪声变换以及随机亮度变换中的其中一种。
8.一种基于多模型特征融合的病虫害识别系统,其特征在于,包括:
图像获取单元,用于获取训练图像集,所述训练图像集包含农作物的多张可见光图像、红外图像以及高光谱图像,所述高光谱图像包括多个波段的光谱图像;
模型训练模块,用于根据所述训练图像集训练预设的病虫害识别模型:将所述训练图像集划分为多组子集,其中每一组所述子集均包含设定数量的可见光图像、红外图像以及高光谱图像;预设多个相互间具有差异性的神经网络模块,将所述多组子集分别输入至每一个所述神经网络模块中,得到每一个所述神经网络模块提取的多个初始特征;融合所述多个初始特征,得到融合特征,根据所述融合特征对农作物的病虫害进行识别分类;
图像识别单元,用于根据训练完成的所述病虫害识别模型对包含农作物的目标图像进行病虫害识别。
9.一种电子设备,其特征在于:包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器;所述存储器存储有可被所述至少一个控制处理器执行的指令,所述指令被所述至少一个控制处理器执行,以使所述至少一个控制处理器能够执行权利要求1至7任一项所述的基于多模型特征融合的病虫害识别方法。
10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行权利要求1至7任一项所述的基于多模型特征融合的病虫害识别方法。
CN202111655709.1A 2021-12-30 2021-12-30 一种基于多模型特征融合的病虫害识别方法及系统 Active CN114332621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111655709.1A CN114332621B (zh) 2021-12-30 2021-12-30 一种基于多模型特征融合的病虫害识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111655709.1A CN114332621B (zh) 2021-12-30 2021-12-30 一种基于多模型特征融合的病虫害识别方法及系统

Publications (2)

Publication Number Publication Date
CN114332621A true CN114332621A (zh) 2022-04-12
CN114332621B CN114332621B (zh) 2023-06-13

Family

ID=81019437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111655709.1A Active CN114332621B (zh) 2021-12-30 2021-12-30 一种基于多模型特征融合的病虫害识别方法及系统

Country Status (1)

Country Link
CN (1) CN114332621B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549939A (zh) * 2022-04-26 2022-05-27 汉谷云智(武汉)科技有限公司 一种基于图像特征提取的树木病虫害图片分类方法
CN115588235A (zh) * 2022-09-30 2023-01-10 河南灵锻创生生物科技有限公司 一种宠物幼崽行为识别方法及系统
CN115731436A (zh) * 2022-09-21 2023-03-03 东南大学 基于深度学习融合模型的高速公路车辆图像检索方法
CN115797789A (zh) * 2023-02-20 2023-03-14 成都东方天呈智能科技有限公司 基于级联检测器的水稻害虫监测系统、方法和存储介质
CN116309480A (zh) * 2023-03-23 2023-06-23 上海华维可控农业科技集团股份有限公司 一种基于深度学习的作物生长智能决策系统及方法
CN117576564A (zh) * 2023-11-27 2024-02-20 日照市农业科学研究院 用于茶叶种植的病虫害识别预警方法与系统
CN118072251A (zh) * 2024-04-17 2024-05-24 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种烟草病虫害识别方法、介质及系统
CN118658010A (zh) * 2024-08-19 2024-09-17 云南瀚哲科技有限公司 一种农作物害虫识别方法、装置、设备以及介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103018180A (zh) * 2012-12-11 2013-04-03 江苏大学 一种基于多源光信息技术的棉花病害检测方法和装置
CN105372203A (zh) * 2015-11-04 2016-03-02 江南大学 基于多传感器融合的新鲜苹果损伤敏感度无损检测方法
CN106022391A (zh) * 2016-05-31 2016-10-12 哈尔滨工业大学深圳研究生院 一种高光谱图像特征的并行提取与分类方法
CN106441442A (zh) * 2016-10-21 2017-02-22 中国科学院南京土壤研究所 一种大田作物表型信息高通量对等监测装置及监测方法
CN106646068A (zh) * 2017-01-22 2017-05-10 国网湖北省电力公司检修公司 基于多参量信息融合的智能变电站二次系统缺陷诊断方法
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统
CN107314816A (zh) * 2017-06-08 2017-11-03 贵阳学院 农作物早期病害多层次信息监测预警方法
CN107451590A (zh) * 2017-07-19 2017-12-08 哈尔滨工程大学 基于高光谱红外图像的气体检测识别和浓度表示方法
CN108960337A (zh) * 2018-07-18 2018-12-07 浙江大学 一种基于深度学习模型的多模态复杂活动识别方法
CN109470639A (zh) * 2018-11-07 2019-03-15 浙江大学 基于可见光和近红外高光谱成像的桑螟幼虫及其对桑叶损害的快速识别方法
CN110135363A (zh) * 2019-05-13 2019-08-16 苏州经贸职业技术学院 基于判别词典嵌入行人图像检索方法、系统、设备及介质
CN110243769A (zh) * 2019-07-30 2019-09-17 南阳理工学院 一种多源信息辅助的高光谱亚像元目标识别系统和方法
CN110363290A (zh) * 2019-07-19 2019-10-22 广东工业大学 一种基于混合神经网络模型的图像识别方法、装置及设备
CN110376522A (zh) * 2019-09-03 2019-10-25 宁夏西北骏马电机制造股份有限公司 一种数据融合的深度学习网络的电机故障诊断方法
CN110886943A (zh) * 2019-12-05 2020-03-17 华南农业大学 柑橘林病虫害智能识别与林间信息监测装置
CN111507319A (zh) * 2020-07-01 2020-08-07 南京信息工程大学 一种基于深度融合卷积网络模型的农作物病害识别方法
CN113297925A (zh) * 2021-04-30 2021-08-24 华中农业大学 一种果蔬全链条质量智能预警方法及系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103018180A (zh) * 2012-12-11 2013-04-03 江苏大学 一种基于多源光信息技术的棉花病害检测方法和装置
CN105372203A (zh) * 2015-11-04 2016-03-02 江南大学 基于多传感器融合的新鲜苹果损伤敏感度无损检测方法
CN106022391A (zh) * 2016-05-31 2016-10-12 哈尔滨工业大学深圳研究生院 一种高光谱图像特征的并行提取与分类方法
CN106441442A (zh) * 2016-10-21 2017-02-22 中国科学院南京土壤研究所 一种大田作物表型信息高通量对等监测装置及监测方法
CN106646068A (zh) * 2017-01-22 2017-05-10 国网湖北省电力公司检修公司 基于多参量信息融合的智能变电站二次系统缺陷诊断方法
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统
CN107314816A (zh) * 2017-06-08 2017-11-03 贵阳学院 农作物早期病害多层次信息监测预警方法
CN107451590A (zh) * 2017-07-19 2017-12-08 哈尔滨工程大学 基于高光谱红外图像的气体检测识别和浓度表示方法
CN108960337A (zh) * 2018-07-18 2018-12-07 浙江大学 一种基于深度学习模型的多模态复杂活动识别方法
CN109470639A (zh) * 2018-11-07 2019-03-15 浙江大学 基于可见光和近红外高光谱成像的桑螟幼虫及其对桑叶损害的快速识别方法
CN110135363A (zh) * 2019-05-13 2019-08-16 苏州经贸职业技术学院 基于判别词典嵌入行人图像检索方法、系统、设备及介质
CN110363290A (zh) * 2019-07-19 2019-10-22 广东工业大学 一种基于混合神经网络模型的图像识别方法、装置及设备
CN110243769A (zh) * 2019-07-30 2019-09-17 南阳理工学院 一种多源信息辅助的高光谱亚像元目标识别系统和方法
CN110376522A (zh) * 2019-09-03 2019-10-25 宁夏西北骏马电机制造股份有限公司 一种数据融合的深度学习网络的电机故障诊断方法
CN110886943A (zh) * 2019-12-05 2020-03-17 华南农业大学 柑橘林病虫害智能识别与林间信息监测装置
CN111507319A (zh) * 2020-07-01 2020-08-07 南京信息工程大学 一种基于深度融合卷积网络模型的农作物病害识别方法
CN113297925A (zh) * 2021-04-30 2021-08-24 华中农业大学 一种果蔬全链条质量智能预警方法及系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549939A (zh) * 2022-04-26 2022-05-27 汉谷云智(武汉)科技有限公司 一种基于图像特征提取的树木病虫害图片分类方法
CN115731436B (zh) * 2022-09-21 2023-09-26 东南大学 基于深度学习融合模型的高速公路车辆图像检索方法
CN115731436A (zh) * 2022-09-21 2023-03-03 东南大学 基于深度学习融合模型的高速公路车辆图像检索方法
CN115588235A (zh) * 2022-09-30 2023-01-10 河南灵锻创生生物科技有限公司 一种宠物幼崽行为识别方法及系统
CN115588235B (zh) * 2022-09-30 2023-06-06 河南灵锻创生生物科技有限公司 一种宠物幼崽行为识别方法及系统
CN115797789A (zh) * 2023-02-20 2023-03-14 成都东方天呈智能科技有限公司 基于级联检测器的水稻害虫监测系统、方法和存储介质
CN115797789B (zh) * 2023-02-20 2023-05-30 成都东方天呈智能科技有限公司 基于级联检测器的水稻害虫监测系统、方法和存储介质
CN116309480A (zh) * 2023-03-23 2023-06-23 上海华维可控农业科技集团股份有限公司 一种基于深度学习的作物生长智能决策系统及方法
CN116309480B (zh) * 2023-03-23 2024-01-30 上海华维可控农业科技集团股份有限公司 一种基于深度学习的作物生长智能决策系统及方法
CN117576564A (zh) * 2023-11-27 2024-02-20 日照市农业科学研究院 用于茶叶种植的病虫害识别预警方法与系统
CN117576564B (zh) * 2023-11-27 2024-04-19 日照市农业科学研究院 用于茶叶种植的病虫害识别预警方法与系统
CN118072251A (zh) * 2024-04-17 2024-05-24 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种烟草病虫害识别方法、介质及系统
CN118072251B (zh) * 2024-04-17 2024-06-25 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种烟草病虫害识别方法、介质及系统
CN118658010A (zh) * 2024-08-19 2024-09-17 云南瀚哲科技有限公司 一种农作物害虫识别方法、装置、设备以及介质

Also Published As

Publication number Publication date
CN114332621B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN114332621B (zh) 一种基于多模型特征融合的病虫害识别方法及系统
Bouti et al. A robust system for road sign detection and classification using LeNet architecture based on convolutional neural network
Zhu et al. Method of plant leaf recognition based on improved deep convolutional neural network
CN106203523B (zh) 基于梯度提升决策树半监督算法融合的高光谱图像分类方法
CN103150580B (zh) 一种高光谱图像半监督分类方法及装置
US7724961B2 (en) Method for classifying data using an analytic manifold
US20170032247A1 (en) Media classification
CN112534445B (zh) 具有数量被减少的参数的神经网络
Zhan et al. Fabric defect classification using prototypical network of few-shot learning algorithm
CN110309867A (zh) 一种基于卷积神经网络的混合气体识别方法
Chen et al. Hyperspectral remote sensing image classification based on dense residual three-dimensional convolutional neural network
CN114187590A (zh) 同色系背景下目标果实识别方法及系统
Li et al. SCFormer: Spectral coordinate transformer for cross-domain few-shot hyperspectral image classification
CN114998748A (zh) 遥感图像目标精细识别方法、电子设备及存储介质
CN111340051A (zh) 图片处理方法、装置及存储介质
CN117974969A (zh) 基于改进的YOLOv7草莓病叶检测识别方法
CN115410059A (zh) 基于对比损失的遥感图像部分监督变化检测方法及设备
CN117593514B (zh) 一种基于深层主成分分析辅助的图像目标检测方法及系统
Dai et al. Research on hyper-spectral remote sensing image classification by applying stacked de-noising auto-encoders neural network
CN109145770B (zh) 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法
Taghikhah et al. Quantile-based maximum likelihood training for outlier detection
CN108960005B (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
CN116704241A (zh) 一种全通道3d卷积神经网络高光谱遥感图像分类方法
CN116246171A (zh) 一种空-谱多尺度高光谱遥感图像目标检测方法及设备
Yu et al. An Improved Faster R-CNN Method for Car Front Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant