CN114842240A - 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法 - Google Patents

融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法 Download PDF

Info

Publication number
CN114842240A
CN114842240A CN202210355070.3A CN202210355070A CN114842240A CN 114842240 A CN114842240 A CN 114842240A CN 202210355070 A CN202210355070 A CN 202210355070A CN 114842240 A CN114842240 A CN 114842240A
Authority
CN
China
Prior art keywords
image
disease
module
images
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210355070.3A
Other languages
English (en)
Inventor
董琴
黄乾峰
王昕�
陈瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunhuo Technology Yancheng Co ltd
Yancheng Institute of Technology
Original Assignee
Yunhuo Technology Yancheng Co ltd
Yancheng Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunhuo Technology Yancheng Co ltd, Yancheng Institute of Technology filed Critical Yunhuo Technology Yancheng Co ltd
Priority to CN202210355070.3A priority Critical patent/CN114842240A/zh
Publication of CN114842240A publication Critical patent/CN114842240A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本发明涉及人工智能技术，揭露了一种融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法，包括：构建农作物叶片的历史病害图像对应的热力图，并去除所述热力图中的背景信息，得到前置病害图像；分别将所述前置病害图像映射至不同的颜色空间进行图像处理，并对处理后的图像进行图像合并及形态学处理，得到标准病斑图像；提取出所述标准病斑图像中的特征数据集，并利用所述特征数据集训练由融合了空间注意力机制模块和ghost模块的MobileNetV2构建的病害识别模型，利用所述病害识别模型识别待识别叶片图像的叶片病害。本发明可以解决农作物病害识别的准确度较低的问题。

Description

融合ghost模块和注意力机制的MobileNetV2农作物叶片图像 分类方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法。
背景技术
我国是农业大国，农业发展是我国发展的重中之重。农业发展经常受天气，虫灾及其他环境病害的影响，进而导致农业产量受损。因此能够在农作物病害爆发之际，实时有效地检测出农作物病害的类别和严重程度就成为农业工作的亟待解决的问题。
现有的针对农业中农作物的病害识别方法可以通过高光谱遥感技术，但是这种方法的可识别病虫害种类相对较为单一，多用于林业生产中，并且高光谱遥感技术通常被运用于大尺度的场景下，对于小范围的病虫害发病，不能很好地识别检测出来。因此病害识别的准确度较低。
发明内容
本发明提供一种融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法，其主要目的在于解决农作物病害识别的准确度较低的问题。
为实现上述目的，本发明提供的一种融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法，包括：
获取多张农作物叶片的历史病害图像，构建所述历史病害图像对应的热力图，并对所述热力图进行背景信息去除处理，得到前置病害图像；
将所述前置病害图像变换至HIS颜色空间，得到第一映射图像，去除所述第一映射图像中的预设颜色区域，得到筛选病害图像；
将所述前置病害图像映射至Lab颜色空间，得到第二映射图像，基于预设的分割算法对所述第二映射图像进行图像分割，得到分割区域图像；
将所述筛选病害图像和所述分割区域图像进行图像合并，并对图像合并后的图像进行形态学处理，得到标准病斑图像；
以预设的卷积神经网络作为主干网络，并在所述主干网络上添加空间注意力机制模块和ghost模块，得到初始病害识别模型；
分别提取所述标准病斑图像中的颜色特征、纹理特征及形状特征并汇总为特征数据集，利用所述特征数据集对所述初始病害识别模型进行训练，得到标准病害识别模型；
获取待识别叶片图像，将所述待识别叶片图像输入至所述标准病害识别模型中，得到所述待识别叶片图像的叶片病害分类结果。
可选地，所述构建所述历史病害图像对应的热力图，包括：
将所述历史病害图像裁剪为预设大小的初始病害图像；
识别出所述初始病害图像的四个顶点，并计算所述初始病害图像的四个顶点的热力值信息，得到基本热力值；
基于所述基本热力值对所述初始病害图像进行双线性插值处理，得到所述初始病害图像中多个像素点的像素热力值；
根据多个像素点的像素热力值绘制所述历史病害图像对应的热力图。
可选地，所述多个像素点的像素热力值绘制所述历史病害图像对应的热力图，包括：
将多个所述像素点的像素热力值映射至预设的直角坐标系上，得到像素热力图；
对所述像素热力图进行分块，得到多个分块热力图；
计算多个所述分块热力图的权重因子，将所述权重因子小于预设权重阈值的分块热力图执行删除处理，并保留所述权重因子大于所述预设权重阈值的分块热力图，得到所述历史病害图像对应的热力图。
可选地，所述将所述前置病害图像变换至HIS颜色空间，得到第一映射图像，包括：
获取所述前置病害图像中的红色值、绿色值和蓝色值；
基于预设的颜色变换公式将所述红色值、所述绿色值和所述蓝色值转换为色度值、饱和度值和亮度值；
根据所述色度值、所述饱和值和所述亮度值构建第一映射图像。
可选地，所述以预设的卷积神经网络作为主干网络，并在所述主干网络上添加空间注意力机制模块和ghost模块，得到初始病害识别模型，包括：
在所述卷积神经网络后加入混合通道和所述空间注意力机制模块；
将所述空间注意力机制模块中的卷积层替换为ghost模块，得到初始病害识别模块。
可选地，所述利用所述特征数据集对所述初始病害识别模型进行训练，得到标准病害识别模型，包括：
利用所述初始病害识别模型中ghost模块的深度可分离卷积算法对所述特征数据集进行卷积处理，得到卷积数据集；
对所述卷积数据集进行池化处理，得到池化数据集；
将所述池化数据集输入至所述初始病害识别模型中的空间注意力机制模块中，得到注意力数据集；
将所述注意力数据集输入至预设的激活函数中，得到激活值，根据所述激活值确定所述特征数据集对应的初始病害分类；
当所述初始病害分类与预设的真实预测分类一致时，将所述初始病害识别模型输出为标准病害识别模型；
当所述初始病害分类与所述真实预测分类不一致时，对所述初始病害识别模型进行参数调整，并将所述特征数据集输入至参数调整后的初始病害识别模型中，得到调整分类结果；
当所述调整分类结果与所述真实预测分类一致时，将参数调整后的初始病害识别模型输出为标准病害识别模型。
可选地，所述将所述池化数据集输入至所述初始病害识别模型中的空间注意力机制模块中，得到注意力数据集，包括：
Figure 832547DEST_PATH_IMAGE001
其中，
Figure 799366DEST_PATH_IMAGE002
为注意力数据集，
Figure 39855DEST_PATH_IMAGE003
(·)为sigmoid非线性激活函数，MLP表示所述空间注意力机制模块中的共享网络，
Figure 724914DEST_PATH_IMAGE004
和
Figure 359418DEST_PATH_IMAGE005
分别表示所述共享网络中多层感知器中的隐藏权重和输出层权重，
Figure 180744DEST_PATH_IMAGE006
和
Figure 592134DEST_PATH_IMAGE007
分别表示全局平均池化特征和最大池化特征，
Figure 764489DEST_PATH_IMAGE008
为池化数据集。
本发明实施例中，通过构建农作物叶片的历史病害图像对应的热力图并执行背景信息去除处理，使得得到的前置病害图像中的病害区域更加明显，分别将所述前置病害图像映射至不同的颜色空间并进行颜色区域去除处理或者图像分割处理，将进行颜色区域去除处理和图像分割处理进行图像合并，提高了图像合并后的图像的连贯性，并进行形态学处理，使得图像中的病斑清晰且相互独立。改进卷积神经网络，添加了空间注意力机制模块和ghost模块，得到初始病害识别模型，加入空间注意力机制模块能有效去除了无效特征，增强网络对于特征的细化能力，加入ghost模块从而达到不增加参数量和计算量的情况下保证了网络模型的精度的目的。基于特征数据集对初始病害模型进行训练，使得得到的标准病害识别模型进行病害识别更加准确，利用所述标准病害识别模型对待识别叶片图像进行识别，得到叶片病害分类结果。因此本发明提出的融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法可以解决农作物病害识别的准确度较低的问题。
附图说明
图1为本发明一实施例提供的融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法的流程示意图；
图2为本发明一实施例提供的融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类装置的功能模块图；
图3为本发明一实施例提供的实现所述融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法。所述融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明一实施例提供的融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法的流程示意图。在本实施例中，所述融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法包括：
S1、获取多张农作物叶片的历史病害图像，构建所述历史病害图像对应的热力图，并对所述热力图进行背景信息去除处理，得到前置病害图像。
本发明实施例中，所述历史病害图像是指多种农作物在生长的早中期所拍摄下来的叶片的图片，其中，早中期是农作物的主要发病时期。本发明实施例可以通过智能手机、摄像头定位拍摄和田地间移动摄像头进行拍摄获取得到所述农作物叶片的历史病害图像。历史病害图像包括但不限于油菜、水稻、大豆和黄瓜等常见农作物出现黑斑病、梅霜病、白粉病和红叶病等病害情况的图片。
具体地，所述构建所述历史病害图像对应的热力图，包括：
将所述历史病害图像裁剪为预设大小的初始病害图像；
识别出所述初始病害图像的四个顶点，并计算所述初始病害图像的四个顶点的热力值信息，得到基本热力值；
基于所述基本热力值对所述初始病害图像进行双线性插值处理，得到所述初始病害图像中多个像素点的像素热力值；
根据多个像素点的像素热力值绘制所述历史病害图像对应的热力图。
详细地，所述预设大小可以为33mm*48mm，将所述初始病害图像的上方偏左，上方偏右，下方偏左和下方偏右的角落设定为四个顶点。其中，四个顶点为
Figure 919527DEST_PATH_IMAGE009
。所述双线性插值处理又称为双线性内插。所述双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。
进一步地，本发明实施例中，基于预设的热力值计算公式计算所述初始病害图像的四个顶点的热力值信息，得到基本热力值。
其中，所述预设的热力值计算公式为：
Figure 595359DEST_PATH_IMAGE010
其中，
Figure 443229DEST_PATH_IMAGE011
为热力点
Figure 102881DEST_PATH_IMAGE012
的热力值，
Figure 796030DEST_PATH_IMAGE013
表示第
Figure 857527DEST_PATH_IMAGE014
个顶点，j表示像素点的数值；n表示像素点的总数；k为预设的固定参数；
Figure 492088DEST_PATH_IMAGE016
为第i个顶点的热力值参数；
Figure 254507DEST_PATH_IMAGE017
为第k点的像素值，
Figure 904931DEST_PATH_IMAGE018
为第j点的像素值。
具体地，所述根据多个像素点的像素热力值绘制所述历史病害图像对应的热力图，包括：
将多个所述像素点的像素热力值映射至预设的直角坐标系上，得到像素热力图；
对所述像素热力图进行分块，得到多个分块热力图；
计算多个所述分块热力图的权重因子，将所述权重因子小于预设权重阈值的分块热力图执行删除处理，并保留所述权重因子大于所述预设权重阈值的分块热力图，得到所述历史病害图像对应的热力图。
详细地，假设所述像素热力图G的大小为M×N，对所述像素热力图G进行分块，划分为互不重叠的a×b个分块热力图，其中，
Figure 94604DEST_PATH_IMAGE019
。
进一步地，本发明实施例采用下述方法计算多个所述分块热力图的权重因子：
Figure 728848DEST_PATH_IMAGE020
其中，
Figure 763800DEST_PATH_IMAGE021
为所述分块热力图的权重因子，
Figure 534310DEST_PATH_IMAGE013
为所述像素热力值，
Figure 894884DEST_PATH_IMAGE022
为所述分块热力图的亮度信息值，
Figure 750845DEST_PATH_IMAGE023
为所述分块热力图的对比度信息值。
进一步地，本发明实施例利用GrabCut算法对所述热力图进行背景信息去除处理。其中，所述GrabCut算法是一种基于图论的图像分割方法，可以自动识别出所述热力图中的背景信息，并将所述背景信息舍弃。所述背景信息即背景区域信息。
S2、将所述前置病害图像变换至HIS颜色空间，得到第一映射图像，去除所述第一映射图像中的预设颜色区域，得到筛选病害图像。
本发明实施例中，所述HIS颜色空间用H、S、I三参数描述颜色特性，其中H定义颜色的频率，称为色调，S表示颜色的深浅程度，称为饱和度，I表示强度或亮度。HSI颜色空间反映了人的视觉系统感知彩色的方式，且将颜色信息与灰度信息分开，对光源变化不敏感。
具体地，所述将所述前置病害图像变换至HIS颜色空间，得到第一映射图像，包括：
获取所述前置病害图像中的红色值、绿色值和蓝色值；
基于预设的颜色变换公式将所述红色值、所述绿色值和所述蓝色值转换为色度值、饱和度值和亮度值；
根据所述色度值、所述饱和值和所述亮度值构建第一映射图像。
其中，所述所述前置病害图像中的红色值、绿色值和蓝色值分别指R值、G值和B值。
进一步地，本发明实施例基于下述颜色变换公式将所述红色值、所述绿色值和所述蓝色值转换为色度值、饱和度值和亮度值：
Figure 589488DEST_PATH_IMAGE024
Figure 480083DEST_PATH_IMAGE025
Figure 11559DEST_PATH_IMAGE026
Figure 354816DEST_PATH_IMAGE027
其中，
Figure 731570DEST_PATH_IMAGE028
为所述色度值，
Figure 476672DEST_PATH_IMAGE029
为所述饱和值，
Figure 913470DEST_PATH_IMAGE030
为所述亮度值，R为红色值，G为绿色值，B为蓝色值。
具体地，本发明实施例中，所述预设颜色区域为绿色区域，将农作物图片中绿色区域去除，达到过滤叶片绿色部分的目的。
S3、将所述前置病害图像映射至Lab颜色空间，得到第二映射图像，基于预设的分割算法对所述第二映射图像进行图像分割，得到分割区域图像。
本发明实施例中，所述所述Lab颜色空间（Lab color space，颜色-对立空间），是一种均匀、与设备无关的彩色模型，其中，维度L表示亮度，a和b表示颜色对立维度。
具体地，所述将所述前置病害图像映射至Lab颜色空间，得到第二映射图像，包括：
将所述前置病害图像转化为三维空间图像，再将所述三维空间图像转化到Lab颜色空间，得到第二映射图像。
本发明实施例先将RGB图像转化为三维空间图像，即XYZ空间图像，再由所述XYZ空间图像转化到Lab颜色空间。
进一步地，将所述前置病害图像转化为三维空间图像，包括：
Figure 744023DEST_PATH_IMAGE031
其中，R、G、B分别为所述前置病害图像的红色值、绿色值和蓝色值。
进一步地，所述将所述三维空间图像转化到所述Lab颜色空间，得到第二映射图像，包括：
Figure 190048DEST_PATH_IMAGE032
Figure 55235DEST_PATH_IMAGE033
其中，
Figure 928513DEST_PATH_IMAGE034
为中转函数，用于构建L、a和b与X、Y、Z之间的映射关系，t为预设参数。
进一步地，本发明实施例基于预设的分割算法对所述第二映射图像进行图像分割，得到分割区域图像。其中，所述分割算法为OTSU算法，即最大类间方差法，是一种对图像进行二值化的高效算法。
S4、将所述筛选病害图像和所述分割区域图像进行图像合并，并对图像合并后的图像进行形态学处理，得到标准病斑图像。
本发明实施例中，将所述筛选病害图像和所述分割区域图像进行图像合并，由于进行分割处理后的图像会存在噪声多，区域不连贯等多个问题，因此需要进行一系列的形态学处理，使得经过形态学处理后得到的标准病斑图像里面的病斑区域可以清晰且区域之间相互独立。
具体地，所述形态学处理包括图像去噪处理、边缘增强处理、腐蚀处理、膨化处理、彩色复原处理等。
详细地，所述图像去噪处理可以采用滤波的方法实现，例如，均值滤波、高斯滤波、双边滤波等；所述边缘增强处理可以为图像锐化方法，目的是为了使图像的边缘、轮廓线以及图像的细节变得更加清晰；所述腐蚀处理的目的是为了消除边界点，使得边界向内部收缩；所述膨胀处理的作用是将周围背景合并到目标区域中，使得边界得以向外扩张；所述彩色复原处理是将图像的颜色恢复为彩色，便于识别。
S5、以预设的MobileNetV2作为主干网络，并在所述主干网络上添加空间注意力机制模块和ghost模块，得到初始病害识别模型。
本发明实施例中，所述MobileNet网络是轻量级CNN网络，相比传统卷积神经网络，在准确率小幅降低的前提下大大减少模型参数与运算量。MobileNet v2网络相比MobileNet V1网络，准确率稍高，模型更小。
具体地，所述以预设的MobileNetV2作为主干网络，并在所述主干网络上添加空间注意力机制模块和ghost模块，得到初始病害识别模型，包括：
在所述MobileNetV2后加入混合通道和所述空间注意力机制模块；
将所述空间注意力机制模块中的卷积层替换为ghost模块，得到初始病害识别模块。
详细地，由于MobileNetV2通过学习图像的特征表示进行图像分类，然而图像特征中往往存在大量的无关特征甚至是干扰特征，这些特征的学习阻碍了网络性能的提升，而注意力机制模仿人脑接受外部信息时只处理重要信息而滤除次要信息的机制可以有效的提升网络性能。本发明实施例将注意力机制与 MobileNetV2 结合可以更好的关注图像上下文信息，使网络具有甄别特征中关键特征的能力，提高网络性能。进一步地，所述ghost模块是一种从特征图的冗余问题出发而被提出的一种轻量化卷积模块，该卷积模块通过一系列线性操作来生成更多的特征映射，在不改变输出特征图大小的情况下，既保证了模型的精度，又减少了模型的参数。
S6、分别提取所述标准病斑图像中的颜色特征、纹理特征及形状特征并汇总为特征数据集，利用所述特征数据集对所述初始病害识别模型进行训练，得到标准病害识别模型。
本发明实施例中，从所述标准病斑图像中的不同维度提取对应的特征数据并汇总为特征数据集，使得得到的所述特征数据集包含的数据更加丰富且全面，因此由所述特征数据集训练得到的标准病害识别模型进行病害识别的准确度更高。
具体地，所述提取所述标准病斑图像中的颜色特征，包括：
获取所述标准病斑图像在预设颜色空间中的颜色值；
基于预设的统计参数计算公式计算所述颜色值对应的颜色特征。
详细些，所述预设颜色空间可以为RGB颜色空间、HSV颜色空间或者Lab颜色空间。其中，所述RGB颜色空间对应于笛卡尔坐标系中的一个立方体，R、G、B分别表示3个坐标轴。所述HSV颜色空间对应于圆柱坐标系的一个圆锥形子集。所述Lab颜色空间为均匀颜色空间，对应于一个三维直角坐标系统。所述预设的统计参数计算公式不做确定，可以为计算颜色值均值的公式，计算颜色值方差的公式，又或者为计算颜色值偏度的公式，同时计算所得的均值、方差和偏度即为所述颜色值对应的颜色特征。
进一步地，本发明实施例可以选择局部算子方法-局部二值模式算法提取所述标准病斑图像中的纹理特征，此算法利用了邻接点与像素点的关系对像素点进行量化，达到有效消除光照变化对图像的影响，因此可以有效提取复杂背景下的农作物病斑图像的纹理特征。
具体地，本发明实施例可以采用Hu矩提取所述标准病斑图像中的形状特征，其中，所述Hu矩具有平移、旋转和缩放不变性的优点，且识别率稳定。
进一步地，本发明实施例在利用所述特征数据集对所述初始病害识别模型进行训练时，采用控制变量法调整所述初始病害识别模型的超参数、优化器或者分类器，进而选择效果最佳的模型参数。
具体地，所述利用所述特征数据集对所述初始病害识别模型进行训练，得到标准病害识别模型，包括：
利用所述初始病害识别模型中ghost模块的深度可分离卷积算法对所述特征数据集进行卷积处理，得到卷积数据集；
对所述卷积数据集进行池化处理，得到池化数据集；
将所述池化数据集输入至所述初始病害识别模型中的空间注意力机制模块中，得到注意力数据集；
将所述注意力数据集输入至预设的激活函数中，得到激活值，根据所述激活值确定所述特征数据集对应的初始病害分类；
当所述初始病害分类与预设的真实预测分类一致时，将所述初始病害识别模型输出为标准病害识别模型；
当所述初始病害分类与所述真实预测分类不一致时，对所述初始病害识别模型进行参数调整，并将所述特征数据集输入至参数调整后的初始病害识别模型中，得到调整分类结果；
当所述调整分类结果与所述真实预测分类一致时，将参数调整后的初始病害识别模型输出为标准病害识别模型。
进一步地，所述深度可分离卷积算法为：
Figure 980783DEST_PATH_IMAGE035
其中，
Figure 230499DEST_PATH_IMAGE036
为输入图片的大小，
Figure 684614DEST_PATH_IMAGE037
为卷积核的大小，M为输入图片的维度，N为卷积核的维度。
优选地，所述卷积核的维度为三维卷积核，故在理论情况下，普通卷积的计算量是深度可分离卷积的8-9倍。
具体地，所述将所述池化数据集输入至所述初始病害识别模型中的空间注意力机制模块中，得到注意力数据集：
Figure 135318DEST_PATH_IMAGE001
其中，
Figure 674884DEST_PATH_IMAGE002
为注意力数据集，
Figure 197132DEST_PATH_IMAGE003
(·)为sigmoid非线性激活函数，MLP表示所述空间注意力机制模块中的共享网络，
Figure 771333DEST_PATH_IMAGE004
和
Figure 986413DEST_PATH_IMAGE005
分别表示所述共享网络中多层感知器中的隐藏权重和输出层权重，
Figure 278854DEST_PATH_IMAGE006
和
Figure 604794DEST_PATH_IMAGE007
分别表示全局平均池化特征和最大池化特征，
Figure 33501DEST_PATH_IMAGE008
为池化数据集。
S7、获取待识别叶片图像，将所述待识别叶片图像输入至所述标准病害识别模型中，得到所述待识别叶片图像的叶片病害分类结果。
本发明实施例中，所述标准病害识别模型具有更加准确地病害识别能力。其中，所述叶片病害分类结果包含病害类型和病害程度，例如，所述待识别叶片图像的病害类型为灰斑病，病害程度为中度。
本发明实施例中，通过构建农作物叶片的历史病害图像对应的热力图并执行背景信息去除处理，使得得到的前置病害图像中的病害区域更加明显，分别将所述前置病害图像映射至不同的颜色空间并进行颜色区域去除处理或者图像分割处理，将进行颜色区域去除处理和图像分割处理进行图像合并，提高了图像合并后的图像的连贯性，并进行形态学处理，使得图像中的病斑清晰且相互独立。改进卷积神经网络，添加了空间注意力机制模块和ghost模块，得到初始病害识别模型，加入空间注意力机制模块能有效去除了无效特征，增强网络对于特征的细化能力，加入ghost模块从而达到不增加参数量和计算量的情况下保证了网络模型的精度的目的。基于特征数据集对初始病害模型进行训练，使得得到的标准病害识别模型进行病害识别更加准确，利用所述标准病害识别模型对待识别叶片图像进行识别，得到叶片病害分类结果。因此本发明提出的融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法可以解决农作物病害识别的准确度较低的问题。
如图2所示，是本发明一实施例提供的融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类装置的功能模块图。
本发明所述融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类装置100可以安装于电子设备中。根据实现的功能，所述融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类装置100可以包括图像处理模块101、模型构建模块102、模型训练模块103及病害识别模块104。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述图像处理模块101，用于获取多张农作物叶片的历史病害图像，构建所述历史病害图像对应的热力图，并对所述热力图进行背景信息去除处理，得到前置病害图像，将所述前置病害图像变换至HIS颜色空间，得到第一映射图像，去除所述第一映射图像中的预设颜色区域，得到筛选病害图像，将所述前置病害图像映射至Lab颜色空间，得到第二映射图像，基于预设的分割算法对所述第二映射图像进行图像分割，得到分割区域图像，将所述筛选病害图像和所述分割区域图像进行图像合并，并对图像合并后的图像进行形态学处理，得到标准病斑图像；
所述模型构建模块102，用于以预设的MobileNetV2作为主干网络，并在所述主干网络上添加空间注意力机制模块和ghost模块，得到初始病害识别模型；
所述模型训练模块103，用于分别提取所述标准病斑图像中的颜色特征、纹理特征及形状特征并汇总为特征数据集，利用所述特征数据集对所述初始病害识别模型进行训练，得到标准病害识别模型；
所述病害识别模块104，用于获取待识别叶片图像，将所述待识别叶片图像输入至所述标准病害识别模型中，得到所述待识别叶片图像的叶片病害分类结果。
详细地，所述融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类装置100各模块的具体实施方式如下：
步骤一、所述图像处理模块101获取多张农作物叶片的历史病害图像，构建所述历史病害图像对应的热力图，并对所述热力图进行背景信息去除处理，得到前置病害图像。
本发明实施例中，所述历史病害图像是指多种农作物在生长的早中期所拍摄下来的叶片的图片，其中，早中期是农作物的主要发病时期。本发明实施例可以通过智能手机、摄像头定位拍摄和田地间移动摄像头进行拍摄获取得到所述农作物叶片的历史病害图像。历史病害图像包括但不限于油菜、水稻、大豆和黄瓜等常见农作物出现黑斑病、梅霜病、白粉病和红叶病等病害情况的图片。
具体地，所述构建所述历史病害图像对应的热力图，包括：
将所述历史病害图像裁剪为预设大小的初始病害图像；
识别出所述初始病害图像的四个顶点，并计算所述初始病害图像的四个顶点的热力值信息，得到基本热力值；
基于所述基本热力值对所述初始病害图像进行双线性插值处理，得到所述初始病害图像中多个像素点的像素热力值；
根据多个像素点的像素热力值绘制所述历史病害图像对应的热力图。
详细地，所述预设大小可以为33mm*48mm，将所述初始病害图像的上方偏左，上方偏右，下方偏左和下方偏右的角落设定为四个顶点。其中，四个顶点为
Figure 419483DEST_PATH_IMAGE009
。所述双线性插值处理又称为双线性内插。所述双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。
进一步地，本发明实施例中，基于预设的热力值计算公式计算所述初始病害图像的四个顶点的热力值信息，得到基本热力值。
其中，所述预设的热力值计算公式为：
Figure 933641DEST_PATH_IMAGE010
其中，
Figure 791832DEST_PATH_IMAGE011
为热力点
Figure 75046DEST_PATH_IMAGE012
的热力值，
Figure 631929DEST_PATH_IMAGE013
表示第
Figure 633383DEST_PATH_IMAGE014
个顶点，j表示像素点的数值；n表示像素点的总数；k为预设的固定参数；
Figure 173266DEST_PATH_IMAGE016
为第i个顶点的热力值参数；
Figure 635471DEST_PATH_IMAGE017
为第k点的像素值，
Figure 124222DEST_PATH_IMAGE018
为第j点的像素值。
具体地，所述根据多个像素点的像素热力值绘制所述历史病害图像对应的热力图，包括：
将多个所述像素点的像素热力值映射至预设的直角坐标系上，得到像素热力图；
对所述像素热力图进行分块，得到多个分块热力图；
计算多个所述分块热力图的权重因子，将所述权重因子小于预设权重阈值的分块热力图执行删除处理，并保留所述权重因子大于所述预设权重阈值的分块热力图，得到所述历史病害图像对应的热力图。
详细地，假设所述像素热力图G的大小为M×N，对所述像素热力图G进行分块，划分为互不重叠的a×b个分块热力图，其中，
Figure 595654DEST_PATH_IMAGE019
。
进一步地，本发明实施例采用下述方法计算多个所述分块热力图的权重因子：
Figure 853460DEST_PATH_IMAGE020
其中，
Figure 752146DEST_PATH_IMAGE021
为所述分块热力图的权重因子，
Figure 462613DEST_PATH_IMAGE013
为所述像素热力值，
Figure 472157DEST_PATH_IMAGE022
为所述分块热力图的亮度信息值，
Figure 318891DEST_PATH_IMAGE023
为所述分块热力图的对比度信息值。
进一步地，本发明实施例利用GrabCut算法对所述热力图进行背景信息去除处理。其中，所述GrabCut算法是一种基于图论的图像分割方法，可以自动识别出所述热力图中的背景信息，并将所述背景信息舍弃。所述背景信息即背景区域信息。
步骤二、所述图像处理模块101进一步将所述前置病害图像变换至HIS颜色空间，得到第一映射图像，去除所述第一映射图像中的预设颜色区域，得到筛选病害图像。
本发明实施例中，所述HIS颜色空间用H、S、I三参数描述颜色特性，其中H定义颜色的频率，称为色调，S表示颜色的深浅程度，称为饱和度，I表示强度或亮度。HSI颜色空间反映了人的视觉系统感知彩色的方式，且将颜色信息与灰度信息分开，对光源变化不敏感。
具体地，所述将所述前置病害图像变换至HIS颜色空间，得到第一映射图像，包括：
获取所述前置病害图像中的红色值、绿色值和蓝色值；
基于预设的颜色变换公式将所述红色值、所述绿色值和所述蓝色值转换为色度值、饱和度值和亮度值；
根据所述色度值、所述饱和值和所述亮度值构建第一映射图像。
其中，所述所述前置病害图像中的红色值、绿色值和蓝色值分别指R值、G值和B值。
进一步地，本发明实施例基于下述颜色变换公式将所述红色值、所述绿色值和所述蓝色值转换为色度值、饱和度值和亮度值：
Figure 654057DEST_PATH_IMAGE024
Figure 851820DEST_PATH_IMAGE025
Figure 930635DEST_PATH_IMAGE026
Figure 897454DEST_PATH_IMAGE027
其中，
Figure 137942DEST_PATH_IMAGE028
为所述色度值，
Figure 823001DEST_PATH_IMAGE029
为所述饱和值，
Figure 439928DEST_PATH_IMAGE030
为所述亮度值，R为红色值，G为绿色值，B为蓝色值。
具体地，本发明实施例中，所述预设颜色区域为绿色区域，将农作物图片中绿色区域去除，达到过滤叶片绿色部分的目的。
步骤三、所述图像处理模块101进一步将所述前置病害图像映射至Lab颜色空间，得到第二映射图像，基于预设的分割算法对所述第二映射图像进行图像分割，得到分割区域图像。
本发明实施例中，所述所述Lab颜色空间（Lab color space，颜色-对立空间），是一种均匀、与设备无关的彩色模型，其中，维度L表示亮度，a和b表示颜色对立维度。
具体地，所述将所述前置病害图像映射至Lab颜色空间，得到第二映射图像，包括：
将所述前置病害图像转化为三维空间图像，再将所述三维空间图像转化到Lab颜色空间，得到第二映射图像。
本发明实施例先将RGB图像转化为三维空间图像，即XYZ空间图像，再由所述XYZ空间图像转化到Lab颜色空间。
进一步地，将所述前置病害图像转化为三维空间图像，包括：
Figure 261253DEST_PATH_IMAGE031
其中，R、G、B分别为所述前置病害图像的红色值、绿色值和蓝色值。
进一步地，所述将所述三维空间图像转化到所述Lab颜色空间，得到第二映射图像，包括：
Figure 938222DEST_PATH_IMAGE032
Figure 110577DEST_PATH_IMAGE033
其中，
Figure 265615DEST_PATH_IMAGE034
为中转函数，用于构建L、a和b与X、Y、Z之间的映射关系，t为预设参数。
进一步地，本发明实施例基于预设的分割算法对所述第二映射图像进行图像分割，得到分割区域图像。其中，所述分割算法为OTSU算法，即最大类间方差法，是一种对图像进行二值化的高效算法。
步骤四、所述图像处理模块101进一步将所述筛选病害图像和所述分割区域图像进行图像合并，并对图像合并后的图像进行形态学处理，得到标准病斑图像。
本发明实施例中，将所述筛选病害图像和所述分割区域图像进行图像合并，由于进行分割处理后的图像会存在噪声多，区域不连贯等多个问题，因此需要进行一系列的形态学处理，使得经过形态学处理后得到的标准病斑图像里面的病斑区域可以清晰且区域之间相互独立。
具体地，所述形态学处理包括图像去噪处理、边缘增强处理、腐蚀处理、膨化处理、彩色复原处理等。
详细地，所述图像去噪处理可以采用滤波的方法实现，例如，均值滤波、高斯滤波、双边滤波等；所述边缘增强处理可以为图像锐化方法，目的是为了使图像的边缘、轮廓线以及图像的细节变得更加清晰；所述腐蚀处理的目的是为了消除边界点，使得边界向内部收缩；所述膨胀处理的作用是将周围背景合并到目标区域中，使得边界得以向外扩张；所述彩色复原处理是将图像的颜色恢复为彩色，便于识别。
步骤五、所述模型构建模块102以预设的MobileNetV2作为主干网络，并在所述主干网络上添加空间注意力机制模块和ghost模块，得到初始病害识别模型。
本发明实施例中，所述MobileNet网络是轻量级CNN网络，相比传统卷积神经网络，在准确率小幅降低的前提下大大减少模型参数与运算量。MobileNet v2网络相比MobileNet V1网络，准确率稍高，模型更小。
具体地，所述以预设的卷积神经网络作为主干网络，并在所述主干网络上添加空间注意力机制模块和ghost模块，得到初始病害识别模型，包括：
在所述MobileNetV2后加入混合通道和所述空间注意力机制模块；
将所述空间注意力机制模块中的卷积层替换为ghost模块，得到初始病害识别模块。
详细地，由于MobileNetV2通过学习图像的特征表示进行图像分类，然而图像特征中往往存在大量的无关特征甚至是干扰特征，这些特征的学习阻碍了网络性能的提升，而注意力机制模仿人脑接受外部信息时只处理重要信息而滤除次要信息的机制可以有效的提升网络性能。本发明实施例将注意力机制与MobileNetV2结合可以更好的关注图像上下文信息，使网络具有甄别特征中关键特征的能力，提高网络性能。进一步地，所述ghost模块是一种从特征图的冗余问题出发而被提出的一种轻量化卷积模块，该卷积模块通过一系列线性操作来生成更多的特征映射，在不改变输出特征图大小的情况下，既保证了模型的精度，又减少了模型的参数。
步骤六、所述模型训练模块103分别提取所述标准病斑图像中的颜色特征、纹理特征及形状特征并汇总为特征数据集，利用所述特征数据集对所述初始病害识别模型进行训练，得到标准病害识别模型。
本发明实施例中，从所述标准病斑图像中的不同维度提取对应的特征数据并汇总为特征数据集，使得得到的所述特征数据集包含的数据更加丰富且全面，因此由所述特征数据集训练得到的标准病害识别模型进行病害识别的准确度更高。
具体地，所述提取所述标准病斑图像中的颜色特征，包括：
获取所述标准病斑图像在预设颜色空间中的颜色值；
基于预设的统计参数计算公式计算所述颜色值对应的颜色特征。
详细些，所述预设颜色空间可以为RGB颜色空间、HSV颜色空间或者Lab颜色空间。其中，所述RGB颜色空间对应于笛卡尔坐标系中的一个立方体，R、G、B分别表示3个坐标轴。所述HSV颜色空间对应于圆柱坐标系的一个圆锥形子集。所述Lab颜色空间为均匀颜色空间，对应于一个三维直角坐标系统。所述预设的统计参数计算公式不做确定，可以为计算颜色值均值的公式，计算颜色值方差的公式，又或者为计算颜色值偏度的公式，同时计算所得的均值、方差和偏度即为所述颜色值对应的颜色特征。
进一步地，本发明实施例可以选择局部算子方法-局部二值模式算法提取所述标准病斑图像中的纹理特征，此算法利用了邻接点与像素点的关系对像素点进行量化，达到有效消除光照变化对图像的影响，因此可以有效提取复杂背景下的农作物病斑图像的纹理特征。
具体地，本发明实施例可以采用Hu矩提取所述标准病斑图像中的形状特征，其中，所述Hu矩具有平移、旋转和缩放不变性的优点，且识别率稳定。
进一步地，本发明实施例在利用所述特征数据集对所述初始病害识别模型进行训练时，采用控制变量法调整所述初始病害识别模型的超参数、优化器或者分类器，进而选择效果最佳的模型参数。
具体地，所述利用所述特征数据集对所述初始病害识别模型进行训练，得到标准病害识别模型，包括：
利用所述初始病害识别模型中ghost模块的深度可分离卷积算法对所述特征数据集进行卷积处理，得到卷积数据集；
对所述卷积数据集进行池化处理，得到池化数据集；
将所述池化数据集输入至所述初始病害识别模型中的空间注意力机制模块中，得到注意力数据集；
将所述注意力数据集输入至预设的激活函数中，得到激活值，根据所述激活值确定所述特征数据集对应的初始病害分类；
当所述初始病害分类与预设的真实预测分类一致时，将所述初始病害识别模型输出为标准病害识别模型；
当所述初始病害分类与所述真实预测分类不一致时，对所述初始病害识别模型进行参数调整，并将所述特征数据集输入至参数调整后的初始病害识别模型中，得到调整分类结果；
当所述调整分类结果与所述真实预测分类一致时，将参数调整后的初始病害识别模型输出为标准病害识别模型。
进一步地，所述深度可分离卷积算法为：
Figure 941447DEST_PATH_IMAGE035
其中，
Figure 523738DEST_PATH_IMAGE036
为输入图片的大小，
Figure 183390DEST_PATH_IMAGE037
为卷积核的大小，M为输入图片的维度，N为卷积核的维度。
优选地，所述卷积核的维度为三维卷积核，故在理论情况下，普通卷积的计算量是深度可分离卷积的8-9倍。
具体地，所述将所述池化数据集输入至所述初始病害识别模型中的空间注意力机制模块中，得到注意力数据集：
Figure 142118DEST_PATH_IMAGE001
其中，
Figure 938036DEST_PATH_IMAGE002
为注意力数据集，
Figure 691229DEST_PATH_IMAGE003
(·)为sigmoid非线性激活函数，MLP表示所述空间注意力机制模块中的共享网络，
Figure 838176DEST_PATH_IMAGE004
和
Figure 600596DEST_PATH_IMAGE005
分别表示所述共享网络中多层感知器中的隐藏权重和输出层权重，
Figure 251020DEST_PATH_IMAGE006
和
Figure 440693DEST_PATH_IMAGE007
分别表示全局平均池化特征和最大池化特征；
Figure 809357DEST_PATH_IMAGE008
为池化数据集。
步骤七、所述病害识别模块104获取待识别叶片图像，将所述待识别叶片图像输入至所述标准病害识别模型中，得到所述待识别叶片图像的叶片病害分类结果。
本发明实施例中，所述标准病害识别模型具有更加准确地病害识别能力。其中，所述叶片病害分类结果包含病害类型和病害程度，例如，所述待识别叶片图像的病害类型为灰斑病，病害程度为中度。
如图3所示，是本发明一实施例提供的实现融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法的电子设备的结构示意图。
所述电子设备可以包括处理器10、存储器11、通信接口12和总线13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类程序。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（SecureDigital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类程序等），以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
所述通信接口12用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
所述总线13可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线13可以分为地址总线、数据总线、控制总线等。所述总线13被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。
可选地，该电子设备还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备中的所述存储器11存储的融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类程序是多个指令的组合，在所述处理器10中运行时，可以实现：
获取多张农作物叶片的历史病害图像，构建所述历史病害图像对应的热力图，并对所述热力图进行背景信息去除处理，得到前置病害图像；
将所述前置病害图像变换至HIS颜色空间，得到第一映射图像，去除所述第一映射图像中的预设颜色区域，得到筛选病害图像；
将所述前置病害图像映射至Lab颜色空间，得到第二映射图像，基于预设的分割算法对所述第二映射图像进行图像分割，得到分割区域图像；
将所述筛选病害图像和所述分割区域图像进行图像合并，并对图像合并后的图像进行形态学处理，得到标准病斑图像；
以预设的MobileNetV2作为主干网络，并在所述主干网络上添加空间注意力机制模块和ghost模块，得到初始病害识别模型；
分别提取所述标准病斑图像中的颜色特征、纹理特征及形状特征并汇总为特征数据集，利用所述特征数据集对所述初始病害识别模型进行训练，得到标准病害识别模型；
获取待识别叶片图像，将所述待识别叶片图像输入至所述标准病害识别模型中，得到所述待识别叶片图像的叶片病害分类结果。
具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取多张农作物叶片的历史病害图像，构建所述历史病害图像对应的热力图，并对所述热力图进行背景信息去除处理，得到前置病害图像；
将所述前置病害图像变换至HIS颜色空间，得到第一映射图像，去除所述第一映射图像中的预设颜色区域，得到筛选病害图像；
将所述前置病害图像映射至Lab颜色空间，得到第二映射图像，基于预设的分割算法对所述第二映射图像进行图像分割，得到分割区域图像；
将所述筛选病害图像和所述分割区域图像进行图像合并，并对图像合并后的图像进行形态学处理，得到标准病斑图像；
以预设的MobileNetV2作为主干网络，并在所述主干网络上添加空间注意力机制模块和ghost模块，得到初始病害识别模型；
分别提取所述标准病斑图像中的颜色特征、纹理特征及形状特征并汇总为特征数据集，利用所述特征数据集对所述初始病害识别模型进行训练，得到标准病害识别模型；
获取待识别叶片图像，将所述待识别叶片图像输入至所述标准病害识别模型中，得到所述待识别叶片图像的叶片病害分类结果。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (7)

1.一种融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法，其特征在于，所述方法包括：
获取多张农作物叶片的历史病害图像，构建所述历史病害图像对应的热力图，并对所述热力图进行背景信息去除处理，得到前置病害图像；
将所述前置病害图像变换至HIS颜色空间，得到第一映射图像，去除所述第一映射图像中的预设颜色区域，得到筛选病害图像；
将所述前置病害图像映射至Lab颜色空间，得到第二映射图像，基于预设的分割算法对所述第二映射图像进行图像分割，得到分割区域图像；
将所述筛选病害图像和所述分割区域图像进行图像合并，并对图像合并后的图像进行形态学处理，得到标准病斑图像；
以预设的MobileNetV2作为主干网络，并在所述主干网络上添加空间注意力机制模块和ghost模块，得到初始病害识别模型；
分别提取所述标准病斑图像中的颜色特征、纹理特征及形状特征并汇总为特征数据集，利用所述特征数据集对所述初始病害识别模型进行训练，得到标准病害识别模型；
获取待识别叶片图像，将所述待识别叶片图像输入至所述标准病害识别模型中，得到所述待识别叶片图像的叶片病害分类结果。
2.如权利要求1所述的融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法，其特征在于，所述构建所述历史病害图像对应的热力图，包括：
将所述历史病害图像裁剪为预设大小的初始病害图像；
识别出所述初始病害图像的四个顶点，并计算所述初始病害图像的四个顶点的热力值信息，得到基本热力值；
基于所述基本热力值对所述初始病害图像进行双线性插值处理，得到所述初始病害图像中多个像素点的像素热力值；
根据多个像素点的像素热力值绘制所述历史病害图像对应的热力图。
3.如权利要求2所述的融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法，其特征在于，所述根据多个像素点的像素热力值绘制所述历史病害图像对应的热力图，包括：
将多个所述像素点的像素热力值映射至预设的直角坐标系上，得到像素热力图；
对所述像素热力图进行分块，得到多个分块热力图；
计算多个所述分块热力图的权重因子，将所述权重因子小于预设权重阈值的分块热力图执行删除处理，并保留所述权重因子大于所述预设权重阈值的分块热力图，得到所述历史病害图像对应的热力图。
4.如权利要求1所述的融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法，其特征在于，所述将所述前置病害图像变换至HIS颜色空间，得到第一映射图像，包括：
获取所述前置病害图像中的红色值、绿色值和蓝色值；
基于预设的颜色变换公式将所述红色值、所述绿色值和所述蓝色值转换为色度值、饱和度值和亮度值；
根据所述色度值、所述饱和值和所述亮度值构建第一映射图像。
5.如权利要求1所述的融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法，其特征在于，所述以预设的MobileNetV2作为主干网络，并在所述主干网络上添加空间注意力机制模块和ghost模块，得到初始病害识别模型，包括：
在所述MobileNetV2后加入混合通道和所述空间注意力机制模块；
将所述空间注意力机制模块中的卷积层替换为ghost模块，得到初始病害识别模块。
6.如权利要求1所述的融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法，其特征在于，所述利用所述特征数据集对所述初始病害识别模型进行训练，得到标准病害识别模型，包括：
利用所述初始病害识别模型中ghost模块的深度可分离卷积算法对所述特征数据集进行卷积处理，得到卷积数据集；
对所述卷积数据集进行池化处理，得到池化数据集；
将所述池化数据集输入至所述初始病害识别模型中的空间注意力机制模块中，得到注意力数据集；
将所述注意力数据集输入至预设的激活函数中，得到激活值，根据所述激活值确定所述特征数据集对应的初始病害分类；
当所述初始病害分类与预设的真实预测分类一致时，将所述初始病害识别模型输出为标准病害识别模型；
当所述初始病害分类与所述真实预测分类不一致时，对所述初始病害识别模型进行参数调整，并将所述特征数据集输入至参数调整后的初始病害识别模型中，得到调整分类结果；
当所述调整分类结果与所述真实预测分类一致时，将参数调整后的初始病害识别模型输出为标准病害识别模型。
7.如权利要求6所述的融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法，其特征在于，所述将所述池化数据集输入至所述初始病害识别模型中的空间注意力机制模块中，得到注意力数据集，包括：
Figure 304589DEST_PATH_IMAGE001
其中，
Figure 296816DEST_PATH_IMAGE002
为注意力数据集，
Figure 195502DEST_PATH_IMAGE003
(·)为sigmoid非线性激活函数，MLP表示所述空间注意力机制模块中的共享网络，
Figure 171548DEST_PATH_IMAGE004
和
Figure 446671DEST_PATH_IMAGE005
分别表示所述共享网络中多层感知器中的隐藏权重和输出层权重，
Figure 293405DEST_PATH_IMAGE006
和
Figure 628571DEST_PATH_IMAGE007
分别表示全局平均池化特征和最大池化特征，
Figure 826334DEST_PATH_IMAGE008
为池化数据集。
CN202210355070.3A 2022-04-06 2022-04-06 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法 Pending CN114842240A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210355070.3A CN114842240A (zh) 2022-04-06 2022-04-06 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210355070.3A CN114842240A (zh) 2022-04-06 2022-04-06 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法

Publications (1)

Publication Number Publication Date
CN114842240A true CN114842240A (zh) 2022-08-02

Family

ID=82564689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210355070.3A Pending CN114842240A (zh) 2022-04-06 2022-04-06 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法

Country Status (1)

Country Link
CN (1) CN114842240A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246176A (zh) * 2023-05-12 2023-06-09 山东建筑大学 一种农作物的病害检测方法、装置、电子设备及存储介质
CN117636149A (zh) * 2024-01-26 2024-03-01 济南市勘察测绘研究院 基于图像增强的水下目标物勘探识别方法及系统
CN117636149B (zh) * 2024-01-26 2024-04-26 济南市勘察测绘研究院 基于图像增强的水下目标物勘探识别方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598908A (zh) * 2014-09-26 2015-05-06 浙江理工大学 一种农作物叶部病害识别方法
CN109949310A (zh) * 2019-03-27 2019-06-28 赵杨 一种基于Lab颜色空间的西瓜花体图像分割方法
CN111414894A (zh) * 2020-04-10 2020-07-14 吉林农业大学 一种基于遥感图像的农作物病害识别方法
CN111860330A (zh) * 2020-07-21 2020-10-30 陕西工业职业技术学院 基于多特征融合和卷积神经网络的苹果叶部病害识别方法
CN113052254A (zh) * 2021-04-06 2021-06-29 安徽理工大学 多重注意力幽灵残差融合分类模型及其分类方法
CN113158956A (zh) * 2021-04-30 2021-07-23 杭州电子科技大学 一种基于改进型yolov5网络的垃圾检测与识别方法
CN113269191A (zh) * 2021-04-19 2021-08-17 内蒙古智诚物联股份有限公司 一种农作物叶片病害识别方法、装置和存储介质
CN113283419A (zh) * 2021-04-29 2021-08-20 国网浙江省电力有限公司湖州供电公司 基于注意力的卷积神经网络指针式仪表图像读数识别方法
CN113409253A (zh) * 2021-06-02 2021-09-17 南京公诚节能新材料研究院有限公司 农情监测关键技术方法
CN113449743A (zh) * 2021-07-12 2021-09-28 西安科技大学 一种煤尘颗粒特征提取方法
CN113537006A (zh) * 2021-07-01 2021-10-22 昆明理工大学 一种基于卷积神经网络的普洱生茶和熟茶判定方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598908A (zh) * 2014-09-26 2015-05-06 浙江理工大学 一种农作物叶部病害识别方法
CN109949310A (zh) * 2019-03-27 2019-06-28 赵杨 一种基于Lab颜色空间的西瓜花体图像分割方法
CN111414894A (zh) * 2020-04-10 2020-07-14 吉林农业大学 一种基于遥感图像的农作物病害识别方法
CN111860330A (zh) * 2020-07-21 2020-10-30 陕西工业职业技术学院 基于多特征融合和卷积神经网络的苹果叶部病害识别方法
CN113052254A (zh) * 2021-04-06 2021-06-29 安徽理工大学 多重注意力幽灵残差融合分类模型及其分类方法
CN113269191A (zh) * 2021-04-19 2021-08-17 内蒙古智诚物联股份有限公司 一种农作物叶片病害识别方法、装置和存储介质
CN113283419A (zh) * 2021-04-29 2021-08-20 国网浙江省电力有限公司湖州供电公司 基于注意力的卷积神经网络指针式仪表图像读数识别方法
CN113158956A (zh) * 2021-04-30 2021-07-23 杭州电子科技大学 一种基于改进型yolov5网络的垃圾检测与识别方法
CN113409253A (zh) * 2021-06-02 2021-09-17 南京公诚节能新材料研究院有限公司 农情监测关键技术方法
CN113537006A (zh) * 2021-07-01 2021-10-22 昆明理工大学 一种基于卷积神经网络的普洱生茶和熟茶判定方法
CN113449743A (zh) * 2021-07-12 2021-09-28 西安科技大学 一种煤尘颗粒特征提取方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
KAI HAN: "GhostNet: More Features From Cheap Operations", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
SANGHYUN WOO: "CBAM: Convolutional Block Attention Module", 《COMPUTER VISION – ECCV 2018》 *
卜翔宇: "基于叶片图像的农作物病害识别方法研究", 《中国优秀硕士学位论文全文数据库 农业科技辑》 *
宋丽娟: "基于图像的农作物病害识别关键算法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
杨贞: "《图像特征处理技术及应用》", 31 August 2020 *
董洪义: "《深度学习之PyTorch物体检测实战》", 31 January 2020 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246176A (zh) * 2023-05-12 2023-06-09 山东建筑大学 一种农作物的病害检测方法、装置、电子设备及存储介质
CN116246176B (zh) * 2023-05-12 2023-09-19 山东建筑大学 一种农作物的病害检测方法、装置、电子设备及存储介质
CN117636149A (zh) * 2024-01-26 2024-03-01 济南市勘察测绘研究院 基于图像增强的水下目标物勘探识别方法及系统
CN117636149B (zh) * 2024-01-26 2024-04-26 济南市勘察测绘研究院 基于图像增强的水下目标物勘探识别方法及系统

Similar Documents

Publication Publication Date Title
Christlein et al. An evaluation of popular copy-move forgery detection approaches
US11158091B2 (en) Methods and systems for human imperceptible computerized color transfer
CN109325484B (zh) 基于背景先验显著性的花卉图像分类方法
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
Neal et al. Measuring shape
CN110705583A (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
CN112418216B (zh) 一种复杂自然场景图像中的文字检测方法
CN114758249B (zh) 基于野外夜间环境的目标物监测方法、装置、设备及介质
CN109410168A (zh) 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法
CN111476849B (zh) 对象颜色识别方法、装置、电子设备以及存储介质
CN105844213B (zh) 一种绿色果实识别方法
Pesaresi et al. A new compact representation of morphological profiles: Report on first massive VHR image processing at the JRC
CN107169425A (zh) 一种商品属性的识别方法及装置
CN112257702A (zh) 一种基于增量学习的农作物病害识别方法
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及系统
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
CN108711160A (zh) 一种基于hsi增强性模型的目标分割方法
CN114842240A (zh) 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法
Wei et al. A novel color image retrieval method based on texture and deep features
CN113052923A (zh) 色调映射方法、装置、电子设备和存储介质
Liu Two decades of colorization and decolorization for images and videos
Kınlı et al. Modeling the lighting in scenes as style for auto white-balance correction
CN114155165A (zh) 一种基于半监督的图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220802

RJ01 Rejection of invention patent application after publication