CN113627472A - 基于分层深度学习模型的智慧园林食叶害虫识别方法 - Google Patents

Abstract

本发明公开了一种基于分层深度学习模型的智慧园林食叶害虫识别方法，包括：获取用于食叶害虫识别的图像数据集，利用Retinex图像增强算法对获取的图像进行预处理，并分成训练集、验证集和测试集；构建分层深度学习模型，其包括两层，第一层具体为在已有的YOLO网络的特征提取模块头部嵌入残差可变形卷积模块；第二层具体为在已有的Faster R‑CNN网络中加入全局激活区域生成网络以及局部激活区域生成网络；利用训练集对分层深度学习模型进行训练，利用验证集对分层深度学习模块进行验证，得到训练好的分层深度学习模型；将测试集输入训练好的分层深度学习模型中，得到食叶害虫识别结果。本发明方法能够实现更为及时和有效的害虫防治工作。

Description

基于分层深度学习模型的智慧园林食叶害虫识别方法

技术领域

本发明属于人工智能食叶害虫识别领域，具体涉及一种基于分层深度学习模型的智慧园林食叶害虫识别方法。

背景技术

园林植物是城市生态环境的主体,在改善空气质量,除尘降温,增湿防风,蓄水防洪,以及维护生态平衡,改善生态环境中起着主导和不可替代的作用,随着社会的发展,人们对居住环境要求越来越高,城市绿化越来越受到重视，总体绿化的整体连接在一起，小区绿化呈现出多样化趋势，城市开始向风景化发展，引进了许多的新的绿化树种，中小型的灌木结构也开始形成，草坪和花卉面积的迅速扩大,这也导致了园林植物害虫群落的快速演变,特别是食叶性害虫发生数量和危害程度越来越严重,部分树种出现了“夏树冬景”的现象,破坏了城市绿化和生态环境,使其失去观赏价值。

目前虫害的主要防治手段为化学法，虽然化学药剂的使用可以大幅度减小虫害带来的损失，但也带来了环境破坏、生态污染等问题。为了提升农业科学化、现代化和智能化水平，亟需新的手段对传统虫害防治措施进行改进升级。害虫的高效、准确判别是害虫治理过程的重要前提。传统方法主要依靠农业专家和种植经验，识别效率较低、识别准确率不稳定、耗时耗力并且难以实现大面积推广。此外，也有一些专家学者通过传统机器视觉技术对害虫图像进行特征提取(HOG、Sift算法、人工神经网络算法等)，从而对农业害虫进行识别，但这种手段的效果也难以满足实际需要，大多局限于实验室层次的研究，模型的泛化能力较差，鲁棒性较差。近些年来，深度学习技术、计算机视觉技术、卷积神经网络技术和大数据技术等新型人工智能技术蓬勃发展，为图像级别的特征识别和处理工作赋予更多的可能性，相比于传统机器视觉技术，基于深度学习的计算机视觉技术在图像处理、特征提取、特征抽象和特征分类等诸多方面更加高效和准确，基于深度学习的害虫识别和分类技术有望进一步改善和解决当前害虫识别方法中存在的一系列问题，以实现更为及时和有效的害虫防治工作。

发明内容

发明目的：针对以上问题，本发明提出一种基于分层深度学习模型的智慧园林食叶害虫识别方法，先通过Retinex算法使得图像颜色恒常、动态范围压缩以及边缘增强上实现均衡，后构建分层深度学习模型，以改进的YOLOv3和Faster R-CNN网络构建模型的第一层和第二层实现对食叶害虫的识别。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于分层深度学习模型的智慧园林食叶害虫识别方法，具体包括如下步骤：

步骤1，获取用于食叶害虫识别的图像数据集，利用Retinex图像增强算法对获取的图像数据集进行预处理，并根据一定比例将处理后的图像数据集分成训练集、验证集和测试集；

步骤2，构建分层深度学习模型，用于对图像进行食叶害虫识别；所述分层深度学习模型包括两层，第一层具体为在已有的YOLO网络的特征提取模块头部嵌入残差可变形卷积模块；第二层具体为在已有的Faster R-CNN网络中加入全局激活区域生成网络以及局部激活区域生成网络；

步骤3，利用训练集对分层深度学习模型进行训练，利用验证集对分层深度学习模块进行验证，得到训练好的分层深度学习模型；

步骤4，将测试集输入训练好的分层深度学习模型中，得到食叶害虫识别结果。

进一步地，步骤1中所述利用Retinex图像增强算法对获取的图像数据集进行预处理，过程如下：

式中，r(x，y)表示输出图像，R(x，y)表示反射图像，S(x，y)表示输入图像，L(x，y)表示亮度图像，F(x，y)表示高斯中心环绕函数，λ为归一化系数，q为高斯环绕尺度，x表示图像像素点横坐标，y表示图像像素点纵坐标。

进一步地，步骤2中所述残差可变形卷积模块是由3个3×3的可变形卷积模块加1个连接层组成；每个所述可变形卷积模块均是由1个可变形卷积、1个BN层和1个leaky激活层组成。

进一步地，步骤2中所述残差可变形卷积模块的具体是实现过程如下：

在输入特征图上使用规则网格R进行采样，并对规则网格R增加偏移量进行扩张，同时对每一个采样点预测一个权值Δm_n，则对于输出特征图上不同采样点的输出值表示如下：

其中，y′表示输出值；R表示规则网格；p_n表示规则网格R中所列位置的枚举；Δp_n表示偏移量，{Δp_n|n＝1，...，N}；N表示采样点的总数目；w表示卷积核；x′表示利用双线性插值法得出的值；p₀表示输出的特征图上的某个位置；Δm_n表示对第n个采样点预测的权值。

进一步地，步骤2中所述全局激活区域生成网络包括通道注意力模块和空间注意力模块，用于对图像全局特征的激活权重进行学习，输出全局特征图；具体如下：

式中，

表示全局激活区域生成网络输出的全局特征图；

表示利用通道注意力模块输出的全局特征图；

表示利用空间注意力模块输出的全局特征图。

进一步地，所述利用通道注意力模块输出的全局特征图，具体如下：

对于输入的全局特征图X_g在通道注意力模块的分支张量为X_c，令X_c＝X_g；

首先，采用全局池化操作F_gp消除全局特征图在高H_g和宽W_g上的影响，具体为对X_c中的通道大小为H_g×W_g的特征图x_c上进行全局池化操作，将每张特征图x_c的全局池化输出z_c进行连接构成1×1×C_g的一维向量Z_c；其中，C_g表示卷积核深度；

所述全局池化操作F_gp表示如下：

式中，i表示特征图横坐标，i∈H_g；j表示特征图纵坐标，j∈W_g；x_c(i，j)表示特征图上的像素点；

接着，用两层全连接神经网络对Z_c进一步特征提取和学习：

其中，W₁₁和W₁₂分别为两个全连接层的学习参数，b₁₁和b₁₂为偏量；σ₁₁和σ₁₂分别为第一个全连接层的激活函数RELU和第二个全连接层的激活函数Sigmoid；

然后，将输入全局特征图x_c和输出激活向量u_c在通道层面加权完成重校准，具体如下：

x_c ^*＝x_c×u_c

式中，x_c ^*表示输出特征激活图；x_c表示具体输入全局特征图；u_c表示具体输出激活向量；

最后，将各个通道得到的x_c ^*进行叠加，得到全局特征图输出

所述全局特征图输出

的大小为H_g×W_g×C_g。

进一步地，所述利用空间注意力模块输出的全局特征图，具体如下：

首先，使用全局卷积操作F_gc消除各通道信息的影响，具体如下：

其中，z_s(i，j)表示不同输出的特征图的像素点；i表示特征图横坐标，i∈H_g，H_g表示特征图的高；j表示特征图纵坐标，j∈W_g，W_g表示特征图的宽；F_gc(x_g)表示全局卷积操作；C_g表示卷积核深度；m表示卷积核的长度；v表示卷积核的宽度；X_g(i+m，j+v，c)表示输入的全局特征图；K₁₁为全局卷积操作的卷积核，卷积核大小为m×v×C_g；b表示卷积核偏置量；

然后，分别采用第一组膨胀卷积和第二组膨胀卷积先后对激活矩阵进行学习，其中第一组膨胀卷积的卷积层激活函数为ReLu函数，卷积核为K₁，卷积核的偏置量为b₂₁；第二组膨胀卷积的卷积层激活函数为Sigmoid函数，卷积核为K₂，卷积核的偏置量为b₂₂；所述激活矩阵的学习具体如下：

U_S＝σ₂₂(K₂*σ₂₁(K₁*Z_S+b₂₁)+b₂₂)

式中，U_S表示激活矩阵，大小为H_g×W_g×1；σ₂₂表示Sigmoid激活函数；σ₂₁表示ReLU激活函数；Z_S表示输出特征图；

接着，在每个通道上使用指数运算融合激活矩阵u_s和输入的全局特征图x_g，具体如下：

式中，

表示空间全局激活特征图；x_g表示输入的全局特征图；u_s(i，j)表示激活矩阵u_s第i行第j列的元素；

最后，将各个通道激活后的特征图

进行堆叠，得到全局特征图在空间层面的空间激活特征图

进一步地，步骤2中所述局部激活区域生成网络包括上下文特征强化模块和自注意力激活模块；所述上下文特征强化模块，用于对全局激活区域生成网络输出的全局特征图处理得到上下文强化局部特征图；所述自注意力激活模块，用于根据上下文强化局部特征图对局部位置进行强化。

进一步地，所述上下文特征强化模块，用于对全局激活区域生成网络输出的全局特征图处理得到上下文强化局部特征图，具体过程如下：

首先将标准区域生成网络应用在全局激活区域生成网络输出的每一个全局特征图上，为预设的锚点匹配对应监督值；同时标准区域生成网络用滑窗在全局特征图上搜索与锚点交并比高的存在，在上下文特征强化模块中对生成的候选框B分别在左上、左下、右上、右下位置分别扩大1.5倍，具体如下：

B_tl＝(max(0，x₁-0.5f)，max(0，y₁-0.5h)，1.5f，1.5h)

B_bl＝(max(0，x₁-0.5f)，y₁，1.5f，1.5h)

B_tr＝(x₁，max(0，y₁-0.5h)，1.5f，1.5h)

B_br＝(x₁，y₁，1.5f，1.5h)

式中，B_tl表示位于左上角的候选框；x₁表示候选框B的点的横坐标；f表示候选框B的宽度；h表示候选框B的高度；y₁表示候选框B的点的纵坐标；B_bl表示位于右上角的候选框；B_tr表示位于左下角的候选框；B_br表示位于右下角的候选框；

然后分别对扩大1.5倍后的左上、左下、右上、右下的候选框进行RoIAlign提取局部特征，并与各自对应的原候选框B局部特征相连，通过1×1卷积融合消除混叠，从而得到上下文强化局部特征图X_L。

进一步地，所述自注意力激活模块，用于根据上下文强化局部特征图对局部位置进行强化，具体过程如下：

首先，对上下文强化的局部特征图X_L进行三个并行1×1卷积，输出大小一致的局部特征图f(X_L)、g(X_L)和h(X_L)；其中，

f(X_L)＝K_f*X_L

g(X_L)＝K_g*X_L

h(X_L)＝K_h*X_L

其中K_f、K_g和K_h分别表示三分支的卷积核，大小均为1×1×C_g；

然后，将特征图f(X_L)在空间上转置后与g(X_L)逐像素相乘，输出特征图s如下：

s＝f(X_L)^Tg(X_L)

接着，将特征图s进行1×1卷积降维，得到大小为k×k的二维局部激活矩阵；

最后，利用Softmax激活函数学习待局部强化的每个像素点的权重值作为激活矩阵的项，得到激活矩阵U_a，将激活矩阵U_a与h(X_L)融合以强化局部位置；其中激活矩阵U_a的元素具体如下：

其中，U_a(i′，j′)表示激活矩阵U_a第i′行第j′列的元素；s(i′，j′)表示输出特征图s中每个点的权重值；i′表示不同像素点的横坐标；j′表示不同像素点的纵坐标；k表示二维局部激活矩阵的宽或高。

有益效果：与现有技术相比，本发明技术方案具有以下有益技术效果：

1.采用分层深度学习模型；先通过速度较快的yolo算法对图片进行粗检测，对图片进行快速过滤，将明显不存在食叶害虫的图片排除，剩下的图片再输入改进后的FasterR-CNN进行检测。这样在速度与检测效率之间取得平衡，使实时检测的效果有所改善。

2.基于YOLOv3虽然速度快但检测精度较低的问题，提出一种残差可变形卷积模块，使网络可以自适应的学习特征点的感受野从而提升对小目标害虫的检测能力。

3.基于Faster R-CNN对于食叶害虫这样的小目标检测效果不够理想的问题，基于标准特征金字塔结构，设计了新的全局特征激活网络和局部激活区域生成网络，在全局和局部层面加强了对小目标害虫的识别能力。

附图说明

图1是一种实施例下可变形卷积计算流程图；

图2是一种实施例下可变形卷积模块结构图；

图3是一种实施例下全局特征激活网络结构图；

图4是一种实施例下局部激活区域生成网结构。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

本发明所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法，如图1所示，具体包括以下步骤：

步骤1：基于Retinex的图像预处理：利用高斯环绕函数对预先获取的图片进行卷积，输出反射分量达到图像增强。

在实际的园林场景中，可能有由于不佳的天气环境、树叶的遮蔽或者物体表面的反射等，导致图像质量下降，使得图像的纹理特征会出现模糊，而且害虫本身的触角、足、翅等特征十分细腻，很难将其分别清楚。这些可能会在特征提取过程中提取到错误的信息。而通过图像增强技术可以降低受到不利因素影响的程度，且可以提取特定的信息，并抑制干扰信息，以此提升图像的质量。

图像增强的分类有很多，主要以作用域来划分，可以分为频率域和空间域。频域增强是在傅里叶变换到频域后进行处理，再变换回空间域得到增强图像的方法，如常用的低通滤波和高通滤波。空间域则是以像素为单位直接对图像进行处理。常用的图像增强方法有两种，一种是直方图均衡化，另一种是拉普拉斯算子法。

直方图均衡化就是将一幅对比度较低的图像所对应的灰度直方图，通过变换函数的处理，将直方图中的灰度转换为均衡分布，从而增强图像的清晰度。其中变换函数的离散化表示为：

在上述函数中，S_k′是变换函数的离散表示，n_k′是灰度为r_k′的像素数量，L′是图像所对应的灰度级数量，根据像素灰度r_k′映射的S_k′可以获得输出图像的像素灰度。

拉普拉斯算子法方向有很好的抗性，同时具有旋转不变性，且对像素值发生跳变的部分较为敏感。二维空间f(x，y)中的拉普拉斯算子定义如下：

对于阶跃状边缘，导数在边缘点两侧的二阶导数异号此，据此，对数字图像f(x′，y〞)每个像素，取它关于X轴方向和Y轴方向的二阶差分之和。由此可得离散二维空间上的拉普拉斯算子是：

由二阶微分的概念可知，拉普拉斯算子强调的是图像中灰度的突变，以此来探测图像中物体轮廓边缘的部分，而图像真正增强的处理就是把原图像与拉普拉斯滤波得到的边缘部分叠加，来提升边缘部分像素的灰度值，起到锐化的作用。如下所示：

其中f(x′，y〞)表示输入图像，g(x′，y〞)表示锐化后的图像，c′为叠加常数。

本文具体利用Retinex理论进行图像增强。Retinex图像增强算法与一般的图像增强算法存在一定的差异性，其能够在颜色恒常、动态范围压缩以及边缘增强上实现均衡，具有明显的自适应特性，满足了多种类型图像的处理要求。

单尺度Retinex理论采用S(x，y)表示输入图像，可以将其分解为两幅不同的图像：反射图像R(x，y)和亮度图像L(x，y)。入射光照在观测对象上，通过观测对象表面对光线的反射，形成反射光进入人眼或采集设备，可以用公式表示为：

单尺度Retinex算法的核心思想就是，去除环境光L(x，y)对整体图像的影响，尽量还原出包含重要信息的物体反射光分量R(x，y)，得到物体本身的面貌。然而我们得到的图像，只有结果图像S(x，y)，所以能否很好的估计出L(x，y)是Retinex算法效果的重点。既然要分离出L(x，y)，为了计算的方便，最好的做法是把数学计算式变换到对数域，将乘积关系变为加减关系：

log(S(x，y))＝log(R(x，y))+log(L(x，y))

为了表示的方便，令s(x，y)＝log(S(x，y))，r(x，y)＝log(R(x，y))，l(x，y)＝log(L(x，y))，则：

r(x，y)＝log S(x，y)-log[F(x，y)*S(x，y)]

在上述公式中，r(x，y)代表输出图像，F(x，y)代表高斯中心环绕函数，其形式如下所示：

其中，λ为归一化系数，q为高斯环绕尺度，x表示图像像素点横坐标，y表示图像像素点纵坐标。单尺度Retinex算法中的卷积运算是对空间域中的估计照度分量的处理步骤，其物理意义为通过计算输入图像的像素点与周围区域加权平均来估计图像中的照度变化，最后通过对数域处理将其去除，得到增强后图像.

步骤2：构建分层深度学习模型用于检测食叶害虫；以改进的yolo网络为模型的第一层实现对食叶害虫的粗识别，并构建残差可变形卷积模块嵌入yolo特征提取模块以加强对小目标的检测；

卷积网络对于多尺寸形变目标的建模存在固有问题是因为卷积网络只对特征图的固定位置进行采样。在同一层特征图中，所有的特征点的感受野是一样的，但由于不同位置可能对应着不同尺度或变形的物体，因此对尺度或者感受野大小进行自适应学习是精确定位所需要的。

参考图1，可变形卷积可以提高模型对形变目标的建模能力，它用一个平行卷积层学习offset偏移，使得卷积核在输入特征图上的采样点发生偏移，集中于我们感兴趣的区域或者目标，即对每个采样点的位置都增加一个偏移量，实现对当前位置随意采样而不局限于常规采样点。

常规的卷积主要分为两步：(1)在输入特征图上使用规则网格R进行采样；(2)使用卷积核w对采样点加权运算。

而在可变形卷积的操作中，通过对网格R增加一个偏移量{Δp_n|n＝1，...，N}，进行扩张同时对每个采样点预测一个权值Δm_n，那么对于输出的特征图上的不同位置的输出值为：

其中Δp_n通常是小数，因此需要通过双线性插值法计算x的值，公式为：

x(p)＝∑G(q，p)·x(q)

G(q，p)＝g(q_x，p_x)·g(q_y，p_g)

g(a，b)＝max(0，1-|a-b|)

在常规卷积网络中，都是使用3×3的卷积进行特征提取，然后用1×1卷积进行特征压缩，但对于可变形卷积来说，使用1×1的可变形卷积对于采样点计算偏移量容易导致采样不稳定。因此参考图2，可变形卷积模块由3个连续3×3的可变形模块进行特征提取，再将输入和输出按通道数进行拼接，以保留多层次的语义信息。每个3×3的可变形模块由1个可变形卷积，1个BN层和1个leaky激活层组成。然后将其嵌入yolo的三个特征提取头部，便可以实现对小目标的自适应特征提取。

步骤3：以改进的Faster R-CNN网络为模型的第二层，并加入一个全局激活特征网络和局部激活区域生成网络以提升对小目标的检测能力，实现对食叶害虫图像的精细识别。

在Faster R-CNN算法中算法中，图像特征分为两个方面，全局特征与局部特征；

其中，参考图3，全局特征定义为整张输入图像的特征图张量F_g，大小为(H_g，W_g，C_g)，代表特征图的高、宽和通道数，由骨干网络提取，并用于区域生成网络全局搜索所有潜在的目标位置。而对于食叶害虫这样的小目标来说特征容易被忽略，对于小目标的检测效果不太理想，而直接加入特征金字塔则由于包括背景混乱、光照影响等诸多环境噪声的干扰不能得到令人满意的效果，因此基于特征金字塔设计一个新的全局特征激活网络，在全局特征强化层面引入分支额外使网络主动学习全局特征F_g的激活权重。该权重的学习通过通道注意力模块和空间注意力模块来实现。

与流行的目标检测框架所使用的特征金字塔网络不同，全局特征激活网络充分利用了每个卷积块之间全局信息的交互，以避免在下采样操作的时候丢失小目标信息。

通过通道注意力模块来构建新的神经网络训练该激活向量的具体过程如下：

对于输入的全局特征图X_g在通道注意力m模块的分支张量为X_c，令X_c＝X_g。为了消除特征图在高H_g和宽W_g上的影响，先采用一个全局池化操作F_gp，定义为：

在该全局操作下，我们在X_c的每个通道大小为H_g×W_g的特征图x_c上进行全局池化操作将每张特征图的池化输出z_c进行连接构成1×1×C_g的一维向量Z_c。则三位特征缩到一维向量上就消除了空间信息干扰，接下来用两层全连接神经网络对Z_c进一步特征提取和学习：

其中W₁₁和W₁₂为两个全连接层的学习参数，b₁₁和b₁₂为偏量。σ₁₁和σ₁₂分别为第一个全连接层的激活函数RELU和第二个全连接层的激活函数Sigmoid，由此可以将激活向量U_C中的值U_c映射到(0，1)之间，然后将输入全局特征图X_g和输出激活向量U_C在通道层面加权完成重校准：

x_c ^*＝x_c×u_c

最终叠加各个通道的

得到全局特征图输出

其大小为H_g×W_g×C_g。

全局特征激活网络的另一个模块是空间通道注意力模块；在标准的卷积神经网络中，小目标检测性能较差的一大原因来自于卷积操作受限的感受野。因此，空间注意力模块旨在通过学习全局特征图在每个空间位置上的目标权重，使网络能够更关注于小目标害虫的位置。这里提出了一种新型的掩膜监督的训练方式来学习空间激活矩，具体训练过程如下：

首先使用类似全局池化的全局卷积操作F_gc来消除各通道信息的影响：

其中K₁₁为全局卷积操作的卷积核，大小为m×v×C_g，b为卷积核偏置量，i∈H_g，j∈W_g。全局卷积操作中K为1，即输出特征图Z_s大小为H_g×W_g×1，通道数为1则每个位置特征作为空间特征在空间层面学习激活矩阵。

之后采用两组不同大小的卷积核的膨胀卷积来学习该激活矩阵以逐步扩大空间上感受野：

U_S＝σ₂₂(K₂*σ₂₁(K₁*Z_S+b₂₁)+b₂₂)

K₁和K₂别代表两个膨胀卷积层的卷积核，b₂₁和b₂₂为它们偏置量。这里同样采用RELU函数和Sigmopi函数作为两膨胀卷积层激活函数，Sigmoid将激活矩阵U_S的值u_s映射到(0，1)大小，定义为：

K₂₂*X＝∑_m∑_vX(i+m×d，j+v×d)K₂₂(m，v)

其中卷积核K₂₂大小为m×v，d为膨胀参数。输出特征激活矩阵U_S大小为H_g×W_g×1。为了通过训练使模块自动学习小目标位置的激活点，采用交叉熵损失作为损失函数。然后在每个通道上使用指数运算来融合激活矩阵U_S和输入的全局特征图X_g：

最后各个通道激活后的特征图堆叠获得全局特征图在空间层面的空间激活特征图

完成了将全局特征图做空间位置上的信息交互与重校准。

最终，在全局特征激活网络中在通道和空间上同时学习权重，对于目标检测提取的全局特征图更高效，最终输出的全局特征激活图为两个子分支网络输出之和：

针对标准区域生成网络难以在小目标害虫上涵盖目标的完整信息和三维局部特征展开到一维向量时丢失部分空间信息的问题，局部激活区域生成网络通过增强上下文信息和局部信息来加以改善，参考图4，其具体实现过程如下：

首先将标准区域生成网络应用在全局激活特征网络输出的每一个全局特征图上，并为预设的锚点匹配对应监督值。训练时标准区域生成网络用滑窗在全局特征图上搜索与锚点交并比高的存在。在上下文特征强化模块中对生成的候选框B在左上、左下、右上、右下分别扩大1.5倍；

B_t1＝(max(0，x₁-0.5f)，max(0，y₁-0.5h)，1.5f，1.5h)

B_bl＝(max(0，x₁-0.5f)，y₁，1.5f，1.5h)

B_tr＝(x₁，max(0，y₁-0.5h)，1.5f，1.5h)

B_br＝(x₁，y₁，1.5f，1.5h)

扩大1.5倍后对这些新增的候选框分别进行RoI Align提取局部特征并与原候选框局部特征相连，通过1×1卷积融合消除混叠，从而得到上下文强化局部特征图X_L。

R-CNN头部网络在对候选框分类时直接将局部特征图向量化，并采用全连接网络提取特征与决策，这会使得三维局部特征在被展开到一维向量时丢失了部分空间信息。而自注意力激活模块能缓解全连接网络对空间不敏感的问题，其具体过程如下：

先对上下文强化的局部特征图X_L进行三个并行1×1卷积，输出大小一致的局部特征图f(X_L)、g(X_L)和h(X_L)，其中：

f(X_L)＝K_f*X_L

g(X_L)＝K_g*X_L

h(X_L)＝K_h*X_L

其中K_f，K_g和K_h为三分支的卷积核，大小为1×1×C_g；

接下来将特征图f(X_L)在空间上转置并与g(X_L)逐像素相乘，输出为s：

s＝f(X_L)^Tg(X_L)

再通过额外1×1卷积来降维，得到宽高为k×k的二维局部激活矩阵，用Softmax激活函数来学习每个位置的权重值作为激活矩阵U_a：

基于这样就可以训练方式，就可以将学习到的U_a与h(X_L)融合以强化局部位置，最终结合上下文特征强化模块与自注意力激活模块构成局部激活区域生成网络。

Claims (10)

1.一种基于分层深度学习模型的智慧园林食叶害虫识别方法，其特征在于，具体包括如下步骤：

步骤1，获取用于食叶害虫识别的图像数据集，利用Retinex图像增强算法对获取的图像数据集进行预处理，并根据一定比例将处理后的图像数据集分成训练集、验证集和测试集；

步骤2，构建分层深度学习模型，用于对图像进行食叶害虫识别；所述分层深度学习模型包括两层，第一层具体为在已有的YOLO网络的特征提取模块头部嵌入残差可变形卷积模块；第二层具体为在已有的Faster R-CNN网络中加入全局激活区域生成网络以及局部激活区域生成网络；

步骤3，利用训练集对分层深度学习模型进行训练，利用验证集对分层深度学习模块进行验证，得到训练好的分层深度学习模型；

步骤4，将测试集输入训练好的分层深度学习模型中，得到食叶害虫识别结果。

2.根据权利要求1所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法，其特征在于，步骤1中所述利用Retinex图像增强算法对获取的图像数据集进行预处理，过程如下：

式中，r(x，y)表示输出图像，R(x，y)表示反射图像，S(x，y)表示输入图像，L(x，y)表示亮度图像，F(x，y)表示高斯中心环绕函数，λ为归一化系数，q为高斯环绕尺度，x表示图像像素点横坐标，y表示图像像素点纵坐标。

3.根据权利要求1所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法，其特征在于，步骤2中所述残差可变形卷积模块是由3个3×3的可变形卷积模块加1个连接层组成；每个所述可变形卷积模块均是由1个可变形卷积、1个BN层和1个leaky激活层组成。

4.根据权利要求1所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法，其特征在于，步骤2中所述残差可变形卷积模块的具体实现过程如下：

在输入特征图上使用规则网格R进行采样，并对规则网格R增加偏移量进行扩张，同时对每一个采样点预测一个权值Δm_n，则对于输出特征图上不同采样点的输出值表示如下：

其中，y′表示输出值；R表示规则网格；p_n表示规则网格R中所列位置的枚举；Δp_n表示偏移量，n＝1，...，N；N表示采样点的总数目；w表示卷积核；x′表示利用双线性插值法得出的值；p₀表示输出的特征图上的某个位置；Δm_n表示对第n个采样点预测的权值。

5.根据权利要求1所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法，其特征在于，步骤2中所述全局激活区域生成网络包括通道注意力模块和空间注意力模块，用于对图像全局特征的激活权重进行学习，输出全局特征图；具体如下：

式中，

表示全局激活区域生成网络输出的全局特征图；

表示利用通道注意力模块输出的全局特征图；

表示利用空间注意力模块输出的全局特征图。

6.根据权利要求5所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法，其特征在于，所述利用通道注意力模块输出的全局特征图，具体如下：

对于输入的全局特征图X_g在通道注意力模块的分支张量为X_c，令X_c＝X_g；

首先，采用全局池化操作F_gp消除全局特征图在高H_g和宽W_g上的影响，具体为对X_c中的通道大小为H_g×W_g的特征图x_c上进行全局池化操作，将每张特征图x_c的全局池化输出z_c进行连接构成1×1×C_g的一维向量Z_c；其中，C_g表示卷积核深度；

所述全局池化操作F_gp表示如下：

式中，i表示特征图横坐标，i∈H_g；j表示特征图纵坐标，j∈W_g；x_c(i，j)表示特征图上的像素点；

接着，用两层全连接神经网络对Z_c进一步特征提取和学习：

其中，U_c表示输出激活向量；W₁₁和W₁₂分别为两个全连接层的学习参数，b₁₁和b₁₂为偏量；σ₁₁和σ₁₂分别为第一个全连接层的激活函数RELU和第二个全连接层的激活函数Sigmoid；

然后，将输入全局特征图x_c和输出激活向量u_c在通道层面加权完成重校准，具体如下：

x_c ^*＝x_c×u_c

式中，x_c ^*表示输出特征激活图；x_c表示具体输入全局特征图；u_c表示具体输出激活向量；

最后，将各个通道得到的x_c ^*进行叠加，得到全局特征图输出

所述全局特征图输出

的大小为H_g×W_g×C_g。

7.根据权利要求5所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法，其特征在于，所述利用空间注意力模块输出的全局特征图，具体如下：

首先，使用全局卷积操作F_gc消除各通道信息的影响，具体如下：

其中，z_s(i，j)表示不同输出的特征图的像素点；i表示特征图横坐标，i∈H_g，H_g表示特征图的高；j表示特征图纵坐标，j∈W_g，W_g表示特征图的宽；F_gc(x_g)表示全局卷积操作；C_g表示卷积核深度；m表示卷积核的长度；v表示卷积核的宽度；X_g(i+m，j+v，c)表示输入的全局特征图；K₁₁为全局卷积操作的卷积核，卷积核大小为m×v×C_g；b表示卷积核偏置量；

然后，分别采用第一组膨胀卷积和第二组膨胀卷积先后对激活矩阵进行学习，其中第一组膨胀卷积的卷积层激活函数为ReLu函数，卷积核为K₁，卷积核的偏置量为b₂₁；第二组膨胀卷积的卷积层激活函数为Sigmoid函数，卷积核为K₂，卷积核的偏置量为b₂₂；所述激活矩阵的学习具体如下：

U_S＝σ₂₂(K₂*σ₂₁(K₁*Z_S+b₂₁)+b₂₂)

式中，U_S表示激活矩阵，大小为H_g×W_g×1；σ₂₂表示Sigmoid激活函数；σ₂₁表示ReLU激活函数；Z_S表示输出特征图；

接着，在每个通道上使用指数运算融合激活矩阵u_s和输入的全局特征图x_g，具体如下：

式中，

表示空间全局激活特征图；x_g表示输入的全局特征图；u_s(i，j)表示激活矩阵u_s第i行第j列的元素；

最后，将各个通道激活后的特征图

进行堆叠，得到全局特征图在空间层面的空间激活特征图

8.根据权利要求1所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法，其特征在于，步骤2中所述局部激活区域生成网络包括上下文特征强化模块和自注意力激活模块；所述上下文特征强化模块，用于对全局激活区域生成网络输出的全局特征图处理得到上下文强化局部特征图；所述自注意力激活模块，用于根据上下文强化局部特征图对局部位置进行强化。

9.根据权利要求8所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法，其特征在于，所述上下文特征强化模块，用于对全局激活区域生成网络输出的全局特征图处理得到上下文强化局部特征图，具体过程如下：

首先将标准区域生成网络应用在全局激活区域生成网络输出的每一个全局特征图上，为预设的锚点匹配对应监督值；同时标准区域生成网络用滑窗在全局特征图上搜索与锚点交并比高的存在，在上下文特征强化模块中对生成的候选框B分别在左上、左下、右上、右下位置分别扩大1.5倍，具体如下：

B_tl＝(max(0，x₁-0.5f)，max(0，y₁-0.5h)，1.5f，1.5h)

B_bl＝(max(0，x₁-0.5f)，y₁，1.5f，1.5h)

B_tr＝(x₁，max(0，y₁-0.5h)，1.5f，1.5h)

B_br＝(x₁，y₁，1.5f，1.5h)

式中，B_tl表示位于左上角的候选框；x₁表示候选框B的点的横坐标；f表示候选框B的宽度；h表示候选框B的高度；y₁表示候选框B的点的纵坐标；B_bl表示位于右上角的候选框；B_tr表示位于左下角的候选框；B_br表示位于右下角的候选框；

然后分别对扩大1.5倍后的左上、左下、右上、右下的候选框进行RoI Align提取局部特征，并与各自对应的原候选框B局部特征相连，通过1×1卷积融合消除混叠，从而得到上下文强化局部特征图X_L。

10.根据权利要求9所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法，其特征在于，所述自注意力激活模块，用于根据上下文强化局部特征图对局部位置进行强化，具体过程如下：

首先，对上下文强化的局部特征图X_L进行三个并行1×1卷积，输出大小一致的局部特征图f(X_L)、g(X_L)和h(X_L)；其中，

f(X_L)＝K_f*X_L

g(X_L)＝K_g*X_L

h(X_L)＝K_h*X_L

其中K_f、K_g和K_h分别表示三分支的卷积核，大小均为1×1×C_g；

然后，将特征图f(X_L)在空间上转置后与g(X_L)逐像素相乘，输出特征图s如下：

s＝f(X_L)^Tg(X_L)

接着，将特征图s进行1×1卷积降维，得到大小为k×k的二维局部激活矩阵；

最后，利用Softmax激活函数学习待局部强化的每个像素点的权重值作为激活矩阵的项，得到激活矩阵U_a，将激活矩阵U_a与h(X_L)融合以强化局部位置；其中激活矩阵U_a的元素具体如下：

其中，U_a(i′，j′)表示激活矩阵U_a第i′行第j′列的元素；s(i′，j′)表示输出特征图s中每个点的权重值；i′表示像素点的横坐标；j′表示像素点的纵坐标；k表示二维局部激活矩阵的宽或高。

Images