CN111178121A - 基于空间特征和深度特征强化技术的害虫图像定位识别方法 - Google Patents

Abstract

本发明涉及一种基于空间特征和深度特征强化技术的害虫图像定位识别方法，与现有技术相比解决了图像识别技术无法满足农业害虫检测需要的缺陷。本发明包括以下步骤：基础图像数据的获取；标准卷积块的处理；全局激活模块的处理；害虫图像候选框的提取；害虫图像的定位识别。本发明利用基于空间和深度特征强化的全局激活模块去学习特征权重，基于空间特征强化的网络结构分支使得在空间上有效的空间位置信息权重大、无效或效果小的空间位置信息权重小，基于深度特征强化的网络结构分支使得在通道上有效的特征图权重大、无效或效果小的特征图权重小，并可以将全局激活模块应用到不同深度的标准卷积模块结构后强化重要的信息特征。

Description

基于空间特征和深度特征强化技术的害虫图像定位识别方法

技术领域

本发明涉及图像识别技术领域，具体来说是基于空间特征和深度特征强化技术的害虫图像定位识别方法。

背景技术

随着计算机视觉技术和图像处理技术的快速发展，基于图像的害虫自动识别与计数技术在近年来已成为研究热点。虽然此方法省时省力，具有智能化等优点，但是田间自然环境下害虫的识别与计数仍然面临巨大挑战。首先，采集图像时，外界环境的光照不稳定、不均匀影响图像的质量；其次，采集的图像混有其他杂物，背景较复杂；再者，图像中的害虫目标较小，姿态各异，因此识别具有较大的困难。

现有技术中，虽有部分技术从特征角度出发进行害虫的图像识别，但大多数使用深度学习的物体检测方法在通用物体的检测和分类上表现优异，在农业害虫检测应用中准确率低、鲁棒性差。经过分析，其原因可能是大多数害虫目标较小，特征信息在深层消失而浅层的特征缺乏语义含义。因此，如何设计出一种能够应用于农业害虫检测的方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中图像识别技术无法满足农业害虫检测需要的缺陷，提供一种基于空间特征和深度特征强化技术的害虫图像定位识别方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于空间特征和深度特征强化技术的害虫图像定位识别方法，包括以下步骤：

基础图像数据的获取：获取待定位识别的害虫图像；

标准卷积块的处理：将待定位识别害虫图像输入标准卷积块进行处理，得到待定位识别害虫图像的特征图；

全局激活模块的处理：将待定位识别害虫图像的特征图输入全局激活模块进行处理，得到强化后的特征图；

害虫图像候选框的提取：将强化后的特征图输入候选框提取网络，提取出定位害虫的候选框，生成候选区域集；

害虫图像的定位识别：将害虫图像候选区域集输入到分类回归模块进行定位识别，利用Softmax Loss网络输出层和Smooth L1 Loss网络输出层得到分类概率和边框回归。

所述的全局激活模块的处理包括以下步骤：

对待定位识别害虫图像的特征图进行空间特征强化分析处理；

对待定位识别害虫图像的特征图进行深度通道特征强化分析处理；

害虫图像特征的融合：将空间特征强化结果与深度通道特征强化结果相加，即对待定位识别害虫图像特征图的空间特征强化结果和深度通道特征强化结果相加得到强化后的特征图Y_strong：

将强化后的特征图Y_strong输入特征金字塔网络进行融合，利用低层特征的高分辨率信息和高层特征的高语义信息，得到融合多层强化特征信息的特征图。

所述标准卷积块的处理步骤如下：

对待定位识别害虫图像进行标准的卷积块操作f(X)，卷积块操作f(X)的输入输出定义如下：

其中，

表示第i个卷积核，每个卷积核均用于提取不同类型的特征，X表示输入，x_j表示第j个通道的输入；

输出f(X)所得到的Y，Y为C个大小为W×H的待定位识别害虫图像的特征图，Y_i表示Y中第i个通道的特征图。

所述的对待定位识别害虫图像的特征图进行空间特征强化分析处理包括以下步骤：

将标准卷积块提取的多通道特征图Y输入全局平均池化层，全局平均池化操作如下：

全局平均池化将输入的W×H×C特征图转换成W×H×1的输出Z；即从每个特征图空间位置的所有通道中取平均值，生成低维的平均空间位置特征；

进行空间信息特征激活，其表达式如下：

其激活过程如下：

代表第一组全连接层操作，Z的维度为W×H×1，按顺序变成1×1×(W×H)的向量

经过第一层全连接操作的结果为1×1×(W×H)/r，r为缩放参数；然后再经过一个非线性激活ReLU函数，输出的维度不变仍为1×1×(W×H)/r；

代表第二组全连接层操作，经过第二层全连接操作的结果为1×1×(W×H)；最后经过非线性激活sigmoid函数将一维的特征向量映射到(0,1)区域，并展开成W*H的二维矩阵，即生成空间激活因子s_space∈R^W×H；

输出原始输入多通道特征图Y的元素和二维空间激活因子s_space的乘积,其表达式如下：

其中，Y_space为空间位置特征强化后的特征图结果，

是空间位置特征强化后第i个通道的特征图。

所述的对待定位识别害虫图像的特征图进行深度通道特征强化分析处理包括以下步骤：

将标准卷积块提取的多通道特征图Y输入全局平均池化层，全局平均池化操作如下：

全局平均池化将输入的W×H×C特征图转换成1×1×C的输出z_channel；即从每个通道的所有空间位置中取平均值，生成低维的平均通道特征；

进行通道信息特征激活，其表达式如下：

其中，全局平均池化得到的结果为

其激活过程表述如下：

代表第一组全连接层操作，z_channel的维度是1×1×C，经过第一层全连接操作的结果为1×1×C/r，r为缩放参数；再经过一个非线性激活ReLU函数，输出的维度不变仍为1×1×C/r；

代表第二组全连接层操作，经过第二层全连接操作的结果为1×1×C；最后经过非线性激活sigmoid函数将一维的特征向量映射到(0,1)区域，即生成深度通道激活因子s_channel∈R^1×1×C，C表示通道数目；

输出原始输入多通道特征图Y的元素和一维深度激活因子s_channel的乘积，其表达式如下：

其中，Y_channel即是通道特征强化后的特征图结果，

是第i个通道特征强化后的特征图。

所述的特征金字塔网络为FPN网络。

所述的候选框提取网络为RPN网络。

所述的全局激活模块的处理步骤后还包括基于卷积神经网络进行卷积运算步骤，将卷积神经网络的各层设置为标准卷积块处理或全局激活模块处理。

所述的卷积神经网络的底层为标准卷积块处理、中层为全局激活模块处理、高层为标准卷积块处理后交于全局激活模块进行处理；其基于卷积神经网络进行卷积运算步骤如下：

将强化后的特征图输入卷积神经网络底层的标准卷积块进行处理，得到细化后的特征图；

将细化后的特征图输入卷积神经网络中层的全局激活模块进行处理，得到进一步细化后的特征图；

将进一步细化后的特征图输入卷积神经网络高层的标准卷积块处理后再传至全局激活模块进行处理，得到更进一步细化的特征图。

有益效果

本发明的基于空间特征和深度特征强化技术的害虫图像定位识别方法，与现有技术相比利用基于空间和深度特征强化的全局激活模块去学习特征权重，基于空间特征强化的网络结构分支使得在空间上有效的空间位置信息权重大、无效或效果小的空间位置信息权重小，基于深度特征强化的网络结构分支使得在通道上有效的特征图权重大、无效或效果小的特征图权重小，并可以将全局激活模块应用到不同深度的标准卷积模块结构后强化重要的信息特征，最后采用区域建议网络(候选框提取网络)和全连接层(分类回归模块)进行害虫分类和位置回归，从而提高对目标害虫检测的精度。

附图说明

图1为本发明的方法顺序图；

图2为本发明的结构模块连接示意图；

图3为本发明中全局激活模块的结构模块连接示意图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1和图2所示，本发明所述的一种基于空间特征和深度特征强化技术的害虫图像定位识别方法，包括以下步骤：

第一步，基础图像数据的获取：获取待定位识别的害虫图像。

目前的公共数据集几乎没有在田间场景中害虫图像的数据集，而在公共数据集下的模型可能无法在实际应用中带来优异的检测性能，因此针对小麦和稻田在田间拍摄采集了部分害虫图像构建特定于小目标检测的数据集。对于图像采集，使用焦距为4mm，光圈为f/3.3的CCD相机，以确保获取具有高分辨率的图像。

在实验验证环节，可以在田间自然场景下构建数据集，用于解决多类微小害虫检测问题，包含6类害虫，2.8万个图像，14.57万个手工标记，在整个图像中害虫的尺寸比例不会达到1.5％，并将数据集分成训练集和测试集，随机选择90％的数据用作训练，其余用作测试，并将测试集分为4个部分：害虫密集分布的图像、害虫稀疏分布的图像、受光照影响的图像、有大背景噪声的图像，这些可能发生在实际农业领域。并筛选掉手动模糊和过度遮挡的图像，并使用半自动方式标记害虫，其中少量(约3k-5k)的图像首先由农业专家手动标记每种害虫的类别和位置，以保证这些标记的专业性，这些已标记的图像可用于训练初步模型。初步模型可以预测未标记图像里害虫的类别以及位置，然后由专家手动校正，这样数据集里所有图像都可以通过半自动注释方式由专家标注并用于训练最终模型。

第二步，标准卷积块的处理。将待定位识别害虫图像输入标准卷积块进行处理，得到待定位识别害虫图像的特征图。其具体步骤如下：

(1)对待定位识别害虫图像进行标准的卷积块操作f(X)，卷积块操作f(X)的输入输出定义如下：

其中，

表示第i个卷积核，每个卷积核均用于提取不同类型的特征，意在检测不同形状的对象，X表示输入，x_j表示第j个通道的输入；

(2)输出f(X)所得到的Y，Y为C个大小为W×H的待定位识别害虫图像的特征图，Y_i表示Y中第i个通道的特征图。

第三步，全局激活模块的处理。如图3所示，将待定位识别害虫图像的特征图输入全局激活模块进行处理，得到强化后的特征图。

卷积神经网络(CNNs)已被证明是解决各种视觉任务的有效模型。对于每个卷积层，沿着输入通道学习一组滤波器来表达局部空间连接模式，虽然融合了空间信息和通道信息，但是受限于局部感受野并且没有激活出重要的通道和空间位置。为了排除空间上的干扰就得先用全局平均池化把特定通道下的所有空间位置压缩成后再作激活，压缩后没有了空间的成分可以消除空间的干扰，同时为了排除通道上的干扰就得先用全局平均池化把特定空间位置的所以通道的信息压缩后再作激活，压缩后没有了深度的成分可以消除深度的干扰。

全局激活模块的处理具体步骤如下：

(1)对待定位识别害虫图像的特征图进行空间特征强化分析处理。

通过显式地建模卷积特征空间位置信息之间的相互依赖性，排除通道上的干扰来提高网络的表示能力，自适应地重新校准空间式的特征响应，并且通过这种机制可以学习使用全局信息来选择性地强调有用的空间位置信息并抑制不太有用的空间位置信息(使得在空间上有效的位置信息权重大、无效或效果小的位置信息权重小)。其具体步骤如下：

A1、将标准卷积块提取的多通道特征图Y输入全局平均池化层，全局平均池化操作如下：

全局平均池化将输入的W×H×C特征图转换成W×H×1的输出Z；即从每个特征图空间位置的所有通道中取平均值，生成低维的平均空间位置特征；表明该层C个特征图的某一空间位置的数值分布情况，或者称为每个位置的平均信息特征；

A2、进行空间信息特征激活，其表达式如下：

其激活过程如下：

A21)

代表第一组全连接层操作，Z的维度为W×H×1，按顺序变成1×1×(W×H)的向量

经过第一层全连接操作的结果为1×1×(W×H)/r，r为缩放参数，用于减少通道数从而降低计算量；然后再经过一个非线性激活ReLU函数，输出的维度不变仍为1×1×(W×H)/r；

A22)

代表第二组全连接层操作，经过第二层全连接操作的结果为1×1×(W×H)；最后经过非线性激活sigmoid函数将一维的特征向量映射到(0,1)区域，并展开成W*H的二维矩阵，即生成空间激活因子s_space∈R^W×H；

通过前面这些全连接层和非线性层学习得到的空间位置信息权重s_space，用来刻画标准卷积输出Y中W*H个空间位置的重要程度，激活害虫可能所在的位置，两个全连接层的作用就是融合所有空间位置的信息，因为前面的全局平均池化都是在特征图的某个空间位置里操作，而标准卷积操作具有有限的感受野缺陷。

A23)输出原始输入多通道特征图Y的元素和二维空间激活因子s_space的乘积,即可使得有效的空间位置信息特征权重大、无效或效果小的空间位置信息特征权重小，在空间位置水平激活特征图可以在这些激活的位置中有效地检测潜在的害虫。

其表达式如下：

其中，Y_space为空间位置特征强化后的特征图结果，

是空间位置特征强化后第i个通道的特征图。

(2)对待定位识别害虫图像的特征图进行深度通道特征强化分析处理。

同理，通过显式地建模卷积特征通道信息之间的相互依赖性，排除空间上的干扰来提高网络的表示能力，自适应地重新校准通道式的特征响应，通过这种机制可以学习使用全局信息来选择性地强调有用的通道信息并抑制不太有用的通道信息。其具体步骤如下：

B1)将标准卷积块提取的多通道特征图Y输入全局平均池化层，全局平均池化操作如下：

全局平均池化将输入的W×H×C特征图转换成1×1×C的输出z_channel；即从每个通道的所有空间位置中取平均值，生成低维的平均通道特征(表明该层某个特征图的所有空间位置的数值分布情况，或者称为每个通道的平均信息特征)。

B2)进行通道信息特征激活，其表达式如下：

其中，全局平均池化得到的结果为

其激活过程表述如下：

B21)

代表第一组全连接层操作，z_channel的维度是1×1×C，经过第一层全连接操作的结果为1×1×C/r，r为缩放参数；再经过一个非线性激活ReLU函数，输出的维度不变仍为1×1×C/r；

B22)

代表第二组全连接层操作，经过第二层全连接操作的结果为1×1×C；最后经过非线性激活sigmoid函数将一维的特征向量映射到(0,1)区域，即生成深度通道激活因子s_channel∈R^1×1×C，C表示通道数目。

通过前面这些全连接层和非线性层学习得到的通道信息权重s_channel，用来刻画标准卷积的输出Y中C个特征图的相对重要程度，这两个全连接层的作用就是融合各通道的特征图信息，因为前面的全局平均池化都是在某个通道的特征图里面操作。

B3)输出原始输入多通道特征图Y的元素和一维深度激活因子s_channel的乘积，即可使得有效的通道信息特征权重大，无效或效果小的通道信息特征权重小,在通道水平激活特征图可以在这些激活的通道中有效地检测潜在的害虫。其表达式如下：

其中，Y_channel即是通道特征强化后的特征图结果，

是第i个通道特征强化后的特征图。

(3)害虫图像特征的融合：对待定位识别害虫图像特征图的空间特征强化结果和深度通道特征强化结果相加得到强化后的特征图Y_strong：

并将强化后的特征图Y_strong输入特征金字塔网络进行融合，利用低层特征高分辨率和高层特征的高语义信息，得到融合多层强化特征信息的特征图。

特征金字塔网络可以为传统的FPN(Feature Pyramid Networks)网络。

其具体思想如下：

首先，把高层特征上采样，然后将其和对应的前层特征结合(前层要经过1*1的卷积核改变通道数目，保持和后层的通道数相同)，结合方式就是做像素间的加法，最后为了消除上采样的混叠效应用3*3的卷积核去处理已经融合的特征图，以生成最后需要的特征图。

最后，重复迭代该过程，直至生成融合多层强化特征信息的特征图。

融合多层强化特征信息的特征图可以用于害虫图像候选框的提取，并定位识别出害虫图像。为了进一步提高检测精度和准确度，可以将标准卷积块和全局激活模块再次应用在卷积神经网络中进行卷积运算，即在此还可以进行基于卷积神经网络的卷积运算，即将卷积神经网络的各层设置为标准卷积块处理或全局激活模块处理。

具体可以将卷积神经网络的底层为标准卷积块处理、中层为全局激活模块处理、高层为标准卷积块处理后交于全局激活模块进行处理。

其基于卷积神经网络进行卷积运算步骤如下：

C1)将强化后的特征图输入卷积神经网络底层的标准卷积块进行处理，得到细化后的特征图；

C2)将细化后的特征图输入卷积神经网络中层的全局激活模块进行处理，得到进一步细化后的特征图；

C3)将进一步细化后的特征图输入卷积神经网络高层的标准卷积块处理后再传至全局激活模块进行处理，得到更进一步细化的特征图。

通过卷积神经网络的处理，获得超细化的特征图，以此进行后续步骤，可以进一步提高定位识别精度。

第四步，害虫图像候选框的提取。将强化后的特征图输入候选框提取网络，提取出定位害虫的候选框，生成候选区域集。在此，候选框提取网络可以为传统的RPN(FeaturePyramid Networks)网络。其具体思想如下：

首先，特征提取网络：共享特征提取和强化网络；

其次，生成感兴趣区域：根据获得的融合不同层强化特征信息的特征图的每一个点上生成多个感兴趣区域的候选框；

最后，利用分类器将这些候选框区分为背景和前景，同时利用回归器对这些感兴趣区域的位置进行初步的调整。

第五步，害虫图像的定位识别。

将害虫图像候选区域集输入到传统的分类回归模块进行定位识别，按传统方式利用Softmax Loss网络输出层和Smooth L1Loss网络输出层得到分类概率和边框回归。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (9)

1.一种基于空间特征和深度特征强化技术的害虫图像定位识别方法，其特征在于，包括以下步骤：

11)基础图像数据的获取：获取待定位识别的害虫图像；

12)标准卷积块的处理：将待定位识别害虫图像输入标准卷积块进行处理，得到待定位识别害虫图像的特征图；

13)全局激活模块的处理：将待定位识别害虫图像的特征图输入全局激活模块进行处理，得到强化后的特征图；

14)害虫图像候选框的提取：将强化后的特征图输入候选框提取网络，提取出定位害虫的候选框，生成候选区域集；

15)害虫图像的定位识别：将害虫图像候选区域集输入到分类回归模块进行定位识别，利用Softmax Loss网络输出层和Smooth L1 Loss网络输出层得到分类概率和边框回归。

2.根据权利要求1所述的基于空间特征和深度特征强化技术的害虫图像定位识别方法，其特征在于，所述的全局激活模块的处理包括以下步骤：

21)对待定位识别害虫图像的特征图进行空间特征强化分析处理；

22)对待定位识别害虫图像的特征图进行深度通道特征强化分析处理；

23)害虫图像特征的融合：将空间特征强化结果与深度通道特征强化结果相加，即对待定位识别害虫图像特征图的空间特征强化结果和深度通道特征强化结果相加得到强化后的特征图Y_strong：

将强化后的特征图Y_strong输入特征金字塔网络进行融合，利用低层特征的高分辨率信息和高层特征的高语义信息，得到融合多层强化特征信息的特征图。

3.根据权利要求1所述的基于空间特征和深度特征强化技术的害虫图像定位识别方法，其特征在于，所述标准卷积块的处理步骤如下：

31)对待定位识别害虫图像进行标准的卷积块操作f(X)，卷积块操作f(X)的输入输出定义如下：

其中，

表示第i个卷积核，每个卷积核均用于提取不同类型的特征，X表示输入，x_j表示第j个通道的输入；

32)输出f(X)所得到的Y，Y为C个大小为W×H的待定位识别害虫图像的特征图，Y_i表示Y中第i个通道的特征图。

4.根据权利要求2所述的基于空间特征和深度特征强化技术的害虫图像定位识别方法，其特征在于，所述的对待定位识别害虫图像的特征图进行空间特征强化分析处理包括以下步骤：

41)将标准卷积块提取的多通道特征图Y输入全局平均池化层，全局平均池化操作如下：

全局平均池化将输入的W×H×C特征图转换成W×H×1的输出Z；即从每个特征图空间位置的所有通道中取平均值，生成低维的平均空间位置特征；

42)进行空间信息特征激活，其表达式如下：

其激活过程如下：

421)

代表第一组全连接层操作，Z的维度为W×H×1，按顺序变成1×1×(W×H)的向量

经过第一层全连接操作的结果为1×1×(W×H)/r，r为缩放参数；然后再经过一个非线性激活ReLU函数，输出的维度不变仍为1×1×(W×H)/r；

422)

代表第二组全连接层操作，经过第二层全连接操作的结果为1×1×(W×H)；最后经过非线性激活sigmoid函数将一维的特征向量映射到(0,1)区域，并展开成W*H的二维矩阵，即生成空间激活因子s_space∈R^W×H；

423)输出原始输入多通道特征图Y的元素和二维空间激活因子s_space的乘积,其表达式如下：

其中，Y_space为空间位置特征强化后的特征图结果，

是空间位置特征强化后第i个通道的特征图。

5.根据权利要求2所述的基于空间特征和深度特征强化技术的害虫图像定位识别方法，其特征在于，所述的对待定位识别害虫图像的特征图进行深度通道特征强化分析处理包括以下步骤：

51)将标准卷积块提取的多通道特征图Y输入全局平均池化层，全局平均池化操作如下：

全局平均池化将输入的W×H×C特征图转换成1×1×C的输出z_channel；即从每个通道的所有空间位置中取平均值，生成低维的平均通道特征；

52)进行通道信息特征激活，其表达式如下：

其中，全局平均池化得到的结果为

其激活过程表述如下：

521)

代表第一组全连接层操作，z_channel的维度是1×1×C，经过第一层全连接操作的结果为1×1×C/r，r为缩放参数；再经过一个非线性激活ReLU函数，输出的维度不变仍为1×1×C/r；

522)

代表第二组全连接层操作，经过第二层全连接操作的结果为1×1×C；最后经过非线性激活sigmoid函数将一维的特征向量映射到(0,1)区域，即生成深度通道激活因子s_channel∈R^1×1×C，C表示通道数目；

53)输出原始输入多通道特征图Y的元素和一维深度激活因子s_channel的乘积，其表达式如下：

其中，Y_channel即是通道特征强化后的特征图结果，

是第i个通道特征强化后的特征图。

6.根据权利要求1所述的基于空间特征和深度特征强化技术的害虫图像定位识别方法，其特征在于：所述的特征金字塔网络为FPN网络。

7.根据权利要求1所述的基于空间特征和深度特征强化技术的害虫图像定位识别方法，其特征在于：所述的候选框提取网络为RPN网络。

8.根据权利要求1所述的基于空间特征和深度特征强化技术的害虫图像定位识别方法，其特征在于：所述的全局激活模块的处理步骤后还包括基于卷积神经网络进行卷积运算步骤，将卷积神经网络的各层设置为标准卷积块处理或全局激活模块处理。

9.根据权利要求8所述的基于空间特征和深度特征强化技术的害虫图像定位识别方法，其特征在于：所述的卷积神经网络的底层为标准卷积块处理、中层为全局激活模块处理、高层为标准卷积块处理后交于全局激活模块进行处理；其基于卷积神经网络进行卷积运算步骤如下：

91)将强化后的特征图输入卷积神经网络底层的标准卷积块进行处理，得到细化后的特征图；

92)将细化后的特征图输入卷积神经网络中层的全局激活模块进行处理，得到进一步细化后的特征图；

93)将进一步细化后的特征图输入卷积神经网络高层的标准卷积块处理后再传至全局激活模块进行处理，得到更进一步细化的特征图。

Images