CN114241317A - 一种基于灯下相似害虫图像自适应特征融合检测方法 - Google Patents

Abstract

本发明涉及一种基于灯下相似害虫图像自适应特征融合检测方法，包括：获取相似害虫图像数据集并进行预处理；进行害虫相似度特征的提取；构建联合双通道注意力机制的非局部相似害虫检测网络；设计平衡尺寸的跳跃卷积模块金字塔特征网络，输出满足条件的参考检测框；对选出的参考检测框进行中心点优化，使用非极大抑制方法进行去重优化；输出相似害虫检测结果。本发明具有有效识别外形相似度高，尺寸相差不大的害虫数据集；引入双通道注意力模块，使用非局部模块重构特征提取方式，加入跳跃卷积模块重构了特征金字塔；本发明是一阶段无锚框检测器，能达到实时检测效果。

Description

一种基于灯下相似害虫图像自适应特征融合检测方法

技术领域

本发明涉及农保图像处理技术领域，尤其是一种基于灯下相似害虫图像自 适应特征融合检测方法。

背景技术

农业害虫种类繁多，而且两个物种外形非常相似，种内的差别及其微弱， 通过粗略特征提取很难分别出来；同一物种由于姿态，背景以及拍摄角度的不 同，存在较大的类内差异。因此，要想顺利的对两个相似的类别进行细粒度 分类，最重要的是在图像中找到能够区分这两个物种区分性的区域块，并能够 对这些有区分性的区域块的特征进行较好的表示而达到更好的识别类别的目 的。对于相似度高、尺寸小且相近的害虫目标，目前的方法仅考虑特征金字塔 中的低层特征图作为其局部特征而忽略了高层语义信息，使得害虫目标虽然具 有良好的定位效果但分类准确率不佳。另一方面，同时考虑低层和高层特征图 信息的单纯叠加又会使害虫局部特征混乱缺乏针对性，影响识别的效果，造成 智能检测方法不够灵活多变。

细粒度图像分类,又被称作子类别图像分类，是近年来计算机视觉、模 式识别等领域一个非常热门的研究课题。其目的是对属于同一基础类别的图 像(汽车、狗、花、鸟等)进行更加细致的子类划分,但由于子类别间细微的 类间差异,较之普通的图像分类任务,细粒度图像分类难度更大。细粒度图像 分类的目标是区分同一个常见类下的不同子类，由于数据集具有较大的类间相 似性，细粒度图像分类相比于传统图像分类具有更大的挑战性。以往工作中， 基于组件的方法和基于注意力的方法致力于挖掘图像中的显著性区域，而忽视 了用来区分易混淆类别的微弱差异。

发明内容

本发明的目的在于提供一种对外形相似的害虫具有很好的检测与识别效 果，能够达到实时检测效果的基于灯下相似害虫图像自适应特征融合检测方法。

为实现上述目的，本发明采用了以下技术方案：一种基于灯下相似害虫图 像自适应特征融合检测方法，该方法包括下列顺序的步骤：

(1)获取相似害虫图像数据集并进行预处理；

(2)进行害虫相似度特征的提取；

(3)构建联合双通道注意力机制的非局部相似害虫检测网络，将步骤(2) 提取的害虫相似度特征输入至非局部相似害虫检测网络；

(4)设计平衡尺寸的跳跃卷积模块金字塔特征网络，将非局部相似害虫 检测网络的输出作为跳跃卷积模块金字塔特征网络的输入，跳跃卷积模块金字 塔特征网络输出满足条件的参考检测框；

(5)对选出的参考检测框进行中心点优化，使用非极大抑制方法进行去 重优化；

(6)输出相似害虫检测结果。

所述步骤(1)具体包括以下步骤：

(1a)获取相似害虫图像数据集，并对相似害虫图像数据集中的图像数据 进行分割，将分割出来的所有单类害虫图像进行尺寸归一化预处理；

(1b)将所有经过尺寸归一化预处理的单类害虫图像随机抽取100张进行 相似性统计。

所述步骤(2)具体包括以下步骤：

(2a)提取害虫相似度纹理：

在RGB色彩空间内，利用索贝尔算子对三个色彩通道分别进行计算，在 每个通道内返回水平方向与垂直方向对应的两个向量：向量a(Rx，Gx，Bx) 和向量b(Ry,Gy,By)，通过公式(1)至(4)进行计算：

a·b＝R_x·R_y+G_x·G_y+B_x·B_y (3)

θ是向量a、b的余弦夹角；

进行害虫相似度颜色的度量：分别将R、G和B三个通道得到的结果量化 成64种颜色的图像，以4个不同的基元分别在图像C(x,y)中进行纹理探测， 得到纹理基元图像T(x，y)，最后根据T(x，y)以多基元直方图描述纹理特 征，多基元直方图的定义如公式(5)与公式(6)所示：

H(T(P₁))＝N{θ(P₁)＝v1∩θ(P₂)＝v2||P₁-P₂||＝D} (5)

H(T(P₁))＝N{θ(P₁)＝v1∩θ(P₂)＝v2||P₁-P₂||＝D} (6)

其中，P1＝(x1,y1)、P2＝(x2,y2)表示原图像中距离为D的两个相邻像 素点，它们在基元图像中对应的像素点分别为T(P1)＝w1、T(p2)＝w2，在纹理方 向矩阵θ(x,y)，点P1和P2的方向分别为θ(P1)＝v1，θ(P2)＝v2；N表示v1和 v 2共同出现的次数，

表示w1和w2共同出现的次数，v1和v 2是图像C(x,y) 的四个测试基元，w1和w2是纹理基元图像T(x,y)中对应的像素点；H(T(P1)) 表示在某种颜色背景下，相同边缘方向同时出现的次数；H(T(P₁))表示在某种边 缘方向下，相同颜色出现的次数；图像的纹理特征向量fv的计算公式如下：

其中

表示连接，图像I₁和I₂的相似性定义如下：

S_I(I₁,I₂)＝||f_v(I₁)-f_v(I₂)||^-1

(2b)提取害虫相似度尺寸：

给定一个具有H×W形状的RGB图像和第i个害虫边界框Hi× Wi，这个害虫对象的目标相对尺寸大小ORSi定义为：

通过以下方式计算整个数据集中第c个类别的ORS：

其中，M是害虫对象的数量，函数sgn(·)表示第i个害虫的类别是第c 类，定义为：

最后，获得所有类别的害虫物种的ORS分布图。

所述步骤(3)具体包括以下步骤：

(3a)设定非局部相似害虫检测网络的输入为害虫图像候选区域、输出为 害虫图像特征结果；

(3b)设定非局部相似害虫检测网络的第一层为通过最大池化的方法抽取 害虫目标的多尺度局部特征：根据每个害虫特征区域的位置和大小，在相似害 虫特征图中抽取对应的害虫目标局部特征；

(3c)设定非局部相似害虫检测网络的第二层为通过双通道注意力模块计 算特征权重：根据每个害虫特征区域的尺寸，通过通道注意力函数计算每个害 虫特征区域在各个尺度特征图中对应的特征权重：

(3d)设定自适应相似害虫检测网络的第三层为相似害虫目标非局部特征 融合：tg非局部特征函数计算的权重对相似害虫特征进行融合处理：

计算每个害虫特征区域的函数输出，引入非局部特征融合函数，构建一个 结合抽取特征的第二层与相邻上下层的特征进行特征融合，非局部特征融合函 数的公式如下：

式中，输入是x，输出是y，i和j分别代表输入的某个空间位置，X_i是一 个向量，维数跟X的channel数一样，f是一个计算任意两点相似关系的函数， g是一个映射函数，将一个点映射成一个向量。

所述步骤(4)具体包括以下步骤：

(4a)在金字塔特征网络中加入跳跃卷积模块，给定的一组形状为(C,C, kh,kw)的滤波器集K，滤波器集K由K₁,K₂,K₃,K₄,K₅组成，分为两个分支， 通过K₁,K₂,K₃,K₄,K₅执行不同的功能，在跳跃卷积模块中，在原始尺度和下 采样后的小尺寸上进行特征变换，对于给定的X，分为两个部分，一部分是X₁, 另一部分是X₂；C为通道数，K1至K5是滤波器；kh为高度，kw为宽度；

(4b)采用最大池化缩小规模：

M₁＝MaxPool_r(X₁) T₁＝MaxPool_r(M₁)

其中，r是池化过程的下采样率和步幅；MaxPool()为最大池化函数；

(4c)T1用作滤波器K₂和K₃的输入，在上采样操作之后将特征恢复到原 始尺度，结果为：

X₁'＝Up(F₂(T₁))＝Up(T₁×K₂)

X₁”＝Up(F₃(X₁'))＝Up(X₁'×K₃)

其中，Up()为上采样函数，X₁’是滤波器K₂与T1经过乘积操作的两次上采 样得到的结果；

其中，F₂(T₁))＝T₁×K₂，F₃(X₁')＝X₁'×K₃是卷积的一种简化形式，然后，校准操 作表述为：

Y₁'＝F₄(X₁)⊙Sigmoid(X₁”)

其中，Y₁’是特征向量X₁”经过激活函数Sigmoid的值与X₁经过卷积函数的 点积形式；

F₄(X₁)＝X₁×K₄,Sigmoid(·)是一个激活函数，计算跳跃卷积模块的最终结 果为：

Y₁＝F₅(Y₁')

F₅(Y₁'))＝Y₁'×K₂

其中，Y₁是特征向量Y₁’经过卷积函数向量值；

(4d)Y₂＝F(X₂)＝X₂×K₁

其中，Y₂是特征向量X₂与滤波器K₁经过乘积的向量值；

(4e)将Y1和Y2求和获得最终结果Y，完成加入跳跃卷积模块的跳跃 卷积模块金字塔特征网络的构建；

(4f)输出害虫分类与参考检测框：

根据Softmax回归模型计算分类标签，按照置信度大小排序，从大到小依 次选取概率值超过置信区间的值；然后使用损失函数训练非局部相似害虫检测 网络，输出具有分类标签的参考检测框。

所述步骤(5)具体包括以下步骤：

(5a)过滤冗余框：选择具有最大分数的边界框进行过滤；

选择交并比大于0.6的框都属于回归的参考检测框，使用非极大抑制的方 法进行筛选，具体步骤包括：

(5a1)将所有框的得分排序，选中最高分及其对应的框：

(5a2)遍历其余的框，如果满足交并比大于限定条件的框和当前最高分 框的重叠面积IOU大于一定阈值，将框删除；

(5a3)从未处理的框中继续选一个得分最高的，重复上述过程，直至没 有满足条件的检测框为止；

(5b)进行中心点优化：

(5b 1)构造中心点定义为，添加了一个单层分支，与回归分支并行以预 测一个位置的“中心度”，给定一个位置的回归目标l、t、r和b，中心目标 定义为：

其中，l、t、r和b分别是距离图像中心点坐标的左、上、右和下端的距 离值；

(5b 2)使用二元交叉熵BCE损失和sigmoid的激活函数参与训练，共同 进行损失计算，保证计算出的检测框接近中心位置，使用的交叉熵函数为：

其中，M是类别的数量；y_ic是符号函数，取值为0或者1；如果样本i的 标签类别等于C，则取值为1，否则为0；p_ic为观测样本i属于类别c的预测概 率。

由上述技术方案可知，本发明的有益效果为：第一，具有有效识别外形相 似度高，尺寸相差不大的害虫数据集；第二，引入双通道注意力机制，使用非 局部模块重构特征提取方式，加入跳跃卷积模块重构了特征金字塔；第三，本 发明是一阶段无锚框检测器，能达到实时检测效果。

附图说明

图1是本发明的方法流程图；

图2是24类害虫在图片中所占比例；

图3是跳跃校正卷积模块的示意图；

图4对某一位置点预测4D((l,t,r,b))向量示意图；

图5是YOLO3(第1列)、Faster RCNN(第2列)、FCOS(第3列)和本 文DACFA(第4列)的检测结果示意图。

具体实施方式

如图1所示，一种基于灯下相似害虫图像自适应特征融合检测方法，该方 法包括下列顺序的步骤：

(1)获取相似害虫图像数据集并进行预处理；

(2)进行害虫相似度特征的提取；

(3)构建联合双通道注意力机制的非局部相似害虫检测网络，将步骤(2) 提取的害虫相似度特征输入至非局部相似害虫检测网络；

(4)设计平衡尺寸的跳跃卷积模块金字塔特征网络，将非局部相似害虫 检测网络的输出作为跳跃卷积模块金字塔特征网络的输入，跳跃卷积模块金字 塔特征网络输出满足条件的参考检测框；

(5)对选出的参考检测框进行中心点优化，使用非极大抑制方法进行去 重优化；

(6)输出相似害虫检测结果。

所述步骤(1)具体包括以下步骤：

(1a)获取相似害虫图像数据集，并对相似害虫图像数据集中的图像数据 进行分割，将分割出来的所有单类害虫图像进行尺寸归一化预处理；

(1b)将所有经过尺寸归一化预处理的单类害虫图像随机抽取100张进行 相似性统计。

所述步骤(2)具体包括以下步骤：

(2a)提取害虫相似度纹理：

在RGB色彩空间内，利用索贝尔算子对三个色彩通道分别进行计算，在 每个通道内返回水平方向与垂直方向对应的两个向量：向量a(Rx，Gx，Bx) 和向量b(Ry,Gy,By)，通过公式(1)至(4)进行计算：

a·b＝R_x·R_y+G_x·G_y+B_x·B_y (3)

θ是向量a、b的余弦夹角；

进行害虫相似度颜色的度量：分别将R、G和B三个通道得到的结果量化 成64种颜色的图像，以4个不同的基元分别在图像C(x,y)中进行纹理探测， 得到纹理基元图像T(x，y)，最后根据T(x，y)以多基元直方图描述纹理特 征，多基元直方图的定义如公式(5)与公式(6)所示：

H(T(P₁))＝N{θ(P₁)＝v1∩θ(P₂)＝v2||P₁-P₂||＝D} (5)

H(T(P₁))＝N{θ(P₁)＝v1∩θ(P₂)＝v2||P₁-P₂||＝D} (6)

其中，P1＝(x1,y1)、P2＝(x2,y2)表示原图像中距离为D的两个相邻像 素点，它们在基元图像中对应的像素点分别为T(P1)＝w1、T(p2)＝w2，在纹理方 向矩阵θ(x,y)，点P1和P2的方向分别为θ(P1)＝v1，θ(P2)＝v2；N表示v1和 v 2共同出现的次数，

表示w1和w2共同出现的次数，v1和v 2是图像C(x,y) 的四个测试基元，w1和w2是纹理基元图像T(x,y)中对应的像素点；H(T(P1)) 表示在某种颜色背景下，相同边缘方向同时出现的次数；H(T(P₁))表示在某种边 缘方向下，相同颜色出现的次数；图像的纹理特征向量fv的计算公式如下：

其中

表示连接，图像I₁和I₂的相似性定义如下：

S_I(I₁,I₂)＝||f_v(I₁)-f_v(I₂)||^-1

害虫相似度纹理还有一种提取方法：

数据集的相似度量可以分为纹理灰度级和彩色度量方法，灰度方法一般采 用哈希算法，哈希算法是描述图像相似度的常用方法,在识别效果方面，dHash 算法优于aHash算法，但不如pHash算法。使用感知哈希算法对提取出来的 24类害虫进行不同尺度的相似度分析。首先在每一类中随机挑选100张分类 截取的图片,选取图片缩放为32×32、64×64进行各自相似度的计算,计算的混 淆矩阵如表1和表2所示：

表1 相似害虫的尺寸大小为(32*32)17个子类的phash相似性算法数据表。

表2 相似害虫的尺寸大小为(32*32)7个子类的phash相似性算法数据表：

(2b)提取害虫相似度尺寸：

给定一个具有H×W形状的RGB图像和第i个害虫边界框Hi× Wi，这个害虫对象的目标相对尺寸大小ORSi定义为：

通过以下方式计算整个数据集中第c个类别的ORS：

其中，M是害虫对象的数量，函数sgn(·)表示第i个害虫的类别是第c 类，定义为：

最后，获得所有类别的害虫物种的ORS分布图。

所述步骤(3)具体包括以下步骤：

(3a)设定非局部相似害虫检测网络的输入为害虫图像候选区域、输出为 害虫图像特征结果；

(3b)设定非局部相似害虫检测网络的第一层为通过最大池化的方法抽取 害虫目标的多尺度局部特征：根据每个害虫特征区域的位置和大小，在相似害 虫特征图中抽取对应的害虫目标局部特征；

(3c)设定非局部相似害虫检测网络的第二层为通过双通道注意力模块计 算特征权重：根据每个害虫特征区域的尺寸，通过通道注意力函数计算每个害 虫特征区域在各个尺度特征图中对应的特征权重：

(3d)设定自适应相似害虫检测网络的第三层为相似害虫目标非局部特征 融合：tg非局部特征函数计算的权重对相似害虫特征进行融合处理：

计算每个害虫特征区域的函数输出，引入非局部特征融合函数，构建一个 结合抽取特征的第二层与相邻上下层的特征进行特征融合，非局部特征融合函 数的公式如下：

式中，输入是x，输出是y，i和j分别代表输入的某个空间位置，X_i是一 个向量，维数跟X的channel数一样，f是一个计算任意两点相似关系的函数， g是一个映射函数，将一个点映射成一个向量。

所述步骤(4)具体包括以下步骤：

(4a)在金字塔特征网络中加入跳跃卷积模块，给定的一组形状为(C,C, kh,kw)的滤波器集K，滤波器集K由K₁,K₂,K₃,K₄,K₅组成，分为两个分支， 通过K₁,K₂,K₃,K₄,K₅执行不同的功能，在跳跃卷积模块中，在原始尺度和下 采样后的小尺寸上进行特征变换，对于给定的X，分为两个部分，一部分是X₁, 另一部分是X₂；C为通道数，K1至K5是滤波器；kh为高度，kw为宽度；

(4b)采用最大池化缩小规模：

M₁＝MaxPool_r(X₁) T₁＝MaxPool_r(M₁)

其中，r是池化过程的下采样率和步幅；MaxPool()为最大池化函数；

(4c)T1用作滤波器K₂和K₃的输入，在上采样操作之后将特征恢复到原 始尺度，结果为：

X₁'＝Up(F₂(T₁))＝Up(T₁×K₂)

X₁”＝Up(F₃(X₁'))＝Up(X₁'×K₃)

其中，Up()为上采样函数，X₁’是滤波器K₂与T1经过乘积操作的两次上采 样得到的结果；

其中，F₂(T₁))＝T₁×K₂，F₃(X₁')＝X₁'×K₃是卷积的一种简化形式，然后，校准操 作表述为：

Y₁'＝F₄(X₁)⊙Sigmoid(X₁”)

其中，Y₁’是特征向量X₁”经过激活函数Sigmoid的值与X₁经过卷积函数的 点积形式；

F₄(X₁)＝X₁×K₄,Sigmoid(·)是一个激活函数，计算跳跃卷积模块的最终结 果为：

Y₁＝F₅(Y₁')

F₅(Y₁'))＝Y₁'×K₂

其中，Y₁是特征向量Y₁’经过卷积函数向量值；

(4d)Y₂＝F(X₂)＝X₂×K₁

其中，Y₂是特征向量X₂与滤波器K₁经过乘积的向量值；

(4e)将Y1和Y2求和获得最终结果Y，完成加入跳跃卷积模块的跳跃 卷积模块金字塔特征网络的构建；

如图3所示，跳跃卷积模块使每个空间位置都能够自适应地编码来自远距 离区域的上下文，这也是它和传统的FPN卷积的区别。

(4f)输出害虫分类与参考检测框：

根据Softmax回归模型计算分类标签，按照置信度大小排序，从大到小依 次选取概率值超过置信区间的值；然后使用损失函数训练非局部相似害虫检测 网络，输出具有分类标签的参考检测框。

所述步骤(5)具体包括以下步骤：

(5a)过滤冗余框：选择具有最大分数的边界框进行过滤；

选择交并比大于0.6的框都属于回归的参考检测框，使用非极大抑制的方 法进行筛选，具体步骤包括：

(5a1)将所有框的得分排序，选中最高分及其对应的框：

(5a2)遍历其余的框，如果满足交并比大于限定条件的框和当前最高分 框的重叠面积IOU大于一定阈值，将框删除；

(5a3)从未处理的框中继续选一个得分最高的，重复上述过程，直至没 有满足条件的检测框为止；

(5b)进行中心点优化：

(5b 1)构造中心点定义为，添加了一个单层分支，与回归分支并行以预 测一个位置的“中心度”，给定一个位置的回归目标l、t、r和b，中心目标 定义为：

其中，l、t、r和b分别是距离图像中心点坐标的左、上、右和下端的距 离值，如图4所示，具体来说，提出了一种简单而有效的策略来抑制这些检测 到的低质量边界框，而不会引入任何超参数。添加了一个单层分支，与回归分 支并行以预测一个位置的“中心度”。

(5b 2)使用二元交叉熵BCE损失和sigmoid的激活函数参与训练，共同 进行损失计算，保证计算出的检测框接近中心位置，使用的交叉熵函数为：

其中，M是类别的数量；y_ic是符号函数，取值为0或者1；如果样本i的 标签类别等于C，则取值为1，否则为0；p_ic为观测样本i属于类别c的预测概 率。

如图2所示，所有害虫对象的ORS不大于1％，这表明工作中的所有害虫 都是小尺寸，此外，大多数类别持有接近0.5％的ORS，这意味着在相似害虫 数据集任务中规模相似的难度。

为了测试本发明的有效性，选择Faster R-CNN、Fcos和YOLO3与本发明 进行对比。害虫检测结果如表3所示，可以观察到本方法优于Faster R-CNN和 YOLO3。本方法的mAP可以达到45％，比YOLO3高14.2％，比Faster R-CNN 高3.1％。对于极端特殊害虫(“21”类和“23”类)，检测精度低于其他类 害虫。然而，本方法仍然明显优于YOLO3和Faster R-CNN，这得益于特征融 合模块，检测结果见表4：

表3 DACFA与其他检测方法比较结果

表4 AP50和所有类别的害虫在相似的害虫数据集上使用不同的检测方法(单位:％).

为了直接观察本发明提出的害虫检测方法的优势，给出了本发明、YOLO3 和Faster R-CNN的一些可视化的害虫检测结果，如图5所示，表明本方法较 其他方法准确度较高且错失数量较少。

综上所述，本发明具有有效识别外形相似度高，尺寸相差不大的害虫数据 集；引入双通道注意力机制，使用非局部模块重构特征提取方式，加入跳跃卷 积模块重构了特征金字塔；本发明是一阶段无锚框检测器，能达到实时检测效 果。

Claims (6)

1.一种基于灯下相似害虫图像自适应特征融合检测方法，其特征在于：该方法包括下列顺序的步骤：

(1)获取相似害虫图像数据集并进行预处理；

(2)进行害虫相似度特征的提取；

(3)构建联合双通道注意力机制的非局部相似害虫检测网络，将步骤(2)提取的害虫相似度特征输入至非局部相似害虫检测网络；

(4)设计平衡尺寸的跳跃卷积模块金字塔特征网络，将非局部相似害虫检测网络的输出作为跳跃卷积模块金字塔特征网络的输入，跳跃卷积模块金字塔特征网络输出满足条件的参考检测框；

(5)对选出的参考检测框进行中心点优化，使用非极大抑制方法进行去重优化；

(6)输出相似害虫检测结果。

2.根据权利要求1所述的基于灯下相似害虫图像自适应特征融合检测方法，其特征在于：所述步骤(1)具体包括以下步骤：

(1a)获取相似害虫图像数据集，并对相似害虫图像数据集中的图像数据进行分割，将分割出来的所有单类害虫图像进行尺寸归一化预处理；

(1b)将所有经过尺寸归一化预处理的单类害虫图像随机抽取100张进行相似性统计。

3.根据权利要求1所述的基于灯下相似害虫图像自适应特征融合检测方法，其特征在于：所述步骤(2)具体包括以下步骤：

(2a)提取害虫相似度纹理：

在RGB色彩空间内，利用索贝尔算子对三个色彩通道分别进行计算，在每个通道内返回水平方向与垂直方向对应的两个向量：向量a(Rx，Gx，Bx)和向量b(Ry,Gy,By)，通过公式(1)至(4)进行计算：

a·b＝R_x·R_y+G_x·G_y+B_x·B_y (3)

θ是向量a、b的余弦夹角；

进行害虫相似度颜色的度量：分别将R、G和B三个通道得到的结果量化成64种颜色的图像，以4个不同的基元分别在图像C(x,y)中进行纹理探测，得到纹理基元图像T(x，y)，最后根据T(x，y)以多基元直方图描述纹理特征，多基元直方图的定义如公式(5)与公式(6)所示：

H(T(P₁))＝N{θ(P₁)＝v1∩θ(P₂)＝v2||P₁-P₂||＝D} (5)

H(T(P₁))＝N{θ(P₁)＝v1∩θ(P₂)＝v2||P₁-P₂||＝D} (6)

其中，P1＝(x1,y1)、P2＝(x2,y2)表示原图像中距离为D的两个相邻像素点，它们在基元图像中对应的像素点分别为T(P1)＝w1、T(p2)＝w2，在纹理方向矩阵θ(x,y)，点P1和P2的方向分别为θ(P1)＝v1，θ(P2)＝v2；N表示v1和v2共同出现的次数，

表示w1和w2共同出现的次数，v1和v2是图像C(x,y)的四个测试基元，w1和w2是纹理基元图像T(x,y)中对应的像素点；H(T(P1))表示在某种颜色背景下，相同边缘方向同时出现的次数；H(T(P₁))表示在某种边缘方向下，相同颜色出现的次数；图像的纹理特征向量fv的计算公式如下：

其中

表示连接，图像I₁和I₂的相似性定义如下：

S_I(I₁,I₂)＝||f_v(I₁)-f_v(I₂)||^-1

(2b)提取害虫相似度尺寸：

给定一个具有H×W形状的RGB图像和第i个害虫边界框Hi×Wi，这个害虫对象的目标相对尺寸大小ORSi定义为：

通过以下方式计算整个数据集中第c个类别的ORS：

其中，M是害虫对象的数量，函数sgn(·)表示第i个害虫的类别是第c类，定义为：

最后，获得所有类别的害虫物种的ORS分布图。

4.根据权利要求1所述的基于灯下相似害虫图像自适应特征融合检测方法，其特征在于：所述步骤(3)具体包括以下步骤：

(3a)设定非局部相似害虫检测网络的输入为害虫图像候选区域、输出为害虫图像特征结果；

(3b)设定非局部相似害虫检测网络的第一层为通过最大池化的方法抽取害虫目标的多尺度局部特征：根据每个害虫特征区域的位置和大小，在相似害虫特征图中抽取对应的害虫目标局部特征；

(3c)设定非局部相似害虫检测网络的第二层为通过双通道注意力模块计算特征权重：根据每个害虫特征区域的尺寸，通过通道注意力函数计算每个害虫特征区域在各个尺度特征图中对应的特征权重：

(3d)设定自适应相似害虫检测网络的第三层为相似害虫目标非局部特征融合：tg非局部特征函数计算的权重对相似害虫特征进行融合处理：

计算每个害虫特征区域的函数输出，引入非局部特征融合函数，构建一个结合抽取特征的第二层与相邻上下层的特征进行特征融合，非局部特征融合函数的公式如下：

式中，输入是x，输出是y，i和j分别代表输入的某个空间位置，X_i是一个向量，维数跟X的channel数一样，f是一个计算任意两点相似关系的函数，g是一个映射函数，将一个点映射成一个向量。

5.根据权利要求1所述的基于灯下相似害虫图像自适应特征融合检测方法，其特征在于：所述步骤(4)具体包括以下步骤：

(4a)在金字塔特征网络中加入跳跃卷积模块，给定的一组形状为(C,C,kh,kw)的滤波器集K，滤波器集K由K₁,K₂,K₃,K₄,K₅组成，分为两个分支，通过K₁,K₂,K₃,K₄,K₅执行不同的功能，在跳跃卷积模块中，在原始尺度和下采样后的小尺寸上进行特征变换，对于给定的X，分为两个部分，一部分是X₁,另一部分是X₂；C为通道数，K1至K5是滤波器；kh为高度，kw为宽度；

(4b)采用最大池化缩小规模：

M₁＝MaxPool_r(X₁) T₁＝MaxPool_r(M₁)

其中，r是池化过程的下采样率和步幅；MaxPool()为最大池化函数；

(4c)T1用作滤波器K₂和K₃的输入，在上采样操作之后将特征恢复到原始尺度，结果为：

X₁'＝Up(F₂(T₁))＝Up(T₁×K₂)

X₁”＝Up(F₃(X₁'))＝Up(X₁'×K₃)

其中，Up()为上采样函数，X₁’是滤波器K₂与T1经过乘积操作的两次上采样得到的结果；

其中，F₂(T₁))＝T₁×K₂，F₃(X₁')＝X₁'×K₃是卷积的一种简化形式，然后，校准操作表述为：

Y₁'＝F₄(X₁)⊙Sigmoid(X₁”)

其中，Y₁’是特征向量X₁”经过激活函数Sigmoid的值与X₁经过卷积函数的点积形式；

F₄(X₁)＝X₁×K₄,Sigmoid(·)是一个激活函数，计算跳跃卷积模块的最终结果为：

Y₁＝F₅(Y₁')

F₅(Y₁'))＝Y₁'×K₂

其中，Y₁是特征向量Y₁’经过卷积函数向量值；

(4d)Y₂＝F(X₂)＝X₂×K₁

其中，Y₂是特征向量X₂与滤波器K₁经过乘积的向量值；

(4e)将Y1和Y2求和获得最终结果Y，完成加入跳跃卷积模块的跳跃卷积模块金字塔特征网络的构建；

(4f)输出害虫分类与参考检测框：

根据Softmax回归模型计算分类标签，按照置信度大小排序，从大到小依次选取概率值超过置信区间的值；然后使用损失函数训练非局部相似害虫检测网络，输出具有分类标签的参考检测框。

6.根据权利要求1所述的基于灯下相似害虫图像自适应特征融合检测方法，其特征在于：所述步骤(5)具体包括以下步骤：

(5a)过滤冗余框：选择具有最大分数的边界框进行过滤；

选择交并比大于0.6的框都属于回归的参考检测框，使用非极大抑制的方法进行筛选，具体步骤包括：

(5a1)将所有框的得分排序，选中最高分及其对应的框：

(5a2)遍历其余的框，如果满足交并比大于限定条件的框和当前最高分框的重叠面积IOU大于一定阈值，将框删除；

(5a3)从未处理的框中继续选一个得分最高的，重复上述过程，直至没有满足条件的检测框为止；

(5b)进行中心点优化：

(5b1)构造中心点定义为，添加了一个单层分支，与回归分支并行以预测一个位置的“中心度”，给定一个位置的回归目标l、t、r和b，中心目标定义为：

其中，l、t、r和b分别是距离图像中心点坐标的左、上、右和下端的距离值；

(5b2)使用二元交叉熵BCE损失和sigmoid的激活函数参与训练，共同进行损失计算，保证计算出的检测框接近中心位置，使用的交叉熵函数为：

其中，M是类别的数量；y_ic是符号函数，取值为0或者1；如果样本i的标签类别等于C，则取值为1，否则为0；p_ic为观测样本i属于类别c的预测概率。

Images