CN109034268B - 一种面向信息素诱捕器的红脂大小蠹检测器优化方法 - Google Patents

Abstract

本发明公开了一种面向信息素诱捕器的红脂大小蠹检测器优化方法，优化基础为RetinaNet检测器，采用该方法优化后得到一轻量级红脂大小蠹检测器，该方法用于对嵌入信息素诱捕器收集杯中的摄像头采集的蠹虫图像进行检测，以检测出其中的小蠹科害虫的种类和个数，包括(1)数据增强，(2)损失函数，(3)特征提取器优化，(4)特征金字塔优化，(5)预测模块优化。本发明提供的面向信息素诱捕器的红脂大小蠹检测器优化方法针对蠹虫样本的特点和检测器部署的需要对RetinaNet检测器进行了优化，克服了RetinaNet检测器在红脂大小蠹实时检测上的不足，在保证检测精度的前提下，能够在嵌入式设备上运行，为大规模低成本的红脂大小蠹监测系统的实现提供基础。

Description

一种面向信息素诱捕器的红脂大小蠹检测器优化方法

技术领域

本发明涉及计算机视觉技术领域，具体而言，涉及一种面向信息素诱捕器的红脂大小蠹检测器优化方法。

背景技术

红脂大小蠹是近年来入侵我国的重大林业害虫，给我国林业经济造成严重损失。若监测预报准确及时，即可及早控制虫害，避免林区的经济和生态效益遭受重大损失。利用信息素诱捕器可有效捕捉成虫扬飞期的红脂大小蠹，通过统计诱捕器内的红脂大小蠹数量，可实现红脂大小蠹的监测。传统的统计过程依赖于人类专家手动识别和计数害虫，统计过程主观、劳动量大、成本昂贵，阻碍了大规模、低成本的红脂大小蠹监测系统的实现。

随着摄像机嵌入式设备在物联网中的普及，计算机视觉技术的迅速发展为现代农林害虫自动监测提供了一条新的途径。通用检测器的设计策略针对×86、GPU平台，以通用大数据集的准确率为唯一优化目标，检测器超参数设计针对Pascal VOC、COCO等通用大数据集，且通用检测器的分类设计针对大类分类，而蠹虫检测的应用场景是在嵌入式设备上实现小蠹科内的精细分类，因此通用检测器不满足红脂大小蠹检测的实际需求。

RetinaNet检测器是一种通用检测器，其存在以下缺点：

(1)RetinaNet检测器采用ResNet作为基础特征提取器，参数量和运算量较大，不满足在嵌入式设备部署的需求；

(2)RetinaNet检测器借助ResNet网络得到{C3，C4，C5}三个特征层，并构建空间分辨率压缩至输入图像的{1/8，1/16，1/32，1/64，1/128}的{P3，P4，P5，P6，P7}五层特征金字塔。但是，特征金字塔的P5、P6、P7层对应的默认框尺寸明显大于蠹虫样本，不适合进行蠹虫的检测。

(3)RetinaNet检测器的预测模块包括分类子网和回归子网，且利用多层卷积提高了检测准确度，但红脂大小蠹的检测需针对6种小蠹科害虫进行检测，检测数据类间差距较小，蠹虫数据的采集过程中，蠹虫的位置、大小、姿态各异，同类数据类内方差较大，预测模块的分类难度较大。RetinaNet检测器缺乏针对分类子网的优化措施。

(4)RetinaNet检测器根据金字塔层的层数初始化默认框，其中，金字塔层Pi的基础框面积为(2ⁱ⁺³)²，包括{2⁰,2^1/3,2^2/3}三组尺寸，每层金字塔的默认框有三组宽高比{1:2,1:1,2:1}。但受镜头焦距、拍摄距离和小蠹体型的约束，小蠹数据集的目标大小和COCO等通用数据集存在较大差异。因此，RetinaNet检测器的默认框大小不符合蠹虫检测的实际需求。

发明内容

本发明提供一种面向信息素诱捕器的红脂大小蠹检测器优化方法，用以克服RetinaNet检测器存在的上述不足。

为达到上述目的，本发明提供了一种面向信息素诱捕器的红脂大小蠹检测器优化方法，优化基础为RetinaNet检测器，采用该方法优化后得到一轻量级红脂大小蠹检测器，该方法用于对嵌入信息素诱捕器收集杯中的摄像头采集的蠹虫图像进行检测，以检测出其中的小蠹科害虫的种类和个数，该方法包括以下步骤：

(1)数据增强：

对蠹虫图像进行以下操作：平移、缩放、翻转及亮度变化；

(2)损失函数：

轻量级红脂大小蠹检测器采用一聚焦损失函数，聚焦损失函数FL(p_t)的定义如下式：

FL(p_t)＝-(1-p_t)γ_log(p_t)，

其中，

y代表样本类别，p∈[0,1]是检测器对待检测样本属于正样本(即y＝1)的估计概率，γ为可调因子并且γ≥0；

(3)特征提取器优化：

使用深度可分离卷积构建一MobileNet网络作为特征提取器，特征提取器包括一个输入层、一个卷积层、十三个深度可分离卷积层，输入层位于卷积层之前，十三个深度可分离卷积层位于卷积层之后，其中，

从输入层输出的特征图大小为600×600×3，

卷积层中卷积滤波器的大小为3×3，卷积滤波器的数目为32，卷积步长为2，卷积层输出的特征图大小为300×300×32，

第1～5个深度可分离卷积层中，深度卷积滤波器的大小均为3×3，深度卷积滤波器的数目均为1，深度卷积步长分别为2、1、2、1、2，点卷积滤波器的大小均为1×1，点卷积滤波器的数目分别为64、128、128、256、256，点卷积的步长均为1，第5个深度可分离卷积层输出的特征图大小为75×75×256，

第6～11个深度可分离卷积层中，深度卷积滤波器的大小均为3×3，深度卷积滤波器的数目均为1，深度卷积的步长分别为2、1、1、1、1、1，点卷积滤波器的大小均为1×1，点卷积滤波器的数目均为512，点卷积步长均为1，第11个深度可分离卷积层输出的特征图大小为38×38×512，

第12、13个深度可分离卷积层中，深度卷积滤波器的大小均为3×3，深度卷积滤波器的数目均为1，深度卷积的步长分别为2、1，点卷积滤波器的大小均为1×1，点卷积滤波器的数目均为1024，点卷积的步长均为1，第11个深度可分离卷积层输出的特征图大小为19×19×1024，

(4)特征金字塔优化

S11：分别对第5、11和13个深度可分离卷积层的输出进行卷积计算，其中，进行卷积计算时的卷积滤波器大小为1×1，卷积滤波器的数目为256，卷积步长为1，得到大小分别为75×75×256、38×38×256、19×19×256的特征图，

S12：对步骤S11得到的大小为19×19×256的特征图，利用双线性插值算法进行上采样，得到大小为38×38×256的特征图，将该大小为38×38×256的特征图与步骤S11中得到的大小为38×38×256的特征图进行通道间求和，再对求和结果进行卷积计算，其中，卷积计算使用的卷积滤波器的大小为3×3，卷积滤波器的数目为256，卷积的步长为1，卷积计算得到特征金字塔层P4，其大小为38×38×256，

S13：对步骤S12中得到的特征金字塔层P4，利用双线性插值算法进行上采样，得到大小为75×75×256的特征图，将该大小为75×75×256的特征图与步骤S11中得到的大小为75×75×256的特征图进行通道间求和，再对求和结果进行卷积计算，其中，卷积计算使用的卷积滤波器的大小为3×3，卷积滤波器的数目为256，卷积的步长为1，卷积计算得到特征金字塔层P3，其大小为75×75×256；

(5)预测模块优化

①分类子网优化

S21：将分类子网中的四层卷积替换为四个残差结构，第n个残差结构依次包括一卷积层Un和一短连接Vn，n＝1、2、3或4，残差结构用于进行以下计算：

y＝x+F(x)，

其中，x和y分别是残差结构的输入和输出，卷积层Un对其输入x进行卷积计算并输出残差映射F(x)，卷积计算的滤波器大小为3×3，卷积步长为1，滤波器数目为256，卷积层U1的输入为特征金字塔层P3或P4，短连接Vn用于计算残差结构的输入x与卷积层Un输出的F(x)之和以得到残差结构的输出y，第n个残差结构的输出为第n+1个残差结构的输入，当第1个残差结构的输入为特征金字塔层P3时，第4个残差结构输出的特征图大小为75×75×256，当第1个残差结构的输入为特征金字塔层P4时，第4个残差结构输出的特征图大小为38×38×256，

S22：对第4个残差结构的输出进行卷积计算得到分类特征，卷积计算Ca1的滤波器大小为3×3，卷积步长为1，滤波器数目为9×2，其中，滤波器数目中的“9”表示第4个残差结构输出的特征图的每个像素点对应的默认框个数，滤波器数目中的“2”表示分类子网的分类类别的数目，分类类别为“红脂大小蠹”和“其他”两类，当残差结构的卷积层U1的输入为特征金字塔层P3时，卷积计算输出的特征图大小为75×75×18，当残差结构的卷积层U1的输入为特征金字塔层P4时，卷积计算输出的特征图大小38×38×18，

S23：对步骤S22输出的分类特征进行计算，得到每个默认框在每个分类类别上的分类信心，步骤S22输出的特征图大小中的“18”代表9个默认框在2个类上的特征，将特征值输入sigmoid函数，由sigmoid函数输出默认框属于相应类别的概率，即默认框在各类的分类信心，其中，sigmoid函数的计算公式如下：

其中，x′为特征值，

②回归子网设计

S31：对特征金字塔层P3、P4分别进行四层卷积计算，每层卷积计算的卷积滤波器的大小为3×3，卷积滤波器数目为256，卷积步长为1，经过四层卷积计算，得到的特征图大小分别为75×75×256、38×38×256，

S32：对步骤S31的输出进行一层卷积计算得到默认框位置偏移量，卷积计算的卷积滤波器的大小为3×3，卷积步长为1，卷积滤波器数目为9×4，其中，卷积滤波器数目中的“9”表示该层特征图的每个像素点对应的默认框个数，卷积滤波器数目中的“4”表示默认框左上角和右下角4个坐标值的位置偏移量，

③K-means默认框优化

利用K-means聚类算法对训练样本的标注框面积的算术平方根进行聚类得到聚类结果，再计算聚类结果的平方值，得到6组不同大小的默认框面积，为了更好地匹配不同形状的样本，对每组面积的默认框，初始化三种宽高比{1:2,1:1,2:1}，即每组默认框下包含三种宽高比不同的默认框，

④检测框定位

将6组共18种默认框以对应的特征金字塔层的初始大小按预设步长在600×600×3大小的输入图上进行定位，得到默认框在输入图上的左上角和右下角的坐标(x₁,y₁,x₂,y₂)，其中，特征金字塔层P3的步长为8像素，特征金字塔层P4的步长为16像素，通过回归子网，得到每个默认框对应的位置偏移量(Δx₁,Δy₁,Δx₂,Δy₂)，将每个默认框对应的位置偏移量(Δx₁,Δy₁,Δx₂,Δy₂)和(x₁,y₁,x₂,y₂)求和，得到检测框的位置，

⑤检测结果获取

合并分类子网优化和检测框定位的结果，得到每个检测框的分类信心和位置信息，特征金字塔层P3得到检测框75×75×9个，特征金字塔层P4得到检测框38×38×9个，对全部检测框进行非极大值抑制，去除和分类信心高的检测框的重合度过高的检测结果，最终保留下的检测框是红脂大小蠹检测器最终的检测结果，

非极大值抑制的过程如下：

(a)将所有检测框按分类信心由高到低排列，

(b)去除检测框序列中和信心最高的检测框的IoU(Intersection over Union)>0.5的检测框，

(c)去除和当前检测框序列中和信心第二高的检测框的IoU>0.5的检测框，

(d)依次类推，直到遍历到当前检测框序列信心最低的检测框，

(e)取最终得到的检测框序列的前M个，如果不足M，则取全部序列。

在本发明的一实施例中，于(1)数据增强中，蠹虫图像宽度和高度的平移比例均为[0,0.1]，蠹虫图像宽度和高度的缩放比例均为[0.85,1.05]，蠹虫图像沿横轴和纵轴翻转的概率均为0.5，蠹虫图像的亮度变化范围为[0.7,1.05)。

在本发明的一实施例中，M为300。

本发明提供的面向信息素诱捕器的红脂大小蠹检测器优化方法根据信息素诱捕器内红脂大小蠹大小和分布特点对RetinaNet检测器进行了裁剪，强化判别害虫种类的分类子网，并利用K-means聚类算法对默认框大小进行优化，优化后的检测器为轻量级红脂大小蠹检测器，克服了RetinaNet检测器在红脂大小蠹实时检测上的不足，在保证检测精度的前提下，能够在嵌入式设备上运行，为大规模低成本的红脂大小蠹监测系统的实现提供基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为采用本发明提供的面向信息素诱捕器的红脂大小蠹检测器优化方法优化后的红脂大小蠹检测器的架构；

图2a～图2f为数据增强过程的各个图像对比；

图3a、图3b分别为标准卷积和深度可分离卷积的结构示意图；

图4a为RetinaNet检测器的五层特征金字塔P3～P7分别对应的默认框大小；

图4b为采用本发明的方法优化前的标注框和默认框的大小；

图4c为采用本发明的方法优化后的标注框和默认框的大小。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为采用本发明提供的面向信息素诱捕器的红脂大小蠹检测器优化方法优化后的红脂大小蠹检测器的架构，其包含特征提取器、特征金字塔和预测模块三部分，结合图1对本发明进行具体描述。

本发明提供了一种面向信息素诱捕器的红脂大小蠹检测器优化方法，优化基础为RetinaNet检测器，采用该方法优化后得到一轻量级红脂大小蠹检测器，该方法用于对嵌入信息素诱捕器收集杯中的摄像头采集的蠹虫图像进行检测，以检测出其中的小蠹科害虫的种类和个数，该方法包括以下步骤：

(1)数据增强：

由于蠹虫数据集相对COCO等检测数据集较小，为了提高红脂大小蠹检测器的健壮性，避免过拟合，对训练数据进行数据增强。

对蠹虫图像进行以下操作：平移、缩放、翻转及亮度变化；

在本实施例中，蠹虫图像宽度和高度的平移比例均为[0,0.1]，蠹虫图像宽度和高度的缩放比例均为[0.85,1.05]，蠹虫图像沿横轴和纵轴翻转的概率均为0.5，蠹虫图像的亮度变化范围为[0.7,1.05)。

图2a～图2f为数据增强过程的各个图像对比，其中，图2a为原始图像，图2b为平移比例为0.1的图像，图2c为放大1.05倍的图像，图2d为缩小0.85倍的图像，图2e为亮度变为原始图像0.7的图像，图2f为多种操作后的图像。

(2)损失函数：

为了处理检测器存在的正负样本失衡问题，轻量级红脂大小蠹检测器采用一聚焦损失函数，聚焦损失函数FL(p_t)的定义如下式：

FL(p_t)＝-(1-p_t)^γlog(p_t)，

其中，

y代表样本类别，p∈[0,1]是检测器对待检测样本属于正样本(即y＝1)的估计概率，γ为可调因子并且γ≥0；

聚焦损失函数在标准的交叉熵损失函数的基础上增加了一个调节因子(1-p_t)^γ，当γ＝0时，聚焦损失等价于标准交叉熵损失，随着γ的增大，调节因子(1-p_t)^γ的作用也逐渐增强。由以上公式可以看出，待检测样本分类正确且分类信心较高时，对应的p_t→1，(1-p_t)→0，从而FL→0，损失明显减小，而当待检测样本分类错误且分类信心较低时，(1-p_t)→1，损失不受影响。通过聚焦损失函数，减少了简单样本的损失贡献，避免大量的简单负样本对训练过程的干扰，有效缓解了检测过程中存在的正负样本失衡现象。

(3)特征提取器优化：

RetinaNet检测器采用ResNet作为基础特征提取器，参数量和运算量较大，不满足在嵌入式设备部署的需求，为了降低红脂大小蠹检测器在特征提取阶段的参数量和运算量，实现检测器在嵌入式设备的部署，本发明对特征提取器进行了改进。

图3a、图3b分别为标准卷积和深度可分离卷积的结构示意图，深度可分离卷积(Depthwise separable convolution，DSC)是一种把标准卷积分解为深度卷积(Depthwiseconvolution)和点卷积(Pointwise convolution)的卷积方式。如图3b所示，深度卷积对输入的每个通道做单独卷积，点卷积对深度卷积的输出进行线性连接，深度可分离卷积的计算量为两部分的总和。假设输入特征图的大小为D_i×D_i×M，输出特征图的大小为D_f×D_f×N，标准卷积的卷积核大小为D_k×D_k，深度可分离卷积的深度卷积核大小为D_k×D_k，点卷积核大小为1×1，深度可分离卷积的计算量和标准卷积的计算量比值为：

对于3×3卷积，即D_k＝3，深度可分离卷积将会缩减8至9倍的计算量。

本发明使用深度可分离卷积构建的MobileNet网络作为红脂大小蠹检测器的特征提取器，通过这种方式，特征提取器的参数量降低86.30％，计算量降低85.24％(具体数值如表2所示)。

使用深度可分离卷积构建一MobileNet网络作为特征提取器，特征提取器包括一个输入层、一个卷积层、十三个深度可分离卷积层，输入层位于卷积层之前，十三个深度可分离卷积层位于卷积层之后，其中，

从输入层输出的特征图大小为600×600×3，

卷积层中卷积滤波器的大小为3×3，卷积滤波器的数目为32，卷积步长为2，卷积层输出的特征图大小为300×300×32，

第1～5个深度可分离卷积层中，深度卷积滤波器的大小均为3×3，深度卷积滤波器的数目均为1，深度卷积步长分别为2、1、2、1、2，点卷积滤波器的大小均为1×1，点卷积滤波器的数目分别为64、128、128、256、256，点卷积的步长均为1，第5个深度可分离卷积的深度卷积和点卷积即为图1中的Conv_dw_5、Conv_pw_5，第5个深度可分离卷积层输出的特征图大小为75×75×256，

第6～11个深度可分离卷积层中，深度卷积滤波器的大小均为3×3，深度卷积滤波器的数目均为1，深度卷积的步长分别为2、1、1、1、1、1，点卷积滤波器的大小均为1×1，点卷积滤波器的数目均为512，点卷积步长均为1，第11个深度可分离卷积的深度卷积和点卷积即为图1中的Conv_dw_11、Conv_pw_11，第11个深度可分离卷积层输出的特征图大小为38×38×512，

第12、13个深度可分离卷积层中，深度卷积滤波器的大小均为3×3，深度卷积滤波器的数目均为1，深度卷积的步长分别为2、1，点卷积滤波器的大小均为1×1，点卷积滤波器的数目均为1024，点卷积的步长均为1，第13个深度可分离卷积的深度卷积和点卷积即为图中的Conv_dw_13、Conv_pw_13，第11个深度可分离卷积层输出的特征图大小为19×19×1024，

(4)特征金字塔优化

RetinaNet检测器借助ResNet网络得到{C3，C4，C5}三个特征层，并构建空间分辨率压缩至输入图像的{1/8，1/16，1/32，1/64，1/128}的{P3，P4，P5，P6，P7}五层特征金字塔。为了使红脂大小蠹检测器结构符合蠹虫大小并降低检测器参数量和计算量，本发明重新设计了特征金字塔结构。由图4a的默认框大小结合蠹虫数据集样本可以看出，特征金字塔的P5、P6、P7层对应的默认框尺寸明显大于蠹虫样本，不适合进行蠹虫的检测。因此，本发明在红脂大小蠹检测器的设计中，删去了特征金字塔的P5、P6、P7层。

本发明在红脂大小蠹检测器的设计中，选取第五、第十一、第十三个深度可分离卷积的输出作为构建特征金字塔的基础{C3，C4，C5}。对于输入图像，{C3，C4，C5}的空间分辨率分别压缩至{1/8，1/16，1/32}。

为融合多尺度特征，红脂大小蠹检测器使用不同空间分辨率的特征层构建特征金字塔。将经过上采样的高层特征和低层卷积特征进行融合，使低层特征金字塔层融合语义更强的高级特征。通过调整特征金字塔结构，特征金字塔和预测模块的参数量降低47.07％，计算量降低8.21％，红脂大小蠹检测器的整体参数量降低72.88％，计算量降低38.83％(具体数值如表2所示)。

特征金字塔的实现过程如下：

S11：分别对第5、11和13个深度可分离卷积层的输出进行卷积计算，其中，进行卷积计算时的卷积滤波器大小为1×1，卷积滤波器的数目为256，卷积步长为1，得到大小分别为75×75×256、38×38×256、19×19×256的特征图，

S12：对步骤S11得到的大小为19×19×256的特征图，利用双线性插值算法进行上采样，得到大小为38×38×256的特征图，将该大小为38×38×256的特征图与步骤S11中得到的大小为38×38×256的特征图进行通道间求和，再对求和结果进行卷积计算，其中，卷积计算使用的卷积滤波器的大小为3×3，卷积滤波器的数目为256，卷积的步长为1，卷积计算得到特征金字塔层P4，其大小为38×38×256，

S13：对步骤S12中得到的特征金字塔层P4，利用双线性插值算法进行上采样，得到大小为75×75×256的特征图，将该大小为75×75×256的特征图与步骤S11中得到的大小为75×75×256的特征图进行通道间求和，再对求和结果进行卷积计算，其中，卷积计算使用的卷积滤波器的大小为3×3，卷积滤波器的数目为256，卷积的步长为1，卷积计算得到特征金字塔层P3，其大小为75×75×256；

(5)预测模块优化

预测模块用于输出目标的类别及位置。预测模块包括分类子网和回归子网两大部分，其中，分类子网实现对检测目标的类别判断，回归子网计算检测目标相对默认框的位置偏移量。回归子网的结果结合默认框大小得到检测目标的位置信息，分类子网的结果和位置信息合并得到每个检测框的检测类、检测信心和检测框在输入图像上的位置，对全部检测结果进行非极大值抑制得到最终的检测结果。

①分类子网优化

红脂大小蠹检测过程是针对6种小蠹科害虫进行检测，检测数据类间差距较小，蠹虫数据的采集过程中蠹虫的位置、大小、姿态各异，同类数据类内方差较大，预测模块的分类难度较大。为了提高预测模块的分类性能，提高检测器的检测精度，本发明在分类子网上设计了残差结构，通过残差结构，降低深层网络的训练难度，避免深层网络的退化现象。

S21：将分类子网中的四层卷积替换为四个残差结构，第n个残差结构依次包括一卷积层Un和一短连接Vn，n＝1、2、3或4，残差结构用于进行以下计算：

y＝x+F(x)，

其中，x和y分别是残差结构的输入和输出，卷积层Un对其输入x进行卷积计算并输出残差映射F(x)，卷积计算的滤波器大小为3×3，卷积步长为1，滤波器数目为256，卷积层U1的输入为特征金字塔层P3或P4，短连接Vn用于计算残差结构的输入x与卷积层Un输出的F(x)之和以得到残差结构的输出y，第n个残差结构的输出为第n+1个残差结构的输入，当第1个残差结构的输入为特征金字塔层P3时，第4个残差结构输出的特征图大小为75×75×256，当第1个残差结构的输入为特征金字塔层P4时，第4个残差结构输出的特征图大小为38×38×256，

S22：对第4个残差结构的输出进行卷积计算得到分类特征，如图1所示，卷积计算Ca1的滤波器大小为3×3，卷积步长为1，滤波器数目为9×2，其中，滤波器数目中的“9”表示第4个残差结构输出的特征图的每个像素点对应的默认框个数，滤波器数目中的“2”表示分类子网的分类类别的数目，分类类别为“红脂大小蠹”和“其他”两类，当残差结构的卷积层U1的输入为特征金字塔层P3时，卷积计算输出的特征图大小为75×75×18，当残差结构的卷积层U1的输入为特征金字塔层P4时，卷积计算输出的特征图大小38×38×18，

S23：对步骤S22输出的分类特征进行计算，得到每个默认框在每个分类类别上的分类信心，步骤S22输出的特征图大小中的“18”代表9个默认框在2个类上的特征，将特征值输入sigmoid函数，由sigmoid函数输出默认框属于相应类别的概率，即默认框在各类的分类信心，其中，sigmoid函数的计算公式如下：

其中，x′为特征值，

②回归子网设计

S31：对特征金字塔层P3、P4分别进行四层卷积计算，如图1所示，每层卷积计算(R1、R2、R3和R4)的卷积滤波器的大小为3×3，卷积滤波器数目为256，卷积步长为1，经过四层卷积计算，得到的特征图大小分别为75×75×256、38×38×256，

S32：对步骤S31的输出进行一层卷积计算得到默认框位置偏移量，如图1所示，卷积计算R5的卷积滤波器的大小为3×3，卷积步长为1，卷积滤波器数目为9×4，其中，卷积滤波器数目中的“9”表示该层特征图的每个像素点对应的默认框个数，卷积滤波器数目中的“4”表示默认框左上角和右下角4个坐标值的位置偏移量，

③K-means默认框优化

RetinaNet检测器的预测模块输出各默认框内的目标类别及位置调整值。检测器根据特征图上的点在原始输入图像上的映射确定默认框在原始图像上的中心点，然后生成不同比例和尺寸的默认框。RetinaNet检测器的金字塔层Pi(i＝3、4、…、7)的默认框基础面积为(2ⁱ⁺³)²，每个金字塔层Pi的默认框在基础面值上包括{(2⁰)²,(2^1/3)²,(2^2/3)²}三种放大比例，即金字塔层Pi的默认框对应{(2ⁱ⁺³)²,(2^i+3+1/3)²,(2^i+3+2/3)²}三种面积，并且每种面积都有三组宽高比{1:2,1:1,2:1}。

受镜头焦距、拍摄距离和小蠹体型的约束，小蠹数据集的目标大小和COCO等通用数据集存在较大差异。本发明中，经过特征金字塔优化，红脂大小蠹检测器保留了6种默认框面积，利用K-means聚类算法对训练样本的标注框面积的算术平方根进行聚类，得到6个聚类结果，和原始默认框的尺寸对比如表1、图4b、图4c所示，可以看出，K-means聚类算法得到的结果明显更符合蠹虫样本的实际大小。

表1采用本发明的方法优化前后默认框大小对比

	金字塔层	1	2	3
					K-means	P3	23.8106	32.3900	39.0297
原始值	P3	32	32·2<sup>1/3</sup>≈40.3175	32·2<sup>2/3</sup>≈50.7968
					K-means	P4	50.2587	59.2973	74.5278
原始值	P4	64	64·2<sup>1/3</sup>≈80.6349	64·2<sup>2/3</sup>≈101.5937

利用K-means聚类算法对训练样本的标注框面积的算术平方根进行聚类得到聚类结果，再计算聚类结果的平方值，得到6组不同大小的默认框面积，为了更好地匹配不同形状的样本，对每组面积的默认框，初始化三种宽高比{1:2,1:1,2:1}，即每组默认框下包含三种宽高比不同的默认框，

④检测框定位

将6组共18种默认框以对应的特征金字塔层的初始大小按预设步长在600×600×3大小的输入图上进行定位，得到默认框在输入图上的左上角和右下角的坐标(x₁,y₁,x₂,y₂)，其中，特征金字塔层P3的步长为8像素，特征金字塔层P4的步长为16像素，通过回归子网，得到每个默认框对应的位置偏移量(Δx₁,Δy₁,Δx₂,Δy₂)，将每个默认框对应的位置偏移量(Δx₁,Δy₁,Δx₂,Δy₂)和(x₁,y₁,x₂,y₂)求和，得到检测框的位置，

⑤检测结果获取

合并分类子网优化和检测框定位的结果，得到每个检测框的分类信心和位置信息，特征金字塔层P3得到检测框75×75×9个，特征金字塔层P4得到检测框38×38×9个，对全部检测框进行非极大值抑制，去除和分类信心高的检测框的重合度过高的检测结果，最终保留下的检测框是红脂大小蠹检测器最终的检测结果，

非极大值抑制的过程如下：

(a)将所有检测框按分类信心由高到低排列，

(b)去除检测框序列中和信心最高的检测框的IoU(Intersection over Union)>0.5的检测框，

(c)去除和当前检测框序列中和信心第二高的检测框的IoU>0.5的检测框，

(d)依次类推，直到遍历到当前检测框序列信心最低的检测框，

(e)取最终得到的检测框序列的前M个，如果不足M，则取全部序列，本实施例中，M取值为300。

本发明的红脂大小蠹检测器的训练阶段在×86平台上进行，训练过程如下：

(1)首先对采集到的蠹虫图像进行标注，得到标注类和标注框，

(2)对蠹虫图像进行数据增强，得到增强后的蠹虫图像和对应的类别及位置标签，

(3)增强后的蠹虫图像输入到红脂大小蠹检测器中，通过前向传播得到对应图像的预测类和预测框，

(4)利用损失函数计算预测类、预测框和标注类、标注框之间的误差，

(5)根据误差利用链式法则进行反向传播，使用Adam(Adaptive MomentEstimation，自适应矩估计)算法更新红脂大小蠹检测器的参数。

(6)步骤(3-5)经过50轮迭代，得到训练好的检测器。

本发明的红脂大小蠹检测器的检测阶段在嵌入式设备上进行，检测过程如下：

(1)首先将训练好的检测器格式转化为protobuf格式，

(2)然后将蠹虫图像输入检测器，通过前向传播得到对应图像的预测类和预测框，

(3)设置分类信心阈值，输出高于阈值的检测结果，

(4)对检测到的红脂大小蠹进行计数。

表2标准RetinaNet检测器和本发明的红脂大小蠹检测器之间的参数量和计算量的对比

本发明提供的面向信息素诱捕器的红脂大小蠹检测器优化方法根据信息素诱捕器内红脂大小蠹大小和分布特点对RetinaNet检测器进行了裁剪，强化判别害虫种类的分类子网，并利用K-means聚类算法对默认框的大小进行优化，优化后的检测器为轻量级红脂大小蠹检测器，克服了RetinaNet检测器在红脂大小蠹实时检测上的不足，在保证精度的前提下，能够在嵌入式设备上运行，为大规模低成本的红脂大小蠹监测系统的实现提供基础。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (3)

1.一种面向信息素诱捕器的红脂大小蠹检测器优化方法，优化基础为RetinaNet检测器，采用该方法优化后得到一轻量级红脂大小蠹检测器，该方法用于对嵌入信息素诱捕器收集杯中的摄像头采集的蠹虫图像进行检测，以检测出其中的小蠹科害虫的种类和个数，其特征在于，该方法包括以下步骤：

(1)数据增强：

对蠹虫图像进行以下操作：平移、缩放、翻转及亮度变化；

(2)损失函数：

轻量级红脂大小蠹检测器采用一聚焦损失函数，聚焦损失函数FL(p_t)的定义如下式：

FL(p_t)＝-(1-p_t)^γlog(p_t)，

其中，

y∈{±1}，y代表样本类别，p∈[0,1]是检测器对待检测样本属于正样本的估计概率，γ为可调因子并且γ≥0；

(3)特征提取器优化：

使用深度可分离卷积构建一MobileNet网络作为特征提取器，特征提取器包括一个输入层、一个卷积层、十三个深度可分离卷积层，输入层位于卷积层之前，十三个深度可分离卷积层位于卷积层之后，其中，

从输入层输出的特征图大小为600×600×3，

卷积层中卷积滤波器的大小为3×3，卷积滤波器的数目为32，卷积步长为2，卷积层输出的特征图大小为300×300×32，

第1～5个深度可分离卷积层中，深度卷积滤波器的大小均为3×3，深度卷积滤波器的数目均为1，深度卷积步长分别为2、1、2、1、2，点卷积滤波器的大小均为1×1，点卷积滤波器的数目分别为64、128、128、256、256，点卷积的步长均为1，第5个深度可分离卷积层输出的特征图大小为75×75×256，

第6～11个深度可分离卷积层中，深度卷积滤波器的大小均为3×3，深度卷积滤波器的数目均为1，深度卷积的步长分别为2、1、1、1、1、1，点卷积滤波器的大小均为1×1，点卷积滤波器的数目均为512，点卷积步长均为1，第11个深度可分离卷积层输出的特征图大小为38×38×512，

第12、13个深度可分离卷积层中，深度卷积滤波器的大小均为3×3，深度卷积滤波器的数目均为1，深度卷积的步长分别为2、1，点卷积滤波器的大小均为1×1，点卷积滤波器的数目均为1024，点卷积的步长均为1，第13个深度可分离卷积层输出的特征图大小为19×19×1024，

(4)特征金字塔优化：

S11：分别对第5、11和13个深度可分离卷积层的输出进行卷积计算，其中，进行卷积计算时的卷积滤波器大小为1×1，卷积滤波器的数目为256，卷积步长为1，得到大小分别为75×75×256、38×38×256、19×19×256的特征图，

S12：对步骤S11得到的大小为19×19×256的特征图，利用双线性插值算法进行上采样，得到大小为38×38×256的特征图，将该大小为38×38×256的特征图与步骤S11中得到的大小为38×38×256的特征图进行通道间求和，再对求和结果进行卷积计算，其中，卷积计算使用的卷积滤波器的大小为3×3，卷积滤波器的数目为256，卷积的步长为1，卷积计算得到特征金字塔层P4，其大小为38×38×256，

S13：对步骤S12中得到的特征金字塔层P4，利用双线性插值算法进行上采样，得到大小为75×75×256的特征图，将该大小为75×75×256的特征图与步骤S11中得到的大小为75×75×256的特征图进行通道间求和，再对求和结果进行卷积计算，其中，卷积计算使用的卷积滤波器的大小为3×3，卷积滤波器的数目为256，卷积的步长为1，卷积计算得到特征金字塔层P3，其大小为75×75×256；

(5)预测模块优化：

①分类子网优化

S21：将分类子网中的四层卷积替换为四个残差结构，第n个残差结构依次包括一卷积层Un和一短连接Vn，n＝1、2、3或4，残差结构用于进行以下计算：

y＝x+F(x)，

其中，x和y分别是残差结构的输入和输出，卷积层Un对其输入x进行卷积计算并输出残差映射F(x)，卷积计算的滤波器大小为3×3，卷积步长为1，滤波器数目为256，卷积层U1的输入为特征金字塔层P3或P4，短连接Vn用于计算残差结构的输入x与卷积层Un输出的F(x)之和以得到残差结构的输出y，第n个残差结构的输出为第n+1个残差结构的输入，当第1个残差结构的输入为特征金字塔层P3时，第4个残差结构输出的特征图大小为75×75×256，当第1个残差结构的输入为特征金字塔层P4时，第4个残差结构输出的特征图大小为38×38×256，

S22：对第4个残差结构的输出进行卷积计算得到分类特征，卷积计算的滤波器大小为3×3，卷积步长为1，滤波器数目为9×2，其中，滤波器数目中的“9”表示第4个残差结构输出的特征图的每个像素点对应的默认框个数，滤波器数目中的“2”表示分类子网的分类类别的数目，分类类别为“红脂大小蠹”和“其他”两类，当残差结构的卷积层U1的输入为特征金字塔层P3时，卷积计算输出的特征图大小为75×75×18，当残差结构的卷积层U1的输入为特征金字塔层P4时，卷积计算输出的特征图大小38×38×18，

S23：对步骤S22输出的分类特征进行计算，得到每个默认框在每个分类类别上的分类信心，步骤S22输出的特征图大小中的“18”代表9个默认框在2个类上的特征，将特征值输入sigmoid函数，由sigmoid函数输出默认框属于相应类别的概率，即默认框在各类的分类信心，其中，sigmoid函数的计算公式如下：

其中，x′为特征值，

②回归子网设计

S31：对特征金字塔层P3、P4分别进行四层卷积计算，每层卷积计算的卷积滤波器的大小为3×3，卷积滤波器数目为256，卷积步长为1，经过四层卷积计算，得到的特征图大小分别为75×75×256、38×38×256，

S32：对步骤S31的输出进行一层卷积计算得到默认框位置偏移量，卷积计算的卷积滤波器的大小为3×3，卷积步长为1，卷积滤波器数目为9×4，其中，卷积滤波器数目中的“9”表示该层特征图的每个像素点对应的默认框个数，卷积滤波器数目中的“4”表示默认框左上角和右下角4个坐标值的位置偏移量，

③K-means默认框优化

利用K-means聚类算法对训练样本的标注框面积的算术平方根进行聚类得到聚类结果，再计算聚类结果的平方值，得到6组不同大小的默认框面积，为了更好地匹配不同形状的样本，对每组面积的默认框，初始化三种宽高比{1:2,1:1,2:1}，即每组默认框下包含三种宽高比不同的默认框，

④检测框定位

将6组共18种默认框以对应的特征金字塔层的初始大小按预设步长在600×600×3大小的输入图上进行定位，得到默认框在输入图上的左上角和右下角的坐标(x₁,y₁,x₂,y₂)，其中，特征金字塔层P3的步长为8像素，特征金字塔层P4的步长为16像素，通过回归子网，得到每个默认框对应的位置偏移量(Δx₁,Δy₁,Δx₂,Δy₂)，将每个默认框对应的位置偏移量(Δx₁,Δy₁,Δx₂,Δy₂)和(x₁,y₁,x₂,y₂)求和，得到检测框的位置，

⑤检测结果获取

合并分类子网优化和检测框定位的结果，得到每个检测框的分类信心和位置信息，特征金字塔层P3得到检测框75×75×9个，特征金字塔层P4得到检测框38×38×9个，对全部检测框进行非极大值抑制，去除和分类信心高的检测框的重合度过高的检测结果，最终保留下的检测框是红脂大小蠹检测器最终的检测结果，

非极大值抑制的过程如下：

(a)将所有检测框按分类信心由高到低排列，

(b)去除检测框序列中和信心最高的检测框的IoU>0.5的检测框，

(c)去除和当前检测框序列中和信心第二高的检测框的IoU>0.5的检测框，

(d)依次类推，直到遍历到当前检测框序列信心最低的检测框，

(e)取最终得到的检测框序列的前M个，如果不足M，则取全部序列。

2.根据权利要求1所述的面向信息素诱捕器的红脂大小蠹检测器优化方法，其特征在于，于(1)数据增强中，蠹虫图像宽度和高度的平移比例均为[0,0.1]，蠹虫图像宽度和高度的缩放比例均为[0.85,1.05]，蠹虫图像沿横轴和纵轴翻转的概率均为0.5，蠹虫图像的亮度变化范围为[0.7,1.05)。

3.根据权利要求1所述的面向信息素诱捕器的红脂大小蠹检测器优化方法，其特征在于，M为300。

Images