CN110428413B - 一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法 - Google Patents

Abstract

本发明涉及一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法，与现有技术相比解决了难以在灯诱设备下进行草地贪夜蛾成虫快速检测的缺陷。本发明包括以下步骤：训练样本的收集和预处理；构建并训练草地贪夜蛾成虫检测模型；灯诱设备下草地贪夜蛾成虫图像的收集和预处理；灯诱设备下草地贪夜蛾成虫的标记。本发明改进了目标检测方法中普遍存在需要产生大量冗余候选框的缺陷，增强了数据的可靠性，保证了对草地贪夜蛾成虫图像检测精度的同时极大减少了候选区域，提高了检测速度。

Description

一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法

技术领域

本发明涉及图像目标检测技术领域，具体来说是一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法。

背景技术

草地贪夜蛾是联合国粮农组织全球预警的重大迁飞性害虫，成虫可在几百米的高空中借助风力进行远距离定向迁飞，每晚可飞行100公里，若在产卵前可迁飞500公里。其繁殖能力强、几乎没有天敌。

目前的虫害等级检测工作主要依靠植保专家、农技人员对灯诱设备杀死的数量来判断虫害等级程度，由于草地贪夜蛾同甜菜夜蛾、斜纹夜蛾、黏虫形态相近，容易混淆，不仅加大了人工目测的难度，智能化检测程度也较低。

由此同时，由于灯诱设备成本控制，其涉及智能摄像识别的计算芯片性能较低，而草地贪夜蛾发生虫口密度较大，若利用传统的Faster-RCNN目标检测方法，所需处理的候选区域数量较多，传统的芯片计算也难以满足过多候选区域数量的处理，影响检测效率，检测结果信息严重滞后且不够准确。

因此，如何设计出能够应用于灯诱设备下、目标候选区域少的草地贪夜蛾成虫检测方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中难以在灯诱设备下进行草地贪夜蛾成虫快速检测的缺陷，提供一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法，包括以下步骤：

11)训练样本的收集和预处理：收集若干张草地贪夜蛾成虫图像作为训练数据，利用标记框标出草地贪夜蛾成虫图像位置，将所有标记过的图像归一化为64×64像素；

12)构建并训练草地贪夜蛾成虫检测模型：基于改进的强化学习和学徒学习构建并训练出草地贪夜蛾成虫图像检测模型；

13)灯诱设备下草地贪夜蛾成虫图像的收集和预处理：获取灯诱设备下草地贪夜蛾成虫图像作为待检测图像，将待检测图像归一化为512×512像素；

14)灯诱设备下草地贪夜蛾成虫的标记：将待检测图像输入训练后的草地贪夜蛾成虫图像检测模型，进行草地贪夜蛾成虫的识别、定位和计数。

所述的构建并训练草地贪夜蛾成虫检测模型包括以下步骤：

21)构建针对草地贪夜蛾成虫图像进行特征提取和加权融合的卷积神经网络：选择两个相同结构的卷积神经网络以并联方式进行连接，均载入基于分类任务的ImageNet数据集初始权重，分别将训练样本输入分类任务和检测任务下的网络对初始化权重进行fine-tune，将训练样本输入到上述并行结构下进行卷积特征提取与加权融合；

22)构建草地贪夜蛾成虫目标粗定位候选区域搜索网络：基于强化学习的DDQN算法和任务数据集设计动作空间、奖励函数和经验池，将目标候选区域搜索过程建模为动作决策问题，依据选择的动作对应的奖励不断地优化动作选择策略从而获得草地贪夜蛾成虫目标粗定位候选区域；

23)构建草地贪夜蛾成虫目标置信度预测网络：基于监督学习设计目标置信度网络对上述动作决策过程中产生的粗定位候选区域进行打分，并根据贪婪原则，选择分数最高的两个粗定位目标候选区域作为下一步输入的结果；

24)构建目标精修神经网络对草地贪夜蛾成虫目标候选区域进行精修：通过选择与标签交并比大于一定阈值的目标候选区域作为样本集，对目标回归精修神经网络训练，实现对上述目标置信度网络选取的候选区域进行精修；

25)构建候选区域智能选择网络获取最终的草地贪夜蛾成虫目标的精准定位；将回归精修后的两个精准定位候选区域作为智能选择网络的输入，取出IoU候选区域与目标区域的交并比中最大的候选框作为最终目标的定位。

所述的构建针对草地贪夜蛾成虫图像进行特征提取和加权融合的卷积神经网络包括以下步骤：

31)采用卷积神经网络VGG，并选择第四、五层卷积层的特征图作为特征表达；选择两个结构相同的初始权值为ImageNet数据集上的分类权重的基本卷积神经网络；

32)将训练样本输入到其中一个对目标与背景二分类任务的卷积神经网络中进行参数fine-tune,并将同样的训练样本输入到另一个检测任务的卷积神经网络中进行目标检测参数的fine-tune；

33)对上述经过fine-tune的并行网络第四、五层卷积特征图进行加权融合，从而获得Merge₄和Merge₅；第四层融合后信息Merge₄为将来精修网络所用，第五层加权融合后的特征图Merge₅作为强化学习中动作执行的区域，其表达式如下：

Merge₄＝w₄fm_c₄+(1-w₄)fm_d₄，

Merge₅＝w₅fm_c₅+(1-w₅)fm_d₅，

其中，fm_c₄、fm_c₅分别为用于分类的第四、五层输出的特征图，fm_d₄、fm_d₅分别为用于检测的第四、五层输出特征图，w₄、w₅为相应的权重。

所述的构建草地贪夜蛾成虫目标粗定位候选区域搜索网络包括以下步骤：

41)结合任务数据集设计了8个层次动作空间，其中：左上、右上、左下、右下、中间5个尺度变换动作，横向压缩、纵向压缩2个压缩变换动作，1个终止动作；

对应于上述动作空间，提出了表述各个动作选择优略的奖励函数，其表达式如下：

其中，

是目标真实区域与预测框的交并比，s表示执行动作之前的状态区域，s′表示执行动作后的状态，g表示目标真实区域，k＝10平衡终止状态和中间状态一致性；

42)基于学徒学习构建N＝10000容量的经验池：选取最优IoU对应的动作作用目标图像后获得的元组加入经验池，当训练周期达到设定次数后，再利用ε-greedy方法对经验池进行数据的添加；

421)针对一张目标图像，是将8个动作分别作用到一个状态特征图上，选取最大的IoU所对应的动作，将该动作作用所获得的状态以及奖励以元组(s,a,r,s')加入到经验池中，继续利用8个动作对状态s'进行下一个状态动作的执行，选出最大IoU所对应的动作，将该动作作用所获得状态以及奖励以元组(s',a',r',s”)加入到经验池中，直到达到最终的终止动作，一张图像目标搜索结束；

422)将8个动作分别对剩余的训练图像进行作用，选取相应得状态、奖励等以元组形式加入到经验池中；

当训练周期T≥20时，利用ε-greedy方法，即以ε-greedy＝0.1概率任意选择一个动作a”，该动作执行一个状态，并将执行后获得的奖励函数和下一个状态以元组的形式(s”,a”,r”,s”')存入到经验池中，以ε-greedy＝0.9的概率利用已经学习到的策略选择动作，即a_select＝max_aQ{s_i,a}，将动作a_select执行到一个状态上，从而获得相应的奖励函数，将其以元组形式(s_i,a_select,r_i,s_i+1)存入到经验池中，直到经验池中元组数量达到10000，在将来训练过程中以l＝5不断更新原经验池；

43)DDQN模型训练：设置运行次数，利用上述改进的动作空间、奖励函数、经验池，基于强化学习DDQN算法，将其动作空间动作执行到第五层加权融合后的特征图Merge₅上，并获得及时奖励，不断更新经验池，从而得到

产生的

目标值进行监督学习，利用梯度下降法迭代训练损失函数优化权重，即获得Agent选择目标粗定位候选框的最优策略；

损失函数：

其中，s是包含草地贪夜蛾成虫图像的状态，a是对状态s执行的动作，s′是动作a对状态s执行后得到的状态，θ为需要训练调整的参数，r是即时奖励，折扣系数γ＝0.9，每隔一定步数，将

使得预测值q(s,a；θ)越来越接近目标值y_i,从而不断调整参数θ。

所述的构建草地贪夜蛾成虫目标置信度预测网络包括以下步骤：

51)选择全连接网络构造置信度预测网络，利用粗定位候选区域作为训练样本，对于其中目标真实区域与候选区域的交并比IoU大于0.45的标签设为1，其余的设为0，训练置信度预测网络；

52)将一张目标图像在动作决策过程中所产生的所有粗定位候选区域送入利用51)步骤中训练好的置信度预测网络，然后依据置信度的值选择出其中置信度最大和次大的两个候选区域。

所述的构建目标精修神经网络对草地贪夜蛾成虫目标候选区域进行精修包括以下步骤：

61)对目标精修网络利用监督学习进行训练，输入的数据为置信度最大和次大的两个候选区域分别对应的第四层加权融合后的特征图Merge₄，通过回归优化使之靠近真实的标签，获得两个候选框的精准定位结果；

62)将L_GIoU＝1-GIoU作为目标精修网络的损失函数进行学习调整参数，该损失函数不仅反应状态s_i、s_j之间是否重叠，并体现如何重叠，其中，

C为包含s_i、s_j的最小凸闭包。

有益效果

本发明的一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法，与现有技术相比改进了目标检测方法中普遍存在需要产生大量冗余候选框的缺陷，增强了数据的可靠性，保证了对草地贪夜蛾成虫图像检测精度的同时极大减少了候选区域，提高了检测速度。

本发明为了提高检测的精准度，将分类的特征与检测的特征进行了加权融合；在强化学习中通过改进的动作空间、奖励函数、经验池构建等保证检测精度的基础上有效减少目标候选框，同时提高目标检测效率；利用置信度网络对选择的目标候选框进行打分；将每张草地贪夜蛾成虫图像中分数最高和次高的两个候选框送入精修网络进一步精修提高目标检测的精准度；最后利用智能选择网络获得草地贪夜蛾图像最终的精准定位目标。本发明基于改进的强化学习将目标检测过程建模成为一个马尔科夫过程，能有效减少目标候选框，并结合学徒学习和监督学习在保证检测精度的情况下有效提高了草地贪夜蛾成虫目标检测速度。

附图说明

图1为本发明的方法顺序图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法，包括以下步骤：

第一步，训练样本的收集和预处理：收集若干张草地贪夜蛾成虫图像作为训练数据，利用标记框标出草地贪夜蛾成虫图像位置，将所有标记过的图像归一化为64×64像素。

第二步，构建并训练草地贪夜蛾成虫检测模型：基于改进的强化学习和学徒学习构建并训练出草地贪夜蛾成虫图像检测模型。其具体步骤如下：

(1)构建针对草地贪夜蛾成虫图像进行特征提取和加权融合的卷积神经网络：选择两个相同结构的卷积神经网络以并联方式进行连接，均载入基于分类任务的ImageNet数据集初始权重，分别将草地贪夜蛾成虫训练样本输入分类任务和检测任务下的网络对初始化权重进行fine-tune，将训练样本输入到上述并行结构下进行卷积特征提取与加权融合。

本发明的最终目的是进行草地贪夜蛾的目标检测，若只是去微调分类权重会影响最终目标检测的结果，在此情况下我们针对检测权重也进行微调，并将微调后的分类权重和检测权重对应的特征图进行融合用于强化学习DDQN算法的草地贪夜蛾成虫目标检测。其具体步骤如下：

A1)采用卷积神经网络VGG，并选择第四、五层卷积层的特征图作为特征表达；选择两个结构相同的初始权值为ImageNet数据集上的分类权重的基本卷积神经网络。

A2)将已经人工标注的草地贪夜蛾成虫训练样本输入到其中一个对目标与背景二分类任务的卷积神经网络中进行参数fine-tune,并将同样的训练样本输入到另一个检测任务的卷积神经网络中进行目标检测参数的fine-tune。

A3)对上述经过fine-tune的并行网络第四、五层卷积特征图进行加权融合，从而获得Merge₄和Merge₅；第四层融合后信息Merge₄为将来草地贪夜蛾成虫精准定位所设定的精修网络所用，第五层加权融合后的特征图Merge₅作为强化学习中为粗定位草地贪夜蛾成虫图像动作执行的区域，其表达式如下：

Merge₄＝w₄fm_c₄+(1-w₄)fm_d₄，

Merge₅＝w₅fm_c₅+(1-w₅)fm_d₅，

其中，fm_c₄、fm_c₅分别为用于分类的第四、五层输出的特征图，fm_d₄、fm_d₅分别为用于检测的第四、五层输出特征图，w₄、w₅为相应的权重。

(2)构建草地贪夜蛾成虫目标粗定位候选区域搜索网络：基于强化学习的DDQN算法和任务数据集设计动作空间、奖励函数和经验池，将目标候选区域搜索过程建模为动作决策问题，依据选择的动作对应的奖励不断地优化动作选择策略从而获得草地贪夜蛾目标粗定位候选区域。

动作空间的目的是调整原始草地贪夜蛾训练图像到目标框的位置，在此，改进的动作空间中的动作尽管少但搜索目标效果较好，由此可以减少草地贪夜蛾图像的目标候选框，提高检索效率；传统的奖励函数只强调执行动作后检测到草地贪夜蛾成虫的效果是否好，而不能度量检测到草地贪夜蛾成虫效果好的程度，改进的奖励函数可以对目标检测效果好的程度进行度量；改进的经验池构建方法，基于学徒学习专家经验的基础上挑选元组信息作为经验池元素，可以为后期强化学习DDQN算法搜索草地贪夜蛾成虫目标框达到快速收敛的目的。

其具体步骤如下：

B1)结合任务数据集设计了8个层次动作空间，其中：左上、右上、左下、右下、中间5个尺度变换动作，横向压缩、纵向压缩2个压缩变换动作，1个终止动作；

对应于上述动作空间，提出了表述各个动作选择优略的奖励函数，其表达式如下：

其中，

是草地贪夜蛾成虫目标真实区域与预测框的交并比，s表示执行动作之前的状态区域，s′表示执行动作后的状态，g表示目标真实区域，k＝10平衡终止状态和中间状态一致性；

B2)基于学徒学习构建N＝10000容量的经验池：选取最优IoU对应的动作作用于草地贪夜成虫目标图像后获得的元组加入经验池，当训练周期达到设定次数后，再利用ε-greedy方法对经验池进行数据的添加；

B21)针对一张草地贪夜蛾成虫训练图像，是将8个动作分别作用到一个状态特征图上，选取最大的IoU所对应的动作，将该动作作用所获得的状态以及奖励以元组(s,a,r,s')加入到经验池中，继续利用8个动作对状态s'进行下一个状态动作的执行，选出最大IoU所对应的动作，将该动作作用所获得状态以及奖励以元组(s',a',r',s”)加入到经验池中，直到达到最终的终止动作，一张草地贪夜蛾成虫图像目标搜索结束；

B22)将8个动作分别对剩余的草地贪夜蛾训练图像进行作用，选取相应得状态、奖励等以元组形式加入到经验池中；

当训练周期T≥20时，利用ε-greedy方法，即以ε-greedy＝0.1概率任意选择一个动作a”，该动作执行一个状态，并将执行后获得的奖励函数和下一个状态以元组的形式(s”,a”,r”,s”')存入到经验池中，以ε-greedy＝0.9的概率利用已经学习到的策略选择动作，即a_select＝max_aQ{s_i,a}，将动作a_select执行到一个状态上，从而获得相应的奖励函数，将其以元组形式(s_i,a_select,r_i,s_i+1)存入到经验池中，直到经验池中元组数量达到10000，在将来训练过程中以

不断更新原经验池；

B3)DDQN模型训练：设置运行次数，利用上述改进的动作空间、奖励函数、经验池，基于强化学习DDQN算法，将其动作空间的动作执行到第五层加权融合后的特征图Merge₅上，并获得及时奖励，不断更新经验池，从而得到

产生的

目标值进行监督学习，利用梯度下降法迭代训练损失函数优化权重，即获得Agent选择草地贪夜蛾成虫目标粗定位候选框的最优策略；

损失函数：

其中，s是包含草地贪夜蛾成虫图像的状态，a是对状态s执行的动作，s′是动作a对状态s执行后得到的状态，θ为需要训练调整的参数，r是即时奖励，折扣系数γ＝0.9，每隔一定步数，将

使得预测值q(s,a；θ)越来越接近目标值y_i,从而不断调整参数θ。

(3)构建草地贪夜蛾成虫目标置信度预测网络：基于监督学习设计草地贪夜蛾成虫目标置信度网络，对上述动作决策过程中产生的粗定位候选区域进行打分，并根据贪婪原则，选择分数最高的两个粗定位草地贪夜蛾成虫目标候选区域作为下一步输入的结果。利用置信度网络可以从诸多候选框中选择出包含草地贪夜蛾成虫目标最大和次大的两个候选框，从而减少需要精修的数据。

其具体步骤如下：

C1)选择全连接网络构造置信度预测网络，利用草地贪夜蛾成虫粗定位候选区域作为训练样本，对于其目标真实区域与候选区域的交并比IoU大于0.45的标签设为1，其余的设为0，训练置信度预测网络；

C2)将一张草地贪夜蛾成虫目标图像在动作决策过程中所产生的所有粗定位候选区域送入利用C1)步骤中训练好的置信度预测网络，然后依据置信度的值选择出其中置信度最大和次大的两个含有草地贪夜蛾成虫的候选区域。

(4)构建目标精修神经网络对草地贪夜蛾成虫目标候选区域进行精修，构建目标精修神经网络可以提高候选区域的检测准确度。通过选择与标签交并比大于一定阈值的目标候选区域作为样本集，对目标回归精修神经网络训练，实现对上述目标置信度网络选取的候选区域进行精修。其具体步骤如下：

D1)对目标精修网络利用监督学习进行训练，输入的数据为置信度最大和次大的两个含有草地贪夜蛾成虫候选区域分别对应的第四层加权融合后的特征图Merge₄，通过回归优化使之靠近真实的标签，获得两个候选框的精准定位结果；

D2)将L_GIoU＝1-GIoU作为目标精修网络的损失函数进行学习调整参数，该损失函数不仅反应执行动作前后状态s_i、s_j之间是否重叠，并体现如何重叠，其中，

C为包含s_i、s_j的最小凸闭包。

(5)构建候选区域智能选择网络获取最终的草地贪夜蛾成虫目标的精准定位；将回归精修后的两个精准定位候选区域作为智能选择网络的输入，取出IoU，即含有草地贪夜蛾成虫候选区域与包含草地贪夜蛾成虫目标区域的交并比中最大的候选框作为最终目标的定位。

第三步，灯诱设备下草地贪夜蛾成虫图像的收集和预处理：获取灯诱设备下草地贪夜蛾成虫图像作为待检测图像，将待检测图像归一化为512×512像素。

第四步，灯诱设备下草地贪夜蛾成虫的标记：将待检测图像输入训练后的草地贪夜蛾成虫图像检测模型，进行草地贪夜蛾的识别、定位和计数。

现有技术中，由于基于深度学习的目标检测算法普遍需要产生大量冗余的候选区域，这就限制了检测速度以及检测精度。本发明基于强化学习的目标检测方法将目标检测问题建模为马尔可夫问题，在定义好合适的动作空间、奖励函数、经验池和损失函数的情况下，可以将灯诱设备中获取的草地贪夜蛾成虫图像作为检测对象，在极大减少候选区域提高检测速度同时保证检测精度，从而能够快速获得灾害发生的等级程度。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法，其特征在于，包括以下步骤：

11)训练样本的收集和预处理：收集若干张草地贪夜蛾成虫图像作为训练数据，利用标记框标出草地贪夜蛾成虫图像位置，将所有标记过的图像归一化为64×64像素；

12)构建并训练草地贪夜蛾成虫检测模型：基于改进的强化学习和学徒学习构建并训练出草地贪夜蛾成虫图像检测模型；

所述的构建并训练草地贪夜蛾成虫检测模型包括以下步骤：

121)构建针对草地贪夜蛾成虫图像进行特征提取和加权融合的卷积神经网络：选择两个相同结构的卷积神经网络以并联方式进行连接，均载入基于分类任务的ImageNet数据集初始权重，分别将训练样本输入分类任务和检测任务下的网络对初始化权重进行fine-tune，将训练样本输入到并行结构下进行卷积特征提取与加权融合；

122)构建草地贪夜蛾成虫目标粗定位候选区域搜索网络：基于强化学习的DDQN算法和任务数据集设计动作空间、奖励函数和经验池，将目标候选区域搜索过程建模为动作决策问题，依据选择的动作对应的奖励不断地优化动作选择策略从而获得草地贪夜蛾成虫目标粗定位候选区域；

123)构建草地贪夜蛾成虫目标置信度预测网络：基于监督学习设计目标置信度网络对上述动作决策过程中产生的粗定位候选区域进行打分，并根据贪婪原则，选择分数最高的两个粗定位目标候选区域作为下一步输入的结果；

124)构建目标精修神经网络对草地贪夜蛾成虫目标候选区域进行精修：通过选择与标签交并比大于一定阈值的目标候选区域作为样本集，对目标回归精修神经网络训练，实现对上述目标置信度网络选取的候选区域进行精修；

125)构建候选区域智能选择网络获取最终的草地贪夜蛾成虫目标的精准定位；将回归精修后的两个精准定位候选区域作为智能选择网络的输入，取出IoU候选区域与目标区域的交并比中最大的候选框作为最终目标的定位；

13)灯诱设备下草地贪夜蛾成虫图像的收集和预处理：获取灯诱设备下草地贪夜蛾成虫图像作为待检测图像，将待检测图像归一化为512×512像素；

14)灯诱设备下草地贪夜蛾成虫的标记：将待检测图像输入训练后的草地贪夜蛾成虫图像检测模型，进行草地贪夜蛾成虫的识别、定位和计数。

2.根据权利要求1所述的一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法，其特征在于，所述的构建针对草地贪夜蛾成虫图像进行特征提取和加权融合的卷积神经网络包括以下步骤：

21)采用卷积神经网络VGG，并选择第四、五层卷积层的特征图作为特征表达；选择两个结构相同的初始权值为ImageNet数据集上的分类权重的基本卷积神经网络；

22)将训练样本输入到其中一个对目标与背景二分类任务的卷积神经网络中进行参数fine-tune,并将同样的训练样本输入到另一个检测任务的卷积神经网络中进行目标检测参数的fine-tune；

23)对经过fine-tune的并行网络第四、五层卷积特征图进行加权融合，从而获得Merge₄和Merge₅；第四层融合后信息Merge₄为将来精修网络所用，第五层加权融合后的特征图Merge₅作为强化学习中动作执行的区域，其表达式如下：

Merge₄＝w₄fm_c₄+(1-w₄)fm_d₄，

Merge₅＝w₅fm_c₅+(1-w₅)fm_d₅，

其中，fm_c₄、fm_c₅分别为用于分类的第四、五层输出的特征图，fm_d₄、fm_d₅分别为用于检测的第四、五层输出特征图，w₄、w₅为相应的权重。

3.根据权利要求1所述的一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法，其特征在于，所述的构建草地贪夜蛾成虫目标粗定位候选区域搜索网络包括以下步骤：

31)结合任务数据集设计了8个层次动作空间，其中：左上、右上、左下、右下、中间5个尺度变换动作，横向压缩、纵向压缩2个压缩变换动作，1个终止动作；

对应于上述动作空间，提出了表述各个动作选择优略的奖励函数，其表达式如下：

其中，

是目标真实区域与预测框的交并比，s表示执行动作之前的状态区域，s′表示执行动作后的状态，g表示目标真实区域，k＝10用于平衡终止状态和中间状态一致性；

32)基于学徒学习构建N＝10000容量的经验池：选取最优IoU对应的动作作用目标图像后获得的元组加入经验池，当训练周期达到设定次数后，再利用ε-greedy方法对经验池进行数据的添加；

321)针对一张目标图像，是将8个动作分别作用到一个状态特征图上，选取最大的IoU所对应的动作，将该动作作用所获得的状态以及奖励以元组(s,a,r,s')加入到经验池中，继续利用8个动作对状态s'进行下一个状态动作的执行，选出最大IoU所对应的动作，将该动作作用所获得状态以及奖励以元组(s',a',r',s”)加入到经验池中，直到达到最终的终止动作，一张图像目标搜索结束；

322)将8个动作分别对剩余的训练图像进行作用，选取相应的状态、奖励以元组形式加入到经验池中；

当训练周期T≥20时，利用ε-greedy方法，即以ε-greedy＝0.1概率任意选择一个动作a”，该动作执行一个状态，并将执行后获得的奖励函数和下一个状态以元组的形式(s”,a”,r”,s”')存入到经验池中，以ε-greedy＝0.9的概率利用已经学习到的策略选择动作，即a_select＝max_aQ{s_i,a}，将动作a_select执行到一个状态上，从而获得相应的奖励函数，将其以元组形式(s_i,a_select,r_i,s_i+1)存入到经验池中，直到经验池中元组数量达到10000，在将来训练过程中以l＝5不断更新原经验池；

33)DDQN模型训练：设置运行次数，利用上述改进的动作空间、奖励函数、经验池，基于强化学习DDQN算法，将其动作空间动作执行到第五层加权融合后的特征图Merge₅上，并获得及时奖励，不断更新经验池，从而得到

产生的

目标值进行监督学习，利用梯度下降法迭代训练损失函数优化权重，即获得Agent选择目标粗定位候选框的最优策略；

损失函数：

其中，s表示执行动作之前的状态区域，a是对状态s执行的动作，s′是动作a对状态s执行后得到的状态，θ为需要训练调整的参数，r是即时奖励，折扣系数γ＝0.9，每隔一定步数，将

使得预测值q(s,a；θ)越来越接近目标值y_i,从而不断调整参数θ。

4.根据权利要求1所述一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法，其特征在于，所述的构建草地贪夜蛾成虫目标置信度预测网络包括以下步骤：

41)选择全连接网络构造置信度预测网络，利用粗定位候选区域作为训练样本，对于其中目标真实区域与候选区域的交并比IoU大于0.45的标签设置为1，其余的设置为0，训练置信度预测网络；

42)将一张目标图像在动作决策过程中所产生的所有粗定位候选区域送入利用41)步骤中训练好的置信度预测网络，然后依据置信度的值选择出其中置信度最大和次大的两个候选区域。

5.根据权利要求1所述的一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法，其特征在于，所述的构建目标精修神经网络对草地贪夜蛾成虫目标候选区域进行精修包括以下步骤：

51)对目标精修网络利用监督学习进行训练，输入的数据为置信度最大和次大的两个候选区域分别对应的第四层加权融合后的特征图Merge₄，通过回归优化使之靠近真实的标签，获得两个候选框的精准定位结果；

52)将L_GIoU＝1-GIoU作为目标精修网络的损失函数进行学习调整参数，该损失函数不仅反应状态s_i、s_j之间是否重叠，并体现如何重叠，其中，

C为包含s_i、s_j的最小凸闭包。

Images