CN110428413A - 一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法 - Google Patents
一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法 Download PDFInfo
- Publication number
- CN110428413A CN110428413A CN201910710686.6A CN201910710686A CN110428413A CN 110428413 A CN110428413 A CN 110428413A CN 201910710686 A CN201910710686 A CN 201910710686A CN 110428413 A CN110428413 A CN 110428413A
- Authority
- CN
- China
- Prior art keywords
- target
- action
- spodoptera frugiperda
- imago
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000256251 Spodoptera frugiperda Species 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 230000009471 action Effects 0.000 claims description 108
- 230000006870 function Effects 0.000 claims description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 17
- 230000002787 reinforcement Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 4
- 238000010276 construction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 241000607479 Yersinia pestis Species 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 241000238631 Hexapoda Species 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241001477931 Mythimna unipuncta Species 0.000 description 1
- 241000256247 Spodoptera exigua Species 0.000 description 1
- 241000985245 Spodoptera litura Species 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法,与现有技术相比解决了难以在灯诱设备下进行草地贪夜蛾成虫快速检测的缺陷。本发明包括以下步骤:训练样本的收集和预处理;构建并训练草地贪夜蛾成虫检测模型;灯诱设备下草地贪夜蛾成虫图像的收集和预处理;灯诱设备下草地贪夜蛾成虫的标记。本发明改进了目标检测方法中普遍存在需要产生大量冗余候选框的缺陷,增强了数据的可靠性,保证了对草地贪夜蛾成虫图像检测精度的同时极大减少了候选区域,提高了检测速度。
Description
技术领域
本发明涉及图像目标检测技术领域,具体来说是一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法。
背景技术
草地贪夜蛾是联合国粮农组织全球预警的重大迁飞性害虫,成虫可在几百米的高空中借助风力进行远距离定向迁飞,每晚可飞行100公里,若在产卵前可迁飞500公里。其繁殖能力强、几乎没有天敌。
目前的虫害等级检测工作主要依靠植保专家、农技人员对灯诱设备杀死的数量来判断虫害等级程度,由于草地贪夜蛾同甜菜夜蛾、斜纹夜蛾、黏虫形态相近,容易混淆,不仅加大了人工目测的难度,智能化检测程度也较低。
由此同时,由于灯诱设备成本控制,其涉及智能摄像识别的计算芯片性能较低,而草地贪夜蛾发生虫口密度较大,若利用传统的Faster-RCNN目标检测方法,所需处理的候选区域数量较多,传统的芯片计算也难以满足过多候选区域数量的处理,影响检测效率,检测结果信息严重滞后且不够准确。
因此,如何设计出能够应用于灯诱设备下、目标候选区域少的草地贪夜蛾成虫检测方法已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中难以在灯诱设备下进行草地贪夜蛾成虫快速检测的缺陷,提供一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法来解决上述问题。
为了实现上述目的,本发明的技术方案如下:
一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法,包括以下步骤:
11)训练样本的收集和预处理:收集若干张草地贪夜蛾成虫图像作为训练数据,利用标记框标出草地贪夜蛾成虫图像位置,将所有标记过的图像归一化为64×64像素;
12)构建并训练草地贪夜蛾成虫检测模型:基于改进的强化学习和学徒学习构建并训练出草地贪夜蛾成虫图像检测模型;
13)灯诱设备下草地贪夜蛾成虫图像的收集和预处理:获取灯诱设备下草地贪夜蛾成虫图像作为待检测图像,将待检测图像归一化为512×512像素;
14)灯诱设备下草地贪夜蛾成虫的标记:将待检测图像输入训练后的草地贪夜蛾成虫图像检测模型,进行草地贪夜蛾成虫的识别、定位和计数。
所述的构建并训练草地贪夜蛾成虫检测模型包括以下步骤:
21)构建针对草地贪夜蛾成虫图像进行特征提取和加权融合的卷积神经网络:选择两个相同结构的卷积神经网络以并联方式进行连接,均载入基于分类任务的ImageNet数据集初始权重,分别将训练样本输入分类任务和检测任务下的网络对初始化权重进行fine-tune,将训练样本输入到上述并行结构下进行卷积特征提取与加权融合;
22)构建草地贪夜蛾成虫目标粗定位候选区域搜索网络:基于强化学习的DDQN算法和任务数据集设计动作空间、奖励函数和经验池,将目标候选区域搜索过程建模为动作决策问题,依据选择的动作对应的奖励不断地优化动作选择策略从而获得草地贪夜蛾成虫目标粗定位候选区域;
23)构建草地贪夜蛾成虫目标置信度预测网络:基于监督学习设计目标置信度网络对上述动作决策过程中产生的粗定位候选区域进行打分,并根据贪婪原则,选择分数最高的两个粗定位目标候选区域作为下一步输入的结果;
24)构建目标精修神经网络对草地贪夜蛾成虫目标候选区域进行精修:通过选择与标签交并比大于一定阈值的目标候选区域作为样本集,对目标回归精修神经网络训练,实现对上述目标置信度网络选取的候选区域进行精修;
25)构建候选区域智能选择网络获取最终的草地贪夜蛾成虫目标的精准定位;将回归精修后的两个精准定位候选区域作为智能选择网络的输入,取出IoU候选区域与目标区域的交并比中最大的候选框作为最终目标的定位。
所述的构建针对草地贪夜蛾成虫图像进行特征提取和加权融合的卷积神经网络包括以下步骤:
31)采用卷积神经网络VGG,并选择第四、五层卷积层的特征图作为特征表达;选择两个结构相同的初始权值为ImageNet数据集上的分类权重的基本卷积神经网络;
32)将训练样本输入到其中一个对目标与背景二分类任务的卷积神经网络中进行参数fine-tune,并将同样的训练样本输入到另一个检测任务的卷积神经网络中进行目标检测参数的fine-tune;
33)对上述经过fine-tune的并行网络第四、五层卷积特征图进行加权融合,从而获得Merge4和Merge5;第四层融合后信息Merge4为将来精修网络所用,第五层加权融合后的特征图Merge5作为强化学习中动作执行的区域,其表达式如下:
Merge4=w4fm_c4+(1-w4)fm_d4,
Merge5=w5fm_c5+(1-w5)fm_d5,
其中,fm_c4、fm_c5分别为用于分类的第四、五层输出的特征图,fm_d4、fm_d5分别为用于检测的第四、五层输出特征图,w4、w5为相应的权重。
所述的构建草地贪夜蛾成虫目标粗定位候选区域搜索网络包括以下步骤:
41)结合任务数据集设计了8个层次动作空间,其中:左上、右上、左下、右下、中间5个尺度变换动作,横向压缩、纵向压缩2个压缩变换动作,1个终止动作;
对应于上述动作空间,提出了表述各个动作选择优略的奖励函数,其表达式如下:
其中,是目标真实区域与预测框的交并比,s表示执行动作之前的状态区域,s′表示执行动作后的状态,g表示目标真实区域,k=10平衡终止状态和中间状态一致性;
42)基于学徒学习构建N=10000容量的经验池:选取最优IoU对应的动作作用目标图像后获得的元组加入经验池,当训练周期达到设定次数后,再利用ε-greedy方法对经验池进行数据的添加;
421)针对一张目标图像,是将8个动作分别作用到一个状态特征图上,选取最大的IoU所对应的动作,将该动作作用所获得的状态以及奖励以元组(s,a,r,s')加入到经验池中,继续利用8个动作对状态s'进行下一个状态动作的执行,选出最大IoU所对应的动作,将该动作作用所获得状态以及奖励以元组(s',a',r',s”)加入到经验池中,直到达到最终的终止动作,一张图像目标搜索结束;
422)将8个动作分别对剩余的训练图像进行作用,选取相应得状态、奖励等以元组形式加入到经验池中;
当训练周期T≥20时,利用ε-greedy方法,即以ε-greedy=0.1概率任意选择一个动作a”,该动作执行一个状态,并将执行后获得的奖励函数和下一个状态以元组的形式(s”,a”,r”,s”')存入到经验池中,以ε-greedy=0.9的概率利用已经学习到的策略选择动作,即aselect=maxaQ{si,a},将动作aselect执行到一个状态上,从而获得相应的奖励函数,将其以元组形式(si,aselect,ri,si+1)存入到经验池中,直到经验池中元组数量达到10000,在将来训练过程中以l=5不断更新原经验池;
43)DDQN模型训练:设置运行次数,利用上述改进的动作空间、奖励函数、经验池,基于强化学习DDQN算法,将其动作空间动作执行到第五层加权融合后的特征图Merge5上,并获得及时奖励,不断更新经验池,从而得到产生的目标值进行监督学习,利用梯度下降法迭代训练损失函数优化权重,即获得Agent选择目标粗定位候选框的最优策略;
损失函数:
其中,s是包含草地贪夜蛾成虫图像的状态,a是对状态s执行的动作,s′是动作a对状态s执行后得到的状态,θ为需要训练调整的参数,r是即时奖励,折扣系数γ=0.9,每隔一定步数,将使得预测值q(s,a;θ)越来越接近目标值yi,从而不断调整参数θ。
所述的构建草地贪夜蛾成虫目标置信度预测网络包括以下步骤:
51)选择全连接网络构造置信度预测网络,利用粗定位候选区域作为训练样本,对于其中目标真实区域与候选区域的交并比IoU大于0.45的标签设为1,其余的设为0,训练置信度预测网络;
52)将一张目标图像在动作决策过程中所产生的所有粗定位候选区域送入利用51)步骤中训练好的置信度预测网络,然后依据置信度的值选择出其中置信度最大和次大的两个候选区域。
所述的构建目标精修神经网络对草地贪夜蛾成虫目标候选区域进行精修包括以下步骤:
61)对目标精修网络利用监督学习进行训练,输入的数据为置信度最大和次大的两个候选区域分别对应的第四层加权融合后的特征图Merge4,通过回归优化使之靠近真实的标签,获得两个候选框的精准定位结果;
62)将LGIoU=1-GIoU作为目标精修网络的损失函数进行学习调整参数,该损失函数不仅反应状态si、sj之间是否重叠,并体现如何重叠,其中,
C为包含si、sj的最小凸闭包。
有益效果
本发明的一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法,与现有技术相比改进了目标检测方法中普遍存在需要产生大量冗余候选框的缺陷,增强了数据的可靠性,保证了对草地贪夜蛾成虫图像检测精度的同时极大减少了候选区域,提高了检测速度。
本发明为了提高检测的精准度,将分类的特征与检测的特征进行了加权融合;在强化学习中通过改进的动作空间、奖励函数、经验池构建等保证检测精度的基础上有效减少目标候选框,同时提高目标检测效率;利用置信度网络对选择的目标候选框进行打分;将每张草地贪夜蛾成虫图像中分数最高和次高的两个候选框送入精修网络进一步精修提高目标检测的精准度;最后利用智能选择网络获得草地贪夜蛾图像最终的精准定位目标。本发明基于改进的强化学习将目标检测过程建模成为一个马尔科夫过程,能有效减少目标候选框,并结合学徒学习和监督学习在保证检测精度的情况下有效提高了草地贪夜蛾成虫目标检测速度。
附图说明
图1为本发明的方法顺序图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
如图1所示,一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法,包括以下步骤:
第一步,训练样本的收集和预处理:收集若干张草地贪夜蛾成虫图像作为训练数据,利用标记框标出草地贪夜蛾成虫图像位置,将所有标记过的图像归一化为64×64像素。
第二步,构建并训练草地贪夜蛾成虫检测模型:基于改进的强化学习和学徒学习构建并训练出草地贪夜蛾成虫图像检测模型。其具体步骤如下:
(1)构建针对草地贪夜蛾成虫图像进行特征提取和加权融合的卷积神经网络:选择两个相同结构的卷积神经网络以并联方式进行连接,均载入基于分类任务的ImageNet数据集初始权重,分别将草地贪夜蛾成虫训练样本输入分类任务和检测任务下的网络对初始化权重进行fine-tune,将训练样本输入到上述并行结构下进行卷积特征提取与加权融合。
本发明的最终目的是进行草地贪夜蛾的目标检测,若只是去微调分类权重会影响最终目标检测的结果,在此情况下我们针对检测权重也进行微调,并将微调后的分类权重和检测权重对应的特征图进行融合用于强化学习DDQN算法的草地贪夜蛾成虫目标检测。其具体步骤如下:
A1)采用卷积神经网络VGG,并选择第四、五层卷积层的特征图作为特征表达;选择两个结构相同的初始权值为ImageNet数据集上的分类权重的基本卷积神经网络。
A2)将已经人工标注的草地贪夜蛾成虫训练样本输入到其中一个对目标与背景二分类任务的卷积神经网络中进行参数fine-tune,并将同样的训练样本输入到另一个检测任务的卷积神经网络中进行目标检测参数的fine-tune。
A3)对上述经过fine-tune的并行网络第四、五层卷积特征图进行加权融合,从而获得Merge4和Merge5;第四层融合后信息Merge4为将来草地贪夜蛾成虫精准定位所设定的精修网络所用,第五层加权融合后的特征图Merge5作为强化学习中为粗定位草地贪夜蛾成虫图像动作执行的区域,其表达式如下:
Merge4=w4fm_c4+(1-w4)fm_d4,
Merge5=w5fm_c5+(1-w5)fm_d5,
其中,fm_c4、fm_c5分别为用于分类的第四、五层输出的特征图,fm_d4、fm_d5分别为用于检测的第四、五层输出特征图,w4、w5为相应的权重。
(2)构建草地贪夜蛾成虫目标粗定位候选区域搜索网络:基于强化学习的DDQN算法和任务数据集设计动作空间、奖励函数和经验池,将目标候选区域搜索过程建模为动作决策问题,依据选择的动作对应的奖励不断地优化动作选择策略从而获得草地贪夜蛾目标粗定位候选区域。
动作空间的目的是调整原始草地贪夜蛾训练图像到目标框的位置,在此,改进的动作空间中的动作尽管少但搜索目标效果较好,由此可以减少草地贪夜蛾图像的目标候选框,提高检索效率;传统的奖励函数只强调执行动作后检测到草地贪夜蛾成虫的效果是否好,而不能度量检测到草地贪夜蛾成虫效果好的程度,改进的奖励函数可以对目标检测效果好的程度进行度量;改进的经验池构建方法,基于学徒学习专家经验的基础上挑选元组信息作为经验池元素,可以为后期强化学习DDQN算法搜索草地贪夜蛾成虫目标框达到快速收敛的目的。
其具体步骤如下:
B1)结合任务数据集设计了8个层次动作空间,其中:左上、右上、左下、右下、中间5个尺度变换动作,横向压缩、纵向压缩2个压缩变换动作,1个终止动作;
对应于上述动作空间,提出了表述各个动作选择优略的奖励函数,其表达式如下:
其中,是草地贪夜蛾成虫目标真实区域与预测框的交并比,s表示执行动作之前的状态区域,s′表示执行动作后的状态,g表示目标真实区域,k=10平衡终止状态和中间状态一致性;
B2)基于学徒学习构建N=10000容量的经验池:选取最优IoU对应的动作作用于草地贪夜成虫目标图像后获得的元组加入经验池,当训练周期达到设定次数后,再利用ε-greedy方法对经验池进行数据的添加;
B21)针对一张草地贪夜蛾成虫训练图像,是将8个动作分别作用到一个状态特征图上,选取最大的IoU所对应的动作,将该动作作用所获得的状态以及奖励以元组(s,a,r,s')加入到经验池中,继续利用8个动作对状态s'进行下一个状态动作的执行,选出最大IoU所对应的动作,将该动作作用所获得状态以及奖励以元组(s',a',r',s”)加入到经验池中,直到达到最终的终止动作,一张草地贪夜蛾成虫图像目标搜索结束;
B22)将8个动作分别对剩余的草地贪夜蛾训练图像进行作用,选取相应得状态、奖励等以元组形式加入到经验池中;
当训练周期T≥20时,利用ε-greedy方法,即以ε-greedy=0.1概率任意选择一个动作a”,该动作执行一个状态,并将执行后获得的奖励函数和下一个状态以元组的形式(s”,a”,r”,s”')存入到经验池中,以ε-greedy=0.9的概率利用已经学习到的策略选择动作,即aselect=maxaQ{si,a},将动作aselect执行到一个状态上,从而获得相应的奖励函数,将其以元组形式(si,aselect,ri,si+1)存入到经验池中,直到经验池中元组数量达到10000,在将来训练过程中以不断更新原经验池;
B3)DDQN模型训练:设置运行次数,利用上述改进的动作空间、奖励函数、经验池,基于强化学习DDQN算法,将其动作空间的动作执行到第五层加权融合后的特征图Merge5上,并获得及时奖励,不断更新经验池,从而得到产生的目标值进行监督学习,利用梯度下降法迭代训练损失函数优化权重,即获得Agent选择草地贪夜蛾成虫目标粗定位候选框的最优策略;
损失函数:
其中,s是包含草地贪夜蛾成虫图像的状态,a是对状态s执行的动作,s′是动作a对状态s执行后得到的状态,θ为需要训练调整的参数,r是即时奖励,折扣系数γ=0.9,每隔一定步数,将使得预测值q(s,a;θ)越来越接近目标值yi,从而不断调整参数θ。
(3)构建草地贪夜蛾成虫目标置信度预测网络:基于监督学习设计草地贪夜蛾成虫目标置信度网络,对上述动作决策过程中产生的粗定位候选区域进行打分,并根据贪婪原则,选择分数最高的两个粗定位草地贪夜蛾成虫目标候选区域作为下一步输入的结果。利用置信度网络可以从诸多候选框中选择出包含草地贪夜蛾成虫目标最大和次大的两个候选框,从而减少需要精修的数据。
其具体步骤如下:
C1)选择全连接网络构造置信度预测网络,利用草地贪夜蛾成虫粗定位候选区域作为训练样本,对于其目标真实区域与候选区域的交并比IoU大于0.45的标签设为1,其余的设为0,训练置信度预测网络;
C2)将一张草地贪夜蛾成虫目标图像在动作决策过程中所产生的所有粗定位候选区域送入利用C1)步骤中训练好的置信度预测网络,然后依据置信度的值选择出其中置信度最大和次大的两个含有草地贪夜蛾成虫的候选区域。
(4)构建目标精修神经网络对草地贪夜蛾成虫目标候选区域进行精修,构建目标精修神经网络可以提高候选区域的检测准确度。通过选择与标签交并比大于一定阈值的目标候选区域作为样本集,对目标回归精修神经网络训练,实现对上述目标置信度网络选取的候选区域进行精修。其具体步骤如下:
D1)对目标精修网络利用监督学习进行训练,输入的数据为置信度最大和次大的两个含有草地贪夜蛾成虫候选区域分别对应的第四层加权融合后的特征图Merge4,通过回归优化使之靠近真实的标签,获得两个候选框的精准定位结果;
D2)将LGIoU=1-GIoU作为目标精修网络的损失函数进行学习调整参数,该损失函数不仅反应执行动作前后状态si、sj之间是否重叠,并体现如何重叠,其中,
C为包含si、sj的最小凸闭包。
(5)构建候选区域智能选择网络获取最终的草地贪夜蛾成虫目标的精准定位;将回归精修后的两个精准定位候选区域作为智能选择网络的输入,取出IoU,即含有草地贪夜蛾成虫候选区域与包含草地贪夜蛾成虫目标区域的交并比中最大的候选框作为最终目标的定位。
第三步,灯诱设备下草地贪夜蛾成虫图像的收集和预处理:获取灯诱设备下草地贪夜蛾成虫图像作为待检测图像,将待检测图像归一化为512×512像素。
第四步,灯诱设备下草地贪夜蛾成虫的标记:将待检测图像输入训练后的草地贪夜蛾成虫图像检测模型,进行草地贪夜蛾的识别、定位和计数。
现有技术中,由于基于深度学习的目标检测算法普遍需要产生大量冗余的候选区域,这就限制了检测速度以及检测精度。本发明基于强化学习的目标检测方法将目标检测问题建模为马尔可夫问题,在定义好合适的动作空间、奖励函数、经验池和损失函数的情况下,可以将灯诱设备中获取的草地贪夜蛾成虫图像作为检测对象,在极大减少候选区域提高检测速度同时保证检测精度,从而能够快速获得灾害发生的等级程度。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (6)
1.一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法,其特征在于,包括以下步骤:
11)训练样本的收集和预处理:收集若干张草地贪夜蛾成虫图像作为训练数据,利用标记框标出草地贪夜蛾成虫图像位置,将所有标记过的图像归一化为64×64像素;
12)构建并训练草地贪夜蛾成虫检测模型:基于改进的强化学习和学徒学习构建并训练出草地贪夜蛾成虫图像检测模型;
13)灯诱设备下草地贪夜蛾成虫图像的收集和预处理:获取灯诱设备下草地贪夜蛾成虫图像作为待检测图像,将待检测图像归一化为512×512像素;
14)灯诱设备下草地贪夜蛾成虫的标记:将待检测图像输入训练后的草地贪夜蛾成虫图像检测模型,进行草地贪夜蛾成虫的识别、定位和计数。
2.根据权利要求1所述的一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法,其特征在于,所述的构建并训练草地贪夜蛾成虫检测模型包括以下步骤:
21)构建针对草地贪夜蛾成虫图像进行特征提取和加权融合的卷积神经网络:选择两个相同结构的卷积神经网络以并联方式进行连接,均载入基于分类任务的ImageNet数据集初始权重,分别将训练样本输入分类任务和检测任务下的网络对初始化权重进行fine-tune,将训练样本输入到上述并行结构下进行卷积特征提取与加权融合;
22)构建草地贪夜蛾成虫目标粗定位候选区域搜索网络:基于强化学习的DDQN算法和任务数据集设计动作空间、奖励函数和经验池,将目标候选区域搜索过程建模为动作决策问题,依据选择的动作对应的奖励不断地优化动作选择策略从而获得草地贪夜蛾成虫目标粗定位候选区域;
23)构建草地贪夜蛾成虫目标置信度预测网络:基于监督学习设计目标置信度网络对上述动作决策过程中产生的粗定位候选区域进行打分,并根据贪婪原则,选择分数最高的两个粗定位目标候选区域作为下一步输入的结果;
24)构建目标精修神经网络对草地贪夜蛾成虫目标候选区域进行精修:通过选择与标签交并比大于一定阈值的目标候选区域作为样本集,对目标回归精修神经网络训练,实现对上述目标置信度网络选取的候选区域进行精修;
25)构建候选区域智能选择网络获取最终的草地贪夜蛾成虫目标的精准定位;将回归精修后的两个精准定位候选区域作为智能选择网络的输入,取出IoU候选区域与目标区域的交并比中最大的候选框作为最终目标的定位。
3.根据权利要求2所述的一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法,其特征在于,所述的构建针对草地贪夜蛾成虫图像进行特征提取和加权融合的卷积神经网络包括以下步骤:
31)采用卷积神经网络VGG,并选择第四、五层卷积层的特征图作为特征表达;选择两个结构相同的初始权值为ImageNet数据集上的分类权重的基本卷积神经网络;
32)将训练样本输入到其中一个对目标与背景二分类任务的卷积神经网络中进行参数fine-tune,并将同样的训练样本输入到另一个检测任务的卷积神经网络中进行目标检测参数的fine-tune;
33)对上述经过fine-tune的并行网络第四、五层卷积特征图进行加权融合,从而获得Merge4和Merge5;第四层融合后信息Merge4为将来精修网络所用,第五层加权融合后的特征图Merge5作为强化学习中动作执行的区域,其表达式如下:
Merge4=w4fm_c4+(1-w4)fm_d4,
Merge5=w5fm_c5+(1-w5)fm_d5,
其中,fm_c4、fm_c5分别为用于分类的第四、五层输出的特征图,fm_d4、fm_d5分别为用于检测的第四、五层输出特征图,w4、w5为相应的权重。
4.根据权利要求2所述的一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法,其特征在于,所述的构建草地贪夜蛾成虫目标粗定位候选区域搜索网络包括以下步骤:
41)结合任务数据集设计了8个层次动作空间,其中:左上、右上、左下、右下、中间5个尺度变换动作,横向压缩、纵向压缩2个压缩变换动作,1个终止动作;
对应于上述动作空间,提出了表述各个动作选择优略的奖励函数,其表达式如下:
其中,是目标真实区域与预测框的交并比,s表示执行动作之前的状态区域,s′表示执行动作后的状态,g表示目标真实区域,k=10平衡终止状态和中间状态一致性;
42)基于学徒学习构建N=10000容量的经验池:选取最优IoU对应的动作作用目标图像后获得的元组加入经验池,当训练周期达到设定次数后,再利用ε-greedy方法对经验池进行数据的添加;
421)针对一张目标图像,是将8个动作分别作用到一个状态特征图上,选取最大的IoU所对应的动作,将该动作作用所获得的状态以及奖励以元组(s,a,r,s')加入到经验池中,继续利用8个动作对状态s'进行下一个状态动作的执行,选出最大IoU所对应的动作,将该动作作用所获得状态以及奖励以元组(s',a',r',s”)加入到经验池中,直到达到最终的终止动作,一张图像目标搜索结束;
422)将8个动作分别对剩余的训练图像进行作用,选取相应得状态、奖励等以元组形式加入到经验池中;
当训练周期T≥20时,利用ε-greedy方法,即以ε-greedy=0.1概率任意选择一个动作a”,该动作执行一个状态,并将执行后获得的奖励函数和下一个状态以元组的形式(s”,a”,r”,s”')存入到经验池中,以ε-greedy=0.9的概率利用已经学习到的策略选择动作,即aselect=maxaQ{si,a},将动作aselect执行到一个状态上,从而获得相应的奖励函数,将其以元组形式(si,aselect,ri,si+1)存入到经验池中,直到经验池中元组数量达到10000,在将来训练过程中以l=5不断更新原经验池;
43)DDQN模型训练:设置运行次数,利用上述改进的动作空间、奖励函数、经验池,基于强化学习DDQN算法,将其动作空间动作执行到第五层加权融合后的特征图Merge5上,并获得及时奖励,不断更新经验池,从而得到target-产生的目标值进行监督学习,利用梯度下降法迭代训练损失函数优化权重,即获得Agent选择目标粗定位候选框的最优策略;
损失函数:
其中,s是包含草地贪夜蛾成虫图像的状态,a是对状态s执行的动作,s′是动作a对状态s执行后得到的状态,θ为需要训练调整的参数,r是即时奖励,折扣系数γ=0.9,每隔一定步数,将使得预测值q(s,a;θ)越来越接近目标值yi,从而不断调整参数θ。
5.根据权利要求2所述的一种用于灯诱设备下的草地贪夜蛾成虫图像识别方法,其特征在于,所述的构建草地贪夜蛾成虫目标置信度预测网络包括以下步骤:
51)选择全连接网络构造置信度预测网络,利用粗定位候选区域作为训练样本,对于其中目标真实区域与候选区域的交并比IoU大于0.45的标签设为1,其余的设为0,训练置信度预测网络;
52)将一张目标图像在动作决策过程中所产生的所有粗定位候选区域送入利用51)步骤中训练好的置信度预测网络,然后依据置信度的值选择出其中置信度最大和次大的两个候选区域。
6.根据权利要求2所述的一种用于灯诱设备下的草地贪夜蛾成虫图像识别方法,其特征在于,所述的构建目标精修神经网络对草地贪夜蛾成虫目标候选区域进行精修包括以下步骤:
61)对目标精修网络利用监督学习进行训练,输入的数据为置信度最大和次大的两个候选区域分别对应的第四层加权融合后的特征图Merge4,通过回归优化使之靠近真实的标签,获得两个候选框的精准定位结果;
62)将LGIoU=1-GIoU作为目标精修网络的损失函数进行学习调整参数,该损失函数不仅反应状态si、sj之间是否重叠,并体现如何重叠,其中,
C为包含si、sj的最小凸闭包。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910710686.6A CN110428413B (zh) | 2019-08-02 | 2019-08-02 | 一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910710686.6A CN110428413B (zh) | 2019-08-02 | 2019-08-02 | 一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110428413A true CN110428413A (zh) | 2019-11-08 |
CN110428413B CN110428413B (zh) | 2021-09-28 |
Family
ID=68413880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910710686.6A Active CN110428413B (zh) | 2019-08-02 | 2019-08-02 | 一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110428413B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476317A (zh) * | 2020-04-29 | 2020-07-31 | 中国科学院合肥物质科学研究院 | 一种基于强化学习技术的植保图像非密集害虫检测方法 |
CN111476302A (zh) * | 2020-04-08 | 2020-07-31 | 北京工商大学 | 基于深度强化学习的Faster-RCNN目标物体检测方法 |
CN111832441A (zh) * | 2020-06-28 | 2020-10-27 | 广东省农业科学院植物保护研究所 | 一种草地贪夜蛾的防治系统及方法 |
CN112036261A (zh) * | 2020-08-11 | 2020-12-04 | 海尔优家智能科技(北京)有限公司 | 手势识别方法、装置、存储介质、电子装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120287401A1 (en) * | 2011-05-09 | 2012-11-15 | Carl Zeiss Meditec, Inc. | Integration and fusion of data from diagnostic measurements for glaucoma detection and progression analysis |
CN106355162A (zh) * | 2016-09-23 | 2017-01-25 | 江西洪都航空工业集团有限责任公司 | 一种基于视频监控的入侵检测方法 |
CN109145770A (zh) * | 2018-08-01 | 2019-01-04 | 中国科学院合肥物质科学研究院 | 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法 |
CN109255794A (zh) * | 2018-09-05 | 2019-01-22 | 华南理工大学 | 一种标准件深度全卷积特征边缘检测方法 |
CN109800809A (zh) * | 2019-01-22 | 2019-05-24 | 华南理工大学 | 一种基于维度分解的候选区域提取方法 |
-
2019
- 2019-08-02 CN CN201910710686.6A patent/CN110428413B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120287401A1 (en) * | 2011-05-09 | 2012-11-15 | Carl Zeiss Meditec, Inc. | Integration and fusion of data from diagnostic measurements for glaucoma detection and progression analysis |
CN106355162A (zh) * | 2016-09-23 | 2017-01-25 | 江西洪都航空工业集团有限责任公司 | 一种基于视频监控的入侵检测方法 |
CN109145770A (zh) * | 2018-08-01 | 2019-01-04 | 中国科学院合肥物质科学研究院 | 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法 |
CN109255794A (zh) * | 2018-09-05 | 2019-01-22 | 华南理工大学 | 一种标准件深度全卷积特征边缘检测方法 |
CN109800809A (zh) * | 2019-01-22 | 2019-05-24 | 华南理工大学 | 一种基于维度分解的候选区域提取方法 |
Non-Patent Citations (1)
Title |
---|
陈国特: "基于深度学习的稻飞虱图像分类识别的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476302A (zh) * | 2020-04-08 | 2020-07-31 | 北京工商大学 | 基于深度强化学习的Faster-RCNN目标物体检测方法 |
CN111476302B (zh) * | 2020-04-08 | 2023-03-24 | 北京工商大学 | 基于深度强化学习的Faster-RCNN目标物体检测方法 |
CN111476317A (zh) * | 2020-04-29 | 2020-07-31 | 中国科学院合肥物质科学研究院 | 一种基于强化学习技术的植保图像非密集害虫检测方法 |
CN111476317B (zh) * | 2020-04-29 | 2023-03-24 | 中国科学院合肥物质科学研究院 | 一种基于强化学习技术的植保图像非密集害虫检测方法 |
CN111832441A (zh) * | 2020-06-28 | 2020-10-27 | 广东省农业科学院植物保护研究所 | 一种草地贪夜蛾的防治系统及方法 |
CN112036261A (zh) * | 2020-08-11 | 2020-12-04 | 海尔优家智能科技(北京)有限公司 | 手势识别方法、装置、存储介质、电子装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110428413B (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110428413B (zh) | 一种用于灯诱设备下的草地贪夜蛾成虫图像检测方法 | |
CN112150821B (zh) | 轻量化车辆检测模型构建方法、系统及装置 | |
KR102557512B1 (ko) | 이미지들에서의 오브젝트 검출을 위한 콘텍스트-기반 프라이어들 | |
CN107818302A (zh) | 基于卷积神经网络的非刚性多尺度物体检测方法 | |
CN106682696B (zh) | 基于在线示例分类器精化的多示例检测网络及其训练方法 | |
CN110766041B (zh) | 一种基于深度学习的害虫检测方法 | |
KR20180063189A (ko) | 선택적 역전파 | |
CN112418330A (zh) | 一种基于改进型ssd的小目标物体高精度检测方法 | |
CN111898685B (zh) | 一种基于长尾分布数据集的目标检测方法 | |
CN112115916A (zh) | 域适应Faster R-CNN半监督SAR检测方法 | |
CN110096976A (zh) | 基于稀疏迁移网络的人体行为微多普勒分类方法 | |
CN116310718A (zh) | 一种基于YOLOv5模型的害虫目标检测方法、系统及设备 | |
CN115272894A (zh) | 面向无人机图像目标检测方法、装置、电子设备及存储介质 | |
CN115713755A (zh) | 一种高效精准的草地贪夜蛾的图像识别方法 | |
Teng et al. | A hybrid algorithm based on GWO and GOA for cycle traffic light timing optimization | |
CN116612386A (zh) | 基于分级检测双任务模型的辣椒病虫害识别方法及系统 | |
CN113076490A (zh) | 一种基于混合节点图的涉案微博对象级情感分类方法 | |
Wei et al. | Small sample and efficient crop pest recognition method based on transfer learning and data transformation | |
CN115731517A (zh) | 一种基于Crowd-RetinaNet网络的拥挤人群检测方法 | |
JP2022025392A (ja) | 機械学習装置及び機械学習方法 | |
CN116861261B (zh) | 自动驾驶模型的训练方法、部署方法、系统、介质和设备 | |
Thevarasa et al. | Weighted Ensemble Algorithm for Aerial Imaging Based Mosquito Breeding Sites Classification | |
CN117173551B (zh) | 一种场景自适应的无监督水下弱小目标检测方法及系统 | |
CN118279320A (zh) | 基于自动提示学习的目标实例分割模型建立方法及其应用 | |
CN118506217A (zh) | 基于无人机采集图像的道路病害监测方法、系统及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |