CN110414615B - 基于阶段性深度修复图像的玉米草地贪夜蛾检测方法 - Google Patents

基于阶段性深度修复图像的玉米草地贪夜蛾检测方法 Download PDF

Info

Publication number
CN110414615B
CN110414615B CN201910710621.1A CN201910710621A CN110414615B CN 110414615 B CN110414615 B CN 110414615B CN 201910710621 A CN201910710621 A CN 201910710621A CN 110414615 B CN110414615 B CN 110414615B
Authority
CN
China
Prior art keywords
spodoptera frugiperda
image
corn
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910710621.1A
Other languages
English (en)
Other versions
CN110414615A (zh
Inventor
贾秀芳
李伟
王儒敬
谢成军
黄河
张洁
周满
胡海瀛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN201910710621.1A priority Critical patent/CN110414615B/zh
Publication of CN110414615A publication Critical patent/CN110414615A/zh
Application granted granted Critical
Publication of CN110414615B publication Critical patent/CN110414615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于阶段性深度修复图像及改进Double‑DQN技术的玉米草地贪夜蛾检测方法，与现有技术相比解决了不同虫龄玉米草地贪夜蛾难以精确检测的缺陷。本发明包括以下步骤：训练样本的收集；训练样本进行预处理；构造并训练不同虫龄玉米草地贪夜蛾图像检测模型；待检测玉米草地贪夜蛾图像以及相应的上下文信息的收集和预处理；不同虫龄的玉米草地贪夜蛾在玉米图像中具体位置的标记。本发明通过构建不同虫龄草地贪夜蛾边缘图模型与草地贪夜蛾图像深度修复模型融合实现大面积缺失的图像阶段性修复，在此基础上训练不同虫龄玉米草地贪夜蛾及相应上下文信息图像检测模型，提高了不同虫龄玉米草地贪夜蛾图像检测和识别能力。

Description

基于阶段性深度修复图像的玉米草地贪夜蛾检测方法
技术领域
本发明涉及图像目标检测技术领域，具体来说是基于阶段性深度修复图像的玉米草地贪夜蛾检测方法。
背景技术
在我国，2019年1月草地贪夜蛾首次在云南被发现，仅仅不到7个月时间已经扩展到了21个省区。它是一种重大迁飞性害虫，繁殖能力强，而且是首次入侵，几乎没有天敌。据估计玉米苗期一般可减产10％-25％，严重危害田块可造成毁种绝收，已被列入国家重大病虫害监控对象。
如何精准地检测和识别不同虫龄玉米草地贪夜蛾是做好监测防控的首要任务。由于草地贪夜蛾常躲在玉米心叶对其进行啃食，加大了人工目测的难度，目前的检测工作主要依靠植保专家将玉米心掰开找到不同虫龄玉米草地贪夜蛾来完成，这样很容易造成玉米二次受损从而影响产量。此外，目前大多数传统检测方法主要集中在对虫体图像的特征提取，忽略了不同虫龄玉米草地贪夜蛾发生的位置、啃噬玉米叶形态以及粪便颗粒大小等相关因素，特别容易与玉米黏虫进行混淆，致使传统检测方法对玉米草地贪夜蛾检测精准度较低。而在实际应用中发现，玉米草地贪夜蛾啃噬玉米叶形态(害样)及粪便颗粒与其他虫体都具有一定的区别性和特殊性，与其他虫体存在显著区别。但是不同虫龄的玉米草地贪夜蛾，其害样及粪便也存在一定的区别，这对于精准识别带来了一定的难度，以致使传统的害虫识别方法无法应用于玉米草地贪夜蛾的识别。
因此，如何提高玉米草地贪夜蛾检测的准确性已成为当前亟待解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中不同虫龄玉米草地贪夜蛾难以精确检测缺陷，提供一种基于阶段性深度修复图像的玉米草地贪夜蛾检测方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于阶段性深度修复图像的玉米草地贪夜蛾检测方法，包括以下步骤：
训练样本的收集：收集玉米草地贪夜蛾图像及其相对应的危害状形态、粪便颗粒大小作为训练数据，图像的焦点集中在玉米心叶位置的草地贪夜蛾虫体部分，将所有训练图像大小归一化为64×64像素；
训练样本进行预处理：构造并训练阶段性深度修复模型，利用阶段性深度修复技术对玉米草地贪夜蛾图像缺失部分进行修复；
构造并训练不同虫龄玉米草地贪夜蛾图像检测模型：基于深度卷积神经网络模型融合上下文信息对不同虫龄的玉米草地贪夜蛾图像进行特征提取及分类，并利用改进的Double-DQN方法选取候选框，训练出不同虫龄玉米草地贪夜蛾图像检测模型；
待检测玉米草地贪夜蛾图像以及相应的上下文信息的收集和预处理：获取待检测玉米草地贪夜蛾图像及信息，并将待测图像大小归一化为256×256像素，通过预训练的阶段性深度修复模型获得相应的修复图像；
不同虫龄的玉米草地贪夜蛾在玉米图像中具体位置的标记：将预处理后待检测玉米草地贪夜蛾图像及其上下文信息输入训练完成后的不同虫龄玉米草地贪夜蛾图像检测模型中，进行草地贪夜蛾图像的检测，定位并标记出草地贪夜蛾在玉米心叶的具体位置。
所述训练样本进行预处理包括以下步骤：
构建不同虫龄玉米草地贪夜蛾边缘图训练模型；
构建不同虫龄玉米草地贪夜蛾图像深度修复训练模型；
修复不同虫龄玉米草地贪夜蛾缺失图像：将玉米草地贪夜蛾缺失图像输入草地贪夜蛾边缘图训练模型后，再输入到草地贪夜蛾图像深度修复训练模型，修复出完整的玉米草地贪夜蛾图像xrecon。
所述构造并训练不同虫龄玉米草地贪夜蛾图像检测模型包括以下步骤：
构建融合上下文信息获得不同虫龄玉米草地贪夜蛾图像分类训练模型，其构建如下：
以深度卷积神经网络模型为基础构建基于上下文信息的不同虫龄玉米草地贪夜蛾检测模型，其包含5层卷积层、3层池化层、2层全卷积层和输出层，
将深度修复图像xrecon，以及其对应的危害状形态和粪便颗粒大小数据作为输入，输出是草地贪夜蛾所属虫龄的概率；构建模型如下：
Figure GDA0003121459830000031
其中，玉米草地贪夜蛾图像及其相关上下文信息训练数据集
Figure GDA0003121459830000032
s＝{s1，s2}为图像中对应的危害状形态和粪便颗粒大小特征数据，yj∈{1，2，3，4，5，6}表示六种幼虫虫龄，α为损失函数L1的权重，θ1是经过训练获得的参数；
构建不同虫龄玉米草地贪夜蛾图像的检测训练模型，其构建如下：
以改进的Double-DQN为基础构建不同虫龄玉米草地贪夜蛾图像目标检测训练模型，分别将检测六个不同虫龄的Double-DQN模型并联，输入为深度修复图像xrecon及其相应的虫龄类别，输出为草地贪夜蛾的位置，构建模型如下，
Figure GDA0003121459830000033
其中，
Figure GDA0003121459830000034
元素为草地贪夜蛾图像的左上角坐标和宽高，β为损失函数L2的权重，通过不断训练获得参数θ2；
基于危害状形态和粪便颗粒大小上下文信息的不同虫龄玉米草地贪夜蛾检测模型进行训练，其训练过程如下：
Figure GDA0003121459830000035
其中，L1(y，P)＝-logPr(y|P)是交叉熵损失函数，P为分类器预测得到的概率分布，
Figure GDA0003121459830000036
是均方差损失函数，l*为Double-DQN训练获得的目标定位候选区域位置，η为权重系数；
随机梯度下降法分别获得不同虫龄玉米草地贪夜蛾图像分类模型和检测模型参数
Figure GDA0003121459830000037
其计算公式如下：
Figure GDA0003121459830000038
构建不同虫龄玉米草地贪夜蛾边缘图训练模型包括以下步骤：
生成预测不同虫龄草地贪夜蛾缺失区域边缘的网络结构：
设预测模型结构G1()为卷积自动编码器，编码器和解码器结构对称，以AlexNet模型结构为基础，构造编码器由5个卷积层和5个下采样层组成，中间是1个全连接层，解码器通过5个反卷积层和5个上采样层组成；
将采集到的64×64维度的虫害图像I进行灰度化，其灰度图记为Igray、边缘图记为Iedge，M表示二进制掩码，M＝0表示遮挡图像中需要保留的区域，而M＝1表示图像中被遮挡区域；遮挡灰度图像
Figure GDA0003121459830000041
遮挡边缘图像
Figure GDA0003121459830000042
和M作为构建边缘网络图G1的输入送入自动编码机中，输出为预测缺失区域的边缘图；
其生成预测草地贪夜蛾边缘缺失区域的网络公式为：
Figure GDA0003121459830000043
构建鉴别不同虫龄草地贪夜蛾边缘图像的网络结构；
设辨别真假图像的博弈网络结构D1()是利用VGG16模型结构，其输入为64×64维度，包括13个卷积层和3个全连接层；
将生成的预测边缘Iepre、原图边缘Iedge以Igray为条件输入到博弈网络中，优化以下函数：
Figure GDA0003121459830000044
其中博弈损失为
Figure GDA0003121459830000045
Figure GDA0003121459830000046
特征损失为
Figure GDA0003121459830000047
从而调节不同虫龄草地贪夜蛾边缘图网络的权重，修复边缘缺失部分；
不同虫龄草地贪夜蛾复合边缘图的构建，
复合边缘图Icomp通过将草地贪夜蛾实际边缘图Iedge背景区域与缺失区域中生成的边缘相结合构造而成，其计算如下：
Icomp＝Iedge⊙(1-M)+Iepre⊙M，
其中，Iedge⊙(1-M)表示原图像中未破损边缘部分，Iepre⊙M表示原图像中破损但已修复的边缘部分。
所述构建不同虫龄玉米草地贪夜蛾图像深度修复训练模型包括以下步骤：
设定深度卷积神经网络模型为基础构造图像深度修复模型G2()，共五层，前四层是反卷积层，最后一层为输出层；
其输入是符合某一分布的多维随机噪声z、遮挡原图像
Figure GDA0003121459830000051
及复合边缘图Icomp，输出为图像缺失部分的修复。
Figure GDA0003121459830000052
构建鉴别神经网络模型，
以深度卷积网络模型VGG为基础构造鉴别神经网络模型D2()，共九层，前六层卷积层来自VGG，两层全连接层，最后一层为输出层，输出维数为1，其输入为真实训练样本或图像深度修复模型Ipred中获取样本D2：R|x|→[0，1]，0表示图像修复模型生成的样本，1代表真实的样本；
深度修复缺失的不同虫龄玉米草地贪夜蛾图像，
针对图像深度修复模型G2()以最小化以下函数进行概括，鉴别神经网络模型D2()最小化以下函数进行概括，其公式如下：
Lp(z)＝λlog[1-D2(G2(z，Icomp))]，
Lc(z|I，M)＝||Wi⊙(G2(z，Icomp)-I)||1
其中，
Figure GDA0003121459830000053
i是像素索引，Wi是像素i处的权重，N(i)第i个像素邻域像素的集合，|N(i)|为第N(i)的基数；
Figure GDA0003121459830000054
最终，利用获得的最优
Figure GDA0003121459830000055
深度修复缺失草地贪夜蛾图像为
Figure GDA0003121459830000056
所述的改进的Double-DQN由卷积神经网络VGG后面接两个并联的相同结构的网络eval-net和target-net，其中eval-net由四个全连接层组成主要用于动作的选择，target-net由四个全连接层组成主要用于目标值估计，从而形成监督学习；其构建具体步骤如下：
将64×64像素的已分类的补全的缺失草地贪夜蛾图像输入到卷积神经网络VGG模型中进行特征提取，该模型的初始权重为ImageNet数据集上的权重；将第五层特征图作为特征表达输入到eval-net网络层，输出维度为预定义动作的数量，再利用ε-greedy根据当前的eval-net输出的Q值以及预定义的动作空间去选择出对应的动作a并执行，然后将其对应的状态值si，si+1、奖励函数ri、动作ai等<si，ai，ri，si+1，is_endi>加入到经验池中，
当达到一定数量后取出固定batch＝64的样本去训练eval-net网络Q，其对应的目标函数为
Figure GDA0003121459830000061
该网络的权重在给定的时间间隔内，将eval-net中的权重w赋值于target-net Q′中的w′，即w′＝w。hi来自于target-net对于状态si+1的响应；
Double-DQN模型中涉及到改进的奖励函数如下：
当agent执行动作从状态si转移到状态si+1时，环境给予agent相应的奖励Ra(si，si+1)，其作用是在当前状态下执行此动作是否有利于目标的选定，其公式如下：
Ra(si，si+1)＝R′a(si，si+1)+Fa(si，si+1)，
其中，
Figure GDA0003121459830000062
塑造奖励函数为Fa(si，si+1)＝0.9GIoU(si+1)-GIoU(si)，
Figure GDA0003121459830000063
该函数判断状态之间的重叠情况而且判断状态之间的距离，C是包含状态si和si+1的最小凸闭包；
当agent执行动作达到一定次数或者满足GIoU≥ε，则agent将接受到一定的奖励或者惩罚，具体函数如下；
Figure GDA0003121459830000064
其中，μ＝3.0，ε＝0.7，一般ε＝0.5。
有益效果
本发明的基于阶段性深度修复图像的玉米草地贪夜蛾检测方法，与现有技术相比不仅考虑了不同虫龄草地贪夜蛾图像本身的特征，还考虑了其隐藏的位置、啃噬玉米叶形态及其粪便颗粒大小等草地贪夜蛾特有属性。本发明通过构建不同虫龄草地贪夜蛾边缘图模型与草地贪夜蛾图像深度修复模型融合实现大面积缺失的图像阶段性修复，在此基础上训练不同虫龄玉米草地贪夜蛾及相应上下文信息图像检测模型，提高了不同虫龄玉米草地贪夜蛾图像检测和识别能力。
附图说明
图1为本发明的方法顺序图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的基于阶段性深度修复图像的玉米草地贪夜蛾检测方法，包括以下步骤：
第一步，训练样本的收集。收集玉米草地贪夜蛾图像及其相对应的危害状形态、粪便大小作为训练数据，图像的焦点集中在玉米心叶位置的草地贪夜蛾虫体部分，将所有训练图像大小归一化为64×64像素。
第二步，训练样本进行预处理。构造并训练阶段性深度修复模型，利用阶段性深度修复技术对玉米草地贪夜蛾图像缺失部分进行修复。玉米草地贪夜蛾在实际环境中均位于玉米心叶内，其样本采集无法获取全部的虫体信息，造成虫体图像大面积缺失。
若不先进行边缘的修复仅利用传统的图像修复方法不能够重建合理的结构，缺失部分越大补全时越自由，从而降低了图像修复的准确性。而添加了边缘修复可以更好地显示精细细节的填充区域，所以阶段性深度修复过程中，首先修复难度较低的边缘部分，然后将修复好的边缘作为下一阶段图像补全的先验信息实现高还原度的图像修复。
其具体步骤如下：
(1)构建不同虫龄草地贪夜蛾边缘图训练模型。其包括以下步骤：
A1)生成预测不同虫龄草地贪夜蛾缺失区域边缘的网络结构：
设预测模型结构G1()为卷积自动编码器，编码器和解码器结构对称，以AlexNet模型结构为基础，构造编码器由5个卷积层和5个下采样层组成，中间是1个全连接层，解码器通过5个反卷积层和5个上采样层组成；
将采集到的64×64维度的虫害图像I进行灰度化，其灰度图记为Igray、边缘图记为Iedge，M表示二进制掩码，M＝0表示遮挡图像中需要保留的区域，而M＝1表示图像中被遮挡区域；遮挡灰度图像
Figure GDA0003121459830000081
遮挡边缘图像
Figure GDA0003121459830000082
和M作为构建边缘网络图G1的输入送入自动编码机中，输出为预测缺失区域的边缘图；
其生成预测草地贪夜蛾边缘缺失区域的网络公式为：
Figure GDA0003121459830000083
A2)构建鉴别不同虫龄草地贪夜蛾边缘图像的网络结构；
设辨别真假图像的博弈网络结构D1()是利用VGG16模型结构，其输入为64×64维度，包括13个卷积层和3个全连接层；
将生成的预测边缘Iepre、原图边缘Iedge以Igray为条件输入到博弈网络中，优化以下函数：
Figure GDA0003121459830000084
其中博弈损失为
Figure GDA0003121459830000085
Figure GDA0003121459830000086
特征损失为
Figure GDA0003121459830000087
从而调节不同虫龄草地贪夜蛾边缘图网络的权重，修复边缘缺失部分。
A3)不同虫龄草地贪夜蛾复合边缘图的构建，
复合边缘图Icomp通过将草地贪夜蛾实际边缘图Iedge背景区域与缺失区域中生成的边缘相结合构造而成，其计算如下：
Icomp＝Iedge⊙(1-M)+Iepre⊙M。
其中Iedge⊙(1-M)表示原图像中未破损边缘部分，Iepre⊙M表示原图像中破损但已修复的边缘部分。
(2)构建不同虫龄草地贪夜蛾图像深度修复训练模型。其包括以下步骤：
B1)设定深度卷积神经网络模型为基础构造图像深度修复模型G2()，共五层，前四层是反卷积层，最后一层为输出层；
其输入是符合某一分布的多维随机噪声z、遮挡原图像
Figure GDA0003121459830000091
及复合边缘图Icomp，输出为图像缺失部分的修复。
Figure GDA0003121459830000092
B2)构建鉴别神经网络模型，
以深度卷积网络模型VGG为基础构造鉴别神经网络模型D2()，共九层，前六层卷积层来自VGG，两层全连接层，最后一层为输出层，输出维数为1，其输入为真实训练样本或图像深度修复模型Ipred中获取样本D2：R|x|→[0，1]，0表示图像修复模型生成的样本，1代表真实的样本；
B3)深度修复缺失的不同虫龄玉米草地贪夜蛾图像，
这里的深度是指深度卷积网络模型VGG，可以很好地进行特征提取。针对图像深度修复模型G2()以最小化以下函数进行概括，鉴别神经网络模型D2()最小化以下函数进行概括，其公式如下：
Lp(z)＝λlog[1-D2(G2(z，Icomp))]，
Lc(z|I，M)＝||Wi⊙(G2(z，Icomp)-I)||1
其中，
Figure GDA0003121459830000093
i是像素索引，Wi是像素i处的权重，N(i)第i个像素邻域像素的集合，|N(i)|为第N(i)的基数；
Figure GDA0003121459830000094
最终，利用获得的最优
Figure GDA0003121459830000095
深度修复缺失草地贪夜蛾图像为
Figure GDA0003121459830000096
(3)修复不同虫龄玉米草地贪夜蛾缺失图像：将玉米草地贪夜蛾缺失图像输入草地贪夜蛾边缘图训练模型后，再输入到草地贪夜蛾图像深度修复训练模型，修复出完整的玉米草地贪夜蛾图像xrecon。
第三步，构造并训练不同虫龄玉米草地贪夜蛾图像检测模型。基于深度卷积神经网络模型融合上下文信息对不同虫龄的玉米草地贪夜蛾图像进行特征提取及分类，并利用改进的Double-DQN方法选取候选框，训练出不同虫龄玉米草地贪夜蛾图像检测模型。
由于玉米草地贪夜蛾位于玉米心叶内，采集图像较难，同时玉米草地贪夜蛾繁殖较快，在其生长周期内又呈多种变化，啃噬玉米叶形态及其粪便颗粒大小等草地贪夜蛾特有属性，我们首先利用这些特有属性作为上下文信息进行不同虫龄分类，提高分类的精准度；在图像检测模型中利用改进的奖励函数，决策最优动作策略确定其作用后的状态作为目标候选框，使其提高不同虫龄玉米草地贪夜蛾图像检测的精准度。其具体步骤如下：
C1)构建融合上下文信息获得不同虫龄玉米草地贪夜蛾图像分类训练模型，其构建如下：
以深度卷积神经网络模型为基础构建基于上下文信息的不同虫龄玉米草地贪夜蛾检测模型，其包含5层卷积层、3层池化层、2层全卷积层和输出层，
将深度修复图像xrecon，以及其对应的危害状形态和粪便颗粒大小数据作为输入，输出是草地贪夜蛾所属虫龄的概率；构建模型如下：
Figure GDA0003121459830000101
其中，玉米草地贪夜蛾图像及其相关上下文信息训练数据集
Figure GDA0003121459830000102
为图像中对应的危害状形态和粪便颗粒大小特征数据，yj∈{1，2，3，4，5，6}表示六种幼虫虫龄，α为损失函数L1的权重，θ1是经过训练获得的参数；
C2)构建不同虫龄玉米草地贪夜蛾图像的检测训练模型，其构建如下：
以改进的Double-DQN为基础构建不同虫龄玉米草地贪夜蛾图像目标检测训练模型，分别将检测六个不同虫龄的Double-DQN模型并联，输入为深度修复图像xrecon及其相应的虫龄类别，输出为草地贪夜蛾的位置，构建模型如下，
Figure GDA0003121459830000111
其中，
Figure GDA0003121459830000112
元素为草地贪夜蛾图像的左上角坐标和宽高，β为损失函数L2的权重，通过不断训练获得参数θ2。
在此，改进的Double-DQN由卷积神经网络VGG后面接两个并联的相同结构的网络eval-net和target-net，其中eval-net由四个全连接层组成主要用于动作的选择，target-net由四个全连接层组成主要用于目标值估计，从而形成监督学习。
首先，将64×64像素的已分类的补全的缺失草地贪夜蛾图像输入到卷积神经网络VGG模型中进行特征提取，该模型的初始权重为ImageNet数据集上的权重；将第五层特征图作为特征表达输入到eval-net网络层，输出维度为预定义动作的数量，再利用ε-greedy根据当前的eval-net输出的Q值以及预定义的动作空间去选择出对应的动作a并执行，然后将其对应的状态值si，si+1、奖励函数ri、动作ai等<si，ai，ri，si+1，is_endi>加入到经验池中，
当达到一定数量后取出固定batch＝64的样本去训练eval-net网络Q，其对应的目标函数为
Figure GDA0003121459830000113
该网络的权重在给定的时间间隔内，将eval-net中的权重w赋值于target-net Q′中的w′，即w′＝w。hi来自于target-net对于状态si+1的响应；
其次，Double-DQN模型中涉及到改进的奖励函数如下：
当agent执行动作从状态si转移到状态si+1时，环境给予agent相应的奖励Ra(si，si+1)，其作用是在当前状态下执行此动作是否有利于目标的选定，其公式如下：
Ra(si，si+1)＝R′a(si，si+1)+Fa(si，si+1)，
其中，
Figure GDA0003121459830000114
塑造奖励函数为Fa(si，si+1)＝0.9GIoU(si+1)-GIoU(si)，
Figure GDA0003121459830000121
该函数判断状态之间的重叠情况而且判断状态之间的距离，C是包含状态si和si+1的最小凸闭包；
当agent执行动作达到一定次数或者满足GIoU≥ε，则agent将接受到一定的奖励或者惩罚，具体函数如下；
Figure GDA0003121459830000122
其中，μ＝3.0，ε＝0.7，一般ε＝0.5。但此时我们已经将不同虫龄草地贪夜蛾目标数据进行了阶段性地修复，所以可以提高阈值从而达到精准检测的目的。
C3)基于危害状形态和粪便颗粒大小上下文信息的不同虫龄玉米草地贪夜蛾检测模型进行训练，其训练过程如下：
Figure GDA0003121459830000123
其中，L1(y，P)＝-logPr(y|P)是交叉熵损失函数，P为分类器预测得到的概率分布，
Figure GDA0003121459830000124
是均方差损失函数，l*为Double-DQN训练获得的目标定位候选区域位置，η为权重系数；
随机梯度下降法分别获得不同虫龄玉米草地贪夜蛾图像分类模型和检测模型参数
Figure GDA0003121459830000125
其计算公式如下：
Figure GDA0003121459830000126
第四步，待检测玉米草地贪夜蛾图像以及相应的上下文信息的收集和预处理。获取待检测玉米草地贪夜蛾图像及信息，并将待测图像大小归一化为256×256像素，通过预训练的阶段性深度修复模型获得相应的修复图像。
第五步，不同虫龄的玉米草地贪夜蛾在玉米图像中具体位置的标记。
将预处理后待检测玉米草地贪夜蛾图像及其上下文信息输入训练完成后的不同虫龄玉米草地贪夜蛾图像检测模型中，进行草地贪夜蛾图像的检测，定位并标记出草地贪夜蛾在玉米心叶的具体位置。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (4)

1.一种基于阶段性深度修复图像的玉米草地贪夜蛾检测方法，其特征在于，包括以下步骤：
11)训练样本的收集：收集玉米草地贪夜蛾图像及其相对应的危害状形态、粪便颗粒大小作为训练数据，图像的焦点集中在玉米心叶位置的草地贪夜蛾虫体部分，将所有训练图像大小归一化为64×64像素；
12)训练样本进行预处理：构造并训练阶段性深度修复模型，利用阶段性深度修复技术对玉米草地贪夜蛾图像缺失部分进行修复；所述训练样本进行预处理包括以下步骤：
121)构建不同虫龄玉米草地贪夜蛾边缘图训练模型；
122)构建不同虫龄玉米草地贪夜蛾图像深度修复训练模型；
123)修复不同虫龄玉米草地贪夜蛾缺失图像：将玉米草地贪夜蛾缺失图像输入草地贪夜蛾边缘图训练模型后，再输入到草地贪夜蛾图像深度修复训练模型，修复出完整的玉米草地贪夜蛾图像xrecon；
13)构造并训练不同虫龄玉米草地贪夜蛾图像检测模型：基于深度卷积神经网络模型融合上下文信息对不同虫龄的玉米草地贪夜蛾图像进行特征提取及分类，并利用改进的Double-DQN方法选取候选框，训练出不同虫龄玉米草地贪夜蛾图像检测模型；
所述构造并训练不同虫龄玉米草地贪夜蛾图像检测模型包括以下步骤：
131)构建融合上下文信息获得不同虫龄玉米草地贪夜蛾图像分类训练模型，其构建如下：
以深度卷积神经网络模型为基础构建基于上下文信息的不同虫龄玉米草地贪夜蛾检测模型，其包含5层卷积层、3层池化层、2层全卷积层和输出层，
将深度修复图像xrecon，以及其对应的危害状形态和粪便颗粒大小数据作为输入，输出是草地贪夜蛾所属虫龄的概率；构建模型如下：
Figure FDA0003267647770000031
其中，玉米草地贪夜蛾图像及其相关上下文信息训练数据集
Figure FDA0003267647770000032
为图像中对应的危害状形态和粪便颗粒大小特征数据，yj∈{1,2,3,4,5,6}表示六种幼虫虫龄，α为损失函数L1的权重，θ1是经过训练获得的参数；
132)构建不同虫龄玉米草地贪夜蛾图像的检测训练模型，其构建如下：
以改进的Double-DQN为基础构建不同虫龄玉米草地贪夜蛾图像目标检测训练模型，分别将检测六个不同虫龄的Double-DQN模型并联，输入为深度修复图像xrecon及其相应的虫龄类别，输出为草地贪夜蛾的位置，构建模型如下，
Figure FDA0003267647770000041
其中，
Figure FDA0003267647770000042
元素为草地贪夜蛾图像的左上角坐标和宽高，β为损失函数L2的权重，通过不断训练获得参数θ2；
133)基于危害状形态和粪便颗粒大小上下文信息的不同虫龄玉米草地贪夜蛾检测模型进行训练，其训练过程如下：
Figure FDA0003267647770000043
其中，L1(y,P)＝-log Pr(y|P)是交叉熵损失函数，P为分类器预测得到的概率分布，
Figure FDA0003267647770000044
是均方差损失函数，l*为Double-DQN训练获得的目标定位候选区域位置，η为权重系数；
随机梯度下降法分别获得不同虫龄玉米草地贪夜蛾图像分类模型和检测模型参数
Figure FDA0003267647770000045
其计算公式如下：
Figure FDA0003267647770000046
14)待检测玉米草地贪夜蛾图像以及相应的上下文信息的收集和预处理：获取待检测玉米草地贪夜蛾图像及信息，并将待测图像大小归一化为256×256像素，通过预训练的阶段性深度修复模型获得相应的修复图像；
15)不同虫龄的玉米草地贪夜蛾在玉米图像中具体位置的标记：将预处理后待检测玉米草地贪夜蛾图像及其上下文信息输入训练完成后的不同虫龄玉米草地贪夜蛾图像检测模型中，进行草地贪夜蛾图像的检测，定位并标记出草地贪夜蛾在玉米心叶的具体位置。
2.根据权利要求1所述的基于阶段性深度修复图像的玉米草地贪夜蛾检测方法，其特征在于，构建不同虫龄玉米草地贪夜蛾边缘图训练模型包括以下步骤：
21)生成预测不同虫龄草地贪夜蛾缺失区域边缘的网络结构：
设定预测模型结构G1()为卷积自动编码器，编码器和解码器结构对称，以AlexNet模型结构为基础，构造编码器由5个卷积层和5个下采样层组成，中间是1个全连接层，解码器通过5个反卷积层和5个上采样层组成；
将采集到的64×64维度的虫害图像I进行灰度化，其灰度图记为Igray、边缘图记为Iedge，M表示二进制掩码，M＝0表示遮挡图像中需要保留的区域，而M＝1表示图像中被遮挡区域；遮挡灰度图像
Figure FDA0003267647770000051
遮挡边缘图像
Figure FDA0003267647770000052
Figure FDA0003267647770000053
和M作为构建边缘网络图G1的输入送入自动编码机中，输出为预测缺失区域的边缘图；
其生成预测草地贪夜蛾边缘缺失区域的网络公式为：
Figure FDA0003267647770000054
22)构建鉴别不同虫龄草地贪夜蛾边缘图像的网络结构；
设定辨别真假图像的博弈网络结构D1()是利用VGG16模型结构，其输入为64×64维度，包括13个卷积层和3个全连接层；
将生成的预测边缘Iepre、原图边缘Iedge以Igray为条件输入到博弈网络中，优化以下函数：
Figure FDA0003267647770000055
其中博弈损失为
Figure FDA0003267647770000056
特征损失为
Figure FDA0003267647770000057
从而调节不同虫龄草地贪夜蛾边缘图网络的权重，修复边缘缺失部分；
23)不同虫龄草地贪夜蛾复合边缘图的构建，
复合边缘图Icomp通过将草地贪夜蛾实际边缘图Iedge背景区域与缺失区域中生成的边缘相结合构造而成，其计算如下：
Icomp＝Iedge⊙(1-M)+Iepre⊙M，
其中，Iedge⊙(1-M)表示原图像中未破损边缘部分，Iepre⊙M表示原图像中破损但已修复的边缘部分。
3.根据权利要求1所述的基于阶段性深度修复图像的玉米草地贪夜蛾检测方法，其特征在于，所述构建不同虫龄玉米草地贪夜蛾图像深度修复训练模型包括以下步骤：
31)设定深度卷积神经网络模型为基础构造图像深度修复模型G2()，共五层，前四层是反卷积层，最后一层为输出层；
其输入是符合分布的多维随机噪声z、遮挡原图像
Figure FDA0003267647770000061
及复合边缘图Icomp，输出为图像缺失部分的修复：
Figure FDA0003267647770000062
32)构建鉴别神经网络模型，
以深度卷积网络模型VGG为基础构造鉴别神经网络模型D2(),共九层,前六层卷积层来自VGG，两层全连接层，最后一层为输出层，输出维数为1，其输入为真实训练样本或图像深度修复模型Ipred中获取样本D2:R|x|→[0,1]，0表示图像修复模型生成的样本，1代表真实的样本；
33)深度修复缺失的不同虫龄玉米草地贪夜蛾图像，
针对图像深度修复模型G2()以最小化以下函数进行概括，鉴别神经网络模型D2()最小化以下函数进行概括，其公式如下：
Lp(z)＝λlog[1-D2(G2(z,Icomp))]，
Lc(z|I,M)＝||Wi⊙(G2(z,Icomp)-I)||1
其中，
Figure FDA0003267647770000063
i是像素索引，Wi是像素i处的权重，N(i)第i个像素邻域像素的集合，|N(i)|为第N(i)的基数；
Figure FDA0003267647770000064
最终，利用获得的最优
Figure FDA0003267647770000065
深度修复缺失草地贪夜蛾图像为
Figure FDA0003267647770000071
4.根据权利要求1所述的基于阶段性深度修复图像的玉米草地贪夜蛾检测方法，其特征在于：
所述的改进的Double-DQN由卷积神经网络VGG后面接两个并联的相同结构的网络eval-net和target-net，其中eval-net由四个全连接层组成用于动作的选择，target-net由四个全连接层组成用于目标值估计，从而形成监督学习；其构建具体步骤如下：
41)将64×64像素的已分类的补全的缺失草地贪夜蛾图像输入到卷积神经网络VGG模型中进行特征提取，该模型的初始权重为ImageNet数据集上的权重；将第五层特征图作为特征表达输入到eval-net网络层，输出维度为预定义动作的数量，再利用ε-greedy根据当前的eval-net输出的Q值以及预定义的动作空间去选择出对应的动作a并执行，然后将其对应的状态值si,si+1、奖励函数ri、动作ai<si,ai,ri,si+1>加入到经验池中，
当达到数量后取出固定batch＝64的样本去训练eval-net网络Q，其对应的目标函数为
Figure FDA0003267647770000072
该网络的权重在给定的时间间隔内，将eval-net中的权重w赋值于target-net Q′中的w′，即w′＝w，hi来自于target-net对于状态si+1的响应；
42)Double-DQN模型中涉及到改进的奖励函数如下：
421)当agent执行动作从状态si转移到状态si+1时，环境给予agent相应的奖励Ra(si,si+1)，其作用是在当前状态下执行此动作是否有利于目标的选定，其公式如下：
Ra(si,si+1)＝R′a(si,si+1)+Fa(si,si+1)，
其中，
Figure FDA0003267647770000073
塑造奖励函数为Fa(si,si+1)＝0.9GIoU(si+1)-GIoU(si)，
Figure FDA0003267647770000081
该函数判断状态之间的重叠情况而且判断状态之间的距离，C是包含状态si和si+1的最小凸闭包；
422)当agent执行动作达到次数或者满足GIoU≥ε，则agent将接受到奖励或者惩罚，具体函数如下；
Figure FDA0003267647770000082
其中，μ＝3.0，ε＝0.7或0.5。
CN201910710621.1A 2019-08-02 2019-08-02 基于阶段性深度修复图像的玉米草地贪夜蛾检测方法 Active CN110414615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910710621.1A CN110414615B (zh) 2019-08-02 2019-08-02 基于阶段性深度修复图像的玉米草地贪夜蛾检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910710621.1A CN110414615B (zh) 2019-08-02 2019-08-02 基于阶段性深度修复图像的玉米草地贪夜蛾检测方法

Publications (2)

Publication Number Publication Date
CN110414615A CN110414615A (zh) 2019-11-05
CN110414615B true CN110414615B (zh) 2021-12-10

Family

ID=68365301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910710621.1A Active CN110414615B (zh) 2019-08-02 2019-08-02 基于阶段性深度修复图像的玉米草地贪夜蛾检测方法

Country Status (1)

Country Link
CN (1) CN110414615B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476213A (zh) * 2020-05-19 2020-07-31 武汉大势智慧科技有限公司 一种基于道路影像的遮挡物覆盖区域填充方法和装置
CN111832441A (zh) * 2020-06-28 2020-10-27 广东省农业科学院植物保护研究所 一种草地贪夜蛾的防治系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3298149A1 (en) * 2015-05-18 2018-03-28 King Abdullah University Of Science And Technology Method of inhibiting plant virus pathogen infections by crispr/cas9-mediated interference
CN108960310A (zh) * 2018-06-25 2018-12-07 北京普惠三农科技有限公司 一种基于人工智能的农业病虫害识别方法
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统
CN109685810A (zh) * 2018-12-18 2019-04-26 清华大学 一种基于深度学习的肝包虫病灶识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11636329B2 (en) * 2017-08-28 2023-04-25 University Of Florida Research Foundation, Inc. Real time implementation of recurrent network detectors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3298149A1 (en) * 2015-05-18 2018-03-28 King Abdullah University Of Science And Technology Method of inhibiting plant virus pathogen infections by crispr/cas9-mediated interference
CN108960310A (zh) * 2018-06-25 2018-12-07 北京普惠三农科技有限公司 一种基于人工智能的农业病虫害识别方法
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统
CN109685810A (zh) * 2018-12-18 2019-04-26 清华大学 一种基于深度学习的肝包虫病灶识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的稻飞虱图像分类识别的研究;陈国特;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180615;第I138-1412页 *

Also Published As

Publication number Publication date
CN110414615A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
Yang et al. Development of image recognition software based on artificial intelligence algorithm for the efficient sorting of apple fruit
Akintayo et al. A deep learning framework to discern and count microscopic nematode eggs
WO2021139069A1 (zh) 自适应注意力指导机制的一般性目标检测方法
CN109753890B (zh) 一种路面垃圾物智能识别与感知方法及其实现装置
CN108765412B (zh) 一种带钢表面缺陷分类方法
Ma et al. A state-of-the-art survey of object detection techniques in microorganism image analysis: from classical methods to deep learning approaches
Rudolph et al. Efficient identification, localization and quantification of grapevine inflorescences and flowers in unprepared field images using Fully Convolutional Networks
CN110414615B (zh) 基于阶段性深度修复图像的玉米草地贪夜蛾检测方法
CN106340016A (zh) 一种基于细胞显微镜图像的dna定量分析方法
CN111783819B (zh) 小规模数据集上基于感兴趣区域训练改进的目标检测方法
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
JP4581090B2 (ja) 画像処理による注目部分を自動描出する方法及びそのための装置並びにプログラムを記録した記録媒体
CN104680193B (zh) 基于快速相似性网络融合算法的在线目标分类方法与系统
CN114822823B (zh) 基于云计算和人工智能的融合多维度医疗数据的肿瘤精细分类系统
CN114882215A (zh) 一种煤矸光电分选图像颗粒集料区域形选识别方法
CN114170511A (zh) 基于Cascade RCNN的路面裂缝病害识别方法
Qiu et al. Automatic detection and counting of wheat spikelet using semi-automatic labeling and deep learning
CN109002771A (zh) 一种基于递归神经网络的遥感图像分类方法
CN108021894B (zh) 一种基于深度策略学习的小麦病害检测方法
Mehta et al. Exploring the efficacy of CNN and SVM models for automated damage severity classification in heritage buildings
CN116758539A (zh) 一种基于数据增强的胚胎图像卵裂球识别方法
CN116245855B (zh) 作物品种鉴定方法、装置、设备及存储介质
CN115861226A (zh) 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法
CN115641575A (zh) 一种基于稀疏候选框的叶蝉科农业害虫检测方法
CN114299379A (zh) 一种基于高动态影像的阴影区植被覆盖度提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant