CN110009702B

CN110009702B - 用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法

Info

Publication number: CN110009702B
Application number: CN201910305842.0A
Authority: CN
Inventors: 赵颖; 高严; 冯德瀛; 张来刚; 赵栋杰; 孙群
Original assignee: Liaocheng University
Current assignee: Hefei Jinglong Environmental Protection Technology Co ltd
Priority date: 2019-04-16
Filing date: 2019-04-16
Publication date: 2023-08-04
Anticipated expiration: 2039-04-16
Also published as: CN110009702A

Abstract

本发明提供了一种智能喷药机器人的美国白蛾幼虫网幕图像定位方法，属于智能喷药机器人的视觉定位领域。该方法包括：步骤1，采集美国白蛾幼虫网幕图片，截取图片中的不同部位作为样本，对所有样本进行分类，并利用样本训练卷积神经网络得到白蛾幼虫网幕识别模型；步骤2，对智能喷药机器人采集到的视频图像进行稳像处理获得稳定的单帧图像，利用不重合滑动窗口遍历每帧图像，得到多个候选框；步骤3，利用所述白蛾幼虫网幕识别模型对各个候选框进行筛选，得到优秀候选框；步骤4，对所有优秀候选框进行融合处理，得到一个连续的目标轮廓框，该目标轮廓框即为白蛾幼虫网幕的位置，智能喷药机器人对该目标轮廓框内进行喷药。本发明能减少药物浪费。

Description

用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法

技术领域

本发明属于智能喷药机器人的视觉定位领域，具体涉及用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法。

背景技术

美国白蛾，是世界性检疫害虫，对农作物、林木、果树等造成了严重的危害。1979年6月在一次调查农作物病虫害时，首次在我国发现了美国白蛾它是从中朝边境传入我国辽宁省丹东地区的。该虫一般一年发生3代，每代分幼虫、蛹、成虫三个时期。白蛾幼龄幼虫常群集寄主叶片上吐丝结网幕，在网幕内取食寄主的叶肉，受害叶片呈白膜而枯黄，目前常采用人工摘除网幕和化学药剂大规模喷施的防治方法，但这些方法简单粗放、污染重、耗费了大量的人力物力。基于机器视觉的智能精密对靶施药是解决这一问题的方法之一。

美国白蛾生长环境的复杂多变限制了对靶精密喷药的可能，一般定位方法不能具备较好的鲁棒性和准确性。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，基于卷积神经网络实现美国白蛾幼虫网幕图像定位，使智能喷药机器人能够做出正确的决策，既减少了喷药量又可以实现快速喷药，达到良好的灭虫效果。

本发明是通过以下技术方案实现的：

一种用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，包括：

步骤1，采集美国白蛾幼虫网幕图片，截取图片中的不同部位作为样本，对所有样本进行分类，并利用样本训练卷积神经网络得到白蛾幼虫网幕识别模型；

步骤2，对智能喷药机器人采集到的视频图像进行稳像处理获得稳定的单帧图像，利用不重合滑动窗口遍历每帧图像，得到多个候选框；

步骤3，利用所述白蛾幼虫网幕识别模型对各个候选框进行筛选，得到优秀候选框；

步骤4，对所有优秀候选框进行融合处理，得到一个连续的目标轮廓框，该目标轮廓框即为白蛾幼虫网幕的位置，智能喷药机器人对该目标轮廓框内进行喷药。

所述步骤1中的对样本进行分类的操作包括：将所有样本分为三类，分别为白蛾网幕类、有白蛾网幕类和无白蛾网幕类；其中属于白蛾网幕类的是绝大部分区域含有白蛾网幕的样本，属于有白蛾网幕类是有小部分区域含有白蛾网幕的样本，属于无白蛾网幕类的是无白蛾网幕的样本。

所述步骤1中的利用样本训练卷积神经网络得到白蛾幼虫网幕识别模型的操作包括：

(11)建立卷积神经网络；

(12)将所有样本中的一部分作为测试集，另一部分作为验证集；

(13)利用测试集和验证集对所述卷积神经网络进行训练，得到训练好的卷积神经网络，即白蛾幼虫网幕识别模型。

所述步骤(11)中建立的卷积神经网络包括输入层、第一卷积层、第二卷积层、第三卷积层、全局均值池化层、输出层。

所述步骤(13)中的利用测试集和验证集对所述卷积神经网络进行训练的操作包括：

从输入层输入RGB空间的样本；利用第一卷积层、第二卷积层、第三卷积层对RGB空间的样本进行特征提取得到RGB空间的特征图；

将样本从RGB空间转到YUV空间，利用第一卷积层、第二卷积层、第三卷积层对所有YUV空间的样本进行特征提取得到YUV空间的特征图；

将RGB空间的特征图、YUV空间的特征图一起输入到全局均值池化层；

所述全局均值池化层对RGB空间的特征图、YUV空间的特征图求全局均值；并将全局均值发送给输出层。

所述输出层含有三个神经元，分别对应优秀、合格、不合格；

所述优秀对应白蛾网幕类，所述合格对应有白蛾网幕类，所述不合格对应无白蛾网幕类。

所述步骤2中的利用不重合滑动窗口遍历每帧图像，得到多个候选框的操作包括：

(21)依据图像的大小确定滑动窗口的尺寸：每帧图像的宽和高能分别被滑动窗口的宽w和高h整除；设置滑动窗口的面积最小值S_n；

(22)以图像的左上角为坐标原点，以图像的右侧作为x轴正方向，以图像的下侧作为y轴正方向建立图像坐标系；将图像的坐标原点作为滑动窗口起始点，将滑动窗口的宽作为滑动窗口x轴方向的步长，将滑动窗口的高作为图像y轴的步长；

(23)将滑动窗口按照从左到右、从上到下的顺序进行滑动；滑动窗口的尺寸和移动到的位置即为候选框的尺寸和位置，这样得到多个候选框。

所述步骤3的操作包括：

(31)利用白蛾幼虫网幕识别模型对各个候选框进行分类：如果白蛾幼虫网幕识别模型的输出是优秀，则输入的候选框为优秀候选框；如果白蛾幼虫网幕识别模型的输出是合格，则输入的候选框为合格候选框；如果白蛾幼虫网幕识别模型的输出是不合格，则输入的候选框为不合格候选框；

(32)将所有优秀候选框保留，将所有不合格候选框舍弃；然后将滑动窗口的宽和高分别缩小为原来的二分之一，如果不存在合格候选框或者缩小后的滑动窗口的面积小于S_n，则进入步骤(33)，否则返回步骤(22)；

(33)结束。

所述步骤4中的对所有优秀候选框进行融合处理，得到一个连续的目标轮廓框的操作包括：

(41)在一个与原图像大小相同的黑色二值图像上，在对应每个优秀候选框的位置处绘制出白色实心候选框，得到二值图像；每个白色实心候选框的尺寸和与其对应的优秀候选框的尺寸相同；

(42)在所述二值图像中提取目标轮廓框，在原图像上对应的位置处绘制出所述目标轮廓框并高亮显示。

与现有技术相比，本发明的有益效果是：本发明对各种不同的复杂环境具有较好的适应性，抗干扰能力强，能够准确地定位美国白蛾幼虫网幕位置，使智能喷药机器人快速正确决策，极大地减少药物浪费。另外，该定位方法由机器自主学习，不需要调试太多参数。根据选择性搜索和多尺度滑动窗口原理，提出基于不重合滑动窗口的美国白蛾幼虫网幕图像定位方法，该方法不再依据图像分割结果来获取候选框，而是通过不断均分图像来获取候选框，一步步缩小检测范围，最终定位出白蛾幼虫网幕的正确位置。

附图说明

图1为白蛾幼虫生长环境图；

图2为卷积神经网络(CNN)原理示意图；

图3为不重合滑动窗口工作原理示意图；

图4为机器人视觉系统流程示意图；

图5(a)实际图片处理流程的第一次提取候选框示意图；

图5(b)实际图片处理流程的第二次提取候选框示意图；

图5(c)实际图片处理流程的第三次提取候选框示意图；

图5(d)实际图片处理流程的第四次提取候选框示意图；

图5(e)实际图片处理流程的第五次提取候选框示意图；

具体实施方式

下面结合附图对本发明作进一步详细描述：

本发明基于卷积神经网络的美国白蛾幼虫网幕图像定位方法，包括如下步骤：

步骤1,在各种不同的环境下采集美国白蛾幼虫网幕图片。截取图片中的不同部位作为样本，并将样本分为白蛾网幕、有白蛾网幕和无白蛾网幕三类。属于第一类白蛾网幕的图片其绝大部分区域含有白蛾网幕，属于第二类有白蛾网幕的图片其小部分区域含有白蛾网幕，属于第三类无白蛾网幕的图片中无白蛾网幕。实际使用时，也可以根据需要对图片样本进行其它分类，例如分为两类或者分为三类以上。依据所分的样本类别建立测试集和验证集。搭建卷积神经网络(CNN)模型，利用所建立的数据集训练CNN模型。

所述搭建CNN模型，利用所建立的数据集训练CNN模型包括如下步骤：

1)如图2所示(图2中的RGB和YUV是两种不同的颜色空间，本发明方法的主要思想是不同的颜色空间有不同的优点，多种颜色空间混合使用可弥补单一颜色空间的不足。综合考虑不同颜色空间搭配的效果和数据量选择RGB和YUV 颜色空间)，确定深度神经网络整体架构：

Conv1层(第一卷积层)。Conv1层是一个分组卷积层，卷积前将图像从RGB 空间转到YUV空间，分别在RGB和YUV空间内进行卷积。

采用3×3大小的卷积核和补零策略，步长为1，单个颜色空间卷积得到9 个32×32的特征图。卷积核的大小决定一个神经元感受视野的大小，卷积核过小时，无法提取有效的局部特征；卷积核过大时，提取特征的复杂度可能远远超过其表示能力。因此，设置恰当的卷积核对于提高CNN的性能至关重要，不同的卷积核能够提取不同的特征。补零策略能够避免忽略边界信息，获得更完整的图像特征信息。因采用补零策略的原因，特征图的大小只与图像的大小和卷积核的步长有关。

在实际操作中，卷积的时候还要加上一个偏置项。对于与卷积核尺寸相同的图像块x，采用卷积核w进行卷积，偏置项为b，输出为y的卷积运算为：

y＝wx+b

卷积得到的结果并不是直接存储在Conv1层中，而是先用激活函数Relu和 IRelu进行计算(对y值进行计算更新y值，共激活两次，一次relu,一次Irelu)，再作为特征图中的特征值。Relu和IRelu结合使用在保证网络收敛速度的同时，避免了忽略负的特征值，减少了图像特征信息的丢失。

Relu的表达式为：

IRelu的表达式为：

对卷积得到的特征图采用2×2的池化窗口进行最大池化以减少数据量，池化窗口的步长为2。图2中的Conv1(第一卷积层)、Conv2(第二卷积层)、Conv3 (第三卷积层)都是卷积层，卷积层的作用是提取图像特征。

总的来说，该层的作用是提取原图像的不同特征，输出9×2×2＝36(单个颜色空间卷积得到9个特征图，两个颜色空间分别卷积需乘以2，两种激活函数单独使用需在乘以2)个16×16大小的特征图。

该层的训练参数数量：2×(3×3×3×9+9)＝504

随着网络不断加深，卷积核的数量以2的指数倍增加，卷积核提取的特征更加完整，也更具表达能力。

Global average pool层(全局均值池化层)。全局均值池化层用来代替与最后一层卷积层相连的全连接层，对最后一层卷积层得到的每个特征图求全局均值，有多少个特征图便可得到多少个神经元。RGB和YUV空间的特征图加起来是72 张特征图，对每个特征图分别求均值，得到72个神经元。

OUTPUT层(输出层)。OUTPUT层是全连接层，含有三个神经元(分别对应优秀、合格、不合格)，采用激活函数Softmax，输出原图像所属类别的概率S_i。假设有一个数组V，V中共有n个元素，V_i表示V中的第i个元素，那么这个元素的Softmax值为：

2)数据预处理：使用多线程加载数据，训练前将图片缩放到指定大小并进行标准化处理(标准化是一种数据处理方式，具体做法是减去均值再除以方差)，打乱次序分批次加载数据。

3)网络的训练：每次训练完一次后，将预测值与正确值相比较，求取误差 Loss。在网络中反向传播Loss。逐层求导，更新权重。迭代多次训练，不断减小Loss，网络训练时参数是不断变化的，保存下来的模型中的参数是固定的，最后得到的就是训练好的神经网络，即白蛾幼虫网幕识别模型。

步骤2，对视频图像进行稳像处理以便获得稳定的单帧图像，利用不重合滑动窗口遍历每帧图像提取候选框。

所述步骤2中的利用不重合滑动窗口遍历每帧图像提取候选框包括如下步骤：

1)依据图片大小选择一个合适的尺寸(该尺寸能够把图像均分为若干图像块，如果目标比较大或者比较集中，图像块也比较大)使原图像的宽和高能分别被滑动窗口的宽(w)和高(h)整除。

2)以图像的左上角为坐标原点，以图像的右侧作为x轴正方向，以图像的下侧作为y轴正方向建立图像坐标系。将图像的坐标原点作为滑动窗口起始点，将w作为滑动窗口x轴方向的步长，将h作为图像y轴的步长。

3)滑动窗口按照从左到右、从上到下的原则滑动(即从左到右滑动完第一行后，再下移到第二行，继续从左到右滑动，以此类推)。滑动窗口的尺寸和位置即为候选框的尺寸和位置。

步骤3，根据候选框截取图像局部并使用所述白蛾幼虫网幕识别模型对候选框进行分类以达到筛选候选框的目的。候选框是一个已知大小和位置的矩形框。 (x,y,w，h)四个参数可确定矩形框。(x，y)是坐标，w是宽，h是高。

所述步骤3中的根据候选框截取图像局部并使用白蛾幼虫网幕识别模型对候选框进行分类以达到筛选候选框的目的包括如下步骤：

1)利用白蛾幼虫网幕识别模型将候选框分为优秀候选框、合格候选框和不合格候选框三个类别。优秀候选框指其候选区域属于白蛾网幕类，合格候选框指其候选区域属于有白蛾网幕类，不合格候选框指其候选区域属于无白蛾网幕类。

2)优秀候选框保留，不合格候选框舍弃。然后将滑动窗口的宽和高缩小为原来的二分之一，利用不重合滑动窗口遍历合格候选框中的区域作为新的候选框，然后返回步骤1)。

3)设置一个滑动窗口的面积最小值S_n。

当不存在合格候选框或新生成的滑动窗口的面积S<S_n时，筛选候选框的过程结束。

步骤4，对所有达到要求的候选框(即保留下来的优秀候选框)进行融合处理，得到一个连续的目标轮廓框以确定白蛾幼虫网幕的位置。

所述步骤4中的对所有达到要求的候选框进行融合处理，得到一个连续的目标轮廓框以确定白蛾幼虫网幕的位置的操作包括：

1)在一个与原图像大小相同的黑色二值图像上绘制所有达到要求的白色实心候选框。

2)根据步骤1)绘制的二值图像提取目标轮廓框(采用现有方法提取轮廓即可，例如可以采用opencv中的findContours来提取外轮廓。)，在原图像上相同位置处绘制出目标轮廓框并高亮显示。

利用本发明方法进行美国白蛾幼虫网幕图像定位的一个实施例如下：

参见图1所示的白蛾幼虫生长环境图(图1中的4幅图表示不同环境下的白蛾幼虫)，美国白蛾幼虫的杂乱分布及其生长复杂，给图像定位造成了极大的困难，为提高智能喷药机器人视觉系统的效率和准确性，需要做一些准备工作：

1)在各种不同的白蛾幼虫生长环境下采集图片样本并将其分为白蛾网幕、有白蛾网幕和无白蛾网幕三类，初步按照7：3的比例建立测试集和验证集。

2)参见图2所示的卷积神经网络(CNN)原理示意图，搭建一个用于识别白蛾幼虫网幕卷积神经网络，包括：Iuput层、conv1层、conv2层、conv3层、 global average pool层、Output层，将数据集投入网络中进行训练，优化网络参数并优化数据集以提高识别的准确率。

3)将已训练好的网络生成网络模型以保存训练好的网络参数。

参见图3不重合滑动窗口原理示意图，为了能够快速定位出白蛾幼虫网幕的位置，提出不重合滑动窗口法提取候选框，具体步骤如下：

1)依据原图像1的大小(960×720)选择一个合适的尺寸，确定滑动窗口2 的宽(w＝320)和高(h＝240)(初始滑动窗口手动设置，后续窗口每次变化宽和高缩小为之前窗口的二分之一)。

3)滑动窗口按照从左到右、从上到下的原则滑动对整张图像进行扫描，即将原图片进行均分，得到均分后的图片3。图片3的大小和位置坐标为候选框的大小和位置坐标。

参见图4所示的本发明方法的步骤框图，利用训练好的网络模型进行实时图像识别。具体步骤如下：

1)对视频图像进行稳像处理以便获得稳定的单帧图像，利用不重合滑动窗口提取候选框并用网络模型将其分类，优秀候选框保留，不合格候选框舍弃。若不存在合格候选框，进入步骤4)，若存在合格候选框进入候选框，进入步骤 2)。

2)对滑动窗口的面积进行判断，若滑动窗口的面积低于最小值，则对优秀候选框进行融合处理，绘制目标轮廓框，结束定位工作，若滑动窗口的面积高于最小值，则利用不重合滑动窗口对合格候选框所包含的图像部分提取候选框。

3)利用网络模型对候选框进行分类，优秀候选框保留，不合格候选框舍弃。若存在合格候选框，返回步骤2)。

4)对所有达到要求的候选框进行融合处理，得到一个连续的目标轮廓框以确定白蛾幼虫网幕的位置。

参见图5(a)到图5(e)的实际图片处理流程示意图，分别展现了两幅不同的图片候选框筛选过程，可以看出优秀候选框逐步增多。根据网络模型识别结果筛选候选框并进行融合处理。具体步骤如下：

1)参见图5(a)滑动窗口初次扫描整个图像，生成九个大小相同的候选框，用网络模型对候选框进行评分，优秀候选框保留。

2)参见图5(b)、(c)和(d)滑动窗口的宽和高缩小为之前的二分之一，利用不重合滑动窗口对合格候选框所包含的部分图像提取候选框，优秀候选框保留。

3)多次重复步骤2)，直到滑动窗口的面积低于1200或不存在合格候选框为止。

4)在黑色二值图像上绘制合适实心的合格候选框：根据所绘制的二值图像提取目标轮廓并在原图像绘出目标轮廓框，如图5(e)所示。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims

1.一种用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，其特征在于：所述方法包括：

步骤4，对所有优秀候选框进行融合处理，得到一个连续的目标轮廓框，该目标轮廓框即为白蛾幼虫网幕的位置，智能喷药机器人对该目标轮廓框内进行喷药;

所述步骤1中的对样本进行分类的操作包括：将所有样本分为三类，分别为白蛾网幕类、有白蛾网幕类和无白蛾网幕类；其中属于白蛾网幕类的是绝大部分区域含有白蛾网幕的样本，属于有白蛾网幕类是有小部分区域含有白蛾网幕的样本，属于无白蛾网幕类的是无白蛾网幕的样本;

（11）建立卷积神经网络；

（12）将所有样本中的一部分作为测试集，另一部分作为验证集；

（13）利用测试集和验证集对所述卷积神经网络进行训练，得到训练好的卷积神经网络，即白蛾幼虫网幕识别模型；

所述步骤（11）中建立的卷积神经网络包括输入层、第一卷积层、第二卷积层、第三卷积层、全局均值池化层、输出层;

所述步骤（13）中的利用测试集和验证集对所述卷积神经网络进行训练的操作包括：

2.根据权利要求1所述的用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，其特征在于：所述输出层含有三个神经元，分别对应优秀、合格、不合格；

3.根据权利要求1所述的用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，其特征在于：所述步骤2中的利用不重合滑动窗口遍历每帧图像，得到多个候选框的操作包括：

（21）依据图像的大小确定滑动窗口的尺寸：每帧图像的宽和高能分别被滑动窗口的宽w和高h整除；设置滑动窗口的面积最小值S _n；

（22）以图像的左上角为坐标原点，以图像的右侧作为x轴正方向，以图像的下侧作为y轴正方向建立图像坐标系；将图像的坐标原点作为滑动窗口起始点，将滑动窗口的宽作为滑动窗口x轴方向的步长，将滑动窗口的高作为图像y轴的步长；

（23）将滑动窗口按照从左到右、从上到下的顺序进行滑动；滑动窗口的尺寸和移动到的位置即为候选框的尺寸和位置，这样得到多个候选框。

4.根据权利要求1所述的用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，其特征在于：所述步骤3的操作包括：

（31）利用白蛾幼虫网幕识别模型对各个候选框进行分类：如果白蛾幼虫网幕识别模型的输出是优秀，则输入的候选框为优秀候选框；如果白蛾幼虫网幕识别模型的输出是合格，则输入的候选框为合格候选框；如果白蛾幼虫网幕识别模型的输出是不合格，则输入的候选框为不合格候选框；

（32）将所有优秀候选框保留，将所有不合格候选框舍弃；然后将滑动窗口的宽和高分别缩小为原来的二分之一，如果不存在合格候选框或者缩小后的滑动窗口的面积小于S _n，则进入步骤（33），否则返回步骤（22）；

（33）结束。

5.根据权利要求1所述的用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，其特征在于：所述步骤4中的对所有优秀候选框进行融合处理，得到一个连续的目标轮廓框的操作包括：

（41）在一个与原图像大小相同的黑色二值图像上，在对应每个优秀候选框的位置处绘制出白色实心候选框，得到二值图像；每个白色实心候选框的尺寸和与其对应的优秀候选框的尺寸相同；

（42）在所述二值图像中提取目标轮廓框，在原图像上对应的位置处绘制出所述目标轮廓框并高亮显示。