CN103226709B

CN103226709B - 一种美国白蛾幼虫网幕图像识别方法

Info

Publication number: CN103226709B
Application number: CN201310144269.2A
Authority: CN
Inventors: 赵颖; 孙群; 李猛; 王翀
Original assignee: Liaocheng University
Current assignee: Shandong JOYOU Aviation Technology Development Co., Ltd.
Priority date: 2013-04-24
Filing date: 2013-04-24
Publication date: 2015-12-02
Anticipated expiration: 2033-04-24
Also published as: CN103226709A

Abstract

本发明公开了一种美国白蛾幼虫网幕图像识别方法，包括步骤1）图像色彩空间和色彩通道确定、2）图像二值化处理、3）噪音区域去除处理和4）噪音的进一步去除和图像的修补处理。实验表明，本发明使用的方法网幕图像识别精度在85%以上，单幅图片处理时间小于40ms。

Description

一种美国白蛾幼虫网幕图像识别方法

技术领域

本发明涉及一种美国白蛾幼虫网幕图像识别方法，可实现美国白蛾1-4龄幼虫网幕图像的自动识别。

背景技术

美国白蛾又名美国灯蛾、秋幕毛虫，繁殖力强，危害300多种植物，尤其是阔叶树，是世界性检疫害虫。1979年我国辽宁省丹东市首次发现该虫，目前，已经迅速蔓延至天津、北京、河北、辽宁、山东、陕西等地。美国白蛾在幼虫期危害树木最为严重。幼虫共7龄，1-2龄幼虫只取食叶肉，留下叶脉，整个叶片呈透明的纱网状。3龄幼虫将叶片咬成缺壳，4龄幼虫开始分成若干个小的群体，5龄后单个取食。整个幼虫期间取食量极大，造成植物长势衰弱，抗逆力低下，部分枝条甚至整株死亡。前3龄幼虫网幕较明显，是实施防治的良好时机。

目前，常采用人工摘除网幕和化学药剂大规模喷施的防治方法。这些方式大多粗放、低效、高污染，研究美国白蛾幼虫网幕图像识别方法，进而研制智能对靶喷药机器人装置，具有重大的现实意义。

对靶施药成为精细农业的研究重点之一，国内外学者在大田、果园和设施农业病害防治方面都进行了有意义的探索。例如，胡天翔等人提出了基于DSSA(DomainSpecificSoftwareArchitecture)的智能对靶喷雾机软件系统设计思想；尹东富等研究了棉田对靶喷药除草系统，采用模糊控制算法自动识别杂草以及根据采集车速、杂草密度信息自动调整流量；耿长兴等针对温室黄瓜病害研究了对靶喷药机器人，实现了基于颜色和纹理信息的病情判断和定量分析。然而，美国白蛾幼虫网幕图像识别方法在国内外尚未见相关报道。

发明内容

本发明的技术解决问题是：针对目前人工喷药粗放、低效、高污染的情况，研究美国白蛾幼虫网幕图像自动识别方法，为研制智能对靶喷药机器人装置奠定基础。

本发明的技术解决方案为：

一种美国白蛾幼虫网幕图像识别方法，包括步骤1）图像色彩空间和色彩通道确定、2）图像二值化处理、3）噪音区域去除处理和4）噪音的进一步去除和图像的修补处理。

前面所述的美国白蛾幼虫网幕图像识别方法，优选的方案是，步骤1）图像色彩空间和色彩通道确定包括：根据美国白蛾幼虫网幕图像色彩分布特征，选择RGB颜色空间；计算原始图像中网幕、叶子和枝条部位的（R-G）、（B-G）、（R-B）颜色分量差值，确定（R-B）色差模型。

前面所述的美国白蛾幼虫网幕图像识别方法，优选的方案是，步骤2）图像二值化处理，过程如下：对网幕图像进行逐行扫描，并记录(R-B)值；求得每一点(R-B)差值，并将此差值按照升序的顺序排列，统计其中最大值和中值；使用最大类间方差法计算最佳阈值；进行二值化处理。

前面所述的美国白蛾幼虫网幕图像识别方法，优选的方案是，步骤3）噪音区域去除处理使用双阈值处理方法。

前面所述的美国白蛾幼虫网幕图像识别方法，优选的方案是，所述双阈值处理方法步骤是：①对图像从上到下，从左到右进行扫描，如果遇到白色象素则进行标记，并按照Freeman编码方式反时针跟踪，如果能够连接在一起，则表明此区域为一个整体，给图像中每一个可以连接在一起的整体进行区域标记（贴标签），命名为区域1，2，3，……，N；②贴标签的同时，在内存中开设一个动态数组p()记录每一区域所含像素的个数，各个数组成员的大小即为相对应区域的面积，分别记为p(1)，p(2)，…，p(i)，…，p(n)(i=1，2，3，……，N)，N为图像中所有区域的个数；③求出面积的平均值A和标准方差D，计算A－D和A+D的值确定为面积双阈值；④使用阈值计算法将面积介于双阈值之间的白色噪声区域剔除。

前面所述的美国白蛾幼虫网幕图像识别方法，优选的方案是，步骤4）噪音的进一步去除和图像的修补处理使用改进的膨胀腐蚀法。

前面所述的美国白蛾幼虫网幕图像识别方法，优选的方案是，具体步骤如下：将干扰区域去除处理后贴有标签的区域分为两类，面积大于threshold1的称为第一类，表现为大片白色区域；面积小于threshold2的称为第二类，表现为细小白色区域，大部分为网幕丝线，另有个别噪音点存在，丝线表现出一致的走向性，且大都朝向大片白色区域，噪音则杂乱的分布；对第一类区域进行腐蚀处理，去除掉区域内部细小的黑色干扰；③对第二类区域的每一个标记区域记录其左上、右上、左下、右下四个极值点的坐标，命名为X _LH、X _RH、X _LL和X _RL，连接点X _LH与点X _RL、点X _RH与点X _LL，求得两直线的长度，计算其中较长直线的斜率作为该区域的走向，记为k _i，图像中若存在小于四个像素的区域，当像素处于对角线位置时计算对角线斜率，当像素水平时记斜率为0，只有一个像素的区域不计，所有直线中出现垂直情况的不计算斜率但统计其出现频率；④将-90°～90°区域18等分，对所有斜率按其对应角度范围向18个区域投票，对所得的18个投票数量计算其标准方差，当标准差小于120时，认为图像中没有丝线，所有细小白色区域都作为噪音去除；当标准差大于120时，选择数量最大的区域对应的角度范围作为网幕丝线部分的走向，斜率处于这一部分的区域保留，其余部分去除；对于被保留的第二类区域，使用区域间膨胀法对其进行修补。

前面所述的美国白蛾幼虫网幕图像识别方法，优选的方案是，所述区域间膨胀法具体是，从左到右从上到下逐行扫描图像，当遇到新的标记区域时，即按照其斜率方向膨胀图像，直到遇到另一个标记区域为止，第一个区域的标记值变为与第二个区域一致，如此反复，直到扫描完毕，某个区域膨胀到图像底部也没有遇到新区域的，该次膨胀取消。

本发明一种美国白蛾幼虫网幕图像识别方法，使用了机器视觉系统和计算机图像处理技术，包括步骤：1）根据美国白蛾幼虫网幕图像色彩分布特征，选择RGB颜色空间；2）分析网幕、叶片和树枝的各通道数据的差值，采用（R-B）色差模型并结合最大类间方差法和阈值算法，分割网幕图像；3）使用Freeman编码算法和区域标记法进行残余噪声去除；4）使用改进的膨胀腐蚀法对目标区域进行图像补偿。所述步骤2）中，计算原始图像中网幕、叶子和枝条部位的（R-G）、（B-G）、（R-B）颜色分量差值，确定（R-B）色差模型。所述步骤3）中，对二值图像从上到下，从左到右进行扫描。如果遇到白色像素则按照Freeman编码方式反时针跟踪，如果能够连接在一起，则表明此区域为一个整体。给图像中每一个可以连接在一起的整体进行区域标记（贴标签）。所述步骤3）中，计算各个独立区域的面积，并求出各面积的平均值A和标准方差D，阈值1确定为A+D，阈值2确定为A－D，将面积介于阈值1和阈值2之间的区域去除。所述步骤4）中，面积大于阈值1的区域使用腐蚀处理，除去掉区域内部细小的黑色干扰。所述步骤4）中，面积小于阈值2的区域计算其较长对角线的斜率，将-90°～90°区域18等分，将所有斜率按其对应角度范围向18个区域投票，对所得的18个投票数量计算其标准方差。当标准差小于120时，所有细小白色区域都作为噪音去除；当标准差大于120时，选择数量最大的区域对应的角度范围作为网幕丝线部分的走向，斜率处于这一部分的区域保留，其余部分去除。所述步骤4）中，使用区域间膨胀法对保留的细小区域进行修补，从左到右，从上到下，逐行扫描图像，当遇到新的标记区域时，即按照其斜率方向膨胀图像，直到遇到另一个标记区域为止。第一个区域的标记值变为与第二个区域一致，如此反复。直到扫描完毕，某个区域膨胀到图像底部也没有遇到新区域的，该次膨胀取消。

本发明提出了一种基于(R-B)色彩通道的美国白蛾幼虫网幕识别方法，其技术要点是：1）比较RGB颜色空间、归一化rgb颜色空间、HIS颜色空间、YCrCb颜色空间、I1I2I3颜色空间和Lab颜色空间6种不同颜色空间，从实时性的角度选用RGB颜色空间。2）从网幕、叶子和枝条位置提取出的数据中随机选取多组数据，分别计算其(R-G)，(B-G)，(R-B)颜色分量差值，选择网幕的数据与叶片、树枝的差值差异较大的(R-B)差值进行网幕的识别。3）对步骤2）中得到的(R-B)差值图像，使用基于区域分割方法中的最大类间方差法结合阈值法对图像进行二值化处理。4）对步骤3）得到的二值图像从上到下，从左到右进行扫描，遇到白色象素则进行标记，并按照Freeman编码方式反时针跟踪，将能够连接在一起的整体进行区域标记（贴标签）。5)计算步骤4）得到的各标记区域面积，计算其平均值A和标准方差D，将面积介于A－D和A+D之间的区域作为噪声去除。6）步骤5）剩余的白色区域中，将面积大于A+D的区域进行腐蚀处理，去除掉区域内部细小的黑色干扰。7）步骤5）剩余的白色区域中，对面积小于A－D的区域使用改进的膨胀腐蚀法对二值图像进行修补，最终实现美国白蛾网幕识别。

本发明涉及一种美国白蛾幼虫网幕图像识别方法，使用了机器视觉系统和计算机图像处理技术。具体方法包括以下步骤：1）根据美国白蛾幼虫网幕图像色彩分布特征，选择RGB颜色空间：2）分析网幕、叶片和树枝的各通道数据的差值，采用（R-B）色差模型并结合最大类间方差法和阈值算法，分割网幕图像；3）使用Freeman编码算法和区域标记法进行残余噪声去除；4）使用改进的膨胀腐蚀法对目标区域进行图像补偿。本发明的算法简单实用，可以快速准确的实现美国白蛾幼虫网幕图像的识别，为自动喷药机器人标靶信息的提取奠定基础。

本发明的有效效果：算法使用简单的(R-B)通道，避免了颜色空间的转换，在对细小白色区域进行分析排除和修补时，尽管区域很多，但区域实际面积很小，且没有用到很复杂的函数计算，算法具有较高的实时性。实验表明，本发明使用的方法网幕图像识别精度在85%以上，单幅图片处理时间小于40ms。

附图说明

图1为本发明流程图；

图2为本发明实施例中案例图像；

图3为本发明实施例中案例图像二值化处理结果；

图4为本发明实施例中案例图像去噪处理结果；

图5为本发明实施例中案例图像进一步去噪处理结果；

图6为本发明实施例中案例图像最终处理结果。

具体实施方式

以下实施例用来说明本发明，但不用来限制本发明的范围。

实施例：本发明实施时，首先根据美国白蛾幼虫网幕图像色彩分布特征，选择RGB颜色空间，然后分析网幕、叶片和树枝的各通道数据的差值，采用(R-B)色差模型并结合最大类间方差法和阈值算法，分割网幕图像，使用Freeman编码算法和区域标记法对二值图像中的白色区域进行标记，使用白色区域的面积作为判断依据去除部分噪音，使用改进的膨胀腐蚀法对部分不连续白色区域进行图像补偿，最终得到美国白蛾幼虫网幕的具体轮廓。

本发明的实施步骤如下：

1）图像色彩空间和色彩通道确定

将图2中的物体分为三大类：美国白蛾幼虫网幕、绿色的叶子和褐色的枝条。其中，叶子、枝条等将作为背景在图像中剔除。采用图像分析处理软件Image-ProPlus6.0中的Measurement分别提取网幕、叶子和枝条的颜色数据5400、5400和2300个。将采集到的数据分别保存到三个独立的.xls文件中。利用Excel及统计分析软件SPSS18.0将以上三个.xls文件分别导入，根据不同颜色空间的基本转换公式进行转化，可以得出美国白蛾幼虫网幕区域不同颜色空间分布盒装图，从实时性的角度选用RGB颜色空间。

从5400、5400和2300个从网幕、叶子和枝条位置提取出的数据中随机选取多组数据，分别计算其(R-G)，(B-G)，(R-B)颜色分量差值，利用SPSS18.0对三者颜色差值均值进行分析，结果显示在(R-B)差值中，网幕的数据与叶片、树枝的差值差异要比其他两种差值的差异大，所以本发明选择了(R-B)差值进行网幕的识别。

2）图像二值化处理

本发明选择了基于区域的分割方法中的最大类间方差法，算法过程描述如下：

对图2(a)-(d)所示的案例图像进行逐行扫描，并记录(R-B)值。

求得每一点(R-B)差值，并将此差值按照升序的顺序排列，统计其中最大值(max)和中值(media)。

本发明采用下列公式计算最佳阈值：

其中，（M ₁—差值小于中值的个数）;

对原始图像按照下列公式进行二值化处理。

使用本算法对图2(a)-(d)所示的案例图像进行分割，结果如图3(a)-(d)。1-2龄幼虫附于叶面只取食叶肉，所以图3(a)、图3(b)网幕大部分被识别出来，图3(b)中由于目标较远，图像中出现了天空这一明亮度较高的区域被同时识别出，但纵横的枝叶将其分割为若干小的区域。3龄幼虫将叶子咬成缺壳，部分区域仅留有较细的丝线，失去叶片依托的网幕受到背景颜色干扰，所以图3(c)和图3(d)网幕没有连成片，部分区域只识别出细线般的网幕边缘，尚需进一步识别。

3）噪音区域去除处理

本发明使用的案例图像经分割后，网幕区域绝大多数表现为两种情况：大片白色区域和呈现线状的间断区域。而噪音一般介于两者之间，表现为面积不大的块状区域。依据这一特征，本发明使用了双阈值处理方法：

①对图3图像从上到下，从左到右进行扫描。如果遇到白色象素则进行标记，并按照Freeman编码方式反时针跟踪，如果能够连接在一起，则表明此区域为一个整体。给图像中每一个可以连接在一起的整体进行区域标记（贴标签），命名为区域1,2,3,……,N。

②贴标签的同时，在内存中开设一个动态数组p()记录每一区域所含像素的个数，各个数组成员的大小即为相对应区域的面积，分别记为p(1),p(2),…,p(i),…,p(n)(i=1,2,3,……,N)，N为图像中所有区域的个数。

③确定面积双阈值。将各个面积按照降幂排列重新生成数组，并按照下列公式求出面积的平均值A和标准方差D。

经实验，最佳阈值确定为threshold1=A－D，threshold2=A+D。

④噪声点的剔除。依据计算的面积阈值对所有整体区域部分的像素点的像素值，按照下列公式进行阈值化处理。

其中，f(x,y)为像素点(x,y)处的灰度值。

图4为经本发明算法处理后的结果。图4(a)中大片白色区域被保留，图4(b)中被枝叶分割的天空噪音区域被去除，图4(c)、图4(d)中大片白色区域和间断的丝线被保留，面积较集中的小块状区域被去除。

4）噪音的进一步去除和图像的修补处理

本发明使用了改进的膨胀腐蚀法对图像做最终的去噪和修补处理，步骤如下：

将干扰区域去除处理后贴有标签的区域分为两类，面积大于threshold1的称为第一类，表现为大片白色区域；面积小于threshold2的称为第二类，表现为细小白色区域，大部分为网幕丝线，另有个别噪音点存在。丝线表现出一致的走向性，且大都朝向大片白色区域，噪音则杂乱的分布。

对第一类区域进行腐蚀处理，去除掉区域内部细小的黑色干扰。

③对第二类区域的每一个标记区域记录其左上、右上、左下、右下四个极值点的坐标，命名为X _LH、X _RH、X _LL和X _RL，连接点X _LH与点X _RL、点X _RH与点X _LL，求得两直线的长度，计算其中较长直线的斜率作为该区域的走向，记为k _i（两直线同样长度的认为走向是垂直方向）。案例图像中若存在小于四个像素的区域，当像素处于对角线位置时计算对角线斜率，当像素水平时记斜率为0，只有一个像素的区域不计。所有直线中出现垂直情况的不计算斜率但统计其出现频率。

④将-90°～90°区域18等分，对所有斜率按其对应角度范围向18个区域投票，对所得的18个投票数量计算其标准方差。经试验确定，当标准差小于120时，认为图像中没有丝线，所有细小白色区域都作为噪音去除；当标准差大于120时，选择数量最大的区域对应的角度范围作为网幕丝线部分的走向，斜率处于这一部分的区域保留，其余部分去除。

图5为经上述方法处理后的结果。大片白色区域连接成片，图5(a)、图5(b)中的细小噪音点被去除，图5(c)、图5(d)保留的细小白色部分走向基本一致。

对于被保留的第二类区域，本发明使用了区域间膨胀法对其进行修补。从左到右从上到下逐行扫描图像，当遇到新的标记区域时，即按照其斜率方向膨胀图像，直到遇到另一个标记区域为止，第一个区域的标记值变为与第二个区域一致，如此反复，直到扫描完毕，某个区域膨胀到图像底部也没有遇到新区域的，该次膨胀取消。

图6为经修补处理后的最终结果。图6(a)、图6(b)中细小白点已被去除，图像中没有第二类区域，没有进行修补；图6(c)、图6(d)大部分丝线修补成功。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims

1.一种美国白蛾幼虫网幕图像识别方法，包括步骤1）图像色彩空间和色彩通道确定、2）图像二值化处理、3）噪音区域去除处理和4）噪音的进一步去除和图像的修补处理，其特征是，所述步骤3）噪音区域去除处理使用双阈值处理方法，步骤是：①对图像从上到下，从左到右进行扫描，如果遇到白色象素则进行标记，并按照Freeman编码方式反时针跟踪，如果能够连接在一起，则表明此区域为一个整体，给图像中每一个可以连接在一起的整体进行区域标记，即贴标签，命名为区域1，2，3，……，N；②贴标签的同时，在内存中开设一个动态数组p()记录每一区域所含像素的个数，各个数组成员的大小即为相对应区域的面积，分别记为p(1)，p(2)，…，p(i)，…，p(n)；i=1，2，3，……，N，N为图像中所有区域的个数；③求出面积的平均值A和标准方差D，计算A－D和A+D的值确定为面积双阈值；④使用阈值计算法将面积介于双阈值之间的白色噪声区域剔除；所述步骤4）噪音的进一步去除和图像的修补处理，步骤如下：将干扰区域去除处理后贴有标签的区域分为两类，面积大于threshold1的称为第一类，表现为大片白色区域；面积小于threshold2的称为第二类，表现为细小白色区域，大部分为网幕丝线，另有个别噪音点存在，丝线表现出一致的走向性，且大都朝向大片白色区域，噪音则杂乱的分布；对第一类区域进行腐蚀处理，去除掉区域内部细小的黑色干扰；③对第二类区域的每一个标记区域记录其左上、右上、左下、右下四个极值点的坐标，命名为X _LH、X _RH、X _LL和X _RL，连接点X _LH与点X _RL、点X _RH与点X _LL，求得两直线的长度，计算其中较长直线的斜率作为该区域的走向，记为k _i，图像中若存在小于四个像素的区域，当像素处于对角线位置时计算对角线斜率，当像素水平时记斜率为0，只有一个像素的区域不计，所有直线中出现垂直情况的不计算斜率但统计其出现频率；④将-90°～90°区域18等分，对所有斜率按其对应角度范围向18个区域投票，对所得的18个投票数量计算其标准方差，当标准差小于120时，认为图像中没有丝线，所有细小白色区域都作为噪音去除；当标准差大于120时，选择数量最大的区域对应的角度范围作为网幕丝线部分的走向，斜率处于这一部分的区域保留，其余部分去除；对于被保留的第二类区域，使用区域间膨胀法对其进行修补。

2.根据权利要求1所述的美国白蛾幼虫网幕图像识别方法，其特征是，步骤1）图像色彩空间和色彩通道确定，包括：根据美国白蛾幼虫网幕图像色彩分布特征，选择RGB颜色空间；计算原始图像中网幕、叶子和枝条部位的（R-G）、（B-G）、（R-B）颜色分量差值，确定（R-B）色差模型。

3.根据权利要求1所述的美国白蛾幼虫网幕图像识别方法，其特征是，步骤2）图像二值化处理，过程如下：对网幕图像进行逐行扫描，并记录(R-B)值；求得每一点(R-B)差值，并将此差值按照升序的顺序排列，统计其中最大值和中值；使用最大类间方差法计算最佳阈值；进行二值化处理。

4.根据权利要求1所述的美国白蛾幼虫网幕图像识别方法，其特征是，所述区域间膨胀法具体是，从左到右从上到下逐行扫描图像，当遇到新的标记区域时，即按照其斜率方向膨胀图像，直到遇到另一个标记区域为止，第一个区域的标记值变为与第二个区域一致，如此反复，直到扫描完毕，某个区域膨胀到图像底部也没有遇到新区域的，该次膨胀取消。