CN103914848B - 一种基于小波变换及最大类间方差的农田图像分割方法 - Google Patents

Abstract

本发明公开了一种基于小波变换及最大类间方差的农田图像分割方法，首先将采集的RGB空间的农田图像转换到HIS空间，然后进行作物所在小波分解层的判定；再是判定主要作物信息所在的小波分解层；最后是进一步在分割图像上进行导航线提取或障碍物检测。本发明充分利用作物和干扰在频率、颜色等方面的差异，实现作物信息提取，实现过程抗密集杂草干扰能力良好，为农田导航后续导航线提取、障碍物检测打下良好基础。

Description

一种基于小波变换及最大类间方差的农田图像分割方法

技术领域

本发明属于机器视觉导航领域，尤其涉及一种基于小波变换及最大类间方差的农田图像分割方法。

背景技术

田间车辆导航研究中，机器视觉方法因信息量丰富、使用灵活、体积小、能耗低等优点得到广泛应用，农田图像分割是其中重要一环。

农田图像分割是田间作业车辆实现自主导航线提取、障碍物检测的关键技术，好的分割能大大提高导航过程的鲁棒性。分割的目的是将作物及农田中可能存在的杂草、其它作业车辆、石头、土堆等分离开，以实现如下的应用：使得管理期作物行或收获期作物已割未割边缘更加明显，使提取管理期作物行中心或边缘、收获期已割未割边缘对应的近似直线作为导航线变得更加容易；使因障碍物遮挡作物引起的作物信息缺失体现的更加明显，从而据此检测障碍物的存在。

目前作物分割过程及算法抗干扰能力虽不相同，但其本质都是基于颜色信息进行处理的，如S.Han和Q.Zhang等人采用的K-均值聚类分割；R.Gottschalk等人提出的基于参考直方图的分割方法；M.Montalvo等人提出的基于两次最大类间方差（简称OTSU）的分割方法等。这些分割算法去除和作物颜色相似干扰如杂草的能力有限，而杂草在农田中有很大的出现概率，分割阶段不能有效去除的话，则处于行间或已割未割边缘处的杂草会影响导航线提取的准确性，甚至导致提取到错误的导航线；如果杂草生长在土堆上形成障碍物，则有可能引起障碍物漏检。

需指出M.Montalvo等人提出的基于OTSU的两次分割方法抗杂草能力明显优于其它算法，其基本思想是：先采用OTSU方法将包含作物在内的颜色相近的植物与颜色差异明显的包含背景在内的其它物体分开，然后在植物之间再次应用OTSU，将作物和杂草分开。这种方法认为作物和杂草虽然都是绿色，但仍存在差异，当农田中仅生长单一种类杂草时能获得好的分割效果。但杂草的生长具有很大随机性，同一农田生长不同杂草具有很大可能性，不同杂草的种类数很难确定，这样不同类杂草间，杂草与作物间都是颜色相近但存在差异的情况，此时就很难保证在第二次OTSU分割操作中有效实现杂草与作物的分离。因此需寻求一种更有效的农田图像分割方法，来更好的实现田间车辆视觉导航。

发明内容

本发明是针对现有技术的不足，提供一种基于小波变换及最大类间方差的农田图像分割方法。

本发明的目的是通过以下技术方案实现的：一种基于小波变换及最大类间方差的农田图像分割方法，包括如下步骤：

（1）摄像机采集RGB空间的农田图像：摄像机等图像采集设备采集的彩色图像由RGB颜色模型描述，其中R指红色分量灰度值，G指绿色分量灰度值，而B指蓝色分量灰度值，理论上这三种颜色按不同比例混合能构成自然界中存在的任一种颜色，因此被称为光学三基色。

（2）将采集的RGB空间的农田图像转换到HIS空间：HIS空间的H指色调对应的灰度值，I代表亮度对应灰度值，S表达饱和度对应灰度值。这种方式能实现增强的原因为：HIS模型将受光照变化影响的非颜色值亮度对应灰度值I和颜色信息，即色调对应的灰度值H及饱和度对应灰度值S有效分离，当选择H、S表达农田图像时能很好的克服阴天、晴天、清晨、傍晚或者阴影等光照变化对进一步分割带来的影响。RGB到HIS的变换过程如公式（1）到（4）所示。

δ由式（2）得到：

S的计算可由式（3）给出：

I与R、G、B之间的转换关系如式（4）所示：

（3）将H分量图像和S分量图像融合后进行小波多分辨率分解，初步进行作物所在小波分解层的判定。

对H分量图像和S分量采用公式（5）融合成一幅图像HS。

HS=0.5×H+0.5×S(5)

对融合后的图像HS进行小波多分辨率分解，并依据公式（6）、（7）计算小波分解各层的频率总量。

C_l=C_lh+C_ld+C_lv(6)

式中l为小波多分辨率分解的第l层，h为l层水平分解系数图像，d为l层对角分解系数图像，v为l层垂直分解系数图像，C_lh为l层水平分解分解系数图像的总频率，C_ld为l层对角分解系数图像的总频率，C_lv为l层垂直分解系数图像的总频率。

式（6）中的C_lx(x=h,d,v)，由式（7）获得。

式中M×N为小波多分辨率分解第l层各方向子图像的大小，f_lx(i,_j)为坐标点(i,j)处的小波多分辨率分解系数。

收获期田间收割作业车辆采集的图像大部分都是作物，其数量优势明显，在相应小波分解层上产生的频率总量优势也就明显；当农田中存在长满草的大土堆时，会导致某帧或某几帧图像中土堆上杂草产生的频率总量超过作物，但考虑到静止障碍物是渐入图像的，在土堆未全部进入图像之前已经被检测并定位，土堆频率特征也就已知，因此不会对作物层选择产生影响。对于管理期作物常常存在杂草干扰，杂草数量是随机的，有可能产生主频总量超过作物，此时就需要对总量多的小波层验证作物是否按行排列。

综上所述作物所在小波分解层的初步判定是指：依据公式（6）、（7）计算农田图像小波分解后除最高频率层外（因这一层主要包括作物等各种农田能出现的物体的边缘信息，不能有效区分作物）各细节层的频率总量；按计算的频率总量由高到低对小波分解层排序；考虑到作物和杂草等非作物产生的频率信息可能会在某一层融合、同时考虑到管理期农田杂草密集时产生的主要频率信息可能超过作物，选择排序后频率最多的前3层作物所在小波分解层作为作物初步定位层。

（4）依据管理期作物按作物行排列的规律性进一步判定主要作物信息所在的小波分解层：

对步骤3选定的频率总量最多的3层小波分解层沿着图像行方向依次验证有无作物行的交替，验证过程为：对图像行上的小波分解系数依次用后面的系数减前面的系数，为正表示递增用1表示，为负表示递减用2表示，0表示平坦区域，然后将这些数据按出现的先后顺序排列，统计这组数据各部分连续出现的1及连续出现的2的长度，然后求长度的平均值，对小于平均值的长度进行如下操作：只要这部分1或2的一侧和0相邻就变为0；如果两侧都不是0，则将1、2互变；然后对0操作，如果0序列的两侧数字相同，则将0变为这个数字，如果两侧数字不同，则将0尽量等分两份，距离1近的那份全变1，距离2近的那份全变2。统计处理后的数据中连续出现的各部分1和2的长度，找出长度最大值，所有长度除以最大值进行归一化，然后计算这一组数据的方差δ。对相应层的垂直小波分解系数的所有行进行上述计算，如果δ小于0.2的行数达到1/3以上，则确定为有作物行交替的候选作物层。如果有作物行交替的候选作物层不仅一个，则选择作物行交替最明显的作为作物层，如果没有找到存在作物行交替的小波分解层，则直接选择频率总量最多的小波层作为作物层。

（5）针对作物层进行两次OTSU分割，获取最终的分割图像

选定作物所在小波分解层后，就需进一步通过OTSU分割算法将和作物不能实现频率分层的干扰，依据颜色差异去除。此处的难点是去除那些和作物颜色相近的杂草的干扰。采用OTSU进行的第一次两分类分割是将颜色和作物有明显差异的干扰去除；第二次则把和作物颜色相近但不同的杂草干扰去除。在作物所在小波分解层上进行的两次OTSU分割操作的去噪能力优于针对原始图像进行的两次OTSU分割操作，因为经过小波多分辨率分解后那些和作物主频不同的杂草干扰已经有效去除，在作物所在小波分解层上遗留下来的大面积出现的杂草（杂草出现面积小时可用形态学腐蚀、膨胀等操作直接去除其影响）种类仅有一种的机会大大增加，因此分割的有效性得到提高。

本发明的有益效果是：本发明一种基于小波变换及最大类间方差的农田图像分割方法，提高了分割过程的抗干扰尤其和作物颜色相同的杂草干扰的能力，进而提高了后续农田导航线提取、障碍物检测过程的鲁棒性。

附图说明

图1发明方法流程图；

图2采集的农田图像的灰度图；

图3HIS颜色域中的H和S分量的融合图像；

图4对图3进行的小波多分辨率分解图；

图5作物所在小波分解层的重构图。

图6对图5进行两次OTSU分割后并应用Hough变换提取导航线的结果图。

具体实施方式

下面结合实例，对本发明作进一步说明。

实施例选择的主要依据是体现本发明去除农田导航干扰，尤其杂草干扰的能力。在研究者没有自主实验田的前提下，选择了有大量杂草的人工种植的青菜地作为实施例，和机械化种植（机械化种植的农田是农田车辆导航的主要作业农田）农田相比，其作物行排列的规律性要差一些，且作物行数量少，但这些不影响本发明优越性能的体现。

1.采集的含大量杂草的农田原始RGB图像。

2.将采集的含大量杂草的农田原始RGB图像（对应的灰度图如图2所示），转换到HIS空间获得H、S分量，作为后续操作对象，转换方法如下所示：

，其中

式中，R指红色分量灰度值，G指绿色分量灰度值，B指蓝色分量灰度值，H指色调对应的灰度值，I代表亮度对应灰度值，S表达饱和度对应灰度值。δ由以下公式得到：

3.对图3所示的合成图像HS=0.5×H+0.5×S进行小波多分辨率分解，如图4所示，并计算分解后除最高频率层外的各小波分解细节层的频率总量，按从大到小选择频率总量最多的3层作为后续处理对象。频率总量c_l的计算如下所示：

C_l=C_lh+C_ld+C_lv，其中C_lx(x=h,d,v)为

式中l为小波多分辨率分解的第l层，h为l层水平分解系数图像，d为l层对角分解系数图像，v为l层垂直分解系数图像，C_lh为l层水平分解系数图像的总频率，C_ld为l层对角分解系数图像的总频率，C_lv为l层垂直分解系数图像的总频率，M×N为小波多分辨率分解第l层各方向子图像的大小，f_lx(i,_j)为对应坐标点(i,_j)处的小波多分辨率分解系数。

4.依次检测频率总量最多的层是否满足作物行交替规律，验证方法为：

对图像行上的小波分解系数依次用后面的系数减前面的系数，为正表示递增用1表示，为负表示递减用2表示，0表示平坦区域，然后将这些数据按出现的先后顺序排列，统计这组数据各部分连续出现的1及连续出现的2的长度，然后求长度的平均值，对小于平均值的长度进行如下操作：只要这部分1或2的一侧和0相邻就变为0；如果两侧都不是0，则将1、2互变；然后对0操作，如果0序列的两侧数字相同，则将0变为这个数字，如果两侧数字不同，则将0尽量等分两份，距离1近的那份全变1，距离2近的那份全变2。统计处理后的数据中连续出现的各部分1和2的长度，找出长度最大值，所有长度除以最大值进行归一化，然后计算这一组数据的方差δ。对相应层的垂直小波分解系数的所有行进行上述计算，如果δ小于0.2的行数达到1/3以上，则确定为有作物行交替的候选作物层。如果有作物行交替的候选作物层不仅一个，则选择作物行交替最明显的作为作物层，如果没有找到存在作物行交替的小波分解层，则直接选择频率总量最多的小波层作为作物层。

对选定的作物层进行重构，重构过程中非作物层小波分解系数置0，作物层小波分解系数保留，重构图像如图5所示。

5.对选定的作物层依次进行两次OTSU分割操作，进一步去除农田中的杂草等对作物的干扰。对分割后的图像采用21×21的结构元进行形态学的闭操作来闭合作物行上小的孔洞，然后再进行操作去除作物行之间的桥接及作物行间遗留的和作物颜色相同、频率相同的孤立信息。然后采用Hough拟合直线，结果如图6所示。

本实施例中人工种植的青菜地图像，其行间距不均匀，尤其图像上半部行间距尤其窄（在本实施例中图像远端作物行间距变窄是实际存在的情况，不是由于两平行直线在成像的远端会相交于一点造成的），而作物行本身又宽，因此直接采用Hough变换算法拟合直线时会在远端将不同作物行的数据拟合在一起，从而获得错误的导航线。为了解决这个问题在本实施例直线拟合过程中限定了拟合直线和图像垂直方向夹角为偏左或偏右40°以内。

Claims (3)

1.一种基于小波变换及最大类间方差的农田图像分割方法，其特征在于，包括以下步骤：

(1)摄像机采集RGB空间的农田图像；

(2)将采集的RGB空间的农田图像转换到HIS空间；

(3)将步骤(2)得到的HIS空间的H分量图像和S分量图像融合成图像HS，进行小波多分辨率分解，初步进行作物所在小波分解层的判定；

(4)依据管理期作物按作物行排列的规律性进一步判定主要作物信息所在的小波分解层；

(5)针对作物层进行两次OTSU分割，获取最终的分割图像；

所述步骤(5)中对作物层进行两次OTSU分割的步骤为：

(5.1)对选择的作物层进行第一次OTSU分割，分割过程中将小于选定阈值的像素值直接置0，大于等于选定阈值的像素值保留；

(5.2)对第一次OTSU分割后的作物层图像进行第二次分割，小于选定阈值的像素值置0；大于等于选定阈值的像素值置为255；

(5.3)对进行了两次OTSU分割的图像采用21×21大小的正方形结构元依次进行形态学的闭、开运算。

2.根据权利要求1所述的一种基于小波变换及最大类间方差的农田图像分割方法，其特征在于，所述步骤(3)中将H分量和S分量融合成图像HS的方式为：HS＝0.5×H+0.5×S；对融合后的图像进行作物所在小波分解层的判定步骤及方式为：

(3.1)对融合后的图像HS进行小波多分辨率分解；

(3.2)依据如下所示公式(1)、(2)计算小波分解后，除最高频细节信息所在的层外的各细节层频率总量；

C_l＝C_lh+C_ld+C_lv (1)

式中l为小波多分辨率分解的第l层，h为l层水平分解系数图像，d为l层对角分解系数图像，v为l层垂直分解系数图像，C_lh为l层水平分解系数图像的频率，C_ld为l层对角分解系数图像的频率，C_lv为l层垂直分解系数图像的频率，式(1)中的C_lx(x＝h,d,v)，由式(2)获得：

$C_{lx}=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{f}_{lx}{(i,j)}^2---\left(2\right)$

式(2)中M×N为小波多分辨率分解第l层各方向子图像的大小，f_lx(i,j)为坐标点(i,j)处的小波多分辨率分解系数；

(3.3)按计算的频率总量由高到低排序，选择频率总量最高的3层作为待定作物层。

3.根据权利要求1所述的一种基于小波变换及最大类间方差的农田图像分割方法，其特征在于，所述步骤(4)具体为：依次验证频率总量最高的3层是否存在作物行交替，如果有则选择作物行交替最明显的作为作物所在小波分解层，如果没有则选择频率总量最多的作为作物所在小波分解层，具体验证方法为：对图像行上的小波分解系数依次用后面的系数减前面的系数，为正表示递增用1表示，为负表示递减用2表示，0表示平坦区域，然后将这些数据按出现的先后顺序排列，统计这组数据各部分连续出现的1及连续出现的2的长度，然后求长度的平均值，对小于平均值的长度进行如下操作：只要这部分1或2的一侧和0相邻就变为0；如果两侧都不是0，则将1、2互变；然后对0操作，如果0序列的两侧数字相同，则将0变为这个数字，如果两侧数字不同，则将0尽量等分两份，距离1近的那份全变1，距离2近的那份全变2；统计处理后的数据中连续出现的各部分1和2的长度，找出长度最大值，所有长度除以最大值进行归一化，然后计算这一组数据的方差δ；对相应层的垂直小波分解系数的所有行进行上述计算，如果δ小于0.2的行数达到1/3以上，则确定为候选作物层；否则直接选择频率总量最多的小波层作为作物层。