CN103839069A

CN103839069A - 基于图像分析的漏割草坪识别方法

Info

Publication number: CN103839069A
Application number: CN201410087463.6A
Authority: CN
Inventors: 陆溪; 杜慧江; 刘瑜; 肖雄; 童逸舟; 邢明
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2014-03-11
Filing date: 2014-03-11
Publication date: 2014-06-04
Anticipated expiration: 2034-03-11
Also published as: CN103839069B

Abstract

本发明公开了一种基于图像分析的漏割草坪识别方法：通过单片机对摄像头捕获的图像进行如下处理；确定草的HSI值的阈值范围，将颜色与草明显有差异的背景去除；利用边缘检测算子将检测图像中目标的边缘提取出，形成灰度图；利用Otsu算法选择最佳阈值，将灰度图变成二值图；对二值图进行腐蚀运算，消除噪声及背景；选用Freeman码对二值图中较大的目标进行轮廓提取；再次利用Freeman码对提取出来的轮廓用填充色进行填充；对填充后的目标进行骨架提取，再对骨架剪枝，去除多余的毛刺；对目标骨架进行长度计算，若长度在草的阈值范围之内，就暂定为草；对暂定为草的目标进行长宽比的计算，若长宽比在草的阈值范围内，就认定目标是草，图像中存在漏割草坪。

Description

基于图像分析的漏割草坪识别方法

技术领域

本发明涉及图像处理与模式识别领域，尤其是一种基于图像分析的漏割草坪识别方法。

背景技术

现今的智能割草机器人在进行草坪修剪时只能根据颜色特征，纹理特征模糊的判断该区域是否是草坪，而无法真正的根据草的特征识别出草坪。所以有些颜色与草坪的相近的地衣，苔藓等也会误认为是草坪。而后当割草机器人根据预定路径规划进行草坪修剪时，由于草坪环境的复杂性，割草机器人会因为障碍物等因素出现对草坪漏割的现象。为了消除或者减少漏割草坪，割草机器人在没有草坪状态反馈的条件下，只能采取随机路径的规划方式，再以长时间甚至持续不断的工作方式来配合，保证对整片草坪的完全覆盖。于是会对同一块草地进行多次不同方向的往复前进，降低了割草效率。如果能够准确识别出漏割草坪，完全可以指导割草机器人的路径规划偏重于漏割区域，这样可以大大提高割草机器人的效率。因此，对于漏割草坪的识别，具有显著的实际应用意义。

发明内容

本发明要解决的技术问题是提供一种简单的基于图像分析的漏割草坪识别方法。

为了解决上述技术问题，本发明提供一种基于图像分析的漏割草坪识别方法，包括智能割草机器人，所述的智能割草机器人内部设置进行集中控制的微处理器，所述的智能割草机器人前端设置进行图像采集的摄像头；所述的微处理器分别与摄像头和智能割草机器人的运动控制系统信号连接；其特征是：所述摄像头将实时采集的图像信息I(x,y)传输到微处理器，所述微处理器通过内置的漏割草坪识别算法对图像信息I(x,y)进行识别处理；

所述的漏割草坪识别算包括以下步骤：

①对图像信息I(x,y)采用颜色识别算法，去除与草的颜色有差异的背景，获得图像信息I₁(x,y)；

②通过边缘检测算子检测图像信息I₁(x,y)的边缘，并提取出来形成一幅灰度图I₂(x,y)；

③利用Otsu算法选择最佳阈值t，将灰度图I₂(x,y)处理成二值图I₃(x,y)；

④对二值图I₃(x,y)进行腐蚀运算，消除噪声及背景后得到腐蚀图I₄(x,y)；

⑤选用Freeman码对腐蚀图I₄(x,y)中的目标进行轮廓提取，得到轮廓图I₅(x,y)；

⑥再次利用Freeman码对提取出来的轮廓用填充色进行填充，得到填充图I₅(x,y)；

⑦对填充后的目标进行骨架提取，得到骨架图I₆(x,y)；

⑧对目标的骨架进行长度计算，若长度在草的阈值范围之内，就将目标暂定为草；

⑨对暂定为草的目标骨架进行宽度计算，根据计算的结果再进行长宽比的计算；若长宽比在草的阈值范围内，就认定目标是漏割的草。

作为对本发明所述的基于图像分析的漏割草坪识别方法的改进：在步骤①中，所述的颜色识别算法通过如下步骤实现：构建草的HSI彩色模型，确定色调和饱和度值的取值范围分别为β<H(x,y)<α和S(x,y)>γ；对于像素点(x,y)的H(x,y)和S(x,y)，如果β<H(x,y)<α并且S(x,y)>γ，则判断像素点(x,y)为草，否则非草；所述色调和饱和度值的取值范围通过草的颜色进行确定。

作为对本发明所述的基于图像分析的漏割草坪识别方法的进一步改进：在步骤②中，所述的边缘检测算子采用Sobel边缘检测算子。

作为对本发明所述的基于图像分析的漏割草坪识别方法的进一步改进：在步骤③中，Otsu算法获得最佳阈值t的步骤如下：通过灰度图I₂(x,y)的R分量图提取背景比例w0、背景均值u0、前景比例w1、前景均值u1以及灰度图I₃(x,y)的均值u；再通过t=Max[w0(t)*(u0(t)-u)²+w1(t)*(u1(t)-u)²]计算后获得最佳阈值t。

作为对本发明所述的基于图像分析的漏割草坪识别方法的进一步改进：在步骤④中，所述的腐蚀运算选用一个3*3的方形结构元素S对二值图I₃(x,y)进行腐蚀。

作为对本发明所述的基于图像分析的漏割草坪识别方法的进一步改进：在步骤⑤中，首先提取轮廓的顶点链码，再由轮廓的顶点链码转换成轮廓的Freeman码。

作为对本发明所述的基于图像分析的漏割草坪识别方法的进一步改进：在步骤⑥中，将轮廓的Freeman码标记为左右端点，将每行的左端点作为种子点逐行填充，直到遇到右端点，则该行填充完毕，继续下一行填充。

作为对本发明所述的基于图像分析的漏割草坪识别方法的进一步改进：在步骤⑦中，填充图I₅(x,y)通过细化算法进行细化，并提取出目标的骨架；所述骨架再用毛刺去除算法去除毛刺。

作为对本发明所述的基于图像分析的漏割草坪识别方法的进一步改进：在步骤⑧中，骨架长度通过骨架的像素值获取；在步骤⑨中，骨架宽度通过骨架的像素值获取。

本发明的基于图像分析的漏割草坪识别方法中，在颜色特征的基础上直接采用草的形状特征对漏割草坪进行识别。在进行漏割草坪识别的过程中，只需要识别出漏割草坪上的其中几根草，不需要进行全部识别，就可以判断该区域是否是漏割草坪。

再一个，由于本发明中的基于图像分析的漏割草坪识别方法对于漏割草坪有较好的识别效果，可以将该算法用于实际智能割草机上，用来对于漏割草坪的识别，割草机直接根据草坪的方位进行漏割区域的修剪，直接提高了割草机的割草效率。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1是智能割草机器人的结构示意图；

图2是漏割草坪识别算法的流程图。

图3是腐蚀运算的结构元素图。

具体实施方式

实施例1、图1～图3给出了一种基于图像分析的漏割草坪识别方法，包括智能割草机器人1、单片机2以及摄像头3；智能割草机器人1的内部设置单片机2，智能割草机器人1的前端设置摄像头3；单片机2分别与摄像头3和智能割草机器人1的运动控制系统信号连接；在使用的过程中，通过摄像头3实时采集智能割草机器人1周围环境的图像信息，并将采集到的图像信息传输给割草机内部的单片机2；每隔固定周期△t，单片机2通过内置的基于图像分析的漏割草坪识别方法对最新获取的图像信息进行分析，并确认出未被智能割草机器人1切割过的草，再通过单片机2经运动控制系统进行智能割草机器人1的行动轨迹控制。

本发明的基于图像分析的漏割草坪识别方法的主要实现步骤主要包括为图像的采集、图像数据的计算以及草的识别（分为初步识别和精确识别）三方面，具体如下：

一、图像的采集：

1、摄像头3实时采集智能割草机器人1周围环境的图像信息I(x,y)，并将图像信息I(x,y)实时的传输到单片机2；单片机2每隔固定周期△t读取摄像头3采集的最新图像信息I(x,y)；

固定周期△t通过该智能割草机器人1的使用环境进行设置；

二、对草的识别一（初步识别）：

2、单片机2根据固定周期△t读取最新的图像信息I(x,y)后，根据HSI（色调，饱和度，强度）彩色模型对该图像信息I(x,y)进行颜色特征的识别；确定色调和饱和度值的取值范围分别为β<H(x,y)<α和S(x,y)>γ；对于像素点(x,y)的H(x,y)和S(x,y)，如果β<H(x,y)<α并且S(x,y)>γ，则判断像素点(x,y)为草，否则非草，β和α的取值需要根据草的颜色和使用情景进行相应的制定；本实施例中，根据草的常规情形，将色调和饱和度值的取值范围分别设定为80≤H≤180并且S≥10；即，在图像信息I(x,y)的HSI彩色模型中，80≤H≤180并且S≥10时的图像暂定为草，将不是草的背景（H值跟S值的取值区间并不能满足以上所述的图像）滤除，获得图像信息I₁(x,y)；

三、图像数据的计算：

3、灰度图的提取：

根据Sobel边缘检测算子对步骤2所述的图像信息I₁(x,y)进行边缘检测：彩色图像由R、G以及B三个分量图组成，用Sobel边缘检测算子分别检测R、G以及B三个分量图的梯度值，提取出分别为R、G以及B三个分量图在(x,y)位置上的x轴方向与y轴方向上梯度值较大的MaxR(x,y)、MaxG(x,y)以及MaxB(x,y)，然后根据公式grads=(MaxR(x,y)+MaxG(x,y)+MaxB(x,y))/3进行计算后得出R、G以及B三幅分量图上坐标为(x,y)的灰度值；

通过上述的公式grads=(MaxR(x,y)+MaxG(x,y)+MaxB(x,y))/3进行计算后，由于每个像素点的R、G以及B值都相等，所以可以得到一幅灰度图I₂(x,y)；

4、二值图的提取：

根据Otsu算法对步骤3所获得的灰度图I₂(x,y)进行二值化，即得出得出二值图I₃(x,y)；其中最佳阈值t的计算方法如下：

通过灰度图I₂(x,y)的R分量图提取灰度图I₂(x,y)的背景比例w0、背景均值u0、前景比例w1、前景均值u1以及整幅图像的均值u，再通过公式t=Max[w0(t)*(u0(t)-u)²+w1(t)*(u1(t)-u)²]计算出最佳阈值t；

5、腐蚀图的提取：

根据图像的腐蚀运算对二值图I₃(x,y)进行腐蚀，腐蚀运算中，选用一个3*3的方形结构元素S，S如图3所示，经腐蚀运算后，可以消除一些图像中不相关的小的细节，并得到腐蚀图I₄(x,y)；

6、目标轮廓的提取：

根据轮廓的提取算法对腐蚀图I₄(x,y)中较大的目标进行轮廓提取；

进行轮廓提取时，先提取轮廓的顶点链码，再将顶点链码转换为Freeman码来提取目标轮廓，得到轮廓图I₅(x,y)；

7、对目标轮廓的填充；

将轮廓的Freeman码标记为左右端点，将每行的左端点作为种子点逐行填充，直到遇到右端点，则该行填充完毕，继续下一行填充，最终获得填充图I₅(x,y)；

8、目标骨架的提取：

根据细化算法将步骤7填充的目标填充图I₅(x,y)进行细化，即将目标的骨架提取出来，由于骨架对于目标轮廓形变的敏感性，在骨架提取中会出现一些毛刺，再用毛刺去除算法将骨架上的毛刺去除，最终获得骨架图I₆(x,y)；

四、对草的识别二（精确识别）：

9、根据草的长度对目标进行识别，长度的计算根据骨架的像素值来近似的作为目标的长度，再根据草的长度阈值将不符合长度阈值的骨架消除，保留符合阈值要求的骨架；

上述骨架即是指骨架图I₆(x,y)中的骨架；

10、根据长度判断后，对骨架图I₆(x,y)中有骨架保留的目标进行宽度计算，宽度的计算是根据骨架的像素值来近似的作为目标的宽度；再通过长度和宽度计算长宽比，根据草的长宽比的阈值，将符合阈值条件的骨架进行保留，其余的去除；最终保留的骨架同时符合长度和长宽比，就可以最终判定为草（漏割的草或者没有切割的草）。

以上所述的草的长度阈值和长宽比的阈值均根据对即将收割的草进行实际检测后获得。

以上所述中，根据漏割草坪识别算法可以直接判断出摄像头3捕获的图像中是否存在漏割草坪，根据判断的结果，单片机2通过运动控制系统直接控制智能割草机器人1的移动方向。

最后，还需要注意的是，以上列举的仅是本发明的一个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims

1.一种基于图像分析的漏割草坪识别方法，包括微处理器（2），所述微处理器（2）上连接有摄像头(3)；其特征是：所述摄像头（3）将实时采集的图像信息I(x,y)传输到微处理器（2），所述微处理器（2）对图像信息I(x,y)进行如下的识别步骤：

⑦对填充后的目标进行骨架提取，得到骨架图I₆(x,y)；

2.根据权利要求1所述的基于图像分析的漏割草坪识别方法，其特征是：在步骤①中，所述的颜色识别算法通过如下步骤实现：

构建草的HSI彩色模型，确定色调和饱和度值的取值范围分别为β<H(x,y)<α和S(x,y)>γ；

对于像素点(x,y)的H(x,y)和S(x,y)，如果β<H(x,y)<α并且S(x,y)>γ，则判断像素点(x,y)为草，否则非草；

所述色调和饱和度值的取值范围通过草的颜色进行确定。

3.根据权利要求2所述的基于图像分析的漏割草坪识别方法，其特征是：在步骤②中，所述的边缘检测算子采用Sobel边缘检测算子。

4.根据权利要求3所述的基于图像分析的漏割草坪识别方法，其特征是：在步骤③中，Otsu算法获得最佳阈值t的步骤如下：

通过灰度图I₂(x,y)的R分量图提取背景比例w0、背景均值u0、前景比例w1、前景均值u1以及灰度图I₃(x,y)的均值u；

再通过t=Max[w0(t)*(u0(t)-u)²+w1(t)*(u1(t)-u)²]计算后获得最佳阈值t。

5.根据权利要求4所述的基于图像分析的漏割草坪识别方法，其特征是：在步骤④中，所述的腐蚀运算选用一个3*3的方形结构元素S对二值图I₃(x,y)进行腐蚀。

6.根据权利要求5所述的基于图像分析的漏割草坪识别方法，其特征是：在步骤⑤中，首先提取轮廓的顶点链码，再由轮廓的顶点链码转换成轮廓的Freeman码。

7.根据权利要求6所述的基于图像分析的漏割草坪识别方法，其特征是：在步骤⑥中，将轮廓的Freeman码标记为左右端点，将每行的左端点作为种子点逐行填充，直到遇到右端点，则该行填充完毕，继续下一行填充。

8.根据权利要求7所述的基于图像分析的漏割草坪识别方法，其特征是：在步骤⑦中，填充图I₅(x,y)通过细化算法进行细化，并提取出目标的骨架；

所述骨架再用毛刺去除算法去除毛刺。

9.根据权利要求8所述的基于图像分析的漏割草坪识别方法，其特征是：在步骤⑧中，骨架长度通过骨架的像素值获取；

在步骤⑨中，骨架宽度通过骨架的像素值获取。