CN104239886A - 基于图像分析的草坪与背景分界线的提取方法 - Google Patents

Abstract

本发明公开了一种基于图像分析的草坪与背景分界线的提取方法：通过单片机对摄像头捕获的图像进行如下处理；确定草坪的HSI值的阈值范围，将颜色与草坪有明显差异的背景去除；利用灰度计算公式将彩色图像转换成灰度图；提取草坪纹理特征矩阵，利用草坪纹理特征矩阵对灰度图进行草坪纹理特征匹配，形成一幅二值图；提取二值图的直方图，利用直方图的波峰波谷去除二值图上的与草坪纹理特征相似的背景；利用直线检测算法提取草坪与背景的最优分界线。

Description

基于图像分析的草坪与背景分界线的提取方法

技术领域

本发明涉及图像处理与模式识别领域，尤其是一种基于图像分析的草坪与背景分界线的提取方法。

背景技术

随着科学技术的不断进步，各种自动行走的设备开始慢慢进入人们的生活，例如自动插秧机、智能割草机以及自动吸尘器机器人等。这种自动行走的设备，具有自动控制装置，行走装置和工作装置，他们能够在行走工作时脱离人们的操作。例如：自动吸尘器机器人一方面可以根据人为设定的行走路径行动，完成自动吸尘的功能；另外一方面根据内置的红外线传感器以及超声波仿生技术等实现在房间内完全自主的无死角覆盖行走，主动的区分障碍物，形成高度的自动化；又例如：智能割草机一方面可以根据人为设定的行走路径行动，完成自动割草的功能；另外一方面根据外置的摄像头与内置的智能芯片之间进行信息的交互，并通过摄像头所采集的图像进行处理后，判断草坪的位置，并自动进行草坪的割草作业。以上所述的一些智能设备都通过了内置或者外置的硬件完成信息的输入，并通过智能芯片接收的输入信息将需要行走的路径计算出，并完成在相应范围内自动行走的一个过程；这种能够通过较简单的智能操作就完全替代人类进行某些复杂操作的智能设备由于可以将人类从枯燥的家务中解放出来，因此受到极大的欢迎。

然而，现今的智能割草机等设备在进行草坪修剪的时候，如何限定其自动行走的路径成为了这类设备开发的难题；一方面，户外空间广阔，无法像仅限室内使用的自动吸尘器机器人一样通过简单的超声波仿生技术就能完成路径的限定；另外一方面，草坪四周一般都是敞开式，无防护，智能割草机如果对行走路线判断不准确，则很可能行走到铺设石头的小路上，而这种小路一般都是崎岖不平的，极有可能直接损坏智能割草机的相应割草装置。

而现今的智能割草机在进行草坪修剪时，基本只能根据颜色特征对草坪进行判断，对于那些颜色与草坪差异比较大的背景，智能割草机比较容易进行识别判断，但草坪中经常会出现一些颜色与草坪相似的松柏，树木等，如果只根据颜色特征，很容易将这些事物误认为是草坪，这就使得智能割草机出现严重的误识别，影响到割草机后续的行走路径及工作状态。

若将这些颜色与草坪相似的事物全部归划到背景当中，提取出一条背景与草坪的分割线，不仅能很好的去除图像中这些与草坪颜色相似的事物，减少草坪的误识别，也能将割草机割草的区域限制在一定的安全范围内，以便指导割草机器人在安全范围内工作。草坪与背景分割线的提取不但能够更加准确的识别出草坪，还能提高割草的安全性及效率。因此，对于草坪与背景分界线的提取，对于割草机的智能化具有显著的实际应用意义。

发明内容

本发明要解决的技术问题是提供一种简单的基于图像分析的草坪与背景分界线的提取方法。

为了解决上述技术问题，本发明提供一种基于图像分析的草坪与背景分界线的提取方法，包括智能割草机，所述智能割草机内设置有微处理器和运动控制系统；所述智能割草机的前端设置有摄像头；所述微处理器分别与摄像头和运动控制系统信号连接；所述摄像头将实时采集的图像信息I(x,y)传输到微处理器，所述微处理器通过内置草坪背景分割线提取方法对图像信息I(x,y)进行分割线提取；所述草坪与背景分界线的提取方法包括以下步骤：①对图像信息I(x,y)采用颜色识别算法，去除与草的颜色差异较大的背景，获得图像信息I₁(x,y)；②通过灰度计算公式对彩色图像I₁(x,y)进行灰度计算，提取出一幅灰度图I₂(x,y)；③利用事先提取的草坪纹理特征矩阵对灰度图I₂(x,y)进行特征匹配，将灰度图I₂(x,y)处理成二值图I₃(x,y)；④提取二值图I₃(x,y)每行黑色像素点的直方图，利用波峰波谷去除草坪以上多余的与草坪特征相似的背景得到I₄(x,y)；⑤利用直线检测算法对图I₄(x,y)进行草坪与背景分界线的提取，得到具有分界线的图I₅(x,y)。

作为对本发明所述的基于图像分析的草坪与背景分界线的提取方法的改进：在步骤①中，所述的颜色识别算法通过如下步骤实现：构建草的HSI彩色模型，根据草坪的颜色确定色调和饱和度值的取值范围分别为β<H(x,y)<α和S(x，y)>γ；如果图像信息I(x,y)中某像素点(x,y)的H(x,y)和S(x,y)满足β<H(x,y)<α并且S(x，y)>γ，则判断该像素点(x,y)为草坪，否则判断该像素点(x，y)为与草的颜色差异比较大的背景，将其去除。

作为对本发明所述的基于图像分析的草坪与背景分界线的提取方法的进一步改进：在步骤②中，彩色图像I₁(x,y)灰度化的公式如下：gray(x,y)＝0.3*R(x,y)+0.59*G(x,y)+0.11*B(x,y)。

作为对本发明所述的基于图像分析的草坪与背景分界线的提取方法的进一步改进：在步骤③中，草坪特征匹配的步骤如下：根据像素点的S值将纹理特征矩阵分为3类，并提取出三个模版；以4像素*3像素为单位矩阵遍历全图，一个单位矩阵的总饱和度为S_sum，根据S_sum值的大小选取相应的模版进行草坪匹配；将匹配后符合的像素点(x,y)赋为黑色，其余为白色，得到一幅二值图I₃(x,y)。

作为对本发明所述的基于图像分析的草坪与背景分界线的提取方法的进一步改进：所述三个模版通过如下的步骤获取：采集多幅草坪图片，将草坪图片处理成灰度图I₂(x,y)；根据像素的S值将纹理特征矩阵分为3类：在同一幅图片的多个位置或者在不同图片上截取多个4像素*3像素的单位矩阵，若单位矩阵中像素的S值多数小于30，则划为一类，将该类中同一个位置的灰度值取均值，得到模板M1；若单位矩阵中像素的S值多数大于30并且小于60，则划为一类，将该类中同一个位置的灰度值取均值，得到模板M2；若单位矩阵中像素的S值多数大于60，则划为一类，将该类中同一个位置的灰度值取均值，得到模板M3。

作为对本发明所述的基于图像分析的草坪与背景分界线的提取方法的进一步改进：在步骤④中，根据二值图I₃(x,y)内行的序号为横坐标，每行的黑色像素点的总数为纵坐标，画直方图；找到直方图的最大波峰，以最大波峰行为基准行，找到该行之前直方图内的所有波谷；从基准行开始，往前找离最大波峰最近并且符合以下条件的波谷：t<0.2*T_max；二值图I₃(x,y)中，将该波谷行以上的黑色像素判断为与草坪纹理特征相似的背景，并将该行以上的黑色像素赋值为白色，得到一幅去除草坪纹理特征相似背景的二值图I₄(x,y)。

作为对本发明所述的基于图像分析的草坪与背景分界线的提取方法的进一步改进：在步骤⑤中，分为如下的小步骤：首先，根据直线检测的算法对草坪与背景的分界线进行提取，根据二值图I₄(x,y)每隔10列提取直线的定位点，该定位点为二值图I₄(x,y)被选列最上面的黑色像素点，建立包含所有定位点的数据空间V，设置门限值T_d和T_n，分别代表容许的距离长度和图像中令人满意的定位点的数目；其次，从V中随机选择两个不同点，计算这两个点的距离：如果大于T_d，则根据这两个随机点在图像中的横坐标与纵坐标确定一条直线l，接着计算V中剩余定位点到该直线l的距离，将剩余定位点的横坐标代入直线l，求出剩余定位点在直线l中的纵坐标，将本身的纵坐标与直线l中求得的纵坐标相减，得出一个相减距离d；设定一个允许剩余定位点偏离直线l的最大距离d_max，当剩余定位点的相减距离d小于d_max时，则T_n加1；最后，指定随机检测的直线条数为N，当检测完N条直线后，选择T_n值最大的那条为最优分界线。

本发明的基于图像分析的草坪与背景分界线的提取方法中，在颜色特征的基础上再采用草坪特征模板匹配的方法对草坪进行识别，然后根据直方图去除与草坪特征相似的背景，最后根据直线检测算法找出草坪与背景的最优分界线。再一个，由于本发明中的基于图像分析的草坪与背景分界线的提取方法能较好的提取草坪与背景的分界线，可以将该算法用于实际智能割草机上，用来提取草坪与背景分界线，让割草机在分界线的安全范围内进行草坪修剪，直接提高了割草机对草坪的识别率及割草的安全性。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1是智能割草机器人的结构示意图；

图2是草坪与背景分界线提取方法的流程图；

图3是草坪纹理特征矩阵。

具体实施方式

实施例1、图1～图3给出了一种基于图像分析的草坪与背景分界线的提取方法，包括智能割草机1、单片机2以及摄像头3；智能割草机1的内部设置单片机2，智能割草机1的前端设置摄像头3；单片机2分别与摄像头3和智能割草机1的运动控制系统信号连接；在使用的过程中，通过摄像头3实时采集智能割草机1周围环境的图像信息，并将采集到的图像信息实时的传输给割草机内部的单片机2；单片机2通过内置的基于图像分析的草坪与背景分界线的提取方法对最新获取的图像信息进行分析，并提取出草坪与背景的分界线，再通过单片机2经运动控制系统进行智能割草机1的行动轨迹进行控制。

本发明的基于图像分析的草坪与背景分界线的提取方法的主要实现步骤主要包括为图像的采集、图像数据处理以及草坪与背景分界线的提取三方面，具体如下：

一、图像的采集：

1、摄像头3实时采集智能割草机1周围环境的图像信息I(x,y)，并将图像信息I(x,y)实时的传输到单片机2；单片机2实时读取摄像头3采集的最新图像信息I(x,y)；

二、图像数据处理：

2、与草坪颜色差异较大的背景的去除：

单片机2读取最新的图像信息I(x，y)后，根据HSI(色调，饱和度，强度)彩色模型对该图像信息I(x，y)进行颜色特征的识别；确定色调和饱和度值的取值范围分别为β<H(x，y)<α和S(x，y)>γ；对于图像信息I(x,y)内像素点(x，y)的H(x，y)和S(x，y)，如果β<H(x,y)<α并且S(x,y)>γ，则判断该像素点(x,y)为草坪，否则为背景；

本实施例中，根据草的常规情形，将色调和饱和度值的取值范围分别设定为80≤H≤180并且S≥10；即，在图像信息I(x,y)的HSI彩色模型中，80≤H≤180并且S≥10时的图像暂定为草坪，将不是草坪的背景(H值跟S值的取值区间并不能满足以上所述的图像)滤除，获得图像信息I₁(x,y)；

3、灰度图的提取：

根据加权平均法将步骤2所述的彩色图像I₁(x,y)进行灰度化：彩色图像的每个像素由R、G以及B三个分量组成，利用公式gray(x,y)＝0.3*R(x,y)+0.59*G(x,y)+0.11*B(x,y)将彩色图像的每个像素灰度化，得到一幅灰度图I₂(x,y)；

4、草坪纹理特征矩阵提取：

将步骤1采集的多幅草坪图片{即图像信息I(x，y)}依次经过步骤2和步骤3处理处理后，成为灰度图I₂(x,y)：草坪由于光照等环境因素的影响，会产生不同值的纹理特征矩阵。根据像素的S值将纹理特征矩阵分为3类。在同一幅图片的多个位置或者在不同图片上截取多个4像素*3像素的单位矩阵，若单位矩阵中像素的S值多数小于30，则划为一类，将该类中同一个位置的灰度值取均值，得到模板M1{图3(1)}；若单位矩阵中像素的S值多数大于30并且小于60，则划为一类，将该类中同一个位置的灰度值取均值，得到模板M2{图3(2)}；若单位矩阵中像素的S值多数大于60，则划为一类，将该类中同一个位置的灰度值取均值，得到模板M3{图3(3)}。

5、二值图的提取：

以4像素*3像素为单位矩阵遍历全图，一个单位矩阵(12个像素点)的总饱和度为S_sum，当S_sum≤360时，选用模板M1{图3(1)}进行草坪匹配,当360<S_sum≤720时，选用模板M2{图3(2)}进行草坪匹配，当S_sum>720时，选用模板M3{图3(3)}进行草坪匹配。匹配后符合以下条件的为草坪：式中：P_i为灰度图I₂(x,y)单位矩阵中像素i的灰度值，M_i为选取的草坪纹理特征矩阵中像素i的灰度值，为草坪纹理特征矩阵与单位矩阵的标准差，δ为多次试验后选取的最佳阈值，此处取10000。将符合条件的像素赋为黑色，其余为白色，得到一幅二值图I₃(x,y)。

6、与草坪纹理特征相似的背景的去除：

根据二值图I₃(x,y)画直方图：以行的序号为横坐标，以每行的黑色像素点的总数为纵坐标。

找到直方图的最大波峰，以最大波峰行为基准行，找到该行之前直方图内的所有波谷。从基准行(最大波峰行)开始，往前找离最大波峰最近并且符合以下条件的波谷：t<0.2*T_max。t为波谷的值，T_max为波峰的值。

找到符合条件的波谷后，二值图I₃(x,y)中，将在该波谷行以上的黑色像素判断为与草坪纹理特征相似的背景，并赋值为白色，得到一幅去除草坪纹理特征相似背景的二值图I₄(x,y)；

三、草坪与背景分界线的提取：

7、根据直线检测的算法对草坪与背景的分界线进行提取，根据二值图I₄(x,y)每隔10列提取直线的定位点，该定位点为二值图I₄(x,y)内被选列最上面的黑色像素点，建立包含所有定位点的数据空间V。设置门限值T_d和T_n，分别代表容许的距离长度和图像中令人满意的定位点的数目。从V中随机选择两个不同点，计算这两个点的距离，如果大于T_d，求得直线l方程，接着计算V中剩余定位点到该直线l的距离d；若d小于距离d_max，则T_n加1。指定随机检测的直线条数为N。当检测完N条直线后，选择T_n值最大的那条为最优分界线。

通过以上所述的根据草坪与背景分界线的提取方法可以直接提取摄像头3捕获的图像中草坪与背景的分界线，根据提取结果，单片机2通过运动控制系统直接控制智能割草机1的移动方向。

最后，还需要注意的是，以上列举的仅是本发明的一个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (7)

1.一种基于图像分析的草坪与背景分界线的提取方法，包括智能割草机(1)，所述智能割草机(1)内设置有微处理器(2)和运动控制系统；所述智能割草机(1)的前端设置有摄像头(3)；所述微处理器(2)分别与摄像头(3)和运动控制系统信号连接；其特征是：所述摄像头(3)将实时采集的图像信息I(x,y)传输到微处理器(2)，所述微处理器(2)通过内置草坪背景分割线提取方法对图像信息I(x,y)进行分割线提取；

所述草坪与背景分界线的提取方法包括以下步骤：

①对图像信息I(x,y)采用颜色识别算法，去除与草的颜色差异较大的背景，获得图像信息I₁(x,y)；

②通过灰度计算公式对彩色图像I₁(x,y)进行灰度计算，提取出一幅灰度图I₂(x,y)；

③利用事先提取的草坪纹理特征矩阵对灰度图I₂(x,y)进行特征匹配，将灰度图I₂(x,y)处理成二值图I₃(x,y)；

④提取二值图I₃(x,y)每行黑色像素点的直方图，利用波峰波谷去除草坪以上多余的与草坪特征相似的背景得到I₄(x,y)；

⑤利用直线检测算法对图I₄(x,y)进行草坪与背景分界线的提取，得到具有分界线的图I₅(x,y)。

2.根据权利要求1所述的基于图像分析的草坪与背景分界线的提取方法，其特征是：在步骤①中，所述的颜色识别算法通过如下步骤实现：

构建草的HSI彩色模型，根据草坪的颜色确定色调和饱和度值的取值范围分别为β<H(x,y)<α和S(x，y)>γ；

如果图像信息I(x,y)中某像素点(x,y)的H(x,y)和S(x,y)满足β<H(x,y)<α并且S(x，y)>γ，则判断该像素点(x,y)为草坪，否则判断该像素点(x,y)为与草的颜色差异比较大的背景，将其去除。

3.根据权利要求1所述的基于图像分析的草坪与背景分界线的提取方法，其特征是：在步骤②中，彩色图像I₁(x,y)灰度化的公式如下：

gray(x,y)＝0.3*R(x,y)+0.59*G(x,y)+0.11*B(x,y)。

4.根据权利要求1所述的基于图像分析的草坪与背景分界线的提取方法，其特征是：在步骤③中，草坪特征匹配的步骤如下：

根据像素点的S值将纹理特征矩阵分为3类，并提取出三个模版；

以4像素*3像素为单位矩阵遍历全图，一个单位矩阵的总饱和度为S_sum，根据S_sum值的大小选取相应的模版进行草坪匹配；将匹配后符合的像素点(x,y)赋为黑色，其余为白色，得到一幅二值图I₃(x,y)。

5.根据权利要求4所述的基于图像分析的草坪与背景分界线的提取方法，其特征是：所述三个模版通过如下的步骤获取：

采集多幅草坪图片，将草坪图片处理成灰度图I₂(x,y)；

根据像素的S值将纹理特征矩阵分为3类：

在同一幅图片的多个位置或者在不同图片上截取多个4像素*3像素的单位矩阵，若单位矩阵中像素的S值多数小于30，则划为一类，将该类中同一个位置的灰度值取均值，得到模板M1；若单位矩阵中像素的S值多数大于30并且小于60，则划为一类，将该类中同一个位置的灰度值取均值，得到模板M2；若单位矩阵中像素的S值多数大于60，则划为一类，将该类中同一个位置的灰度值取均值，得到模板M3。

6.根据权利要求1所述的基于图像分析的草坪与背景分界线的提取方法，其特征是：在步骤④中，根据二值图I₃(x,y)内行的序号为横坐标，每行的黑色像素点的总数为纵坐标，画直方图；

找到直方图的最大波峰，以最大波峰行为基准行，找到该行之前直方图内的所有波谷；

从基准行开始，往前找离最大波峰最近并且符合以下条件的波谷：t<0.2*T_max；

二值图I₃(x,y)中，将该波谷行以上的黑色像素判断为与草坪纹理特征相似的背景，并赋值为白色，得到一幅去除草坪纹理特征相似背景的二值图I₄(x,y)。

7.根据权利要求1所述的基于图像分析的草坪与背景分界线的提取方法，其特征是：在步骤⑤中，分为如下的小步骤：

首先，根据直线检测的算法对草坪与背景的分界线进行提取，根据二值图I₄(x,y)每隔10列提取直线的定位点，该定位点为二值图I₄(x,y)被选列最上面的黑色像素点，建立包含所有定位点的数据空间V，设置门限值T_d和T_n，分别代表容许的距离长度和图像中令人满意的定位点的数目；

其次，从V中随机选择两个不同点，计算这两个点的距离：

如果大于T_d，则根据这两个随机点在图像中的横坐标与纵坐标确定一条直线l，接着计算V中剩余定位点到该直线l的距离，将剩余定位点的横坐标代入直线l，求出剩余定位点在直线l中的纵坐标，将本身的纵坐标与直线l中求得的纵坐标相减，得出一个相减距离d；

设定一个允许剩余定位点偏离直线l的最大距离d_max，当剩余定位点的相减距离d小于d_max时，则T_n加1；

最后，指定随机检测的直线条数为N，当检测完N条直线后，选择T_n值最大的那条为最优分界线。