CN105512689A - 基于图像的草地识别方法及草坪维护机器人 - Google Patents

基于图像的草地识别方法及草坪维护机器人 Download PDF

Info

Publication number
CN105512689A
CN105512689A CN201410490228.3A CN201410490228A CN105512689A CN 105512689 A CN105512689 A CN 105512689A CN 201410490228 A CN201410490228 A CN 201410490228A CN 105512689 A CN105512689 A CN 105512689A
Authority
CN
China
Prior art keywords
value
image
eigenwert
image block
meadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410490228.3A
Other languages
English (en)
Inventor
吴新宇
傅睿卿
郭会文
孙根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Positec Power Tools Suzhou Co Ltd
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Positec Power Tools Suzhou Co Ltd
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Positec Power Tools Suzhou Co Ltd, Shenzhen Institute of Advanced Technology of CAS filed Critical Positec Power Tools Suzhou Co Ltd
Priority to CN201410490228.3A priority Critical patent/CN105512689A/zh
Priority to JP2017534872A priority patent/JP2017535279A/ja
Priority to EP15845392.8A priority patent/EP3199009B1/en
Priority to PCT/CN2015/090468 priority patent/WO2016045593A1/zh
Priority to US15/513,106 priority patent/US10609862B2/en
Publication of CN105512689A publication Critical patent/CN105512689A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像的草地识别方法及草坪维护机器人,包括以下步骤:S2.从色调图中,提取至少一个特定色调特征值;S3.对灰度图进行频域变换以提取至少一个和特定频域特征值;S4.执行子步骤S41、S42、S43、S44中的至少一个,提取特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值中的至少一个;S5.判断提取出的各个特定特征值是否位于对应的预设阈值区间内,若全部为是,则识别图像块为草地图像,否则识别图像块为非草地图像。通过使用多种算法提取多种草地相关的特定特征值,提高草地的图像识别率。

Description

基于图像的草地识别方法及草坪维护机器人
技术领域
本发明涉及一种基于图像的草地识别方法,还涉及一种草坪维护机器人。
背景技术
目前,随着人类生活节奏的加快,自动化的家庭设备在全球越来越受到欢迎。由于其具有自动工作程序而自行工作,这样并不需要人力始终操控。人们可以从繁重的家庭任务中解脱出来,节省了大量的精力从而得到更多的休闲时光。这种自动化的家庭设备也称自动工作设备,包括像主要用于房间清洁的自动吸尘器,还包括像主要用于家庭花园的草坪护理机器人如自动割草机等。
草坪护理机器人通常在开放式、没有物理围栏的环境中工作,因此必须保证其不会离开所工作的草坪。目前,产品化的解决方案为在草坪的边界上布置电线,草坪护理机器人感应电线产生的电磁信号判断是否出界。这种方案技术上比较简单可靠,但是需要手工开槽布线,比较麻烦和耗能,为此,业界也在尝试其他的解决方案,例如通过拍摄和分析地面图像来识别草地边界。但目前图像识别方案均没有产品化,原因为随着草种、季节、地形等等因素的不同,草地的具体图像千变万化,目前的图像识别方案无法保证准确的识别各类草况,导致针对实验中的常规草况时识别率高,但一旦投入实际试验就会出现各种误判,无法产品化。
发明内容
有鉴于此,本发明的目的在于提供一种识别率高的基于图像识别草地的方法。
本发明解决现有技术问题所采用的技术方案是:一种基于图像的草地识别方法,包括以下步骤:S0.获得待识别的图像块;S1.处理图像块以获得图像块的色调图和灰度图;S2.从所述色调图中,提取至少一个和草地特征相关的特定色调特征值;S3.对所述灰度图进行频域变换以提取至少一个和草地特征相关的特定频域特征值;S4.执行下列子步骤S41、S42、S43、S44中的至少一个:S41.将Haar-like模板应用于所述灰度图以提取至少一个和草地特征相关的特定Haar-like特征值;S42.对所述灰度图进行矩阵变换以提取至少一个和草地特征相关的特定矩阵统计特征值;S43.转换图像块的颜色空间,颜色空间具有多个颜色通道,以提取所述图像块的至少一个和草地特征相关的特定颜色通道特征值;S44.通过局部特征算子提取图像块的至少一个和草地特征相关的特定局部特征值;S5.判断步骤S2、S3、S4中提取出的各个特定色调特征值、特定频域特征值,以及根据S4中所执行的子步骤而相应包括的特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值中的至少一个是否均位于对应的预设阈值区间内,若全部为是,则识别图像块为草地图像,否则识别图像块为非草地图像。
进一步的,所述至少一个特定色调特征值包括:各个像素点的色调值的平均值,和/或色调值在预设阈值区间内的像素点占全部像素点的比例。
进一步的,步骤S3中,所述频域变换的方式包括傅里叶变换和Gabor变换的至少一种。
进一步的,所述傅里叶变换具体为:对所述灰度图进行傅里叶变换以生成大小相同的频域图,所述频域图中各个坐标位置具有各自的相位值和幅值;提取特定频域特征值的方式具体为:提取至少一个特定坐标位置的相位值和幅值,分别作为一个特定频域特征值。
进一步的,所述步骤S41具体为:将至少一个预设特征模板以至少一种预设形态放置在图像块中,进行Haar-like运算获得Haar-like特征值,所述预设形态为预设的大小和位置。
进一步的,所述步骤S42中,矩阵变换的方式为灰度共生矩变换和Hu不变矩变换的至少一种。
进一步的,所述步骤S43中,所述颜色空间包括HSV颜色空间、CMY颜色空间、Lab颜色空间或YIQ颜色空间中的至少一种,所述特定颜色通道特征值为:特定颜色通道上各个像素的参数值的平均值。
进一步的,步骤S4中,执行子步骤S41、S42、S43、S44中的至少两个。
进一步的,步骤S0具体为:获得目标物的图像,将图像划分为若干个图像块。
进一步的,步骤S2、S3、S4中提取出的各个特定色调特征值、特定频域特征值,以及根据S4中所执行的子步骤而相应包括的特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值中的至少一个的总量至少为10个。
本发明还提供了一种草坪维护机器人,包括:壳体、行走模块、安装在壳体上的图像采集装置,以及连接图像采集装置和行走模块以控制自动行走设备工作的主控模块,所述图像采集装置拍摄目标区域,形成图像;所述主控模块包括:图像块提取单元、图像块预处理单元、色调特征提取单元、频域特征提取单元和草地识别单元,还包括Haar-like特征提取单元、矩阵统计特征提取单元和颜色通道特征提取单元、局部特征算子单元中的至少一个;所述图像块提取单元将图像采集装置拍摄的图像划分为若干图像块;所述图像块预处理单元处理图像块以获得图像块的色调图和灰度图;所述色调特征提取单元从所述色调图中提取至少一个和草地特征相关的特定色调特征值;所述频域特征提取单元对所述灰度图进行频域变换,以提取至少一个和草地特征相关的特定频域特征值;所述Haar-like特征提取单元将Haar-like模板应用于所述灰度图,以提取至少一个和草地特征相关的特定Haar-like特征值;所述矩阵统计特征提取单元对所述灰度图进行矩阵变换,从变换后的矩阵中提取至少一个和草地特征相关的特定矩阵统计特征值;所述颜色通道特征提取单元转换图像块的颜色空间,所述颜色空间具有多个颜色通道,以从中提取至少一个和草地特征相关的特定颜色通道特征值;所述局部特征算子提取图像块的至少一个和草地特征相关的特定局部特征值;所述草地识别单元判断提取出的特定色调特征值、特定频域特征值,以及根据S4中所主控模块所具有的特征提取单元而相应包括的特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值中的至少一个是否均位于对应的预设阈值区间内,若全部为是,则识别图像块为草地图像,否则识别图像块为非草地图像。
进一步的,所述至少一个特定色调特征值包括:各个像素点的色调值的平均值,和/或色调值在预设阈值区间内的像素点占全部像素点的比例。
进一步的,所述频域变换的方式包括傅里叶变换和Gabor变换的至少一种。
进一步的,所述傅里叶变换具体为:对所述灰度图进行傅里叶变换以生成大小相同的频域图,所述频域图中各个坐标位置具有各自的相位值和幅值;提取特定频域特征值的方式具体为:提取至少一个特定坐标位置的相位值和幅值,分别作为一个特定频域特征值。
进一步的,所述Haar-like特征提取单元将至少一个预设特征模板以至少一种预设形态放置在图像块中,进行Haar-like运算获得Haar-like特征值,所述预设形态为预设的大小和位置。
进一步的,所述矩阵变换的方式为灰度共生矩变换和Hu不变矩变换的至少一种。
进一步的,所述颜色空间包括HSV颜色空间、CMY颜色空间、Lab颜色空间或YIQ颜色空间中的至少一种,所述特定颜色通道特征值为:特定颜色通道上各个像素的参数值的平均值。
进一步的,所述主控模块包括Haar-like特征提取单元、矩特统计特征提取单元、颜色通道特征提取单元和局部特征提取单元中的至少两个。
进一步的,所述特定颜色通道特征值为:该特定颜色通道上各个像素的参数值的平均值。
进一步的,所述提取出的各个特定色调特征值、特定频域特征值,以及根据S4中所主控模块所具有的特征提取单元而相应包括的特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值中的至少一个的总量至少为10个。与现有技术相比,本发明的有益效果为:通过使用多种特征提取方式提取和草地相关的特定特征值,综合判断图像块是否是草地图像,准确率高,适应的草地种类广。
附图说明
以上所述的本发明的目的、技术方案以及有益效果可以通过下面的能够实现本发明的具体实施例的详细描述,同时结合附图描述而清楚地获得。
附图以及说明书中的相同的标号和符号用于代表相同的或者等同的元件。
图1是本发明的一种实施方式的草地识别方法的流程图。
图2是本发明的一种实施方式的Gabor滤波器组示意图。
图3是本发明的一种实施方式的Haar-like边缘特征模板示意图。
图4是本发明的一种实施方式的Haar-like线性特征模板示意图。
图5是本发明的一种实施方式的Haar-like中心特征模板示意图。
图6是本发明的一种实施方式的Haar-like对角线特特征模板示意图。
图7是本发明的一种实施方式的草坪机器人系统示意图。
图8是图7所示的自动工作系统中自动行走设备的模块图。
图9是图8所示的自动行走设备的侧视图。
图10是图8所示的自动行走设备的拍摄区域示意图。
1、草坪维护机器人4、停靠站
5、草地6、边界
7、非草地11、壳体
13、轮组15、图像采集装置
17、行走模块19、工作模块
29、遮挡板33、能量模块
31、主控模块310、图像块提取单元
311、图像块预处理单元312、色调特征提取单元
313、频域特征提取单元314、Haar-like特征提取单元
316、草地识别单元317、矩阵统计特征提取单元
318、局部特征算子提取单元319、颜色通道特征提取单元
具体实施方式
以下详细介绍一种基于图像的草地识别方法的实施例。
参照图1,本实施例的基于图像的草地识别方法包括以下步骤:
步骤S0,获得待识别的图像块。
获得待识别的图像块的具体方式为:获得目标物的图像,将图像划分为若干个图像块。本步骤中,首先将图像采集装置采集并传递的原始图片进行预处理,划分为多个大小相同的待识别的图像块。更具体的,本步骤首先将原始图像进行边缘裁切,去除掉色调可能不准确的部分,随后进行大小压缩,转换成分辨率相同的标准图像,然后对标准图像进行网格化划分,得到若干个无边缘重复的图像块,每个图像块的分辨率相同。
步骤S1,处理图像块以获得对应的色调图和灰度图。
在本步骤中,如果图像块的色彩格式为RGB格式或者其他非HSV的格式,则将图像块的色彩格式转换成HSV格式,将其中的色调信息提取出来,就得到了图像块对应的色调图,处理后,色调图的大小和图像块的大小相同,其上的每个像素点均对应具有一个色调值,以代表图像块的各个像素点的色调值。
此外,本步骤还将图像块进行灰度化处理得到其灰度信息,生成对应的灰度图,以代表图像块的各个像素点的灰度值。
步骤S2,从色调图中提取至少一个和草地特征相关的特定色调特征值。
草坪上的草的颜色通常都位于一定的色调区间内,本步骤基于这一原理对提取草地特征相关的特定色调特征值,以供后续步骤对相关图像块进行筛选,排除掉大量非草地图像。
在本实施例中,提取的特定色调特征值包括图像块各个像素点的色调平均值,在后续S5判断步骤中,如果该平均值位于和该种特定色调特征值对应的预设阈值区间内,例如,各个像素点的色调均值位于0-89之间,则判断该图像块可能为草地图像,若不在该预设阈值区间内则判断该图像块不是草地图像。特定色调特征值可以有多种,在另一种可选方案中,特定色调特征值为色调值在预设阈值区间内的像素点占全部像素点的比例,例如,色调值位于0-89之间的像素点占全部像素点的比例大于80%。当然,特定色调特征值还可以设置其他适合的、和草地特征相关的特定特征值。并且特定色调特征值也可以为多个,例如分别为图像块各个像素点的色调平均值和色调值位于预设区间的像素点占全部像素点的比例,相应的,在后续的S5判断步骤中,任何一个特定色调特征值不在对应的预设阈值区间内,则判断所处理的图像块不是草地图像。
步骤S3,对所述灰度图进行频域变换以提取至少一个和草地特征相关的特定频域特征值。
草地中,草和草之间存在的间隙会产生规律性的明暗变化,通过对灰度图进行频域变换可识别这种规律。本步骤基于这个原理提取草地相关特征,供后续S5步骤筛选排除非草地图像。
频域变换的方式为傅里叶变换和Gabor变换的至少一种。即本步骤可以单独使用傅里叶变换获取频域特征,或者单独用Gabor变换获取频域特征,或者用傅里叶变换获取频域特征并且用Gabor变换获取频域特征。
使用傅里叶变换获取频域特征的方法为:首先,根据灰度图生成一个对应数组矩阵,随后,对图像的数组矩阵进行傅里叶变换。图像二维傅里叶变换的做法是对图像对应的数组矩阵进行如下操作:
F ( u , v ) = 1 N Σ x = 0 N - 1 Σ y = 0 N - 1 f ( x , y ) exp [ - j 2 π ( ux + vy ) / N ]
f ( x , y ) = 1 N Σ u = 0 N - 1 Σ v = 0 N - 1 F ( u , v ) exp [ j 2 π ( ux + vy ) / N ]
其中f(x,y)为位置在x,y的像素的灰度值,j为虚数,exp表示自然数的指数幂操作。N表示图像的边长,u,v表示频率域坐标轴的坐标值(类似于笛卡尔坐标系下的x,y坐标轴)。
经过傅里叶变换后,灰度图转换成了大小相同的频域图,频域图中每个坐标位置具有相位值和幅值两个量。整个频域图相应的具有相位谱和幅值谱。相位谱和幅值谱的大小均为N*N,将相位谱和幅值谱均转化成一维向量(1*N^2),那么,经过傅里叶变换,就从图像块中提取出了2*N^2个频域特征值。
本步骤从上述多个频域特征值中提取和草地特征相关的特定频域特征值。
本步骤中可生成若干个特定频域特征值,供后续步骤S4分别判断这些特征是否在各自的预设阈值范围内。本实施例中,提取至少一个特定坐标位置的相位值和幅值,分别作为一个特定频域特征值,供后续的S4步骤进行草地判断。例如,特定坐标点(x1,y1)的相位值是否位于区间(a1,b1)内,幅值是否大于c1;特定坐标点(x2,y2)的相位值是否位于区间(a2,b2)内,幅值是否大于c2。在该实施例中,特定坐标点的数量、各自的坐标位置、各自的相位值和幅值的阈值范围根据草地的普遍特征而选定,但并不是唯一的,有多种的选择方案和组合方式。
以下叙述采用Gabor变换获取频域特征的方法,使用Gabor变换获得的频域特征具体称为Gabor特征,从中提取的特定频域特征值具体称为特定Gabor特征值。
Gabor变换是一种短时傅里叶变换方法,其实质是在傅里叶变换中加入一个窗函数,通过窗函数来实现信号的时频分析。当选取高斯函数作为窗函数时,短时傅里叶变换称为Gabor变换。Gabor滤波器组能够很好地描述对应于空间频率(尺度)、空间位置及方向选择性的局部结构信息。因此可以利用Gabor识别草地相应的空间位置和方向等信息,判断是否为草地。
具体的,可以把Gabor滤波器看做是一个模板,确定一个模板需要选择的量包括滤波方向,滤波频率,图像的位置。Gabor滤波器模板上的点的值是离散的(即不是+1或-1,可以取任意值),取值根据滤波方向,滤波频率来决定。这样,选择了图像位置后,将Gabor滤波器模板覆盖到图像上进行运算,可以得到大量的Gabor特征值。
图2是本实施例使用的一组Gabor滤波器组。其为4个频率大小,8个滤波方向的排列组合所产生的滤波器组。在一种实施例中,Gabor滤波器组图像位置均为整个图像,即模板的坐标范围和所处理的图像块的坐标范围相同。
Gabor滤波器生成方程如下,生成方程实际上就是产生模板。
复数表达:
g ( x , y ; λ , θ , ψ , σ , γ ) = exp ( - x ′ 2 + γ 2 y ′ 2 2 σ 2 ) exp ( i ( 2 π x ′ λ + ψ ) )
实数部分:
g ( x , y ; λ , θ , ψ , σ , γ ) = exp ( - x ′ 2 + γ 2 y ′ 2 2 σ 2 ) cos ( 2 π x ′ λ + ψ )
虚数部分
g ( x , y ; λ , θ , ψ , σ , γ ) = exp ( - x ′ 2 + γ 2 y ′ 2 2 σ 2 ) sin ( 2 π x ′ λ + ψ )
其中
x′=xcosθ+ysinθ
y′=-xsinθ+ycosθ
其中,x,y表示模板的某个元素的位置。
波长(λ)值以像素为单位指定,通常大于等于2,但不能大于输入图像尺寸的五分之一。
方向(θ)指定了Gabor函数并行条纹的方向,它的取值为0到360度
相位偏移的取值范围为-180度到180度,表示中间的波形往左右偏移了几个周期。
长宽比(γ)为空间纵横比,决定了Gabor函数形状的椭圆率(ellipticity)。当γ=1时,形状是圆的;当γ<1时,形状随着平行条纹方向而拉长。通常该值为0.5。
带宽(b),带宽值必须是正实数,通常为1,此时,标准差和波长的关系为:σ=0.56λ。带宽越小,标准差越大,Gabor形状越大
模板套用到图像块上进行操作后,类似于傅里叶变换,依旧得到相位谱和幅值谱。同样类似于傅里叶变换,每个模板都会生2*N^2个Gabor特征值。
提取出上述的2*N^2个Gabor特征值后,并不需要判断所有的特征是否满足预设条件,而只需选定一些特定的典型特征作为特定Gabor特征值,在后续S4步骤中判断其是否位于预设阈值区间内即可。
类似于傅里叶变换,本步骤可以为选定若干个Gabor特征值,分别判断这些Gabor特征值是否在各自的阈值范围内。本实施例中,提取至少一个特定坐标位置的相位值和幅值,分别作为一个特定Gabor特征值,供后续步骤S5判断图像块是否为草地。例如,特定坐标点(x3,y3)的相位值是否位于区间(a3,b3)内,幅值是否大于c3;特定坐标点(x4,y4)的相位值是否位于区间(a4,b4)内,幅值是否大于c4。在该实施例中,特定坐标点的数量、各自的坐标位置、各自的相位值和幅值的阈值范围根据草地的普遍特征而选定,但并不是唯一的,有多种的选择方案和组合方式。
步骤S4,执行下列子步骤S41、S42、S43、S44中的至少一个。即至少通过Haar-like模板应用、矩阵变换、颜色空间转换中的至少一个提取若干和草地特征相关的特定特征值。
步骤S41,将Haar-like模板应用于所述灰度图以提取至少一个和草地特征相关的特定Haar-like特征值。
Haar-like特征适用于识别具有明显、稳定结构的物体,只要结构相对固定即使发生扭曲等非线性形变依然可识别。
如图3至图6所示,Haar-like特征分为4类:边缘特征、线性特征、中心特征和对角线特征,每类特征均可生成一个或多个特征模板,模板内有白色和黑色两种矩形,并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。一种特征模板可以以不同形态放置到图像块中的进行特征提取,特征模板放置到图像块中的大小和位置均是可变的,每个确定的大小位置组合称为一种形态。那么,在特定形态下,将图像块中被特征模板覆盖的像素的灰度值进行加权和,即:若模板上对应的点为白色,令该点的值为灰度值乘以1,若模板上对应点为黑色,则令该点的值为灰度值乘以-1,最后将所有结果求和,就得到了图像块的一个特征值。将不同的特征模板以不同的大小和位置放置到图像块中,会产生大量的Haar-like特征值。然而,在进行图像块是否草地图像的判断时,并不必然需要逐个的计算和判断出每个特征,在一种实施例中,仅需提取若干典型特征作为特定Haar-like特征值供后续步骤S5判断即可。
例如,在一种实施例中,将边缘特征模板Haar_Y2以6*6的大小放置到图像的中心位置,通过前述的加权和计算后得到一个Haar-like特征值,若该Haar-like特征值不位于对应的预设阈值区间内,则判断图像块为非草地图像,若该特征值位于预设阈值区间内,则结合其他特征判断图像块是否为草地图像。在其他可选的实施例中,可以通过不同的模板和不同的放置形态生成多个Haar-like特征,分别判断是否满足各自对应的预设条件,若任一个特征不满足其所对应的预设条件,则判断为非草地图片,若均满足,则结合其他类型的特征判断是否为草地图片。
步骤S42,对所述灰度图进行矩阵变换以提取至少一个和草地特征相关的特定矩阵统计特征值。
矩阵变换的方式为灰度共生矩变换和Hu不变矩变换的至少一种。进行灰度共生矩变换时,产生的特征具体称为灰度共生矩特征,从中提取的特定特征值为特定灰度共生矩特征值。进行Hu不变矩变换时,产生的特征具体称为Hu不变矩特征,从中提取的特定特征值为特定Hu不变矩特征值。
灰度共生矩变换的方法为,将图像中任意一点(x,y)及偏离它的一点(x+a,y+b)构成点对,其中a、b为随机的整数偏移量。设该点对的灰度值为(f1,f2),再令点(x,y)在整幅图像上移动,则会得到不同的(f1,f2)值。设图像的最大灰度级为L(一般为256),则f1与f2的组合共有L*L种。对于整幅图像,统计出每一种(f1,f2)值出现的次数,然后排列成一个方阵(大小为L*L),再用(f1,f2)出现的总次数将他们归一化为出现的概率P(f1,f2),由此产生的矩阵为灰度共生矩阵。矩阵中每个值都可以作为一个灰度共生矩特征。本步骤中,从中提取至少一个和草地特征相关的特定灰度共生矩特征值。
以下介绍Hu不变矩变换的方法。
Hu不变矩具有旋转、平移、尺度都保持不变等特点,具有非常好的抗干扰性,其处理方法是:
m pq = &Sigma; y = 1 N &Sigma; x = 1 M x p y q f ( x , y ) , p , q = 0,1,2 . . .
&mu; pq = &Sigma; y = 1 N &Sigma; x = 1 M ( x - x &OverBar; ) p ( y - y &OverBar; ) q f ( x , y ) , p , q = 0,1,2 . . .
N和M分别是图像的高度和宽度。
ηpq=μpq/(μ00 ρ);其中ρ=(p+q)/2+1
利用二阶和三阶归一化中心矩构造了7个不变矩M1至M7:
M1=η2002
M2=(η2002)2+4η11 2
M3=(η30-3η12)2+(3η2103)2
M4=(η3012)2+(η2103)2
M5=(η30-3η12)(η3012)((η3012)2-3(η2103)2)+(3η2103)(η2103)(3(η3012)2-(η2103)2)
M6=(η2002)((η3012)2-(η2103)2)+4η113012)(η2103)
M7=(3η2103)(η3012)((η3012)2-3(η2103)2)-(η30-3η12)(η2103)(3(η3012)2-(η2102)2)
生成了Hu不变矩后,从Hu不变矩特征中提取至少一个和草地特征相关的特定Hu不变矩特征值。
步骤S43,将转换图像块的颜色空间,颜色空间具有多个颜色通道,从所述颜色空间中提取至少一个和草地特征相关的特定颜色通道特征值。
颜色空间包括HSV颜色空间、CMY颜色空间、Lab颜色空间或YIQ颜色空间中的至少一种,特定颜色通道特征值为:该特定颜色通道上各个像素的参数值的平均值。
以HSV颜色空间为例,取H通道的像素的值,求平均,即可获得一个特征,还有S通道,V通道的均值,即可生成三个特征。其他各个格式也可类似的生成多个颜色通道特征。本步骤在这些特征中提取至少一个和草地特征相关的特定颜色通道特征值。
步骤S44,通过局部特征算子提取图像块的至少一个和草地特征相关的特定局部特征值。
局部特征算子至少包括:LBP算子(局部二值模式)、WLD算子(韦伯局部算子)、SIFT算子(仿射不变特征变换)。
步骤S5,判断步骤S2、S3、S4中提取出的各个特定特征值是否位于对应的预设阈值区间内,若全部为是,则判断图像块为草地图像,所述的特定特征包括特定色调特征值、特定频域特征值,还根据S5中所执行的子步骤而相应的包括特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值中的至少一个。
通过步骤S2、S3、S4,本方法从待处理的图像块中提取出了若干个个和草地的特征相关的特定特征值,本步骤中,判断这个特定特征值是否位于和这些特定特征值对应设置的预设阈值区间内,若任何一个特定特征的判断结果为否,均判断图像块为非草地图像,若判断结果全部为是,则判断图像块为草地图像。
在一种可选实施例中,执行步骤S4中的所有子步骤中的至少两个,故特定特征值包括特定色调特征值、特定频域特征值,还包括特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值中的至少两个。
以执行了全部S4中子步骤为例讲解步骤S5。
步骤S5中,首先判断一个或多个特定色调特征值是否位于对应的预设阈值区间内。本实施例中,一个特定色调特征值为图像块各个像素点的色调值的平均值,该平均值对应的预设阈值区间为0-89。若任何一个特定色调特征值不在预设阈值区间内,则判断图像块为非草地图像;若所有特定色调特征值均位于对应的预设阈值区间内,则继续判断其他的特定特征值是否位于对应的预设阈值。
若所有特定色调特征值均的判断结果均为是,随后判断一个或多个特定频域特征值是否位于对应设置的预设阈值区间内。特定频域特征值可以为傅里叶变换产生的,也可以为Gabor变换产生的,也可以都有。本实施例中,首先判断相位谱中特定坐标点(x1,y1)的相位值是否位于区间(a1,b1)内,若判断结果为否,则识别图像块为非草地图像,若判断结果为是,继续判断前述特定坐标点(x1,y1)的幅值是否位于预设阈值区间内,具体的,判断该幅值是否大于c1。同样的,若任何一个特定频域特征值不在预设阈值区间内,则判断图像块为非草地图像;若所有特定频域特征值均位于对应的预设阈值区间内,则继续判断其他的特定特征值是否位于对应的预设阈值。
若所有特定频域特征值均的判断结果均为是,继续判断一个或多个特定Haar-like特征值是否位于预设阈值区间内。若任何一个特定Haar-like特征值不在预设阈值区间内,则判断图像块为非草地图像;若所有特定Haar-like特征值均位于对应的预设阈值区间内,则继续判断其他的特定特征值是否位于对应的预设阈值。
若所有特定Haar-like特征值均的判断结果均为是,继续判断一个或多个特定矩阵统计特征值是否位于预设阈值区间内。特定矩阵统计特征值可以为特定灰度共生矩特征值,也可以为特定Hu不变矩特征值,也可以都有。若任一个特定矩阵统计特征值的判断结果为否,则识别图像块为非草地图像,若所有特定矩阵统计特征值的判断结果为是,则继续判断其他的特定特征值是否位于对应的预设阈值。
若所有特定矩阵统计特征值的判断结果为是,继续判断一个或多个特定颜色空间通道特征值是否位于预设阈值区间内。若任一个特定颜色空间通道特征值的判断结果为否,则识别图像块为非草地图像,若所有特定颜色空间通道特征值的判断结果为是,则继续判断其他的特定特征值是否位于对应的预设阈值。
若所有特定颜色空间通道特征值的判断结果为是,继续判断一个或多个局部特征值是否位于预设阈值区间内。若任一个局部特征值的判断结果为否,则识别图像块为非草地图像,若所有局部特征值的判断结果为是,则表示全部特定特征值判断完毕且均在各自对应的预设阈值区间内,此时识别该图像块为草地图像。
需要指出,本实施例中,各个特定特征值的判断顺序仅仅是示例性的,可以有多种变换,该判断顺序不影响本发明的实施。例如,可以首先判断各个特定颜色通道特征值是否位于对应设置的预设阈值区间后,再判断各个特定Haar-like特征值的情况,随后依次判断各个特定频域特征值的情况和特定色调特征值的情况;也可以不按照特定特征值的类别进行排序,例如先判断一个特定Haar-like特征值的情况,再判断一个特定色调特征值的情况,然后再判断另一个特定Haar-like特征值的情况,如此等等,不再赘述。
此外,上述实施例中仅仅为了描述的方便而依次介绍步骤S2,S3,S4,S5,序并不意味着其具体执行顺序。S3可以在S2之前执行,S2、S3、S4体动作也可以和S5的具体动作交叉执行。例如,可以在S2的特定色调特征值提取后随即执行S5的部分动作,判断提取出的特定色调特征值是否位于预设阈值区间内,若否则判断图像块为非草地图像,若是则返回执行步骤S3取特定频域特征值,在提取了至少一个特定频域特征值后,不执行步骤S4而跳到步骤S5执行判断提取的特定频域特征值是否位于对应的预设阈值区间内的动作,若否则判断图像块为非草地图像,若是则返回执行步骤S4提取相应的特定特征值。具体的变化形式本领域人员容易想到,不再赘述。
为了尽可能准确的识别草地,上述实施例中所提取的和草地相关的特定特征值为10个以上。当然,在某些实施例中,如果特定特征值选取恰当,其数量也可以小于10个。
以下介绍本发明的一实施例的草坪维护机器人1,如图7所示,草坪维护机器人属于草坪机器人系统,草坪机器人系统位于地面。在本实施例中,地面上分布有草地5和非草地7,草地5和非草地7的交界线形成边界6。除草坪维护机器人外,草坪机器人系统还包括停靠站4。草坪维护机器人1可以为机器人割草机,机器人浇灌机,机器人修边机等。在本实施例中,草坪维护机器人1为机器人割草机,停靠站4布置在工作区域的外围边界6上。
参照图8和图9,草坪维护机器人1具有壳体11及安装在壳体11上的图像采集装置15。图像采集装置15拍摄草坪维护机器人1前方区域的图像。
草坪维护机器人1还包括主控模块31、行走模块17、工作模块19、能量模块33及超声波探测装置16。所述主控模块31与行走模块17、工作模块19、能量模块33及图像采集装置15均相连。
工作模块19用于执行特定的工作。本实施例中,工作模块19具体为切割模块,包括用于割草的切割部件(图未示)和驱动切割部件的切割马达(图未示)。
能量模块33用于给草坪维护机器人1的运行提供能量。能量模块33的能源可以为汽油、电池包等,在本实施例中能量模块33包括在壳体2内设置的可充电电池包。在工作的时候,电池包释放电能以维持草坪维护机器人1工作。在非工作的时候,电池可以连接到外部电源以补充电能。特别地,出于更人性化的设计,当探测到电池的电量不足时,草坪维护机器人1会自行的寻找停靠站4补充电能。
行走模块17包括轮组13和驱动轮组13的行走马达。轮组13可以有多种设置方法,在此不具体描述。
如图9,图像采集装置15安装在壳体11的前部靠上的位置,优选的居中设置,采集壳体11前方区域的图像,该前方区域至少包括前方地面的目标区域。在本实施例中,图像采集装置15的取景范围为一固定区域,如固定的视角范围90度至120度。在其他可选实施例中取景范围也可以为活动的,可选取视角范围内一定角度范围作为实际取景范围,如选取视角范围120度内位于中部的90度范围作为实际取景范围。
图像采集装置15的取景范围包括的目标区域为图10中的矩形的DCIJ区域,DCIJ区域位于草坪维护机器人1的正前方的地面,且和草坪维护机器人1间隔一小段距离。DCIJ区域的中轴线和草坪维护机器人1的壳体11的中轴线重合,且DCIJ区域的宽度略大于草坪维护机器人1的宽度。这样能够保证草坪维护机器人1能够采集其正前方不远处地面的图像信息,供主控模块31判断其属性。
图像采集装置15的全部取景范围可以大于DCIJ区域,例如还包括地面以上的区域,在这种情况下,主控模块31会将图像采集装置15采集的完整图像中,对应于DCIJ区域的预定图形块提取出来进行地面属性分析;图像采集装置15的全部取景范围也可以恰好等于DCIJ区域,此时图像采集装置15采集的完整图像即为对应于DCIJ区域的预定图像块。
请再次参考图9,所述图像采集装置15上方还设置遮挡板29,所述遮挡板29从图像采集装置15的顶部向外水平延伸,以避免日光照射图像采集装置15而造成曝光过度,还可为所述图像采集装置15遮挡雨水。
参考图10,主控模块31包括图像块提取单元310,图像块预处理单元311,色调特征提取单元312,频域特征提取单元313,Haar-like特征提取单元314,矩阵统计特征提取单元,颜色通道特征提取单元和草地识别单元316。
图像采集装置15将采集的原始图像传递给主控模块31,主控模块31的图像块提取单元310将原始图像处理为待识别的图像块。
图像块提取单元310将图像采集装置15采集并传递的原始图片进行预处理,图像块提取单元将图像采集装置拍摄的图像划分为若干图像块,优选的划分为多个大小相同的图像块。更具体的,图像块提取单元310首先将原始图像进行边缘裁切,去除掉色调可能不准确的部分,随后进行大小压缩,转换成分辨率相同的标准图像,然后对标准图像进行网格化划分,得到若干个无边缘重复的图像块,每个图像块的分辨率相同。
图像块预处理单元311处理图像块以获得对应的色调图和灰度图。
如果图像块的色彩格式为RGB格式或者其他非HSV的格式,图像块预处理单元311则将图像块的色彩格式转换成HSV格式,将其中的色调信息提取出来,就得到了图像块对应的色调图,处理后,色调图的大小和图像块的大小相同,其上的每个像素点均对应具有一个色调值,以代表图像块的各个像素点的色调值。
此外,图像块预处理单元311还将图像块进行灰度化处理得到其灰度信息,生成对应的灰度图,以代表图像块的各个像素点的灰度值。
色调特征提取单元312从色调图中提取至少一个和草地特征相关的特定色调特征值。
草坪上的草的颜色通常都位于一定的色调区间内,色调特征提取单元312基于这一原理对提取草地特征相关的特定色调特征值,以供草地识别单元316对相关图像块进行筛选,排除掉大量非草地图像。
在一种实施例中,提取的特定色调特征值包括图像块各个像素点的色调平均值,在另一种可选实施例中,特定色调特征值为色调值在预设阈值区间内的像素点占全部像素点的比例,例如,色调值位于0-89之间的像素点占全部像素点的比例大于80%。当然,特定色调特征值也可以设置其他适合的、和草地特征相关的特定特征值。在上述两个实施例中,特定色调特征值只有一个,但在其他实施例中,色调特征提取单元312提取的特定色调特征值也可以为多个,例如分别为图像块各个像素点的色调平均值和色调值位于预设区间的像素点占全部像素点的比例。
频域特征提取单元313对图像块的对应灰度图进行频域变换以提取至少一个和草地特征相关的特定频域特征值。
草地中,草和草之间存在的间隙会产生规律性的明暗变化,通过对灰度图进行傅里叶变换可识别这种规律。频域特征提取单元313基于这个原理提取草地相关特征,供草地识别单元316筛选排除非草地图像。
频域变换的方式为傅里叶变换和Gabor变换的至少一种。即频域特征提取单元313可以单独使用傅里叶变换获取频域特征,或者单独用Gabor变换获取频域特征,或者用傅里叶变换获取频域特征并且用Gabor变换获取频域特征。
具体的,首先,根据灰度图生成一个对应数组矩阵,随后,对图像的数组矩阵进行傅里叶变换。变换方式如前方法实施例所述,不再赘述。
经过傅里叶变换后,灰度图转换成了大小相同的频域图,频域图中每个坐标位置具有相位值和幅值两个量。整个频域图相应的具有相位谱和幅值谱。相位谱和幅值谱的大小均为N*N,将相位谱和幅值谱均转化成一维向量(1*N^2),那么,经过傅里叶变换,就从图像块中提取出了2*N^2个频域特征值。
得到上述频域特征值后,则从其中选择至少一个和草地特征相关的特定频域特征值,供草地识别模块316判断图像块是否为草地图像。本实施例中,提取至少一个特定坐标位置的相位值和幅值,分别作为一个特定频域特征值,供图像识别模块根据相应的预设阈值范围进行草地判断。例如,特定坐标点(x1,y1)的相位值是否位于区间(a1,b1)内,幅值是否大于c1;特定像素点(x2,y2)的相位值是否位于区间(a2,b2)内,幅值是否大于c2。在该实施例中,特定像素点的数量、各自的坐标位置、各自的相位值和幅值的阈值范围根据草地的普遍特征而选定,但并不是唯一的,有多种的选择方案和组合方式。
以下叙述采用Gabor变换获取频域特征的方法,使用Gabor变换获得的频域特征具体称为Gabor特征,从中提取的特定频域特征值具体称为特定Gabor特征值。
Gabor变换是一种短时傅里叶变换方法,其实质是在傅里叶变换中加入一个窗函数,通过窗函数来实现信号的时频分析。当选取高斯函数作为窗函数时,短时傅里叶变换称为Gabor变换。Gabor滤波器组能够很好地描述对应于空间频率(尺度)、空间位置及方向选择性的局部结构信息。因此可以利用Gabor识别草地相应的空间位置和方向等信息,判断是否为草地。
图2是本实施例使用的一组Gabor滤波器组。其为4个频率大小,8个滤波方向的排列组合所产生的滤波器组。在一种实施例中,Gabor滤波器组图像位置均为整个图像,即模板的坐标范围和所处理的图像块的坐标范围相同。Gabor滤波器生成方程如前述方法实施例,不再赘述。
模板套用到图像块上进行操作后,类似于傅里叶变换,依旧得到相位谱和幅值谱。同样类似于傅里叶变换,每个模板都会生2*N^2个Gabor特征。
提取出上述的2*N^2个Gabor特征后,并不需要判断所有的特征是否满足预设条件,而只需选定一些特定的典型特征作为特定Gabor特征值,供草地识别模块316判断其是否位于预设阈值区间内即可。
类似于傅里叶变换,Gabor特征提取单元可以选定若干个Gabor特征值,分别判断这些Gabor特征值是否在各自的阈值范围内。本实施例中,提取至少一个特定坐标位置的相位值和幅值,分别作为一个特定Gabor特征值,供草地识别模块316进行判断。例如,特定像素点(x3,y3)的相位值是否位于区间(a3,b3)内,幅值是否大于c3;特定像素点(x4,y4)的相位值是否位于区间(a4,b4)内,幅值是否大于c4。在该实施例中,特定像素点的数量、各自的坐标位置、各自的相位值和幅值的阈值范围根据草地的普遍特征而选定,但并不是唯一的,有多种的选择方案和组合方式。
Haar-like特征提取单元314将Haar-like模板应用于所述灰度图以提取至少一个和草地特征相关的特定Haar-like特征值。
Haar-like特征适用于识别具有明显、稳定结构的物体,只要结构相对固定即使发生扭曲等非线性形变依然可识别。
同样如图3至图6所示,Haar-like特征分为4类:边缘特征、线性特征、中心特征和对角线特征,每类特征均可生成一个或多个特征模板,模板内有白色和黑色两种矩形,并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。一种特征模板可以以不同形态放置到图像块中的进行特征提取,特征模板放置到图像块中的大小和位置均是可变的,每个确定的大小位置组合称为一种形态。那么,在特定形态下,将图像块中被特征模板覆盖的像素的灰度值进行加权和,即:若模板上对应的点为白色,令该点的值为灰度值乘以1,若模板上对应点为黑色,则令该点的值为灰度值乘以-1,最后将所有结果求和,就得到了图像块的一个特征值。将不同的特征模板以不同的大小和位置放置到图像块中,会产生大量的特征值。然而,在进行图像块是否草地图像的判断时,并不必然需要逐个的计算和判断出每个特征,在一种实施例中,仅需提取若干典型特征供草地识别模块316判断即可。
例如,在一种实施例中,将边缘特征模板Haar_Y2以6*6的大小放置到图像的中心位置,通过前述的加权和计算后得到一个特征值。在其他可选的实施例中,可以通过不同的模板和不同的放置形态生成多个Haar-like特征。
矩阵统计特征提取单元317对所述灰度图进行矩阵变换以提取至少一个和草地特征相关的特定矩阵统计特征值。
矩阵变换的方式为灰度共生矩变换和Hu不变矩变换的至少一种。进行灰度共生矩变换时,产生的特征具体称为灰度共生矩特征,从中提取的特定特征值为特定灰度共生矩特征值。进行Hu不变矩变换时,产生的特征具体称为Hu不变矩特征,从中提取的特定特征值为特定Hu不变矩特征值。
灰度共生矩的生成方法为,将图像中任意一点(x,y)及偏离它的一点(x+a,y+b)构成点对,其中a、b为随机的整数偏移量。设该点对的灰度值为(f1,f2),再令点(x,y)在整幅图像上移动,则会得到不同的(f1,f2)值。设图像的最大灰度级为L(一般为256),则f1与f2的组合共有L*L种。对于整幅图像,统计出每一种(f1,f2)值出现的次数,然后排列成一个方阵(大小为L*L),再用(f1,f2)出现的总次数将他们归一化为出现的概率P(f1,f2),由此产生的矩阵为灰度共生矩阵。矩阵中每个值都可以作为一个灰度共生矩特征。本步骤中,从中提取至少一个和草地特征相关的特定灰度共生矩特征值。
以下介绍Hu不变矩变换的方法。
Hu不变矩特征提取单元318生成所述图像块的Hu不变矩,从中提取至少一个和草地特征相关的特定Hu不变矩特征值;
Hu不变矩具有旋转、平移、尺度都保持不变等特点,具有非常好的抗干扰性,其处理方法是如前方法实施例所述,不再赘述:
生成了Hu不变矩后,从Hu不变矩特征中提取至少一个和草地特征相关的特定Hu不变矩特征值。
颜色通道特征提取单元319转换图像块的颜色空间,颜色空间具有多个颜色通道,从所述颜色空间中提取至少一个和草地特征相关的特定颜色通道特征值。
颜色空间包括HSV颜色空间、CMY颜色空间、Lab颜色空间或YIQ颜色空间,特定颜色通道特征值为:该特定颜色通道上各个像素的参数值的平均值。
以HSV颜色空间为例,取H通道的像素的值,求平均,即可获得一个特征,还有S通道,V通道的均值,即可生成三个特征。其他各个格式也可类似的生成多个颜色通道特征。本步骤在这些特征中提取至少一个和草地特征相关的特定颜色通道特征值。
局部特征算子提取单元通过局部特征算子提取图像块的至少一个和草地特征相关的特定局部特征值。
局部特征算子至少包括:LBP算子(局部二值模式)、WLD算子(韦伯局部算子)、SIFT算子(仿射不变特征变换)。
本实施例中,草地识别单元316首先判断一个或多个特定色调特征值是否位于对应的预设阈值区间内。本实施例中,一个特定色调特征值为图像块各个像素点的色调值的平均值,该平均值对应的预设阈值区间为0-89。若任何一个特定色调特征值不在预设阈值区间内,则判断图像块为非草地图像;若所有特定色调特征值均位于对应的预设阈值区间内,则继续判断其他的特定特征值是否位于对应的预设阈值。
若所有特定色调特征值均的判断结果均为是,草地识别单元316随后判断一个或多个特定频域特征值是否位于对应设置的预设阈值区间内。特定频域特征值可以为傅里叶变换产生的,也可以为Gabor变换产生的,也可以都有。本实施例中,首先判断相位谱中特定坐标点(x1,y1)的相位值是否位于区间(a1,b1)内,若判断结果为否,则识别图像块为非草地图像,若判断结果为是,继续判断前述特定坐标点(x1,y1)的幅值是否位于预设阈值区间内,具体的,判断该幅值是否大于c1。同样的,若任何一个特定频域特征值不在预设阈值区间内,则判断图像块为非草地图像;若所有特定频域特征值均位于对应的预设阈值区间内,则继续判断其他的特定特征值是否位于对应的预设阈值。
若所有特定频域特征值均的判断结果均为是,草地识别单元316继续判断一个或多个特定Haar-like特征值是否位于预设阈值区间内。若任何一个特定Haar-like特征值不在预设阈值区间内,则判断图像块为非草地图像;若所有特定Haar-like特征值均位于对应的预设阈值区间内,则继续判断其他的特定特征值是否位于对应的预设阈值。
若所有特定Haar-like特征值均的判断结果均为是,草地识别单元316继续判断一个或多个特定矩阵统计特征值是否位于预设阈值区间内。特定矩阵统计特征值可以为特定灰度共生矩特征值,也可以为特定Hu不变矩特征值,也可以都有。若任一个特定矩阵统计特征值的判断结果为否,则识别图像块为非草地图像,若所有特定矩阵统计特征值的判断结果为是,则继续判断其他的特定特征值是否位于对应的预设阈值。
若所有特定矩阵统计特征值的判断结果为是,草地识别单元316继续判断一个或多个特定颜色空间通道特征值是否位于预设阈值区间内。若任一个特定颜色空间通道特征值的判断结果为否,则识别图像块为非草地图像,若所有特定颜色空间通道特征值的判断结果为是,则继续判断其他的特定特征值是否位于对应的预设阈值。
若所有特定颜色空间通道特征值的判断结果为是,继续判断一个或多个局部特征值是否位于预设阈值区间内。若任一个局部特征值的判断结果为否,则识别图像块为非草地图像,若所有局部特征值的判断结果为是,则表示全部特定特征值判断完毕且均在各自对应的预设阈值区间内,此时识别该图像块为草地图像。
需要指出,本实施例中所述的各个特定特征值的判断顺序仅仅是示例性的,可以有多种变换,该判断顺序不影响本发明的实施。例如,可以首先判断各个特定颜色通道特征值是否位于对应设置的预设阈值区间后,再判断各个特定Haar-like特征值的情况,随后依次判断各个特定频域特征值的情况和特定色调特征值的情况;也可以不按照特定特征值的类别进行排序,例如先判断一个特定Haar-like特征值的情况,再判断一个特定色调特征值的情况,然后再判断另一个特定Haar-like特征值的情况,如此等等,不再赘述。
此外,上述实施例中仅仅为了描述的方便而依次介绍色调特征提取单元312,频域特征提取单元313,Haar-like特征提取单元314和草地识别单元316等,介绍的顺序并不代表其具体执行顺序。Haar-like特征提取单元314可以在色调特征提取单元312工作之前工作,各个特征提取单元中的具体工作也可以和草地识别单元316中的具体动作交叉执行。例如,可以在色调特征提取单元312提取了特定色调特征值后随即令草地识别单元316判断提取出的特定色调特征值是否位于预设阈值区间内,若否则判断图像块为非草地图像,若是令某个特征提取单元继续提取特定特征值。具体的变化形式本领域人员容易想到,不再赘述。
为了尽可能准确的识别草地,上述实施例中所提取的和草地相关的特定特征值为10个以上。当然,在某些实施例中,如果特定特征值选取恰当,其数量也可以小于10个。
以下介绍草地维护机器人的另一种可选的实施方式,该实施方式和上一实施例大致相同,其差别在于其仅具有Haar-like特征提取单元314、矩阵统计特征提取单元317和颜色通道特征提取单元319中的至少一个。相应的也就仅能提取特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值的至少一种,草地识别单元也就仅对相应能够获得的特定特征值做是否位于预设阈值区间内的判断,来识别图像块是否是草地图像。特定特征值为特定色调特征值、特定频域特征值,还包括特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值的至少一个。
以下介绍草地维护机器人的另一种可选的实施方式,该实施方式和上一实施例大致相同,其差别在于其仅具有Haar-like特征提取单元314、矩阵统计特征提取单元317和颜色通道特征提取单元319中的至少两个。相应的也就仅能提取特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值的至少两种,草地识别单元也就仅对相应能够获得的特定特征值做是否位于预设阈值区间内的判断,来识别图像块是否是草地图像。特定特征值为特定色调特征值、特定频域特征值,还包括特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值的至少两种。
按照上述的方式,主控模块31逐个判断所划分出各个图像块是否为草地图像,判断完成并将判断结果汇总后,主控模块31即可以其目标区域中的草地分布情况,哪些图像块对应的位置为草地5,哪些图像块对应的位置为非草地7,在这个基础上,将草地5和非草地7的交界处判断为边界6。在识别草地5、边界6和非草地7的基础上,主控模块31可以控制草地维护机器人保持在草地5上行走而不出界,或进行其他的特定动作如沿边界6行走回归到停靠站4等。可能的动作还有多种,在此不再赘述。
本发明不局限于所举的具体实施例结构,基于本发明构思的结构均属于本发明保护范围。

Claims (20)

1.一种基于图像的草地识别方法,其特征在于,包括以下步骤:
S0.获得待识别的图像块;
S1.处理图像块以获得图像块的色调图和灰度图;
S2.从所述色调图中,提取至少一个和草地特征相关的特定色调特征值;
S3.对所述灰度图进行频域变换以提取至少一个和草地特征相关的特定频域特征值;
S4.执行下列子步骤S41、S42、S43、S44中的至少一个:
S41.将Haar-like模板应用于所述灰度图以提取至少一个和草地特征相关的特定Haar-like特征值;
S42.对所述灰度图进行矩阵变换以提取至少一个和草地特征相关的特定矩阵统计特征值;
S43.转换图像块的颜色空间,颜色空间具有多个颜色通道,以提取所述图像块的至少一个和草地特征相关的特定颜色通道特征值;
S44.通过局部特征算子提取图像块的至少一个和草地特征相关的特定局部特征值;
S5.判断步骤S2、S3、S4中提取出的各个特定色调特征值、特定频域特征值,以及根据S4中所执行的子步骤而相应包括的特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值中的至少一个是否均位于对应的预设阈值区间内,若全部为是,则识别图像块为草地图像,否则识别图像块为非草地图像。
2.根据权利要求1所述的草地识别方法,其特征在于,所述至少一个特定色调特征值包括:各个像素点的色调值的平均值,和/或色调值在预设阈值区间内的像素点占全部像素点的比例。
3.根据权利要求1所述的草地识别方法,其特征在于:步骤S3中,所述频域变换的方式包括傅里叶变换和Gabor变换的至少一种。
4.根据权利要求3所述的草地识别方法,其特征在于,所述傅里叶变换具体为:对所述灰度图进行傅里叶变换以生成大小相同的频域图,所述频域图中各个坐标位置具有各自的相位值和幅值;提取特定频域特征值的方式具体为:提取至少一个特定坐标位置的相位值和幅值,分别作为一个特定频域特征值。
5.根据权利要求1所述的草地识别方法,其特征在于,所述步骤S41具体为:将至少一个预设特征模板以至少一种预设形态放置在图像块中,进行Haar-like运算获得Haar-like特征值,所述预设形态为预设的大小和位置。
6.根据权利要求1所述的草地识别方法,其特征在于:所述步骤S42中,矩阵变换的方式为灰度共生矩变换和Hu不变矩变换的至少一种。
7.根据权利要求1所述的草地识别方法,其特征在于,所述步骤S43中,所述颜色空间包括HSV颜色空间、CMY颜色空间、Lab颜色空间或YIQ颜色空间中的至少一种,所述特定颜色通道特征值为:特定颜色通道上各个像素的参数值的平均值。
8.根据权利要求1所述的草地识别方法,其特征在于:步骤S4中,执行子步骤S41、S42、S43、S44中的至少两个。
9.根据权利要求1所述的草地识别方法,其特征在于,步骤S0具体为:获得目标物的图像,将图像划分为若干个图像块。
10.根据权利要求1所述的草地识别方法,其特征在于,步骤S2、S3、S4中提取出的各个特定色调特征值、特定频域特征值,以及根据S4中所执行的子步骤而相应包括的特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值中的至少一个的总量至少为10个。
11.一种草坪维护机器人,包括:壳体、行走模块、安装在壳体上的图像采集装置,以及连接图像采集装置和行走模块以控制自动行走设备工作的主控模块,所述图像采集装置拍摄目标区域,形成图像;其特征在于,所述主控模块包括:图像块提取单元、图像块预处理单元、色调特征提取单元、频域特征提取单元和草地识别单元,还包括Haar-like特征提取单元、矩阵统计特征提取单元和颜色通道特征提取单元、局部特征算子单元中的至少一个;
所述图像块提取单元将图像采集装置拍摄的图像划分为若干图像块;
所述图像块预处理单元处理图像块以获得图像块的色调图和灰度图;
所述色调特征提取单元从所述色调图中提取至少一个和草地特征相关的特定色调特征值;
所述频域特征提取单元对所述灰度图进行频域变换,以提取至少一个和草地特征相关的特定频域特征值;
所述Haar-like特征提取单元将Haar-like模板应用于所述灰度图,以提取至少一个和草地特征相关的特定Haar-like特征值;
所述矩阵统计特征提取单元对所述灰度图进行矩阵变换,从变换后的矩阵中提取至少一个和草地特征相关的特定矩阵统计特征值;
所述颜色通道特征提取单元转换图像块的颜色空间,所述颜色空间具有多个颜色通道,以从中提取至少一个和草地特征相关的特定颜色通道特征值;
所述局部特征算子提取图像块的至少一个和草地特征相关的特定局部特征值;
所述草地识别单元判断提取出的各个特定色调特征值、特定频域特征值,以及根据S4中所主控模块所具有的特征提取单元而相应包括的特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值中的至少一个是否均位于对应的预设阈值区间内,若全部为是,则识别图像块为草地图像,否则识别图像块为非草地图像。
12.根据权利要求11所述的草坪维护机器人,其特征在于,所述至少一个特定色调特征值包括:各个像素点的色调值的平均值,和/或色调值在预设阈值区间内的像素点占全部像素点的比例。
13.根据权利要求11所述的草地识别方法,其特征在于:所述频域变换的方式包括傅里叶变换和Gabor变换的至少一种。
14.根据权利要求13所述的草地识别方法,其特征在于,所述傅里叶变换具体为:对所述灰度图进行傅里叶变换以生成大小相同的频域图,所述频域图中各个坐标位置具有各自的相位值和幅值;提取特定频域特征值的方式具体为:提取至少一个特定坐标位置的相位值和幅值,分别作为一个特定频域特征值。
15.根据权利要求11所述的草坪维护机器人,其特征在于,所述Haar-like特征提取单元将至少一个预设特征模板以至少一种预设形态放置在图像块中,进行Haar-like运算获得Haar-like特征值,所述预设形态为预设的大小和位置。
16.根据权利要求11所述的草地识别方法,其特征在于:所述矩阵变换的方式为灰度共生矩变换和Hu不变矩变换的至少一种。
17.根据权利要求11所述的草地识别方法,其特征在于,所述颜色空间包括HSV颜色空间、CMY颜色空间、Lab颜色空间或YIQ颜色空间中的至少一种,所述特定颜色通道特征值为:特定颜色通道上各个像素的参数值的平均值。
18.根据权利要求11所述的草坪维护机器人,其特征在于:所述主控模块包括Haar-like特征提取单元、矩阵统计特征提取单元、颜色通道特征提取单元和局部特征提取单元中的至少两个。
19.根据权利要求11所述的草坪维护机器人,其特征在于,所述特定颜色通道特征值为:该特定颜色通道上各个像素的参数值的平均值。
20.根据权利要求11所述的草坪维护机器人,其特征在于,所述提取出的各个特定色调特征值、特定频域特征值,以及根据S4中所主控模块所具有的特征提取单元而相应包括的特定Haar-like特征值、特定矩阵统计特征值、特定颜色通道特征值、特定局部特征值中的至少一个的总量至少为10个。
CN201410490228.3A 2014-09-23 2014-09-23 基于图像的草地识别方法及草坪维护机器人 Pending CN105512689A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201410490228.3A CN105512689A (zh) 2014-09-23 2014-09-23 基于图像的草地识别方法及草坪维护机器人
JP2017534872A JP2017535279A (ja) 2014-09-23 2015-09-23 自動移動ロボット
EP15845392.8A EP3199009B1 (en) 2014-09-23 2015-09-23 Self-moving robot
PCT/CN2015/090468 WO2016045593A1 (zh) 2014-09-23 2015-09-23 自移动机器人
US15/513,106 US10609862B2 (en) 2014-09-23 2015-09-23 Self-moving robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410490228.3A CN105512689A (zh) 2014-09-23 2014-09-23 基于图像的草地识别方法及草坪维护机器人

Publications (1)

Publication Number Publication Date
CN105512689A true CN105512689A (zh) 2016-04-20

Family

ID=55720655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410490228.3A Pending CN105512689A (zh) 2014-09-23 2014-09-23 基于图像的草地识别方法及草坪维护机器人

Country Status (1)

Country Link
CN (1) CN105512689A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155053A (zh) * 2016-06-24 2016-11-23 桑斌修 一种割草方法、装置以及系统
CN107463166A (zh) * 2016-06-03 2017-12-12 苏州宝时得电动工具有限公司 自动行走设备及其控制行走方法
CN107463167A (zh) * 2016-06-03 2017-12-12 苏州宝时得电动工具有限公司 自动行走设备及目标区域识别方法
WO2017211308A1 (zh) * 2016-06-07 2017-12-14 苏州宝时得电动工具有限公司 自移动园艺设备
CN107564071A (zh) * 2016-07-01 2018-01-09 苏州宝时得电动工具有限公司 一种图像识别草地方法及装置
CN107561079A (zh) * 2017-10-23 2018-01-09 杭州晶智能科技有限公司 一种基于结构光的草地识别系统
CN107796361A (zh) * 2017-10-15 2018-03-13 杭州晶智能科技有限公司 一个基于线性激光扫描的草地识别系统
CN108694415A (zh) * 2018-05-16 2018-10-23 南京大学 图像特征提取方法、装置及水源图像分类方法、装置
CN108830594A (zh) * 2018-06-22 2018-11-16 李秀全 多模式电子支付系统
CN109328615A (zh) * 2018-12-06 2019-02-15 南京苏美达智能技术有限公司 草地边界识别方法、割草装置的控制方法及割草装置
CN109343533A (zh) * 2018-11-09 2019-02-15 深圳蓝胖子机器人有限公司 一种高尔夫球场草坪维护的机器人系统及其控制方法
CN109508623A (zh) * 2018-08-31 2019-03-22 杭州千讯智能科技有限公司 基于图像处理的物品识别方法和装置
CN109584258A (zh) * 2018-12-06 2019-04-05 南京苏美达智能技术有限公司 草地边界识别方法及应用其的智能割草装置
CN109641351A (zh) * 2018-06-08 2019-04-16 深圳蓝胖子机器人有限公司 一种物体特征的识别方法、视觉识别装置及机器人
CN109716913A (zh) * 2018-12-28 2019-05-07 王雪芬 割草模式选择平台
CN110044923A (zh) * 2019-04-29 2019-07-23 北京工业大学 一种基于边缘算法的现浇结构外观质量检测智能机器人
CN110447372A (zh) * 2019-08-30 2019-11-15 上海工程技术大学 一种基于机器视觉的割草机器人的调度方法
CN110612806A (zh) * 2018-06-19 2019-12-27 灵动科技(北京)有限公司 一种智能割草机
CN112230256A (zh) * 2019-07-15 2021-01-15 苏州宝时得电动工具有限公司 自主机器人及其定位校准方法、装置和存储介质
US20210204473A1 (en) * 2018-05-22 2021-07-08 Positec Power Tools (Suzhou) Co., Ltd. Autonomous lawnmower and steering method thereof
CN113449730A (zh) * 2020-03-27 2021-09-28 苏州科瓴精密机械科技有限公司 图像处理方法、系统、自动行走设备及可读存储介质
CN114004982A (zh) * 2021-10-27 2022-02-01 中国科学院声学研究所 一种面向水中目标识别的声学Haar特征提取方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692224A (zh) * 2009-07-08 2010-04-07 南京师范大学 融合空间关系语义的高分辨率遥感图像检索方法
CN102339388A (zh) * 2011-06-27 2012-02-01 华中科技大学 一种基于图像的地面状态种类识别方法
EP2502481B1 (en) * 2011-03-23 2013-02-13 Fabrizio Bernini Apparatus for cutting grass
CN103530647A (zh) * 2013-10-10 2014-01-22 哈尔滨工程大学 基于分数傅里叶变换的纹理分类方法
CN103839069A (zh) * 2014-03-11 2014-06-04 浙江理工大学 基于图像分析的漏割草坪识别方法
CN103901890A (zh) * 2014-04-09 2014-07-02 中国科学院深圳先进技术研究院 基于家庭庭院的户外自动行走装置及其控制系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692224A (zh) * 2009-07-08 2010-04-07 南京师范大学 融合空间关系语义的高分辨率遥感图像检索方法
EP2502481B1 (en) * 2011-03-23 2013-02-13 Fabrizio Bernini Apparatus for cutting grass
CN102339388A (zh) * 2011-06-27 2012-02-01 华中科技大学 一种基于图像的地面状态种类识别方法
CN103530647A (zh) * 2013-10-10 2014-01-22 哈尔滨工程大学 基于分数傅里叶变换的纹理分类方法
CN103839069A (zh) * 2014-03-11 2014-06-04 浙江理工大学 基于图像分析的漏割草坪识别方法
CN103901890A (zh) * 2014-04-09 2014-07-02 中国科学院深圳先进技术研究院 基于家庭庭院的户外自动行走装置及其控制系统和方法

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463166A (zh) * 2016-06-03 2017-12-12 苏州宝时得电动工具有限公司 自动行走设备及其控制行走方法
CN107463167A (zh) * 2016-06-03 2017-12-12 苏州宝时得电动工具有限公司 自动行走设备及目标区域识别方法
WO2017211308A1 (zh) * 2016-06-07 2017-12-14 苏州宝时得电动工具有限公司 自移动园艺设备
CN106155053A (zh) * 2016-06-24 2016-11-23 桑斌修 一种割草方法、装置以及系统
CN107564071A (zh) * 2016-07-01 2018-01-09 苏州宝时得电动工具有限公司 一种图像识别草地方法及装置
CN107796361A (zh) * 2017-10-15 2018-03-13 杭州晶智能科技有限公司 一个基于线性激光扫描的草地识别系统
CN107561079B (zh) * 2017-10-23 2019-12-17 杭州晶一智能科技有限公司 一种基于结构光的草地识别系统
CN107561079A (zh) * 2017-10-23 2018-01-09 杭州晶智能科技有限公司 一种基于结构光的草地识别系统
CN108694415A (zh) * 2018-05-16 2018-10-23 南京大学 图像特征提取方法、装置及水源图像分类方法、装置
CN108694415B (zh) * 2018-05-16 2022-08-12 南京大学 图像特征提取方法、装置及水源图像分类方法、装置
US20210204473A1 (en) * 2018-05-22 2021-07-08 Positec Power Tools (Suzhou) Co., Ltd. Autonomous lawnmower and steering method thereof
CN109641351A (zh) * 2018-06-08 2019-04-16 深圳蓝胖子机器人有限公司 一种物体特征的识别方法、视觉识别装置及机器人
CN109641351B (zh) * 2018-06-08 2021-11-26 深圳蓝胖子机器人有限公司 一种物体特征的识别方法、视觉识别装置及机器人
US11327502B2 (en) 2018-06-19 2022-05-10 Lingdong Technology (Beijing) Co. Ltd Smart lawn mower
CN110612806B (zh) * 2018-06-19 2021-04-20 灵动科技(北京)有限公司 一种智能割草机
CN110612806A (zh) * 2018-06-19 2019-12-27 灵动科技(北京)有限公司 一种智能割草机
CN108830594A (zh) * 2018-06-22 2018-11-16 李秀全 多模式电子支付系统
CN109508623A (zh) * 2018-08-31 2019-03-22 杭州千讯智能科技有限公司 基于图像处理的物品识别方法和装置
CN109343533A (zh) * 2018-11-09 2019-02-15 深圳蓝胖子机器人有限公司 一种高尔夫球场草坪维护的机器人系统及其控制方法
CN109328615B (zh) * 2018-12-06 2021-05-28 南京苏美达智能技术有限公司 草地边界识别方法、割草装置的控制方法及割草装置
CN109584258B (zh) * 2018-12-06 2021-10-15 南京苏美达智能技术有限公司 草地边界识别方法及应用其的智能割草装置
CN109584258A (zh) * 2018-12-06 2019-04-05 南京苏美达智能技术有限公司 草地边界识别方法及应用其的智能割草装置
CN109328615A (zh) * 2018-12-06 2019-02-15 南京苏美达智能技术有限公司 草地边界识别方法、割草装置的控制方法及割草装置
CN109716913A (zh) * 2018-12-28 2019-05-07 王雪芬 割草模式选择平台
CN110044923A (zh) * 2019-04-29 2019-07-23 北京工业大学 一种基于边缘算法的现浇结构外观质量检测智能机器人
CN112230256A (zh) * 2019-07-15 2021-01-15 苏州宝时得电动工具有限公司 自主机器人及其定位校准方法、装置和存储介质
CN112230256B (zh) * 2019-07-15 2024-04-09 苏州宝时得电动工具有限公司 自主机器人及其定位校准方法、装置和存储介质
CN110447372A (zh) * 2019-08-30 2019-11-15 上海工程技术大学 一种基于机器视觉的割草机器人的调度方法
CN113449730A (zh) * 2020-03-27 2021-09-28 苏州科瓴精密机械科技有限公司 图像处理方法、系统、自动行走设备及可读存储介质
CN114004982A (zh) * 2021-10-27 2022-02-01 中国科学院声学研究所 一种面向水中目标识别的声学Haar特征提取方法及系统

Similar Documents

Publication Publication Date Title
CN105512689A (zh) 基于图像的草地识别方法及草坪维护机器人
CN108009542B (zh) 油菜大田环境下杂草图像分割方法
CN105938564B (zh) 基于主成分分析和神经网络的水稻病害识别方法及系统
Dalla Mura et al. Morphological attribute profiles for the analysis of very high resolution images
Guijarro et al. Discrete wavelets transform for improving greenness image segmentation in agricultural images
Sirmacek et al. Urban-area and building detection using SIFT keypoints and graph theory
CN103247059B (zh) 一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法
CN101813475B (zh) 远距离障碍的自适应检测方法
CN104680180B (zh) 基于k均值和稀疏自编码的极化sar图像分类方法
Chowdhury et al. A novel texture feature based multiple classifier technique for roadside vegetation classification
CN106127749A (zh) 基于视觉注意机制的目标零件识别方法
CN104008551B (zh) 一种基于可见光图像的柑橘黄龙病检测方法
CN104809452A (zh) 一种指纹识别方法
CN104598908A (zh) 一种农作物叶部病害识别方法
CN108257151B (zh) 基于显著性分析的PCANet图像变化检测方法
CN109472262A (zh) 车牌识别方法、装置、计算机设备及存储介质
CN107239759A (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
CN103593652B (zh) 一种基于黄瓜叶片症状图像处理的黄瓜病害识别方法
CN104835175A (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN103544488B (zh) 一种人脸识别方法及装置
CN103065136A (zh) 一种基于视觉注意机制的sar图像协同目标识别方法
CN104680184A (zh) 基于深度rpca的极化sar地物分类方法
Almeer Vegetation extraction from free google earth images of deserts using a robust BPNN approach in HSV Space
Lee et al. Applying cellular automata to hyperspectral edge detection
CN105447457A (zh) 一种基于自适应特征的车牌字符识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160420