CN107862721B - 一种基于双目立体视觉的草地二次识别系统 - Google Patents

一种基于双目立体视觉的草地二次识别系统 Download PDF

Info

Publication number
CN107862721B
CN107862721B CN201711246279.1A CN201711246279A CN107862721B CN 107862721 B CN107862721 B CN 107862721B CN 201711246279 A CN201711246279 A CN 201711246279A CN 107862721 B CN107862721 B CN 107862721B
Authority
CN
China
Prior art keywords
grassland
pixel
value
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711246279.1A
Other languages
English (en)
Other versions
CN107862721A (zh
Inventor
付江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU ZHONGKE RUISAI POLLUTION CONTROL ENGINEERING Co.,Ltd.
Original Assignee
Hangzhou Jingyi Intelligent Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Jingyi Intelligent Science and Technology Co Ltd filed Critical Hangzhou Jingyi Intelligent Science and Technology Co Ltd
Priority to CN201711246279.1A priority Critical patent/CN107862721B/zh
Publication of CN107862721A publication Critical patent/CN107862721A/zh
Application granted granted Critical
Publication of CN107862721B publication Critical patent/CN107862721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

本发明公开一种基于双目立体视觉的草地二次识别系统，包括可以自主移动的运动平台，以及安装在所述的运动平台前部的左摄像头和右摄像头，所述的左摄像头和右摄像头的光轴相互平行，所述的运动平台内部设置控制器，与所述的左摄像头和右摄像头连接，所述的控制器可同步获取所述的左摄像头和右摄像头所采集的图像，所述的控制器内部设置草地二次识别算法，确认所述的运动平台的前进方向是否为草地，所述的草地二次识别算法包括图像同步获取、提取视差图H(x,y)然后进行差分处理、二值化处理，进而计算像素占比α和分布占比，最后根据这个两个参数判断是否为草地或者是否局部为草地。

Description

一种基于双目立体视觉的草地二次识别系统
技术领域
本专利涉及一种基于双目立体视觉的草地二次识别系统，属于智能检测领域。
背景技术
智能化的割草机器可以帮助我们定期修剪草坪，保持美观。但是，当前技术还不成熟，在工作区域识别上还做不到智能识别，只是在草地周边铺设电缆，并在电缆上通直流电，割草机器通过识别电场方向来确定工作区域。该方法可靠性高，但是需要增加硬件成本，并且随着草地面积的增大，其硬件成本也迅速增加。而目前，草地智能识别主要是采用摄像头进行图像采集，如果图像大部分区域为绿色则可以判断为草地，否则为非草地。这种方法最大的挑战就是无法区分出绿色地砖。
发明内容
针对上述问题，本专利采用智能检测与判断的方法，提供一种基于双目立体视觉的草地二次识别系统，让割草机器在识别出绿色之后，进行二次判断，增加判断的可靠性。
本专利解决其技术问题所采用的技术方案是：
一种基于双目立体视觉的草地二次识别系统，包括可以自主移动的运动平台，以及安装在所述的运动平台前部的左摄像头和右摄像头，所述的左摄像头和右摄像头的光轴相互平行，所述的运动平台内部设置控制器，与所述的左摄像头和右摄像头连接，所述的控制器可同步获取所述的左摄像头和右摄像头所采集的图像，所述的控制器内部设置草地二次识别算法，确认所述的运动平台的前进方向是否为草地，所述的草地二次识别算法包括以下步骤：
（1）所述的控制器同步获取所述的左摄像头和右摄像头采集的图像数据fL(x,y)和fR(x,y)，其中x=1~M，y=1~N，其中，M为x轴方向上的最大像素个数，N为y轴方向上的最大像素个数；
（2）采用立体视觉算法，对图像数据fL(x,y)和fR(x,y)提取视差图H(x,y)；
（3）沿y轴方向，对视差图H(x,y)进行差分处理，得到差分图Dy(x,y)；
（4）根据差分值大小，对差分图Dy(x,y)进行二值化处理，得到二值图B(x,y);
（5）统计二值图B(x,y)中数值为1的像素数量K，得到像素占比α=K/(M×N)；求取二值图B(x,y)中数值为1的像素的坐标最大最小值，计算分布范围S=(xMAX-xMIN)×(yMAX-yMIN)，得分布占比β=S/(M×N)；
（6）如果像素占比α>Tp，同时分布占比β>Ts，其中Tp为像素占比阈值，Ts为分布占比阈值，则判断为草地；如果像素占比α<Tp，或者分布占比β<Ts，则判断为局部草地；如果像素占比α<Tp，同时分布占比β<Ts，则为非草地。
在步骤(2)中，所述的立体视觉算法为SAD算法，公式为：
SAD(x,y)=
Figure DEST_PATH_IMAGE001
，其中k为计算窗口的尺寸参数，当 SAD(x,y)取得有效最小时，视差值H(x,y)=h；如果SAD(x,y)不能取得有效最小时，匹配无 效，记H(x,y)=∞。
在步骤(3)中，差分处理过程如下：
① 如果像素点(x,y)处的视差H(x,y)为∞, 则像素点(x,y)处的差分值Dy(x,y)=E，其中E表示无效值；
② 如果像素点(x,y)处的视差H(x,y)不是∞，则沿y轴方向，向上查询第一个视差值为非∞的像素点(x,y+i)，同时i<10，然后求差分Dy(x,y)= |H(x,y)- H(x,y+i)|；如果i<10的情况下，像素点(x,y+i)的视差值都为∞，则Dy(x,y)=E。
在步骤(4)中，二值化的过程如下：
① 如果Dy(x,y)为E，则B(x,y)=0；
② 如果Dy(x,y)< Tb，则B(x,y)=0，其中Tb为二值化阈值；
③ 如果Dy(x,y)≥Tb，则B(x,y)=1。
本专利的有益效果主要表现在：1、在颜色识别的基础上，进行二次识别，采用双目立体视觉获取场景的深度信息，根据草叶与所在地面的高度差进行判断；2、性能可靠，成本低。
附图说明
图1是草地二次识别系统的外形图；
图2是草地二次识别系统的检测原理示意图；
图3是草地二次识别系统的流程图。
具体实施方式
下面结合附图对本发明作进一步描述：
参照图1-3，一种基于双目立体视觉的草地二次识别系统，包括可以自主移动的运动平台1，以及安装在所述的运动平台1前部的左摄像头3和右摄像头2，所述的左摄像头3和右摄像头2的光轴相互平行，所述的运动平台1内部设置控制器，与所述的左摄像头3和右摄像头2连接，所述的控制器可同步获取所述的左摄像头3和右摄像头2所采集的图像，所述的控制器内部设置草地二次识别算法。该算法是在颜色识别的基础上，进行二次识别，保证识别的可靠性。其原理是采用双目立体视觉获取场景的深度信息，根据草叶与所在地面的高度差进行判断。
所述的草地二次识别算法包括以下步骤：
（1）所述的控制器同步获取所述的左摄像头3和右摄像头2采集的图像数据fL(x,y)和fR(x,y)，其中x=1~M，y=1~N，其中，M为x轴方向上的最大像素个数，N为y轴方向上的最大像素个数；
在该步骤中，图像数据fL(x,y)和fR(x,y)是在同一时间采用同一场景的图像，那么场景中的同一对象在fL(x,y)和fR(x,y)中的x坐标是不同的，这就是视差，视差越大，距离越近，视差越小，距离越远。
（2）采用立体视觉算法，对图像数据fL(x,y)和fR(x,y)提取视差图H(x,y)；
在步骤(2)中，所述的立体视觉算法为SAD算法，公式为：
SAD(x,y)=
Figure RE-727346DEST_PATH_IMAGE002
，其中k为计算窗口的尺寸参数。当SAD(x,y)取得有效最小时，视差值H(x,y)=h；如果SAD(x,y)不能取得有效最小时，匹配无效，记H(x,y)=∞。
参照附图2，在典型区域4内，下面部分为草叶的顶端，上面部分为地面，两个部分到所述的左摄像头3和右摄像头2的距离是不同的；同样，在典型区域5内，下面部分为草叶的顶端，上面部分为另外一株草叶，两个部分到所述的左摄像头3和右摄像头2的距离也是不同的。这些特征对于平整的绿色地砖是不具有的，因此接下来的步骤将会提取这些特征，并进行判断。
（3）沿y轴方向，对视差图H(x,y)进行差分处理，得到差分图Dy(x,y)；
在步骤(3)中，差分处理过程如下：
①如果像素点(x,y)处的视差H(x,y)为∞, 则像素点(x,y)处的差分值Dy(x,y)=E，其中E表示无效值；
② 如果像素点(x,y)处的视差H(x,y)不是∞，则沿y轴方向，向上查询第一个视差值为非∞的像素点(x,y+i)，同时i<10，然后求差分Dy(x,y)= |H(x,y)- H(x,y+i)|；如果i<10的情况下，像素点(x,y+i)的视差值都为∞，则Dy(x,y)=E。
步骤(3)是提取草地表面不平整的有效特征，作为识别的判据。
（4）根据差分值大小，对差分图Dy(x,y)进行二值化处理，得到二值图B(x,y);
在步骤(4)中，二值化的过程如下：
① 如果Dy(x,y)为E，则B(x,y)=0；
② 如果Dy(x,y)<Tb，则B(x,y)=0，其中Tb为二值化阈值；
③ 如果Dy(x,y)≥Tb，则B(x,y)=1。
对于平整的绿色地砖，视差值的变化是缓慢而又规律的，差分值都很小；而对于草地，由于植物垂直生长，会有很多遮挡，因此视差值的变化是剧烈而又无规律，因此通过二值化阈值Tb可以提取出草叶边缘存在视差值跳变的地方，并保留下来。
（5）统计二值图B(x,y)中数值为1的像素数量K，得到像素占比α=K/(M×N)；求取二值图B(x,y)中数值为1的像素的坐标最大最小值，计算分布范围S=(xMAX-xMIN)×(yMAX-yMIN)，得分布占比β=S/(M×N)；
像素占比α代表所述的左摄像头3和右摄像头2的图像采集范围内的草地数量；分布占比β代表所述的左摄像头3和右摄像头2的图像采集范围内的草地分布范围大小。
（6）如果像素占比α>Tp，同时分布占比β>Ts，其中Tp为像素占比阈值，Ts为分布占比阈值，则草地具有足够的分布数量和分布范围，可以判断为草地；如果像素占比α<Tp，或者分布占比β<Ts，则草地不具有足够的分布数量或者分布范围狭小，因此判断为局部草地；如果像素占比α<Tp，同时分布占比β<Ts，则草地的分布数量和分布范围都很小或者没有，可判断为非草地。

Claims (4)

1.一种基于双目立体视觉的草地二次识别系统，包括可以自主移动的运动平台，以及安装在所述的运动平台前部的左摄像头和右摄像头，所述的左摄像头和右摄像头的光轴相互平行，其特征在于：所述的运动平台内部设置控制器，与所述的左摄像头和右摄像头连接，所述的控制器可同步获取所述的左摄像头和右摄像头所采集的图像，所述的控制器内部设置草地二次识别算法，确认所述的运动平台的前进方向是否为草地，所述的草地二次识别算法包括以下步骤：
（1）所述的控制器同步获取所述的左摄像头和右摄像头采集的图像数据fL(x,y)和fR(x,y)，其中x=1~M，y=1~N，其中，M为x轴方向上的最大像素个数，N为y轴方向上的最大像素个数；
（2）采用立体视觉算法，对图像数据fL(x,y)和fR(x,y)提取视差图H(x,y)；
（3）沿y轴方向，对视差图H(x,y)进行差分处理，得到差分图Dy(x,y)；
（4）根据差分值大小，对差分图Dy(x,y)进行二值化处理，得到二值图B(x,y);
（5）统计二值图B(x,y)中数值为1的像素数量K，得到像素占比α=K/(M×N)；求取二值图B(x,y)中数值为1的像素的坐标最大最小值，计算分布范围S=(xMAX-xMIN)×(yMAX-yMIN)，得分布占比β=S/(M×N)；
（6）如果像素占比α>Tp，同时分布占比β>Ts，其中Tp为像素占比阈值，Ts为分布占比阈值，则判断为草地；如果像素占比α<Tp，或者分布占比β<Ts，则判断为局部草地；如果像素占比α<Tp，同时分布占比β<Ts，则判断为非草地。
2.根据权利要求1所述的一种基于双目立体视觉的草地二次识别系统，其特征是：在步骤(2)中，所述的立体视觉算法为SAD算法，公式为：
SAD(x,y)=
Figure 624706DEST_PATH_IMAGE002
，其中k为计算窗口的尺寸参数，当SAD(x,y)取得有效最小时，视差值H(x,y)=h；如果SAD(x,y)不能取得有效最小时，匹配无效，记H(x,y)=∞。
3.根据权利要求1所述的一种基于双目立体视觉的草地二次识别系统，其特征是：在步骤(3)中，差分处理过程如下：
① 如果像素点(x,y)处的视差H(x,y)为∞, 则像素点(x,y)处的差分值Dy(x,y)=E，其中E表示无效值；
② 如果像素点(x,y)处的视差H(x,y)不是∞，则沿y轴方向，向上查询第一个视差值为非∞的像素点(x,y+i)，同时i<10，然后求差分Dy(x,y)=|H(x,y)-H(x,y+i)|；如果i<10的情况下，像素点(x,y+i)的视差值都为∞，则Dy(x,y)=E。
4.根据权利要求1所述的一种基于双目立体视觉的草地二次识别系统，其特征是：在步骤(4)中，二值化的过程如下：
① 如果Dy(x,y)为E，则B(x,y)=0；
② 如果Dy(x,y)<Tb，则B(x,y)=0，其中Tb为二值化阈值；
③ 如果Dy(x,y)≥Tb，则B(x,y)=1。
CN201711246279.1A 2017-12-01 2017-12-01 一种基于双目立体视觉的草地二次识别系统 Active CN107862721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711246279.1A CN107862721B (zh) 2017-12-01 2017-12-01 一种基于双目立体视觉的草地二次识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711246279.1A CN107862721B (zh) 2017-12-01 2017-12-01 一种基于双目立体视觉的草地二次识别系统

Publications (2)

Publication Number Publication Date
CN107862721A CN107862721A (zh) 2018-03-30
CN107862721B true CN107862721B (zh) 2020-06-16

Family

ID=61704465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711246279.1A Active CN107862721B (zh) 2017-12-01 2017-12-01 一种基于双目立体视觉的草地二次识别系统

Country Status (1)

Country Link
CN (1) CN107862721B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960096B (zh) * 2018-06-22 2021-08-17 深圳市恒天伟焱科技股份有限公司 基于立体视觉和红外成像的人体识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331600A (ja) * 1995-05-30 1996-12-13 Sanyo Electric Co Ltd 立体映像表示装置の映像信号処理装置
US7200261B2 (en) * 2000-08-25 2007-04-03 Fujifilm Corporation Parallax image capturing apparatus and parallax image processing apparatus
CN101968347A (zh) * 2010-08-31 2011-02-09 苏州大学 一种扁平粒状物表面平整度的提取方法
CN102609724A (zh) * 2012-02-16 2012-07-25 北京航空航天大学 一种基于双摄像头的周围环境信息提示方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN107006229A (zh) * 2017-03-30 2017-08-04 江苏科技大学 一种坐骑式割草机翻滚保护装置及其保护方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331600A (ja) * 1995-05-30 1996-12-13 Sanyo Electric Co Ltd 立体映像表示装置の映像信号処理装置
US7200261B2 (en) * 2000-08-25 2007-04-03 Fujifilm Corporation Parallax image capturing apparatus and parallax image processing apparatus
CN101968347A (zh) * 2010-08-31 2011-02-09 苏州大学 一种扁平粒状物表面平整度的提取方法
CN102609724A (zh) * 2012-02-16 2012-07-25 北京航空航天大学 一种基于双摄像头的周围环境信息提示方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN107006229A (zh) * 2017-03-30 2017-08-04 江苏科技大学 一种坐骑式割草机翻滚保护装置及其保护方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于双目立体视觉的障碍物识别研究;刘絮;《中国优秀硕士学位论文全文数据库(电子期刊) 信息科技辑》;20150531;全文 *
基于连续视差图差分算法的运动人体检测方法研究;张大禹 等;《自动化技术与应用》;20130531;全文 *

Also Published As

Publication number Publication date
CN107862721A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
EP1655620B1 (en) Obstacle detection using stereo vision
CN109063575B (zh) 一种基于单目视觉的智能割草机自主有序割草方法
CN103336946B (zh) 一种基于双目立体视觉的成簇状番茄识别方法
CN109919944B (zh) 一种复杂场景建筑物变化检测的联合超像素图割优化方法
US20070071311A1 (en) Method for processing stereo vision data using image density
CN104217208A (zh) 目标检测方法和装置
CN104657968B (zh) 车载三维激光点云立面分类及轮廓线提取自动化方法
CN104050682A (zh) 一种融合颜色和深度信息的图像分割方法
CN102867177A (zh) 一种基于图像灰度匹配的人数统计方法
CN103886321A (zh) 一种手指静脉特征提取方法
CN104091175B (zh) 一种基于Kinect深度信息获取技术的害虫图像自动识别方法
CN104036483A (zh) 图像处理系统和图像处理方法
CN103295018A (zh) 一种枝叶遮挡果实精确识别方法
CN102999757A (zh) 导航线提取方法
CN102917175A (zh) 基于相机阵列合成孔径成像的遮挡多目标自动抠像方法
WO2022095137A1 (zh) 一种应用于自行走设备的障碍物识别方法及自行走设备
CN105701812B (zh) 适用于采棉机器人的视觉识别系统
CN104036231A (zh) 人体躯干识别装置及方法、终点影像检测方法、装置
CN107862721B (zh) 一种基于双目立体视觉的草地二次识别系统
CN103400113A (zh) 基于图像处理的高速公路隧道行人检测方法
CN106570883B (zh) 一种基于rgb-d相机的人数统计方法
CN102073848A (zh) 一种基于智能优化的道路识别系统与方法
CN107093182A (zh) 一种基于特征拐点的人体高度估计方法
CN105427279A (zh) 一种基于计算机视觉及物联网的草原旱情监测系统和方法
CN105631868A (zh) 一种基于图像分类的深度信息提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210114

Address after: 224000 group 1, village committee of the people's Federation of China, Tinghu New District, Yancheng City, Jiangsu Province (28)

Patentee after: JIANGSU ZHONGKE RUISAI POLLUTION CONTROL ENGINEERING Co.,Ltd.

Address before: 310013 room 1402, business building, 199 Wensanlu Road, Xihu District, Hangzhou, Zhejiang.

Patentee before: HANGZHOU JINGYI INTELLIGENT SCIENCE & TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right