CN114047753A - 一种基于深度视觉的扫地机器人障碍物识别和避障方法 - Google Patents
一种基于深度视觉的扫地机器人障碍物识别和避障方法 Download PDFInfo
- Publication number
- CN114047753A CN114047753A CN202111291019.2A CN202111291019A CN114047753A CN 114047753 A CN114047753 A CN 114047753A CN 202111291019 A CN202111291019 A CN 202111291019A CN 114047753 A CN114047753 A CN 114047753A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- axis
- depth
- obstacles
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010408 sweeping Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004888 barrier function Effects 0.000 claims abstract description 5
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- -1 hair Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于深度视觉的扫地机器人障碍物识别和避障方法,用于使扫地机器人提前感知前方工作区域内的障碍物,并根据障碍物类型采取对应的避障方式。一种基于深度视觉的扫地机器人障碍物识别和避障方法主要包括六个步骤:首先利用深度相机对扫地机器人前方区域进行信息采集;然后提取深度图像中各像素点的空间位置信息,标记出地面区域;再在深度图像中标记出路径空间区域,并分割出障碍物的图像;根据障碍物图像利用x轴和y轴像素分布直方图和深度直方图区分出障碍物类别;根据障碍物类别,选择绕行避障方式或折返避障方式,并执行避障操作;最后扫地机器人向前行驶,进行正常清扫工作,并循环执行前五个步骤。
Description
技术领域
本发明涉及机器人领域,特别涉及一种基于深度视觉的扫地机器人障碍物识别和避障方法。
背景技术
如今,扫地机器人已经逐渐走入人民大众的视野,其能够轻松打扫灰尘、毛发、纸屑等垃圾且不需要人工操作的优点深受广大人民的喜爱。但我国目前对扫地机器人的研究还处于初级阶段,现有的扫地机器人避障方式大多数都是采用激光、超声波、压力等被动式响应的传感器,这些传感器往往都不具备对路径障碍进行判断能力,因此常会存在卡在餐桌或餐椅之间,在餐桌下迷路,存在易被塑料袋、室内电线、衣架等小型的障碍物缠绕的风险。
本发明采用的深度摄像头获取的是深度图像,即用灰度值来表示距离信息的图像,可在原有xoy平面空间上加入一个z轴,从而实现三维空间的构建,使扫地机器人可提前感知行驶路径上的障碍物,并根据障碍物类别,提前做出避障路径规划,且深度摄像头采用的是主动光感知技术,克服了普通RGB相机被动感知光线而受光照影响较大,在强光或昏暗的环境下无法工作的弊端。
本发明提出一种基于深度视觉实现扫地机器人自主避障和路径规划的方法,该方法可以令扫地机器人提前识别行驶路径上的障碍物,并自主做出规避路线的规划,实现扫地机器人在遇到障碍的情况下也可完成无死角清扫工作。
发明内容
本发明提供了一种基于深度视觉的扫地机器人障碍物识别和避障方法,用于识别障碍物的位置和类型,并进行主动避障。
本发明采用如下方法来实现:一种基于深度视觉的扫地机器人障碍物识别和避障方法,其特征在于,包括:
步骤一、利用深度摄像头对扫地机器人前方区域进行信息采集,获取深度图像;
步骤二、提取深度图像中各像素点的三维坐标信息,标记出地面区域;
步骤三、在深度图像中标记出路径空间区域,滤去区域内小于1米深度的像素,并结合步骤二中的地面区域分割出障碍物的图像;
步骤四、利用路径空间区域内的障碍物图像做出x轴和y轴的像素分布直方图,并通过分析直方图区分出障碍物类型;
步骤五、根据步骤四中识别出的障碍物类别,选择绕行避障方式或折返避障方式,并执行避障操作;
步骤六、扫地机器人向前行驶,进行正常清扫工作,并循环执行步骤一~五。
步骤二中,采用了平面模型检测算法在获取的深度图像中将地面区域标记出来,分离前景中地面的像素点和障碍物的像素点,具体步骤如下:
步骤二一:建立地面平面模型,因为深度摄像头可获取图像中每一个像素点的x、y、z轴的坐标,所以深度摄像头拍摄到的图像中地面区域的像素点云可根据空间平面公式在三维空间中拟合成一个固定的平面,拟合平面公式如下:
Ax0+By0+Cz0+D=0 (1)
其中,x0、y0、z0为深度图像中地面区域像素点的空间坐标,A、B、C、D为平面系数;由于扫地机器人上的摄像头与地面的相对位置是固定不变的,因此地面在深度图像中拟合出来的平面也会是一个固定的平面,平面系数可人为事先确定;
步骤二二:将深度图像中所有像素点坐标依次代入到步骤二一中设置的地面平面模型中,计算出拟合误差,拟合误差公式如下:
Ax+By+Cz+D=e (2)
其中,e为拟合误差,x、y、z为深度图像中每一个像素点的空间坐标;通过设置误差阈值δ来判断该像素点是否属于这个模型,若|e|≤δ,则视为属于地面的像素点并进行标记,若|e|>δ,则视为障碍物的像素点。
步骤三中,标记出了深度图像中可供扫地机器人通过的最小空间区域,用于过滤无用的信息,具体过程为:
步骤三一:在图像中间地面标记区域中的1米等深线处取一段长度为w的线段,并以此为底边做一个宽为w、高为h的矩形,w、h的取值为机器人的宽高映射到图像中1米深度位置对应的长度,矩形内的区域记为路径空间区域;
步骤三二:将路径空间区域内深度大于1米的像素点的像素值置0,并将该区域及1米等深线下方出现的所有像素值大于0且不属于地面区域的像素点组成的图像视为障碍物图像。
步骤四中,做出了路径空间区域内障碍物图像的像素分布直方图,并通过直方图区分出障碍物的类型,具体过程为:
步骤四一:做出x轴和y轴的像素分布直方图,即做出横轴为x轴或y轴坐标,纵轴为该坐标邻域内的像素数的统计直方图,并利用x轴和y轴像素分布直方图将障碍物区分为两侧大型障碍物、小型障碍物、可跨越障碍物和墙体障碍物,具体区分方法如下:
1)两侧大型障碍物的特点为障碍物图像集中在路径空间区域的两边的其中一侧且覆盖面积较大,因此当x轴其中一侧区间上的像素数大于最大值的一半,而另一侧区间上的像素数为0则视为两侧大型障碍物;
2)小型障碍物体积较小,在路径空间区域中表现为障碍物图像覆盖一小块空间区域,因此当x轴中的某一段区间上的像素数大于最大值五分之一则视为小型障碍物;
3)可跨越障碍物主要为小型门槛、地毯、电线等机器人可直接跨越的障碍物,它们在路径空间区域中仅占据图像底部的细长区域,在x轴像素分布直方图中表现为像素数在x轴各处都有大于0小于最大值五分之一的数值,但只有x轴像素分布直方图无法判断障碍物是在区域的下方还是处在中间或上方,因此还需借助y轴像素分布直方图进行判断,当y轴像素分布直方图中显示像素数的最大值在y轴最大值七分之一以下的区域取得则视为可跨越障碍物,否则视为墙体障碍物;
4)墙体障碍物在路径空间区域中表现为两侧同时出现障碍物或在中间或上方出现一整行形成栅栏状的像素集,因此当在x轴像素分布直方图中x轴两侧同时出现超过最大值一半的数值或在y轴像素分布直方图中y轴最大值七分之一以上的区域出现像素数大于最大值70%的数值则都视为墙体障碍物。
步骤五中,对两侧大型障碍物和小型障碍物实行绕行避障方式,对墙体障碍物实行折返避障方式,对可跨越障碍物则直接跨越,绕行避障方式和折返避障方式具体实施方法如下:
1)采用绕行避障方式时需先从图像中获取障碍物的最近点和最远点的x轴和z轴坐标(xn,zn)和(xf,zf),并利用这两点坐标和以(xn,zf)为圆心在xoz平面上做一个最小外接圆,然后以外接圆圆心为原点,以外接圆的半径r与扫地机器人的半径R之和为半径做一个同心圆,做出的同心圆即为扫地机器人的绕行路径;当机器人到达绕行路径起点后,沿障碍物最远点方向开始绕行,在绕行过程中同时计算绕行通过的角度,并设置90°和180°两个节点。当机器人处在绕行路径0°~90°位置时发现绕行路径上有不可跨越障碍物,则计算当前位置角a,然后朝绕行路径外旋转a+90°后向前行驶进行正常清扫工作;当机器人处在绕行路径90°~180°位置时发现绕行路径上有不可跨越障碍物,则计算当前位置角a,然后朝绕行路径外旋转a-90°后向前行驶进行正常清扫工作;当机器人行驶到180°位置时,则完成绕行,朝绕行路径外旋转90°后继续向前行驶;
2)采用折返避障方式时,当扫地机器人识别出墙体障碍物,扫地机器人先朝清扫方向旋转90°,并向前行驶扫地机器人直径2R的距离,然后再旋转90°,继续向前行驶进行正常清扫工作。
综上所述,本扫地机器人障碍物识别和避障方法通过深度摄像头采集图像信息,对采集到的深度图像进行运算和分析,分割出深度图像前景中的地面和障碍物图像,通过像素分布直方图和深度直方图区分出障碍物类别,并根据障碍物类别选择对应的避障方式实现扫地机器人的自主避障。
有益效果为:本发明提出的扫地机器人障碍物识别和避障方法,能使扫地机器人主动式地获取行驶路径上的障碍物信息,并在接触到障碍物前做出有效的避障操作,可以防止扫地机器人卡死在桌脚之间、被绳索电线缠绕等现象发生,实现扫地机器人自主避障无死角清扫的目的。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于深度视觉的扫地机器人障碍物识别和避障方法实施例流程图;
图2为本发明提供的路径空间区域标记示意图;
图3为本发明提供的绕行避障方式示意图;
图4为本发明提供的折返避障方式示意图。
具体实施方式
本发明给出了一种基于深度视觉的扫地机器人障碍物识别和避障方法实施例,为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明中技术方案作进一步详细的说明:
本发明首先提供了一种基于深度视觉的扫地机器人障碍物识别和避障方法实施例,如图1所示,包括:本发明采用如下方法来实现:一种基于深度视觉的扫地机器人障碍物识别和避障方法,包括:
步骤一S101、利用深度摄像头对扫地机器人前方区域进行信息采集,获取深度图像;
步骤二S102、提取深度图像中各像素点的三维坐标信息,标记出地面区域;
步骤三S103、在深度图像中标记出路径空间区域,滤去区域内小于1米深度的像素,并结合步骤二中的地面区域分割出障碍物的图像;
步骤四S104、利用路径空间区域内的障碍物图像做出x轴和y轴的像素分布直方图,并通过分析直方图区分出障碍物类型;
步骤五S105、根据步骤四中识别出的障碍物类别,选择绕行避障方式或折返避障方式,并执行避障操作;
步骤六S106、扫地机器人向前行驶,进行正常清扫工作,并循环执行S101~S105。
步骤二中,采用了平面模型检测算法在获取的深度图像中将地面区域标记出来,分离前景中地面的像素点和障碍物的像素点,具体步骤如下:
步骤二一:建立地面平面模型,因为深度摄像头可获取图像中每一个像素点的x、y、z轴的坐标,所以深度摄像头拍摄到的图像中地面区域的像素点云可根据空间平面公式在三维空间中拟合成一个固定的平面,拟合平面公式如下:
Ax0+By0+Cz0+D=0(1)
其中,x0、y0、z0为深度图像中地面区域像素点的空间坐标,A、B、C、D为平面系数;由于扫地机器人上的摄像头与地面的相对位置是固定不变的,因此地面在深度图像中拟合出来的平面也会是一个固定的平面,平面系数可由人为事先确定;
步骤二二:将深度图像中所有像素点坐标依次代入到步骤二一中设置的地面平面模型中,计算出拟合误差,拟合误差公式如下:
Ax+By+Cz+D=e (2)
其中,e为拟合误差,x、y、z为深度图像中每一个像素点的空间坐标;通过设置误差阈值δ来判断该像素点是否属于这个模型,若|e|≤δ,则视为属于地面的像素点并进行标记,若|e|>δ,则视为障碍物的像素点。
步骤三中,标记出了深度图像中可供扫地机器人通过的最小空间区域,用于过滤无用的信息,具体过程为:
步骤三一:如图2所示,在图像中间地面标记区域中的1米等深线处取一段长度为w的线段,并以此为底边做一个宽为w、高为h的矩形,w、h的取值为机器人的宽高映射到图像中1米深度位置对应的长度,矩形内的区域记为路径空间区域;
步骤三二:将路径空间区域内深度大于1米的像素点的像素值置0,并将该区域及1米等深线下方出现的所有像素值大于0且不属于地面区域的像素点组成的图像视为障碍物图像。
步骤四中,做出了路径空间区域内障碍物图像的像素分布直方图,并通过直方图区分出障碍物的类型,具体过程为:
步骤四一:做出x轴和y轴的像素分布直方图,即做出横轴为x轴或y轴坐标,纵轴为该坐标邻域内的像素数的统计直方图,并利用x轴和y轴像素分布直方图将障碍物区分为两侧大型障碍物、小型障碍物、可跨越障碍物和墙体障碍物,具体区分方法如下:
1)两侧大型障碍物的特点为障碍物图像集中在路径空间区域的两边的其中一侧且覆盖面积较大,因此当x轴其中一侧区间上的像素数大于最大值的一半,而另一侧区间上的像素数为0则视为两侧大型障碍物;
2)小型障碍物体积较小,在路径空间区域中表现为障碍物图像覆盖一小块空间区域,因此当x轴中的某一段区间上的像素数大于最大值五分之一则视为小型障碍物;
3)可跨越障碍物主要为小型门槛、地毯、电线等机器人可直接跨越的障碍物,它们在路径空间区域中仅占据图像底部的细长区域,在x轴像素分布直方图中表现为像素数在x轴各处都有大于0小于最大值五分之一的数值,但只有x轴像素分布直方图无法判断障碍物是在区域的下方还是处在中间或上方,因此还需借助y轴像素分布直方图进行判断,当y轴像素分布直方图中显示像素数的最大值在y轴最大值七分之一以下的区域取得则视为可跨越障碍物,否则视为墙体障碍物;
4)墙体障碍物在路径空间区域中表现为两侧同时出现障碍物或在中间或上方出现一整行形成栅栏状的像素集,因此当在x轴像素分布直方图中x轴两侧同时出现超过最大值一半的数值或在y轴像素分布直方图中y轴最大值七分之一以上的区域出现像素数大于最大值70%的数值则都视为墙体障碍物。
步骤五中,对两侧大型障碍物和小型障碍物实行绕行避障方式,对墙体障碍物实行折返避障方式,对可跨越障碍物则直接跨越,绕行避障方式和折返避障方式具体实施方法如下:
1)采用绕行避障方式时需先从图像中获取障碍物的最近点和最远点的x轴和z轴坐标(xn,zn)和(xf,zf),并利用这两点坐标和以(xn,zf)为圆心在xoz平面上做一个最小外接圆,然后以外接圆圆心为原点,以外接圆的半径r与扫地机器人的半径R之和为半径做一个同心圆,做出的同心圆即为扫地机器人的绕行路径;当机器人到达绕行路径起点后,沿障碍物最远点方向开始绕行,在绕行过程中同时计算绕行通过的角度,并设置90°和180°两个节点。当机器人处在绕行路径0°~90°位置时发现绕行路径上有不可跨越障碍物,则计算当前位置角a,然后朝绕行路径外旋转a+90°后向前行驶进行正常清扫工作;当机器人处在绕行路径90°~180°位置时发现绕行路径上有不可跨越障碍物,则计算当前位置角a,然后朝绕行路径外旋转a-90°后向前行驶进行正常清扫工作;当机器人行驶到180°位置时,则完成绕行,朝绕行路径外旋转90°后继续向前行驶;
2)采用折返避障方式时,当扫地机器人识别出墙体障碍物,扫地机器人先朝清扫方向旋转90°,并向前行驶扫地机器人直径2R的距离,然后再旋转90°,继续向前行驶进行正常清扫工作。
综上所述,本扫地机器人障碍物识别和避障方法通过深度摄像头采集图像信息,对采集到的深度图像进行运算和分析,分割出深度图像前景中的地面和障碍物图像,通过像素分布直方图和深度直方图区分出障碍物类别,并根据障碍物类别选择对应的避障方式实现扫地机器人的自主避障。
以上实施例用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改或局部替换,均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种基于深度视觉的扫地机器人障碍物识别和避障方法,其特征在于,包括:
步骤一、利用深度摄像头对扫地机器人前方区域进行信息采集,获取深度图像;
步骤二、提取深度图像中各像素点的空间位置信息,标记出地面区域;
步骤三、在深度图像中标记出路径空间区域,滤去区域内小于1米深度的像素,并结合步骤二中的地面区域分割出障碍物的图像;
步骤四、利用路径空间区域内的障碍物图像做出x轴和y轴的像素分布直方图,并通过分析直方图区分出障碍物类型;
步骤五、根据步骤四中识别出的障碍物类别,选择绕行避障方式或折返避障方式,并执行避障操作;
步骤六、扫地机器人向前行驶,进行正常清扫工作,并循环执行步骤三~五。
2.如权利要求1所述的一种基于深度视觉的扫地机器人障碍物识别和避障方法,其特征在于,所述步骤二在图像预处理的过程中采用了平面模型检测算法在获取的深度图像中将地面区域标记出来,分离前景中地面的像素点和障碍物的像素点,具体步骤如下:
步骤二一:建立地面平面模型,因为深度摄像头可获取图像中每一个像素点的x、y、z轴的坐标,所以深度摄像头拍摄到的图像中地面区域的像素点云可根据空间平面公式在三维空间中拟合成一个固定的平面,拟合平面公式如下:
Ax0+By0+Cz0+D=0 (1)
其中,x0、y0、z0为深度图像中地面区域像素点的空间坐标,A、B、C、D为平面系数;由于扫地机器人上的摄像头与地面的相对位置是固定不变的,因此地面在深度图像中拟合出来的平面也会是一个固定的平面;
步骤二二:将深度图像中所有像素点坐标依次代入到步骤二一中设置的地面平面模型中,计算出拟合误差,拟合误差公式如下:
Ax+By+Cz+D=e (2)
其中,e为拟合误差,x、y、z为深度图像中每一个像素点的空间坐标;通过设置误差阈值δ来判断该像素点是否属于这个模型,若|e|<δ,则视为属于地面的像素点并进行标记,若|e|>δ,则视为障碍物的像素点。
3.如权利要求2所述的一种基于深度视觉的扫地机器人障碍物识别和避障方法,其特征在于,所述步骤三中标记出了深度图像中可供扫地机器人通过的最小空间区域,用于过滤无用的信息,具体过程为:
步骤三一:在图像中间地面标记区域中的1米等深线处取一段长度为w的线段,并以此为底边做一个宽为w、高为h的矩形,w,h的取值为机器人的宽高映射到图像中1米深度位置对应的长度,矩形内的区域记为路径空间区域;
步骤三二:将路径空间区域内深度大于1米的像素点的像素值置0,并将该区域及1米等深线下方出现的所有像素值大于0且不属于地面区域的像素点组成的图像视为障碍物图像。
4.如权利要求3所述的一种基于深度视觉的扫地机器人障碍物识别和避障方法,其特征在于,所述步骤四中做出了路径空间区域内障碍物图像的像素分布直方图,并通过直方图区分出障碍物的类型,具体过程为:
步骤四一:做出x轴和y轴的像素分布直方图,并利用x轴和y轴像素分布直方图将障碍物区分为两侧大型障碍物、小型障碍物、可跨越障碍物和墙体障碍物,具体区分方法如下:
1)两侧大型障碍物的特点为障碍物图像集中在路径空间区域的两边的其中一侧且覆盖面积较大,因此当x轴其中一侧区间上的像素数大于最大值的一半,而另一侧区间上的像素数为0则视为两侧大型障碍物;
2)小型障碍物体积较小,在路径空间区域中表现为障碍物图像覆盖一小块空间区域,因此当x轴中的某一段区间上的像素数大于最大值五分之一则视为小型障碍物;
3)可跨越障碍物主要为小型门槛、地毯、电线等机器人可直接跨越的障碍物,它们在路径空间区域中仅占据图像底部的细长区域,在x轴像素分布直方图中表现为像素数在x轴各处都有大于0小于最大值五分之一的数值,但只有x轴像素分布直方图无法判断障碍物是在区域的下方还是处在中间或上方,因此还需借助y轴像素分布直方图进行判断,当y轴像素分布直方图中显示像素数的最大值在y轴最大值七分之一以下的区域取得则视为可跨越障碍物,否则视为墙体障碍物;
4)墙体障碍物在路径空间区域中表现为两侧同时出现障碍物或在中间或上方出现一整行形成栅栏状的障碍物图像,因此当在x轴像素分布直方图中x轴两侧同时出现超过最大值一半的数值或在y轴像素分布直方图中y轴最大值七分之一以上的区域出现像素数大于最大值70%的数值则都视为墙体障碍物。
5.如权利要求4所述的一种基于深度视觉的扫地机器人障碍物识别和避障方法,其特征在于,所述步骤五中,对两侧大型障碍物和小型障碍物实行绕行避障方式,对墙体障碍物实行折返避障方式,对可跨越障碍物则直接跨越,绕行避障方式和折返避障方式具体实施方法如下:
1)采用绕行避障方式时需先从图像中获取障碍物的最近点和最远点的x轴和z轴坐标(xn,zn)和(xf,zf),并利用这两点坐标和以(xn,zf)为圆心在xoz平面上做一个最小外接圆,然后以外接圆圆心为原点,以外接圆的半径r与扫地机器人的半径R之和为半径做一个同心圆,做出的同心圆即为扫地机器人的绕行路径;当机器人到达绕行路径起点后,延障碍物最远点方向开始绕行,在绕行过程中同时计算绕行通过的角度,并设置90°和180°两个节点;当机器人处在绕行路径0°~90°位置时发现绕行路径上有不可跨越障碍物,则计算当前位置角a,然后朝绕行路径外旋转a+90°后向前行驶进行正常清扫工作;当机器人处在绕行路径90°~180°位置时发现绕行路径上有不可跨越障碍物,则计算当前位置角a,然后朝绕行路径外旋转a-90°后向前行驶进行正常清扫工作;当机器人行驶到180°位置时,则完成绕行,朝绕行路径外旋转90°后继续向前行驶;
2)采用折返避障方式时,当扫地机器人识别出墙体障碍物,扫地机器人先朝清扫方向旋转90°,并向前行驶扫地机器人直径2R的距离,然后再旋转90°,继续向前行驶进行正常清扫工作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111291019.2A CN114047753B (zh) | 2021-11-03 | 2021-11-03 | 一种基于深度视觉的扫地机器人障碍物识别和避障方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111291019.2A CN114047753B (zh) | 2021-11-03 | 2021-11-03 | 一种基于深度视觉的扫地机器人障碍物识别和避障方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114047753A true CN114047753A (zh) | 2022-02-15 |
CN114047753B CN114047753B (zh) | 2023-02-03 |
Family
ID=80206847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111291019.2A Active CN114047753B (zh) | 2021-11-03 | 2021-11-03 | 一种基于深度视觉的扫地机器人障碍物识别和避障方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114047753B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115096329A (zh) * | 2022-08-25 | 2022-09-23 | 燚璞锐科技(江苏)有限公司 | 一种工程压路机视觉导航控制系统及方法 |
CN115525047A (zh) * | 2022-03-21 | 2022-12-27 | 江苏集萃清联智控科技有限公司 | 一种具备多型避障方式的车辆局部轨迹规划方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106444786A (zh) * | 2016-11-29 | 2017-02-22 | 北京小米移动软件有限公司 | 扫地机器人的控制方法及装置和电子设备 |
CN107291080A (zh) * | 2017-06-27 | 2017-10-24 | 深圳普思英察科技有限公司 | 一种扫地机器人及避障方法、可读存储介质 |
KR20200017572A (ko) * | 2018-07-23 | 2020-02-19 | 공주대학교 산학협력단 | 한정된 공간에서의 이동 로봇의 자율 주행을 위한 장애물 탐지 방법 |
CN110989631A (zh) * | 2019-12-30 | 2020-04-10 | 科沃斯机器人股份有限公司 | 自移动机器人控制方法、装置、自移动机器人和存储介质 |
CN111743462A (zh) * | 2020-06-18 | 2020-10-09 | 小狗电器互联网科技(北京)股份有限公司 | 扫地机器人的清扫方法及装置 |
CN111784819A (zh) * | 2020-06-17 | 2020-10-16 | 科沃斯机器人股份有限公司 | 一种多楼层的地图拼接方法、系统及自移动机器人 |
CN112415998A (zh) * | 2020-10-26 | 2021-02-26 | 珠海市一微半导体有限公司 | 一种基于tof摄像头的障碍物分类避障控制系统 |
CN113065397A (zh) * | 2021-03-02 | 2021-07-02 | 南京苏宁软件技术有限公司 | 行人检测方法及装置 |
CN113359692A (zh) * | 2020-02-20 | 2021-09-07 | 杭州萤石软件有限公司 | 一种障碍物的避让方法、可移动机器人 |
-
2021
- 2021-11-03 CN CN202111291019.2A patent/CN114047753B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106444786A (zh) * | 2016-11-29 | 2017-02-22 | 北京小米移动软件有限公司 | 扫地机器人的控制方法及装置和电子设备 |
CN107291080A (zh) * | 2017-06-27 | 2017-10-24 | 深圳普思英察科技有限公司 | 一种扫地机器人及避障方法、可读存储介质 |
KR20200017572A (ko) * | 2018-07-23 | 2020-02-19 | 공주대학교 산학협력단 | 한정된 공간에서의 이동 로봇의 자율 주행을 위한 장애물 탐지 방법 |
CN110989631A (zh) * | 2019-12-30 | 2020-04-10 | 科沃斯机器人股份有限公司 | 自移动机器人控制方法、装置、自移动机器人和存储介质 |
CN113359692A (zh) * | 2020-02-20 | 2021-09-07 | 杭州萤石软件有限公司 | 一种障碍物的避让方法、可移动机器人 |
CN111784819A (zh) * | 2020-06-17 | 2020-10-16 | 科沃斯机器人股份有限公司 | 一种多楼层的地图拼接方法、系统及自移动机器人 |
CN111743462A (zh) * | 2020-06-18 | 2020-10-09 | 小狗电器互联网科技(北京)股份有限公司 | 扫地机器人的清扫方法及装置 |
CN112415998A (zh) * | 2020-10-26 | 2021-02-26 | 珠海市一微半导体有限公司 | 一种基于tof摄像头的障碍物分类避障控制系统 |
CN113065397A (zh) * | 2021-03-02 | 2021-07-02 | 南京苏宁软件技术有限公司 | 行人检测方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115525047A (zh) * | 2022-03-21 | 2022-12-27 | 江苏集萃清联智控科技有限公司 | 一种具备多型避障方式的车辆局部轨迹规划方法及系统 |
CN115096329A (zh) * | 2022-08-25 | 2022-09-23 | 燚璞锐科技(江苏)有限公司 | 一种工程压路机视觉导航控制系统及方法 |
CN115096329B (zh) * | 2022-08-25 | 2022-11-08 | 燚璞锐科技(江苏)有限公司 | 一种工程压路机视觉导航控制系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114047753B (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114047753B (zh) | 一种基于深度视觉的扫地机器人障碍物识别和避障方法 | |
CN107569181B (zh) | 一种智能清洁机器人及清扫方法 | |
CN107981790B (zh) | 室内区域划分方法及扫地机器人 | |
WO2022027869A1 (zh) | 一种基于边界的机器人区域划分方法、芯片及机器人 | |
WO2021026831A1 (zh) | 移动机器人及其控制方法和控制系统 | |
CN114119464B (zh) | 一种基于深度学习的锂电池电芯顶盖焊缝外观检测方法 | |
Yuen et al. | Vision-based localization algorithm based on landmark matching, triangulation, reconstruction, and comparison | |
CN111598916A (zh) | 一种基于rgb-d信息的室内占据栅格地图的制备方法 | |
CN109344687B (zh) | 基于视觉的障碍物检测方法、装置、移动设备 | |
CN113331743A (zh) | 清洁机器人清洁地面的方法以及清洁机器人 | |
CN103646249B (zh) | 一种温室智能移动机器人视觉导航路径识别方法 | |
CN106017477A (zh) | 一种果园机器人的视觉导航系统 | |
CN109159137B (zh) | 一种可视频评估洗地效果的洗地机器人 | |
CN113741438A (zh) | 路径规划方法、装置、存储介质、芯片及机器人 | |
WO2021238001A1 (zh) | 机器人行走控制方法、系统,机器人及可读存储介质 | |
CN109528089A (zh) | 一种被困清洁机器人的继续行走方法、装置及芯片 | |
CN111061270B (zh) | 一种全面覆盖方法、系统及作业机器人 | |
CN111552764A (zh) | 一种车位检测方法、装置、系统及机器人和存储介质 | |
CN114283139B (zh) | 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置 | |
CN111421553A (zh) | 基于轮廓识别的机器人控制方法、存储介质及移动机器人 | |
CN112308033A (zh) | 一种基于深度数据的障碍物碰撞警告方法及视觉芯片 | |
Bormann et al. | Autonomous dirt detection for cleaning in office environments | |
CN113848892B (zh) | 一种机器人清扫区域划分方法、路径规划方法及装置 | |
Li et al. | A mobile robotic arm grasping system with autonomous navigation and object detection | |
EP4246370A1 (en) | Image-based working area identification method and system, and robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |