CN112347876A - 一种基于tof摄像头的障碍物识别方法、清洁机器人 - Google Patents
一种基于tof摄像头的障碍物识别方法、清洁机器人 Download PDFInfo
- Publication number
- CN112347876A CN112347876A CN202011158065.0A CN202011158065A CN112347876A CN 112347876 A CN112347876 A CN 112347876A CN 202011158065 A CN202011158065 A CN 202011158065A CN 112347876 A CN112347876 A CN 112347876A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- target obstacle
- preset
- height
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000004140 cleaning Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 238000004804 winding Methods 0.000 claims description 48
- 230000004888 barrier function Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000003672 processing method Methods 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明公开一种基于TOF摄像头的障碍物识别方法、清洁机器人,该障碍物识别方法包括:控制移动机器人的TOF摄像头采集其探测视角范围内的一目标障碍物的深度图像,再根据这个目标障碍物的深度图像计算出这个目标障碍物深度信息及其尺寸大小,再选择性地结合TOF摄像头实时输出的与目标障碍物相匹配的亮度图像数据,识别出目标障碍物的类型;其中,TOF摄像头设置在移动机器人的机体前方,用于探测移动机器人的前进方向上的目标障碍物;其中,所述目标障碍物的尺寸大小包括所述目标障碍物的轮廓线的高度信息。比现有技术的障碍物归类处理方法更适应于规划出室内实际活动环境下的无障碍物可通行区域,减轻机器人识别障碍物的运行负载。
Description
技术领域
本发明涉及智能机器人的技术领域,特别是一种基于TOF摄像头的障碍物识别方法、清洁机器人。
背景技术
目前基于惯性导航、视觉、激光的SLAM机器人越来越普及,代表性比较强的是家庭扫地清洁机器人,结合视觉、激光、陀螺仪、加速度跟轮子里程计的数据,实现室内环境即时定位跟建图,再根据建立的地图实现定位导航。但是目前的痛点是,机器人在复杂的障碍物环境中,地面上经常存在玩具、电线等可以移动的障碍物,等机器人碰撞到这种类型的障碍物的时候,要么会推着障碍物,要么被电线类型的障碍物缠绕住,家庭环境还存在沙发类型的障碍物,如果沙发底下的高度刚好低于机器顶面的高度,机器进入的时候就可能卡住,由于目前扫地机器人上出于成本的考虑,使用的激光是单线的,无法探测到这种类型的障碍物,视觉一般也是使用单一摄像头实现,没法及时准确进行距离运算,因此也无法实时准确地分类探测出上述的各种类型障碍物。
发明内容
为了解决上述技术问题,本发明公开的一种基于TOF摄像头的障碍物识别方法和清洁机器人,简单有效地检测各种类型障碍物,具体的技术方案如下:
一种基于TOF摄像头的障碍物识别方法,包括:控制移动机器人的TOF摄像头采集其探测视角范围内的一目标障碍物的深度图像,再根据这个目标障碍物的深度图像计算出这个目标障碍物深度信息及其尺寸大小,再选择性地结合TOF摄像头实时输出的与目标障碍物相匹配的亮度图像数据,识别出目标障碍物的类型;其中,TOF摄像头设置在移动机器人的机体前方,用于探测移动机器人的前进方向上的目标障碍物;其中,所述目标障碍物的尺寸大小包括所述目标障碍物的轮廓线的高度信息。
与现有技术相比,该技术方案采用TOF摄像头获取的障碍物的深度信息、尺寸信息和亮度信息,有效地归类识别出室内环境下的具备通达作用的障碍物类型,比现有技术的障碍物归类处理方法更适应于规划出室内实际活动环境下的无障碍物可通行区域,相对于现有技术执行过多的图像特征点且拟合分类训练太多,本技术方案降低了设计成本,减轻机器人识别障碍物的运行负载。
进一步地,所述障碍物识别方法具体包括:步骤S1、判断所述目标障碍物的轮廓线在预设水平宽度内的各个位置点的高度是否都处于门槛阈值高度范围内,是则进入步骤S2;步骤S2、判断所述目标障碍物的轮廓线在预设水平宽度内的各个位置点的高度的方差是否满足第一缠绕物条件,是则将所述目标障碍物识别为缠绕物,否则进入步骤S3;步骤S3、判断所述目标障碍物的轮廓线在预设水平宽度内的各个位置点对应深度图像的像素点的深度与相匹配的亮度图像的像素点灰度的乘积的方差是否满足第二缠绕物条件,是则将所述目标障碍物识别为缠绕物,否则进入步骤S4;步骤S4、判断所述目标障碍物所占空间的水平宽度是否小于预设孤岛宽度,是则进入步骤S5,否则将所述目标障碍物识别为可跨越的门槛;步骤S5、判断所述目标障碍物所占空间的竖直高度是否小于预设孤岛高度,是则将所述目标障碍物识别为孤岛障碍物;其中,门槛阈值高度范围内的所有高度都小于移动机器人的机体高度;预设水平宽度是大于移动机器人的机体宽度;预设孤岛高度落入所述门槛阈值高度范围,预设孤岛宽度小于或等于预设水平宽度。
与现有技术相比,本技术方案利用轮廓线的各个位置点高度特征去识别小型障碍物,包括识别高度较小的门槛、高度不大的且缠绕在一起的电线以及孤立存在的小玩具,进而避免将禁止接触的小型障碍物(电线、小玩具)误判为可跨越的小型障碍物(门槛),从而有效地检测识别出允许通行的避障区域,提高小型障碍物识别的准确度。
进一步地,还包括:当所述步骤S1判断到所述目标障碍物的轮廓线在预设水平宽度内的各个位置点的高度不是都处于门槛阈值高度范围内,则进入步骤S6;步骤S6、判断所述目标障碍物的轮廓线在预设水平宽度内的最低的位置点的高度是否都高于移动机器人的机体高度,是则将所述目标障碍物识别为可供移动机器人穿越的家具,否则进入步骤S7;步骤S7、判断所述目标障碍物的轮廓是否符合矩形特征条件且对应深度图像上的每个像素点对应的深度值是否都相等,两种判断条件都成立则进入步骤S8;步骤S8、判断是否存在轮廓线在预设水平宽度内的位置点的高度都高于预设可通行高度阈值,是则将所述目标障碍物识别为墙体;其中,预设可通行高度阈值高于移动机器人的机体高度。
与现有技术相比,本技术方案利用轮廓线的各个位置点高度特征去识别大型障碍物,包括识别最低点位置高度较大的沙发底、具有边界表征意义的墙体、长廊,进而识别出允许移动机器人碰触的大型障碍物,增强移动机器人在室内环境中的活动的适应性,将障碍物对移动机器人的正常移动区域和工作行为的干扰降低。
进一步地,所述障碍物识别方法还包括:当判断到所述目标障碍物的轮廓线在预设水平宽度内的各个位置点的高度的方差满足第一缠绕物条件,和/或判断到所述目标障碍物的轮廓线在预设水平宽度内的各个位置点对应深度图像的像素点的深度与相匹配的亮度图像的像素点灰度的乘积的方差满足第二缠绕物条件时,将所述目标障碍物识别为缠绕物。该技术方案将这个目标障碍物的深度信息(包括高度较大和高度较小的尺寸)及同一目标障碍物相匹配的亮度图像数据(目标障碍物表面的光线反射程度)进行特征的匹配性判断,以判断出符合缠绕物曲线特征规律(方差)的目标障碍物,从而识别出电线、电缆。
进一步地,所述障碍物识别方法还包括:当所述障碍物分类模块判断到对应障碍物所占空间的水平宽度小于预设孤岛宽度,且对应障碍物所占空间的竖直高度小于预设孤岛高度时,将对应障碍物识别为孤岛障碍物;其中,预设孤岛高度不落入所述门槛阈值高度范围,预设孤岛宽度小于或等于预设水平宽度。与现有技术相比,该技术方案利用目标障碍物的轮廓线的整体形状特征、封闭轮廓线所占空间平面范围识别出孤岛障碍物,方便移动机器人绕障行走但不触碰孤岛障碍物。
进一步地,当判断到所述目标障碍物的一可连通表面区域相匹配的亮度图像数据处于第一预设介质灰度阈值范围,和/或当判断到所述目标障碍物的一可连通表面区域的各个位置点对应深度图像的像素点的深度与相匹配的亮度图像的像素点灰度的乘积处于第二预设介质灰度阈值范围时,确定所述目标障碍物的表面介质为允许移动机器人无障碍移动的平整的平面介质。进而利用TOF摄像头输出的深度图像和亮度图像数据有效地识别出行进平面介质的情况。
进一步地,所述目标障碍物相匹配的亮度图像数据是从所述目标障碍物的表面反射回所述TOF摄像头的成像平面的光线亮度信息,与所述TOF摄像头采集的目标障碍物的深度图像的像素点的深度一一对应匹配。使得所述第一缠绕物条件和所述第二缠绕物条件的判断效果,减少使用拟合运算。
一种清洁机器人,包括清洁装置、TOF摄像头和处理单元,TOF摄像头以预设倾斜角安装在清洁机器人的前面,使得TOF摄像头的探测视角覆盖清洁机器人的前方预设的行进平面;清洁装置,用于在受控的避障模式下执行清洁行为;处理单元分别与TOF摄像头、清洁装置电性连接,用于执行所述的障碍物识别方法。本技术方案的清洁机器人集成较多类型的障碍物识别功能算法,适应于室内实际活动环境下清洁作业,相对于现有技术执行过多的图像特征点且拟合分类训练太大,降低了生产成本,减轻机器人识别障碍物的运行负载。
附图说明
图1是本发明实施例提供一种基于TOF摄像头的障碍物识别方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行详细描述。
本发明一实施例公开一种基于TOF摄像头的障碍物识别方法,包括:控制移动机器人的TOF摄像头采集其探测视角范围内的一目标障碍物的深度图像,再根据这个目标障碍物的深度图像计算出这个目标障碍物的深度信息(移动机器人与目标障碍物的相对位置关系)及其尺寸大小(高度信息、轮廓线宽度信息),再将这个目标障碍物的深度信息、尺寸大小选择性地结合TOF摄像头实时输出的与目标障碍物相匹配的亮度图像数据,识别出目标障碍物的类型;其中,本实施例通过结合深度图像的特征数据和亮度图像的特征数据对个别类型的目标障碍物的图像特征轮廓进行匹配判断,对于其他易于识别的且受反射光线影响较小的目标障碍物不需结合亮度图像数据进行判断描述,减小移动机器人的计算负载,提高目标障碍物的图像识别的准确率。在一些更具体示例中,为提高识别缠绕物类型的准确率,结合深度图像的特征数据和亮度图像的特征数据对个别类型的目标障碍物的图像特征轮廓进行匹配判断。其中,TOF摄像头设置在移动机器人的机体前方,用于探测移动机器人的前进方向上的目标障碍物;其中,所述目标障碍物的尺寸大小包括所述目标障碍物的轮廓线在预设水平宽度内的各个位置点的高度以及其他表示竖直高度特征的高度信息。
需要说明的是,本申请将中国专利CN111624997A的全文引入本申请的文本中,完成从TOF摄像头采集的深度图像中计算出障碍区的相对位置信息的说明,以及地图校准标记方法的说明。
与现有技术相比,本发明实施例采用TOF摄像头获取的障碍物的深度信息、尺寸信息和亮度信息,有效地归类识别出室内环境下的具备通达作用的障碍物类型,比现有技术的障碍物归类处理方法更适应于规划出室内实际活动环境下的无障碍物可通行区域,相对于现有技术执行过多的图像特征点且拟合分类训练太大,本实施例降低了设计成本,减轻机器人识别障碍物的运行负载。
作为一种实施例,如图1所示,所述障碍物识别方法具体包括:
步骤S1、判断所述目标障碍物的轮廓线在预设水平宽度内的各个位置点的高度是否都处于门槛阈值高度范围内,是则进入步骤S2,否则进入步骤S6。当所述目标障碍物的轮廓线在预设水平宽度内的各个位置点的高度都处于门槛阈值高度范围内,本实施例没有直接判定将所述目标障碍物识别为门槛,为提高识别门槛类型的准确率,以及降低计算负荷,本实施例需进一步进入步骤S2滤除轮廓线中不符合线性特征的轮廓线的其他类型的目标障碍物。其中,门槛阈值高度范围内的所有高度都小于移动机器人的机体高度,所述门槛阈值高度范围内的所有高度都能支持移动机器人爬升。
步骤S2、判断所述目标障碍物的轮廓线在预设水平宽度内的各个位置点的高度的方差是否满足第一缠绕物条件,是则将所述目标障碍物识别为缠绕物,否则进入步骤S3;执行到步骤S2时,已经滤除所述目标障碍物轮廓线的最低点高于所述移动机器人的机体高度的目标障碍物,从而提高识别缠绕物类型的准确率。
步骤S3、判断所述目标障碍物的轮廓线在预设水平宽度内的各个位置点对应深度图像的像素点的深度与相匹配的亮度图像的像素点灰度的乘积的方差是否满足第二缠绕物条件,是则将所述目标障碍物识别为缠绕物,否则进入步骤S4;在步骤S2判定的高度特征不满足第一缠绕物条件时,步骤S3进一步考虑到缠绕物表面的光线反射平整度和曲线特征变化的影响,结合同一目标障碍物的亮度图像特征和深度图像特征更加准确地识别出小型的缠绕物。该步骤S3也适用于滤除直线特征的轮廓线的目标障碍物。
需要说明的是,这一缠绕物判断方法中的方差可以替换为标准差、均方差等具备统计意义的变量,即对应障碍物的轮廓线上的采样位置点的高度的统计变量,能有效地反映缠绕物(比如室内环境中缠绕成一团的电线、电缆)的曲线变化特征。当前述高度的方差落入第一预设范围内时,视为满足第一缠绕物条件;当前述乘积的方差落入第二预设范围内时,视为满足第二缠绕物条件。值得注意的是这些缠绕物的高度比较小,小于移动机器人的机体高度,可能落入所述门槛阈值高度范围内,但结合上述缠绕物条件的识别结果,控制所述移动机器人不跨越这个缠绕物,避免出现误判。
步骤S4、判断所述目标障碍物所占空间的水平宽度是否小于预设孤岛宽度,是则进入步骤S5,否则将所述目标障碍物识别为可跨越的门槛,其中,预设水平宽度是大于移动机器人的机体宽度,预设孤岛宽度小于或等于预设水平宽度;预设孤岛高度落入所述门槛阈值高度范围,预设孤岛高度优选为20cm。若步骤S3不满足第二缠绕物条件,则进入步骤S4去判断是否属于孤岛障碍物的形状特征,在同一门槛阈值高度范围内的高度属性的目标障碍物中,若所占空间的水平宽度大于预设孤岛宽度,可以在步骤S4中将这个目标障碍物识别为可跨越的门槛,否则需要进入步骤S5去判断高度特征,因为在所述目标障碍物所占空间的水平宽度已经小于预设孤岛宽度的前提下,该目标障碍物是无法支持移动机器人无法正常地跨越的,所以不能将其归类为门槛、可跨越的台阶。
步骤S5、判断所述目标障碍物所占空间的竖直高度是否小于预设孤岛高度,是则将所述目标障碍物识别为孤岛障碍物。在一些实施场景中,预设孤岛高度是小于所述移动机器人的机体高度,预设孤岛高度甚至落入门槛阈值高度范围内,因此通过将高度较低的障碍物识别为孤岛障碍物而不是误判为门槛后,有效地规避移动机器人跨越孤岛障碍物,比如控制移动机器人不碰撞跨越室内分散分布的小型的玩具。
与现有技术相比,前述步骤S1至步骤S5利用轮廓线的各个位置点高度特征去识别小型障碍物,包括识别高度较小的门槛、高度不大的且缠绕在一起的电线以及孤立存在的小玩具,进而避免将禁止接触的小型障碍物(电线、小玩具)误判为可跨越的小型障碍物(门槛),从而有效地检测识别出允许通行的避障区域,提高小型障碍物识别的准确度。
步骤S6、判断所述目标障碍物的轮廓线在预设水平宽度内的最低的位置点的高度是否都高于移动机器人的机体高度,是则将所述目标障碍物识别为可供移动机器人穿越的家具,否则进入步骤S7,继续判断该目标障碍物所属的类型;这一障碍物的轮廓线一般为门框形状、梯形,可能是沙发底、床底、桌椅底部,这些家具的底部造型的空隙部分较高也较宽,使其空隙部分的高度大于移动机器人的机体高度,宽度也大于移动机器人的机体直径。
步骤S7、判断所述目标障碍物的轮廓是否符合矩形特征条件且对应深度图像上的每个像素点对应的深度值是否都相等,两种判断条件都成立则进入步骤S8;因为墙体表面比较平整,反射光线亮度均匀,墙体表面各个位置点到TOF摄像头的成像平面的深度值都相等,墙体的轮廓线的形状符合矩形特征,轮廓线都比较长,墙体的高度也比移动机器人的机体高,所以需要进入步骤S8去判断所述目标障碍物的高度特征。在一些实施场景中,识别为墙体的障碍物也支持移动机器人碰撞,即使被误判为家具底部的中空部分也会在移动机器人与其发生碰撞后而纠正障碍物类型的识别结果。
步骤S8、判断是否存在轮廓线在预设水平宽度内的位置点的高度都高于预设可通行高度阈值,是则将所述目标障碍物识别为墙体;其中,预设可通行高度阈值高于移动机器人的机体高度,预设可通行高度阈值设置为2m。
与现有技术相比,前述步骤S6至步骤S8利用轮廓线的各个位置点高度特征去识别大型障碍物,包括识别最低点位置高度较大的沙发底、具有边界表征意义的墙体、长廊,进而识别出允许移动机器人碰触的大型障碍物,增强移动机器人在室内环境中的活动的适应性,将目标障碍物对移动机器人的正常移动区域和工作行为的干扰降低。从而做到:TOF摄像头识别高度较小的门槛,TOF摄像头识别到沙发(沙发底的高度低于机器的高度的家具)控制移动机器人进入沙发底,TOF摄像头识别到高度较小的玩具,TOF摄像头识别到墙壁长廊、TOF摄像头识别到高度不大的且具备曲线特征的电线。从而可以对大型障碍物、小型障碍物、可跨越穿行障碍物、禁止接触障碍物的有效地检测识别,进而预判出有效的可通达区域以供移动机器人避障使用。
作为一种实施例,所述障碍物识别方法还包括:当判断到所述目标障碍物的轮廓线在预设水平宽度内的各个位置点的高度的方差满足第一缠绕物条件,和/或判断到所述目标障碍物的轮廓线在预设水平宽度内的各个位置点对应深度图像的像素点的深度与相匹配的亮度图像的像素点灰度的乘积的方差满足第二缠绕物条件时,将所述目标障碍物识别为缠绕物。这一缠绕物判断方法中的方差可以替换为标准差、均方差等具备统计意义的变量,即对应障碍物的轮廓线上的采样位置点的高度的统计变量,能有效地反映缠绕物(比如室内环境中缠绕成一团的电线、电缆)的曲线变化特征。当前述高度的方差落入第一预设范围内时,视为满足第一缠绕物条件;当前述乘积的方差落入第二预设范围内时,视为满足第二缠绕物条件。
值得注意的是这些缠绕物的高度比较小,一般小于移动机器人的机体高度,可能落入所述门槛阈值高度范围内,但结合上述缠绕物条件的识别结果,控制所述移动机器人不跨越这个缠绕物,避免出现误判,因此,在一些更具体示例中,为提高识别缠绕物类型的准确率,以及降低计算负荷,需要先滤除轮廓线中具有直线特征的轮廓线,和/或轮廓线的最低点高于移动机器人身高的目标障碍物。本实施例将这个目标障碍物的深度信息(包括高度较大和高度较小的尺寸)及同一目标障碍物相匹配的亮度图像数据(目标障碍物表面的光线反射程度)进行特征的匹配性判断,以判断出符合缠绕物曲线特征规律(方差)的目标障碍物,从而识别出电线、电缆。
作为一种实施例,所述障碍物识别方法还包括:当所述障碍物分类模块判断到对应障碍物所占空间的水平宽度小于预设孤岛宽度,且对应障碍物所占空间的竖直高度小于预设孤岛高度时,将对应障碍物识别为孤岛障碍物;其中,预设孤岛高度不落入所述门槛阈值高度范围,预设孤岛宽度小于或等于预设水平宽度。本实施例通过将高度较高(甚至高于移动机器人的机体高度)的障碍物识别为孤岛障碍物,这样避免被误判为门槛,有效地规避移动机器人碰触孤岛障碍物,比如控制移动机器人不碰撞柱子。因此,本实施例利用目标障碍物的轮廓线的整体形状特征、封闭轮廓线所占空间平面范围识别出孤岛障碍物,方便移动机器人绕障行走但不触碰孤岛障碍物。
在前述实施例中,当判断到所述目标障碍物的一可连通表面区域相匹配的亮度图像数据处于第一预设介质灰度阈值范围,和/或当判断到所述目标障碍物的一可连通表面区域的各个位置点对应深度图像的像素点的深度与相匹配的亮度图像的像素点灰度的乘积处于第二预设介质灰度阈值范围时,确定所述目标障碍物的表面介质为允许移动机器人无障碍移动的平整的平面介质。进而利用TOF摄像头输出的深度图像和亮度图像数据有效地识别出行进平面介质的平整情况。优选地,所述目标障碍物相匹配的亮度图像数据是从所述目标障碍物的表面反射回所述TOF摄像头的成像平面的光线亮度信息,与所述TOF摄像头采集的目标障碍物的深度图像的像素点的深度一一对应匹配。使得所述第一缠绕物条件和所述第二缠绕物条件的判断效果,减少使用拟合运算。提高障碍物类型识别的准确度。
本发明实施例还公开一种清洁机器人,包括清洁装置、TOF摄像头和处理单元,TOF摄像头以预设倾斜角安装在清洁机器人的前面,使得TOF摄像头的探测视角覆盖清洁机器人的前方预设的行进平面;清洁装置,用于在受控的避障模式下执行清洁行为;处理单元分别与TOF摄像头、清洁装置电性连接,用于执行前述实施例的障碍物识别方法。本实施例中,清洁机器人配置有同时拍摄深度图像和亮度图像的3d-tof摄像装置。其中,清洁机器人的顶部或体侧装配有包含红外摄像装置和面阵列激光测量的摄像装置。其硬件结构示意图可参照中国专利CN111624997A。其中3d-tof摄像装置为利用红外光的飞行时间来得到深度图像和红外图像的3d-ToF传感器,所述3d-ToF传感器包含红外光发射器和红外光接收器。其中,红外光接收器利用障碍物表面所反射的红外光生成灰度图像以及深度图像。本实施例公开的清洁机器人集成较多类型的障碍物识别功能算法,适应于室内实际活动环境下清洁作业,相对于现有技术执行过多的图像特征点且拟合分类训练太大,降低了生产成本,减轻机器人识别障碍物的运行负载。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (8)
1.一种基于TOF摄像头的障碍物识别方法,其特征在于,包括:
控制移动机器人的TOF摄像头采集其探测视角范围内的一目标障碍物的深度图像,再根据这个目标障碍物的深度图像计算出这个目标障碍物深度信息及其尺寸大小,再选择性地结合TOF摄像头实时输出的与目标障碍物相匹配的亮度图像数据,识别出目标障碍物的类型;
其中,TOF摄像头设置在移动机器人的机体前方,用于探测移动机器人的前进方向上的目标障碍物;
其中,所述目标障碍物的尺寸大小包括所述目标障碍物的轮廓线的高度信息。
2.根据权利要求1所述障碍物识别方法,其特征在于,所述障碍物识别方法具体包括:
步骤S1、判断所述目标障碍物的轮廓线在预设水平宽度内的各个位置点的高度是否都处于门槛阈值高度范围内,是则进入步骤S2;
步骤S2、判断所述目标障碍物的轮廓线在预设水平宽度内的各个位置点的高度的方差是否满足第一缠绕物条件,是则将所述目标障碍物识别为缠绕物,否则进入步骤S3;
步骤S3、判断所述目标障碍物的轮廓线在预设水平宽度内的各个位置点对应深度图像的像素点的深度与相匹配的亮度图像的像素点灰度的乘积的方差是否满足第二缠绕物条件,是则将所述目标障碍物识别为缠绕物,否则进入步骤S4;
步骤S4、判断所述目标障碍物所占空间的水平宽度是否小于预设孤岛宽度,是则进入步骤S5,否则将所述目标障碍物识别为可跨越的门槛;
步骤S5、判断所述目标障碍物所占空间的竖直高度是否小于预设孤岛高度,是则将所述目标障碍物识别为孤岛障碍物;
其中,门槛阈值高度范围内的所有高度都小于移动机器人的机体高度;预设水平宽度是大于移动机器人的机体宽度;预设孤岛高度落入所述门槛阈值高度范围,预设孤岛宽度小于或等于预设水平宽度。
3.根据权利要求2所述障碍物识别方法,其特征在于,还包括:
当所述步骤S1判断到所述目标障碍物的轮廓线在预设水平宽度内的各个位置点的高度不是都处于门槛阈值高度范围内,则进入步骤S6;
步骤S6、判断所述目标障碍物的轮廓线在预设水平宽度内的最低的位置点的高度是否都高于移动机器人的机体高度,是则将所述目标障碍物识别为可供移动机器人穿越的家具,否则进入步骤S7;
步骤S7、判断所述目标障碍物的轮廓是否符合矩形特征条件且对应深度图像上的每个像素点对应的深度值是否都相等,两种判断条件都成立则进入步骤S8;
步骤S8、判断是否存在轮廓线在预设水平宽度内的位置点的高度都高于预设可通行高度阈值,是则将所述目标障碍物识别为墙体;其中,预设可通行高度阈值高于移动机器人的机体高度。
4.根据权利要求1所述障碍物识别方法,其特征在于,所述障碍物识别方法还包括:当判断到所述目标障碍物的轮廓线在预设水平宽度内的各个位置点的高度的方差满足第一缠绕物条件,和/或判断到所述目标障碍物的轮廓线在预设水平宽度内的各个位置点对应深度图像的像素点的深度与相匹配的亮度图像的像素点灰度的乘积的方差满足第二缠绕物条件时,将所述目标障碍物识别为缠绕物。
5.根据权利要求1所述障碍物识别方法,其特征在于,所述障碍物识别方法还包括:当所述障碍物分类模块判断到对应障碍物所占空间的水平宽度小于预设孤岛宽度,且对应障碍物所占空间的竖直高度小于预设孤岛高度时,将对应障碍物识别为孤岛障碍物;其中,预设孤岛高度不落入所述门槛阈值高度范围,预设孤岛宽度小于或等于预设水平宽度。
6.根据权利要求1至5任一项所述障碍物识别方法,其特征在于,当判断到所述目标障碍物的一可连通表面区域相匹配的亮度图像数据处于第一预设介质灰度阈值范围,和/或当判断到所述目标障碍物的一可连通表面区域的各个位置点对应深度图像的像素点的深度与相匹配的亮度图像的像素点灰度的乘积处于第二预设介质灰度阈值范围时,确定所述目标障碍物的表面介质为允许移动机器人无障碍移动的平面介质。
7.根据权利要求6所述障碍物识别方法,其特征在于,所述目标障碍物相匹配的亮度图像数据是从所述目标障碍物的表面反射回所述TOF摄像头的成像平面的光线亮度信息,与所述TOF摄像头采集的目标障碍物的深度图像的像素点的深度一一对应匹配。
8.一种清洁机器人,其特征在于,包括清洁装置、TOF摄像头和处理单元,TOF摄像头以预设倾斜角安装在清洁机器人的前面,使得TOF摄像头的探测视角覆盖清洁机器人的前方预设的行进平面;
清洁装置,用于在受控的避障模式下执行清洁行为;
处理单元分别与TOF摄像头、清洁装置电性连接,用于执行权利要求1至7任一项所述的障碍物识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011158065.0A CN112347876B (zh) | 2020-10-26 | 2020-10-26 | 一种基于tof摄像头的障碍物识别方法、清洁机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011158065.0A CN112347876B (zh) | 2020-10-26 | 2020-10-26 | 一种基于tof摄像头的障碍物识别方法、清洁机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112347876A true CN112347876A (zh) | 2021-02-09 |
CN112347876B CN112347876B (zh) | 2024-04-05 |
Family
ID=74358613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011158065.0A Active CN112347876B (zh) | 2020-10-26 | 2020-10-26 | 一种基于tof摄像头的障碍物识别方法、清洁机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112347876B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113240737A (zh) * | 2021-04-20 | 2021-08-10 | 云鲸智能(深圳)有限公司 | 识别门槛的方法、装置、电子设备及计算机可读存储介质 |
CN113298938A (zh) * | 2021-06-23 | 2021-08-24 | 东莞市小精灵教育软件有限公司 | 一种辅助建模方法、系统、可穿戴智能设备及vr设备 |
CN114326742A (zh) * | 2021-12-31 | 2022-04-12 | 深圳市优必选科技股份有限公司 | 机器人运行方法、机器人运行装置、机器人及介质 |
CN115607052A (zh) * | 2022-12-19 | 2023-01-17 | 科大讯飞股份有限公司 | 一种机器人的清洁方法、装置、设备及清洁机器人 |
CN118058658A (zh) * | 2024-04-18 | 2024-05-24 | 追觅创新科技(苏州)有限公司 | 清洁机器人的移动控制方法和清洁机器人 |
EP4390877A1 (en) * | 2022-12-19 | 2024-06-26 | Wistron Corporation | Object detection device and method |
WO2024140195A1 (zh) * | 2022-12-30 | 2024-07-04 | 北京石头创新科技有限公司 | 基于线激光的自行走设备避障方法及装置、设备和介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110622085A (zh) * | 2019-08-14 | 2019-12-27 | 珊口(深圳)智能科技有限公司 | 移动机器人及其控制方法和控制系统 |
CN110989631A (zh) * | 2019-12-30 | 2020-04-10 | 科沃斯机器人股份有限公司 | 自移动机器人控制方法、装置、自移动机器人和存储介质 |
CN111624997A (zh) * | 2020-05-12 | 2020-09-04 | 珠海市一微半导体有限公司 | 基于tof摄像模块的机器人控制方法、系统及机器人 |
-
2020
- 2020-10-26 CN CN202011158065.0A patent/CN112347876B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110622085A (zh) * | 2019-08-14 | 2019-12-27 | 珊口(深圳)智能科技有限公司 | 移动机器人及其控制方法和控制系统 |
CN110989631A (zh) * | 2019-12-30 | 2020-04-10 | 科沃斯机器人股份有限公司 | 自移动机器人控制方法、装置、自移动机器人和存储介质 |
CN111624997A (zh) * | 2020-05-12 | 2020-09-04 | 珠海市一微半导体有限公司 | 基于tof摄像模块的机器人控制方法、系统及机器人 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113240737A (zh) * | 2021-04-20 | 2021-08-10 | 云鲸智能(深圳)有限公司 | 识别门槛的方法、装置、电子设备及计算机可读存储介质 |
CN113240737B (zh) * | 2021-04-20 | 2023-08-08 | 云鲸智能(深圳)有限公司 | 识别门槛的方法、装置、电子设备及计算机可读存储介质 |
CN113298938A (zh) * | 2021-06-23 | 2021-08-24 | 东莞市小精灵教育软件有限公司 | 一种辅助建模方法、系统、可穿戴智能设备及vr设备 |
CN114326742A (zh) * | 2021-12-31 | 2022-04-12 | 深圳市优必选科技股份有限公司 | 机器人运行方法、机器人运行装置、机器人及介质 |
CN115607052A (zh) * | 2022-12-19 | 2023-01-17 | 科大讯飞股份有限公司 | 一种机器人的清洁方法、装置、设备及清洁机器人 |
EP4390877A1 (en) * | 2022-12-19 | 2024-06-26 | Wistron Corporation | Object detection device and method |
WO2024140195A1 (zh) * | 2022-12-30 | 2024-07-04 | 北京石头创新科技有限公司 | 基于线激光的自行走设备避障方法及装置、设备和介质 |
CN118058658A (zh) * | 2024-04-18 | 2024-05-24 | 追觅创新科技(苏州)有限公司 | 清洁机器人的移动控制方法和清洁机器人 |
CN118058658B (zh) * | 2024-04-18 | 2024-08-02 | 追觅创新科技(苏州)有限公司 | 清洁机器人的移动控制方法和清洁机器人 |
Also Published As
Publication number | Publication date |
---|---|
CN112347876B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112347876A (zh) | 一种基于tof摄像头的障碍物识别方法、清洁机器人 | |
CN112415998B (zh) | 一种基于tof摄像头的障碍物分类避障控制系统 | |
CN107041718B (zh) | 清洁机器人及其控制方法 | |
US20210131822A1 (en) | Exploration of an unknown environment by an autonomous mobile robot | |
US20180239355A1 (en) | Method of identifying unexpected obstacle and robot implementing the method | |
US20190120633A1 (en) | Discovering and plotting the boundary of an enclosure | |
CN112327878B (zh) | 一种基于tof摄像头的障碍物分类避障控制方法 | |
KR101207903B1 (ko) | 자율 이동 차량용 장애물 정보 제공장치 및 그 방법 | |
US20180210448A1 (en) | Method of identifying functional region in 3-dimensional space, and robot implementing the method | |
KR102461938B1 (ko) | 주행 지면의 장애물을 식별하는 방법 및 이를 구현하는 로봇 | |
KR100791384B1 (ko) | 특징점을 이용한 영역 구분 방법 및 장치와 이를 이용한이동 청소 로봇 | |
CN112004645A (zh) | 智能清洁机器人 | |
CN111538034B (zh) | 障碍物识别方法、装置及存储介质 | |
CN110622085A (zh) | 移动机器人及其控制方法和控制系统 | |
CN108062098B (zh) | 智能机器人的地图构建方法和系统 | |
CN112859873B (zh) | 一种基于语义激光的移动机器人多级避障系统及方法 | |
CN110874101B (zh) | 一种机器人清扫路径的生成方法及装置 | |
CN101006464A (zh) | 图表化装置 | |
CN112327879A (zh) | 一种基于深度信息的沿边避障方法 | |
KR20220029824A (ko) | 청소 로봇 및 그 제어 방법 | |
CN112363513A (zh) | 一种基于深度信息的障碍物分类避障控制方法 | |
US11561102B1 (en) | Discovering and plotting the boundary of an enclosure | |
KR20220055167A (ko) | 자율주행 로봇, 자율주행 로봇의 충돌 회피 방법 및 월드 맵 관리 방법 | |
US20220334587A1 (en) | Method for processing map of closed space, apparatus, and mobile device | |
US11400593B2 (en) | Method of avoiding collision, robot and server implementing thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 519000 2706, No. 3000, Huandao East Road, Hengqin new area, Zhuhai, Guangdong Applicant after: Zhuhai Yiwei Semiconductor Co.,Ltd. Address before: Room 105-514, No.6 Baohua Road, Hengqin New District, Zhuhai City, Guangdong Province Applicant before: AMICRO SEMICONDUCTOR Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |