CN112327878B - 一种基于tof摄像头的障碍物分类避障控制方法 - Google Patents
一种基于tof摄像头的障碍物分类避障控制方法 Download PDFInfo
- Publication number
- CN112327878B CN112327878B CN202011336273.5A CN202011336273A CN112327878B CN 112327878 B CN112327878 B CN 112327878B CN 202011336273 A CN202011336273 A CN 202011336273A CN 112327878 B CN112327878 B CN 112327878B
- Authority
- CN
- China
- Prior art keywords
- robot
- obstacle
- walking
- barrier
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000004888 barrier function Effects 0.000 claims abstract description 171
- 238000012896 Statistical algorithm Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 48
- 238000001914 filtration Methods 0.000 claims description 16
- 238000004804 winding Methods 0.000 claims description 15
- 230000002441 reversible effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 208000031427 Foetal heart rate deceleration Diseases 0.000 abstract description 2
- 230000001960 triggered effect Effects 0.000 description 17
- 238000004140 cleaning Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 11
- 238000013459 approach Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003116 impacting effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
- G05D1/622—Obstacle avoidance
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/242—Means based on the reflection of waves generated by the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
- G05D1/2435—Extracting 3D information
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2101/00—Details of software or hardware architectures used for the control of position
- G05D2101/20—Details of software or hardware architectures used for the control of position using external object recognition
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2105/00—Specific applications of the controlled vehicles
- G05D2105/10—Specific applications of the controlled vehicles for cleaning, vacuuming or polishing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2107/00—Specific environments of the controlled vehicles
- G05D2107/40—Indoor domestic environment
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2109/00—Types of controlled vehicles
- G05D2109/10—Land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
- G05D2111/10—Optical signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
- G05D2111/10—Optical signals
- G05D2111/14—Non-visible signals, e.g. IR or UV signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Toys (AREA)
- Manipulator (AREA)
Abstract
本发明公开一种基于TOF摄像头的障碍物分类避障控制方法,包括:步骤1、结合TOF摄像头采集到的目标障碍物的深度信息和TOF摄像头的内外参数,计算获取目标障碍物的纵向高度,并基于数据稳定度统计算法将目标障碍物识别分类为墙类型障碍物、玩具类型障碍物、门槛类型障碍物、沙发类型障碍物、电线类型障碍物;步骤2、根据前述的分类结果、对应类型下的目标障碍物的纵向高度以及碰撞警告信号的触发情况,决策机器人的减速避障方式或减速绕障方式,使得机器人优先进入碰撞警告信号触发状态下的红外避障模式中;其中,目标障碍物是在TOF摄像头当前的视场区域内。通过提前减速避障或减速绕障的方式来避开高速撞击障碍物,提高避障效果。
Description
技术领域
本发明涉及智能机器人避障的技术领域,特别是一种基于TOF摄像头的障碍物分类避障控制方法。
背景技术
目前基于惯性导航、视觉、激光的SLAM机器人越来越普及,代表性比较强的是家庭扫地清洁机器人,结合视觉、激光、陀螺仪、加速度跟轮子里程计的数据,实现室内环境即时定位跟建图,再根据建立的地图实现定位导航。但是目前的痛点是,机器人在复杂的障碍物环境中,地面上经常存在玩具、电线等可以移动的障碍物,等机器人碰撞到这种类型的障碍物的时候,要么会推着障碍物,要么被电线类型的障碍物缠绕住,家庭环境还存在沙发类型的障碍物,如果沙发底下的高度刚好低于机器顶面的高度,机器进入的时候就可能卡住,由于目前扫地机器人上出于成本的考虑,使用的激光是单线的,无法探测到这种类型的障碍物,视觉一般也是使用单一摄像头实现,没提前预判出距离信息,因此也无法预先探测出障碍物更加别说对机器人进行分类。2019年12月27日申请公开的中国专利CN110622085A涉及到采用至少一个摄像装置去获取障碍物的深度图像,但没有在靠近障碍物之前,就针对同一类型的障碍物的不同高度通行条件控制机器人进行有效的避障或绕障。
发明内容
为了解决上述技术问题,本发明中,机器人运动过程中根据障碍物的类型和碰触障碍物之前触发的碰撞警告信号进行提前避障、绕障或者减速靠近或者通过。具体的技术方案如下:
一种基于TOF摄像头的障碍物分类避障控制方法,包括:步骤1、结合TOF摄像头采集到的目标障碍物的深度信息和TOF摄像头的内外参数,计算获取目标障碍物的纵向高度信息,并基于数据稳定度统计算法将目标障碍物识别分类为墙类型障碍物、玩具类型障碍物、门槛类型障碍物、沙发类型障碍物、电线类型障碍物;步骤2、根据机器人当前的行走模式、前述的分类结果、对应类型下的目标障碍物的纵向高度信息以及碰撞警告信号的触发情况,决策机器人的减速避障方式或减速绕障方式,使得机器人优先进入碰撞警告信号触发状态下的红外避障模式中;其中,所述障碍物分类避障控制方法的执行主体是机身前端装配有TOF摄像头和红外传感器的机器人,目标障碍物是在TOF摄像头当前的视场区域内;其中,红外避障模式是机器人基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物。
与现有技术相比,本技术方案基于实际家居环境下的不同高度的大家具及小部件摆设的深度信息,预先识别障碍物类型和提前对较高的障碍物采取避障措施,当机器人靠近目标障碍物时,控制机器人优先处理触发的碰撞警告信号以进入避障模式,并通过提前减速避障或减速绕障的方式来避开高速撞击障碍物,提高机器人的避障效果,且不需调用过多的图像信息进行训练运算。
进一步地,所述步骤2包括:在所述目标障碍物被分类为玩具类型障碍物且计算获得所述目标障碍物的纵向高度是大于第一预设玩具高度后,若机器人当前执行弓字形行走,则控制机器人沿着当前行走方向减速行走,同时判断机器人是否触发碰撞警告信号,是则停止执行当前行走方向上的减速行走并基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物;在所述目标障碍物被分类为玩具类型障碍物且计算获得所述目标障碍物的纵向高度是大于第一预设玩具高度后,若机器人当前执行全局沿边行走,则控制机器人沿着当前沿边方向减速行走,同时判断机器人是否触发碰撞警告信号,是则停止执行当前行走方向上的减速行走并基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物;其中,移动机器人在执行弓字形行走过程中和执行全局沿边行走过程中,移动机器人上的红外传感器实时探测障碍物。
该技术方案在机器人碰触较高的玩具障碍物之前,控制机器人预先识别出这一障碍物的类型并减速前进靠上去,同时保持检测红外探测信号和碰撞警告信号,在接收到碰撞警告信号后停止减速前进转而单独执行红外避障,在没接收到碰撞警告信号时保持减速前进和红外避障,提前避开较高的玩具障碍物,尽量减小近距离碰触这一较高的玩具障碍物的几率。
进一步地,所述步骤2还包括:在所述目标障碍物被分类为玩具类型障碍物且计算获得所述目标障碍物的纵向高度是小于第一预设玩具高度后,若机器人当前执行弓字形行走,则控制机器人减速行走,同时判断机器人是否触发碰撞警告信号,是则停止减速行走并利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则等到机器人与所述目标障碍物的深度距离为第一玩具安全距离时,朝第一预设时针方向旋转90度,再前进第一预设距离,然后朝第一预设时针方向旋转90度,再前进,以实现直角掉头;在所述目标障碍物被分类为玩具类型障碍物且计算获得所述目标障碍物的纵向高度是小于第一预设玩具高度后,若机器人当前执行全局沿边行走,则控制机器人减速行走,同时判断机器人是否触发碰撞警告信号,是则停止减速行走并利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则等到机器人与所述目标障碍物的深度距离为第二玩具安全距离时,朝第二预设时针方向旋转90度,再前进第二预设距离,然后朝第二预设时针方向的逆方向旋转90度,再前进第三预设距离,然后通过旋转一个第一观察角度来检测所述原来的全局沿边行走的路径上是否存在其他障碍物,是则通过绕障行走的方式以第一预设移动弧度绕过检测到的障碍物,再回到原来的全局沿边路径上,否则以第二预设移动弧度绕过所述目标障碍物再回到原来的全局沿边路径上;其中,第一预设距离、第二预设距离和第三预设距离都与TOF摄像头采集获取的目标障碍物的轮廓宽度相关,这个轮廓宽度是:在TOF摄像头的视角范围和有效测距范围的重叠区域内,目标障碍物的最左侧及其最右侧的水平距离;其中,第一玩具安全距离是与机器人执行弓字形行走过程中测得的深度信息相关;第二玩具安全距离是与机器人执行全局沿边行走过程中测得的深度信息相关。
该技术方案在机器人碰触较矮较小的玩具障碍物之前,在减速行走和触发处理碰撞警告信号的基础上,通过直角掉头和绕障行走来避免机器人与这一类较为矮小的玩具障碍物发生碰撞,禁止机器人跨越这一类较为矮小的玩具障碍物,但保证机器人在避障或绕障之后回到原先规划的工作路径上,进而降低障碍物对机器人工作的干扰。
进一步地,所述第一预设玩具高度设置为65mm;其中,玩具类型障碍物包括孤岛类型的障碍物。符合实际家具环境下配置的小部件的高度特征,使得禁止接触的障碍物得到有效的检测识别。
进一步地,所述步骤2还包括:在所述目标障碍物被分类为门槛类型障碍物后,若机器人当前执行弓字形行走,则控制机器人减速行走,同时判断机器人是否触发碰撞警告信号,是则停止执行弓字形行走并基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则继续减速行走以跨过门槛;在所述目标障碍物被分类为门槛类型障碍物后,若机器人当前执行全局沿边行走,则控制机器人减速行走以跨过门槛,同时判断机器人是否触发碰撞警告信号,是则停止执行弓字形行走并基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则继续减速行走以跨过门槛;其中,门槛类型障碍物包括可供机器人跨越的障碍物。该技术方案在识别出门槛后,减速前进以跨过门槛,避免机器人高速撞击门槛,起到保护门槛的作用。
进一步地,所述步骤2还包括:在所述目标障碍物被分类为墙类型障碍物后,若机器人当前执行弓字形行走,则控制机器人保持原弓字形行走模式,同时判断机器人是否触发碰撞警告信号,是则停止执行弓字形行走并基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物;在所述目标障碍物被分类为墙类型障碍物后,若机器人当前执行全局沿边行走,则控制机器人保持原沿边行走模式,同时判断机器人是否触发碰撞警告信号,是则停止执行全局沿边行走并基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则保持原沿边行走模式。
该技术方案控制机器人在沿墙行走过程中不执行红外避障,而在不沿墙行走的情况下则根据碰撞警告信号的触发状态来选择红外避障的方式,包括是否需要停止原来的行走模式再转而执行红外避障,避免机器人频繁碰撞墙体,从而起到保护墙体类型的较高家具的作用。
进一步地,所述步骤2还包括:若机器人当前执行的行走模式是弓字形行走,则存在以下减速避障方式:在所述目标障碍物被分类为沙发类型障碍物,且计算获得所述目标障碍物的纵向高度是小于第一预设沙发高度时,控制机器人维持原弓字形行走模式,同时判断机器人是否触发碰撞警告信号,是则停止执行弓字形行走并基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,这个障碍物包括目标障碍物;在所述目标障碍物被分类为沙发类型障碍物,且计算获得所述目标障碍物的纵向高度是大于第一预设沙发高度且小于第二预设沙发高度时,沿着当前行走方向减速行走,同时判断机器人是否触发碰撞警告信号,是则停止执行当前行走方向减速行走并基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物;在所述目标障碍物被分类为沙发类型障碍物,且计算获得所述目标障碍物的纵向高度是大于第二预设沙发高度时,控制机器人沿着当前的弓字形路径进入这个沙发类型障碍物的底部,同时判断机器人是否触发碰撞警告信号,是则停止沿着当前的弓字形路径进入这个沙发类型障碍物的底部并基于红外传感器的探测信息避开当前行走方向上所探测到的其它障碍物,否则维持原弓字形行走模式;其中,第二预设沙发高度是大于机器人的机身高度;这个其它障碍物是排除沙发类型障碍物之外的障碍物;其中,沙发类型障碍物包括可供移动机器人穿越的家具。
与现有技术相比,该技术方案在机器人的前进方向上识别出沙发这一可穿越类型的障碍物后,根据触发的碰撞警告信号和沙发的纵向高度值大小范围决策机器人是否进入沙发底部和减速避障的方式,沙发高度较小(机器人进不去沙发底部)时直接红外避障以避免碰触,沙发高度适中(机器人的一部分能进入沙发底部)时减速前进并保持红外避障以避免高速撞击沙发,沙发高度较大(机器人能完全进入沙发底部)时不用减速而是以原来行走模式直接进入沙发,提高机器人的工作效率和避障的有效性。
进一步地,所述步骤2还包括:若机器人当前执行的行走模式是全局沿边行走,则存在以下减速避障方式:在所述目标障碍物被分类为沙发类型障碍物,且计算获得所述目标障碍物的纵向高度是小于第三预设沙发高度时,控制机器人沿着所述目标障碍物的轮廓减速行走,以使得机器人与所述目标障碍物发生碰撞但不被所述目标障碍物卡住;在所述目标障碍物被分类为沙发类型障碍物,且计算获得所述目标障碍物的纵向高度是大于第三预设沙发高度时,控制机器人减速沿边行走,并允许机器人在沿边行走过程中碰撞所述目标障碍物,以使得机器人通过碰撞确定所述目标障碍物的具体位置,且在沿边进入沙发类型障碍物的底部后不被这个沙发类型障碍物卡住;其中,所述第三预设沙发高度大于所述第一预设沙发高度,所述第二预设沙发高度大于所述第三预设沙发高度。
与现有技术相比,该技术方案在识别出沙发的高度是适中时,允许机器人在不卡入沙发底部的情况下与沙发发生碰撞,且是减速碰撞沙发,起到保护沙发的作用,同时也通过碰撞来确定沙发的具体位置。
进一步地,所述第三预设沙发高度设置为110mm,所述第二预设沙发高度设置为90mm,所述第一预设沙发高度设置为50mm;其中,沙发类型障碍物包括供机器人穿越的家具障碍物。从而识别出允许机器人碰触甚至穿越的大型障碍物。
进一步地,所述步骤2还包括:在所述目标障碍物被分类为电线类型障碍物且计算获得所述目标障碍物的纵向高度是大于第一预设电线高度后,若机器人当前执行弓字形行走,则控制机器人减速行走,同时判断机器人是否触发碰撞警告信号,是则停止减速行走并利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则等到机器人与所述目标障碍物的深度距离为第一电线安全距离时,朝第一预设时针方向旋转90度,再前进第四预设距离,然后朝第一预设时针方向旋转90度,再前进,以实现直角掉头;在所述目标障碍物被分类为电线类型障碍物且计算获得所述目标障碍物的纵向高度是大于第一预设电线高度后,若机器人当前执行全局沿边行走,则控制机器人减速行走,同时判断机器人是否触发碰撞警告信号,是则停止减速行走并利用红外传感器的探测信息避开当前沿边方向上所探测到的障碍物,否则等到机器人与所述目标障碍物的深度距离为第二电线安全距离时,朝第二预设时针方向旋转90度,再前进第五预设距离,然后朝第二预设时针方向的逆方向旋转90度,再前进第六预设距离;然后通过旋转一个第二观察角度来检测所述原来的全局沿边行走的路径上是否存在其他障碍物,是则通过绕障行走的方式以第三预设移动弧度绕过检测到的障碍物,再回到原来的全局沿边路径上,否则以第四预设移动弧度绕过所述目标障碍物再回到原来的全局沿边路径上;其中,移动机器人在执行弓字形行走过程中和执行全局沿边行走过程中,移动机器人上的红外传感器实时探测障碍物;其中,第四预设距离、第五预设距离和第六预设距离都与TOF摄像头采集获取的目标障碍物的轮廓宽度相关,这个轮廓宽度是:在TOF摄像头的视角范围和有效测距范围的重叠区域内,目标障碍物的最左侧与其最右侧的水平距离;其中,第一电线安全距离是与机器人执行弓字形行走过程中测得的深度信息相关;第二电线安全距离是与机器人执行全局沿边行走过程中测得的深度信息相关。
该技术方案在机器人的前进方向上识别出电线这一类缠绕障碍物后,根据机器人当前的运动状态和触发的碰撞警告信号,在减速行走过程中灵活调整避障策略,以实现弓字形减速行走一段安全距离后通过直角掉头的方式避开碰触电线,沿边减速行走一段安全距离后通过绕障行走的方式绕开电线,在触发碰撞警告信号后直接执行红外避障,从而控制机器人在靠近电线之前避开碰触电线甚至跨越电线;还控制机器人在远离电线后继续回到原来的行走模式,降低电线这一类障碍物对机器人正常工作的影响。
进一步地,所述第一预设电线高度设置为5mm,其中,电线类型障碍物包括缠绕物。有效地识别出低矮且能被机器人跨越的缠绕物。
进一步地,所述数据稳定度统计算法是基于滤波与统计算法对目标障碍物的深度信息及其纵向高度信息进行分类处理,以构建出目标障碍物的三维轮廓,进而将目标障碍物分类为墙模型、玩具模型、门槛模型、沙发模型和电线模型。该技术方案通过采集TOF摄像头输出的深度信息来分析出目标障碍物的形状跟范围,也从而可以定位到机器人前方的障碍物情况。减少使用拟合运算。提高障碍物类型识别的准确度。
附图说明
图1是本发明实施例一提供的一种基于TOF摄像头的障碍物分类避障控制方法的流程图。
图2是本发明实施例二提供的一种基于TOF摄像头的障碍物分类避障控制方法的流程图。
图3是本发明实施例三提供的一种基于TOF摄像头的障碍物分类避障控制方法的流程图。
图4是本发明实施例四提供的一种基于TOF摄像头的障碍物分类避障控制方法的流程图。
图5是本发明实施例五提供的一种基于TOF摄像头的障碍物分类避障控制方法的流程图。
图6是本发明实施例六提供的一种基于TOF摄像头的障碍物分类避障控制方法的流程图。
图7是本发明实施例七提供的一种基于TOF摄像头的障碍物分类避障控制方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行详细描述。需要说明的是,本申请将中国专利CN111624997A的全文引入本申请的文本中,基于CN111624997A的三角原理计算方法,利用TOF摄像头的内外参数完成从TOF摄像头采集的深度信息计算出目标障碍物的相对坐标位置、目标障碍物所占空间的纵向高度信息、目标障碍物的最左侧与目标障碍物的最右侧的水平距离(轮廓宽度)。
所述深度图像也被称为距离影像,是指深度图像的各像素点到所拍摄的对应障碍物实际测量点之间的距离作为像素值的图像。其中,各像素点与对应测量点的偏角基于摄像装置的设定参数而确定。所述深度图像直接反映所拍摄的物理场景中各障碍物的可见表面的几何形状轮廓,所述深度图像经过坐标转换可以转换为空间点云数据。其中,所述深度图像中利用深度数据描述的各障碍物均可作为待识别的障碍物的图像,以供后续步骤处理。其中,所述障碍物应被为泛指包含临时放置在行进平面上的物体和不易移动的物体。根据实际应用环境,机器人的行进平面包括但不限于以下几类:水泥地面、涂漆的地面、铺设复合地板的地面、铺设实木地板的地面、铺设地毯的地面、桌面、玻璃面等。临时放置在行进平面上的物体举例包括:门槛(可以跨越)、玩具(禁止碰撞)、电线(禁止跨越)等物体;不易移动的物体举例包括: 沙发(沙发底的高度低于机器的高度的时候,就控制机器不能进去)、墙壁等。
作为实施例一,公开一种基于TOF摄像头的障碍物分类避障控制方法,所述障碍物分类避障控制方法的执行主体是机身前端装配有TOF摄像头和红外传感器的机器人,包括但不限于扫地机器人,如图1所示,所述障碍物分类避障控制方法包括:
步骤S1、结合TOF摄像头采集到的目标障碍物的深度信息和TOF摄像头的内外参数,计算获取目标障碍物的纵向高度信息,并基于数据稳定度统计算法将目标障碍物识别分类为墙类型障碍物、玩具类型障碍物、门槛类型障碍物、沙发类型障碍物、电线类型障碍物,然后进入步骤S2。其中,采集到的目标障碍物是在TOF摄像头当前的视场区域内,且位于机器人的前方;在该步骤中具体先对TOF摄像头采集到的深度图像信息进行滤波与连通域分析以分割出目标障碍物的图像轮廓,包括目标障碍物的空间轮廓特征和目标障碍物的形状特征,从而分析出障碍物的形状跟范围;然后结合TOF摄像头采集到的目标障碍物的深度信息和TOF摄像头的内外参数求取出目标障碍物的实际物理尺寸,包括目标障碍物的纵向高度信息。在求取出目标障碍物的实际物理尺寸之后,基于数据稳定度统计算法将目标障碍物识别分类为墙类型障碍物、玩具类型障碍物、门槛类型障碍物、沙发类型障碍物、电线类型障碍物,具体是基于滤波与统计算法对目标障碍物的深度信息及其纵向高度信息进行分类处理,在一些实施例中还需利用目标障碍物的轮廓形状的灰度数据去识别障碍物类型,以构建出目标障碍物的三维轮廓,进而将目标障碍物分类为墙模型、玩具模型、门槛模型、沙发模型和电线模型。可以探测出周围的3维坐标信息,从而可以定位到机器人前方的障碍物情况。
其中,涉及的深度图像数据的滤波算法包括中值滤波、高斯滤波、导向滤波、双边滤波、均值滤波、时域中值滤波、统计滤波、直通滤波、半径滤波、体素滤波;连通域分析包括Two-pass 和 seed-filling两种。
需要说明的是,TOF是飞行时间(Time of Flight) 技术的缩写,即传感器发出经调制的近红外光,遇物体后反射,传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄景物的距离,以产生深度信息,此外再结合传统的相机拍摄,就能将物体的三维轮廓以不同颜色代表不同距离的地形图像方式呈现出来,从而得到一个立体的3D模型,TOF摄像头是采用TOF技术进行数据采集的摄像头。
步骤S2、根据前述步骤S1的分类结果、对应类型下的目标障碍物的纵向高度信息以及碰撞警告信号的触发情况,决策机器人的减速避障方式或减速绕障方式,使得机器人优先进入碰撞警告信号触发状态下的红外避障模式中;在该步骤中,还需要结合机器人的工作运动模式、机身前方或当前行走方向上识别出的目标障碍物的类型特征和所占高度空间,去决策机器人在触发碰撞警告信号或不触发碰撞警告信号的情况下的减速避障方式或减速绕障方式,以实现:当机器人靠近障碍物时,就可以提前避开障碍物实现无碰撞功能、或者绕开障碍物再往前走;也可以避免机器在检测到危险障碍物时及时避开这个危险障碍物,遇到家具、墙等大物体的时候及时减速以避免高速撞击,起到保护家具跟墙体的作用。红外避障模式是机器人基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物。
需要说明的是,当机器人已经距离障碍物足够近时,进入障碍物周围设置的预警区域时,触发TOF摄像头检测到障碍物的信号,当然家具底部的中空部分可以不用触发,因为这一中空部分是允许跨越的,不会发生碰撞;然后,机器人检测到目标障碍物与机器人的相对位置满足一定的空间区域条件时,预判出沿着当前行走方向继续行走会发生碰撞,则触发碰撞警告信号,机器人根据反馈的碰撞警告信号改变当前的行走方向。
与现有技术相比,前述步骤基于实际家居环境下的不同高度的大家具及小部件摆设的深度信息,预先识别障碍物类型和提前对较高的障碍物采取避障措施,当机器人靠近目标障碍物时,控制机器人优先处理触发的碰撞警告信号以进入避障模式,并通过提前减速避障或减速绕障的方式来避免高速撞击障碍物,提高机器人的避障效果,且不需调用过多的图像信息进行训练运算。
在具体实施过程中至少存在:所述机器人当前运动的状态(正常直线行走、原地转圈、弧度转圈、沿边)与障碍物的类型决定调整机器人当前位姿,使其在穿越障碍物、跨越障碍物之前能够直线越障,或者通过调整移动机器人当前位姿使其在小型障碍物(包括小型的缠绕物)之前绕障行走或直线避障行走但不触碰该障碍物,或者通过调整移动机器人当前位姿使其在靠近墙体时沿边避障。当然这与已识别的障碍物的形状特征也有关系,所述形状特征是基于轮廓线和/或特征点组成的或抽象出的几何形状、几何形状组合等,用于与各障碍物类型相匹配。其中,所述几何形状、几何形状组合可基于所识别的障碍物的全部轮廓或轮廓的部分表示。例如,基于孤岛类型而设置的形状特征包括以下一种或多种组合:圆形、球形、弧线、方形、立方形、π形等。例如,鞋的形状特征包含首尾相连的多个弧线形状:椅子的形状特征包括π形、八爪型等。基于缠绕物类型而设置的形状特征包括以下至少一种或多种组合:曲线形状、蛇形、盘结形等。基于空间分隔类型而设置的形状特征包括以下至少一种或多种组合:直线形状、折线形状、矩形等。
实施例二,作为机器人弓字形行走避开玩类型具障碍物的实施例,如图2所示,所述基于TOF摄像头的障碍物分类避障控制方法的具体步骤包括:
步骤S201、机器人当前执行弓字形行走过程中,检测到机体前方的目标障碍物被分类为玩具类型障碍物后,进入步骤S202。这里的机体前方是机器人的行走方向的前方或处于TOF摄像头的视角范围和有效测距范围的重叠区域内。
步骤S202、判断所述目标障碍物的纵向高度是否大于第一预设玩具高度,是则进入步骤S203,否则进入步骤S206。优选地,所述第一预设玩具高度设置为65mm;其中,玩具类型障碍物包括孤岛类型的障碍物。
步骤S203、控制机器人沿着当前行走方向减速行走,使得机器人减速直行以靠近玩具类型障碍物,同时判断机器人是否触发碰撞警告信号,是则进入步骤S204,否则进入步骤S205。
步骤S204、停止执行当前行走方向上的减速行走,转而利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,因为机器人继续沿着当前行走方向行走会碰撞到所述目标障碍物,所以在触发碰撞警告信号之后直接执行红外避障。使得机器人通过红外避障的模式无碰撞地避开所述目标障碍物,再恢复原来的行走模式。
步骤S205、在机器人沿着当前行走方向减速行走的同时,利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物。
步骤S206、控制机器人减速行走,且沿着原先规划的弓字形路径减速行走,同时判断机器人是否触发碰撞警告信号,是则进入步骤S207,否则进入步骤S208。
步骤S207、停止步骤S206的减速行走,才能有效地控制机器人不碰撞跨越小型的玩具,再利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物。因此无论玩具类型障碍物的高度如何,在触发碰撞警告信号后优先进入红外避障模式中。使得机器人通过红外避障的模式无碰撞地避开所述目标障碍物,再恢复原来的行走模式。
步骤S208、在机器人沿着原先规划的弓字形路径减速行走的过程中,判断机器人与所述目标障碍物的深度距离是否减小为第一玩具安全距离,或判断机器人与所述目标障碍物的深度距离是否为第一玩具安全距离或第一玩具安全距离的误差数值范围之内,是则进入步骤S209,否则返回步骤S206去检测正在减速行走机器人是否触发碰撞警告信号。其中,第一玩具安全距离是与机器人执行弓字形行走过程中测得的深度信息相关,限制机器人减速为零之前不能碰撞上所述目标障碍物,起到保护目标障碍物的作用。
步骤S209、控制机器人朝第一预设时针方向旋转90度,再前进第一预设距离,然后朝第一预设时针方向旋转90度,再前进,以实现机器人直角掉头,在趋向碰撞障碍物之前,及时避开危险的障碍物。其中,第一预设距离与TOF摄像头采集的同一玩具类型障碍物的轮廓宽度相关,这个轮廓宽度是:在TOF摄像头的视场区域内,同一玩具类型障碍物的最左侧及其最右侧的水平距离,在本实施例中是步骤S201和步骤S202中计算获取的。在TOF摄像头的视角范围内,当同一玩具类型障碍物的最左侧与机器人的机体中心的水平距离越大,则机器人向左转动后再直行的第一预设距离越大;在TOF摄像头的视角范围内,当同一玩具类型障碍物的最右侧与机器人的机体中心的水平距离越大,则机器人向右转动后再直行的第一预设距离越大;反之第一预设距离越小。
在实施例二的基础上,实施例三公开一种基于TOF摄像头的障碍物分类避障控制方法,如图3所示,具体包括:
步骤S301、机器人当前执行全局沿边行走过程中,检测到机体前方的目标障碍物被分类为玩具类型障碍物后,进入步骤S302。这里的机体前方是机器人的行走方向上或处于TOF摄像头的视角范围和有效测距范围的重叠区域内。
步骤S302、判断所述目标障碍物的纵向高度是否大于第一预设玩具高度,是则进入步骤S303,否则进入步骤S306。优选地,所述第一预设玩具高度设置为65mm;其中,玩具类型障碍物包括孤岛类型的障碍物。
步骤S303、控制机器人沿着当前沿边方向上的减速行走,使得机器人减速直行以靠近玩具类型障碍物,同时判断机器人是否触发碰撞警告信号,是则进入步骤S304,否则进入步骤S305。
步骤S304、停止执行当前沿边方向上的减速行走,再利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,因为机器人继续沿着当前沿边方向行走会碰撞到所述目标障碍物,所以在触发碰撞警告信号之后直接执行红外避障。使得机器人通过红外避障的模式无碰撞地避开所述目标障碍物,再恢复原来的行走模式。
步骤S305、在机器人沿着当前沿边方向减速行走的同时,利用红外传感器的探测信息避开当前沿边方向上所探测到的障碍物。
步骤S306、控制机器人减速行走,且是沿着全局沿边路径减速行走,同时判断机器人是否触发碰撞警告信号,是则进入步骤S307,否则进入步骤S308。
步骤S307、停止执行步骤S306的减速行走,才能有效地规避机器人跨越低矮的玩具障碍物,再利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物。使得机器人通过红外避障的模式无碰撞地避开所述目标障碍物,再恢复原来的行走模式。因此无论玩具类型障碍物的高度如何、机器人当前行走模式如何,在触发碰撞警告信号后优先进入红外避障模式中。
步骤S308、判断机器人与所述目标障碍物的深度距离是否减小为第二玩具安全距离,或判断机器人与所述目标障碍物的深度距离是否为第二玩具安全距离或第二玩具安全距离的误差数值范围之内,是则进入步骤S309,否则返回步骤S306去检测机器人是否触发碰撞警告信号。其中,第二玩具安全距离是与机器人执行弓字形行走过程中测得的深度信息相关,可以是基于所述目标障碍物的轮廓形状设置的安全门限值,限制机器人减速为零之前不能碰撞上所述目标障碍物,起到保护目标障碍物的作用。
步骤S309、控制机器人朝第二预设时针方向旋转90度,再前进第二预设距离,即沿着当前行走方向直行第二预设距离,然后朝第二预设时针方向的逆方向旋转90度,再前进第三预设距离,即沿着当前行走方向直行第三预设距离,实现开始绕障行走,然后进入步骤S310。值得注意的是,在步骤S309中,机器人可以减速行走,也可以不用减速,因为机器人与所述目标障碍物的深度距离为第二玩具安全距离后,机器人已经开始改变行走方向,可能不再趋向于碰撞所述目标障碍物。其中,第二预设距离和第三预设距离都与弓字形路径上的机器人的TOF摄像头采集的同一目标障碍物的轮廓宽度相关,这个轮廓宽度是:在TOF摄像头的视场区域内,同一目标障碍物的最左侧及其最右侧的水平距离,在本实施例中是步骤S301和步骤S302计算获得的,同时也测得同一目标障碍物的深度数据。在TOF摄像头的视角范围内,当同一玩具类型障碍物的最左侧与机器人的机体中心的水平距离越大,则机器人向左转动后再直行的第二预设距离越大;在TOF摄像头的视角范围内,当同一玩具类型障碍物的最右侧与机器人的机体中心的水平距离越大,则机器人向右转动后再直行的第二预设距离越大;反之第二预设距离设置得越小。无论机器人向右转动还是向左转动,若同一玩具类型障碍物的深度数据越大,第三预设距离也设置得越大,反之第三预设距离越小。
步骤S310、控制机器人旋转一个第一观察角度,然后进入步骤S311。该步骤中的机器人旋转方向可以是第二预设时针方向或其逆方向,使得机器人由步骤S309执行前进第三预设距离的行走方向转向检测步骤S301所述全局沿边路径上是否存在障碍物,比如原先的全局沿边行走所沿的墙体的前方是否存在障碍物。
步骤S311、检测步骤S301所述全局沿边路径上是否存在其它障碍物,是则进入步骤S312,否则进入步骤S313。这里的其它障碍物是除了前述的目标障碍物之外,在机器人的TOF摄像头的当前视场区域内的障碍物。
步骤S312、通过绕障行走的方式以第一预设移动弧度绕过检测到的障碍物,再回到原来的全局沿边路径上,使得机器人恢复原来的全局沿边行走。该步骤的障碍物包括步骤S311检测到的障碍物和前述的目标障碍物。
步骤S313、以第二预设移动弧度绕过所述目标障碍物,再回到原来的全局沿边路径上,其中,第二预设移动弧度小于所述第一预设移动弧度。
实施例二和实施例三在机器人碰触较高的玩具障碍物之前,控制机器人预先识别出这一障碍物的类型并减速前进靠上去,同时保持检测红外探测信号和碰撞警告信号,在接收到碰撞警告信号后停止减速前进转而单独执行红外避障,在没接收到碰撞警告信号时保持减速前进和红外避障,提前避开较高的玩具障碍物,尽量减小近距离碰触这一较高的玩具障碍物的几率。实施例二和实施例三在机器人碰触较矮较小的玩具障碍物之前,在减速行走和触发处理碰撞警告信号的基础上,通过直角掉头和绕障行走来避免机器人与这一类较为矮小的玩具障碍物发生碰撞,禁止机器人跨越这一类较为矮小的玩具障碍物,但保证机器人在避障或绕障之后回到原先规划的工作路径上,进而降低障碍物对机器人工作的干扰。
作为一种实施例,所述步骤S2还包括:若机器人当前执行弓字形行走或全局沿边行走,则在所述目标障碍物被分类为门槛类型障碍物后,控制机器人减速行走以跨过门槛;其中,门槛类型障碍物包括可供机器人跨越的障碍物。具体地,在所述目标障碍物被分类为门槛类型障碍物后,若机器人当前执行弓字形行走,则控制机器人减速行走,且是沿着弓字形路径减速行走,可以同时判断机器人是否触发碰撞警告信号,是则停止执行弓字形减速行走再基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则继续减速行走以跨过门槛;在所述目标障碍物被分类为门槛类型障碍物后,若机器人当前执行全局沿边行走,则控制机器人减速行走以跨过门槛,且是沿着全局沿边路径行走,可以同时判断机器人是否触发碰撞警告信号,是则停止执行沿边减速行走再基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则继续减速行走以跨过门槛;其中,门槛类型障碍物包括可供机器人跨越的障碍物。本实施例在识别出门槛后,减速前进以跨过门槛,避免机器人高速撞击门槛,起到保护门槛的作用。
作为一种实施例,所述步骤S2还包括:若机器人当前执行弓字形行走,则在所述目标障碍物被分类为墙类型障碍物后,控制机器人保持执行原来的弓字形行走模式,同时判断机器人是否触发碰撞警告信号,是则停止执行弓字形行走,再基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物;实现弓字形行走过程中不碰触墙体。若机器人当前执行全局沿边行走,则控制机器人保持执行原来的沿边行走模式,同时判断机器人是否触发碰撞警告信号,是则停止执行沿边行走,再基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则保持执行原来的沿边行走模式。有利于控制机器人调整出最佳沿边方向,以使机器人调整当前的沿边模式,但是机器人在沿边行走的过程中不能碰撞墙体。本实施例控制机器人在沿墙行走过程中不执行红外避障,而在不沿墙行走的情况下则根据碰撞警告信号的触发状态来选择红外避障的方式,包括是否需要停止原来的行走模式再转而执行红外避障,避免机器人频繁碰撞墙体,从而起到保护墙体类型的较高家具的作用。
实施例四,公开的沙发障碍物分类避障控制实施例,如图4所示,具体包括:
步骤S401、机器人当前执行弓字形行走过程中,检测到机体前方的目标障碍物被分类为沙发类型障碍物后,进入步骤S402。这里的机体前方是机器人的行走方向上或处于TOF摄像头的视角范围和有效测距范围的重叠区域内。
步骤S402、判断所述目标障碍物的纵向高度是否小于或等于第一预设沙发高度,是则进入步骤S403,否则进入步骤S404。优选地,所述第一预设沙发高度设置为50mm;其中,沙发类型障碍物包括供机器人穿越的家具障碍物。
步骤S403、控制机器人维持执行原来的弓字形行走,保持原来的行走模式,机器人不需减速行走,同时判断机器人是否触发碰撞警告信号,是则进入步骤S405,否则进入步骤S406。
步骤S405、停止执行弓字形行走,转而利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,使得机器人通过红外避障的模式无碰撞地避开所述目标障碍物,再恢复原来的行走模式。因为机器人继续沿着当前行走方向行走会碰撞到所述目标障碍物,所以在触发碰撞警告信号之后直接执行红外避障,在不碰触目标障碍物的前提下提前避开,加快回到原来的弓字形行走模式下。
步骤S406、在机器人执行原来的弓字形行走的同时,保持原来的行走模式的同时,利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物。
步骤S404、判断所述目标障碍物的纵向高度是小于或等于第二预设沙发高度,是则进入步骤S410,否则进入步骤S407。即判断所述目标障碍物的纵向高度是否满足:大于第一预设沙发高度且小于或等于第二预设沙发高度。优选地,所述第三预设沙发高度设置为110mm,所述第一预设沙发高度设置为50mm;其中,沙发类型障碍物包括供机器人穿越的家具障碍物。从而识别出允许机器人碰触甚至穿越的大型障碍物。
步骤S410、控制机器人沿着当前行走方向减速行走,同时判断机器人是否触发碰撞警告信号,是则进入步骤S411,否则进入步骤S412。
步骤S411、停止执行原来的弓字形行走,转而利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,使得机器人通过红外避障的模式无碰撞地避开所述目标障碍物,再恢复原来的行走模式。因为机器人继续沿着当前行走方向行走会碰撞到所述目标障碍物,所以在触发碰撞警告信号之后直接执行红外避障行走,加快回到原来的弓字形行走模式下。
步骤S412、在沿着当前行走方向减速行走的同时,利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,包括避开已分类出的目标障碍物。
步骤S407、此时判断到所述目标障碍物的纵向高度是大于第二预设沙发高度,则控制机器人保持执行原来的弓字形行走以进入这个沙发类型障碍物的底部,不需减速,同时判断机器人是否触发碰撞警告信号,是则进入步骤S408,否则进入步骤S409。需要说明的是,当所述目标障碍物的类型为可供移动机器人穿越的家具时,控制移动机器人保持当前的行走方向,但也需执行避障动作,以实现穿越沙发底部的过程中除沙发之外的障碍物对机器人的正常工作行为的影响程度降到最低,但是机器人弓字形行走过程中不能碰撞这个沙发。其中,第二预设沙发高度大于机器人的机身高度;第二预设沙发高度大于第一预设沙发高度。
步骤S408、停止执行原来的弓字形行走,转而利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,使得机器人通过红外避障的模式无碰撞地避开沙发之外的其它障碍物,再恢复原来的行走模式以顺利地进入沙发底部。因为机器人继续沿着弓字形行走进入沙发底部的过程中会碰撞到沙发类型的障碍物之外的障碍物,所以在触发碰撞警告信号之后直接执行红外避障,从而在不发生碰触的前提下避开其它障碍物,依靠红外避障顺利进入沙发内继续执行弓字形行走。
步骤S409、保持执行原来的弓字形行走以进入这个沙发类型障碍物的底部,使得机器人不减速地进入沙发底。
与现有技术相比,通过执行前述步骤S401至步骤S412所述的障碍物分类避障控制方法,本实施例在机器人的前进方向上识别出沙发这一可穿越类型的障碍物后,根据触发的碰撞警告信号和沙发的纵向高度值大小范围决策机器人是否进入沙发底部和减速避障的方式,沙发高度较小(机器人进不去沙发底部)时直接红外避障以避免碰触,沙发高度适中(机器人的一部分能进入沙发底部)时减速前进并保持红外避障以避免高速撞击沙发,沙发高度较大(机器人能完全进入沙发底部)时不用减速而是以原来行走模式直接进入沙发,提高机器人的工作效率和避障的有效性。
在实施例四的基础上,实施例五公开一种基于TOF摄像头的障碍物分类避障控制方法,如图5所示,具体包括:
步骤S501、机器人当前执行全局沿边行走过程中,检测到机体前方的目标障碍物被分类为沙发类型障碍物后,进入步骤S502。这里的机体前方是机器人的行走方向上或处于TOF摄像头的视角范围和有效测距范围的重叠区域内。即确认机器人当前执行的行走模式是全局沿边行走后,开始执行以下减速避障方式。
步骤S502、判断所述目标障碍物的纵向高度是否小于或等于第三预设沙发高度,是则进入步骤S504,否则进入步骤S503。
步骤S503、控制机器人沿着所述目标障碍物的轮廓减速行走,以使得机器人与所述目标障碍物发生碰撞时不被所述目标障碍物卡住,本实施例允许机器偶尔碰撞沙发,但是不允许卡死。
在一些实施场景中,机器人通过沿边行走的方式穿越沙发家具的底部的过程中,机器人可能会绕沙发类型障碍物底部的支撑部位做沿边行走,这时允许机器人碰撞沙发以进行沿边行走,而且机器人进入家具底部的中空部分并与其支撑部位发生物理碰撞后,可以纠正沙发类型障碍物的位置检测结果或障碍物类型识别结果。
步骤S504、控制机器人减速沿边行走,同时控制机器人通过物理碰撞确定所述目标障碍物的占地位置区域,以使得机器人与所述目标障碍物发生碰撞时不被所述目标障碍物卡住,从而在一些实施场景下允许机器偶尔碰撞沙发,但是不允许卡死;其中,所述第三预设沙发高度大于所述第一预设沙发高度,所述第二预设沙发高度大于所述第三预设沙发高度。优选地,所述第二预设沙发高度设置为90mm。
与现有技术相比,本实施例在识别出沙发的高度是适中时,允许机器人在不卡入沙发底部的情况下与沙发发生碰撞,且是减速碰撞沙发,起到保护沙发的作用,同时也通过碰撞来确定沙发的具体位置。
实施例六,作为机器人弓字形行走避开电线类型具障碍物的实施例,如图6所示,所述基于TOF摄像头的障碍物分类避障控制方法的具体步骤包括:
步骤S601、机器人当前执行弓字形行走过程中,检测到机体前方的目标障碍物被分类为电线类型障碍物后,进入步骤S602。这里的机体前方是机器人的行走方向的前方或处于TOF摄像头的视角范围和有效测距范围的重叠区域内。从而在确认机器人当前执行的行走模式是弓字形行走后,开始执行以下减速避障方式。
步骤S602、判断所述目标障碍物的纵向高度是否大于第一预设电线高度,是则进入步骤S603。优选地,所述第一预设电线高度设置为5mm,其中,电线类型障碍物包括缠绕物。值得注意的是这些缠绕物的高度比较小,一般小于机器人的机体高度,容易在误判条件下引导机器人跨越这个电线类型障碍物。
步骤S603、在检测到电线类型障碍物的高度高得足够明显时,控制机器人减速行走,且是沿着弓字形路径减速行走以避免高速撞击电线类型障碍物,同时判断机器人是否触发碰撞警告信号,是则进入步骤S604,否则进入步骤S605。
步骤S604、停止减速行走,即通过停止沿着弓字形路径减速行走才能有效地控制机器人不碰触跨越电线类型障碍物,再利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,因为机器人继续沿着原来行走方向行走会碰撞到所述目标障碍物,所以在触发碰撞警告信号之后直接执行红外避障,使得机器人及时通过红外避障的模式避开所述目标障碍物,然后在无碰撞的状态下恢复原来的行走模式。
步骤S605、在机器人沿着弓字形路径减速行走的过程中,判断机器人与所述目标障碍物的深度距离是否减小为第一电线安全距离,或判断机器人与所述目标障碍物的深度距离是否为第一电线安全距离或第一电线安全距离的误差数值范围之内,是则进入步骤S606,否则返回步骤S603去检测机器人是否触发碰撞警告信号。其中,第一电线安全距离是与机器人执行弓字形行走过程中测得的深度信息相关,限制机器人减速为零之前不能碰撞上所述电线类型障碍物,而不需要绕着缠绕物行走而在误检测缠绕物的相对位置的情况下容易被卡住。
步骤S606、控制机器人朝第一预设时针方向旋转90度,再前进第四预设距离,然后朝第一预设时针方向旋转90度,再前进,以实现机器人直角掉头,在趋向碰撞障碍物之前,及时避开电线类型障碍物。其中,第四预设距离与TOF摄像头采集的同一电线类型障碍物的轮廓宽度相关,可以是按比例缩放而得到;这个轮廓宽度是:在TOF摄像头的视场区域内,同一电线类型障碍物的最左侧及其最右侧的水平距离。在TOF摄像头的视角范围内,当电线类型障碍物的最左侧与机器人的机体中心的水平距离越大,则机器人向左转动后再直行的第四预设距离越大;在TOF摄像头的视角范围内,当电线类型障碍物的最右侧与机器人的机体中心的水平距离越大,则机器人向右转动后再直行的第四预设距离越大;反之第四预设距离越小。
在实施例六的基础上,实施例七公开一种基于TOF摄像头的障碍物分类避障控制方法,如图7所示,具体包括:
步骤S701、机器人当前执行全局沿边行走过程中,检测到机体前方的目标障碍物被分类为电线类型障碍物后,进入步骤S702。这里的机体前方是机器人的行走方向上或处于TOF摄像头的视角范围和有效测距范围的重叠区域内。
步骤S702、判断所述目标障碍物的纵向高度是否大于所述第一预设电线高度,是则进入步骤S703。
步骤S703、在检测到电线类型障碍物的高度高得足够明显时,控制机器人减速行走,且是沿着全局沿边路径减速行走以避免高速跨越电线类型障碍物,同时判断机器人是否触发碰撞警告信号,是则进入步骤S704,否则进入步骤S705。
步骤S704、通过停止沿边减速行走来控制机器人不碰触跨越电线类型障碍物,再利用红外传感器的探测信息避开当前沿边方向上所探测到的障碍物,因为机器人继续沿着原来行走方向行走会碰撞到所述目标障碍物,所以在触发碰撞警告信号之后直接执行红外避障,使得机器人及时通过红外避障的模式避开所述目标障碍物,然后在无碰撞的状态下恢复原来的行走模式。因此无论机器人当前行走模式如何,在触发碰撞警告信号后优先进入红外避障模式中。
步骤S705、判断机器人与所述目标障碍物的深度距离是否减小为第二电线安全距离,或判断机器人与所述目标障碍物的深度距离是否为第二电线安全距离或第二电线安全距离的误差数值范围之内,是则进入步骤S706,否则返回步骤S703去检测正在减速行走的机器人是否触发碰撞警告信号。值得注意的是,在步骤S705中,机器人可以减速行走,也可以不用减速,因为机器人与所述目标障碍物的深度距离为第二电线安全距离后,机器人已经开始改变行走方向,可能不再趋向于碰撞所述目标障碍物,所以允许机器人不减速行走。其中,第二电线安全距离是与机器人执行全局沿边行走过程中测得的深度信息相关,可以是基于电线类型障碍物的轮廓形状设置的安全门限值,限制机器人减速为零之前不能碰撞上所述电线类型障碍物,而不需要绕着缠绕物行走而在误检测缠绕物的相对位置的情况下容易被卡住。
步骤S706、控制机器人朝第二预设时针方向旋转90度,再前进第五预设距离(即沿着当前行走方向直行第五预设距离),然后朝第二预设时针方向的逆方向旋转90度,再前进第六预设距离(即沿着当前行走方向直行第六预设距离),实现开始绕障行走,然后进入步骤S707。其中,在机器人全局沿边行走的场景下,第五预设距离和第四预设距离都与TOF摄像头采集的同一电线类型障碍物的轮廓宽度相关,这个轮廓宽度是:在TOF摄像头的视场区域内,同一电线类型障碍物的最左侧及其最右侧的水平距离,在本实施例中是步骤S701和步骤S702计算获得的,同时也测得同一目标障碍物的深度数据。在TOF摄像头的视角范围内,当同一电线类型障碍物的最左侧与机器人的机体中心的水平距离越大,则机器人向左转动后再直行的第五预设距离越大;在TOF摄像头的视角范围内,当同一电线类型障碍物的最右侧与机器人的机体中心的水平距离越大,则机器人向右转动后再直行的第五预设距离越大;反之第五预设距离设置得越小。无论机器人向右转动还是向左转动,若同一电线类型障碍物的深度数据越大,第六预设距离也设置得越大,反之第六预设距离越小。
步骤S707、控制机器人旋转一个第二观察角度,然后进入步骤S708。该步骤中的机器人旋转方向可以是第二预设时针方向或其逆方向,使得机器人由步骤S706执行前进第六预设距离的行走方向转向检测步骤S701所述全局沿边路径上是否存在障碍物,比如原先的全局沿边行走所沿的墙体的前方是否存在障碍物。
步骤S708、检测步骤S701所述全局沿边路径上是否存在其它障碍物,是则进入步骤S709,否则进入步骤S710。这里的其它障碍物是在机器人的TOF摄像头的当前视场区域内,除了前述的电线类型障碍物之外的障碍物。
步骤S709、通过绕障行走的方式以第三预设移动弧度绕过检测到的障碍物,再回到原来的全局沿边路径上,使得机器人恢复原来的全局沿边行走。该步骤的障碍物包括步骤S708检测到的障碍物和前述的电线类型障碍物。
步骤S710、以第四预设移动弧度绕过所述目标障碍物,再回到原来的全局沿边路径上,其中,第四预设移动弧度小于所述第三预设移动弧度。其中,第四预设距离和第五预设距离都用于限制机器人在沿边行走的过程或减速行走过程中不会与所述目标障碍物碰触,第四预设移动弧度和所述第三预设移动弧度用于限制机器人在绕障行走的过程中不会与所述目标障碍物碰触,本实施例在接近视角范围内已识别的目标障碍物之前,通过设置不同的安全距离来满足匹配类型的障碍物对碰撞避障的要求,以预判出无障碍物可通行区域,方便后续规划出有效的避障路径。
结合实施例六和实施例七,可知在机器人的前进方向上识别出电线这一类缠绕障碍物后,根据机器人当前的运动状态和触发的碰撞警告信号,在减速行走过程中灵活调整避障策略,以实现弓字形减速行走一段安全距离后通过直角掉头的方式避开碰触电线,沿边减速行走一段安全距离后通过绕障行走的方式绕开电线,在触发碰撞警告信号后直接执行红外避障,从而控制机器人在靠近电线之前避开碰触电线甚至跨越电线;还控制机器人在远离电线后继续回到原来的行走模式,降低电线这一类障碍物对机器人正常工作的影响。
实施例六和实施例七在机器人碰触较矮较小的缠绕障碍物之前,在减速行走和触发处理碰撞警告信号的基础上,通过直角掉头和绕障行走来避免机器人与这一类较为矮小的缠绕障碍物发生碰撞,禁止机器人跨越这一类较为矮小的缠绕障碍物,但保证机器人在避障或绕障之后回到原先规划的工作路径上,进而降低障碍物对机器人工作的干扰。
需要说明的是,前述实施例中,所述数据稳定度统计算法是基于滤波与统计算法对目标障碍物的深度信息及其纵向高度信息进行分类处理,以构建出目标障碍物的三维轮廓,进而将目标障碍物分类为墙模型、玩具模型、门槛模型、沙发模型和电线模型。本实施例通过采集TOF摄像头输出的深度信息来分析出目标障碍物的形状跟范围,也从而可以定位到机器人前方的障碍物情况。减少使用拟合运算。提高障碍物类型识别的准确度。
在前述实施例中,触发碰撞警告信号的方法具体包括:根据TOF摄像头当前采集获取的目标障碍物的轮廓的深度图像(前述的目标障碍物的深度图像轮廓)、目标障碍物的深度信息以及TOF摄像头的内外参数,计算获取目标障碍物的实际物理尺寸,并在此基础上设置出用于包围该目标障碍物的虚拟矩形框,其中,这个虚拟矩形框是位于机器人的行进平面上;然后,当机器人行走至这个虚拟矩形框的内部且检测到机器人的当前行走方向是存在碰撞目标障碍物的趋势时,控制机器人触发碰撞警告信号。与现有技术相比,本实施例在目标障碍物的实际物理尺寸的基础上设置出具有碰撞预警意义的矩形框,并在这个矩形框内触发机器人的碰撞警告信号,让机器人在必要的位置区域内提前避开碰撞障碍物,将目标障碍物对机器人正常工作的影响降低。并且提醒机器人重新规划工作路径。
具体地,所述机器人行走至这个虚拟矩形框的内部的判断步骤包括:判断所述虚拟矩形框的其中三个不同端点相对于机器人当前行走方向形成的夹角的角度和小于90度,是则确定机器人没有行走至所述虚拟矩形框的内部,否则确定机器人已经行走至所述虚拟矩形框的内部,即所述虚拟矩形框存在其中三个不同端点相对于机器人当前行走方向形成的夹角的角度和大于或等于90度时,确定机器人已经进入所述虚拟矩形框的内部,需要注意的是,所述目标障碍物的实际物理尺寸包括所述虚拟矩形框的四个不同端点的坐标信息。判断所述机器人是否行走至这个虚拟矩形框的内部的理论依据是来源于圆周角定理,其中,所述虚拟矩形框存在一个外接圆,当所述虚拟矩形框存在其中三个不同端点相对于机器人当前行走方向形成的夹角的角度和等于90度时,机器人开始进入所述虚拟矩形框内。其中,所述虚拟矩形框的一个端点相对于机器人当前行走方向形成的夹角是:这个端点与机器人的机体中心的连线相对于机器人当前行走方向所形成的偏转角。本实施例利用所述虚拟矩形框的不同端点与机器人的实时位姿的相对角度位置关系,判断机器人行走至所述虚拟矩形框的内部,与现有技术相比,在机器人距离目标障碍物足够近时,利用包围目标障碍物的所述虚拟矩形框触发机器人检测到障碍物的信号,但没有通过设置安全门限值去限定机器人的行为。
具体地,所述机器人在所述虚拟矩形框的内部后(包括位于虚拟矩形框的矩形边上),机器人的当前行走方向是趋向于碰撞目标障碍物的判断步骤包括:判断机器人的机体中心与所述虚拟矩形框的中心的连线与机器人的当前行走方向所成的夹角是否为锐角,是则确定机器人的当前行走方向是趋向于碰撞所述目标障碍物,否则确定机器人的当前行走方向不是趋向于碰撞所述目标障碍物。本实施例利用所述虚拟矩形框的中心与机器人的实时位姿的相对角度关系,判断位于所述虚拟矩形框的内部的机器人的运动趋势是否会碰撞上目标障碍物,与现有技术相比,没有设置安全门限值去限定机器人的运动,也避免在靠近目标障碍物的条件下使用碰撞传感器去检测预警,同时在确定机器人的运动趋势不会碰撞上目标障碍物之后,也推出机器人的运动趋势是偏离目标障碍物的。
本发明实施例还公开一种清洁机器人,包括红外传感器、清洁装置、TOF摄像头和处理单元,TOF摄像头以预设倾斜角安装在清洁机器人的前面,使得TOF摄像头的探测视角覆盖清洁机器人的前方预设的行进平面;红外传感器安装在清洁机器人的侧面,用于执行前述实施例的红外避障模式。清洁装置,用于在受控的避障模式下执行清洁行为;处理单元分别与TOF摄像头、清洁装置电性连接,用于执行前述实施例的障碍物识别方法。本实施例中,清洁机器人配置有同时拍摄深度图像和亮度图像的3d-tof摄像装置。其中,清洁机器人的顶部或体侧装配有包含红外摄像装置和面阵列激光测量的摄像装置。其硬件结构示意图可参照中国专利CN111624997A。其中3d-tof摄像装置为利用红外光的飞行时间来得到深度图像和红外图像的3d-ToF传感器,所述3d-ToF传感器包含红外光发射器和红外光接收器。其中,红外光接收器利用障碍物表面所反射的红外光生成灰度图像以及深度图像。本实施例公开的清洁机器人集成较多类型的障碍物识别功能算法,适应于室内实际活动环境下清洁作业,相对于现有技术执行过多的图像特征点且拟合分类训练太大,降低了生产成本,减轻机器人识别障碍物的运行负载。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (11)
1.一种基于TOF摄像头的障碍物分类避障控制方法,其特征在于,包括:
步骤1、结合TOF摄像头采集到的目标障碍物的深度信息和TOF摄像头的内外参数,计算获取目标障碍物的纵向高度,并基于数据稳定度统计算法将目标障碍物识别分类为墙类型障碍物、玩具类型障碍物、门槛类型障碍物、沙发类型障碍物、电线类型障碍物;
步骤2、根据前述的分类结果、对应类型下的目标障碍物的纵向高度以及碰撞警告信号的触发情况,决策机器人的减速避障方式或减速绕障方式,使得机器人优先进入碰撞警告信号触发状态下的红外避障模式中;
其中,所述障碍物分类避障控制方法的执行主体是机身前端装配有TOF摄像头和红外传感器的机器人;
其中,红外避障模式是机器人基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物;
所述步骤2还包括:
若机器人当前执行弓字形行走,则在所述目标障碍物被分类为玩具类型障碍物且计算获得所述目标障碍物的纵向高度是小于第一预设玩具高度后,控制机器人减速行走,同时判断机器人是否触发碰撞警告信号,是则停止减速行走再利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则等到机器人与所述目标障碍物的深度距离为第一玩具安全距离时,控制机器人朝第一预设时针方向旋转90度,再前进第一预设距离,然后朝第一预设时针方向旋转90度,再前进,以实现直角掉头;
若机器人当前执行全局沿边行走,则在所述目标障碍物被分类为玩具类型障碍物且计算获得所述目标障碍物的纵向高度是小于或等于第一预设玩具高度后,控制机器人减速行走,同时判断机器人是否触发碰撞警告信号,是则停止减速行走,再利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则等到机器人与所述目标障碍物的深度距离为第二玩具安全距离时,控制机器人朝第二预设时针方向旋转90度,再前进第二预设距离,然后朝第二预设时针方向的逆方向旋转90度,再前进第三预设距离,然后通过旋转一个第一观察角度来检测原来的全局沿边路径上是否存在其他障碍物,是则通过绕障行走的方式以第一预设移动弧度绕过检测到的障碍物,再回到原来的全局沿边路径上,否则以第二预设移动弧度绕过所述目标障碍物再回到原来的全局沿边路径上;
其中,第一预设距离和第二预设距离都与TOF摄像头采集的目标障碍物的轮廓宽度相关,这个轮廓宽度是:在TOF摄像头的视场区域内,同一目标障碍物的最左侧及其最右侧的水平距离;
其中,第一玩具安全距离是与机器人执行弓字形行走过程中测得的深度信息相关;第二玩具安全距离是与机器人执行全局沿边行走过程中测得的深度信息相关。
2.根据权利要求1所述障碍物分类避障控制方法,其特征在于,所述步骤2包括:
若机器人当前执行弓字形行走或全局沿边行走,则在所述目标障碍物被分类为玩具类型障碍物且计算获得所述目标障碍物的纵向高度是大于第一预设玩具高度后,控制机器人沿着当前行走方向减速行走,同时判断机器人是否触发碰撞警告信号,是则停止执行当前行走方向上的减速行走,再基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物;
其中,移动机器人在执行弓字形行走过程中和执行全局沿边行走过程中,移动机器人上的红外传感器实时探测障碍物。
3.根据权利要求2所述障碍物分类避障控制方法,其特征在于,所述第一预设玩具高度设置为65mm;其中,玩具类型障碍物包括孤岛类型的障碍物。
4.根据权利要求1所述障碍物分类避障控制方法,其特征在于,所述步骤2还包括:
若机器人当前执行弓字形行走或全局沿边行走,则在所述目标障碍物被分类为门槛类型障碍物后,控制机器人减速行走以跨过门槛;其中,门槛类型障碍物包括可供机器人跨越的障碍物。
5.根据权利要求1所述障碍物分类避障控制方法,其特征在于,所述步骤2还包括:
若机器人当前执行弓字形行走,则在所述目标障碍物被分类为墙类型障碍物后,控制机器人保持执行原来的弓字形行走,同时判断机器人是否触发碰撞警告信号,是则停止执行弓字形行走,再基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物;
若机器人当前执行全局沿边行走,则控制机器人保持执行原来的沿边行走,同时判断机器人是否触发碰撞警告信号,是则停止执行沿边行走,再基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则保持执行原来沿边行走。
6.根据权利要求1所述障碍物分类避障控制方法,其特征在于,所述步骤2还包括:
若机器人当前执行的行走模式是弓字形行走,则存在以下减速避障方式:
在所述目标障碍物被分类为沙发类型障碍物,且计算获得所述目标障碍物的纵向高度是小于或等于第一预设沙发高度时,控制机器人维持执行原来的弓字形行走,同时判断机器人是否触发碰撞警告信号,是则停止执行原来的弓字形行走再基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物;
在所述目标障碍物被分类为沙发类型障碍物,且计算获得所述目标障碍物的纵向高度是大于第一预设沙发高度且小于或等于第二预设沙发高度时,控制机器人沿着当前行走方向减速行走,同时判断机器人是否触发碰撞警告信号,是则停止执行当前行走方向减速行走再基于红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物;
在所述目标障碍物被分类为沙发类型障碍物,且计算获得所述目标障碍物的纵向高度是大于第二预设沙发高度时,控制机器人保持执行原来的弓字形行走以进入这个沙发类型障碍物的底部,同时判断机器人是否触发碰撞警告信号,是则停止执行弓字形行走再基于红外传感器的探测信息避开当前行走方向上所探测到的其他障碍物,否则保持执行原来的弓字形行走;
其中,第二预设沙发高度大于机器人的机身高度;第二预设沙发高度大于第一预设沙发高度;这个其他障碍物是排除沙发类型障碍物之外的障碍物;
其中,沙发类型障碍物包括可供移动机器人穿越的家具。
7.根据权利要求6所述障碍物分类避障控制方法,其特征在于,所述步骤2还包括:
若机器人当前执行的行走模式是全局沿边行走,则存在以下减速避障方式:
在所述目标障碍物被分类为沙发类型障碍物,且计算获得所述目标障碍物的纵向高度是小于或等于第三预设沙发高度时,控制机器人沿着所述目标障碍物的轮廓减速行走,以使得机器人与所述目标障碍物发生碰撞时不被所述目标障碍物卡住;
在所述目标障碍物被分类为沙发类型障碍物,且计算获得所述目标障碍物的纵向高度是大于第三预设沙发高度时,控制机器人减速沿边行走,同时控制机器人通过碰撞确定所述目标障碍物的占地位置区域,以使得机器人与所述目标障碍物发生碰撞时不被所述目标障碍物卡住;
其中,所述第三预设沙发高度大于所述第一预设沙发高度,所述第二预设沙发高度大于所述第三预设沙发高度。
8.根据权利要求7所述障碍物分类避障控制方法,其特征在于,所述第三预设沙发高度设置为110mm,所述第二预设沙发高度设置为90mm,所述第一预设沙发高度设置为50mm;其中,沙发类型障碍物包括供机器人穿越的家具障碍物。
9.根据权利要求1所述障碍物分类避障控制方法,其特征在于,所述步骤2还包括:
若机器人当前执行弓字形行走,则在所述目标障碍物被分类为电线类型障碍物且计算获得所述目标障碍物的纵向高度是大于第一预设电线高度后,控制机器人减速行走,同时判断机器人是否触发碰撞警告信号,是则停止减速行走再利用红外传感器的探测信息避开当前行走方向上所探测到的障碍物,否则等到机器人与所述目标障碍物的深度距离为第一电线安全距离时,控制机器人朝第一预设时针方向旋转90度,再前进第四预设距离,然后朝第一预设时针方向旋转90度,再前进,以实现直角掉头;
若机器人当前执行全局沿边行走,则在所述目标障碍物被分类为电线类型障碍物且计算获得所述目标障碍物的纵向高度是大于第一预设电线高度后,控制机器人减速行走,同时判断机器人是否触发碰撞警告信号,是则停止减速行走,再利用红外传感器的探测信息避开当前沿边方向上所探测到的障碍物,否则等到机器人与所述目标障碍物的深度距离为第二电线安全距离时,控制机器人朝第二预设时针方向旋转90度,再前进第五预设距离,然后朝第二预设时针方向的逆方向旋转90度,再前进第六预设距离;然后通过旋转一个第二观察角度来检测原来的全局沿边行走的路径上是否存在其他障碍物,是则通过绕障行走的方式以第三预设移动弧度绕过检测到的障碍物,再回到原来的全局沿边行走的路径上,否则以第四预设移动弧度绕过所述目标障碍物再回到原来的全局沿边行走的路径上;
其中,机器人在执行弓字形行走过程中和执行全局沿边行走过程中,机器人上的红外传感器实时探测障碍物;
其中,第四预设距离和第五预设距离都与TOF摄像头采集获取的目标障碍物的轮廓宽度相关;这个轮廓宽度是:在TOF摄像头的视场区域内,目标障碍物的最左侧与其最右侧的水平距离;
其中,第一电线安全距离是与机器人执行弓字形行走过程中测得的深度信息相关;第二电线安全距离是与机器人执行全局沿边行走过程中测得的深度信息相关。
10.根据权利要求9所述障碍物分类避障控制方法,其特征在于,所述第一预设电线高度设置为5mm,其中,电线类型障碍物包括缠绕物。
11.根据权利要求1至10任一项所述障碍物分类避障控制方法,其特征在于,所述数据稳定度统计算法是基于滤波与统计算法对目标障碍物的深度信息及其纵向高度信息进行分类处理,以构建出目标障碍物的三维轮廓,进而将目标障碍物分类为墙模型、玩具模型、门槛模型、沙发模型和电线模型。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011336273.5A CN112327878B (zh) | 2020-11-25 | 2020-11-25 | 一种基于tof摄像头的障碍物分类避障控制方法 |
PCT/CN2021/120082 WO2022111017A1 (zh) | 2020-11-25 | 2021-09-24 | 一种基于 tof 摄像头的障碍物分类避障控制方法 |
US18/034,783 US20230409040A1 (en) | 2020-11-25 | 2021-09-24 | Method for Controlling of Obstacle Avoidance according to Classification of Obstacle based on TOF camera and Cleaning Robot |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011336273.5A CN112327878B (zh) | 2020-11-25 | 2020-11-25 | 一种基于tof摄像头的障碍物分类避障控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112327878A CN112327878A (zh) | 2021-02-05 |
CN112327878B true CN112327878B (zh) | 2022-06-10 |
Family
ID=74308480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011336273.5A Active CN112327878B (zh) | 2020-11-25 | 2020-11-25 | 一种基于tof摄像头的障碍物分类避障控制方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230409040A1 (zh) |
CN (1) | CN112327878B (zh) |
WO (1) | WO2022111017A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112327878B (zh) * | 2020-11-25 | 2022-06-10 | 珠海一微半导体股份有限公司 | 一种基于tof摄像头的障碍物分类避障控制方法 |
CN112836681B (zh) * | 2021-03-03 | 2024-01-26 | 上海高仙自动化科技发展有限公司 | 一种障碍物标记方法、装置及可读非暂时性存储介质 |
CN113031617B (zh) * | 2021-03-15 | 2022-11-01 | 云鲸智能(深圳)有限公司 | 机器人避障方法、装置、设备及存储介质 |
CN115202330A (zh) * | 2021-04-09 | 2022-10-18 | 美智纵横科技有限责任公司 | 清洁机器人沿障碍物运动的控制方法及清洁机器人 |
CN113231735B (zh) * | 2021-04-15 | 2023-06-23 | 大族激光科技产业集团股份有限公司 | 切割头避障方法、装置、计算机设备和介质 |
CN113455962B (zh) * | 2021-07-12 | 2023-04-07 | 北京顺造科技有限公司 | 一种自主清洁设备的行进控制方法、设备、系统及介质 |
CN113601513A (zh) * | 2021-09-06 | 2021-11-05 | 盐城一方信息技术有限公司 | 一种智能机器人防撞栏 |
CN114847810B (zh) * | 2022-07-08 | 2022-09-20 | 深圳市云鼠科技开发有限公司 | 基于lds激光的清洁机器人越障方法、装置、设备及介质 |
CN115657704B (zh) * | 2022-08-29 | 2023-12-01 | 广州建通测绘地理信息技术股份有限公司 | 一种飞行器被动式避障导航方法、装置及计算机设备 |
CN116466723A (zh) * | 2023-04-26 | 2023-07-21 | 曲阜师范大学 | 一种消杀机器人避障方法、系统和设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018129648A1 (zh) * | 2017-01-10 | 2018-07-19 | 深圳市极思维智能科技有限公司 | 一种机器人及其以深度摄像头和避障系统构建地图的方法 |
CN111067439A (zh) * | 2019-12-31 | 2020-04-28 | 深圳飞科机器人有限公司 | 障碍物处理方法以及清洁机器人 |
CN111897335A (zh) * | 2020-08-02 | 2020-11-06 | 珠海市一微半导体有限公司 | 一种机器人弓字型行走时的避障控制方法及其控制系统 |
CN111930127A (zh) * | 2020-09-02 | 2020-11-13 | 广州赛特智能科技有限公司 | 一种机器人障碍物识别及避障方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9694496B2 (en) * | 2015-02-26 | 2017-07-04 | Toyota Jidosha Kabushiki Kaisha | Providing personalized patient care based on electronic health record associated with a user |
CN106527444B (zh) * | 2016-11-29 | 2020-04-14 | 深圳市元征科技股份有限公司 | 清洁机器人的控制方法及清洁机器人 |
CN111479662B (zh) * | 2017-10-25 | 2023-07-07 | Lg电子株式会社 | 学习障碍物的人工智能移动机器人及其控制方法 |
WO2021026831A1 (zh) * | 2019-08-14 | 2021-02-18 | 珊口(深圳)智能科技有限公司 | 移动机器人及其控制方法和控制系统 |
CN111857155B (zh) * | 2020-08-02 | 2024-06-18 | 珠海一微半导体股份有限公司 | 一种机器人控制方法 |
CN112327878B (zh) * | 2020-11-25 | 2022-06-10 | 珠海一微半导体股份有限公司 | 一种基于tof摄像头的障碍物分类避障控制方法 |
-
2020
- 2020-11-25 CN CN202011336273.5A patent/CN112327878B/zh active Active
-
2021
- 2021-09-24 US US18/034,783 patent/US20230409040A1/en active Pending
- 2021-09-24 WO PCT/CN2021/120082 patent/WO2022111017A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018129648A1 (zh) * | 2017-01-10 | 2018-07-19 | 深圳市极思维智能科技有限公司 | 一种机器人及其以深度摄像头和避障系统构建地图的方法 |
CN111067439A (zh) * | 2019-12-31 | 2020-04-28 | 深圳飞科机器人有限公司 | 障碍物处理方法以及清洁机器人 |
CN111897335A (zh) * | 2020-08-02 | 2020-11-06 | 珠海市一微半导体有限公司 | 一种机器人弓字型行走时的避障控制方法及其控制系统 |
CN111930127A (zh) * | 2020-09-02 | 2020-11-13 | 广州赛特智能科技有限公司 | 一种机器人障碍物识别及避障方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022111017A1 (zh) | 2022-06-02 |
CN112327878A (zh) | 2021-02-05 |
US20230409040A1 (en) | 2023-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112327878B (zh) | 一种基于tof摄像头的障碍物分类避障控制方法 | |
CN112363513B (zh) | 一种基于深度信息的障碍物分类避障控制方法 | |
CN112415998B (zh) | 一种基于tof摄像头的障碍物分类避障控制系统 | |
CN111067439B (zh) | 障碍物处理方法以及清洁机器人 | |
CN112327879A (zh) | 一种基于深度信息的沿边避障方法 | |
CN112004645A (zh) | 智能清洁机器人 | |
US6169572B1 (en) | Object recognizing apparatus for vehicle and the method thereof | |
KR101566207B1 (ko) | 로봇 청소기 및 그 제어방법 | |
EP3104194B1 (en) | Robot positioning system | |
JP5062364B2 (ja) | 自律移動体及びその制御方法 | |
CN110908378B (zh) | 一种机器人沿边的方法及机器人 | |
EP2595024A1 (en) | Autonomous locomotion body | |
CN110850885A (zh) | 自主机器人 | |
CN110346814B (zh) | 一种基于3d激光的障碍物检测及避障控制方法和系统 | |
CN211559963U (zh) | 自主机器人 | |
KR101415516B1 (ko) | 이동 로봇의 3차원 자세 추정 방법 및 장치와 이를 이용한 이동로봇 | |
CN112308033B (zh) | 一种基于深度数据的障碍物碰撞警告方法及视觉芯片 | |
CN111897335A (zh) | 一种机器人弓字型行走时的避障控制方法及其控制系统 | |
CN111857155A (zh) | 一种机器人控制方法 | |
CN110088701B (zh) | 用于自走式清洁设备的运行方法以及这种清洁设备 | |
CN117629205A (zh) | 一种机器人通过窄道的导航方法、芯片及机器人 | |
CN114052561A (zh) | 自移动机器人 | |
US20210153707A1 (en) | Self-propelled vacuum cleaner | |
CN114779777A (zh) | 自移动机器人的传感器控制方法、装置、介质及机器人 | |
CN114489050A (zh) | 沿直线行驶的避障路线控制方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 519000 2706, No. 3000, Huandao East Road, Hengqin new area, Zhuhai, Guangdong Applicant after: Zhuhai Yiwei Semiconductor Co.,Ltd. Address before: Room 105-514, No.6 Baohua Road, Hengqin New District, Zhuhai City, Guangdong Province Applicant before: AMICRO SEMICONDUCTOR Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |