CN111368607A - 一种机器人、障碍物的检测方法及检测装置 - Google Patents
一种机器人、障碍物的检测方法及检测装置 Download PDFInfo
- Publication number
- CN111368607A CN111368607A CN201811604951.4A CN201811604951A CN111368607A CN 111368607 A CN111368607 A CN 111368607A CN 201811604951 A CN201811604951 A CN 201811604951A CN 111368607 A CN111368607 A CN 111368607A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- point cloud
- cloud data
- dimensional point
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000009432 framing Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000004043 dyeing Methods 0.000 claims description 2
- 230000002349 favourable effect Effects 0.000 abstract description 4
- 230000003068 static effect Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种机器人、障碍物的检测方法及检测装置,涉及机器人技术领域。在本发明实施例中,通过将深度图像转换成三维点云数据后,可以首先根据三维点云数据中的深度值进行初步检测,来确定出疑似障碍物的三维点云数据,然后再根据确定出的疑似障碍物的三维点云数据进行进一步地判断,以确定出疑似障碍物是否为障碍物。如此,可以准确地检测出机器人前方的障碍物,在大大提高检测精确度,减少误判的几率的同时,还可以为后续机器人的避障和路径规划提供准确而有利的参考。
Description
技术领域
本发明涉及机器人技术领域,尤指一种机器人、障碍物的检测方法及检测装置。
背景技术
随着科技的发展,机器人的用途越来越广泛,给生活带来了极大的便利。但是,机器人在行进的路径上通常会遇到各种不同的障碍物,如果机器人不能及时检测到前方区域的障碍物,就有可能会发生机器人与障碍物相撞的情况出现,此时不仅会损坏机器人,在障碍物为贵重物品时也会对贵重物品造成损坏,给生产和生活带来了损失。
那么,如何提高机器人对障碍物的检测能力,是本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例提供了一种机器人、障碍物的检测方法及检测装置,用以提高机器人对障碍物的检测能力。
第一方面,本发明实施例提供了一种障碍物的检测方法,包括:
将获取到的机器人前方区域的深度图像转换成对应的三维点云数据;所述三维点云数据中包括各点云对应的深度值;
根据所述三维点云数据中的深度值进行初步检测,确定出疑似障碍物的三维点云数据;
根据确定出的所述疑似障碍物的三维点云数据中的深度值和点云数量,确定所述疑似障碍物是否为障碍物。
第二方面,本发明实施例提供了一种障碍物的检测装置,包括:
转换单元,用于将获取到的机器人前方区域的深度图像转换成对应的三维点云数据;所述三维点云数据中包括各点云对应的深度值;
第一确定单元,用于根据所述三维点云数据中的深度值进行初步检测,确定出疑似障碍物的三维点云数据;
第二确定单元,用于根据确定出的所述疑似障碍物的三维点云数据中的深度值和点云数量,确定所述疑似障碍物是否为障碍物。
第三方面,本发明实施例提供了一种机器人,包括:如本发明实施例提供的上述障碍物的检测装置,以及深度传感器;
所述深度传感器,用于采集所述机器人前方区域的深度图像,并传输至所述检测装置中,以使所述检测装置在获取到所述深度图像后,确定所述机器人前方是否存在障碍物。
本发明有益效果如下:
本发明实施例提供的一种机器人、障碍物的检测方法及检测装置,通过将深度图像转换成三维点云数据后,可以首先根据三维点云数据中的深度值进行初步检测,来确定出疑似障碍物的三维点云数据,然后再根据确定出的疑似障碍物的三维点云数据进行进一步地判断,以确定出疑似障碍物是否为障碍物。如此,可以准确地检测出机器人前方的障碍物,在大大提高检测精确度,减少误判的几率的同时,还可以为后续机器人的避障和路径规划提供准确而有利的参考。
附图说明
图1为本发明实施例中提供的一种检测方法的流程图;
图2为本发明实施例中提供的深度图像的示意图;
图3为本发明实施例中提供的滑动窗口的示意图;
图4为本发明实施例中提供的检测装置的结构示意图;
图5为本发明实施例中提供的机器人的结构示意图。
具体实施方式
下面将结合附图,对本发明实施例提供的一种机器人、障碍物的检测方法及检测装置的具体实施方式进行详细地说明。需要说明的是,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种障碍物的检测方法,如图1所示,可以包括:
S101、获取机器人前方区域的深度图像。
其中,该深度图像可以是通过深度传感器采集得到,如图2所示的深度图像,然后深度传感器将采集到的深度图像传输至检测装置中,以使检测装置根据深度图像对障碍物进行检测。
具体地,深度传感器可以包括RGBD相机、双目相机、单目结构光相机、TOF相机和激光雷达等,只要能够采集到深度图像即可,在此并不限定。
需要指出的是,在本发明实施例中,深度传感器是固定在机器人之上的,即深度传感器和机器人是一起运动的,并且通过计算出机器人与深度传感器之间的坐标转换关系,使得深度传感器所采集图像的中心点,与机器人的中心点重合,以保证障碍物的检测精确度,减少误判的几率。
可选地,在本发明实施例中,在步骤S101之后还可以包括:对获取到的深度图像进行降噪、特征增强、以及修复等处理。也就是说,利用深度图像的测量和采样模型,在不降低原始场景深度信息精确度的条件下,通过建立评价模型,依据该评价模型计算得到深度值估计区间,实现噪声点与非噪声点的判定及滤除;并且,还可以利用估计区间均值完成噪声点的修复。
如此,可以减少深度图像中的干扰,使得将深度图像转换成三维点云数据后,再根据转换后的三维点云数据中的深度值对障碍物进行检测和判断时,提高检测精确度。
S102、将深度图像转换成三维点云数据。
具体地,可以按照以下方式进行转换:
根据深度传感器内部参数做相机坐标系和世界坐标系的坐标转换;
将二维的深度图像中的点m(u,v)及深度值转换成三维(3D)点云中的世界坐标点M(Xw,Yw,Zw),以确定出三维点云数据。
可选地,为了能够准确地判断出三维点云数据中包括待检测物的点云数据(可参见下面描述),以及提高障碍物的三维点云数据的选择的准确度,在本发明实施例中,在步骤S102之后还可以包括:对转换后的三维点云数据进行降噪和特征增强处理。
如此,可以减少三维点云数据中的干扰和噪点,并且还可以增强三维点云数据中的待检测物,以便于待检测物的选择,提高选择的准确度。
S103、根据三维点云数据中的深度值进行初步检测,确定出疑似障碍物的三维点云数据;
其中,三维点云数据中包括很多点云,以及各点云对应的深度值,通过深度值,可以对得到的三维点云数据进行初步检测,以确定出疑似障碍物,即进行初步筛选,如此可以增加障碍物的检测精确度,首先将肯定不是障碍物的点云去掉,然后再根据剩余的点云数据中的深度值做进一步地判断。
具体地,在本发明实施例中,深度图像一般是包括机器人前方地面的深度图像,因此,在执行步骤S103时,可以按照以下过程执行:
过程一、根据地面分割算法和各点云对应的深度值,确定三维点云数据中是否存在非地面的三维点云数据;若是,则将非地面的三维点云数据定义为待检测物的三维点云数据,然后执行过程二;若否,则说明三维点云数据中全是地面的三维点云数据,不存在障碍物,所以无需进行避障,因此可以结束流程,不再进行以下过程;
说明一点,在确定出三维点云数据中包括非地面的三维点云数据时,由于待检测物可以认为是坐落在地面上的,所以转换后的三维点云数据中包括地面的三维点云数据和待检测物的三维点云数据。其中,地面为可行走的区域,无需避障,所以可以无需考虑地面对机器人行进的影响,待检测物(暂且将障碍物称之为待检测物)是需要绕行的,所以只选择出待检测物的三维点云数据即可,从而可以有利于避免地面对障碍物检测的干扰,提高障碍物检测的准确度。
并且,从三维点云数据中选择出待检测物的三维点云数据的过程,可以理解为将待检测物的三维点云数据进行放大处理,或者将除待检测物的三维点云数据之外的信息,如地面的三维点云数据进行虚化处理,以突出待检测物的三维点云数据,以有利于后期滑动窗口的调节。
过程二、根据目标检测算法,判断待检测物是否存在多个;若是,执行过程四;若否,执行过程三;
过程三、将该待检测物确定为疑似障碍物;
也就是说,在判断出待检测物仅有一个时,则无需再进行其他判断,即可将该待检测物确定为疑似障碍物,如此,可以减少检测装置的运算量,降低检测装置的功耗,进而降低机器人的功耗。
过程四、根据各待检测物的三维点云数据中各深度值的平均值,确定出疑似障碍物的三维点云数据。
也就是说,在判断出待检测物有多个时,需要根据各待检测物的点云对应的深度值的平均值再进行判断,从待检测物中选择出疑似障碍物。具体地,在本发明实施例中,根据各待检测物的三维点云数据中各深度值的平均值,确定出疑似障碍物的三维点云数据,可以具体包括:
确定出各待检测物的三维点云数据中深度值的平均值;
判断各待检测物对应的平均值是否大于预设的第一平均值阈值;
其中,第一平均值阈值可以根据机器人的行进速度等因素进行动态修改,以满足机器人当前的要求,在此并不限定。
若是,则确定该待检测物为非障碍物;
若否,确定各待检测物的平均值的大小关系;
将平均值的差值小于或等于预设差值的多个待检测物作为一个整体确定为一个疑似障碍物;
例如,待检测物有三个,分别为A、B和C,A的深度值的平均值记为平均值a,B的深度值的平均值记为平均值b,C的深度值的平均值记为平均值c,若三个平均值相等,说明A、B和C三个待检测物位于同一直线上,且与机器人之间的距离均相同,所以此时可以将A、B和C看作是一个整体,将该整体作为疑似障碍物来处理。
又例如,还是上面提及的三个待检测物A、B和C,若平均值a与平均值b的差值为0.1米,平均值b和平均值c的差值为0.2米,平均值a与平均值c的差值为0.5米,而预设差值为0.5米,那么仍然可以将A、B和C看作是一整体并确定为疑似障碍物。
当然,预设差值可以根据实际需要进行动态修改,以满足机器人当前的要求,在此并不限定。
将平均值的差值大于预设差值的多个待检测物分别确定为疑似障碍物。
例如,还是上面提及的三个待检测物A、B和C,若平均值a与平均值b的差值为0.6米,平均值b和平均值c的差值为0.9米,平均值a与平均值c的差值为0.7米,而预设差值为0.5米,那么可以将A、B和C分别确定为疑似障碍物。
说明一点,深度值的平均值可以理解为该平均值对应的待检测物与机器人之间的距离,如果深度值的平均值大于预设的第一平均阈值,那么可以认为该平均值对应的待检测物距离机器人较远,对机器人的行进路线影响较小,所以此时可以将该待检测物确定为非障碍物;而如果深度值的平均值小于或等于预设的第一平均阈值时,则可以认为该平均值对应的待检测物距离机器人较近,会对机器人当前的行进路线产生较大的影响,所以可以将该待检测物确定为疑似障碍物。
因此,根据对各待检测物的深度值的平均值,以及预设的第一平均值阈值,即可粗略地剔除掉肯定不是障碍物的待检测物,从而可以减少后续判断过程的计算量,提高检测效率和检测精度。
S104、根据确定出的疑似障碍物的三维点云数据中的深度值和点云数量,确定疑似障碍物是否为障碍物。
因此,通过上述检测方法,可以准确地检测出机器人前方的障碍物,在大大提高检测精确度,减少误判的几率的同时,还可以为后续机器人的避障和路径规划提供准确而有利的参考。
可选地,为了提高障碍物的检测精确度,在本发明实施例中执行步骤S104之前,还可以包括:
步骤A:根据深度图像中与疑似障碍物相对应的图像,确定三维点云数据中疑似障碍物的边界;
步骤B:根据确定出的疑似障碍物的边界,重新确定疑似障碍物的三维点云数据;
步骤C:调节用于框选待检测三维点云数据的滑动窗口,使得滑动窗口与确定出的疑似障碍物的边界重合,且滑动窗口内的三维点云数据为重新确定出的疑似障碍物的三维点云数据。
其中,步骤A至步骤C可以通过人为操作来实现,即通过人为地比较确定出的疑似障碍物的三维点云数据,以及在深度图像中对应的图像,可以确定出三维点云数据中疑似障碍物的边界,且该边界可以完全包围步骤S103中确定出的全部疑似障碍物的三维点云,还可以包围步骤S103中确定出的部分疑似障碍物的三维点云。
例如,若根据深度图像可知步骤S103中确定出的疑似障碍物的三维点云包含较多的干扰点云和孤立的点云时,先构建疑似障碍物的边界,将这些干扰点云和孤立的点云去掉,剩下的点云即为重新确定出的疑似障碍物的三维点云数据,再通过调节滑动窗口将重新确定出的三维点云框选出来。
又例如,若根据深度图像可知步骤S103中确定出的疑似障碍物的三维点云较少,即确定出的疑似障碍物的三维点云不足以表示实际的疑似障碍物时,根据深度图像与疑似障碍物对应的图像,先构建疑似障碍物的边界,重新确定出的疑似障碍物的三维点云数据,再通过调节滑动窗口将重新确定出的三维点云框选出来,可以使得滑动窗口与实际的疑似障碍物较接近,从而在确定障碍物的尺寸时,可以根据滑动窗口的大小来确定,有利于提高避障和路径规划的准确性。
具体地,在本发明实施例中,可以按照以下步骤调节滑动窗口:
通过调节滑动窗口,确定滑动窗口的中心位置与疑似障碍物的质心重合;
例如,参见图3所示,调节滑动窗口K的中心位置O的x坐标和y坐标,以实现滑动窗口的中心位置O与疑似障碍物r(阴影部分表示疑似障碍物的点云)的质心重合。
通过调节滑动窗口的宽度和高度,将重新确定出的疑似障碍物的三维点云数据完全位于滑动窗口内;
例如,参见图3所示,调节滑动窗口K的宽度w和高度h,使得滑动窗口K的大小完全覆盖疑似障碍物r,也就是说,使得疑似障碍物r完全位于滑动窗口K内。
调节滑动窗口,以使得滑动窗口的大小与确定出的疑似障碍物的边界重合,以及滑动窗口内的三维点云数据为重新确定出的疑似障碍物的三维点云数据。
也就是说,通过调节滑动窗口,使得滑动窗口的大小与疑似障碍物的边界重合,以及使得滑动窗口内的点云数据为重新确定出的疑似障碍物的三维点云数据,也可以认为是去除地面和背景的疑似障碍物的三维点云数据,从而有利于根据滑动窗口内的疑似障碍物的三维点云数据,确定出疑似障碍物是否为障碍物,从而实现高精确度的障碍物检测。
可选地,为了能够让滑动窗口内的疑似障碍物更加明显,在本发明实施例中,在调节完成滑动窗口之后,还可以包括:对滑动窗口内的三维点云数据进行染色处理。
如此,不仅可以使得滑动窗口内的疑似障碍物更加明显,还可以提高对疑似障碍物的判断精度,减少误判的几率。
具体地,在调节完成滑动窗口之后,根据确定出的疑似障碍物的三维点云数据中的深度值和点云数量,确定疑似障碍物是否为障碍物,具体可以为:
根据滑动窗口内的三维点云数据中的深度值和点云数量,确定疑似障碍物是否为障碍物。
因此,根据滑动窗口内的三维点云数据中的深度值和点云数量,确定疑似障碍物是否为障碍物,可以具体包括:
筛选滑动窗口内的三维点云数据中未超过预设的深度阈值的深度值;
在判断出筛选出的深度值的个数超过预设的个数阈值时,继续判断筛选出的深度值的平均值是否超过预设的第二平均值阈值;
其中,此处的第二平均值阈值与前述提及的第一平均值阈值可以设置为相同,当然也可以设置为不同,可以根据实际需要进行设置,在此并不限定。
若是,则确定疑似障碍物为非障碍物;
若否,则确定疑似障碍物为障碍物。
其中,在确定疑似障碍物是否为障碍物时,需要经过两个判断过程,首先是个数的判断,即判断筛选出的深度值的个数是否满足要求,在满足要求之后,再计算筛选出的深度值的平均值,然后判断计算出的平均值是否超过第二平均值阈值,即判断疑似障碍物与机器人之间的精确距离。
此处的筛选出的深度值的平均值,与前述提及的深度值的平均值不同,虽然两个平均值都表示疑似障碍物与障碍物之间的距离,但前述提及的平均值在表示距离时存在较大的误差,准确度较低。而筛选出的深度值的平均值,先是通过调节滑动窗口,再进行筛选后得到的,在表示距离时可信度较高,精确度较高,从而可以根据筛选出的深度值的平均值准确地计算出障碍物与机器人之间的距离,进而使得机器人可以精确地进行避障。
因此,在本发明实施例中,在确定出疑似障碍物为障碍物之后,还可以包括:
根据筛选出的深度值的平均值,确定障碍物与机器人之间的距离;
根据滑动窗口的尺寸,确定障碍物的尺寸;
根据确定出障碍物与机器人之间的距离,以及障碍物的尺寸,进行避障或路径规划处理。
其中,在进行路径规划时,可以利用SLAM算法进行路径规划,当然,并不限于此,此处只是举例说明,具体可以根据实际需要进行路径规划。
在进行避障时,可以采用以下方式:
通过目标检测算法,先确定出障碍物的类型;
在确定出障碍物的类型为行人时,进入行人避障模式;
在确定出障碍物的类型为非行人时,进入非行人避障模式;
在确定出障碍物的类型为静态障碍物时,进入静态障碍物避障模式;
在确定出障碍物的类型为动态障碍物时,进入动态障碍物避障模式。
其中,对于行人避障模式,安全系数最高,要求机器人运动轨迹与人之间的距离,按照避障参数的最大值赋值,同时机器人速度要降到如果人突然停止行走,机器人能始终与人保持一定的安全距离。
对于非行人避障模式,安全系数相对较低,机器人运动轨迹可以距离障碍物较近。
对于静态障碍物避障模式,地图中会加入静态障碍物信息,全局路径规划和局部路径规划都会感知和识别静态障碍物信息。
对于动态障碍物避障模式,地图中不会加入动态障碍物信息,只是在做局部运动规划时感知和识别动态障碍物信息。
说明一点,对于具体的行人避障模式、非行人避障模式、静态障碍物避障模式、以及动态障碍物避障模式,可以根据实际需要设定,只要能够保证机器人在进行中对障碍物进行有效避让即可,在此并不限定。
基于同一发明构思,本发明实施例还提供了一种障碍物的检测装置,该检测装置的实现原理与前述一种检测方法的实现原理类似,因此,该检测装置的具体实施方式可参见前述一种检测方法的实施例,重复之处不再赘述。
具体地,本发明实施例提供的一种障碍物的检测装置,如图4所示,可以包括:
转换单元401,用于将获取到的机器人前方区域的深度图像转换成对应的三维点云数据;三维点云数据中包括各点云对应的深度值;
第一确定单元402,用于根据三维点云数据中的深度值进行初步检测,确定出疑似障碍物的三维点云数据;
第二确定单元403,用于根据确定出的疑似障碍物的三维点云数据中的深度值和点云数量,确定疑似障碍物是否为障碍物。
可选地,深度图像为包括地面的深度图像;
第一确定单元402具体用于:
根据地面分割算法和各点云对应的深度值,在确定出三维点云数据中存在非地面的三维点云数据时,将非地面的三维点云数据定义为待检测物的三维点云数据,并根据目标检测算法,判断待检测物是否存在多个;
若否,将该待检测物确定为疑似障碍物;
若是,则根据各待检测物的三维点云数据中各深度值的平均值,确定出疑似障碍物的三维点云数据。
可选地,如图4所示,还可以包括第三确定单元404,用于根据深度图像中与疑似障碍物相对应的图像,确定三维点云数据中疑似障碍物的边界;根据确定出的疑似障碍物的边界,重新确定疑似障碍物的三维点云数据;调节用于框选待检测三维点云数据的滑动窗口,使得滑动窗口与确定出的疑似障碍物的边界重合,且滑动窗口内的三维点云数据为重新确定出的疑似障碍物的三维点云数据;
第二确定单元403具体用于:根据滑动窗口内的三维点云数据中的深度值和点云数量,确定疑似障碍物是否为障碍物。
可选地,第二确定单元403具体用于:
筛选滑动窗口内的三维点云数据中未超过预设的深度阈值的深度值;
在判断出筛选出的深度值的个数超过预设的个数阈值时,继续判断筛选出的深度值的平均值是否超过预设的第二平均值阈值;
若是,则确定疑似障碍物为非障碍物;
若否,则确定疑似障碍物为障碍物。
可选地,该检测装置还包括染色单元,用于在确定位于滑动窗口内的三维点云数据为疑似障碍物的三维点云数据之后,对滑动窗口内疑似障碍物的三维点云数据进行染色处理。
可选地,该检测装置还包括预处理单元,用于在获取机器人前方区域的深度图像之后,对获取到的深度图像进行降噪和特征增强处理;在将获取到的机器人前方区域的深度图像转换成对应的三维点云数据之后,对转换后的三维点云数据进行降噪和特征增强处理。
基于同一发明构思,本发明实施例还提供了一种机器人,如图5所示,可以包括:如本发明实施例提供的上述障碍物的检测装置501,以及深度传感器502;其中,深度传感器502与检测装置501是电连接的,以便于信号的传输。
深度传感器502,用于采集机器人前方区域的深度图像,并传输至检测装置501中,以使检测装置501在获取到深度图像后,确定机器人前方是否存在障碍物。
可选地,深度传感器502位于机器人前方顶端的中心位置。如此,可以有效准确地采集到机器人前方区域的深度图像,以便于机器人中的检测装置501对深度图像进行处理。
说明一点,本发明实施例中的机器人可以是任何类型的机器人,图5中只是举例说明,机器人并不限于图中所示的站立式的机器人,即本发明实施例中并不限定机器人的形状和类型,只要机器人能够通过检测装置准确地检测出前方区域的障碍物,实现有效避障或路线规划即可。
本发明实施例提供了一种机器人、障碍物的检测方法及检测装置,通过将深度图像转换成三维点云数据后,可以首先根据三维点云数据中的深度值进行初步检测,来确定出疑似障碍物的三维点云数据,然后再根据确定出的疑似障碍物的三维点云数据进行进一步地判断,以确定出疑似障碍物是否为障碍物。如此,可以准确地检测出机器人前方的障碍物,在大大提高检测精确度,减少误判的几率的同时,还可以为后续机器人的避障和路径规划提供准确而有利的参考。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (14)
1.一种障碍物的检测方法,其特征在于,包括:
将获取到的机器人前方区域的深度图像转换成对应的三维点云数据;所述三维点云数据中包括各点云对应的深度值;
根据所述三维点云数据中的深度值进行初步检测,确定出疑似障碍物的三维点云数据;
根据确定出的所述疑似障碍物的三维点云数据中的深度值和点云数量,确定所述疑似障碍物是否为障碍物。
2.如权利要求1所述的方法,其特征在于,所述深度图像为包括地面的深度图像;
根据所述三维点云数据中的深度值进行初步检测,确定出疑似障碍物的三维点云数据,具体包括:
根据地面分割算法和各点云对应的深度值,在确定出所述三维点云数据中存在非地面的三维点云数据时,将非地面的三维点云数据定义为待检测物的三维点云数据,并根据目标检测算法,判断所述待检测物是否存在多个;
若否,将该待检测物确定为疑似障碍物;
若是,则根据各所述待检测物的三维点云数据中各深度值的平均值,确定出疑似障碍物的三维点云数据。
3.如权利要求2所述的方法,其特征在于,根据各所述待检测物的三维点云数据中各深度值的平均值,确定出疑似障碍物的三维点云数据,具体包括:
确定出各所述待检测物的三维点云数据中深度值的平均值;
判断各所述待检测物对应的平均值是否大于预设的第一平均值阈值;
若是,则确定该待检测物为非障碍物;
若否,确定各所述待检测物的平均值的大小关系;
将平均值的差值小于或等于预设差值的多个待检测物作为一个整体确定为一个疑似障碍物;
将平均值的差值大于预设差值的多个待检测物分别确定为疑似障碍物。
4.如权利要求1所述的方法,其特征在于,在根据确定出的所述疑似障碍物的三维点云数据中的深度值,确定所述疑似障碍物是否为障碍物之前,还包括:
根据所述深度图像中与疑似障碍物相对应的图像,确定三维点云数据中所述疑似障碍物的边界;
根据确定出的所述疑似障碍物的边界,重新确定所述疑似障碍物的三维点云数据;
调节用于框选待检测三维点云数据的滑动窗口,使得所述滑动窗口与确定出的所述疑似障碍物的边界重合,且所述滑动窗口内的三维点云数据为重新确定出的疑似障碍物的三维点云数据;
根据确定出的所述疑似障碍物的三维点云数据中的深度值和点云数量,确定所述疑似障碍物是否为障碍物,具体包括:
根据所述滑动窗口内的三维点云数据中的深度值和点云数量,确定所述疑似障碍物是否为障碍物。
5.如权利要求4所述的方法,其特征在于,根据所述滑动窗口内的三维点云数据中的深度值和点云数量,确定所述疑似障碍物是否为障碍物,具体包括:
筛选所述滑动窗口内的三维点云数据中未超过预设的深度阈值的深度值;
在判断出筛选出的深度值的个数超过预设的个数阈值时,继续判断筛选出的深度值的平均值是否超过预设的第二平均值阈值;
若是,则确定所述疑似障碍物为非障碍物;
若否,则确定所述疑似障碍物为障碍物。
6.如权利要求5所述的方法,其特征在于,在根据所述滑动窗口内的三维点云数据中的深度值,确定所述疑似障碍物为障碍物之后,还包括:
根据筛选出的深度值的平均值,确定所述障碍物与所述机器人之间的距离;
根据所述滑动窗口的尺寸,确定所述障碍物的尺寸;
根据确定出所述障碍物与所述机器人之间的距离,以及所述障碍物的尺寸,进行避障或路径规划处理。
7.如权利要求4所述的方法,其特征在于,在调节完成所述滑动窗口之后,还包括:
对所述滑动窗口内的三维点云数据进行染色处理。
8.如权利要求1-7任一项所述的方法,其特征在于,在获取机器人前方区域的深度图像之后,还包括:对获取到的所述深度图像进行降噪和特征增强处理;
在将获取到的机器人前方区域的深度图像转换成对应的三维点云数据之后,还包括:对转换后的所述三维点云数据进行降噪和特征增强处理。
9.一种障碍物的检测装置,其特征在于,包括:
转换单元,用于将获取到的机器人前方区域的深度图像转换成对应的三维点云数据;所述三维点云数据中包括各点云对应的深度值;
第一确定单元,用于根据所述三维点云数据中的深度值进行初步检测,确定出疑似障碍物的三维点云数据;
第二确定单元,用于根据确定出的所述疑似障碍物的三维点云数据中的深度值和点云数量,确定所述疑似障碍物是否为障碍物。
10.如权利要求9所述的装置,其特征在于,所述深度图像为包括地面的深度图像;
所述第一确定单元具体用于:
根据地面分割算法和各点云对应的深度值,在确定出所述三维点云数据中存在非地面的三维点云数据时,将非地面的三维点云数据定义为待检测物的三维点云数据,并根据目标检测算法,判断所述待检测物是否存在多个;
若否,将该待检测物确定为疑似障碍物;
若是,则根据各所述待检测物的三维点云数据中各深度值的平均值,确定出疑似障碍物的三维点云数据。
11.如权利要求9所述的装置,其特征在于,还包括第三确定单元,用于根据所述深度图像中与疑似障碍物相对应的图像,确定三维点云数据中所述疑似障碍物的边界;根据确定出的所述疑似障碍物的边界,重新确定所述疑似障碍物的三维点云数据;调节用于框选待检测三维点云数据的滑动窗口,使得所述滑动窗口与确定出的所述疑似障碍物的边界重合,且所述滑动窗口内的三维点云数据为重新确定出的疑似障碍物的三维点云数据;
所述第二确定单元具体用于:根据所述滑动窗口内的三维点云数据中的深度值和点云数量,确定所述疑似障碍物是否为障碍物。
12.如权利要求11所述的装置,其特征在于,所述第二确定单元具体用于:
筛选所述滑动窗口内的三维点云数据中未超过预设的深度阈值的深度值;
在判断出筛选出的深度值的个数超过预设的个数阈值时,继续判断筛选出的深度值的平均值是否超过预设的第二平均值阈值;
若是,则确定所述疑似障碍物为非障碍物;
若否,则确定所述疑似障碍物为障碍物。
13.一种机器人,其特征在于,包括:如权利要求9-12任一项所述的障碍物的检测装置,以及深度传感器;
所述深度传感器,用于采集所述机器人前方区域的深度图像,并传输至所述检测装置中,以使所述检测装置在获取到所述深度图像后,确定所述机器人前方是否存在障碍物。
14.如权利要求13所述的机器人,其特征在于,所述深度传感器位于所述机器人前方顶端的中心位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811604951.4A CN111368607B (zh) | 2018-12-26 | 2018-12-26 | 一种机器人、障碍物的检测方法及检测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811604951.4A CN111368607B (zh) | 2018-12-26 | 2018-12-26 | 一种机器人、障碍物的检测方法及检测装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111368607A true CN111368607A (zh) | 2020-07-03 |
CN111368607B CN111368607B (zh) | 2023-06-02 |
Family
ID=71206127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811604951.4A Active CN111368607B (zh) | 2018-12-26 | 2018-12-26 | 一种机器人、障碍物的检测方法及检测装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111368607B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112099493A (zh) * | 2020-08-31 | 2020-12-18 | 西安交通大学 | 一种自主移动机器人轨迹规划方法、系统及设备 |
CN112327851A (zh) * | 2020-11-09 | 2021-02-05 | 达闼机器人有限公司 | 基于点云的地图校准方法、系统、机器人及云端平台 |
CN112365575A (zh) * | 2020-11-10 | 2021-02-12 | 广州极飞科技有限公司 | 地平面数据测量方法、装置、可移动设备和可读存储介质 |
CN112487984A (zh) * | 2020-11-30 | 2021-03-12 | 贵州北斗空间信息技术有限公司 | 一种点云数据轻量化快速生成方法 |
CN112904306A (zh) * | 2021-01-18 | 2021-06-04 | 深圳市普渡科技有限公司 | 斜坡感知方法、装置、机器人和存储介质 |
WO2022011826A1 (zh) * | 2020-07-15 | 2022-01-20 | 上海炬佑智能科技有限公司 | ToF相机及其地面障碍物检测方法、地面导航设备 |
CN115154080A (zh) * | 2022-07-07 | 2022-10-11 | 广东职业技术学院 | 一种电动轮椅防碰撞系统及方法 |
WO2022252036A1 (zh) * | 2021-05-31 | 2022-12-08 | 深圳市大疆创新科技有限公司 | 障碍物信息获取方法、装置、可移动平台及存储介质 |
CN115525047A (zh) * | 2022-03-21 | 2022-12-27 | 江苏集萃清联智控科技有限公司 | 一种具备多型避障方式的车辆局部轨迹规划方法及系统 |
CN117788475A (zh) * | 2024-02-27 | 2024-03-29 | 中国铁路北京局集团有限公司天津供电段 | 一种基于单目深度估计的铁路危树检测方法、系统及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955920A (zh) * | 2014-04-14 | 2014-07-30 | 桂林电子科技大学 | 基于三维点云分割的双目视觉障碍物检测方法 |
CN106920260A (zh) * | 2017-03-02 | 2017-07-04 | 万物感知(深圳)科技有限公司 | 立体惯性导盲方法及装置和系统 |
CN107179768A (zh) * | 2017-05-15 | 2017-09-19 | 上海木爷机器人技术有限公司 | 一种障碍物识别方法及装置 |
CN108245385A (zh) * | 2018-01-16 | 2018-07-06 | 曹醒龙 | 一种帮助视障人士出行的装置 |
US20180365504A1 (en) * | 2017-06-20 | 2018-12-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Obstacle type recognizing method and apparatus, device and storage medium |
-
2018
- 2018-12-26 CN CN201811604951.4A patent/CN111368607B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955920A (zh) * | 2014-04-14 | 2014-07-30 | 桂林电子科技大学 | 基于三维点云分割的双目视觉障碍物检测方法 |
CN106920260A (zh) * | 2017-03-02 | 2017-07-04 | 万物感知(深圳)科技有限公司 | 立体惯性导盲方法及装置和系统 |
CN107179768A (zh) * | 2017-05-15 | 2017-09-19 | 上海木爷机器人技术有限公司 | 一种障碍物识别方法及装置 |
US20180365504A1 (en) * | 2017-06-20 | 2018-12-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Obstacle type recognizing method and apparatus, device and storage medium |
CN108245385A (zh) * | 2018-01-16 | 2018-07-06 | 曹醒龙 | 一种帮助视障人士出行的装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022011826A1 (zh) * | 2020-07-15 | 2022-01-20 | 上海炬佑智能科技有限公司 | ToF相机及其地面障碍物检测方法、地面导航设备 |
CN112099493A (zh) * | 2020-08-31 | 2020-12-18 | 西安交通大学 | 一种自主移动机器人轨迹规划方法、系统及设备 |
CN112327851A (zh) * | 2020-11-09 | 2021-02-05 | 达闼机器人有限公司 | 基于点云的地图校准方法、系统、机器人及云端平台 |
CN112327851B (zh) * | 2020-11-09 | 2023-08-22 | 达闼机器人股份有限公司 | 基于点云的地图校准方法、系统、机器人及云端平台 |
CN112365575B (zh) * | 2020-11-10 | 2022-06-21 | 广州极飞科技股份有限公司 | 地平面数据测量方法、装置、可移动设备和可读存储介质 |
CN112365575A (zh) * | 2020-11-10 | 2021-02-12 | 广州极飞科技有限公司 | 地平面数据测量方法、装置、可移动设备和可读存储介质 |
CN112487984A (zh) * | 2020-11-30 | 2021-03-12 | 贵州北斗空间信息技术有限公司 | 一种点云数据轻量化快速生成方法 |
CN112487984B (zh) * | 2020-11-30 | 2024-04-26 | 贵州北斗空间信息技术有限公司 | 一种点云数据轻量化快速生成方法 |
CN112904306A (zh) * | 2021-01-18 | 2021-06-04 | 深圳市普渡科技有限公司 | 斜坡感知方法、装置、机器人和存储介质 |
WO2022252036A1 (zh) * | 2021-05-31 | 2022-12-08 | 深圳市大疆创新科技有限公司 | 障碍物信息获取方法、装置、可移动平台及存储介质 |
CN115525047A (zh) * | 2022-03-21 | 2022-12-27 | 江苏集萃清联智控科技有限公司 | 一种具备多型避障方式的车辆局部轨迹规划方法及系统 |
CN115154080A (zh) * | 2022-07-07 | 2022-10-11 | 广东职业技术学院 | 一种电动轮椅防碰撞系统及方法 |
CN117788475A (zh) * | 2024-02-27 | 2024-03-29 | 中国铁路北京局集团有限公司天津供电段 | 一种基于单目深度估计的铁路危树检测方法、系统及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111368607B (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111368607B (zh) | 一种机器人、障碍物的检测方法及检测装置 | |
CN111461023B (zh) | 基于三维激光雷达的四足机器人自主跟随领航员的方法 | |
CN110687904B (zh) | 一种巡线机器人视觉导航巡检和避障方法 | |
CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
CN111260773B (zh) | 小障碍物的三维重建方法、检测方法及检测系统 | |
EP3825903A1 (en) | Method, apparatus and storage medium for detecting small obstacles | |
CN108647646A (zh) | 基于低线束雷达的低矮障碍物的优化检测方法及装置 | |
US10101448B2 (en) | On-board radar apparatus and region detection method | |
WO2015096507A1 (zh) | 一种利用山体轮廓区域约束识别定位建筑物的方法 | |
CN113370977B (zh) | 一种基于视觉的智能车辆前向碰撞预警方法及系统 | |
WO2020029706A1 (zh) | 一种伪车道线剔除方法及装置 | |
CN111260715B (zh) | 深度图的处理方法、小障碍物检测方法及系统 | |
CN110262487B (zh) | 一种障碍物检测方法、终端及计算机可读存储介质 | |
KR102145557B1 (ko) | 이종 센서 간의 데이터 융합 장치 및 방법 | |
CN109213138B (zh) | 一种避障方法、装置及系统 | |
CN113378760A (zh) | 训练目标检测模型和检测目标的方法及装置 | |
JP6838285B2 (ja) | レーンマーカ認識装置、自車両位置推定装置 | |
CN113034579B (zh) | 一种移动机器人基于激光数据的动态障碍物轨迹预测方法 | |
CN112097732A (zh) | 一种基于双目相机的三维测距方法、系统、设备及可读存储介质 | |
WO2019100354A1 (zh) | 状态感知方法以及相关设备 | |
JP6014867B2 (ja) | 画像処理装置 | |
CN113935946B (zh) | 实时检测地下障碍物的方法及装置 | |
CN111239761B (zh) | 一种用于室内实时建立二维地图的方法 | |
Linhui et al. | Stereo vision based obstacle avoidance path-planning for cross-country intelligent vehicle | |
CN112415516B (zh) | 一种车辆前方障碍区域感知方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230614 Address after: 314400 floor 3, building 5, No. 17, Caohejing Road, Haining Economic Development Zone, Haining City, Jiaxing City, Zhejiang Province Patentee after: ZHEJIANG SINEVA INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: Building 10, jingdongbei science and Technology Park, 18 Kechuang 10th Street, Daxing District, Beijing 100176 Patentee before: BEIJING SINEVA TECHNOLOGY Co.,Ltd. |