CN107229903A - 机器人避障的方法、装置及存储装置 - Google Patents

机器人避障的方法、装置及存储装置 Download PDF

Info

Publication number
CN107229903A
CN107229903A CN201710250280.5A CN201710250280A CN107229903A CN 107229903 A CN107229903 A CN 107229903A CN 201710250280 A CN201710250280 A CN 201710250280A CN 107229903 A CN107229903 A CN 107229903A
Authority
CN
China
Prior art keywords
robot
detection window
depth
window
barrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710250280.5A
Other languages
English (en)
Other versions
CN107229903B (zh
Inventor
黄源浩
肖振中
许宏淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201710250280.5A priority Critical patent/CN107229903B/zh
Publication of CN107229903A publication Critical patent/CN107229903A/zh
Application granted granted Critical
Publication of CN107229903B publication Critical patent/CN107229903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47Detecting features for summarising video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种机器人避障的方法、装置及存储装置。该方法包括:在机器人的行进方向上采集连续的深度图像序列;在深度图像中建立检测窗口,检测窗口用于检测机器人的行进路线范围内的障碍物,其中,检测窗口与机器人的相对位置固定,检测窗口的垂直于机器人的行进方向的截面的大小至少大于机器人在该截面上的投影的大小;获取检测窗口内的深度信息;根据深度信息判断检测窗口内是否出现障碍物;若判断出现障碍物,则进行避障处理。装置包括至少一个深度相机和处理器。存储装置存储有程序数据,程序数据能够被执行以实现上述方法。本发明能使机器人灵活避开随机障碍物,防止机器人碰撞到障碍物而导致机器人损坏或无法行进。

Description

机器人避障的方法、装置及存储装置
技术领域
本发明涉及深度图像处理技术领域,特别是涉及一种机器人避障的方法、装置及存储装置。
背景技术
利用深度相机可以获取目标的深度图像,利用该深度图像可以获取图像中的像素所反映的目标在物理空间中到深度相机的距离。因此,利用深度相机可以对相机视场内的对象进行测距,深度相机具有一定的视场角,因而可以探测一定立体角范围内的场景的深度信息。
现有的机器人根据导航电子地图以及目的地可以规划处行进路径,本申请的发明人在长期的研发中发现,行进路径中可能出现预加载的电子地图未标记的障碍物,机器人由于未获知该障碍物的出现,因而不会避开该未标记的障碍物,容易导致机器人碰撞到该障碍物产生机器人损坏或者无法继续行进的后果。
发明内容
本发明提供一种机器人避障的方法、装置及存储装置,能够解决现有技术存在的机器人不会避开未标记的障碍物而导致机器人损坏或无法继续行进的问题。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种机器人避障的方法,该方法包括:在所述机器人的行进方向上采集连续的深度图像序列;在所述深度图像中建立检测窗口,所述检测窗口用于检测所述机器人的行进路线范围内的障碍物,其中,所述检测窗口与所述机器人的相对位置固定,所述检测窗口的垂直于所述机器人的行进方向的截面的大小至少大于所述机器人在该截面上的投影的大小;获取所述检测窗口内的深度信息;根据所述深度信息判断所述检测窗口内是否出现障碍物;若判断出现障碍物,则进行避障处理。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种机器人避障装置,该装置包括至少一个深度相机和处理器,所述深度相机与所述处理器连接;所述深度相机用于在所述机器人的行进方向上采集连续的深度图像序列;所述处理器用于在所述深度图像中建立检测窗口,所述检测窗口用于检测所述机器人的行进路线范围内的障碍物,其中,所述检测窗口与所述机器人的相对位置固定,所述检测窗口的垂直于所述机器人的行进方向的截面的大小至少大于所述机器人在该截面上的投影的大小;获取所述检测窗口内的深度信息;根据所述深度信息判断所述检测窗口内是否出现障碍物;若判断出现障碍物,则进行避障处理。
为解决上述技术问题,本发明采用的又一个技术方案是:提供一种存储装置,该存储装置存储有程序数据,所述程序数据能够被执行以实现上述方法。
本发明的有益效果是:区别于现有技术的情况,本发明通过采集机器人行进方向上连续的深度图像序列,并在该深度图像中建立检测窗口,以通过该检测窗口的深度信息判断机器人行进路线范围内是否出现障碍物,如果出现障碍物则进行避障处理,从而能使得机器人在按照规划的行进路线行进过程中,有随机出现的、未标记的障碍物时,机器人也能检测到该障碍物,并能灵活避开随机障碍物,防止机器人碰撞到障碍物而导致机器人损坏或无法继续行进,提高了机器人在复杂环境的适用性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种机器人避障的方法的流程示意图;
图2是本发明实施例的机器人及检测窗口的相对位置的俯视示意图;
图3是本发明实施例提供的另一种机器人避障的方法的流程示意图;
图4是本发明实施例中机器人与检测窗口的透视结构示意图;
图5是本发明实施例中机器人、检测窗口和障碍物的相对位置的俯视示意图;
图6是本发明实施例中机器人、检测窗口、搜索窗口和障碍物一种情况的相对位置的俯视示意图;
图7是图6中搜索窗口移动到A位置时的俯视示意图;
图8是图6中搜索窗口移动到B位置时的俯视示意图;
图9是图7中的机器人调整方向后使检测窗口与搜索窗口重合时的俯视示意图;
图10是本发明实施例中机器人、检测窗口、障碍物和搜索窗口另一种情况的相对位置的俯视示意图;
图11是图10中的机器人调整方向使检测窗口位于B位置时的俯视示意图;
图12是图11中搜索窗口移动到C位置时的俯视示意图;
图13是图12中机器人调整方向使检索窗口与搜索窗口重合后的俯视示意图;
图14是本发明实施例中机器人、检测窗口和障碍物又一种情况的相对位置的透视示意图;
图15是图14中搜索窗口向右移动到障碍物的桥洞时的透视示意图;
图16是图15中调整机器人方向至检测窗口和搜索窗口重合时的透视示意图;
图17是本发明实施例提供的一种机器人避障装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,图1是本发明实施例提供的一种机器人避障的方法的流程示意图。需注意的是,若有实质上相同的结果,本发明的方法并不以图1所示的流程顺序为限。如图1所示,该方法包括以下步骤:
S101、在机器人的行进方向上采集连续的深度图像序列。
具体地,深度图像可以通过深度相机进行采集,深度相机不仅能获取深度相机视场角范围内的物体的像素信息,还能获得深度图像中物体到深度相机之间的距离,即深度信息。
深度相机可以是采用TOF、结构光、激光扫描等方法获取目标物体深度信息的相机。连续的深度图像序列是指在特定的时间内,一系列连续的深度图像,可相当于在该特定的时间内的视频。
本发明的深度相机固定在机器人上,因此,本发明中的物体到深度相机之间的距离也指物体到机器人之间的距离。深度相机的数量可以是一个或者多个。当将多个深度相机固定在机器人上时,可以通过多个深度相机特定的视场角来组合拼接,以扩大视场角,多个深度相机通过相机标定,确定互相位置关系,从而确定各自采集的深度图的联系,归一化为一个坐标系来确定位置关系。
机器人按照预先规定的行进路线来行进,在其行进过程中,连续地进行深度图像的采集,以获取机器人行进方向上的情况信息。
S102、在深度图像中建立检测窗口,检测窗口用于检测机器人的行进路线范围内的障碍物,其中,检测窗口与机器人的相对位置固定,检测窗口的垂直于机器人的行进方向的截面的大小至少大于机器人在该截面上的投影的大小。
步骤S102中,由于深度相机采集到的深度图像内的物体包括在深度相机的视场角内的所有物体,但是障碍物仅为出现在机器人行进路线范围内、并阻挡机器人前进的物体,因而在深度图像中建立检测窗口,该检测窗口建立在机器人行进方向上,位于在机器人的前方,从而检测机器人行进路线中范围内出现的物体。
请参阅图2,图2是本发明实施例的机器人及检测窗口相对位置的俯视示意图。本实施例的检测窗口20可以在机器人10前方的正中间,当然,在其它一些实施例中,检测窗口20的位置也可以设在机器人10的左前方或右前方等,在此不做限定。该检测窗口20的尺寸根据机器人10的参数设定,其中,机器人10的参数包括机器人10的尺寸大小、机器人10的行进速度等参数。在垂直于机器人10的行进方向的方向上,检测窗口20的截面大小至少大于机器人10在该截面上的投影的大小,即,检测窗口20的大小至少能使机器人10从该检测窗口20中通过,以确保检测窗口20检测到的进行路线的空间至少足够机器人10通过。另外,检测窗口20与机器人10之间的距离需根据机器人10的行进速度来设定,值得一提的是,在检测窗口20建立后,检测窗口20的大小、检测窗口20与机器人10之间的相对位置固定不变。
本实施例中,检测窗口20为一虚拟三维空间,如图2所示的检测窗口是长方体状的三维空间,当然,在其它一些实施例中,检测窗口20还可以是球体、扇体或者椎体等形状。
S103、获取检测窗口内的深度信息。
检测窗口建立在深度图像中,由于检测窗口检测的是机器人进行路线范围内的障碍物,因此,本发明可以仅获取该检测窗口内的深度信息。
S104、根据深度信息判断检测窗口内是否出现障碍物。
如果机器人的行进路线上存在障碍物,随着机器人的行进,该障碍物会进入到检测窗口内,因而检测窗口内出现障碍物和不出现障碍物时的深度信息会不同,从而可以根据该深度信息判断是否在机器人行进方向上出现障碍物,以使得在规划的行进路线上出现随机的、未标记的障碍物时,机器人能根据该深度信息得知。
S105、若判断出现障碍物,则进行避障处理。
如果出现障碍物,则可以根据预设的避障方法进行避障处理。例如,使机器人停止行进,防止碰撞到障碍物而损坏机器人。然后再通过预设的避障方法重新规划新的行进路线。
值得一提的是,检测窗口在机器人行进方向上的厚度与机器人的行进速度相匹配,从而使得机器人至少能在该厚度范围内将行进速度减小为零。由于反应时间、惯性等因素,机器人在发现障碍物后无法立即停止,在机器人发现障碍物到机器人停止行进期间行进的距离为制动距离,机器人至少能在检测窗口的厚度范围内将行进速度减小为零,即,检测窗口的厚度大于机器人的制动距离,使得机器人在发现障碍物后到机器人停止行进期间不会碰撞到障碍物。
区别于现有技术,本发明通过采集机器人行进方向上连续的深度图像序列,并在该深度图像中建立检测窗口,以通过该检测窗口的深度信息判断机器人行进路线范围内是否出现障碍物,如果出现障碍物则进行避障处理,从而能使得机器人在按照规划的行进路线行进过程中,有随机出现的、未标记的障碍物时,机器人也能检测到该障碍物,并能灵活避开随机障碍物,防止机器人碰撞到障碍物而导致机器人损坏或无法继续行进,提高了机器人在复杂环境的适用性。
请参阅图3,图3是本发明实施例提供的另一种机器人避障的方法的流程示意图。
S201、在机器人的行进方向上采集连续的深度图像序列。
本实施例以仓储搬运机器人为例进行说明。仓储搬运机器人预先加载了导航电子地图,并且预先规划了行进路线,使仓储搬运机器人按照该预先规划的行进路线行进。
S202、在深度图像中建立检测窗口,检测窗口用于检测机器人的行进路线范围内的障碍物,其中,检测窗口与机器人的相对位置固定,检测窗口的垂直于机器人的行进方向的截面的大小至少大于机器人在该截面上的投影的大小。
如图4所示,图4是本发明实施例中机器人与检测窗口的透视结构示意图。仓储搬运机器人在检测窗口的垂直于机器人的行进方向的截面上的投影的宽度为L1,高度为H1。检测窗口的宽度为L2,高度为H2,其中,L1≤L2,H1≤H2,从而使仓储搬运机器人在该检测窗口的截面上的投影完全位于该截面范围内。具体地,本实施例中,L1=L2,H1=H2。
可以理解的是,仓储搬运机器人包括机器人本体、机器人本体上搬运的货物等。检测窗口的大小会根据实际情况设定,例如,若机器人本体上的货物较大,其在检测窗口的截面上的投影大于机器人本体的投影,则检测窗口的大小根据该货物和机器人本体的整体大小来设定。
S203、获取检测窗口内的深度信息,深度信息包括至少一个深度值。
深度图像中的每个物体到深度相机的距离可能会不同,因此每个物体到深度相机的距离对应一深度值。其中,设定距离深度相机较远处的物体对应的深度值较大,距离深度相机较近处的物体对应的深度值较小。并设定检测窗口内无障碍物时,即检测窗口场景为空时的深度值为空值。
具体地,当检测窗口内没有出现任何物体时,即不会存在物体到机器人的距离,所以将此深度值记为空值,如图2所示。当检测窗口20内出现障碍物31时,该障碍物31到机器人10的距离则为该障碍物31的深度值,由于该距离实际存在,因此,该深度值为非空值。如图5所示,图5是本发明实施例中机器人、检测窗口和障碍物的相对位置的俯视示意图。图5所示检测窗口20内的深度信息包括至少两个深度值,其中一是障碍物31相对于机器人10的距离,一是障碍物32相对于机器人10的距离。
S204、根据深度值是否均为空值判断检测窗口内是否出现障碍物。
若深度值均为空值,判断为未出现障碍物,进入步骤S205。若深度值并非均为空值,而是出现非空值,则判断为出现障碍物,进入步骤S206。
具体地,如图5所示,由于检测窗口20在机器人10行进路线范围内,当检测窗口20内出现了非空值时,表示该障碍物31(障碍物32)出现在机器人的行进路线内,该障碍物31(障碍物32)会阻挡机器人继续行进,所以判断为出现障碍物,从而进入步骤S206。
S205、机器人朝向深度值均为空值的检测窗口的方向行进。
检测窗口内深度值均为空值,则检测结果为判断未出现障碍物,因此,仓储搬运机器人可以继续朝该检测窗口所在的方向行进。
S206、对机器人进行制动处理,以使机器人停止行进。
在遇到障碍物时,控制机器人停止行进,从而防止机器人碰撞到障碍物。
S207、在深度图像中建立搜索窗口,其中,搜索窗口与检测窗口完全重合。
本实施例中,如图6所示,图6是本发明实施例中机器人、检测窗口、搜索窗口和障碍物一种情况的相对位置的俯视示意图。搜索窗口21与检测窗口20完全重合是指搜索窗口21的尺寸大小与检测窗口20的尺寸大小相等,并且搜索窗口21的初始位置与当前的检测窗口20的位置相同。
S208、在深度图像视场范围内移动搜索窗口,并实时获取搜索窗口的深度信息。其中,深度信息包括至少一个深度值,判断深度值是否均为空值。
当搜索窗口内的深度值均为空值时,进入步骤S209;当搜索窗口在深度图像的视场范围内的深度值均出现非空值时,进入步骤S211。
具体而言,搜索窗口与检测窗口的区别在于,搜索窗口可相对于机器人发送移动,即搜索窗口与机器人之间的相对位置是可发生变化的,不是固定不变的。搜索窗口在深度图像的视场范围内进行移动,以搜索该视场范围内是否具有足够的空间以供机器人行进通过,即从机器人的位置到与机器人的距离等于检测窗口与机器人之间的距离的位置之间的搜索窗口的深度值均为空值。
如图7个图8所示,图7是图6中搜索窗口移动到A位置时的俯视示意图,图8是图6中搜索窗口移动到B位置时的俯视示意图。图7显示的是搜索窗口21移动到了A位置的状态,在A位置时,搜索窗口21已经移动到了深度相机的视场范围的一个边界处。图7显示的是搜索窗口21移动到了B位置的状态,在B位置时,搜索窗口21已经移动到了深度相机的视场范围的另一个边界处。
例如,本实施例中,搜索窗口21先向机器人的左边移动直至移动到A位置处,由于存在障碍物31、障碍物32和障碍物33,因此搜索窗口内的深度值均为非空值,如图7所示。然后搜索窗口21再向机器人10的右边移动,如图8所示,直至移动到B位置处,B位置处没有障碍物,搜索窗口在B位置处时的深度值均为空值,则进入步骤S209。
S209、停止移动搜索窗口。
如图8所示,搜索窗口21内的深度值均为空值,则表示该搜索窗口21的位置上没有障碍物,则停止移动搜索窗口21,进入步骤S210。
S210、调整机器人的方向,以使检测窗口与搜索窗口重合,从而使机器人朝向搜索窗口停止的位置的方向行进,并进入步骤S212。
搜索窗口停止的位置的方向没有障碍物,则调整机器人的方向,由于检测窗口与机器人之间的相对位置不变,因此,调整机器人的方向时,检测窗口的方向也会相应的发生变化,直至检测窗口与搜索窗口重合,机器人则朝向此时的检测窗口的方向行进。
例如,将机器人10的方向调整,从而使检测窗口20与搜索窗口21重合,此时,检测窗口20也位于B位置,机器人则向B行进,如图9所示,图9是图7中的机器人调整方向后使检测窗口与搜索窗口重合时的俯视示意图。
S211、调整机器人的方向,以使检测窗口内的深度值变大,直至检测窗口内的深度值为空值,从而使机器人朝深度值为空值的检测窗口的方向行进,并进入步骤S212。
如图10所示,图10是本发明实施例中机器人、检测窗口、障碍物和搜索窗口另一种情况的相对位置的俯视示意图。图10所示的B位置处存在障碍物34,使得搜索窗口21在深度图像的视场范围内的深度值均出现非空值,表明在此时的深度相机的视场范围内均存在障碍物,因此,调整机器人10的方向,以使机器人10朝远离障碍物的方向行进。
具体地,图10中的障碍物31、障碍物32、障碍物33和障碍物34中,障碍物34与机器人10之间的距离最大,搜索窗口21搜索到在B位置时的深度值比在其它位置时的深度值大,因此,搜索窗口21停留在B位置。调整机器人10的方向,使检测窗口20与搜索窗口21重合,即使检测窗口20到达B位置,此时,机器人10的方向朝向B位置,如图11所示,图11是图10中的机器人调整方向使检测窗口位于B位置时的俯视示意图。但是此时检测窗口20内的深度值仍为非空值,因此,搜索窗口21继续在此时的视场范围内搜索,本实施例中,搜索窗口21继续向机器人的右方搜索,直至位置C,位置C处并没有障碍物,在位置C处,搜索窗口21的深度值为空值,如图12所示,图12是图11中搜索窗口移动到C位置时的俯视示意图。然后,继续调整机器人10的方向,使检测窗口20与搜索窗口21重合,如图13所示,图13是图12中机器人调整方向使检索窗口与搜索窗口重合后的俯视示意图。图13中的检测窗口20的深度值均为空值,表明位置C所在方向上没有障碍物。使机器人朝该深度值为空值的检测窗口20所在位置的方向,即C位置所在方向行进。
S212、保存调整后的行进路线,并根据调整后的行进路线规划新的行进路线,以使机器人按照新的行进路线行进。
在一些实施例中,在机器人的规划的行进路线上出现障碍物后,对该障碍物的位置进行标记,机器人的方向经过调整后,保存机器人调整后的行进路线,并根据调整后的行进路线规划新的行进路线,使机器人按照新的行进路线行进,从而使机器人顺利到达目的地。
请参阅图14,图14是本发明实施例中机器人、检测窗口和障碍物又一种情况的相对位置的透视示意图。图14所示的障碍物为拱桥状障碍物30,该障碍物30的桥洞的大小可以使机器人通过。在图14中,障碍物30的左侧桥柱落入检测窗口20范围内,左侧桥柱到机器人10之间的距离即为该左侧桥柱的深度值,因而,检测窗口20内的深度值出现了非空值,因此,判断为出现障碍物30,机器人10停止行进。在深度图像中建立搜索窗口21,搜索窗口21向机器人10右侧移动,当搜索窗口21移动到拱桥状的障碍物30的中间时,即,搜索窗口21正对桥洞时,如图15所示,图15是图14中搜索窗口向右移动到障碍物的桥洞时的透视示意图,此时,搜索窗口21内的深度值均为空值,停止移动搜索窗口21。然后调整机器人的方向,使得检测窗口和搜索窗口重合,即检测窗口也位于桥洞的中间,机器人朝向此时检测窗口的方向行进,即朝向桥洞的方向行进,如图16所示,图16是图15中调整机器人方向至检测窗口和搜索窗口重合时的透视示意图。
请参阅图17,图17是本发明实施例提供的一种机器人避障装置的结构示意图。本实施例中,机器人避障装置包括至少一个深度相机40、处理器50和存储器60。深度相机40、存储器60均与处理器50连接。
深度相机40用于在机器人的行进方向上采集连续的深度图像序列。
处理器50用于在深度图像中建立检测窗口,检测窗口用于检测机器人的行进路线范围内的障碍物,其中,检测窗口与机器人的相对位置固定,检测窗口的垂直于机器人的行进方向的截面的大小至少大于机器人在该截面上的投影的大小;获取检测窗口内的深度信息;根据深度信息判断检测窗口内是否出现障碍物;若判断出现障碍物,则进行避障处理。
可选地,深度信息包括至少一个深度值;处理器50还用于在深度值均为空值时,判断为未出现障碍物;在深度值包括非空值时,判断为出现障碍物。
可选地,处理器50还用于对机器人进行制动处理,以使机器人停止行进;在深度图像中建立搜索窗口,其中,搜索窗口与检测窗口完全重合;在深度图像视场范围内移动搜索窗口,并实时获取搜索窗口的深度信息;当搜索窗口内的深度值均为空值时,停止移动搜索窗口;调整机器人的方向,以使检测窗口与搜索窗口重合,从而使机器人朝向搜索窗口停止的位置的方向行进。
可选地,处理器50还用于在当搜索窗口在深度图像的视场范围内的深度值均出现非空值时,调整机器人的方向,以使检测窗口内的深度值变大,直至检测窗口内的深度值为空值,从而使机器人朝深度值均为空值的检测窗口的方向行进。
可选地,存储器60用于保存调整后的行进路线;处理器50还用于根据调整后的行进路线规划新的行进路线,以使机器人按照新的行进路线行进。
其中,检测窗口为一虚拟三维空间,检测窗口在机器人行进方向上的厚度与机器人的行进速度相匹配,以使机器人至少在该厚度范围内将行进速度减小为零。
上述设备的各个模块终端可分别执行上述方法实施例中对应的步骤,故在此不对各模块进行赘述,详细请参阅以上对应步骤的说明。
本发明还提供了一种存储装置,该存储装置存储有程序数据,该程序数据能够被执行以实现上述任一实施例的机器人避障的方法。
举例而言,该存储装置可以是便携式存储介质,例如U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等。可以理解地,存储装置还可以是服务器等各种可以存储程序代码的介质。
综上所述,本发明能使机器人灵活避开随机出现的、未标记的障碍物,防止机器人碰撞到障碍物而导致机器人损坏或无法继续行进,提高了机器人在复杂环境的适用性。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种机器人避障的方法,其特征在于,包括:
在所述机器人的行进方向上采集连续的深度图像序列;
在所述深度图像中建立检测窗口,所述检测窗口用于检测所述机器人的行进路线范围内的障碍物,其中,所述检测窗口与所述机器人的相对位置固定,所述检测窗口的垂直于所述机器人的行进方向的截面的大小至少大于所述机器人在该截面上的投影的大小;
获取所述检测窗口内的深度信息;
根据所述深度信息判断所述检测窗口内是否出现障碍物;
若判断出现障碍物,则进行避障处理。
2.根据权利要求1所述的方法,其特征在于,所述深度信息包括至少一个深度值;
所述根据所述深度信息判断所述检测窗口内是否出现障碍物中,所述深度值均为空值时,判断为未出现障碍物;所述深度值包括非空值时,判断为出现障碍物。
3.根据权利要求2所述的方法,其特征在于,所述进行避障处理包括:
对所述机器人进行制动处理,以使所述机器人停止行进;
在所述深度图像中建立搜索窗口,其中,所述搜索窗口与所述检测窗口完全重合;
在所述深度图像视场范围内移动所述搜索窗口,并实时获取所述搜索窗口的深度信息;
当所述搜索窗口内的深度值均为空值时,停止移动所述搜索窗口;
调整所述机器人的方向,以使所述检测窗口与所述搜索窗口重合,从而使所述机器人朝向所述搜索窗口停止的位置的方向行进。
4.根据权利要求3所述的方法,其特征在于,所述在所述深度图像视场范围内移动所述搜索窗口,并实时获取所述搜索窗口的深度信息中,
当所述搜索窗口在所述深度图像的视场范围内的深度值均出现非空值时,调整所述机器人的方向,以使所述检测窗口内的深度值变大,直至所述检测窗口内的深度值为空值,从而使所述机器人朝深度值均为空值的所述检测窗口的方向行进。
5.根据权利要求4所述的方法,其特征在于,所述判断出现障碍物,则进行避障处理的步骤之后,还包括:
保存调整后的行进路线,并根据所述调整后的行进路线规划新的行进路线,以使所述机器人按照新的行进路线行进。
6.根据权利要求1所述的方法,其特征在于,所述检测窗口为一虚拟三维空间,所述检测窗口在所述机器人行进方向上的厚度与所述机器人的行进速度相匹配,以使所述机器人至少在该厚度范围内将行进速度减小为零。
7.一种机器人避障装置,其特征在于,包括至少一个深度相机和处理器,所述深度相机与所述处理器连接;
所述深度相机用于在所述机器人的行进方向上采集连续的深度图像序列;
所述处理器用于在所述深度图像中建立检测窗口,所述检测窗口用于检测所述机器人的行进路线范围内的障碍物,其中,所述检测窗口与所述机器人的相对位置固定,所述检测窗口的垂直于所述机器人的行进方向的截面的大小至少大于所述机器人在该截面上的投影的大小;获取所述检测窗口内的深度信息;根据所述深度信息判断所述检测窗口内是否出现障碍物;若判断出现障碍物,则进行避障处理。
8.根据权利要求7所述的机器人避障装置,其特征在于,所述深度信息包括至少一个深度值;所述处理器还用于在所述深度值均为空值时,判断为未出现障碍物;在所述深度值包括非空值时,判断为出现障碍物。
9.根据权利要求8所述的机器人避障装置,其特征在于,所述处理器还用于对所述机器人进行制动处理,以使所述机器人停止行进;在所述深度图像中建立搜索窗口,其中,所述搜索窗口与所述检测窗口完全重合;在所述深度图像视场范围内移动所述搜索窗口,并实时获取所述搜索窗口的深度信息;当所述搜索窗口内的深度值均为空值时,停止移动所述搜索窗口;调整所述机器人的方向,以使所述检测窗口与所述搜索窗口重合,从而使所述机器人朝向所述搜索窗口停止的位置的方向行进。
10.根据权利要求9所述的机器人避障装置,其特征在于,所述处理器还用于在当所述搜索窗口在所述深度图像的视场范围内的深度值均出现非空值时,调整所述机器人的方向,以使所述检测窗口内的深度值变大,直至所述检测窗口内的深度值为空值,从而使所述机器人朝深度值均为空值的所述检测窗口的方向行进。
11.根据权利要求10所述的机器人避障装置,其特征在于,所述机器人避障装置还包括存储器,所述存储器与所述处理器连接,所述存储器用于保存调整后的行进路线;
所述处理器还用于根据所述调整后的行进路线规划新的行进路线,以使所述机器人按照新的行进路线行进。
12.根据权利要求7所述的机器人避障装置,其特征在于,所述检测窗口为一虚拟三维空间,所述检测窗口在所述机器人行进方向上的厚度与所述机器人的行进速度相匹配,以使所述机器人至少在该厚度范围内将行进速度减小为零。
13.一种存储装置,其特征在于,存储有程序数据,所述程序数据能够被执行以实现如权利要求1至6任一项所述的方法。
CN201710250280.5A 2017-04-17 2017-04-17 机器人避障的方法、装置及存储装置 Active CN107229903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710250280.5A CN107229903B (zh) 2017-04-17 2017-04-17 机器人避障的方法、装置及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710250280.5A CN107229903B (zh) 2017-04-17 2017-04-17 机器人避障的方法、装置及存储装置

Publications (2)

Publication Number Publication Date
CN107229903A true CN107229903A (zh) 2017-10-03
CN107229903B CN107229903B (zh) 2020-11-03

Family

ID=59933096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710250280.5A Active CN107229903B (zh) 2017-04-17 2017-04-17 机器人避障的方法、装置及存储装置

Country Status (1)

Country Link
CN (1) CN107229903B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107995962A (zh) * 2017-11-02 2018-05-04 深圳市道通智能航空技术有限公司 一种避障方法、装置、可移动物体及计算机可读存储介质
CN109068278A (zh) * 2018-08-31 2018-12-21 平安科技(深圳)有限公司 室内避障方法、装置、计算机设备及存储介质
CN109145803A (zh) * 2018-08-14 2019-01-04 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
CN109813317A (zh) * 2019-01-30 2019-05-28 京东方科技集团股份有限公司 一种避障方法、电子设备及虚拟现实设备
CN110278714A (zh) * 2018-01-23 2019-09-24 深圳市大疆创新科技有限公司 障碍物检测方法、移动平台及计算机可读存储介质
CN111246120A (zh) * 2020-01-20 2020-06-05 珊口(深圳)智能科技有限公司 移动设备的图像数据处理方法、控制系统及存储介质
CN112060079A (zh) * 2020-07-30 2020-12-11 深圳市优必选科技股份有限公司 机器人及其碰撞检测方法和装置
CN112207827A (zh) * 2020-09-29 2021-01-12 北京云迹科技有限公司 机器人安全移动的控制方法、装置及电子设备
WO2022088716A1 (zh) * 2020-10-30 2022-05-05 北京旷视机器人技术有限公司 仓库管理方法、装置、系统及电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080212836A1 (en) * 2003-05-29 2008-09-04 Kikuo Fujimura Visual Tracking Using Depth Data
US20100312386A1 (en) * 2009-06-04 2010-12-09 Microsoft Corporation Topological-based localization and navigation
CN103576686A (zh) * 2013-11-21 2014-02-12 中国科学技术大学 一种机器人自主导引及避障的方法
CN104793620A (zh) * 2015-04-17 2015-07-22 中国矿业大学 基于视觉特征捆绑和强化学习理论的避障机器人
US20160048970A1 (en) * 2014-08-15 2016-02-18 Maziar Loghman Multi-resolution depth estimation using modified census transform for advanced driver assistance systems
CN105389543A (zh) * 2015-10-19 2016-03-09 广东工业大学 基于全方位双目视觉深度信息融合的移动机器人避障装置
CN105787447A (zh) * 2016-02-26 2016-07-20 深圳市道通智能航空技术有限公司 一种无人机基于双目视觉的全方位避障的方法及系统
CN105856243A (zh) * 2016-06-28 2016-08-17 湖南科瑞特科技股份有限公司 一种移动智能机器人
CN105974938A (zh) * 2016-06-16 2016-09-28 零度智控(北京)智能科技有限公司 避障方法、装置、载体及无人机
CN106054888A (zh) * 2016-06-28 2016-10-26 旗瀚科技股份有限公司 一种机器人自动避障方法和装置
CN106054900A (zh) * 2016-08-08 2016-10-26 电子科技大学 基于深度摄像头的机器人临时避障方法
CN106441275A (zh) * 2016-09-23 2017-02-22 深圳大学 一种机器人规划路径的更新方法及装置
CN106529495A (zh) * 2016-11-24 2017-03-22 腾讯科技(深圳)有限公司 一种飞行器的障碍物检测方法和装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080212836A1 (en) * 2003-05-29 2008-09-04 Kikuo Fujimura Visual Tracking Using Depth Data
US20100312386A1 (en) * 2009-06-04 2010-12-09 Microsoft Corporation Topological-based localization and navigation
CN103576686A (zh) * 2013-11-21 2014-02-12 中国科学技术大学 一种机器人自主导引及避障的方法
US20160048970A1 (en) * 2014-08-15 2016-02-18 Maziar Loghman Multi-resolution depth estimation using modified census transform for advanced driver assistance systems
CN104793620A (zh) * 2015-04-17 2015-07-22 中国矿业大学 基于视觉特征捆绑和强化学习理论的避障机器人
CN105389543A (zh) * 2015-10-19 2016-03-09 广东工业大学 基于全方位双目视觉深度信息融合的移动机器人避障装置
CN105787447A (zh) * 2016-02-26 2016-07-20 深圳市道通智能航空技术有限公司 一种无人机基于双目视觉的全方位避障的方法及系统
CN105974938A (zh) * 2016-06-16 2016-09-28 零度智控(北京)智能科技有限公司 避障方法、装置、载体及无人机
CN105856243A (zh) * 2016-06-28 2016-08-17 湖南科瑞特科技股份有限公司 一种移动智能机器人
CN106054888A (zh) * 2016-06-28 2016-10-26 旗瀚科技股份有限公司 一种机器人自动避障方法和装置
CN106054900A (zh) * 2016-08-08 2016-10-26 电子科技大学 基于深度摄像头的机器人临时避障方法
CN106441275A (zh) * 2016-09-23 2017-02-22 深圳大学 一种机器人规划路径的更新方法及装置
CN106529495A (zh) * 2016-11-24 2017-03-22 腾讯科技(深圳)有限公司 一种飞行器的障碍物检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DARIUSH FOROUHER ET AL.: "Sensor fusion of depth camera and ultrasound data for obstacle detection and robot navigation", 《2016 14TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION, ROBOTICS AND VISION (ICARCV)》 *
林义闽: "未知环境中智能机器人的视觉导航技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107995962B (zh) * 2017-11-02 2021-06-22 深圳市道通智能航空技术股份有限公司 一种避障方法、装置、可移动物体及计算机可读存储介质
CN107995962A (zh) * 2017-11-02 2018-05-04 深圳市道通智能航空技术有限公司 一种避障方法、装置、可移动物体及计算机可读存储介质
CN110278714A (zh) * 2018-01-23 2019-09-24 深圳市大疆创新科技有限公司 障碍物检测方法、移动平台及计算机可读存储介质
CN110278714B (zh) * 2018-01-23 2022-03-18 深圳市大疆创新科技有限公司 障碍物检测方法、移动平台及计算机可读存储介质
CN109145803A (zh) * 2018-08-14 2019-01-04 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
CN109145803B (zh) * 2018-08-14 2022-07-22 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
CN109068278A (zh) * 2018-08-31 2018-12-21 平安科技(深圳)有限公司 室内避障方法、装置、计算机设备及存储介质
CN109813317A (zh) * 2019-01-30 2019-05-28 京东方科技集团股份有限公司 一种避障方法、电子设备及虚拟现实设备
CN111246120B (zh) * 2020-01-20 2021-11-23 珊口(深圳)智能科技有限公司 移动设备的图像数据处理方法、控制系统及存储介质
CN111246120A (zh) * 2020-01-20 2020-06-05 珊口(深圳)智能科技有限公司 移动设备的图像数据处理方法、控制系统及存储介质
CN112060079B (zh) * 2020-07-30 2022-02-22 深圳市优必选科技股份有限公司 机器人及其碰撞检测方法和装置
CN112060079A (zh) * 2020-07-30 2020-12-11 深圳市优必选科技股份有限公司 机器人及其碰撞检测方法和装置
CN112207827A (zh) * 2020-09-29 2021-01-12 北京云迹科技有限公司 机器人安全移动的控制方法、装置及电子设备
WO2022088716A1 (zh) * 2020-10-30 2022-05-05 北京旷视机器人技术有限公司 仓库管理方法、装置、系统及电子设备

Also Published As

Publication number Publication date
CN107229903B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN107229903A (zh) 机器人避障的方法、装置及存储装置
CN107831777B (zh) 一种飞行器自主避障系统、方法及飞行器
Cop et al. Delight: An efficient descriptor for global localisation using lidar intensities
US10278333B2 (en) Pruning robot system
Zhu et al. 3d lidar point cloud based intersection recognition for autonomous driving
CN106997721B (zh) 绘制2d地图的方法、装置及存储装置
KR102053802B1 (ko) 센서를 위치판단하는 방법 및 관련된 장치
CN110674705B (zh) 基于多线激光雷达的小型障碍物检测方法及装置
CN107390721A (zh) 机器人随行控制方法、装置及机器人
CN110095786B (zh) 基于一线激光雷达的三维点云地图生成方法及系统
JP6722348B2 (ja) 一体型の障害物検出及びペイロードセンタリングセンサシステム
US9558564B1 (en) Method for finding important changes in 3D point clouds
Mo et al. Fast direct stereo visual SLAM
CN113253737B (zh) 货架检测方法及装置、电子设备、存储介质
CN114663526A (zh) 障碍物检测方法、装置、机器人及计算机可读存储介质
Young et al. LIDAR and monocular based overhanging obstacle detection
Pinney et al. Drone path planning and object detection via QR codes; a surrogate case study for wind turbine inspection
Bhanu et al. Inertial navigation sensor integrated motion analysis for obstacle detection
CN115049322B (zh) 一种集装箱堆场的集装箱管理方法及系统
Qian et al. Mobile robot navigation in unknown corridors using line and dense features of point clouds
CN116466724A (zh) 一种机器人的移动定位方法、装置和机器人
Dang et al. Moving objects elimination towards enhanced dynamic SLAM fusing LiDAR and mmW-radar
Li et al. Efficient laser-based 3D SLAM in real time for coal mine rescue robots
Xu et al. Hybrid Frontier Detection Strategy for Autonomous Exploration in Multi-obstacles Environment
Smagina et al. Obstacle detection quality as a problem-oriented approach to stereo vision algorithms estimation in road situation analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant