CN114589708B - 基于环境信息的室内自主探索方法、装置及机器人 - Google Patents
基于环境信息的室内自主探索方法、装置及机器人 Download PDFInfo
- Publication number
- CN114589708B CN114589708B CN202210190544.3A CN202210190544A CN114589708B CN 114589708 B CN114589708 B CN 114589708B CN 202210190544 A CN202210190544 A CN 202210190544A CN 114589708 B CN114589708 B CN 114589708B
- Authority
- CN
- China
- Prior art keywords
- information
- semantic information
- boundary
- exploration
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/08—Programme-controlled manipulators characterised by modular constructions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明涉及一种基于环境信息的室内自主探索方法,包括步骤:获取环境图像;对所述环境图像进行图像语义分割得到语义信息图像;从所述语义信息图像中获取语义信息,根据所述语义信息得到边界物信息,根据所述边界物间的交界信息得到边界信息;根据所述新的边界信息确定边界位置,并生成机器人的沿所述边界位置的探索路径。相对于现有技术,本发明提供一种基于环境信息的室内自主探索方法利用环境信息来确定探索路径,通过将采集的环境信息转换为机器人能够理解的语义信息,以语义信息中表示边界的物体引导机器人沿边界探索,能够保证机器人在正确的边界上移动,从而提高探索效率。
Description
技术领域
本发明涉及机器人自主探索技术领域,尤其是涉及一种基于环境信息的室内自主探索机器人及方法。
背景技术
随着大数据、云计算、深度学习、计算机视觉技术和人工智能领域的快速发展,机器人技术迅速革新,机器人在各个领域得到广泛的应用并且具有优秀的表现。人类开始不断尝试让机器人完成人类难以完成的任务,如地下探索、水下探索、太空探索以及灾后救援任务。而机器人执行这些任务需要具备自主探索的能力,自主探索是一项利用机器人自主在未知环境地图中探索并反馈出有价值信息的高级能力。
现有的自主探索方法是基于边界的探索算法,这种自主探索方法下的机器人探索路径是在已知地图的基础上沿着地图边界移动,从而从已知边界向外拓展新的边界,以扩大已知地图。但是实际探索环境复杂,当环境中存在较多障碍物体且处于机器人探索的边界上时,机器人也将所遇到的障碍物体记录为地图边界,而障碍物体并不是构成区域划分的地图边界,而且这种“无效”的边界无法对机器人起到正确的自主探索的引导效果,反而容易让机器人执着于向这些边界移动而陷入困境,使探索效率低下。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种基于环境信息的室内自主探索方法、装置及机器人,能够使机器人准确识别地图边界,提高机器人的自主探索效率。
本发明是通过以下技术方案实现的:一种基于环境信息的室内自主探索方法,包括步骤:
获取环境图像;
对所述环境图像进行图像语义分割得到语义信息图像;
从所述语义信息图像中获取语义信息,根据所述语义信息得到边界物信息,根据所述边界物间的交界信息得到边界信息;
根据所述新的边界信息确定边界位置,并生成机器人的沿所述边界位置的探索路径。
相对于现有技术,本发明提供一种基于环境信息的室内自主探索方法利用环境信息来确定探索路径,通过将采集的环境信息转换为机器人能够理解的语义信息,以语义信息中表示边界的物体引导机器人沿边界探索,能够保证机器人在正确的边界上移动,从而提高探索效率。
进一步地,还包括步骤:
根据所述语义信息得到待探索物信息;
根据所述待探索物信息计算新的待探索物的坐标,并在当前探索区域所述语义信息中不再出现新的所述边界信息时,控制所述机器人移动至所述新的待探索物的坐标。
该进一步的技术方案以语义信息中的表示探索信息量增益大的物体来引导机器人向具有探索信息量大的探索区域进行探索,使机器人进行有方向性的探索,从而更进一步地提高探索效率。
进一步地,所述探索路径通过快速扩展随机树算法生成;还包括步骤:
根据所述语义信息得到表示探索区域小的物体信息;
当所述语义信息中出现表示探索区域小的物体信息时,缩小生成探索路径中生成随机点的取点范围。
该进一步的技术方案以语义信息中的表示探索区域小的物体来调整机器人生成探索路径的方法,以保证机器人在探索区域小的情况下能够正常生成探索路径。
进一步地,还包括步骤:
根据所述语义信息得到墙信息;
当墙在当前的所述语义信息图像中超过一定占比时,控制所述环境图像的采集方向旋转一定角度,所述采集方向的旋转方向朝向当前的所述语义信息图像中以中线分割的两个区域中具有更多环境物体的区域;
在所述采集方向旋转后,若墙在当前的所述语义信息图像中少于一定占比,则确定当前的所述采集方向为所述机器人的探索方向。
该进一步的技术方案以语义信息中的墙的占比来调节机器人的探索方向,能够对机器人是否处于死角位置进行判断,并引导机器人离开死角位置,防止机器人陷入无法移动的探索困境。
进一步地,还包括步骤:
当当前的所述语义信息中没有所述边界信息时,控制所述机器人进行位置调整,所述位置调整为所述机器人以当前移动方向继续移动一定距离,或以当前方向旋转一定角度后移动一定距离;
在连续的一定次数的位置调整后,当前的所述语义信息中仍没有所述边界信息时,控制所述机器人保持以一个方向移动直至当前的所述语义信息中出现所述边界信息。
基于同一发明构思,本发明还提供一种基于环境信息的室内自主探索装置,包括:
环境图像获取模块,用于获取环境图像;
语义分割模块,用于对所述环境图像进行图像语义分割得到语义信息图像;
语义信息分析模块,用于从所述语义信息图像中获取语义信息,根据所述语义信息得到边界物信息,根据所述边界物间的交界信息得到边界信息;
探索路径生成模块,用于根据所述边界信息确定边界位置,并生成机器人的沿所述边界位置的探索路径。
进一步地,所述语义信息分析模块还用于根据所述语义信息得到待探索物信息;
所述探索路径生成模块还用于根据所述待探索物信息计算新的待探索物的坐标,并在当前探索区域所述语义信息中不再出现新的所述边界信息时,控制所述机器人移动至所述新的待探索物的坐标。
进一步地,所述探索路径生成模块通过快速扩展随机树算法生成所述机器人的探索路径;
所述语义信息分析模块还用于根据所述语义信息得到表示探索区域小的物体信息;
还包括取点范围调整模块,所述取点范围调整模块用于当所述语义信息中出现表示探索区域小的物体信息时,缩小生成探索路径中生成随机点的取点范围。
进一步地,所述语义信息分析模块还用于根据所述语义信息得到墙信息;
还包括方向调节模块,所述方向调节模块用于当墙在当前的所述语义信息图像中超过一定占比时,控制所述环境图像的采集方向旋转一定角度,所述采集方向的旋转方向朝向当前的所述语义信息图像中以中线分割的两个区域中具有更多环境物体的区域;在所述采集方向旋转后,若墙在当前的所述语义信息图像中少于一定占比,则确定当前的所述采集方向为所述机器人的探索方向。
基于同一发明构思,一种室内自主探索机器人,包括机器人本体、摄像头和控制器,其中所述摄像头用于采集环境图像,并传输至所述控制器;所述控制器包括存储器和处理器,其中所述存储器存储有计算机程序,所述程序被处理器执行时能够实现上述方法的步骤。
为了更好地理解和实施,下面结合附图详细说明本发明。
附图说明
图1本实施例中的基于环境信息的室内自主探索机器人的结构示意图;
图2为实施例中所述RGB图像的示意图;
图3为实施例中所述深度图像的示意图;
图4为实施例中基于环境信息的自主探索方法的步骤流程示意图;
图5为实施例中所述语义信息图像的示意图;
图6为实施例中室内自主探索装置的结构示意图;
图7为一优选实施例的室内自主探索装置的结构示意图;
图8为一优选实施例的室内自主探索装置的结构示意图;
图9为一示例性的待探索的室内空间示意图;
图10为一示例性的室内自主探索机器人在图9所示的室内空间的探索路径示意图;
图11为现有技术的探索空间-时间曲线图;
图12为本发明的探索空间-时间曲线图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中,需要理解的是,术语“第一”、“第二”、“第三”等仅用于用于区别类似的对象,而不必用于描述特定的顺序或先后次序,也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明通过实时采集探索区域中的环境信息,并对应转换为机器能够理解的语义信息,根据语义信息控制探索路径,也即实现使机器人如同人一样能够理解探索区域中环境物体的含义并根据不同的环境物体执行不同的探索命令,从而引导机器人沿正确的探索路径移动,并且引导机器人向具有更大探索信息量的区域进行探索。具体通过以下实施例进行说明。
请参阅图1,其为本实施例的基于环境信息的室内自主探索机器人的结构示意图。该机器人包括机器人本体10、环境信息采集单元20和控制器30,其中,机器人本体10用于在探索路径上移动和存储探索信息;环境信息采集单元20用于实时采集所述机器人本体10当前所处探索区域的环境信息,并传输至所述自主探索装置30;控制器30用于对所述环境信息采集单元20传输的环境信息进行处理后生成生成所述机器人本体10的探索路径。
具体地,所述环境信息采集单元20包括环境图像模块21和环境物体位置模块22,其中环境图像模块21是采集探索区域的环境图像的摄像头,所述环境图像模块21拍摄的环境图像可以是RGB图像,所述RGB图像如图2所示;环境物体位置模块22采集环境物体与机器人本体10的相对位置,更具体地,所述环境物体位置模块22是可以拍摄可获得环境物体与机器人本体10的相对位置信息的深度图像的摄像头,所述深度图像如图3所示。此外,环境物体位置模块22还可以是激光雷达、红外传感器等能够获得环境物体与机器人本体10的相对位置信息的设备或装置。在本实施例中,选用Intel RealSense D435i深度相机来同时采集RGB图像和深度图像。
所述控制器30包括存储器和处理器,其中所述存储器存储有计算机程序,所述程序被处理器执行时能够实现一种基于环境信息的自主探索方法的步骤。
请参阅图4,其为所述基于环境信息的自主探索方法的步骤流程示意图,该方法包括步骤:
S1:获取环境信息。
所述环境信息包括环境图像和环境物体与机器人的相对位置。
S2:对所述环境图像进行图像语义分割,获得语义信息图像;
更具体地,对所述环境图像进行图像语义分割时,将所述环境图像输入训练好的神经网络框架进行图像语义分割,在本实施例中,所述用于图像语义分割的神经网络框架选用为Mask R-CNN,Mask R-CNN是在Faster R-CNN的基础上增加RoIAlign以及全卷积网络(Fully Convolutional Network,FCN),Mask R-CNN将分类预测和掩码(mask)预测拆分为网络的两个分支,其中分类预测分支与Faster R-CNN相同,对兴趣区域给出预测并输出类别标签以及矩形框坐标;掩码预测分支产生的每个二值掩码依赖分类预测的结果分隔出物体。Mask R-CNN对每个类别均独立地预测一个二值掩码,从而能够避开类间的竞争。
请参阅图5,其为一个示例性的语义信息图像示意图,所述语义信息图像由具有物体轮廓的不同颜色的掩体层组成,不同颜色的掩体层代表着不同的环境物体,即根据掩体层的颜色可以得到所述环境图像中环境物体对应的语义。
S3:从所述语义信息图像中获取语义信息,根据所述语义信息得到边界物信息,根据所述边界物间的交界信息得到边界信息;根据所述语义信息得到待探索物信息。
其中,所述边界物包括墙和地,根据所述边界物信息间的交界信息可得到边界信息,如墙和地间的交界处的像素点的组合即为边界;待探索物表示可能存在新的探索区域或者存在信息增益大的探索区域,信息增益是指探索区域的可探索空间的大小,可探索空间大则信息增益大,在本实施例中,待探索物可以包括门、门框、楼梯等此类将两个分隔区域连通的物体。
S4:根据所述语义信息确定目标坐标点,并生成机器人移动至所述目标坐标点的探索路径,具体包括以下步骤:
步骤S41:当识别到的语义信息中没有边界信息时,执行以下步骤:
S411:进行小范围的位置调整以寻找边界;
S412:在若干次小范围的位置调整后所识别的语义信息中仍没有边界信息时,控制机器人保持以一个方向移动,直至所识别的语义信息中出现边界信息为止。
其中,所述小范围的位置调整具体是使机器人本体10以随机概率50%以当前移动方向继续移动0.5m的距离,或以随机概率50%以当前移动方向顺时针或逆时针旋转90°后移动0.5m的距离,当然,在具体实施中所述随机概率、移动距离和移动方向的旋转角度可根据实际需求进行调整。
步骤S42:当识别到的语义信息中有边界信息且存在新的边界信息时,执行以下步骤:
S421:计算新的边界的边界点的世界坐标,并以所述边界点的世界坐标为目的坐标点;
S422:控制机器人移动至步骤S321得到的目的坐标点后沿所述新的边界移动,同时记录所经过的边界为已探索边界;
步骤S43:当识别到的语义信息中出现待探索物信息且存在新的待探索物信息时,执行以下步骤:
S431:计算新的待探索物的世界坐标;
S432:在当前探索区域所述语义信息中不再出现新的边界信息时,以步骤S331得到的新的待探索物的世界坐标为目标坐标点,并控制机器人移动至该目的坐标点,以对新的探索区域进行探索,同时将所述新的待探索物记录为已探索物体;
更具体地,在本实施例中,所述世界坐标是以所述机器人本体10的初始位置为原点,以所述机器人本体10的初始移动方向为X轴,以X轴顺时针旋转90°的方向为Y轴,以垂直于地面的方向为Z轴。计算边界点或物体的世界坐标的步骤包括:获取边界点或物体与机器人本体10的垂直距离d,即边界点或物体在所述深度图像中的深度,其中物体与机器人本体10的垂直距离d的计算式为其中/>为点集C中的第n个点在所述深度图像中的深度,点集C是以物体在所述深度图像中的中点为圆心,半径为p像素的圆形区域中的点的集合,在本实施例中p取值为5;获取边界点或物体与机器人本体10的水平偏移量σ,即边界点或物体在所述语义信息图像中与所述语义信息图像的中点的水平像素距离,水平偏移量σ的计算式为/>其中a为边界点或物体在所述语义信息图像中的中点,b为所述语义信息图像的中点,k为地图尺寸与语义信息图像的像素之比,在本实施例中地图尺寸与语义信息图像的像素之比为1:10;获取当前t时刻机器人本体10的世界坐标并计算边界点或物体的世界坐标/>其中η(0,1)为高斯噪声,用于模拟外界环境引起的传感器噪声。
对于开启的门、没有安装门的门框此类空心的待探索物,在根据所述深度图像计算其与机器人本体10的垂直距离d时,需要以物体四周的实体部分的像素点坐标进行计算,此时物体与机器人本体10的垂直距离d的计算式为其中/>为点集P中的第n个点在所述深度图像中的深度,点集P是物体在所述深度图像中的所有像素点。
本实施例的步骤S4通过快速探索随机树(rapidly exploring random tree,RRT)算法来获取机器人本体10向一目的坐标点移动的探索路径,该算法从出发坐标点开始建立小步路径,在小步路径的起点周边的一定取点范围内确定一随机点;在小步路径的起点与该随机点的线段上取一预设点,该预设点与小步路径起点间隔一定步长距离;若该预设点与小步路径起点的直线上不存在障碍物,则确定该预设点作为小步路径的终点,也即下一小步路径的起点;依次不断建立小步路径,直至一小步路径的终点为所述目标坐标点。
由于在空间小的探索区域中通过快速扩展随机树算法生成探索路径时,如果生成随机点的取点范围超出当前探索区域的范围,则在建立小步路径时容易出现预设点与小步路径起点的直线上存在如墙壁等障碍物的情况,导致难以建立小步路径,从而影响探索路径的生成。因此,在一优选实施例中,步骤S3还根据所述语义信息得到表示探索区域小的物体信息,所述表示探索区域小的物体包括浴缸、马桶等此类常出现在如浴室等空间较小的区域的物品。步骤S4还包括步骤S44:
当识别到的语义信息中有表示探索区域小的物体信息时,执行步骤S441:缩小快速扩展随机树算法中生成随机点的取点范围,在本实施例中设置缩小取点范围为原取点范围的一半。
在一优选实施例中,步骤S3还根据所述语义信息获得墙信息,步骤S4还包括步骤S45:
根据所述墙信息调整探索方向,当墙在所识别的语义信息图像中超过一定占比时,执行以下步骤:
S451:控制所述环境图像的采集方向旋转一定角度,旋转方向朝向所识别的语义信息图像中以中线分割的两个区域中具有更多环境物体的区域,若所述两个区域具有相同数量的环境物体,则旋转方向随机确定;
S452:当墙在所识别的语义信息图像中少于一定占比时,确定当前环境图像的采集方向为机器人的探索方向。
在本实施例中,墙在所识别的语义信息图像中超过的一定占比设置为50%;步骤S451中采集方向旋转的一定角度设置为旋转15°。由所识别的语义信息图像中墙的占比可判定机器人本体10当前是否处于如墙角的死角位置,当机器人本体10处于死角位置时同样由于能够成功建立小步路径的空间有限,因此需要调节机器人的探索方向,以引导机器人走出死角并向具有更多探索信息的位置探索。
进一步地,若步骤S45连续执行若干次后,墙在所识别的语义信息图像中仍然超过一定占比时,控制机器人返回前一个目的坐标点。
为了防止机器人本体10与外界发生碰撞,在一优选实施例中,本发明的室内自主探索机器人还包括压力传感器,所述压力传感器用于采集压力,当压力传感器采集到来自外界的压力时,控制所述机器人本体10停止移动。
以下以本发明的室内自主探索机器人在对一以墙体分隔为多个探索区域的室内空间的探索进行探索过程的示例性说明,在探索时可从其中任意一个探索区域开始探索,所述环境信息采集单元20对探索区域中的环境信息进行实时采集,所述控制器30将所述环境信息采集单元20所采集的RGB图像转换为语义信息图像,从语义信息图像中获得环境信息对应的语义信息,当所识别的语义信息中出现浴缸、马桶等表示探索区域小的物体信息,则所述控制器30控制生成探索路径时的取点范围缩小一半;当所识别的语义信息中墙在语义信息图像中的占比超过50%时,则所述控制器30控制所述机器人本体10进行探索方向的调节;当所识别的语义信息中没有边界信息时,所述控制器30控制所述机器人本体10进行位置调整直至所识别的语义信息中出现边界信息;当所识别的语义信息中出现新的边界信息时,所述控制器30控制所述机器人本体10将朝该新的边界移动,随后沿着该新的边界继续探索,直至所识别的语义信息中不再出现新的边界信息,即当前探索区域的所有边界均已探索,同时将当前探索区域标记为已探索区域;此时,若在当前探索区域探索的过程中所识别的语义信息中出现新的门信息,则所述控制器30控制所述机器人本体10移动至该新的门处,接着对新的门所连通的另一个探索区域进行探索;当当前室内空间的所有探索区域均标记为已探索区域时,即为完成探索任务。
基于同一发明构思,本发明还提供一种自主探索装置。请参阅图6,其为所述自主探索装置的结构示意图,该装置包括环境图像获取模块101、语义分割模块102、语义信息分析模块103和探索路径生成模块104,其中,环境图像获取模块101用于获取环境图像;语义分割模块102用于对所述环境图像进行图像语义分割得到语义信息图像;语义信息分析模块103用于从所述语义信息图像中获取语义信息,根据所述语义信息得到边界物信息,根据所述边界物间的交界信息得到边界信息;探索路径生成模块104用于根据所述语义信息确定目标坐标点,并生成机器人移动至所述目标坐标点的探索路径。
在一优选实施例中,所述语义信息分析模块103还用于根据所述语义信息得到表示探索区域小的物体信息。请参阅图7,其为一优选实施例的室内自主探索装置的结构示意图,本发明的自主探索装置还包括取点范围调整模块105,所述取点范围调整模块105用于当所识别的语义信息中出现表示探索区域小的物体信息时,缩小所述探索路径生成模块32生成探索路径过程中的所述取点范围。
在另一优选实施例中,所述语义信息分析模块103还用于根据所述语义信息得到墙信息。请参阅图8,其为一优选实施例的室内自主探索装置的结构示意图,本发明的自主探索装置还包括方向调节模块106,所述方向调节模块106用于根据所述语义信息分析模块103识别的墙信息调节所述机器人的探索方向,具体为,当墙在所识别的语义信息图像中超过一定占比时,控制所述环境图像的采集方向旋转一定角度,旋转方向朝向所识别的语义信息图像中以中线分割的两个区域中具有更多环境物体的区域,若所述两个区域具有相同数量的环境物体,则旋转方向随机确定;当所述采集方向旋转后,墙在所识别的语义信息图像中少于一定占比时,确定当前采集方向为所述机器人的探索方向。
进一步地,若所述方向调节模块106连续执行若干次后,墙在所识别的语义信息图像中仍然超过一定占比时,探索路径生成模块104控制机器人返回前一个目的坐标点。
对于装置实施例而言,由于其基本对应于上述自主探索方法实施例,本装置实施例的具体实施细节与本发明的自主探索方法的实施例中所公开的实施细节相同,在此不再赘述。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元。
请参阅图9和图10,其中图9为一示例性的待探索的室内空间示意图,图10为一示例性的室内自主探索机器人在图9所示的室内空间的探索路径示意图,相对于现有技术,本发明的基于环境信息的室内自主探索机器人及方法利用环境信息来确定探索路径,通过将采集的环境信息转换为机器人能够理解的语义信息,以语义信息中表示边界的物体引导机器人沿边界探索,能够保证机器人在正确的边界上移动;以语义信息中的待探索物信息来引导机器人向具有探索信息量大的探索区域进行探索,使机器人进行有方向性的探索;以语义信息中的表示探索区域小的物体来调整机器人生成探索路径的方法,以保证机器人在探索区域小的情况下能够正常生成探索路径;以语义信息中的墙的占比来调节机器人的探索方向,能够对机器人是否处于死角位置进行判断,并引导机器人离开死角位置,防止机器人陷入无法移动的探索困境。整体而言,请参阅图11和图12,图11为现有技术的一种未加入语义信息的基于边界的自主探索方法的探索空间-时间曲线图,图12为本发明的室内自主探索方法的探索空间-时间曲线图,可见在探索同样体积的空间时,本发明的探索时间仅为75秒,小于现有技术的125秒的探索时间,因此本发明能够提高室内自主探索机器人的探索效率。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。存储器是计算机可读介质的示例。存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种基于环境信息的室内自主探索方法,其特征在于,包括步骤:
获取环境图像;
对所述环境图像进行图像语义分割得到语义信息图像;
从所述语义信息图像中获取语义信息,根据所述语义信息得到边界物信息,根据所述边界物间的交界信息得到边界信息;
根据所述边界信息确定边界位置,并生成机器人的沿所述边界位置的探索路径;
所述探索路径通过快速扩展随机树算法生成;还包括步骤:
根据所述语义信息得到表示探索区域小的物体信息;
当所述语义信息中出现表示探索区域小的物体信息时,缩小生成探索路径中生成随机点的取点范围。
2.根据权利要求1所述的室内自主探索方法,其特征在于,还包括步骤:
根据所述语义信息得到待探索物信息;
根据所述待探索物信息计算新的待探索物的坐标,并在当前探索区域所述语义信息中不再出现新的所述边界信息时,控制所述机器人移动至所述新的待探索物的坐标。
3.根据权利要求1所述的室内自主探索方法,其特征在于,还包括步骤:
根据所述语义信息得到墙信息;
当墙在当前的所述语义信息图像中超过一定占比时,控制所述环境图像的采集方向旋转一定角度,所述采集方向的旋转方向朝向当前的所述语义信息图像中以中线分割的两个区域中具有更多环境物体的区域;
在所述采集方向旋转后,若墙在当前的所述语义信息图像中少于一定占比,则确定当前的所述采集方向为所述机器人的探索方向。
4.根据权利要求1-3中任一项所述的室内自主探索方法,其特征在于,还包括步骤:
当当前的所述语义信息中没有所述边界信息时,控制所述机器人进行位置调整,所述位置调整为所述机器人以当前移动方向继续移动一定距离,或以当前方向旋转一定角度后移动一定距离;
在连续的一定次数的位置调整后,当前的所述语义信息中仍没有所述边界信息时,控制所述机器人保持以一个方向移动直至当前的所述语义信息中出现所述边界信息。
5.一种室内自主探索装置,其特征在于,包括:
环境图像获取模块,用于获取环境图像;
语义分割模块,用于对所述环境图像进行图像语义分割得到语义信息图像;
语义信息分析模块,用于从所述语义信息图像中获取语义信息,根据所述语义信息得到边界物信息,根据所述边界物间的交界信息得到边界信息;
探索路径生成模块,用于根据所述边界信息确定边界位置,并生成机器人的沿所述边界位置的探索路径;
所述探索路径生成模块通过快速扩展随机树算法生成所述机器人的探索路径;
所述语义信息分析模块还用于根据所述语义信息得到表示探索区域小的物体信息;
还包括取点范围调整模块,所述取点范围调整模块用于当所述语义信息中出现表示探索区域小的物体信息时,缩小生成探索路径中生成随机点的取点范围。
6.根据权利要求5所述的室内自主探索装置,其特征在于,
所述语义信息分析模块还用于根据所述语义信息得到待探索物信息;
所述探索路径生成模块还用于根据所述待探索物信息计算新的待探索物的坐标,并在当前探索区域所述语义信息中不再出现新的所述边界信息时,控制所述机器人移动至所述新的待探索物的坐标。
7.根据权利要求5所述的室内自主探索装置,其特征在于,还包括步骤:
所述语义信息分析模块还用于根据所述语义信息得到墙信息;
还包括方向调节模块,所述方向调节模块用于当墙在当前的所述语义信息图像中超过一定占比时,控制所述环境图像的采集方向旋转一定角度,所述采集方向的旋转方向朝向当前的所述语义信息图像中以中线分割的两个区域中具有更多环境物体的区域;在所述采集方向旋转后,若墙在当前的所述语义信息图像中少于一定占比,则确定当前的所述采集方向为所述机器人的探索方向。
8.一种室内自主探索机器人,包括机器人本体,其特征在于,包括:摄像头和控制器,其中所述摄像头用于采集环境图像,并传输至所述控制器;所述控制器包括存储器和处理器,其中所述存储器存储有计算机程序,所述程序被处理器执行时能够实现权利要求1-4中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210190544.3A CN114589708B (zh) | 2022-02-28 | 2022-02-28 | 基于环境信息的室内自主探索方法、装置及机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210190544.3A CN114589708B (zh) | 2022-02-28 | 2022-02-28 | 基于环境信息的室内自主探索方法、装置及机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114589708A CN114589708A (zh) | 2022-06-07 |
CN114589708B true CN114589708B (zh) | 2023-11-07 |
Family
ID=81807300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210190544.3A Active CN114589708B (zh) | 2022-02-28 | 2022-02-28 | 基于环境信息的室内自主探索方法、装置及机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114589708B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106647774A (zh) * | 2017-02-14 | 2017-05-10 | 南京罗普森智能科技有限公司 | 实现室内扫地机器人自主探索建图及自主路径覆盖的方法 |
CN106802655A (zh) * | 2016-11-30 | 2017-06-06 | 北京贝虎机器人技术有限公司 | 室内地图生成方法及装置 |
CN111328386A (zh) * | 2017-09-12 | 2020-06-23 | 罗博艾特有限责任公司 | 通过自主移动机器人对未知环境的探察 |
CN112784664A (zh) * | 2019-11-07 | 2021-05-11 | 科沃斯机器人股份有限公司 | 语义地图构建与作业方法、自主移动设备及存储介质 |
CN113110482A (zh) * | 2021-04-29 | 2021-07-13 | 苏州大学 | 基于先验信息启发式的室内环境机器人探索方法及系统 |
CN113805590A (zh) * | 2021-09-23 | 2021-12-17 | 云南民族大学 | 一种基于边界驱动的室内机器人自主探索方法及系统 |
CN114089752A (zh) * | 2021-11-11 | 2022-02-25 | 深圳市杉川机器人有限公司 | 机器人的自主探索方法、机器人及计算机可读存储介质 |
-
2022
- 2022-02-28 CN CN202210190544.3A patent/CN114589708B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106802655A (zh) * | 2016-11-30 | 2017-06-06 | 北京贝虎机器人技术有限公司 | 室内地图生成方法及装置 |
CN106647774A (zh) * | 2017-02-14 | 2017-05-10 | 南京罗普森智能科技有限公司 | 实现室内扫地机器人自主探索建图及自主路径覆盖的方法 |
CN111328386A (zh) * | 2017-09-12 | 2020-06-23 | 罗博艾特有限责任公司 | 通过自主移动机器人对未知环境的探察 |
CN112784664A (zh) * | 2019-11-07 | 2021-05-11 | 科沃斯机器人股份有限公司 | 语义地图构建与作业方法、自主移动设备及存储介质 |
CN113110482A (zh) * | 2021-04-29 | 2021-07-13 | 苏州大学 | 基于先验信息启发式的室内环境机器人探索方法及系统 |
CN113805590A (zh) * | 2021-09-23 | 2021-12-17 | 云南民族大学 | 一种基于边界驱动的室内机器人自主探索方法及系统 |
CN114089752A (zh) * | 2021-11-11 | 2022-02-25 | 深圳市杉川机器人有限公司 | 机器人的自主探索方法、机器人及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
一种基于RGB-D 的移动机器人未知室内环境 自主探索与地图构建方法;于宁波等;机器人;第第39卷卷(第第6期期);第860-871页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114589708A (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113110457B (zh) | 在室内复杂动态环境中智能机器人的自主覆盖巡检方法 | |
WO2018111920A1 (en) | System and method for semantic simultaneous localization and mapping of static and dynamic objects | |
Zhang et al. | Vision-based target-following guider for mobile robot | |
US11703334B2 (en) | Mobile robots to generate reference maps for localization | |
Zhilenkov et al. | Intelligent autonomous navigation system for UAV in randomly changing environmental conditions | |
CN113485375A (zh) | 一种基于启发式偏置采样的室内环境机器人探索方法 | |
Kwon et al. | Renderable neural radiance map for visual navigation | |
Puthussery et al. | A deep vision landmark framework for robot navigation | |
CN111739066B (zh) | 一种基于高斯过程的视觉定位方法、系统及存储介质 | |
GB2612029A (en) | Lifted semantic graph embedding for omnidirectional place recognition | |
US20200401151A1 (en) | Device motion control | |
CN113313201A (zh) | 基于Swin Transformer和ZED摄像头的多目标检测和测距方法 | |
Lee et al. | Cost based planning with RRT in outdoor environments | |
Ishihara et al. | Deep radio-visual localization | |
CN114589708B (zh) | 基于环境信息的室内自主探索方法、装置及机器人 | |
CN112907625A (zh) | 应用于四足仿生机器人的目标跟随方法及系统 | |
Sun et al. | Real-time and fast RGB-D based people detection and tracking for service robots | |
Spampinato et al. | Deep learning localization with 2D range scanner | |
Nikdel et al. | Recognizing and tracking high-level, human-meaningful navigation features of occupancy grid maps | |
Cocoma-Ortega et al. | Overcoming the blind spot in CNN-based gate detection for autonomous drone racing | |
Nandkumar et al. | Simulation of Indoor Localization and Navigation of Turtlebot 3 using Real Time Object Detection | |
Li et al. | Real-time topological localization using structured-view ConvNet with expectation rules and training renewal | |
Agarwal et al. | Predicting the future motion of divers for enhanced underwater human-robot collaboration | |
Linåker et al. | Real-time appearance-based Monte Carlo localization | |
Wu et al. | 2D LIDAR SLAM based on Gauss-Newton |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |