CN112015187A - 一种用于智能移动机器人的语义地图构建方法及系统 - Google Patents
一种用于智能移动机器人的语义地图构建方法及系统 Download PDFInfo
- Publication number
- CN112015187A CN112015187A CN202010951230.1A CN202010951230A CN112015187A CN 112015187 A CN112015187 A CN 112015187A CN 202010951230 A CN202010951230 A CN 202010951230A CN 112015187 A CN112015187 A CN 112015187A
- Authority
- CN
- China
- Prior art keywords
- robot
- visual detection
- key
- semantic map
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 62
- 238000001514 detection method Methods 0.000 claims abstract description 171
- 230000000007 visual effect Effects 0.000 claims abstract description 150
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000004438 eyesight Effects 0.000 claims description 43
- 230000016776 visual perception Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 5
- 230000008676 import Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种用于智能移动机器人的语义地图构建方法及系统。方法包括：锁定初始环境地图范围内的关键视觉探测位置点，为机器人规划出通过所有关键视觉探测位置点的最优路径；机器人按照语义地图构建服务器为其规划的最优路径行驶，在其途径的关键视觉探测位置点通过将其摄像头旋转360度对周围区域进行视频图像采集，并将采集的视频图像以及与采集的视频图像相对应的关键视觉探测位置点信息即时发送给语义地图构建服务器；语义地图构建服务器基于要识别的目标物体的图像特征库对机器人发送的视频图像进行识别，并将识别出的目标物体的语义地图信息在机器人运行的初始环境地图上进行标识，实现机器人自主导航任务运行环境语义地图的快速构建。
Description
技术领域
本发明涉及语义地图构建技术领域，特别涉及一种用于智能移动机器人的语义地图构建方法及系统。
背景技术
智能移动机器人在执行任务过程中对环境的自主感知与理解是机器人智能化发展的目标。近年来，随着智能移动机器人研究的不断进展，语义地图构建方法受到越来越广泛的研究与关注。语义地图是将语义分析与同步定位、建图有效融合，增强机器对环境中相互作用的理解能力，为机器人赋予复杂环境感知力和动态场景适应力。
语义地图构建系统通过将图像与语义进行关联生成环境的语义地图。现有技术中，申请号为CN202010156120.6的专利公开了一种基于单目视觉的移动机器人语义地图构建系统，申请号为CN201911424096.3的专利公开了一种语义地图构建方法、装置、机器人及存储介质。现有技术的语义地图构建方案，由于对机器人的移动路径缺乏整体规划，无法快速、高效的为机器人自主导航任务运行环境构建出全局性的语义地图。
发明内容
针对现有技术的上述缺陷，本发明的实施例提供一种用于智能移动机器人的语义地图构建方法及系统。
第一方面，本发明实施例提供一种用于智能移动机器人的语义地图构建方法，包括：
S1、语义地图构建服务器对语义地图构建参数进行初始化，导入要识别的目标物体的图像特征库、机器人运行的初始环境地图、机器人的初始位置，并建立与所述初始环境地图相对应的环境坐标系；
S2、语义地图构建服务器将所述初始环境地图设置为二维栅格地图，二维栅格地图包括可通行栅格和障碍物栅格，可通行栅格对应初始环境地图中的可通行区域，障碍物栅格对应初始环境地图中的固定障碍物位置；
S3、语义地图构建服务器导入机器人携带的摄像头的视觉感知参数，所述摄像头的视觉感知参数包括摄像头的视觉感知半径；
S4、语义地图构建服务器根据初始环境的二维栅格地图和机器人携带的摄像头的视觉感知参数锁定初始环境地图范围内的关键视觉探测位置点；当机器人在初始环境地图范围内的所有关键视觉探测位置点通过将其摄像头旋转360度对周围区域进行视觉探测时，其视觉探测范围可覆盖初始环境地图中的所有可通行区域；
S5、语义地图构建服务器根据锁定的初始环境地图范围内的关键视觉探测位置点为机器人规划出通过所有关键视觉探测位置点的最优路径；
S6、机器人按照语义地图构建服务器为其规划的最优路径行驶，在其途径的关键视觉探测位置点通过将其摄像头旋转360度对周围区域进行视频图像采集，并将采集的视频图像以及与采集的视频图像相对应的关键视觉探测位置点信息即时发送给语义地图构建服务器；
S7、语义地图构建服务器基于要识别的目标物体的图像特征库对机器人发送的视频图像进行识别；
S8、语义地图构建服务器若识别出目标物体，则定位出机器人的当前位姿、摄像头的朝向及其目标物体距离机器人当前位置的距离，并根据与识别出的目标物体相对应的关键视觉探测位置点信息生成识别出的目标物体的语义地图信息；
S9、语义地图构建服务器将识别出的目标物体的语义地图信息在机器人运行的初始环境地图上进行标识，在机器人完成最优路径行驶时，完成语义地图构建。
进一步地，S1中所述的要识别的目标物体的图像特征库，包括：
要识别的目标物体的多角度图像特征和图像特征对应的物体名称。
S4中所述的语义地图构建服务器根据初始环境的二维栅格地图和机器人携带的摄像头的视觉感知参数锁定初始环境地图范围内的关键视觉探测位置点，具体为：
设置视觉探测区域单元，所述视觉探测区域单元为一个平面图形区域，区域内任意两点的最长距离不超过机器人携带的摄像头的视觉感知半径的两倍；
由初始环境地图的可通行区域左上角栅格位置开始，按照先由左向右，再由上向下或其他规则的排列方式，依次相连但不重叠的放置视觉探测区域单元到初始环境地图上，直到把初始环境地图的所有可通行区域被全部覆盖；
在每一个视觉探测区域单元内部，将可通行区域的边界线或者视觉探测区域单元的边界线组成的封闭区域设置为一个可视区域，可视区域的中心位置以及边界的拐角位置设置为该可视区域的视觉探测候选位置，机器人通过在一个候选位置旋转其摄像头360度对周围区域进行视觉探测得到该候选位置对应的候选位置视觉探测区域；
对于每一个可视区域的候选位置，利用穷举方法找出包括所有候选位置组合以及每个候选位置组成的所有可能方案，确定出所有可能方案中候选位置个数最少，且候选位置所对应的候选位置视觉探测区域可探测整个可通行区域范围的优化可能方案，当存在多种优化可能方案时，选择方案中候选位置距离机器人起始出发位置的距离总和最小的方案，将该方案内的候选位置设置为关键视觉探测位置，所有可视区域的关键视觉探测位置组成了整个初始环境地图的关键视觉探测位置点。再进一步地，S5中所述的语义地图构建服务器根据锁定的初始环境地图范围内的关键视觉探测位置点为机器人规划出通过所有关键视觉探测位置点的最优路径，具体为：
S501、由机器人的起始位置确定与其距离最近的一处关键视觉探测位置点，当有多个关键视觉探测位置点，确定关键视觉探测位置中心点分别与起始位置中心点的连线和当前时刻机器人的正面朝向的夹角，选择夹角最小的关键视觉探测位置，将这个关键视觉探测位置设置为路径父节点位置，确定机器人由起始位置移动到路径父节点位置且能避开障碍物的最短路径；
S502、判断已规划的所有路径父节点位置是否包括所有关键视觉探测位置点，如果已规划的所有路径父节点位置已经包括所有关键视觉探测位置点，输出所有最短路径从而组成由起始位置通过所有关键视觉探测位置点的最优路径，如果已规划的所有路径父节点位置未包括所有关键视觉探测位置点，执行S503；
S503、由当前路径父节点位置确定周围与其最近的一处还未被设置过路径父节点的关键视觉探测位置点，当有多个关键视觉探测位置点时，找到各个关键视觉探测位置中线点分别与当前路径父节点位置中心点的连线和当前时刻机器人的正面朝向的夹角，选择夹角最小的关键视觉探测位置点，将这个关键视觉探测位置点设置为下一个路径父节点位置，确定机器人由当前路径父节点位置移动下一个到路径父节点位置且能避开障碍物的最短路径，执行S502。
如上所述的语义地图构建方法，优选地，S9中所述的语义地图构建服务器将识别出的目标物体的语义地图信息在机器人运行的初始环境地图上进行标识，具体为：
语义地图构建服务器在初始环境地图上对应位置标记出识别出的目标物体信息，并且标记出识别出的目标物体周围的目标别物体信息以及与其对应的距离和方位关系。
第二方面，本发明实施例提供一种用于智能移动机器人的语义地图构建系统，包括：语义地图构建服务器和机器人，所述机器人的数量为1个或者多个，语义地图构建服务器与机器人之间建立网络连接，所述系统用于执行如上所述的语义地图构建方法。
本发明实施例提供的技术方案，通过锁定初始环境地图范围内的关键视觉探测位置点，并为机器人规划出通过所有关键视觉探测位置点的最优路径；机器人按照语义地图构建服务器为其规划的最优路径行驶，在其途径的关键视觉探测位置点通过将其摄像头旋转360度对周围区域进行视频图像采集，并将采集的视频图像以及与采集的视频图像相对应的关键视觉探测位置点信息即时发送给语义地图构建服务器；语义地图构建服务器基于要识别的目标物体的图像特征库对机器人发送的视频图像进行识别，并将识别出的目标物体的语义地图信息在机器人运行的初始环境地图上进行标识。该技术方案不但能够快速、高效的为机器人自主导航任务运行环境构建出全局性的语义地图，而且可以确保构建出的语义地图的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的用于智能移动机器人的语义地图构建方法的流程图；
图2为本发明提供的用于智能移动机器人的语义地图构建方案的应用实施例的系统示意图；
图3为本发明提供的用于智能移动机器人的语义地图构建方案的应用实施例中机器人运行环境的初始地图；
图4为本发明提供的用于智能移动机器人的语义地图构建方案的应用实施例的方法流程图；
图5为本发明提供的用于智能移动机器人的语义地图构建方案的应用实施例中的二维栅格地图；
图6为锁定图3中初始地图的关键视觉探测位置的示意图；
图7为由起始位置通过所有关键视觉探测位置的最优路径的示意图；
图8为机器人规划最优路径过程由当前位置确定下一处关键视觉探测位置点的示意图；
图9为在初始地图上对应位置标记上可识别物体信息的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的用于智能移动机器人的语义地图构建方法的流程图。参考图1所示，本实施例的方法包括以下内容。
S1、语义地图构建服务器对语义地图构建参数进行初始化，导入要识别的目标物体的图像特征库、机器人运行的初始环境地图、机器人的初始位置，并建立与初始环境地图相对应的环境坐标系。
语义可以理解为物体标识地图。例如，可识别物体(要识别的目标物体)的图像特征库中可以包括室内场景的桌椅、柜子、电器、门窗、楼梯、电梯以及室外场景的标志建筑物、树木等物体的多角度图像特征，以及图像特征对应的物体名称等信息。在具体应用过程中，要识别的目标物体的数量可以为多个(例如，用于路面导航的车道线和地面箭头)，也可以为单个(例如，用于在某个环境中查找特定物体)。
在具体应用中，该步骤中所述的要识别的目标物体的图像特征库，具体可以包括：
要识别的目标物体的多角度图像特征和图像特征对应的物体名称。
S2、语义地图构建服务器将初始环境地图设置为二维栅格地图，二维栅格地图包括可通行栅格和障碍物栅格，可通行栅格对应初始环境地图中的可通行区域，障碍物栅格对应初始环境地图中的固定障碍物位置。
例如，将除固定障碍物位置(包括墙体、门等)外其他位置均设置为可通行区域(在二维栅格地图中为可通行栅格)。
S3、语义地图构建服务器导入机器人携带的摄像头的视觉感知参数，摄像头的视觉感知参数包括摄像头的视觉感知半径。
S4、语义地图构建服务器根据初始环境的二维栅格地图和机器人携带的摄像头的视觉感知参数锁定初始环境地图范围内的关键视觉探测位置点；当机器人在初始环境地图范围内的所有关键视觉探测位置点通过将其摄像头旋转360度对周围区域进行视觉探测时，其视觉探测范围可覆盖初始环境地图中的所有可通行区域。
在具体应用中，该步骤中所述的语义地图构建服务器根据初始环境的二维栅格地图和机器人携带的摄像头的视觉感知参数锁定初始环境地图范围内的关键视觉探测位置点，具体可以为：
设置视觉探测区域单元，所述视觉探测区域单元为一个平面图形区域，区域内任意两点的最长距离不超过机器人携带的摄像头的视觉感知半径的两倍；
由初始环境地图的可通行区域左上角栅格位置开始，按照先由左向右，再由上向下或其他规则的排列方式，依次相连但不重叠的放置视觉探测区域单元到初始环境地图上，直到把初始环境地图的所有可通行区被域全部覆盖；
在每一个视觉探测区域单元内部，将可通行区域的边界线或者视觉探测区域单元的边界线组成的封闭区域设置为一个可视区域，可视区域的中心位置以及边界的拐角位置设置为该可视区域的视觉探测候选位置，机器人通过在一个候选位置旋转其摄像头360度对周围区域进行视觉探测得到该候选位置对应的候选位置视觉探测区域；
对于每一个可视区域的候选位置，利用穷举方法找出包括所有候选位置组合以及每个候选位置组成的所有可能方案，确定出所有可能方案中候选位置个数最少，且候选位置所对应的候选位置视觉探测区域可探测整个可通行区域范围的优化可能方案，当存在多种优化可能方案时，选择方案中候选位置距离机器人起始出发位置的距离总和最小的方案，将该方案内的候选位置设置为关键视觉探测位置，所有可视区域的关键视觉探测位置组成了整个初始环境地图的关键视觉探测位置点。S5、语义地图构建服务器根据锁定的初始环境地图范围内的关键视觉探测位置点为机器人规划出通过所有关键视觉探测位置点的最优路径。
在具体应用中，该步骤中所述的语义地图构建服务器根据锁定的初始环境地图范围内的关键视觉探测位置点为机器人规划出通过所有关键视觉探测位置点的最优路径，具体可以为：
S501、由机器人的起始位置确定与其距离最近的一处关键视觉探测位置点，当有多个关键视觉探测位置点，确定关键视觉探测位置中心点分别与起始位置中心点的连线和当前时刻机器人的正面朝向的夹角，选择夹角最小的关键视觉探测位置，将这个关键视觉探测位置设置为路径父节点位置，确定机器人由起始位置移动到路径父节点位置且能避开障碍物的最短路径；
S502、判断已规划的所有路径父节点位置是否包括所有关键视觉探测位置点，如果已规划的所有路径父节点位置已经包括所有关键视觉探测位置点，输出所有最短路径从而组成由起始位置通过所有关键视觉探测位置点的最优路径，如果已规划的所有路径父节点位置未包括所有关键视觉探测位置点，执行S503；
S503、由当前路径父节点位置确定周围与其最近的一处还未被设置过路径父节点的关键视觉探测位置点，当有多个关键视觉探测位置点时，找到各个关键视觉探测位置中线点分别与当前路径父节点位置中心点的连线和当前时刻机器人的正面朝向的夹角，选择夹角最小的关键视觉探测位置点，将这个关键视觉探测位置点设置为下一个路径父节点位置，确定机器人由当前路径父节点位置移动下一个到路径父节点位置且能避开障碍物的最短路径，执行S502。
S6、机器人按照语义地图构建服务器为其规划的最优路径行驶，在其途径的关键视觉探测位置点通过将其摄像头旋转360度对周围区域进行视频图像采集，并将采集的视频图像以及与采集的视频图像相对应的关键视觉探测位置点信息即时发送给语义地图构建服务器。
S7、语义地图构建服务器基于要识别的目标物体的图像特征库对机器人发送的视频图像进行识别。
S8、语义地图构建服务器若识别出目标物体，则定位出机器人的当前位姿、摄像头的朝向及其目标物体距离机器人当前位置的距离，并根据与识别出的目标物体相对应的关键视觉探测位置点信息生成识别出的目标物体的语义地图信息。
S9、语义地图构建服务器将识别出的目标物体的语义地图信息在机器人运行的初始环境地图上进行标识，在机器人完成最优路径行驶时，完成语义地图构建。
在具体应用中，该步骤中所述的语义地图构建服务器将识别出的目标物体的语义地图信息在机器人运行的初始环境地图上进行标识，具体可以为：
语义地图构建服务器在初始环境地图上对应位置标记出识别出的目标物体信息，并且标记出识别出的目标物体周围的目标别物体信息以及与其对应的距离和方位关系。
本发明实施例提供的技术方案，通过锁定初始环境地图范围内的关键视觉探测位置点，并为机器人规划出通过所有关键视觉探测位置点的最优路径；机器人按照语义地图构建服务器为其规划的最优路径行驶，在其途径的关键视觉探测位置点通过将其摄像头旋转360度对周围区域进行视频图像采集，并将采集的视频图像以及与采集的视频图像相对应的关键视觉探测位置点信息即时发送给语义地图构建服务器；语义地图构建服务器基于要识别的目标物体的图像特征库对机器人发送的视频图像进行识别，并将识别出的目标物体的语义地图信息在机器人运行的初始环境地图上进行标识。该技术方案不但能够快速、高效的为机器人自主导航任务运行环境构建出全局性的语义地图，而且可以确保构建出的语义地图的准确性。
另一方面，本发明实施例提供一种用于智能移动机器人的语义地图构建系统，系统包括：语义地图构建服务器和机器人，所述机器人的数量为1个或者多个，语义地图构建服务器与机器人之间建立网络连接，所述系统用于执行如上所述的语义地图构建方法。
图2为本发明提供的用于智能移动机器人的语义地图构建方案的应用实施例的系统示意图，图3为本发明提供的用于智能移动机器人的语义地图构建方案的应用实施例中机器人运行环境的初始地图；图4为本发明提供的用于智能移动机器人的语义地图构建方案的应用实施例的方法流程图；图5为本发明提供的用于智能移动机器人的语义地图构建方案的应用实施例中的二维栅格地图；图6为锁定图3中初始地图的关键视觉探测位置的示意图；图7为机器人规划最优路径过程由当前位置确定下一处关键视觉探测位置点的示意图；图8为由起始位置通过所有关键视觉探测位置的最优路径的示意图；图9为在初始地图上对应位置标记上可识别物体信息的示意图。参考图2-图9所示，本实施例提供的用于智能移动机器人的语义地图构建方法应用于智能移动机器人和/或与该移动机器人关联的终端设备，当所述语义地图构建方法应用于所述智能移动机器人时，执行步骤1至步骤11。
步骤1、如图2所示，智能移动机器人与中央管理系统建立通信，中央管理系统中导入初始地图，初始地图如图3所示；
本实施例中，中央管理系统的执行主体即为语义地图构建服务器。
步骤2、如图5所示，将初始地图中设置为二维栅格地图；
步骤3、智能机器人导入机器人携带的摄像头视觉感知的参数，摄像头的视觉感知半径为5米，距离智能机器人5米范围内无遮挡的目标物体可以被机器人有效识别；
步骤4、如图6所示，锁定初始地图的关键视觉探测位置，机器人在这些关键视觉探测位置旋转摄像头360度对周围区域进行视觉探测，这些关键视觉探测位置可以视觉探测的环境包括了所有的可通行区域；
所述初始地图的关键视觉探测位置锁定方法为：
步骤4.1、划定视觉探测区域框，该区域框为一个平面图形，可以设置为正方形区域或其他形状区域，区域内任意两点的最长距离不超过摄像头的视觉感知半径的两倍；
步骤4.2、由初始地图的可通行区域左上角栅格位置开始，按照先由左向右，再由上详细或其他规则的排列方式，依次紧挨但不重叠的放置视觉探测区域框到初始地图上，直到把初始地图的所有可通行区域全部覆盖住；
步骤4.3、在每一个视觉探测区域框内部，可通行区域的边界线或者视觉探测区域框的边界线组成的封闭区域设置为一个可视区域，可视区域的中心位置以及边界的拐角位置设置为该可视区域的视觉探测候选位置，机器人在一个候选位置旋转摄像头360度对周围区域进行视觉探测可以得到该候选位置对应的候选位置视觉探测区域；
步骤4.4、对于每一个可视区域的候选位置，以穷举方法找出所有候选位置组合或单个候选位置的所有可能的方案，确定出所有可能方案中候选位置个数最少，且候选位置所对应的候选位置视觉探测区域已经足够探测整个可是区域范围的可能方案，当存在多种可能方案时，选择方案中候选位置距离机器人起始出发位置的总和最小的方案，该方案内的候选位置设置为关键视觉探测位置，所有可视区域的关键视觉探测位置组成了整个初始环境地图的关键视觉探测位置；
步骤5、如图7所示，机器人规划可以由起始位置通过所有关键视觉探测位置的最优路径；
在具体应用过程中，由起始位置通过所有关键视觉探测位置的最优路径规划可以由机器人自行规划，也可以由中央管理系统统为机器人规划。
所述由起始位置通过所有关键视觉探测位置的最优路径的规划方法为：
步骤5.1、由起始位置确定周围最近的一处关键视觉探测位置，当有多个关键视觉探测位置，确定关键视觉探测位置中线点分别与起始位置中心点的连线和当前时刻机器人的正面朝向的夹角，选择夹角最小的关键视觉探测位置，将这个关键视觉探测位置设置为路径父节点位置，确定机器人由起始位置移动到路径父节点位置的避开障碍物的最短路径；
参考图8所示，机器人由当前位置确定与其距离最近的一处关键视觉探测位置点：
1)d1<d2时，选择关键视觉探测位置点1；
2)d1>d2时，选择关键视觉探测位置点2；
3)d1＝d2时，A1<A2选择关键视觉探测位置点1。
步骤5.2、判断已规划的所有路径父节点位置是否包括了所有关键视觉探测位置，如果已规划的所有路径父节点位置已经包括了所有关键视觉探测位置，输出所有最短路径从而组成了由起始位置通过所有关键视觉探测位置的最优路径，如果已规划的所有路径父节点位置没有包括了所有关键视觉探测位置，执行步骤5.3；
步骤5.3、由当前路径父节点位置确定周围最近的一处还没有被设置过路径父节点的关键视觉探测位置，当有多个关键视觉探测位置，找到确定关键视觉探测位置中线点分别与当前路径父节点位置中心点的连线和当前时刻机器人的正面朝向的夹角，选择夹角最小的关键视觉探测位置，将这个关键视觉探测位置设置为路径父节点位置，确定机器人由当前路径父节点位置移动到路径父节点位置的避开障碍物的最短路径，执行步骤5.2。
步骤6、机器人导入可识别物体图像特征库，本实验中将桌子、椅子、沙发、门、电梯门等目标作为可识别物体；
步骤7、机器人按照该路径行进并利用摄像头采集视频图像，实时分析采集的视频图像的特征，根据可识别物体图像特征库对图像中的可识别物体进行探测；
步骤8、判断是否在当前位置探测到了可识别物体图像特征库中包含的可识别物体；
步骤9、若在当前位置探测到可识别物体，记录机器人的当前位姿、摄像头的朝向和深度摄像头采集的可识别物体与机器人的深度信息；
步骤10、根据可识别物体信息，定位中央管理系统确定的机器人的当前位姿、摄像头的朝向和深度摄像头采集的可识别物体与机器人的深度信息在初始地图上对应位置标记上可识别物体信息，更新当前位置周围区域的初始地图，如图9所示。机器人再按照最优路径进行视觉探测。
步骤11、若在当前位置未探测到可识别物体，机器人按照最优路径进行视觉探测。
综上所述，本实施例提供的技术方案不但能够快速、高效的为机器人自主导航任务运行环境构建出全局性的语义地图，而且可以确保构建出的语义地图的准确性,为机器人赋予了复杂环境感知力和动态场景适应力，进而提高了机器人服务能力和人机交互的智能性。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种用于智能移动机器人的语义地图构建方法，其特征在于，包括：
S1、语义地图构建服务器对语义地图构建参数进行初始化，导入要识别的目标物体的图像特征库、机器人运行的初始环境地图、机器人的初始位置，并建立与所述初始环境地图相对应的环境坐标系；
S2、语义地图构建服务器将所述初始环境地图设置为二维栅格地图，二维栅格地图包括可通行栅格和障碍物栅格，可通行栅格对应初始环境地图中的可通行区域，障碍物栅格对应初始环境地图中的固定障碍物位置；
S3、语义地图构建服务器导入机器人携带的摄像头的视觉感知参数，所述摄像头的视觉感知参数包括摄像头的视觉感知半径；
S4、语义地图构建服务器根据初始环境的二维栅格地图和机器人携带的摄像头的视觉感知参数锁定初始环境地图范围内的关键视觉探测位置点；当机器人在初始环境地图范围内的所有关键视觉探测位置点通过将其摄像头旋转360度对周围区域进行视觉探测时，其视觉探测范围可覆盖初始环境地图中的所有可通行区域；
S5、语义地图构建服务器根据锁定的初始环境地图范围内的关键视觉探测位置点为机器人规划出通过所有关键视觉探测位置点的最优路径；
S6、机器人按照语义地图构建服务器为其规划的最优路径行驶，在其途径的关键视觉探测位置点通过将其摄像头旋转360度对周围区域进行视频图像采集，并将采集的视频图像以及与采集的视频图像相对应的关键视觉探测位置点信息即时发送给语义地图构建服务器；
S7、语义地图构建服务器基于要识别的目标物体的图像特征库对机器人发送的视频图像进行识别；
S8、语义地图构建服务器若识别出目标物体，则定位出机器人的当前位姿、摄像头的朝向及其目标物体距离机器人当前位置的距离，并根据与识别出的目标物体相对应的关键视觉探测位置点信息生成识别出的目标物体的语义地图信息；
S9、语义地图构建服务器将识别出的目标物体的语义地图信息在机器人运行的初始环境地图上进行标识，在机器人完成最优路径行驶时，完成语义地图构建。
2.如权利要求1所述的语义地图构建方法，其特征在于，S1中所述的要识别的目标物体的图像特征库，包括：
要识别的目标物体的多角度图像特征和图像特征对应的物体名称。
3.如权利要求2所述的语义地图构建方法，其特征在于，S4中所述的语义地图构建服务器根据初始环境的二维栅格地图和机器人携带的摄像头的视觉感知参数锁定初始环境地图范围内的关键视觉探测位置点，具体为：
设置视觉探测区域单元，所述视觉探测区域单元为一个平面图形区域，区域内任意两点的最长距离不超过机器人携带的摄像头的视觉感知半径的两倍；
由初始环境地图的可通行区域左上角栅格位置开始，按照先由左向右，再由上向下或其他规则的排列方式，依次相连但不重叠的放置视觉探测区域单元到初始环境地图上，直到把初始环境地图的所有可通行区域被全部覆盖；
在每一个视觉探测区域单元内部，将可通行区域的边界线或者视觉探测区域单元的边界线组成的封闭区域设置为一个可视区域，可视区域的中心位置以及边界的拐角位置设置为该可视区域的视觉探测候选位置，机器人通过在一个候选位置旋转其摄像头360度对周围区域进行视觉探测得到该候选位置对应的候选位置视觉探测区域；
对于每一个可视区域的候选位置，利用穷举方法找出包括所有候选位置组合以及每个候选位置组成的所有可能方案，确定出所有可能方案中候选位置个数最少，且候选位置所对应的候选位置视觉探测区域可探测整个可通行区域范围的优化可能方案，当存在多种优化可能方案时，选择方案中候选位置距离机器人起始出发位置的距离总和最小的方案，将该方案内的候选位置设置为关键视觉探测位置，所有可视区域的关键视觉探测位置组成了整个初始环境地图的关键视觉探测位置点。
4.如权利要求3所述的语义地图构建方法，其特征在于，S5中所述的语义地图构建服务器根据锁定的初始环境地图范围内的关键视觉探测位置点为机器人规划出通过所有关键视觉探测位置点的最优路径，具体为：
S501、由机器人的起始位置确定与其距离最近的一处关键视觉探测位置点，当有多个关键视觉探测位置点，确定关键视觉探测位置中心点分别与起始位置中心点的连线和当前时刻机器人的正面朝向的夹角，选择夹角最小的关键视觉探测位置，将这个关键视觉探测位置设置为路径父节点位置，确定机器人由起始位置移动到路径父节点位置且能避开障碍物的最短路径；
S502、判断已规划的所有路径父节点位置是否包括所有关键视觉探测位置点，如果已规划的所有路径父节点位置已经包括所有关键视觉探测位置点，输出所有最短路径从而组成由起始位置通过所有关键视觉探测位置点的最优路径，如果已规划的所有路径父节点位置未包括所有关键视觉探测位置点，执行S503；
S503、由当前路径父节点位置确定周围与其最近的一处还未被设置过路径父节点的关键视觉探测位置点，当有多个关键视觉探测位置点时，找到各个关键视觉探测位置中线点分别与当前路径父节点位置中心点的连线和当前时刻机器人的正面朝向的夹角，选择夹角最小的关键视觉探测位置点，将这个关键视觉探测位置点设置为下一个路径父节点位置，确定机器人由当前路径父节点位置移动下一个到路径父节点位置且能避开障碍物的最短路径，执行S502。
5.如权利要求1-4任一项所述的语义地图构建方法，其特征在于，S9中所述的语义地图构建服务器将识别出的目标物体的语义地图信息在机器人运行的初始环境地图上进行标识，具体为：
语义地图构建服务器在初始环境地图上对应位置标记出识别出的目标物体信息，并且标记出识别出的目标物体周围的目标别物体信息以及与其对应的距离和方位关系。
6.一种用于智能移动机器人的语义地图构建系统，其特征在于，包括：语义地图构建服务器和机器人，所述机器人的数量为1个或者多个，语义地图构建服务器与机器人之间建立网络连接，所述系统用于执行权利要求1-5任一项所述的语义地图构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010951230.1A CN112015187B (zh) | 2020-09-11 | 2020-09-11 | 一种用于智能移动机器人的语义地图构建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010951230.1A CN112015187B (zh) | 2020-09-11 | 2020-09-11 | 一种用于智能移动机器人的语义地图构建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112015187A true CN112015187A (zh) | 2020-12-01 |
| CN112015187B CN112015187B (zh) | 2023-10-20 |
Family
ID=73521321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010951230.1A Active CN112015187B (zh) | 2020-09-11 | 2020-09-11 | 一种用于智能移动机器人的语义地图构建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112015187B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113390427A (zh) * | 2021-06-09 | 2021-09-14 | 深圳市优必选科技股份有限公司 | 机器人建图方法、装置、机器人及计算机可读存储介质 |
| CN113515583A (zh) * | 2021-07-12 | 2021-10-19 | 福建（泉州）哈工大工程技术研究院 | 一种机器人语义地图导航方法 |
| CN113535743A (zh) * | 2021-06-30 | 2021-10-22 | 上海西井信息科技有限公司 | 无人驾驶地图实时更新方法、装置、电子设备、存储介质 |
| CN113762140A (zh) * | 2021-09-03 | 2021-12-07 | 上海擎朗智能科技有限公司 | 一种基于机器人的建图方法、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090039136A (ko) * | 2007-10-17 | 2009-04-22 | 한국생산기술연구원 | 로봇의 자율 주행 방법 |
| CN107063258A (zh) * | 2017-03-07 | 2017-08-18 | 重庆邮电大学 | 一种基于语义信息的移动机器人室内导航方法 |
| CN110986945A (zh) * | 2019-11-14 | 2020-04-10 | 上海交通大学 | 基于语义高度地图的局部导航方法和系统 |
| CN111609852A (zh) * | 2019-02-25 | 2020-09-01 | 北京奇虎科技有限公司 | 语义地图构建方法、扫地机器人及电子设备 |
-
2020
- 2020-09-11 CN CN202010951230.1A patent/CN112015187B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090039136A (ko) * | 2007-10-17 | 2009-04-22 | 한국생산기술연구원 | 로봇의 자율 주행 방법 |
| CN107063258A (zh) * | 2017-03-07 | 2017-08-18 | 重庆邮电大学 | 一种基于语义信息的移动机器人室内导航方法 |
| CN111609852A (zh) * | 2019-02-25 | 2020-09-01 | 北京奇虎科技有限公司 | 语义地图构建方法、扫地机器人及电子设备 |
| CN110986945A (zh) * | 2019-11-14 | 2020-04-10 | 上海交通大学 | 基于语义高度地图的局部导航方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 何松 等: "基于激光SLAM和深度学习的语义地图构建", 计算机技术与发展, no. 09 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113390427A (zh) * | 2021-06-09 | 2021-09-14 | 深圳市优必选科技股份有限公司 | 机器人建图方法、装置、机器人及计算机可读存储介质 |
| WO2022257332A1 (zh) * | 2021-06-09 | 2022-12-15 | 深圳市优必选科技股份有限公司 | 机器人建图方法、装置、机器人及计算机可读存储介质 |
| CN113535743A (zh) * | 2021-06-30 | 2021-10-22 | 上海西井信息科技有限公司 | 无人驾驶地图实时更新方法、装置、电子设备、存储介质 |
| CN113535743B (zh) * | 2021-06-30 | 2023-11-14 | 上海西井科技股份有限公司 | 无人驾驶地图实时更新方法、装置、电子设备、存储介质 |
| CN113515583A (zh) * | 2021-07-12 | 2021-10-19 | 福建（泉州）哈工大工程技术研究院 | 一种机器人语义地图导航方法 |
| CN113762140A (zh) * | 2021-09-03 | 2021-12-07 | 上海擎朗智能科技有限公司 | 一种基于机器人的建图方法、电子设备及存储介质 |
| CN113762140B (zh) * | 2021-09-03 | 2024-06-07 | 上海擎朗智能科技有限公司 | 一种基于机器人的建图方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112015187B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112015187A (zh) | 一种用于智能移动机器人的语义地图构建方法及系统 | |
| EP3659001B1 (de) | Magnetometer für die roboternavigation | |
| CN104536445B (zh) | 移动导航方法和系统 | |
| Borrmann et al. | A mobile robot based system for fully automated thermal 3D mapping | |
| CN112650255A (zh) | 一种基于视觉与激光雷达信息融合的机器人室内外定位导航系统方法 | |
| JP2020533720A (ja) | 自律移動ロボットによる未知の環境の探索 | |
| WO2021047348A1 (zh) | 可通行区域图的建立方法、处理方法、装置和可移动设备 | |
| Prieto et al. | As-is building-structure reconstruction from a probabilistic next best scan approach | |
| CN104737085A (zh) | 用于自主地检测或处理地面的机器人和方法 | |
| DE102016114594A1 (de) | Verfahren zur Steuerung eines autonomen mobilen Roboters | |
| JP7280452B2 (ja) | 縮尺図と３次元モデルを用いた機械学習ベースのオブジェクト識別 | |
| CN113791627B (zh) | 一种机器人导航方法、设备、介质和产品 | |
| Nguyen et al. | A lightweight SLAM algorithm using orthogonal planes for indoor mobile robotics | |
| Burhanpurkar et al. | Cheap or robust? The practical realization of self-driving wheelchair technology | |
| KR100955655B1 (ko) | 로봇의 자율 주행 방법 | |
| Ehlers et al. | Map management approach for SLAM in large-scale indoor and outdoor areas | |
| CN111609853A (zh) | 三维地图构建方法、扫地机器人及电子设备 | |
| CN118020038A (zh) | 两轮自平衡机器人 | |
| CN113358118B (zh) | 非结构环境中端到端的室内移动机器人自主导航方法 | |
| Atas et al. | Elevation state-space: Surfel-based navigation in uneven environments for mobile robots | |
| Maurović et al. | Autonomous exploration of large unknown indoor environments for dense 3D model building | |
| Youngblood et al. | A framework for autonomous mobile robot exploration and map learning through the use of place-centric occupancy grids | |
| WO2022247538A1 (zh) | 地图区域融合方法、装置、自主移动设备和存储介质 | |
| Zhao et al. | A multi-sensor fusion system for improving indoor mobility of the visually impaired | |
| de la Puente et al. | RGB-D sensor setup for multiple tasks of home robots and experimental results |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |