CN111309024A - 基于实时视觉数据的机器人定位导航方法及装置 - Google Patents

Abstract

本发明提供了一种基于实时视觉数据的机器人定位导航方法及装置，该方法包括：实时获取移动机器人自身第一视角的视觉数据，将视觉数据发送至人机交互界面，以便于人机交互界面对视觉数据中包含的各个物体进行识别，并将所识别出的每个物体的状态设置成可选状态，获取操作者从视觉数据中包含的各个物体中选择的物体，并将选择出的物体作为移动机器人移动的目的地进行反馈，接收人机交互界面所反馈的目的地，依据视觉数据和目的地，生成导航路线，并依据导航路线移动至目的地。可见，操作者可以直接从视觉数据中包含的各个物体中选择物体作为目的地，而不是在2D地图中选择目的地，从而降低移动机器人的使用门槛，有利于移动机器人的推广使用。

Description

基于实时视觉数据的机器人定位导航方法及装置

技术领域

本发明涉及移动机器人技术领域，尤其涉及一种基于实时视觉数据的机器人定位导航方法及装置。

背景技术

移动机器人是指自动执行任务的机械装置。移动机器人在执行任务时，往往需通过定位导航移动至目的地执行任务，即移动机器人执行任务涉及目的地的设定。

现有技术中，移动机器人目的地的设定，是操作者通过人机交互界面，在移动机器人所在空间的2D地图上选择移动机器人移动的目的地，而2D地图往往不够直观，通过2D地图设定目的地需依赖于操作者的技能，导致目的地设定困难，不利于移动机器人的推广使用。

发明内容

本发明提供了一种基于实时视觉数据的机器人定位导航方法及装置，目的在于通过2D地图设定目的地依赖于操作者技能，导致目的地设定困难，不利于移动机器人的推广使用的问题。

为了实现上述目的，本发明提供了以下技术方案：

一种机器人定位导航方法，应用于移动机器人，所述方法包括：

实时获取所述移动机器人自身第一视角的视觉数据；

将所述视觉数据发送至人机交互界面，以便于所述人机交互界面对所述视觉数据中包含的各个物体进行识别，并将所识别出的每个所述物体的状态设置成可选状态，获取操作者从所述视觉数据中包含的各个物体中选择的物体，并将所述操作者所选择的物体作为所述移动机器人移动的目的地进行反馈；

接收所述人机交互界面反馈的目的地；

依据所述视觉数据，构建目标地图；其中，所述目标地图包括所述视觉数据中包含的所有物体各自对应的标注信息；

依据所述目的地和所述目标地图，生成导航路线，并依据所述导航路线移动至所述目的地。

上述的方法，可选的，所述依据所述视觉数据，构建目标地图，包括：

识别所述视觉数据中包含的各个物体，并获取所述视觉数据对应的点云数据集；所述点云数据集中包括多个点云数据，每个所述物体对应一个所述点云数据；

获取所述移动机器人当前里程计odom数据和所在空间的空间数据，并依据所述空间数据和所述odom数据，生成栅格地图；其中，每个所述点云数据所处坐标系和所述栅格地图所处坐标系存在对应关系；

针对每个所述物体，依据所述物体对应的点云数据，判断所述栅格地图中是否存在所述物体对应的标注信息，若不存在，则将所述物体在所述栅格地图中进行标注，得到目标地图，若存在，则将所述栅格地图作为目标地图。

上述的方法，可选的，所述依据所述视觉数据，构建目标地图，包括：

识别所述视觉数据中包含的各个物体，并获取所述视觉数据对应的点云数据集，所述点云数据集中包括多个点云数据，每个所述物体对应一个所述点云数据；

确定所述视觉数据对应视觉范围，并确定预先构建的栅格地图中与所述视觉范围对应的地图范围；

依据每个所述物体对应的点云数据，判断所述地图范围中的各个标注信息是否和各个所述物体一一对应；其中，每个所述点云数据所处坐标系和所述栅格地图所处坐标系存在对应关系；

若所述地图范围中的各个标注信息和各个所述物体一一对应，则将所述栅格地图作为目标地图；

若所述地图范围中的各个标注信息和各个所述物体不一一对应，则当所述地图范围中缺少任意一个所述物体对应的标注信息时，将缺少的物体在所述栅格地图的所述地图范围中进行标注，并当所述地图范围中存在任意一个所述物体均不对应的标注信息时，则将所述栅格地图中的所述标注信息进行删除，得到目标地图。

上述的方法，可选的，所述依据所述目的地和所述目标地图，生成导航路线，包括：

确定所述目的地在所述目标地图中的位置，并确定所述移动机器人当前对应在所述目标地图中的位置；

依据所述目的地在所述目标地图中的位置，和所述移动机器人当前对应在所述目标地图中的位置，生成导航路线。

上述的方法，可选的，所述依据所述导航路线移动至所述目的地，包括：

依据所述导航路线，生成移动指令；

依据所述移动指令进行移动，并在移动的过程中，判断是否存在故障物体；

若不存在故障物体，则当所述移动机器人当前所处位置与所述目的地之间的距离小于预设阈值时，判断为移动至所述目的地，并停止移动。

上述的方法，可选的，还包括：

在移动的过程中，若存在故障物体，则重新规划导航路线，并依据重新规划的导航路线，生成新的移动指令；

依据所述新的移动指令进行移动，并在移动的过程中判断是否存在故障物体，直至所述移动机器人当前所处位置与所述目的地之间的距离小于预设阈值时，停止移动。

一种机器人定位导航装置，应用于移动机器人，所述装置包括：

获取单元，用于实时获取所述移动机器人自身第一视角的视觉数据；

发送单元，用于将所述视觉数据发送至人机交互界面，以便于所述人机交互界面对所述视觉数据中包含的各个物体进行识别，并将所识别出的每个所述物体的状态设置成可选状态，获取操作者从所述视觉数据中包含的各个物体中选择的物体，并将所述操作者所选择的物体作为所述移动机器人移动的目的地进行反馈；

接收单元，用于接收所述人机交互界面反馈的目的地；

构建单元，用于依据所述视觉数据，构建目标地图；其中，所述目标地图包括所述视觉数据中包含的所有物体各自对应的标注信息；

移动单元，用于依据所述目的地和所述目标地图，生成导航路线，并依据所述导航路线移动至所述目的地。

上述的装置，可选的，所述构建单元执行依据所述视觉数据，构建目标地图，用于：

识别所述视觉数据中包含的各个物体，并获取所述视觉数据对应的点云数据集；所述点云数据集中包括多个点云数据，每个所述物体对应一个所述点云数据；

获取所述移动机器人当前里程计odom数据和所在空间的空间数据，并依据所述空间数据和所述odom数据，生成栅格地图；其中，每个所述点云数据所处坐标系和所述栅格地图所处坐标系存在对应关系；

针对每个所述物体，依据所述物体对应的点云数据，判断所述栅格地图中是否存在所述物体对应的标注信息，若不存在，则将所述物体在所述栅格地图中进行标注，得到目标地图，若存在，则将所述栅格地图作为目标地图。

上述的装置，可选的，所述构建单元执行依据所述视觉数据，构建目标地图，用于：

识别所述视觉数据中包含的各个物体，并获取所述视觉数据对应的点云数据集，所述点云数据集中包括多个点云数据，每个所述物体对应一个所述点云数据；

确定所述视觉数据对应视觉范围，并确定预先构建的栅格地图中与所述视觉范围对应的地图范围；

依据每个所述物体对应的点云数据，判断所述地图范围中的各个标注信息是否和各个所述物体一一对应；其中，每个所述点云数据所处坐标系和所述栅格地图所处坐标系存在对应关系；

若所述地图范围中的各个标注信息和各个所述物体一一对应，则将所述栅格地图作为目标地图；

若所述地图范围中的各个标注信息和各个所述物体不一一对应，则当所述地图范围中缺少任意一个所述物体对应的标注信息时，将缺少的物体在所述栅格地图的所述地图范围中进行标注，并当所述地图范围中存在任意一个所述物体均不对应的标注信息时，则将所述栅格地图中的所述标注信息进行删除，得到目标地图。

上述的装置，可选的，所述接收单元执行依据所述目的地和目标地图，生成导航路线，用于：

确定所述目的地在所述目标地图中的位置，并确定所述移动机器人当前对应在所述目标地图中的位置；

依据所述目的地在所述目标地图中的位置，和所述移动机器人当前对应在所述目标地图中的位置，生成导航路线。

一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的基于实时视觉数据的机器人定位导航方法。

一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行上述的基于实时视觉数据的机器人定位导航方法。

与现有技术相比，本发明包括以下优点：

本发明提供了一种基于实时视觉数据的机器人定位导航方法及装置，该方法包括：实时获取移动机器人自身第一视角的视觉数据，将视觉数据发送至人机交互界面，以便于人机交互界面对视觉数据中包含的各个物体进行识别，并将所识别出的每个物体的状态设置成可选状态，获取操作者从视觉数据中包含的各个物体中选择的物体，并将操作者所选择的物体作为移动机器人移动的目的地进行反馈，接收人机交互界面所反馈的目的地，依据视觉数据，构建目标地图，其中，目标地图中包括视觉数据中包含的所有物体各自对应的标注信息，依据目的地和目标地图，生成导航路线，并依据导航路线移动至目的地。可见，本发明所提供的技术方案，操作者可以直接从视觉数据中包含的各个物体中选择物体作为目的地，而不是在2D地图中选择目的地，从而降低移动机器人的使用门槛，有利于移动机器人的推广使用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种基于实时视觉数据的机器人定位导航方法的方法流程图；

图2为本发明提供的一种基于实时视觉数据的机器人定位导航方法的又一方法流程图；

图3为本发明提供的一种基于实时视觉数据的机器人定位导航方法的又一方法流程图；

图4为本发明提供的一种基于实时视觉数据的机器人定位导航方法的又一方法流程图；

图5为本发明提供的一种基于实时视觉数据的机器人定位导航装置的结构示意图；

图6为本发明提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种基于实时视觉数据的机器人定位导航方法，该方法可以应用于移动机器人，所述方法的方法流程图如图1所示，具体包括：

S101、实时获取移动机器人自身第一视角的视觉数据。

移动机器人实时获取自身第一视觉的视觉数据，其中，视觉数据可以是音频、视频或深度图像数据，可选的，移动机器人获取自身第一视角的视觉数据的方法，包括但不限于通过激光雷达或设置于移动机器人自身中的深度摄像头获取。

S102、将视觉数据发送至人机交互界面，以便于人机交互界面对视觉数据中包含的各个物体进行识别，并将所识别出的每个物体的状态设置成可选状态，获取操作者从视觉数据中包含的各个物体中选择的物体，并将操作者所选择的物体作为移动机器人移动的目的地进行反馈。

将视觉数据发送至人机交互界面，人机交互界面接收到视觉数据时，对视觉数据中包含的物体进行识别，并将所识别出的每个物体的状态设置成可选状态，并将已设置物体状态的视觉数据进行展示，操作者通过人机交互界面，可以对所展示的视觉数据中的物体进行选择，可选的，操作者对视觉数据的物体进行选择的方式，包括但不限于通过点击视觉数据中的物体实现对物体的选择、通过拖拽的方式实现对物体的选择，或预先设置每个物体和编号的对应关系，操作者通过输入或勾点击编号实现对物体的选择。

需要说明的是，视觉数据中可以包含悬空物体，例如吊灯，操作者可以选择悬空物体作为机器人移动的目的地。

人机交互界面获取操作者最终所选择的物体，将操作者所选择的物体作为目的地进行反馈。

S103、接收人机交互界面反馈的目的地。

移动机器人接收人机交互界面所反馈的目的地。

S104、依据视觉数据，构建目标地图。

依据视觉数据，构建目标地图，其中，目标地图包括视觉数据中包含的所有物体对应的标注信息，也就是说视觉数据中包含的各个物体在目标地图中均有对应的标注信息。

可选的，目标地图可以是基于视觉数据和预先构建的栅格地图进行构建，也可以是，实时生成是栅格地图，依据栅格地图和视觉数据进行构建。

S104、依据目的地和目标地图，生成导航路线，并依据导航路线移动至目的地。

基于目标地图和人机交互界面所反馈的目的地，生成移动机器人移动的导航路线，可选的，依据目的地和目标地图，生成导航路线的过程，具体可以包括：

确定目的地在目标地图中的位置，并确定移动机器人当前对应在目标地图中的位置。

依据目的地在目标地图中的位置，和移动机器人当前对应在目标地图中的位置，生成导航路线。

确定该目的地在目标地图中的位置，即确定操作者所选择的物体对应在目标地图中的所在坐标或坐标区间范围，也就是确定目标地图中与操作者所选择的物体对应的标注信息。确定移动机器人当前对应在目标地图中的位置，及确定移动机器人当期那对应在目标地图中的坐标。

基于目的地在目标地图中的位置，和移动机器人当前对应在目标地图中的位置，进行导航路径规划，生成导航路线。需要说明的是，视觉数据中包含的各个物体可在栅格地图中进行投影而成为障碍物，移动机器人在导航和路径规划的过程中可进行规避动作，即自动避开障碍物。

需要说明的是，悬空物体为机器人无法到达的障碍物，例如吊灯在地面会产生投影，在目标地图中会有相应的标注信息，对于无法到达的障碍物，在进行导航路径规划时可以不进行规避。

需要说明的是，所生成的导航路线为最优的导航路线，也就是说，所成的导航路线是该移动机器人到达目的地的各个路线中，路程短、障碍物体少的路线。

依据导航路线移动至目的地，可以是基于导航路线，生成移动指令，基于移动指令进行移动至目的地。

本发明实施例提供的基于实时视觉数据的机器人定位导航方法，实时获取移动机器人自身第一视角的视觉数据，将视觉数据发送至人机交互界面，以便于操作者通过人机交互界面，从视觉数据中包含的各个物体中选择目标物体作为移动机器人移动的目的地，构建目标地图，其中，目标地图包括所述视觉数据中包含所有物体各自对应的标注信息，接收人机交互界面反馈的目的地，并依据目的地和目标地图，生成导航路线，依据导航路线移动至目的地。应用本发明实施例提供的基于实时视觉数据的机器人定位和导航方法，操作者可以直接从视觉数据中包含的各个物体中选择物体作为目的地，而不是在2D地图中选择目的地，从而降低移动机器人的使用门槛，有利于移动机器人的推广使用。

上述本发明实施例图1公开的步骤S103涉及的已具备视觉数据，构建目标地图的过程，流程图如图2所示，具体可以包括以下步骤：

S201、识别视觉数据中包含的各个物体，并获取视觉数据对应的点云数据集。

通过预设的物体识别算法，识别出视觉数据中包含的各个物体，对视觉数据进行处理，得到视觉数据对应的点云数据集，点云数据集中包含多个点云数据，视觉数据中包含的每个物体对应一个点云数据。

S202、获取移动机器人当前里程计odom数据和所在空间的空间数据，并依据间数据和odom数据，生成栅格地图。

获取移动机器人当前里程计odom数据和所在空间的空间数据，可选的，空间数据可以通过传感器获得。

依据所获取的odom数据和空间数据，构建栅格地图，需要说明的是，依据odom数据和空间数据，构建栅格地图的构建方法为现有的栅格地图构建方法，此处不再赘述。其中，栅格地图为2D地图。

可选的，所生成的栅格地图中可以将地面上的一些物体按照形状在地图中进行标注，例如，可以在栅格地图中将地面上的桌子、冰箱等标注出来。

需要说明的是，上述所提及的点云数据所处坐标系和栅格地图所处坐标系存在对应关系，点云数据在栅格地图上的投影与栅格地图具有一致的坐标系，因此在视觉数据中选定的物体能够对应栅格地图中的所在坐标或坐标区间范围，故使得3D空间，即视觉数据中的物体可以作为移动机器人移动的目的地。

S203、针对每个物体，依据该物体对应的点云数据，判断栅格地图中是否存在物体对应的标注信息，若不存在，则将物体在所述栅格地图中进行标注，得到目标地图，若存在，则将栅格地图作为目标地图。

针对每个物体，依据物体对应的点云数据，判断栅格地图中是否存在该物体对应的标注信息，也就是判断栅格地图中是否已经标注出该物体，由于点云数据所处坐标系和栅格地图所处坐标系存在对应关系，通过将物体对应的点云数据投影到栅格地图中，得到该物体与移动机器人之间的距离，通过物体与移动机器人之间的距离，确定在栅格地图中确定该物体对应的目标位置，判断该目标位置上是否有标注信息，来确定栅格地图中是否存在该物体对应的标注信息，若判断为栅格地图中不存在该物体对应的标注信息，则说明栅格地图中还未标注出该物体，则需在栅格地图中将该物体标注出来，若判断为栅格地图中存在该物体对应的标注信息，则说明栅格地图中已经标注出该物体，无需再重新标注。

在完成对所有物体的判断，并将未在栅格地图中标注出来的物体进行标注后，得到的栅格地图即为目标地图。

本发明实施例提供的基于实时视觉数据的机器人定位导航方法中，将未在栅格地图中标注的物体在栅格地图中进行标注，实现将视觉数据中包含的各个物体和栅格地图进行融合，得到目标地图，使所得到的目标地图中包括视觉数据中所包含的所有物体对应的标注信息。从而为后续基于目的地进行定位导航提供较为准确的信息，避免移动机器人发生碰撞或被困住。

上述本发明实施例图1公开的步骤S103涉及的依据视觉数据，构建目标地图的过程，流程图如图3所示，具体可以包括以下步骤：

S301、识别视觉数据中包含的各个物体，并获取每个物体的点云数据。

通过预设的物体识别算法，识别出视觉数据中包含的各个物体，对视觉数据进行处理，得到视觉数据对应的点云数据集，点云数据集中包含多个点云数据，视觉数据中包含的每个物体对应一个点云数据。

S302、确定视觉数据对应视觉范围，并确定预先构建的栅格地图中与视觉范围对应的地图范围。

预先构建栅格地图，栅格地图的构建过程为移动机器人预先在所处空间内进行移动，依据移动机器人完成所处空间内的移动所获取的数据进行构建。需要说明的是，移动机器人完成所处空间内的移动所获取的数据包括，移动机器人在移动过程中的视觉数据。

确定视觉数据对应的视觉范围，可选的，视觉数据对应的视觉范围可以是，以移动机器人为中心，预设数值为半径所形成的圆的范围，可选的，预设数值可以是0.5米。

在预先构建的栅格地图确定与视觉范围对应的地图范围。

S303、依据每个物体对应的点云数据，判断地图范围中的各个标注信息是否和各个物体一一对应。

依据每个物体对应的点云数据，判断所确定的栅格地图中的地图范围内的各个标注信息是否与各个物体一一对应，

当移动机器人所处空间内不存在物体变更时，地图范围内的各个标注信息与各个物体是一一对应的；当移动机器人所处空间内有物体变更时，地图范围中的各个标注信息和各个物体不是一一对应的，例如，在栅格地图构建时，房间内可能有一个椅子，之后由于椅子损坏，被扔掉，此时，视觉数据中包含的物体中没有该椅子，而预先构建的栅格地图中存在该椅子对应的标注信息，则判断为地图范围中的各个标注信息与各个物体不是一一对应的。

若判断为地图范围内的各个标注信息和各个物体一一对应，则执行步骤S304，若判断为地图范围内的各个标注信息和各个物体不是一一对应，则执行步骤S305。

S304、将该栅格地图作为目标地图。

若地图范围内的各个标注信息和各个物体一一对应，则说明移动机器人所处空间内没有物体变更，并将该栅格地图作为目标地图。

S305、当地图范围中缺少任意一个物体对应的标注信息时，将缺少的物体在栅格地图的地图范围中进行标注，并当地图范围中存在任意一个物体均不对应的标注信息时，则将栅格地图中的标注信息进行删除，得到目标地图。

若地图范围内的各个标注信息和各个物体不是一一对应的，则说明移动机器人所处空间存在物体变更，可选的，物体变更可以是只增加物体，也可以是只减少物体，或即增加物体又减少物体，当存在增加物体的情况时，即当地图范围中缺少任意一个物体对应的标注信息时，将缺少的物体在栅格地图的地图范围中进行标注，当存在减少物体的情况时，即当地图范围中存在任意一个物体均不对应的标注信息时，则将栅格地图中的标注信息进行删除，得到目标地图。

本发明实施例提供的基于实时视觉数据的机器人定位导航方法，目标地图构建的另一种可实现方式可以是，预先构建栅格地图，并基于移动机器人当前第一视角的视觉数据和预先构建的栅格地图进行融合，也就是说，预先构建栅格地图，当栅格地图的地图范围中缺少任意一个物体对应的标注信息时，将缺少的物体在栅格地图的地图范围中进行标注，并当地图范围中存在任意一个物体均不对应的标注信息时，则将栅格地图中的该标注信息进行删除，得到目标地图，应用本发明实施例提供的方法，将第一视角的视觉数据中包含的物体，和对预先构建的栅格地图进行融合，得到目标地图。

上述本发明实施例图1公开的步骤S105涉及的依据导航路线移动至目的地的过程，流程图如图4所示，具体可以包括以下步骤：

S401、依据导航路线，生成移动指令，并依据该移动指令进行移动。

根据所规划的导航路线，生成移动机器人所能识别的移动指令，也就是将导航路线转化为移动指令，可选的，该移动指令包括但不限于移动的线速度和角速度。

基于移动指令进行移动。

S402、在移动的过程，判断是否存在故障物体。

在移动的过程中，实时判断是否存在故障物体，其中，故障物体用于指示在移动机器人移动的过程中，因其他物体的阻挡而无法前进，所述的其他物体为除去目的地对应的目标物体外的物体。

需要说明的是，视觉数据中包含的各个物体，可在栅格地图中进行投影而成为障碍物。

当判断为存在故障物体时，执行步骤S403，当判断为不存在故障物体时，执行步骤S404。

需要说明的是，当移动机器人无法识别物体，移动机器人反馈相应的提示信息。

S403、重新规划导航路线，并依据重新规划的导航路线，生成新的移动指令。

当判断为存在故障物体时，自动避障，即停止移动，并重新规划导航路线，并依据重新规划的导航路线生成新的移动指令。

S404、当移动机器人当前所处位置与目的地之间的距离小于预设阈值时，判断为移动至目的地，并停止移动。

当判断不存在故障物体时，则获取移动机器人当前所处位置，并依据移动机器人当前所处位置，判断移动机器人当前所处位置是否小于预设阈值，其中，预先阈值为人为设定的阈值，可以根据需求进行修改，当移动机器人当前所处位置小于预设阈值时，判断为移动至目的地，并停止移动；当移动机器当前所处位置不小于预设阈值时，则继续依据移动指令进行移动。

需要说明的是，当出现设置目标物体不可达，或已在附近，或机器人无法到达的空间等，移动机器人将给出相应提示。

S405、依据新的移动指令进行移动。

依据新的移动指令进行移动，并在移动的过程判断是否存在故障物体，也就是返回执行步骤S402，直至移动机器人当前所处位置与目的地之间的距离小于预设阈值时，判断为移动至目的地，并停止移动。

本发明实施例提供的基于实时视觉数据的机器人定位导航方法，将导线路线转化为移动指令，依据移动指令进行移动，在移动的过程中，当存在故障物体时，自动进行避障，并重新规划导航路线，依据重新规划的导航路线，生成移动指令，依据移动指令进行移动，直至移动机器人当前所处位置小于预设阈值，判断为移动至目的地，并停止移动。应用本发明实施例提供的基于实时视觉数据的机器人定位导航方法，移动机器人遇到故障时，可以自动进行避障，从而避免移动机器人在移动的过程发生碰撞，提高移动机器人的使用寿命。

与图1所述的方法相对应，本发明实施例还提供了一种机基于实时视觉数据的器人定位导航装置，用于对图1中方法的具体实现，其结构示意图如图5所示，具体包括：

获取单元501，用于实时获取所述移动机器人自身第一视角的视觉数据；

发送单元502，用于将所述视觉数据发送至人机交互界面，以便于所述人机交互界面对所述视觉数据中包含的各个物体进行识别，并将所识别出的每个所述物体的状态设置成可选状态，获取操作者从所述视觉数据中包含的各个物体中选择的物体，并将所述操作者所选择的物体作为所述移动机器人移动的目的地进行反馈；

接收单元503，用于接收所述人机交互界面反馈的目的地；

构建单元504，用于依据所述视觉数据，构建目标地图；其中，所述目标地图包括所述视觉数据中包含的所有物体各自对应的标注信息；

移动单元505，用于依据所述目的地和所述目标地图，生成导航路线，并依据所述导航路线移动至所述目的地。

本发明实施例提供的基于实时视觉数据的机器人定位导航装置，获取移动机器人自身第一视角的视觉数据，其中，视觉数据中包含多个物体，将视觉数据发送至人机交互界面，以便于人机交互界面对视觉数据中包含的各个物体进行识别，并将所识别出的每个物体的状态设置成可选状态，获取操作者从视觉数据中包含的各个物体中选择的物体，并将选择出的物体作为移动机器人移动的目的地进行反馈，接收人机交互界面所反馈的目的地，依据视觉数据和目的地，生成导航路线，并依据导航路线移动至目的地。应用本发明实施例提供的基于实时视觉数据的机器人定位和导航装置，操作者可以直接从视觉数据中包含的各个物体中选择物体作为目的地，而不是在2D地图中选择目的地，从而降低移动机器人的使用门槛，有利于移动机器人的推广使用。

在本发明的一个实施例中，基于前述方案，构建单元504执行依据视觉数据，构建目标地图，用于：

识别所述视觉数据中包含的各个物体，并获取所述视觉数据对应的点云数据集；所述点云数据集中包括多个点云数据，每个所述物体对应一个所述点云数据；

获取所述移动机器人当前里程计odom数据和所在空间的空间数据，并依据所述空间数据和所述odom数据，生成栅格地图；其中，每个所述点云数据所处坐标系和所述栅格地图所处坐标系存在对应关系；

针对每个所述物体，依据所述物体对应的点云数据，判断所述栅格地图中是否存在所述物体对应的标注信息，若不存在，则将所述物体在所述栅格地图中进行标注，得到目标地图，若存在，则将所述栅格地图作为目标地图。

在本发明的一个实施例中，基于前述方案，构建单元504执行依据视觉数据，构建目标地图，用于：

识别所述视觉数据中包含的各个物体，并获取所述视觉数据对应的点云数据集，所述点云数据集中包括多个点云数据，每个所述物体对应一个所述点云数据；

确定所述视觉数据对应视觉范围，并确定预先构建的栅格地图中与所述视觉范围对应的地图范围；

依据每个所述物体对应的点云数据，判断所述地图范围中的各个标注信息是否和各个所述物体一一对应；其中，每个所述点云数据所处坐标系和所述栅格地图所处坐标系存在对应关系；

若所述地图范围中的各个标注信息和各个所述物体一一对应，则将所述栅格地图作为目标地图；

若所述地图范围中的各个标注信息和各个所述物体不一一对应，则当所述地图范围中缺少任意一个所述物体对应的标注信息时，将缺少的物体在所述栅格地图的所述地图范围中进行标注，并当所述地图范围中存在任意一个所述物体均不对应的标注信息时，则将所述栅格地图中的所述标注信息进行删除，得到目标地图。

在本发明的一个实施例中，基于前述方案，移动单元505执行依据所述目的地和目标地图，生成导航路线，用于：

确定所述目的地在所述目标地图中的位置，并确定所述移动机器人当前对应在所述目标地图中的位置；

依据所述目的地在所述目标地图中的位置，和所述移动机器人当前对应在所述目标地图中的位置，生成导航路线。

在本发明的一个实施例中，基于前述方案，移动单元505执行依据导航路线移动至目的地，用于：

依据所述导航路线，生成移动指令；

依据所述移动指令进行移动，并在移动的过程中，判断是否存在故障物体；

若不存在故障物体，则当所述移动机器人当前所处位置与所述目的地之间的距离小于预设阈值时，判断为移动至所述目的地，并停止移动。

在本发明的一个实施例中，基于前述方案，移动单元505还可以配置为：

规划子单元，用于在移动的过程中，若存在故障物体，则重新规划导航路线，并依据重新规划的导航路线，生成新的移动指令；

判断子单元，用于依据所述新的移动指令进行移动，并在移动的过程中判断是否存在故障物体，直至所述移动机器人当前所处位置与所述目的地之间的距离小于预设阈值时，停止移动。

本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述基于实时视觉数据的机器人定位导航方法。

本发明实施例还提供了一种电子设备，其结构示意图如图6所示，具体包括存储器601，以及一个或者一个以上的指令602，其中一个或者一个以上指令602存储于存储器601中，且经配置以由一个或者一个以上处理器603执行所述一个或者一个以上指令602进行以下操作：

实时获取所述移动机器人自身第一视角的视觉数据；

将所述视觉数据发送至人机交互界面，以便于所述人机交互界面对所述视觉数据中包含的各个物体进行识别，并将所识别出的每个所述物体的状态设置成可选状态，获取操作者从所述视觉数据中包含的各个物体中选择的物体，并将所述操作者所选择的物体作为所述移动机器人移动的目的地进行反馈；

接收所述人机交互界面反馈的目的地；

依据所述视觉数据，构建目标地图；其中，所述目标地图包括所述视觉数据中包含的所有物体各自对应的标注信息；

依据所述目的地和所述目标地图，生成导航路线，并依据所述导航路线移动至所述目的地。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种基于实时视觉数据的机器人定位导航方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于实时视觉数据的机器人定位导航方法，其特征在于，应用于移动机器人，所述方法包括：

实时获取所述移动机器人自身第一视角的视觉数据；

将所述视觉数据发送至人机交互界面，以便于所述人机交互界面对所述视觉数据中包含的各个物体进行识别，并将所识别出的每个所述物体的状态设置成可选状态，获取操作者从所述视觉数据中包含的各个物体中选择的物体，并将所述操作者所选择的物体作为所述移动机器人移动的目的地进行反馈；

接收所述人机交互界面反馈的目的地；

依据所述视觉数据，构建目标地图；其中，所述目标地图包括所述视觉数据中包含的所有物体各自对应的标注信息；

依据所述目的地和所述目标地图，生成导航路线，并依据所述导航路线移动至所述目的地。

2.根据权利要求1所述的方法，其特征在于，所述依据所述视觉数据，构建目标地图，包括：

识别所述视觉数据中包含的各个物体，并获取所述视觉数据对应的点云数据集；所述点云数据集中包括多个点云数据，每个所述物体对应一个所述点云数据；

获取所述移动机器人当前里程计odom数据和所在空间的空间数据，并依据所述空间数据和所述odom数据，生成栅格地图；其中，每个所述点云数据所处坐标系和所述栅格地图所处坐标系存在对应关系；

针对每个所述物体，依据所述物体对应的点云数据，判断所述栅格地图中是否存在所述物体对应的标注信息，若不存在，则将所述物体在所述栅格地图中进行标注，得到目标地图，若存在，则将所述栅格地图作为目标地图。

3.根据权利要求1所述的方法，其特征在于，所述依据所述视觉数据，构建目标地图，包括：

识别所述视觉数据中包含的各个物体，并获取所述视觉数据对应的点云数据集，所述点云数据集中包括多个点云数据，每个所述物体对应一个所述点云数据；

确定所述视觉数据对应视觉范围，并确定预先构建的栅格地图中与所述视觉范围对应的地图范围；

依据每个所述物体对应的点云数据，判断所述地图范围中的各个标注信息是否和各个所述物体一一对应；其中，每个所述点云数据所处坐标系和所述栅格地图所处坐标系存在对应关系；

若所述地图范围中的各个标注信息和各个所述物体一一对应，则将所述栅格地图作为目标地图；

若所述地图范围中的各个标注信息和各个所述物体不一一对应，则当所述地图范围中缺少任意一个所述物体对应的标注信息时，将缺少的物体在所述栅格地图的所述地图范围中进行标注，并当所述地图范围中存在任意一个所述物体均不对应的标注信息时，则将所述栅格地图中的所述标注信息进行删除，得到目标地图。

4.根据权利要求1所述的方法，其特征在于，所述依据所述目的地和所述目标地图，生成导航路线，包括：

确定所述目的地在所述目标地图中的位置，并确定所述移动机器人当前对应在所述目标地图中的位置；

依据所述目的地在所述目标地图中的位置，和所述移动机器人当前对应在所述目标地图中的位置，生成导航路线。

5.根据权利要求1所述的方法，其特征在于，所述依据所述导航路线移动至所述目的地，包括：

依据所述导航路线，生成移动指令；

依据所述移动指令进行移动，并在移动的过程中，判断是否存在故障物体；

若不存在故障物体，则当所述移动机器人当前所处位置与所述目的地之间的距离小于预设阈值时，判断为移动至所述目的地，并停止移动。

6.根据权利要求5所述的方法，其特征在于，还包括：

在移动的过程中，若存在故障物体，则重新规划导航路线，并依据重新规划的导航路线，生成新的移动指令；

依据所述新的移动指令进行移动，并在移动的过程中判断是否存在故障物体，直至所述移动机器人当前所处位置与所述目的地之间的距离小于预设阈值时，停止移动。

7.一种机器人定位导航装置，其特征在于，应用于移动机器人，所述装置包括：

获取单元，用于实时获取所述移动机器人自身第一视角的视觉数据；

发送单元，用于将所述视觉数据发送至人机交互界面，以便于所述人机交互界面对所述视觉数据中包含的各个物体进行识别，并将所识别出的每个所述物体的状态设置成可选状态，获取操作者从所述视觉数据中包含的各个物体中选择的物体，并将所述操作者所选择的物体作为所述移动机器人移动的目的地进行反馈；

接收单元，用于接收所述人机交互界面反馈的目的地；

构建单元，用于依据所述视觉数据，构建目标地图；其中，所述目标地图包括所述视觉数据中包含的所有物体各自对应的标注信息；

移动单元，用于依据所述目的地和所述目标地图，生成导航路线，并依据所述导航路线移动至所述目的地。

8.根据权利要求7所述的装置，其特征在于，所述构建单元执行依据所述视觉数据，构建目标地图，用于：

识别所述视觉数据中包含的各个物体，并获取所述视觉数据对应的点云数据集；所述点云数据集中包括多个点云数据，每个所述物体对应一个所述点云数据；

获取所述移动机器人当前里程计odom数据和所在空间的空间数据，并依据所述空间数据和所述odom数据，生成栅格地图；其中，每个所述点云数据所处坐标系和所述栅格地图所处坐标系存在对应关系；

针对每个所述物体，依据所述物体对应的点云数据，判断所述栅格地图中是否存在所述物体对应的标注信息，若不存在，则将所述物体在所述栅格地图中进行标注，得到目标地图，若存在，则将所述栅格地图作为目标地图。

9.根据权利要求7所述的装置，其特征在于，所述构建单元执行依据所述视觉数据，构建目标地图，用于：

识别所述视觉数据中包含的各个物体，并获取所述视觉数据对应的点云数据集，所述点云数据集中包括多个点云数据，每个所述物体对应一个所述点云数据；

确定所述视觉数据对应视觉范围，并确定预先构建的栅格地图中与所述视觉范围对应的地图范围；

依据每个所述物体对应的点云数据，判断所述地图范围中的各个标注信息是否和各个所述物体一一对应；其中，每个所述点云数据所处坐标系和所述栅格地图所处坐标系存在对应关系；

若所述地图范围中的各个标注信息和各个所述物体一一对应，则将所述栅格地图作为目标地图；

若所述地图范围中的各个标注信息和各个所述物体不一一对应，则当所述地图范围中缺少任意一个所述物体对应的标注信息时，将缺少的物体在所述栅格地图的所述地图范围中进行标注，并当所述地图范围中存在任意一个所述物体均不对应的标注信息时，则将所述栅格地图中的所述标注信息进行删除，得到目标地图。

10.根据权利要求7所述的装置，其特征在于，所述接收单元执行依据所述目的地和目标地图，生成导航路线，用于：

确定所述目的地在所述目标地图中的位置，并确定所述移动机器人当前对应在所述目标地图中的位置；

依据所述目的地在所述目标地图中的位置，和所述移动机器人当前对应在所述目标地图中的位置，生成导航路线。

Images