CN109895100A - 一种导航地图的生成方法、装置及机器人 - Google Patents
一种导航地图的生成方法、装置及机器人 Download PDFInfo
- Publication number
- CN109895100A CN109895100A CN201910249537.4A CN201910249537A CN109895100A CN 109895100 A CN109895100 A CN 109895100A CN 201910249537 A CN201910249537 A CN 201910249537A CN 109895100 A CN109895100 A CN 109895100A
- Authority
- CN
- China
- Prior art keywords
- barrier
- robot
- pose data
- image
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明公开了一种导航地图的生成方法、装置及机器人，所述方法包括：获取机器人在第一位置采集的第一图像；将所述第一图像输入到深度学习网络模型中，预测所述机器人即将经过的第一障碍物及所述第一障碍物相对所述机器人的第一相对位姿数据；根据所述机器人的第一惯性测量单元IMU数据和所述第一相对位姿数据，确定所述第一障碍物的第一全局位姿数据；根据所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据，确定所述第一障碍物的第三全局位姿数据；所述第一障碍物的第二全局位姿数据为根据所述机器人在历史位置采集的图像确定的；根据所述第一障碍物的第三全局位姿数据，更新导航地图。
Description
技术领域
本发明涉及机器人技术领域，尤指一种导航地图的生成方法、装置及机器人。
背景技术
随着科技的发展，机器人的用途越来越广泛，给生活带来了极大的便利。但是，机器人在行进的路径上通常会遇到各种不同的障碍物，如果机器人不能及时检测到前方区域的障碍物，就有可能会发生机器人与障碍物相撞的情况出现，此时不仅会损坏机器人，在障碍物为贵重物品时也会对贵重物品造成损坏，给生产和生活带来了损失。
那么，如何提高机器人的导航能力，是本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例提供了一种导航地图的生成方法、装置及机器人，用以提高机器人的导航能力。
第一方面，本发明实施例提供了一种导航地图的生成方法，包括：
获取机器人在第一位置采集的第一图像；
将所述第一图像输入到深度学习网络模型中，预测所述机器人即将经过的第一障碍物及所述第一障碍物相对所述机器人的第一相对位姿数据；
根据所述机器人的第一惯性测量单元(Inertial measurement unit，IMU)数据和所述第一相对位姿数据，确定所述第一障碍物的第一全局位姿数据；
根据所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据，确定所述第一障碍物的第三全局位姿数据；所述第一障碍物的第二全局位姿数据为根据所述机器人在历史位置采集的图像确定的；
根据所述第一障碍物的第三全局位姿数据，更新导航地图。
本发明实施例，机器人在移动过程中通过采集的图像确定出的障碍物相对机器人的位置来获得障碍物的全局位姿数据，进而确定导航地图，从而更新全局轨道的布局，其中，通过采集的图像确定出的障碍物相对机器人的位置可以通过卷积神经网络预测即将经过的第一障碍物的第一相对位姿数据；通过预测的第一障碍物的第一相对位姿数据与扩展卡尔曼滤波器结合，以修正第一障碍物的全局位姿数据，从而获得精度较高的第一障碍物的全局位姿数据，从而实现机器人快速准确地导航。
一种可能的实现方式，所述根据所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据，确定所述第一障碍物的第三全局位姿数据，包括：
通过扩展卡尔曼滤波方法，将所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据作平滑处理，确定出所述第一障碍物的第三全局位姿数据。
通过预测的第一障碍物的第一相对位姿数据与扩展卡尔曼滤波器结合，以修正第一障碍物的全局位姿数据，从而获得精度较高的第一障碍物的全局位姿数据，从而实现机器人快速准确地导航。
一种可能的实现方式，所述确定所述第一障碍物的第一全局位姿数据之前，还包括：
若从所述机器人在历史位置采集的图像中确定出第二图像，则将所述第一IMU数据修正为所述第二图像对应的第二IMU数据；所述第二图像与所述第一图像满足图像相似性要求且所述机器人在采集所述第二图像的历史位置信息与所述第一IMU数据满足距离相似性要求。
通过对机器人的位置的修正，以提高导航地图的准确性。
一种可能的实现方式，所述根据所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据，确定所述第一障碍物的第三全局位姿数据之前，还包括：
确定在所述导航地图上所述机器人的第四全局位姿数据；
确定在所述导航地图上距离所述机器人最近的第二障碍物；
所述根据所述第一障碍物的第三全局位姿数据，更新导航地图，包括：
若确定所述第一障碍物与所述第二障碍物为同一障碍物，则将所述第三全局位姿数据，更新为所述第一障碍物的在所述导航地图上的全局位姿数据；并将所述机器人的第四全局位姿数据更新至所述导航地图中；
若确定所述第一障碍物与所述第二障碍物为不同的障碍物，则将所述第二障碍物确定为所述机器人即将经过的障碍物，并将所述第二障碍物的全局位姿数据作为所述机器人即将经过的障碍物的第三全局位姿数据；并将所述机器人的第四全局位姿数据更新至所述导航地图中。
通过上述方法，可以避免机器人的视野遮挡或视野中无法确定最近的障碍物，导致的导航地图确定的导航路线的错误，进一步提高导航地图的生成的鲁棒性和准确性。
一种可能的实现方式，所述方法还包括：
在更新后的导航地图，根据所述机器人的第四全局位姿数据，及所述第一障碍物的第三全局位姿数据，生成所述机器人从所述第一位置至所述第一障碍物的轨迹点；
通过对轨迹点的线性插值，生成所述机器人的全局导航轨迹。
一种可能的实现方式，所述第一障碍物为可穿过的门框；所述全局导航轨迹包括：所述机器人从所述第一位置到达所述门框内的可穿过位置的第一轨迹以及所述机器人进入所述可穿过位置的第二轨迹。
第二方面，本发明实施例提供一种导航地图的生成装置，包括：
收发单元，用于获取机器人在第一位置采集的第一图像；
处理单元，用于将所述第一图像输入到深度学习网络模型中，预测所述机器人即将经过的第一障碍物及所述第一障碍物相对所述机器人的第一相对位姿数据；根据所述机器人的第一惯性测量单元IMU数据和所述第一相对位姿数据，确定所述第一障碍物的第一全局位姿数据；根据所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据，确定所述第一障碍物的第三全局位姿数据；所述第一障碍物的第二全局位姿数据为根据所述机器人在历史位置采集的图像确定的；根据所述第一障碍物的第三全局位姿数据，更新导航地图。
一种可能的实现方式，所述处理单元，具体用于：通过扩展卡尔曼滤波方法，将所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据作平滑处理，确定出所述第一障碍物的第三全局位姿数据。
第三方面，本发明实施例提供一种机器人，包括：包括处理器、通信接口、存储器和通信总线及图像采集设备，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行本发明实施例中提供的任一方法的步骤；
所述图像采集设备，用于获取机器人在第一位置采集的第一图像。
第四方面，本发明实施例提供一种计算机可读存储介质，其存储有可由机器人执行的计算机程序，当所述程序在所述机器人上运行时，使得所述机器人执行本发明实施例中提供的任一方法的步骤。
附图说明
图1为本发明实施例中提供的一种导航地图的生成方法的流程图；
图2为本发明实施例中提供的深度卷积网络模型的结构示意图；
图3为本发明实施例中提供的深度卷积网络模型的训练的流程示意图；
图4为本发明实施例中提供的导航地图的生成装置的结构示意图；
图5为本发明实施例中提供的机器人的结构示意图。
具体实施方式
下面将结合附图，对本发明实施例提供的一种机器人、导航方法及检测装置的具体实施方式进行详细地说明。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
传统的机器人的导航算法主要是基于视觉里程计或者视觉惯性里程计和SLAM技术，这些技术主要是用来提供机器人相对于惯性测量地图的位姿估计，机器人的精准定位是建立在精准的位姿估计上的。由于传感器的数据不够精确，状态估计值常常存在着漂移等问题，导致移动机器人无法快速且灵活地在动态的环境中移动。目前的导航方法，机器人在环境中导航需要环境的高精地图，根据地图，机器人才能在环境中做出当前位姿的判断并规划路线，从而移动机器人，才能够在环境中精确移动，或者，需要大量关于已知环境的数据训练才能在环境中跟踪固定的移动轨道。而这些方法通常都需要一个静态的并且与已经建成的地图一样的环境，在无法获得环境的高精地图时，机器人则无法做出导航的决策。而现实情况中，高清地图的建立比较复杂，因此导航的建立过程也难以快速建立。此外，在环境中出现连续的障碍物或者不固定的门时，机器人通常情况下无法通过这些门或绕过障碍物，而且在这种未知的情况下，机器人的计算单元也需要额外的计算量，这对机器人的计算单元造成了一定的挑战，变化的光亮等环境变化一般也会影响机器人的导航。
如图1所示，本发明实施例提供一种导航地图的生成方法，包括：
步骤101：获取机器人在第一位置采集的第一图像；
其中，机器人可以通过机器的图像采集设备采集机器人前方的第一图像。该图像可以为二维图像，也可以是根据三维深度图像中确定的二维图像。
在步骤S101之后还可以包括：对获取到的图像进行降噪、特征增强、以及修复等处理。也就是说，利用图像的测量和采样模型，在不降低原始信息精确度的条件下，实现噪声点与非噪声点的判定及滤除；并且，还可以利用估计区间均值完成噪声点的修复。
步骤102：将所述第一图像输入到深度卷积网络模型中，预测所述机器人即将经过的第一障碍物及所述第一障碍物相对所述机器人的第一相对位姿数据；
步骤103：根据所述机器人的第一惯性测量单元IMU数据和所述第一相对位姿数据，确定所述第一障碍物的第一全局位姿数据；
需要指出的是，在本发明实施例中，惯性测量单元IMU是固定在机器人之上的，即惯性测量单元IMU和机器人是一起运动的，并且通过计算出机器人与惯性测量单元IMU之间的坐标转换关系，以保证导航精确度。
步骤104：根据所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据，确定所述第一障碍物的第三全局位姿数据；
其中，所述第一障碍物的第二全局位姿数据为根据所述机器人在历史位置采集的图像确定的；
步骤105：根据所述第一障碍物的第三全局位姿数据，更新导航地图。
本发明实施例，机器人在移动过程中通过采集的图像确定出的障碍物相对机器人的位置来获得障碍物的全局位姿数据，进而确定导航地图，从而更新全局轨道的布局，其中，通过采集的图像确定出的障碍物相对机器人的位置可以通过卷积神经网络预测即将经过的第一障碍物的第一相对位姿数据；通过预测的第一障碍物的第一相对位姿数据与扩展卡尔曼滤波器结合，以修正第一障碍物的全局位姿数据，从而获得精度较高的第一障碍物的全局位姿数据，从而实现机器人快速准确地导航。
在步骤102中，所述深度卷积网络模型的建立方法，包括：
深度卷积网络模型主要包括了两部分，一部分是图像的特征提取模型，该部分模型可以采用卷积神经网络(Convolutional Neural Network,CNN)模型；另一部分是特征进行分类回归模型，例如，多层感知机(Multilayer Perceptron，MLP)模型。
卷积神经网络框架如图2所示，在一种可能的实现方式中，深度卷积网络模型的输入可以为320x240大小的RGB图像，深度卷积网络模型的输出可以为第一障碍物相对机器人的第一相对位姿数据。
其中，相对位姿数据可以包括相对于移动机器人的相对位置数据和方向数据。具体的，相对位置数据和方向数据可以包括多变量正态分布值的均值和方差，该多变量正态分布的数据对于具有已知协方差的相同且独立分布的白噪声，可以有效降低计算量。
一种可能的实现方式，相对位姿数据使用球坐标系，即第一相对位姿数据可以为第一障碍物在球坐标中相对机器人的相对位置数据和方向数据。这种表示方式与笛卡尔表示相比，解耦了相对位姿的距离估计与图像坐标中的障碍物的方向，降低了计算量。
由于重力方向是从惯性测量单元IMU数据直接确定的，因此，可以采用单独的角度确定第一障碍物的相对水平方向。例如，若确定第一障碍物为可穿过的门的门框，由于门框的位姿总是直立的，并且方向仅沿法线方向水平移动。例如，移动机器人根据前向摄像机的输入图像预测的第一障碍物相对机器人的第一相对位姿数据为图像中第一障碍物的球坐标数据、偏航角数据以及相应的方差。
如图3所示，该机器人深度卷积网络模型的训练过程可以包括：
步骤301：采集机器人的前向相机拍摄的图像，并且确定障碍物相对于机器人的相对位姿数据，作为机器人的训练数据；
机器人的前向相机拍摄的图像可以为包含障碍物的图像，或不包含障碍物的图像，及包含部分障碍物的图像。
一种可能的实现方式，机器人放置在不同环境中的单个障碍物前，训练数据为即将经过的障碍物的相对位姿数据，因此，为减少模型的计算量，训练数据中可以不包括完整的机器人相对障碍物的导航轨迹数据。
在具体实施过程中，可以使用板载状态估计平台作为移动机器人平台，该平台可以用于生成训练数据。一种可能的实现方式，平台与机器人在导航地图中的位姿数据相同，初始化位置设置为在导航地图中的全局位姿数据为起始点位置，并且之后在环境中移动机器人，以获得机器人移动后，障碍物相对于机器人的位姿数据作为训练数据。通过深度卷积网络模型的输出来预测即将通过的第一障碍物的第一相对位姿数据。
步骤302：利用训练数据训练深度卷积网络模型。
具体的，可以包括：通过最小化图像中障碍物的真实位姿损失函数同时训练神经网络中特征提取模块和分类器模块的参数。
进一步的，为减少计算量，加快训练速度，在特征提取模块的参数训练完毕后，停止训练特征提取模块的参数，单独训练分类器模块的参数。
此时，分类器模块的参数中的损失函数变为具有不相关协方差的多元正态分布的负对数似然损失函数；使用具有不相关协方差的多元正态分布的负对数似然损失函数，可以使得模型的不确定性预估计算量较小，进而加快训练速度。
在步骤101之前，机器人还可以包括初始化导航地图，以及初始化IMU。导航地图中可以包括环境中的所有障碍物的全局位姿数据，全局位姿数据可以包含障碍物相对于机器人起始点的平移和偏航角。初始化导航地图，可以为加载历史确定的环境中的所有障碍物的全局位姿数据。初始化IMU数据可以为在导航地图中将机器人的全局位姿数据设置为起始点位置。
进一步的，为提高机器人在全局地图中的位姿数据的准确度，在步骤103之前，还包括：
若从所述机器人在历史位置采集的图像中确定出第二图像，则将所述第一IMU数据修正为所述第二图像对应的第二IMU数据；
其中，所述第二图像与所述第一图像满足图像相似性要求且所述机器人在采集所述第二图像的历史位置信息与所述第一IMU数据满足距离相似性要求。
通过闭环校正，可以使得机器人在当前位置的位姿数据会根据相似变换而被矫正，同时所有与其相连的历史图像也会被矫正。所有的被闭环处的历史图像观察到的地图点会通过映射在一个小范围里，然后去搜索它的近邻匹配。这样就可以对所有匹配的点云进行更加有效的数据融合，并更新第一图像的位姿数据，进而实现对第一IMU数据的修正，提高导航地图的准确度。
为进一步提高障碍物的位姿数据的准确度，提高障碍物位姿数据的最大后验估计，在步骤104中，可以包括：
通过扩展卡尔曼滤波方法，将所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据作平滑处理，确定出所述第一障碍物的第三全局位姿数据。
通过扩展卡尔曼滤波后确定出所述第一障碍物的第三全局位姿数据，校正第一障碍物的第一全局位姿数据，即卷积神经网络模型预测的第一障碍物的位姿数据，可以修正累积的视觉惯性里程计(visual-inertial odometry，VIO)漂移，提高导航地图的准确度。
为避免机器人的视野遮挡或视野中无法确定最近的障碍物，导致的导航地图确定的导航路线的错误，在步骤104之前，还包括：
确定在所述导航地图上所述机器人的第四全局位姿数据；确定在所述导航地图上距离所述机器人最近的第二障碍物；
具体的，所述机器人的第四全局位姿数据可以为根据上述实施例确定的机器人在当前位置的全局位姿数据。通过遍历导航地图中的障碍物的全局位姿数据，可以确定出在所述导航地图上距离所述机器人最近的第二障碍物。
在步骤105的具体实施过程，可以包括：
若确定所述第一障碍物与所述第二障碍物为同一障碍物，则将所述第三全局位姿数据，更新为所述第一障碍物的在所述导航地图上的全局位姿数据；并将所述机器人的第四全局位姿数据更新至所述导航地图中。
若确定所述第一障碍物与所述第二障碍物为不同的障碍物，则将所述第二障碍物确定为所述机器人即将经过的障碍物，并将所述第二障碍物的全局位姿数据作为所述机器人即将经过的障碍物的第三全局位姿数据；并将所述机器人的第四全局位姿数据更新至所述导航地图中。
具体的，在导航地图中，每个障碍物的全局位姿数据可以为扩展卡尔曼滤波器(ExtendedKalmanFilter，EKF)确定出的，表示来将神经网络的预测值与门的先前的状态集成到全局的状态值地图中。
通过上述方法，可以避免深度卷积网络模型由于视野遮挡导致的预测的第一障碍物出现误导性的高方差的预测值，提高了导航地图的鲁棒性。
在步骤105之后，所述方法还包括：
在更新后的导航地图，根据所述机器人的第四全局位姿数据，及所述第一障碍物的第三全局位姿数据，生成所述机器人从所述第一位置至所述第一障碍物的轨迹点；通过对轨迹点的线性插值，生成所述机器人的全局导航轨迹。
具体的，所述的移动机器人从预测的门位置的状态中产生轨迹点，同时在这些轨迹点中采用线性插值产生路径。
所述第一障碍物为可穿过的门框；所述全局导航轨迹包括：所述机器人从所述第一位置到达所述门框内的可穿过位置的第一轨迹以及所述机器人进入所述可穿过位置的第二轨迹。
具体的，从这些轨迹中线性插值产生机器人移动的路径，这些路径作为机器人控制部分的参考。
其中，在进行路径规划时，可以利用同时定位于建图(SimultaneousLocalization and Mapping，SLAM)算法进行路径规划，当然，并不限于此，此处只是举例说明，具体可以根据实际需要进行路径规划。
以移动机器人采用预测控制方法来规划局部可行的轨迹，同时对轨迹进行跟踪。具体的，可以通过线下采用路径作为参考，机器人沿着该路径找到可行的轨迹。优化方法包含了序列的二次规划，通过在不断变化的航路点上逐步稳定机器人。
在本发明实施例中，在更新导航地图之后，还可以包括：
根据确定出障碍物与机器人之间的距离，进行避障或路径规划处理。
在进行避障时，可以采用以下方式：
通过目标检测算法，先确定出障碍物的类型；
在确定出障碍物的类型为行人时，进入行人避障模式；
在确定出障碍物的类型为非行人时，进入非行人避障模式；
在确定出障碍物的类型为静态障碍物时，进入静态障碍物避障模式；
在确定出障碍物的类型为动态障碍物时，进入动态障碍物避障模式。
说明一点，对于具体的行人避障模式、非行人避障模式、静态障碍物避障模式、以及动态障碍物避障模式，可以根据实际需要设定，只要能够保证机器人在进行中对障碍物进行有效避让即可，在此并不限定。
本发明实施例中，能够利用深度卷积网络模型快速的提取图像的特征并且将预测的第一障碍物的第一相对位姿数据确定的第三全局位姿数据更新到导航地图中，不需要事先获得精确的全局地图，能够通过机器人的前向摄像头输入的图像快速地在现实环境中判断即将通过的障碍物并同时控制机器人合理规划路径，整个机器人移动的过程稳定可靠，并且方法具有一定的鲁棒性。
基于同一发明构思，本发明实施例还提供了一种导航地图的生成装置，该装置的实现原理与前述一种导航地图的生成方法的实现原理类似，因此，该装置的具体实施方式可参见前述的导航地图的生成方法的实施例，重复之处不再赘述。
具体地，本发明实施例提供的一种导航装置，如图4所示，可以包括：
收发单元401，用于获取机器人在第一位置采集的第一图像；
处理单元402，用于将所述第一图像输入到深度学习网络模型中，预测所述机器人即将经过的第一障碍物及所述第一障碍物相对所述机器人的第一相对位姿数据；根据所述机器人的第一惯性测量单元IMU数据和所述第一相对位姿数据，确定所述第一障碍物的第一全局位姿数据；根据所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据，确定所述第一障碍物的第三全局位姿数据；所述第一障碍物的第二全局位姿数据为根据所述机器人在历史位置采集的图像确定的；根据所述第一障碍物的第三全局位姿数据，更新导航地图。
一种可能的实现方式，处理单元402，具体用于：通过扩展卡尔曼滤波方法，将所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据作平滑处理，确定出所述第一障碍物的第三全局位姿数据。
一种可能的实现方式，处理单元402，还用于：
若从所述机器人在历史位置采集的图像中确定出第二图像，则将所述第一IMU数据修正为所述第二图像对应的第二IMU数据；所述第二图像与所述第一图像满足图像相似性要求且所述机器人在采集所述第二图像的历史位置信息与所述第一IMU数据满足距离相似性要求。
一种可能的实现方式，处理单元402，还用于：
确定在所述导航地图上所述机器人的第四全局位姿数据；确定在所述导航地图上距离所述机器人最近的第二障碍物；
若确定所述第一障碍物与所述第二障碍物为同一障碍物，则将所述第三全局位姿数据，更新为所述第一障碍物的在所述导航地图上的全局位姿数据；并将所述机器人的第四全局位姿数据更新至所述导航地图中；
若确定所述第一障碍物与所述第二障碍物为不同的障碍物，则将所述第二障碍物确定为所述机器人即将经过的障碍物，并将所述第二障碍物的全局位姿数据作为所述机器人即将经过的障碍物的第三全局位姿数据；并将所述机器人的第四全局位姿数据更新至所述导航地图中。
一种可能的实现方式，处理单元402，还用于：
在更新后的导航地图，根据所述机器人的第四全局位姿数据，及所述第一障碍物的第三全局位姿数据，生成所述机器人从所述第一位置至所述第一障碍物的轨迹点；通过对轨迹点的线性插值，生成所述机器人的全局导航轨迹。
一种可能的实现方式，所述第一障碍物为可穿过的门框；所述全局导航轨迹包括：所述机器人从所述第一位置到达所述门框内的可穿过位置的第一轨迹以及所述机器人进入所述可穿过位置的第二轨迹。
基于同一发明构思，本发明实施例还提供了一种机器人，如图5所示，包括：包括处理器501、通信接口502、存储器503和通信总线604及图像采集设备505，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信；
图像采集设备505，用于获取机器人在第一位置采集的第一图像。
所述存储器503中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器501执行：
将所述第一图像输入到深度学习网络模型中，预测所述机器人即将经过的第一障碍物及所述第一障碍物相对所述机器人的第一相对位姿数据；根据所述机器人的第一惯性测量单元IMU数据和所述第一相对位姿数据，确定所述第一障碍物的第一全局位姿数据；根据所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据，确定所述第一障碍物的第三全局位姿数据；所述第一障碍物的第二全局位姿数据为根据所述机器人在历史位置采集的图像确定的；根据所述第一障碍物的第三全局位姿数据，更新导航地图。
一种可能的实现方式，处理器502，具体用于：通过扩展卡尔曼滤波方法，将所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据作平滑处理，确定出所述第一障碍物的第三全局位姿数据。
一种可能的实现方式，处理器502，还用于：
若从所述机器人在历史位置采集的图像中确定出第二图像，则将所述第一IMU数据修正为所述第二图像对应的第二IMU数据；所述第二图像与所述第一图像满足图像相似性要求且所述机器人在采集所述第二图像的历史位置信息与所述第一IMU数据满足距离相似性要求。
一种可能的实现方式，处理器502，还用于：
确定在所述导航地图上所述机器人的第四全局位姿数据；确定在所述导航地图上距离所述机器人最近的第二障碍物；
若确定所述第一障碍物与所述第二障碍物为同一障碍物，则将所述第三全局位姿数据，更新为所述第一障碍物的在所述导航地图上的全局位姿数据；并将所述机器人的第四全局位姿数据更新至所述导航地图中；
若确定所述第一障碍物与所述第二障碍物为不同的障碍物，则将所述第二障碍物确定为所述机器人即将经过的障碍物，并将所述第二障碍物的全局位姿数据作为所述机器人即将经过的障碍物的第三全局位姿数据；并将所述机器人的第四全局位姿数据更新至所述导航地图中。
一种可能的实现方式，处理器502，还用于：
在更新后的导航地图，根据所述机器人的第四全局位姿数据，及所述第一障碍物的第三全局位姿数据，生成所述机器人从所述第一位置至所述第一障碍物的轨迹点；通过对轨迹点的线性插值，生成所述机器人的全局导航轨迹。
一种可能的实现方式，所述第一障碍物为可穿过的门框；所述全局导航轨迹包括：所述机器人从所述第一位置到达所述门框内的可穿过位置的第一轨迹以及所述机器人进入所述可穿过位置的第二轨迹。
所述图像采集设备，用于获取机器人在第一位置采集的第一图像。
上述机器人提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器503可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器501可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由服务器执行的计算机程序，当所述程序在所述服务器上运行时，使得所述机器人执行时实现上述实施例中的任一一种方法。
上述计算机可读存储介质可以是机器人中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
本发明实施例中的机器人可以是任何类型的机器人，图5中只是举例说明，机器人并不限于图中所示的站立式的机器人，即本发明实施例中并不限定机器人的形状和类型。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种导航地图的生成方法，其特征在于，包括：
获取机器人在第一位置采集的第一图像；
将所述第一图像输入到深度学习网络模型中，预测所述机器人即将经过的第一障碍物及所述第一障碍物相对所述机器人的第一相对位姿数据；
根据所述机器人的第一惯性测量单元IMU数据和所述第一相对位姿数据，确定所述第一障碍物的第一全局位姿数据；
根据所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据，确定所述第一障碍物的第三全局位姿数据；所述第一障碍物的第二全局位姿数据为根据所述机器人在历史位置采集的图像确定的；
根据所述第一障碍物的第三全局位姿数据，更新导航地图。
2.如权利要求1所述的方法，其特征在于，所述根据所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据，确定所述第一障碍物的第三全局位姿数据，包括：
通过扩展卡尔曼滤波方法，将所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据作平滑处理，确定出所述第一障碍物的第三全局位姿数据。
3.如权利要求1所述的方法，其特征在于，所述确定所述第一障碍物的第一全局位姿数据之前，还包括：
若从所述机器人在历史位置采集的图像中确定出第二图像，则将所述第一IMU数据修正为所述第二图像对应的第二IMU数据；所述第二图像与所述第一图像满足图像相似性要求且所述机器人在采集所述第二图像的历史位置信息与所述第一IMU数据满足距离相似性要求。
4.如权利要求1所述的方法，其特征在于，所述根据所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据，确定所述第一障碍物的第三全局位姿数据之前，还包括：
确定在所述导航地图上所述机器人的第四全局位姿数据；
确定在所述导航地图上距离所述机器人最近的第二障碍物；
所述根据所述第一障碍物的第三全局位姿数据，更新导航地图，包括：
若确定所述第一障碍物与所述第二障碍物为同一障碍物，则将所述第三全局位姿数据，更新为所述第一障碍物的在所述导航地图上的全局位姿数据；并将所述机器人的第四全局位姿数据更新至所述导航地图中；
若确定所述第一障碍物与所述第二障碍物为不同的障碍物，则将所述第二障碍物确定为所述机器人即将经过的障碍物，并将所述第二障碍物的全局位姿数据作为所述机器人即将经过的障碍物的第三全局位姿数据；并将所述机器人的第四全局位姿数据更新至所述导航地图中。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
在更新后的导航地图，根据所述机器人的第四全局位姿数据，及所述第一障碍物的第三全局位姿数据，生成所述机器人从所述第一位置至所述第一障碍物的轨迹点；
通过对轨迹点的线性插值，生成所述机器人的全局导航轨迹。
6.如权利要求5所述的方法，其特征在于，所述第一障碍物为可穿过的门框；所述全局导航轨迹包括：所述机器人从所述第一位置到达所述门框内的可穿过位置的第一轨迹以及所述机器人进入所述可穿过位置的第二轨迹。
7.一种导航地图的生成装置，其特征在于，包括：
收发单元，用于获取机器人在第一位置采集的第一图像；
处理单元，用于将所述第一图像输入到深度学习网络模型中，预测所述机器人即将经过的第一障碍物及所述第一障碍物相对所述机器人的第一相对位姿数据；根据所述机器人的第一惯性测量单元IMU数据和所述第一相对位姿数据，确定所述第一障碍物的第一全局位姿数据；根据所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据，确定所述第一障碍物的第三全局位姿数据；所述第一障碍物的第二全局位姿数据为根据所述机器人在历史位置采集的图像确定的；根据所述第一障碍物的第三全局位姿数据，更新导航地图。
8.如权利要求7所述的装置，其特征在于，所述处理单元，具体用于：通过扩展卡尔曼滤波方法，将所述第一障碍物的第一全局位姿数据和所述第一障碍物的第二全局位姿数据作平滑处理，确定出所述第一障碍物的第三全局位姿数据。
9.一种机器人，其特征在于，包括：包括处理器、通信接口、存储器和通信总线及图像采集设备，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1-6任一项所述方法的步骤；
所述图像采集设备，用于获取机器人在第一位置采集的第一图像。
10.一种计算机可读存储介质，其特征在于，其存储有可由机器人执行的计算机程序，当所述程序在所述机器人上运行时，使得所述机器人执行权利要求1-6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910249537.4A CN109895100B (zh) | 2019-03-29 | 2019-03-29 | 一种导航地图的生成方法、装置及机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910249537.4A CN109895100B (zh) | 2019-03-29 | 2019-03-29 | 一种导航地图的生成方法、装置及机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109895100A true CN109895100A (zh) | 2019-06-18 |
| CN109895100B CN109895100B (zh) | 2020-10-16 |
Family
ID=66954198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910249537.4A Active CN109895100B (zh) | 2019-03-29 | 2019-03-29 | 一种导航地图的生成方法、装置及机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109895100B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111026106A (zh) * | 2019-11-07 | 2020-04-17 | 广东工业大学 | 一种无人车室外驾驶系统 |
| CN111683203A (zh) * | 2020-06-12 | 2020-09-18 | 达闼机器人有限公司 | 栅格地图生成方法、装置及计算机可读存储介质 |
| CN111726591A (zh) * | 2020-06-22 | 2020-09-29 | 珠海格力电器股份有限公司 | 地图更新方法、装置、存储介质及电子设备 |
| CN112925322A (zh) * | 2021-01-26 | 2021-06-08 | 哈尔滨工业大学（深圳） | 一种长期场景下无人车的自主定位方法 |
| WO2022111723A1 (zh) * | 2020-11-30 | 2022-06-02 | 深圳市普渡科技有限公司 | 道路边缘检测方法及机器人 |
| US11972523B2 (en) | 2020-06-12 | 2024-04-30 | Cloudminds Robotics Co., Ltd. | Grid map generation method and device, and computer-readable storage medium |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100070078A1 (en) * | 2008-09-16 | 2010-03-18 | Samsung Electronics Co., Ltd. | Apparatus and method for building map |
| CN103901884A (zh) * | 2012-12-25 | 2014-07-02 | 联想(北京)有限公司 | 信息处理方法和信息处理设备 |
| US20160196654A1 (en) * | 2015-01-07 | 2016-07-07 | Ricoh Company, Ltd. | Map creation apparatus, map creation method, and computer-readable recording medium |
| US20170011270A1 (en) * | 2014-02-28 | 2017-01-12 | Pioneer Corporation | Image acquiring system, terminal, image acquiring method, and image acquiring program |
| CN106595631A (zh) * | 2016-10-25 | 2017-04-26 | 纳恩博（北京）科技有限公司 | 一种躲避障碍物的方法及电子设备 |
| CN107167148A (zh) * | 2017-05-24 | 2017-09-15 | 安科机器人有限公司 | 同步定位与地图构建方法和设备 |
| CN107305125A (zh) * | 2016-04-21 | 2017-10-31 | 中国移动通信有限公司研究院 | 一种地图构建方法及终端 |
| CN108007452A (zh) * | 2017-12-08 | 2018-05-08 | 北京奇虎科技有限公司 | 根据障碍物更新环境地图的方法、装置及机器人 |
| CN109059902A (zh) * | 2018-09-07 | 2018-12-21 | 百度在线网络技术（北京）有限公司 | 相对位姿确定方法、装置、设备和介质 |
-
2019
- 2019-03-29 CN CN201910249537.4A patent/CN109895100B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100070078A1 (en) * | 2008-09-16 | 2010-03-18 | Samsung Electronics Co., Ltd. | Apparatus and method for building map |
| CN103901884A (zh) * | 2012-12-25 | 2014-07-02 | 联想(北京)有限公司 | 信息处理方法和信息处理设备 |
| US20170011270A1 (en) * | 2014-02-28 | 2017-01-12 | Pioneer Corporation | Image acquiring system, terminal, image acquiring method, and image acquiring program |
| US20160196654A1 (en) * | 2015-01-07 | 2016-07-07 | Ricoh Company, Ltd. | Map creation apparatus, map creation method, and computer-readable recording medium |
| CN107305125A (zh) * | 2016-04-21 | 2017-10-31 | 中国移动通信有限公司研究院 | 一种地图构建方法及终端 |
| CN106595631A (zh) * | 2016-10-25 | 2017-04-26 | 纳恩博（北京）科技有限公司 | 一种躲避障碍物的方法及电子设备 |
| CN107167148A (zh) * | 2017-05-24 | 2017-09-15 | 安科机器人有限公司 | 同步定位与地图构建方法和设备 |
| CN108007452A (zh) * | 2017-12-08 | 2018-05-08 | 北京奇虎科技有限公司 | 根据障碍物更新环境地图的方法、装置及机器人 |
| CN109059902A (zh) * | 2018-09-07 | 2018-12-21 | 百度在线网络技术（北京）有限公司 | 相对位姿确定方法、装置、设备和介质 |
Non-Patent Citations (1)
| Title |
|---|
| 杨飞等: "基于三维激光雷达的动态障碍实时检测与跟踪", 《浙江大学学报(工学版)》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111026106A (zh) * | 2019-11-07 | 2020-04-17 | 广东工业大学 | 一种无人车室外驾驶系统 |
| CN111683203A (zh) * | 2020-06-12 | 2020-09-18 | 达闼机器人有限公司 | 栅格地图生成方法、装置及计算机可读存储介质 |
| US11972523B2 (en) | 2020-06-12 | 2024-04-30 | Cloudminds Robotics Co., Ltd. | Grid map generation method and device, and computer-readable storage medium |
| CN111726591A (zh) * | 2020-06-22 | 2020-09-29 | 珠海格力电器股份有限公司 | 地图更新方法、装置、存储介质及电子设备 |
| CN111726591B (zh) * | 2020-06-22 | 2021-11-23 | 珠海格力电器股份有限公司 | 地图更新方法、装置、存储介质及电子设备 |
| WO2022111723A1 (zh) * | 2020-11-30 | 2022-06-02 | 深圳市普渡科技有限公司 | 道路边缘检测方法及机器人 |
| CN112925322A (zh) * | 2021-01-26 | 2021-06-08 | 哈尔滨工业大学（深圳） | 一种长期场景下无人车的自主定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109895100B (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109895100A (zh) | 一种导航地图的生成方法、装置及机器人 | |
| CN106989746A (zh) | 导航方法及导航装置 | |
| JP2015532077A (ja) | 少なくとも１つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法 | |
| CN107610235B (zh) | 一种基于深度学习的移动平台导航方法和装置 | |
| CN111487960A (zh) | 一种基于定位能力估计的移动机器人路径规划方法 | |
| CN110260866A (zh) | 一种基于视觉传感器的机器人定位与避障方法 | |
| CN111812978B (zh) | 一种多无人机协作slam方法与系统 | |
| CN110986945A (zh) | 基于语义高度地图的局部导航方法和系统 | |
| Lippiello et al. | 3D monocular robotic ball catching | |
| Wettach et al. | Dynamic frontier based exploration with a mobile indoor robot | |
| Tsuru et al. | Online object searching by a humanoid robot in an unknown environment | |
| US20230419531A1 (en) | Apparatus and method for measuring, inspecting or machining objects | |
| JP2024502523A (ja) | 位置特定方法および装置、コンピュータ装置、ならびにコンピュータ可読ストレージ媒体 | |
| Keivan et al. | Constant-time monocular self-calibration | |
| JP2020149186A (ja) | 位置姿勢推定装置、学習装置、移動ロボット、位置姿勢推定方法、学習方法 | |
| JP5370122B2 (ja) | 移動体位置推定装置及び移動体位置推定方法 | |
| Sun et al. | Real-time and fast RGB-D based people detection and tracking for service robots | |
| Cocoma-Ortega et al. | Overcoming the blind spot in CNN-based gate detection for autonomous drone racing | |
| CN115290066A (zh) | 一种误差校正方法、装置及移动设备 | |
| Yu et al. | Indoor Localization Based on Fusion of AprilTag and Adaptive Monte Carlo | |
| CN109901589B (zh) | 移动机器人控制方法和装置 | |
| Yang et al. | Enhanced visual SLAM for construction robots by efficient integration of dynamic object segmentation and scene semantics | |
| TWI679511B (zh) | 軌跡規劃方法與系統 | |
| Zhang et al. | A visual slam system with laser assisted optimization | |
| Engedy et al. | Global, camera-based localization and prediction of future positions in mobile robot navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220329 Address after: 200336 room 6227, No. 999, Changning District, Shanghai Patentee after: Shenlan robot (Shanghai) Co.,Ltd. Address before: Unit 1001, 369 Weining Road, Changning District, Shanghai, 200336 (9th floor of actual floor) Patentee before: DEEPBLUE TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220729 Address after: 476000 shop 301, office building, northeast corner, intersection of Bayi Road and Pingyuan Road, Liangyuan District, Shangqiu City, Henan Province Patentee after: Shenlan robot industry development (Henan) Co.,Ltd. Address before: 200336 room 6227, No. 999, Changning District, Shanghai Patentee before: Shenlan robot (Shanghai) Co.,Ltd. |