CN115700507A - 地图更新方法及其装置 - Google Patents
地图更新方法及其装置 Download PDFInfo
- Publication number
- CN115700507A CN115700507A CN202110875793.1A CN202110875793A CN115700507A CN 115700507 A CN115700507 A CN 115700507A CN 202110875793 A CN202110875793 A CN 202110875793A CN 115700507 A CN115700507 A CN 115700507A
- Authority
- CN
- China
- Prior art keywords
- frame image
- map
- key frame
- sensor data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012937 correction Methods 0.000 claims abstract description 31
- 230000004044 response Effects 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 abstract description 9
- 230000002349 favourable effect Effects 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 54
- 238000010586 diagram Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 102000008115 Signaling Lymphocytic Activation Molecule Family Member 1 Human genes 0.000 description 3
- 108010074687 Signaling Lymphocytic Activation Molecule Family Member 1 Proteins 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Landscapes
- Navigation (AREA)
Abstract
本公开关于一种地图更新方法及其装置，涉及导航定位领域。包括：通过对场景进行图像采集，并基于采集的图像进行同步定位与建图SLAM，以获取场景的第一导航地图；获取传感器数据，并对传感器数据和采集的图像中的关键帧图像进行关联操作；响应于发生SLAM回环，根据关键帧图像所关联的传感器数据，对第一导航地图进行姿态修正，生成第二导航地图。本申请通过与关键帧图像同步的传感器数据对第一导航地图进行姿态修正，能够减小SLAM累计误差导致的建图误差，使得最终生成的导航地图更加贴合实际场景，精度更高，从而使得机器人在地图中进行正确导航，当机器人行进过程中前方存在障碍影响前进时，有利于帮助机器人更精准、快速的进行避障工作。
Description
技术领域
本公开涉及导航定位领域，特别涉及一种地图更新方法及其装置。
背景技术
相关技术中，同步定位与建图(simultaneous localization and mapping，SLAM)中的机器人在进行工作时，SLAM地图和对机器人进行导航的导航地图是分开的，导致SLAM地图更新修正时，机器人使用的导航地图无法响应修正，影响机器正常导航。
发明内容
本公开提供一种地图更新方法，以至少解决相关技术中机器人在进行地图导航时SLAM地图和导航地图没有同步更新的问题。
本公开的技术方案如下：对场景进行图像采集，并基于采集的所述图像进行同步定位与建图SLAM，以获取所述场景的第一导航地图；获取传感器数据，并对所述传感器数据和采集的所述图像中的关键帧图像进行关联操作；响应于发生SLAM回环，根据所述关键帧图像所关联的传感器数据，对所述第一导航地图进行姿态修正，生成第二导航地图。
本申请通过与关键帧图像同步的传感器数据对第一导航地图进行姿态修正，能够减小SLAM累计误差导致的建图误差，使得最终生成的导航地图与机器人所SLAM的场景更匹配，从而更加贴合实际场景，从而使得机器人在地图中进行正确导航，当机器人行进过程中前方存在障碍影响前进时，有利于帮助机器人更精准、快速的进行避障工作。
根据本公开实施例的第一方面，提供一种地图更新方法，通过对场景进行图像采集，并基于采集的所述图像进行同步定位与建图SLAM，以获取所述场景的第一导航地图；获取传感器数据，并对所述传感器数据和采集的所述图像中的关键帧图像进行关联操作；响应于发生SLAM回环，根据所述关键帧图像所关联的传感器数据，对所述第一导航地图进行姿态修正，生成第二导航地图。
根据本公开的一个实施例，所述对所述传感器数据和采集的所述图像中的关键帧图像进行关联操作，包括：获取在所述关键帧图像的采集时刻所采集到的传感器数据；将在所述采集时刻所采集到的传感器数据与所述关键帧图像进行关联。
根据本公开的一个实施例，所述对所述传感器数据和采集的所述图像中的关键帧图像进行关联操作之后，还包括：对所述关键帧图像与所关联的传感器数据进行压缩存储。
根据本公开的一个实施例，所述对所述关键帧图像与所关联的传感器数据进行压缩存储，包括：获取所述关键帧图像的特征信息；将所述关键帧图像的特征信息与所关联的传感器数据进行存储。
根据本公开的一个实施例，所述根据所述关键帧图像所关联的传感器数据，对所述第一导航地图进行姿态修正，生成第二导航地图，包括：根据所述关键帧图像，获取所述关键帧图像对应的地图位置点和所述地图位置点的第一姿态；根据所述关键帧图像所关联的传感器数据，确定所述地图位置点的第二姿态；响应于所述第一姿态与所述第二姿态存在偏差，则基于所述第二姿态数据对所述第一导航地图进行姿态修正，以生成所述第二导航地图。
根据本公开的一个实施例，所述地图更新方法还包括：进行SLAM回环检测，若检测出回归到所述SLAM的起始位置，则确定发生所述SLAM回环。
根据本公开的一个实施例，所述进行SLAM回环检测，包括：将当前采集的第一帧图像与所述起始位置采集的第二帧图像进行对比；响应于所述第一帧图像与所述第二帧图像相似，则检测出回归到所述SLAM的起始位置。
根据本公开的一个实施例，所述地图更新方法还包括：提取每帧所述图像的特征信息；从采集的所述图像中，识别所述特征信息满足设定条件的图像，确定为所述关键帧图像。
根据本公开实施例的第二方面，提供一种地图更新装置，包括：获取模块，用于对场景进行图像采集，并基于采集的所述图像进行同步定位与建图SLAM，以获取所述场景的第一导航地图；关联模块，用于获取传感器数据，并对所述传感器数据和采集的所述图像中的关键帧图像进行关联操作；修正模块，用于响应于发生SLAM回环，根据所述关键帧图像所关联的传感器数据，对所述第一导航地图进行姿态修正，生成第二导航地图。
根据本公开的一个实施例，所述关联模块，还用于：获取在所述关键帧图像的采集时刻所采集到的传感器数据；将在所述采集时刻所采集到的传感器数据与所述关键帧图像进行关联。
根据本公开的一个实施例，所述关联模块，还用于：对所述关键帧图像与所关联的传感器数据进行压缩存储。
根据本公开的一个实施例，所述关联模块，还用于：获取所述关键帧图像的特征信息；将所述关键帧图像的特征信息与所关联的传感器数据进行存储。
根据本公开的一个实施例，所述修正模块，还用于：根据所述关键帧图像，获取所述关键帧图像对应的地图位置点和所述地图位置点的第一姿态；根据所述关键帧图像所关联的传感器数据，确定所述地图位置点的第二姿态；响应于所述第一姿态与所述第二姿态存在偏差，则基于所述第二姿态数据对所述第一导航地图进行姿态修正，以生成所述第二导航地图。
根据本公开的一个实施例，所述地图更新装置，还包括：回环检测模块，用于进行SLAM回环检测，若检测出回归到所述SLAM的起始位置，则确定发生所述SLAM回环。
根据本公开的一个实施例，所述回环检测模块，还用于：将当前采集的第一帧图像与所述起始位置采集的第二帧图像进行对比；响应于所述第一帧图像与所述第二帧图像相似，则检测出回归到所述SLAM的起始位置。
根据本公开的一个实施例，所述地图更新装置，还包括：关键帧确定模块，用于提取每帧所述图像的特征信息，从采集的所述图像中，识别所述特征信息满足设定条件的图像，确定为所述关键帧图像。
根据本公开实施例的第三方面，提出一种电子设备，包括处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现上述实施例所提出的地图更新方法。
根据本公开实施例的第四方面，提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述实施例所提出的地图更新方法。
根据本公开实施例的第五方面，提出一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令处理器执行时实现上述实施例所提出的地图更新方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种地图更新方法的示意图；
图2是根据一示例性实施例示出的对传感器数据和采集的图像中的关键帧图像进行关联操作的示意图；
图3是根据一示例性实施例示出的对关键帧图像与所关联的传感器数据进行压缩存储的示意图；
图4是根据一示例性实施例示出的生成第二导航地图的示意图；
图5是根据一示例性实施例示出的对第一导航地图进行姿态修正的示意图；
图6(a)是根据一示例性实施例示出的未进行姿态调整的以栅格地图表示的第一导航地图；
图6(b)是根据一示例性实施例示出的进行姿态调整后的以栅格地图表示的第二导航地图；
图7是根据一示例性实施例示出的判断是否发生SLAM回环的示意图；
图8是根据一示例性实施例示出的一种地图更新方法的总体示意图；
图9是根据一示例性实施例示出的一种地图更新装置的示意图；
图10是根据一示例性实施例示出的一种电子设备的示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是本申请实施例示出的一种地图更新方法的示意图，如图1所示，该地图更新方法，包括以下步骤：
S101，对场景进行图像采集，并基于采集的图像进行同步定位与建图SLAM，以获取场景的第一导航地图。
同步定位与建图(simultaneous localization and mapping，SLAM)，指的是机器人从未知环境的未知地点出发，在运动过程中通过重复观测到的地图特征(比如，墙角，柱子等)定位自身位置和姿态，再根据自身位置构建地图，从而达到同时定位和地图构建的目的。其中，机器人在未知环境中，要完成三个任务，第一个是定位，第二个是建图，第三个则是随后的路径规划。其中，SLAM既可以用于2D运动领域，也可以应用于3D运动领域。可选地，实现SLAM的机器人可扩展到各种使用地图导航的机器人领域，包括无人机，四足机器人等。可选地，SLAM可分为激光SLAM和视觉SLAM。
本申请实施例以视觉SLAM为例，机器人上可设置有单目相机，双目相机，深度相机等，基于相机对进行SLAM的机器人所在的场景进行图像采集。其中，机器人进行图像采集的场景可为机器人当前所处于的场景，也可为预先设置的机器人将要去的目的地的场景。机器人基于采集的图像进行SLAM，获取机器人所在的场景的地图，作为第一导航地图。其中，合理的地图表示有利于建立规划方法和选择合适的搜索算法，最终实现较少的时间开销而规划出较为满意的路径。建立地图的方式有很多，例如可视图法，自由空间法，拓扑法，栅格法等。
S102，获取传感器数据，并对传感器数据和采集的图像中的关键帧图像进行关联操作。
实习中，机器人上设置有多个传感器，多个感器可以对场景环境进行探测，可选地，传感器可以为相机、激光雷达、超声波雷达，惯性传感器(Inertial Measurement Unit，IMU)、光线传感器、距离传感器、角度传感器等。在获取进行SLAM的机器人在某个场景时的图像时，可以同步采集进行SLAM的机器人的传感器数据。
在进行关键帧图像选取后，对传感器数据和与其同步采集的图像中的关键帧图像进行关联操作，由于传感器的检测精度较高，从而可以通过修正的方式对SLAM结果进行优化，以来减小SLAM过程中的累计误差。
在选取关键帧图像时，为了减小计算量，不需要选取太多的图像作为关键帧图像。可选地，在选取关键帧图像时，可对采集图像时机器人的旋转角度进行识别，基于旋转角度选择出旋转角度大于设定角度阈值的图像作为关键帧图像。
可选地，在选取关键帧图像时，可对采集图像时机器人的位姿变换量进行识别，如果图像与上一帧图像的位姿变换超过位姿阈值，则判定当前帧图像为关键帧图像，这种方法相对于时间采样法更为鲁棒，选取的关键帧图像更具代表性。
可选地，在选取关键帧图像时，可对采集图像时机器人的特征点数量进行识别，基于特征点数量选择出特征点数量大于设定特征点数量阈值的图像作为关键帧图像。
S103响应于发生SLAM回环，根据关键帧图像所关联的传感器数据，对第一导航地图进行姿态修正，生成第二导航地图。
回环检测，又称闭环检测，是指机器人识别曾到达某场景，使得地图闭环的能力。通过计算前后两帧图像的相似度，判断是否发生SLAM回环，若发生SLAM回环，判断地图位置点的初始姿态与根据关键帧图像所关联的传感器数据获得的地图位置点的当前姿态是否存在偏差，若存在偏差，则对第一导航地图进行姿态修正，生成第二导航地图。
本申请提出了一种地图更新方法，通过对场景进行图像采集，并基于采集的图像进行同步定位与建图SLAM，以获取场景的第一导航地图；获取传感器数据，并对传感器数据和采集的图像中的关键帧图像进行关联操作；响应于发生SLAM回环，根据关键帧图像所关联的传感器数据，对第一导航地图进行姿态修正，生成第二导航地图。
本申请基于传感器数据的高精度，通过与关键帧图像同步的传感器数据对第一导航地图进行姿态修正，能够减小SLAM累计误差导致的建图误差，使得最终生成的导航地图与机器人所SLAM的场景更相符，从而更加贴合实际场景，从而使得机器人在地图中进行正确导航，当机器人行进过程中前方存在障碍影响前进时，有利于帮助机器人更精准、快速的进行避障工作。
图2是本申请实施例示出的一种地图更新方法的示意图，如图2所示，基于上述实施例的基础上，对传感器数据和采集的图像中的关键帧图像进行关联操作，包括以下步骤：
S201，获取在关键帧图像的采集时刻所采集到的传感器数据。
获取相机对机器人所在的场景进行图像采集时所得到的所有图像，提取每帧图像的特征信息，并基于每帧图像的特征信息，从采集的图像中识别特征信息满足设定条件的图像，确定为关键帧图像。在确定关键帧图像后，获取在关键帧图像的采集时刻所采集到的传感器数据。可选地，图像的特征信息可用图像的特征向量表示。
可选地，在选取关键帧图像时，可对采集图像时机器人的旋转角度进行识别，基于旋转角度选择出旋转角度大于设定角度阈值的图像作为关键帧图像。
可选地，在选取关键帧图像时，可对采集图像时机器人的位姿变换量进行识别，如果图像与上一帧图像的位姿变换超过位姿阈值，则判定当前帧图像为关键帧图像，这种方法相对于时间采样法更为鲁棒，选取的关键帧图像更具代表性。
可选地，在选取关键帧图像时，可对采集图像时机器人的特征点数量进行识别，基于特征点数量选择出特征点数量大于设定特征点数量阈值的图像作为关键帧图像。
需要说明的是，在选取关键帧时，可以设置需要满足以上设定条件的一项或者两项或者三项。
S202，将在采集时刻所采集到的传感器数据与关键帧图像进行关联。
本申请实施例中，将关键帧图像的采集时刻所采集到的传感器数据与其对应的关键帧图像绑定在一起，即每个关键帧图像都有其对应的一组传感器数据。
本申请实施例将在采集时刻所采集到的传感器数据与关键帧图像进行关联，通过关联的传感器数据对导航地图进行修正，有利于减小SLAM累计误差导致的建图误差，提高导航地图的精度。
图3是本申请实施例示出的一种地图更新方法的示意图，如图3所示，基于上述实施例的基础上，对传感器数据和采集的图像中的关键帧图像进行关联操作之后，为了减小数据量，还需要对关键帧图像与所关联的传感器数据进行压缩存储。可选地，可获取关键帧图像的特征信息，与其所关联的传感器数据进行存储，此方法包括以下步骤：
S301，获取关键帧图像的特征信息。
确定关键帧图像后，获取关键帧图像的特征信息，可选地，关键帧图像的特征信息可以包括关键帧图像中物体的姿态、位移或者点云信息等。可选地，获取关键帧图像的特征信息可采用方向梯度直方图(Histogram of Oriented Gradient,HOG)、局部二值模式(Local Binary Pattern，LBP)、尺度不变特征转换(Scale-invariant featuretransform,SIFT)等。
S302，将关键帧图像的特征信息与所关联的传感器数据进行存储。
将关键帧图像的特征信息与其对应的所关联的传感器数据进行压缩存储。可选地，可采用现有的压缩算法，比如说离散余弦变换算法(Discrete Cosine Transform，DCT)，对关键帧图像与所关联的传感器数据进行压缩；可选地，可以识别冗余关键帧图像或传感器数据，对冗余关键帧图像与对应的传感器数据进行去重复操作，以实现对关键帧图像与所关联的传感器数据的压缩存储。
本申请实施例并非采用所有图像与其对应的传感器数据，而是选择性存储关键帧图像与所关联的传感器数据，可以减少数据量，从而减少内存占用。
图4是本申请实施例示出的一种地图更新方法的示意图，如图4所示，根据关键帧图像所关联的传感器数据，对第一导航地图进行姿态修正，生成第二导航地图，包括以下步骤：
S401，根据关键帧图像，获取关键帧图像对应的地图位置点和地图位置点的第一姿态。
根据关键帧图像对关键帧图像上的物体进行坐标系转换，进而确定关键帧图像对应的地图位置点，比如说，基于对关键帧图像，根据相机的姿态将关键帧图像由图像坐标系向世界坐标系上进行转换，进而确定关键帧图像对应的地图位置点。对关键帧图像进行姿态估计，获取关键帧图像在对应的地图位置点的姿态，作为第一姿态。可选地，对物体进行姿态估计可采用深度神经网络对物体的6D姿态估计算法(Deep Iterative Matching for6D Pose Estimation，DeepIM)如图5所示，第一姿态即为图5所示的SLAM路径，即机器人的SLAM运行路径。
S402，根据关键帧图像所关联的传感器数据，确定地图位置点的第二姿态。
其中，关键帧图像所关联的传感器数据同样为上述地图位置点处由传感器探测到的数据。该传感器数据探测精度较高，因此可以根据传感器数据确定地图位置点的姿态，作为第二姿态。比如说通过传感器获得机器人在地图位置点处与该位置点的距离，以及相对该地图位置点的相对姿态，如旋转角度，进而可以估计出地图位置点的姿态，作为第二姿态。如图5所示，第二姿态即为图5所示的实际路径，即实际场景中的实际路径。
S403，响应于第一姿态与第二姿态存在偏差，则基于第二姿态数据对第一导航地图进行姿态修正，以生成第二导航地图。
在获取到地图位置点的第一姿态和第二姿态后，可以对第一姿态和第二姿态进行比较，以判断两个姿态是否存在偏差。若第一姿态与第二姿态存在偏差，说明该地图位置点在通过SLAM构建导航地图时存在误差，即如图5所示的SLAM路径与实际路径存在偏差，为了保证导航地图的精准度，则需要根据实际场景中的实际路径，即基于第二姿态数据，对第一导航地图进行姿态修正，以生成第二导航地图。
可选地，本申请实施例采用栅格法对导航地图进行表示，即将整个环境分为若干相同大小的栅格，对于每个栅格表示出其中是否存在障碍物。如图6(a)所示，图6(a)为未进行姿态调整的以栅格地图表示的第一导航地图，在基于第二姿态数据对第一导航地图进行姿态修正后，如图6(b)所示，图6(b)为进行姿态调整后的以栅格地图表示的第二导航地图。
本申请实施例根据关键帧图像所关联的传感器数据，确定地图位置点的第二姿态，从而对第一导航地图进行姿态修正，生成第二导航地图，将SLAM地图和导航地图结合在一起，两者同步更新，能够减小SLAM累计误差导致的建图误差，提高导航地图的精度，且使得机器人在地图中能够正确导航规划。
图7是本申请实施例示出的一种地图更新方法的示意图，如图7所示，该地图更新方法，还包括以下步骤：
S701，将当前采集的第一帧图像与起始位置采集的第二帧图像进行对比。
为了判断是否发生SLAM回环，需要对当前采集的第一帧图像与起始位置采集的第二帧图像进行相似度比较。可选地，对当前采集的第一帧图像与起始位置采集的第二帧图像进行相似度比较时，可采用关键点匹配(Keypoint Matching)、哈希算法(Hash)、图像匹配算法(Normalized Cross Correlation，NCC)等。
S702，响应于第一帧图像与第二帧图像相似，则检测出回归到SLAM的起始位置，则确定发生SLAM回环。
以采用图像匹配算法(Normalized Cross Correlation，NCC)对当前采集的第一帧图像与起始位置采集的第二帧图像进行相似度比较为例，设定一个相似度阈值，若第一帧图像与第二帧图像经NCC算法得到的相似度大于等于该相似度阈值，则认为第一帧图像与第二帧图像相似，即认为机器人回归到SLAM的起始位置，则确定发生SLAM回环。
其中，NCC是一种基于统计学计算两组样本数据相关性的算法，其取值范围为[-1,1]之间，而对图像来说，每个像素点都可以看出是RGB数值，这样整幅图像就可以看成是一个样本数据的集合，如果它有一个子集与另外一个样本数据相互匹配则它的ncc值为1，表示相关性很高，如果是-1则表示完全不相关。
以预先设置的相似度阈值为0.95为例，若第一帧图像与第二帧图像经NCC算法得到的相似度大于等于0.95，则认为第一帧图像与第二帧图像相似，即认为机器人回归到SLAM的起始位置，则确定发生SLAM回环。
本申请实施例通过将当前采集的第一帧图像与起始位置采集的第二帧图像进行对比，判断是否发生SLAM回环，通过SLAM回环，可以识别地图构建过程是否需要结束，避免出提前结束出现的地图构建不完整，或者延后结束出现地图构建重复的问题。同时，根据与关键帧图像同步的传感器数据对第一导航地图进行姿态修正，基于传感器数据的高精度，可以显著地减小累积误差，使得生成的第二导航地图更加贴合实际场景，从而帮助机器人更精准、快速的进行避障导航工作。
图8是本申请实施例示出的一种地图更新方法的总体示意图，如图8所示，该地图更新方法，包括以下步骤：
S801，对场景进行图像采集，并基于采集的图像进行同步定位与建图SLAM，以获取场景的第一导航地图。
S802，获取在关键帧图像的采集时刻所采集到的传感器数据。
S803，将在采集时刻所采集到的传感器数据与关键帧图像进行关联。
S804，获取关键帧图像的特征信息。
S805，将关键帧图像的特征信息与所关联的传感器数据进行存储。
S806，将当前采集的第一帧图像与起始位置采集的第二帧图像进行对比。
S807，响应于第一帧图像与第二帧图像相似，则检测出回归到SLAM的起始位置。
S808，响应于发生SLAM回环，根据关键帧图像，获取关键帧图像对应的地图位置点和地图位置点的第一姿态。
S809，根据关键帧图像所关联的传感器数据，确定地图位置点的第二姿态。
S810，响应于第一姿态与第二姿态存在偏差，则基于第二姿态数据对第一导航地图进行姿态修正，以生成第二导航地图。
本申请提出了一种地图更新方法，通过对场景进行图像采集，并基于采集的图像进行同步定位与建图SLAM，以获取场景的第一导航地图；获取传感器数据，并对传感器数据和采集的图像中的关键帧图像进行关联操作；响应于发生SLAM回环，根据关键帧图像所关联的传感器数据，对第一导航地图进行姿态修正，生成第二导航地图。本申请对传统的递增式地图构建方法进行改进，将SLAM地图和导航地图结合在一起，两者同步更新，能够减小SLAM累计误差导致的建图误差，提高导航地图的精度，且使得机器人在地图中能够正确导航规划。
图9是本申请实施例提出的一种地图更新装置的示意图，如图9所示，该地图更新装置900包括：获取模块91、关联模块92、修正模块93，其中：
获取模块91，用于对场景进行图像采集，并基于采集的图像进行同步定位与建图SLAM，以获取场景的第一导航地图；
关联模块92，用于获取传感器数据，并对传感器数据和采集的图像中的关键帧图像进行关联操作；
修正模块93，用于响应于发生SLAM回环，根据关键帧图像所关联的传感器数据，对第一导航地图进行姿态修正，生成第二导航地图。
进一步地，关联模块92，还用于：获取在关键帧图像的采集时刻所采集到的传感器数据；将在采集时刻所采集到的传感器数据与关键帧图像进行关联。
进一步地，关联模块92，还用于：对关键帧图像与所关联的传感器数据进行压缩存储。
进一步地，关联模块92，还用于：获取关键帧图像的特征信息；将关键帧图像的特征信息与所关联的传感器数据进行存储。
进一步地，修正模块93，还用于：根据关键帧图像，获取关键帧图像对应的地图位置点和地图位置点的第一姿态；根据关键帧图像所关联的传感器数据，确定地图位置点的第二姿态；响应于第一姿态与第二姿态存在偏差，则基于第二姿态数据对第一导航地图进行姿态修正，以生成第二导航地图。
进一步地，该地图更新装置900，还包括：回环检测模块94，用于进行SLAM回环检测，若检测出回归到SLAM的起始位置，则确定发生SLAM回环。
进一步地，回环检测模块94，还用于：将当前采集的第一帧图像与起始位置采集的第二帧图像进行对比；响应于第一帧图像与第二帧图像相似，则检测出回归到SLAM的起始位置。
进一步地，该地图更新装置900，还包括：关键帧确定模块95，用于提取每帧图像的特征信息，从采集的图像中，识别特征信息满足设定条件的图像，确定为关键帧图像。
为了实现上述实施例，本公开还提供了一种电子设备，如图10所示，该电子设备1000包括：处理器1001；用于存储处理器1001可执行指令的一个或多个存储器1002；其中，处理器1001被配置为执行上述实施例的地图更新方法。
电子设备1000可以包括一个或多个处理器1001。处理器1001可以是通用处理器或者专用处理器等。例如可以是基带处理器或中央处理器。基带处理器可以用于对通信协议以及通信数据进行处理，中央处理器可以用于对电子设备(如，基站、基带芯片，终端设备，清洁类机器人，足式机器人，终端设备芯片，DU或CU等)进行控制，执行计算机程序，处理计算机程序的数据。
可选的，电子设备1000中还可以包括一个或多个存储器1002，其上可以存有计算机程序，处理器1001执行所述计算机程序，以使得电子设备1000执行上述方法实施例中描述的地图更新方法。可选的，所述存储器1002中还可以存储有数据。电子设备1000和存储器1002可以单独设置，也可以集成在一起。
为了实现上述实施例，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述实施例所提出的地图更新方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
为了实现上述实施例，本公开还提供一种计算机程序产品，包括计算机程序，其特征在于，计算机程序被处理器执行时实现上述实施例的地图更新方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (19)
1.一种地图更新方法，其特征在于，包括：
对场景进行图像采集，并基于采集的所述图像进行同步定位与建图SLAM，以获取所述场景的第一导航地图；
获取传感器数据，并对所述传感器数据和采集的所述图像中的关键帧图像进行关联操作；
响应于发生SLAM回环，根据所述关键帧图像所关联的传感器数据，对所述第一导航地图进行姿态修正，生成第二导航地图。
2.根据权利要求1所述的方法，其特征在于，所述对所述传感器数据和采集的所述图像中的关键帧图像进行关联操作，包括：
获取在所述关键帧图像的采集时刻所采集到的传感器数据；
将在所述采集时刻所采集到的传感器数据与所述关键帧图像进行关联。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述传感器数据和采集的所述图像中的关键帧图像进行关联操作之后，还包括：
对所述关键帧图像与所关联的传感器数据进行压缩存储。
4.根据权利要求3所述的方法，其特征在于，所述对所述关键帧图像与所关联的传感器数据进行压缩存储，包括：
获取所述关键帧图像的特征信息；
将所述关键帧图像的特征信息与所关联的传感器数据进行存储。
5.根据权利要求1所述的方法，其特征在于，所述根据所述关键帧图像所关联的传感器数据，对所述第一导航地图进行姿态修正，生成第二导航地图，包括：
根据所述关键帧图像，获取所述关键帧图像对应的地图位置点和所述地图位置点的第一姿态；
根据所述关键帧图像所关联的传感器数据，确定所述地图位置点的第二姿态；
响应于所述第一姿态与所述第二姿态存在偏差，则基于所述第二姿态数据对所述第一导航地图进行姿态修正，以生成所述第二导航地图。
6.根据权利要求1或2或5所述的方法，其特征在于，所述方法还包括：
进行SLAM回环检测，若检测出回归到所述SLAM的起始位置，则确定发生所述SLAM回环。
7.根据权利要求6所述的方法，其特征在于，所述进行SLAM回环检测，包括：
将当前采集的第一帧图像与所述起始位置采集的第二帧图像进行对比；
响应于所述第一帧图像与所述第二帧图像相似，则检测出回归到所述SLAM的起始位置。
8.根据权利要求1或2或5所述的方法，其特征在于，所述方法还包括：
提取每帧所述图像的特征信息；
从采集的所述图像中，识别所述特征信息满足设定条件的图像，确定为所述关键帧图像。
9.一种地图更新装置，其特征在于，包括：
获取模块，用于对场景进行图像采集，并基于采集的所述图像进行同步定位与建图SLAM，以获取所述场景的第一导航地图；
关联模块，用于获取传感器数据，并对所述传感器数据和采集的所述图像中的关键帧图像进行关联操作；
修正模块，用于响应于发生SLAM回环，根据所述关键帧图像所关联的传感器数据，对所述第一导航地图进行姿态修正，生成第二导航地图。
10.根据权利要求9所述的装置，其特征在于，所述关联模块，还用于：
获取在所述关键帧图像的采集时刻所采集到的传感器数据；
将在所述采集时刻所采集到的传感器数据与所述关键帧图像进行关联。
11.根据权利要求9或10所述的装置，其特征在于，所述关联模块，还用于：
对所述关键帧图像与所关联的传感器数据进行压缩存储。
12.根据权利要求11所述的装置，其特征在于，所述关联模块，还用于：
获取所述关键帧图像的特征信息；
将所述关键帧图像的特征信息与所关联的传感器数据进行存储。
13.根据权利要求9所述的装置，其特征在于，所述修正模块，还用于：
根据所述关键帧图像，获取所述关键帧图像对应的地图位置点和所述地图位置点的第一姿态；
根据所述关键帧图像所关联的传感器数据，确定所述地图位置点的第二姿态；
响应于所述第一姿态与所述第二姿态存在偏差，则基于所述第二姿态数据对所述第一导航地图进行姿态修正，以生成所述第二导航地图。
14.根据权利要求9或10或13所述的装置，其特征在于，还包括：
回环检测模块，用于进行SLAM回环检测，若检测出回归到所述SLAM的起始位置，则确定发生所述SLAM回环。
15.根据权利要求14所述的装置，其特征在于，所述回环检测模块，还用于：
将当前采集的第一帧图像与所述起始位置采集的第二帧图像进行对比；
响应于所述第一帧图像与所述第二帧图像相似，则检测出回归到所述SLAM的起始位置。
16.根据权利要求9或10或13所述的装置，其特征在于，还包括：
关键帧确定模块，用于提取每帧所述图像的特征信息，从采集的所述图像中，识别所述特征信息满足设定条件的图像，确定为所述关键帧图像。
17.一种电子设备，其特征在于，包括处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-8中任一所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
19.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110875793.1A CN115700507B (zh) | 2021-07-30 | 2021-07-30 | 地图更新方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110875793.1A CN115700507B (zh) | 2021-07-30 | 2021-07-30 | 地图更新方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115700507A true CN115700507A (zh) | 2023-02-07 |
| CN115700507B CN115700507B (zh) | 2024-02-13 |
Family
ID=85120830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110875793.1A Active CN115700507B (zh) | 2021-07-30 | 2021-07-30 | 地图更新方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115700507B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296812A (zh) * | 2016-08-18 | 2017-01-04 | 宁波傲视智绘光电科技有限公司 | 同步定位与建图方法 |
| CN107885871A (zh) * | 2017-11-24 | 2018-04-06 | 南京华捷艾米软件科技有限公司 | 基于云计算的同步定位与地图构建方法、系统、交互系统 |
| CN108827306A (zh) * | 2018-05-31 | 2018-11-16 | 北京林业大学 | 一种基于多传感器融合的无人机slam导航方法及系统 |
| CN109084732A (zh) * | 2018-06-29 | 2018-12-25 | 北京旷视科技有限公司 | 定位与导航方法、装置及处理设备 |
| WO2018235923A1 (ja) * | 2017-06-21 | 2018-12-27 | 国立大学法人 東京大学 | 位置推定装置、位置推定方法、及びプログラム |
| CN109556596A (zh) * | 2018-10-19 | 2019-04-02 | 北京极智嘉科技有限公司 | 基于地面纹理图像的导航方法、装置、设备及存储介质 |
| CN110310326A (zh) * | 2019-06-28 | 2019-10-08 | 北京百度网讯科技有限公司 | 一种位姿数据处理方法、装置、终端及计算机可读存储介质 |
| CN110825832A (zh) * | 2019-11-07 | 2020-02-21 | 深圳创维数字技术有限公司 | Slam地图更新方法、装置及计算机可读存储介质 |
| CN110849367A (zh) * | 2019-10-08 | 2020-02-28 | 杭州电子科技大学 | 基于融合uwb的视觉slam的室内定位与导航的方法 |
| CN111145251A (zh) * | 2018-11-02 | 2020-05-12 | 深圳市优必选科技有限公司 | 一种机器人及其同步定位与建图方法和计算机存储设备 |
| CN111260661A (zh) * | 2020-01-15 | 2020-06-09 | 江苏大学 | 一种基于神经网络技术的视觉语义slam系统及方法 |
| CN111258313A (zh) * | 2020-01-20 | 2020-06-09 | 深圳市普渡科技有限公司 | 多传感器融合slam系统及机器人 |
| CN111899334A (zh) * | 2020-07-28 | 2020-11-06 | 北京科技大学 | 一种基于点线特征的视觉同步定位与地图构建方法及装置 |
| WO2020259248A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
| CN112304307A (zh) * | 2020-09-15 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种基于多传感器融合的定位方法、装置和存储介质 |
| CN112388635A (zh) * | 2020-10-30 | 2021-02-23 | 中国科学院自动化研究所 | 机器人多传感器融合感知与空间定位的方法、系统及装置 |
| CN112917467A (zh) * | 2019-12-06 | 2021-06-08 | 深圳市优必选科技股份有限公司 | 机器人的定位及地图构建方法、装置及终端设备 |
| CN112967340A (zh) * | 2021-02-07 | 2021-06-15 | 咪咕文化科技有限公司 | 同时定位和地图构建方法、装置、电子设备及存储介质 |
| US20210190513A1 (en) * | 2019-12-20 | 2021-06-24 | Ubtech Robotics Corp Ltd | Navigation map updating method and apparatus and robot using the same |
-
2021
- 2021-07-30 CN CN202110875793.1A patent/CN115700507B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296812A (zh) * | 2016-08-18 | 2017-01-04 | 宁波傲视智绘光电科技有限公司 | 同步定位与建图方法 |
| WO2018235923A1 (ja) * | 2017-06-21 | 2018-12-27 | 国立大学法人 東京大学 | 位置推定装置、位置推定方法、及びプログラム |
| CN107885871A (zh) * | 2017-11-24 | 2018-04-06 | 南京华捷艾米软件科技有限公司 | 基于云计算的同步定位与地图构建方法、系统、交互系统 |
| CN108827306A (zh) * | 2018-05-31 | 2018-11-16 | 北京林业大学 | 一种基于多传感器融合的无人机slam导航方法及系统 |
| CN109084732A (zh) * | 2018-06-29 | 2018-12-25 | 北京旷视科技有限公司 | 定位与导航方法、装置及处理设备 |
| CN109556596A (zh) * | 2018-10-19 | 2019-04-02 | 北京极智嘉科技有限公司 | 基于地面纹理图像的导航方法、装置、设备及存储介质 |
| US20200333162A1 (en) * | 2018-10-19 | 2020-10-22 | Beijing Geekplus Technology Co., Ltd. | Ground texture image-based navigation method and device, and storage medium |
| CN111145251A (zh) * | 2018-11-02 | 2020-05-12 | 深圳市优必选科技有限公司 | 一种机器人及其同步定位与建图方法和计算机存储设备 |
| WO2020259248A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
| CN110310326A (zh) * | 2019-06-28 | 2019-10-08 | 北京百度网讯科技有限公司 | 一种位姿数据处理方法、装置、终端及计算机可读存储介质 |
| CN110849367A (zh) * | 2019-10-08 | 2020-02-28 | 杭州电子科技大学 | 基于融合uwb的视觉slam的室内定位与导航的方法 |
| CN110825832A (zh) * | 2019-11-07 | 2020-02-21 | 深圳创维数字技术有限公司 | Slam地图更新方法、装置及计算机可读存储介质 |
| CN112917467A (zh) * | 2019-12-06 | 2021-06-08 | 深圳市优必选科技股份有限公司 | 机器人的定位及地图构建方法、装置及终端设备 |
| US20210190513A1 (en) * | 2019-12-20 | 2021-06-24 | Ubtech Robotics Corp Ltd | Navigation map updating method and apparatus and robot using the same |
| CN111260661A (zh) * | 2020-01-15 | 2020-06-09 | 江苏大学 | 一种基于神经网络技术的视觉语义slam系统及方法 |
| CN111258313A (zh) * | 2020-01-20 | 2020-06-09 | 深圳市普渡科技有限公司 | 多传感器融合slam系统及机器人 |
| CN111899334A (zh) * | 2020-07-28 | 2020-11-06 | 北京科技大学 | 一种基于点线特征的视觉同步定位与地图构建方法及装置 |
| CN112304307A (zh) * | 2020-09-15 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种基于多传感器融合的定位方法、装置和存储介质 |
| CN112388635A (zh) * | 2020-10-30 | 2021-02-23 | 中国科学院自动化研究所 | 机器人多传感器融合感知与空间定位的方法、系统及装置 |
| CN112967340A (zh) * | 2021-02-07 | 2021-06-15 | 咪咕文化科技有限公司 | 同时定位和地图构建方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 宋春林: "四旋翼无人机在未知环境中自主导航和飞行控制方法研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》, no. 02, pages 031 - 76 * |
| 马跃龙 等: "一种基于深度相机的机器人室内导航点云地图生成方法", 《测绘工程》, vol. 27, no. 03, pages 6 - 10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115700507B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110411441B (zh) | 用于多模态映射和定位的系统和方法 | |
| CN107990899B (zh) | 一种基于slam的定位方法和系统 | |
| CN109186606B (zh) | 一种基于slam和图像信息的机器人构图及导航方法 | |
| CN107025662B (zh) | 一种实现增强现实的方法、服务器、终端及系统 | |
| KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| CN107735797B (zh) | 用于确定第一坐标系与第二坐标系之间的运动的方法 | |
| CN108038139B (zh) | 地图构建方法、装置和机器人定位方法、装置、计算机设备和存储介质 | |
| CN112197770A (zh) | 一种机器人的定位方法及其定位装置 | |
| JP4709668B2 (ja) | ３次元物体認識システム | |
| Andreasson et al. | Mini-SLAM: Minimalistic visual SLAM in large-scale environments based on a new interpretation of image similarity | |
| Maier et al. | Vision-based humanoid navigation using self-supervised obstacle detection | |
| CN113052907B (zh) | 一种动态环境移动机器人的定位方法 | |
| CN115936029B (zh) | 一种基于二维码的slam定位方法及装置 | |
| CN110570474B (zh) | 一种深度相机的位姿估计方法及系统 | |
| Tamjidi et al. | 6-DOF pose estimation of a portable navigation aid for the visually impaired | |
| CN117152249A (zh) | 基于语义一致性的多无人机协同建图与感知方法及系统 | |
| Maier et al. | Appearance-based traversability classification in monocular images using iterative ground plane estimation | |
| CN112162561A (zh) | 一种地图构建优化方法、装置、介质及设备 | |
| Kim et al. | Vision-based navigation with efficient scene recognition | |
| CN115239902A (zh) | 移动设备的周边地图建立方法、装置、设备及存储介质 | |
| CN115700507B (zh) | 地图更新方法及其装置 | |
| CN113570713B (zh) | 一种面向动态环境的语义地图构建方法及装置 | |
| CN114972491A (zh) | 视觉slam方法、电子设备、存储介质及产品 | |
| CN114862953A (zh) | 一种基于视觉特征和3d激光的移动机器人重定位方法及装置 | |
| Choi et al. | Autonomous homing based on laser-camera fusion system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |