CN115493580A - 地图构建方法、装置、移动设备及计算机可读存储介质 - Google Patents

Abstract

本申请适用于地图构建技术领域，提供了地图构建方法、装置、移动设备及计算机可读存储介质，包括：在第一地图上对至少一个拍摄设备当前所在的位置进行重定位，得到重定位结果；在所述重定位结果指示已成功对至少一个所述拍摄设备当前所在的位置重定位后，获取至少两个第一图像帧；从各个所述第一图像帧中分别提取视觉特征点，得到对应的第一视觉特征点；根据各个所述第一视觉特征点，确定新的地图点；确定至少一个所述拍摄设备的当前位姿；根据所述新的地图点和至少一个所述拍摄设备的当前位姿，在所述第一地图插入所述新的地图点，得到第二地图。通过上述方法，能够提高生成的地图的准确度，进而能够提高定位的准确度。

Description

地图构建方法、装置、移动设备及计算机可读存储介质

技术领域

本申请属于地图构建技术领域，尤其涉及地图构建方法、装置、移动设备及计算机可读存储介质。

背景技术

视觉传感器可以采集纹理色彩等信息，且由于其成本较低，因此，通常会作为首先被考虑使用的传感器。例如，视觉即时定位与地图构建(simultaneous localization andmapping，SLAM)系统就是利用视觉传感器实现地图构建。具体地，可利用视觉传感器采集连续的图像帧，并从连续图像帧检测图像特征，以计算视觉传感器的运动以及重建周围环境。但是当环境变化较大时，视觉SLAM系统很难成功定位。

现有方法中，可以采用基于深度学习的方法，来提高在环境变化较大的情况下的视觉定位性能。由于深度学习的方法严重依赖高度算力，因此，在采用基于深度学习的方法提高场景变化较大的视觉定位性能时也需要高度的算力，从而导致采用该方法的产品的成本较高。

发明内容

本申请实施例提供了地图构建方法、装置、移动设备及计算机可读存储介质，可以解决视觉SLAM系统难以成功定位的问题。

一种地图构建方法，应用于包括至少两个拍摄设备的移动设备，各个所述拍摄设备的拍摄范围具有交集，且各个所述拍摄设备之间的相对位置是固定的，所述地图构建方法包括：

在第一地图上对至少一个所述拍摄设备当前所在的位置进行重定位，得到重定位结果，其中，所述第一地图为已构建的地图；

在所述重定位结果指示已成功对至少一个所述拍摄设备当前所在的位置重定位后，获取至少两个第一图像帧，其中，各个所述第一图像帧分别由不同的所述拍摄设备在同一时刻分别拍摄得到；

从各个所述第一图像帧中分别提取视觉特征点，得到对应的第一视觉特征点；

根据各个所述第一视觉特征点，确定新的地图点；

确定至少一个所述拍摄设备的当前位姿；

根据所述新的地图点和至少一个所述拍摄设备的当前位姿，在所述第一地图插入所述新的地图点，得到第二地图。

第二方面，本申请实施例提供了一种地图构建装置，应用于包括至少两个拍摄设备的移动设备，各个所述拍摄设备的拍摄范围具有交集，且各个所述拍摄设备之间的相对位置是固定的，所述地图构建装置包括：

重定位模块，用于在第一地图上对至少一个所述拍摄设备当前所在的位置进行重定位，得到重定位结果，其中，所述第一地图为已构建的地图；

第一图像帧获取模块，用于在所述重定位结果指示已成功对至少一个所述拍摄设备当前所在的位置重定位后，获取至少两个第一图像帧，其中，各个所述第一图像帧分别由不同的所述拍摄设备在同一时刻分别拍摄得到；

第一视觉特征点确定模块，用于从各个所述第一图像帧中分别提取视觉特征点，得到对应的第一视觉特征点；

新的地图点确定模块，用于根据各个所述第一视觉特征点，确定新的地图点；

拍摄设备的当前位姿确定模块，用于确定至少一个所述拍摄设备的当前位姿；

第二地图生成模块，用于根据所述新的地图点和至少一个所述拍摄设备的当前位姿，在所述第一地图插入所述新的地图点，得到第二地图。

第三方面，本申请实施例提供了一种移动设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动设备上运行时，使得移动设备执行上述第一方面所述的方法。

本申请实施例与现有技术相比存在的有益效果是：

本申请实施例中，由于第一地图为已构建的地图，因此，先在第一地图对拍摄设备进行重定位之后，再根据各个拍摄设备在同一时刻所分别拍摄得到第一图像帧确定新的地图点，能够保证得到坐标的准确性，即能够保证得到的新的地图点的准确性，进而能够提高生成的第二地图的准确性。此外，由于在第一地图插入新的地图点时还结合了拍摄设备的当前位姿，而拍摄设备的当前位姿能够反映该拍摄设备的朝向，因此，结合该拍摄设备的朝向能够快速在第一地图查找到新的地图点所在的位置，进而能够快速在第一地图上插入该新的地图点，从而提高了生成第二地图的速度。也即，在本申请实施例中，由于第二地图是在第一地图的基础上生成，因此，提高了第二地图的生成速度，同时，由于第二地图是新生成的地图，因此，当移动设备需要进行定位时，与根据第一地图进行定位相比，根据该第二地图进行定位能够提高该移动设备的定位成功率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本申请一实施例提供的一种地图构建方法的流程图；

图2是本申请一实施例提供的一种地图构建装置的结构示意图；

图3是本申请一实施例提供的一种移动设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。

实施例一：

在采用视觉SLAM系统进行定位时，若当前的环境(光照、物品)与构建地图时的环境变化较大，则该视觉SLAM系统很难成功定位。

为了提高采用视觉SLAM系统进行定位时的成功率，本申请实施例提供了一种地图构建方法。在该方法中，基于已构建的地图(即第一地图)以及当前获取的图像帧进行增量地图(即第二地图)的构建。由于第二地图包括了当前获取的图像帧的信息，因此，与第一地图相比，第二地图包含的信息更准确，这样后续基于第二地图进行定位时，其对应的定位的成功率将更高。

下面结合附图对本申请实施例提供的地图构建方法进行描述。

图1示出了本申请实施例提供的一种地图构建方法的流程图，该地图构建方法应用于包括至少两个拍摄设备(即包括双目相机或多目相机)的移动设备，各个拍摄设备的拍摄范围具有交集，且各个拍摄设备之间的相对位置是固定的，本申请实施例提供的地图构建方法详述如下：

步骤S11，在第一地图上对至少一个上述拍摄设备当前所在的位置进行重定位，得到重定位结果，其中，上述第一地图为已构建的地图。

其中，对拍摄设备进行重定位是指重新确认该拍摄设备在第一地图上的位置或位姿。由于各个拍摄设备在移动设备上的相对位置是固定的，因此，只要成功对其中一个拍摄设备进行重定位，则其他拍摄设备将能够根据与已重定位的拍摄设备的相对位置进行重定位。

本申请实施例中，如果移动设备当前处于增量建图模式，则需要对拍摄设备进行重定位。具体地，移动设备可在接收到增量建图指令(如用户按压了移动设备的某个按键)后，认为其处于增量建图模式，或者，若用户预先设置了增量建图的时间点，则移动设备在时间点到达后，认为其处于增量建图模式。又或者，移动设备在判断出当前场景的亮度与构建第一地图时的亮度差异较大时，认为其处于增量建图模式。

步骤S12，在上述重定位结果指示已成功对至少一个上述拍摄设备当前所在的位置重定位后，获取至少两个第一图像帧，其中，各个上述第一图像帧分别由不同的上述拍摄设备在同一时刻分别拍摄得到。

本申请实施例中，各个拍摄设备的拍摄频率相同，例如，假设移动设备安装了两个拍摄设备：拍摄设备1和拍摄设备2，且拍摄设备1和拍摄设备2的拍摄范围具有交集。假设在t1时刻，拍摄设备1和拍摄设备2分别拍摄出图像帧1和图像帧2，而在t2时刻则分别拍摄出图像帧3和图像帧4。在拍摄设备1和拍摄设备2执行拍摄动作之后，移动设备获取拍摄设备1和拍摄设备2在同一时刻所拍摄的图像帧，如获取图像帧1和图像帧2作为第一图像帧。即在本申请中，获取的各个第一图像帧均是各个拍摄设备在同一时刻所拍摄得到的视频帧，由于拍摄时刻相同，且拍摄设备的拍摄范围存在交集，而存在交集的拍摄设备所拍摄得到的图像帧中必然存在相同的物体，因此，后续移动设备可根据存在的相同的物体的在不同图像帧的位置信息确定该物体在世界坐标系的位置信息。

步骤S13，从各个上述第一图像帧中分别提取视觉特征点，得到对应的第一视觉特征点。

具体地，为了将从第一图像帧提取到的特征点与第一地图的特征点进行区别，本申请实施例将从各个第一图像帧提取到的特征点均称为第一视觉特征点。其中，第一视觉特征点的数量通常大于1。

本申请实施例中，由于第一图像帧是由至少两个不同的拍摄设备拍摄得到，因此，第一图像帧的数量大于1，即该步骤中，将分别从各个第一图像帧中提取对应的第一视觉特征点以及该第一视觉特征点对应的特征描述子。

在一些实施例中，为了提高得到的特征点的精度以及实时性，本申请实施例的第一视觉特征点为ORB(Oriented FAST and Rotated BRIEF)特征点，该第一视觉特征点对应的特征描述子为BRISK描述子。

步骤S14，根据各个上述第一视觉特征点，确定新的地图点。

具体地，根据各个第一图像帧中的第一视觉特征点确定同一个位置点在不同第一图像帧的位置，再根据双目三角化原理确定该位置点在世界坐标系上的坐标，最后根据该位置点确定新的地图点。

需要指出的是，由于各个第一图像帧中所包含的同一个位置点的数量通常大于1，因此，得到的新的地图点的数量也通常大于1。

步骤S15，确定至少一个上述拍摄设备的当前位姿。

由于各个拍摄设备之间的相对位置是固定的，因此，在本申请实施例中，当一个拍摄设备的当前位姿被确定后，就能确定其他拍摄设备的当前位姿。

步骤S16，根据上述新的地图点和至少一个上述拍摄设备的当前位姿，在上述第一地图插入上述新的地图点，得到第二地图。

由于在确定出新的地图点时就确定了该新的地图点在世界坐标系所对应的坐标，而拍摄设备的当前位姿能够反映该拍摄设备的朝向，因此，结合拍摄设备的当前位姿能够快速将新的地图点插入到第一地图上，得到该第一地图的增量地图(即第二地图)。

在一些实施例中，若移动设备接收到定位指令，则根据第二地图响应该定位指令。由于第二地图是新生成的地图，因此，根据该第二地图进行定位，能够提高定位的成功率。需要指出的是，当后续需要继续进行增量建图时，则以该第二地图作为已构建的地图(即第一地图)进行增量建图。

本申请实施例中，在第一地图上对至少一个上述拍摄设备当前所在的位置进行重定位，得到重定位结果，在上述重定位结果指示已成功对至少一个上述拍摄设备当前所在的位置重定位后，获取至少两个第一图像帧，并从各个上述第一图像帧中分别提取视觉特征点，得到对应的第一视觉特征点，再根据各个上述第一视觉特征点，确定新的地图点，以及，确定至少一个上述拍摄设备的当前位姿，最后根据上述新的地图点和至少一个上述拍摄设备的当前位姿，在上述第一地图插入上述新的地图点，得到第二地图。由于第一地图为已构建的地图，因此，先在第一地图对拍摄设备进行重定位之后，再根据各个拍摄设备在同一时刻所分别拍摄得到第一图像帧确定新的地图点，能够保证得到坐标的准确性，即能够保证得到的新的地图点的准确性，进而能够提高生成的第二地图的准确性。此外，由于在第一地图插入新的地图点时还结合了拍摄设备的当前位姿，而拍摄设备的当前位姿能够反映该拍摄设备的朝向，因此，结合该拍摄设备的朝向能够快速在第一地图查找到新的地图点所在的位置，进而能够快速在第一地图上插入该新的地图点，从而提高了生成第二地图的速度。也即，在本申请实施例中，由于第二地图是在第一地图的基础上生成，因此，提高了第二地图的生成速度，同时，由于第二地图是新生成的地图，因此，当移动设备需要进行定位时，与根据第一地图进行定位相比，根据该第二地图进行定位能够提高该移动设备的定位成功率。

在一些实施例中，上述步骤S11包括：

A1、获取至少两个第二图像帧，其中，各个上述第二图像帧分别由不同的上述拍摄设备在同一时刻分别拍摄得到。

其中，第二图像帧的拍摄时刻与第一图像帧的拍摄时刻不同，例如，若第二图像帧的拍摄时刻为T，则第一图像帧的拍摄时刻可为(T+1)。

A2、分别确定各个上述第二图像帧的视觉特征点以及对应的特征描述子，得到第二视觉特征点以及第二特征描述子。

具体地，将从第二图像帧提取到的任意的视觉特征点均称为第二视觉特征点，该第二视觉特征点对应的特征描述子称为第二特征描述子。

在一些实施例中，为了提高得到的特征点的精度以及实时性，本申请实施例的第二视觉特征点属于ORB特征点，该第二视觉特征点对应的特征描述子属于BRISK描述子。

A3、以上述第二视觉特征点为依据，分别将每一个上述第二图像帧中的第二特征描述子与上述第一地图的特征描述子进行匹配，得到匹配结果，上述匹配结果用于指示被匹配的第二图像帧的第二特征描述子与上述第一地图的特征描述子的匹配程度，其中，当上述匹配程度满足预设的匹配要求，则判定成功对上述至少一个上述拍摄设备当前所在的位置进行重定位。

本申请实施例中，预先存储了第一地图的3D点和关键帧信息。其中，关键帧信息包含建立第一地图时采集到那一帧图像的特征点(即2D点)，还可以包括拍摄设备位姿以及关键帧之间的位姿约束关系、关键帧和地图点的约束关系等。关键帧的选取和拍摄设备的位移旋转有关，如果拍摄设备没有移动，则不需要添加新的关键帧，如果拍摄设备平移或者旋转了一定阈值，则需要添加新的关键帧，这样即可维护一个稳定的连续的拍摄设备位姿和完整的地图信息。

当然，该关键帧信息还可以包括2D点和3D点存在对应的关系，且包含这一时刻的约束关系，约束关系包括位姿图优化的边的关系。

在本申请实施例中，对每一个第二图像帧，将该第二图像帧的第二视觉特征点的第二特征描述子与第一地图的特征描述子进行匹配，如果匹配后得到的分数大于预设的分数阈值，则认为匹配成功，即对拍摄设备重定位成功。考虑到第二图像帧的数量大于1，而匹配成功的第二图像帧的数量也可能大于1，因此，只将匹配后得到的分数大于预设的分数阈值，且该匹配后得到的分数为最高的分数所对应的第二图像帧判定为匹配成功，进而根据匹配结果对拍摄该第二图像帧的拍摄设备进行重定位。由于各个拍摄设备之间的相对位置是固定的，因此，只要成功对一个拍摄设备进行重定位，则也能够成功对其他拍摄设备进行重定位。

本申请实施例中，由于特征描述子是扔掉多余的信息后，以有用的信息对特征点进行描述，因此，通过将第二图像帧的特征描述子与第一地图的特征描述子比较来对拍摄该第二图像帧的拍摄设备进行重定位，能够提高比较速度，进而提高重定位的速度。

在一些实施例中，上述A3中分别将每一个上述第二图像帧中的各个第二特征描述子与上述第一地图的特征描述子进行匹配，包括：

对各个上述第二图像帧中的任一个第二图像帧，均执行以下步骤：

A31、确定用于获取上述第二图像帧的拍摄设备的位置信息。

具体地，拍摄设备的位置信息可通过其安装的设备的位置信息体现，例如，假设拍摄设备是安装在移动设备上，则可将该移动设备在获得第二图像帧时的位置信息作为该拍摄设备的位置信息。当然，也可以根据拍摄设备在移动设备的安装位置以及该移动设备在获得第二图像帧时的位置信息，确定该拍摄设备的位置信息。

A32、在上述第一地图上确定与上述位置信息距离在指定距离之内的地图点。

在得到拍摄设备的位置信息后，根据第一地图的3D点云信息确定与该位置信息对应的3D点云信息，再确定与该3D点云信息相邻的3D点云信息，比如将与该3D点云信息的距离为指定距离之内的3D点云信息所对应的地图点确定为所求的地图点。

在一些实施例中，可采用KD-Tree存储第一地图的地图点的相关信息，如存储地图点以及该地图点对应的位置信息。当确定拍摄设备的位置信息之后，可通过KD-Tree查找与上述位置信息相邻的位置信息所对应的地图点，以提高查找的速度。

A33、将确定的上述地图点投影到上述第二图像帧中，得到二维投影点。

由于地图点为3D(即三维)的点云，而第二图像帧的视觉特征点为2D(即二维)的特征点，因此，为了便于后续的比较，则需要将地图点投影到第二图像帧中。

A34、将上述第二图像帧的第二特征描述子与上述二维投影点的特征描述子进行匹配。

具体地，获取二维投影点的特征描述子，再将该二维投影点的特征描述子分别与第二特征描述子比较，若某个二维投影点的特征描述子与某个第二特征描述子相同，则表明该某个二维投影点与该某个第二特征点相同，否则，表明该某个二维投影点与该某个第二特征点不同。

在本申请实施例中，由于投影到第二图像帧的地图点是与拍摄设备的位置信息距离在指定距离之内的地图点，因此，从这些地图点得到二维投影点之后，将该二维投影点的特征描述子与第二特征描述子比较，能够提高查找到与第二视觉特征点(该第二特征描述子对应的视觉特征点)匹配的地图点的速率，进而能够提高成功进行重定位的速率。

在一些实施例中，在上述步骤A34之后，包括：

若上述第二图像帧的第二特征描述子与上述二维投影点的特征描述子不匹配，则在上述第一地图对应的所有的特征描述子中查找与上述第二图像帧的第二特征描述子匹配的特征描述子。

本申请实施例中，当在第一地图进行局部搜索时没有搜索到与第二特征描述子匹配的特征描述子之后，将扩大搜索范围。例如，预先在词袋模型字典(Dictionary Bag ofwords，DBoW)存储第一地图的特征点及其对应特征描述子，在得到第二图像的特征点之后，通过该DBoW查找第一地图中与第二特征描述子匹配的特征描述子。由于扩大了搜索范围，因此，能够提高重定位的成功概率。

在一些实施例中，在上述在上述第一地图对应的所有的特征描述子中查找与上述第二图像帧的第二特征描述子匹配的特征描述子之后，还包括：

B1、若在上述第一地图对应的所有的特征描述子中均没有查找到与上述第二图像帧的第二特征描述子匹配的特征描述子，则在上述第一地图所对应的场景中加入具有指定形状的目标体。

本申请实施例中，当在第一地图为拍摄设备重定位失败之后，可通过在场景中加入容易辨认的目标体来提高匹配的速率。

其中，指定形状的目标体包括矩形的二维码。例如，可在场景中粘贴二维码，在该二维码加入场景后，该二维码的位置通常不会改变。由于二维码的角点容易被检测出，因此，移动设备后续依据该二维码的角点能够提高构建增量地图的成功率。

B2、获取各个上述拍摄设备对加入了上述目标体的场景拍摄得到的至少两个第三图像帧。

本申请实施例中，由于在场景中增加目标体后，再获取各个拍摄设备对场景进行拍摄得到的图像帧(即第三图像帧)，因此，所获取的第三图像帧中存在包括该目标体的图像帧。

B3、从各个上述第三图像帧中分别提取视觉特征点，得到第三视觉特征点。

其中，该第三视觉特征点可属于ORB特征点，该第三视觉特征点对应的特征描述子属于BRISK描述子。

B4、根据各个上述第三视觉特征点确定对应的地图点，并根据确定的上述地图点生成第三地图。

具体地，可根据双目三角化原理确定各个第三视觉特征点确定对应的地图点，再根据各个地图点生成第三地图。

本申请实施例中，当不能在第一地图对拍摄设备进行重定位之后，将在第一地图所对应的场景中加入目标体。由于目标体具有指定形状，因此，后续从加入目标体的场景所对应的图像帧中提取出第三视觉特征点，并根据该第三视觉特征点生成第三地图后，该第三地图将包含该目标体的信息。这样，当需要在第三地图的基础上构建增量地图时，可将该第三地图作为新的第一地图，并以该新的第一地图为依据进行增量地图的构建。由于新的第一地图包含目标体的信息，而目标体的信息容易被检测到，因此，后续依据新的第一地图进行增量地图的构建时，能够提高视觉特征点的匹配速度，进而提高增量地图的构建速度。例如，在目标体为二维码时，首先将二维码四个角点建立到第一地图中，并且每个角点有唯一ID，四个角点对应一个二维码的ID。在二维码重定位过程中，如果在当前图像帧检测到二维码的四个角点，并且在第一地图中也搜索到对应的角点，则重定位成功。

在一些实施例中，若被匹配的第二图像帧的第二特征描述子与上述第一地图的特征描述子的匹配程度满足预设的匹配要求，则上述地图构建方法还包括：

C1、根据被匹配的第二图像帧所对应的第二视觉特征点以及被匹配的上述第一地图的视觉特征点，确定拍摄上述被匹配的第二图像帧的拍摄设备的位姿。

具体地，可根据n点透视(Perspective-n-Point，PnP)法确定拍摄设备的位姿。其中，PnP是求解3D到2D点对运动的方法。其解决的是，当我们知道了n个3D空间点以及它们在2D图像中的投影位置时，如何估计拍摄设备所在的位姿。

C2、根据拍摄上述被匹配的第二图像帧的拍摄设备的位姿更新上述移动设备的视觉惯性里程计，上述视觉惯性里程计用于估计上述移动设备的位姿。

由于根据图像帧确定的拍摄设备的位姿更准确，因此，采用根据图像帧确定的拍摄设备的位姿来更新视觉惯性里程计(Visual-Inertial Odometry，VIO)，能够提高VIO记录的位姿的准确度。

对应地，上述步骤S15具体包括：

根据上述视觉惯性里程计所估计的位姿确定至少一个上述拍摄设备的位姿。

本申请实施例中，由于与根据图像帧确定拍摄设备的位姿相比，根据VIO确定拍摄设备的位姿的速度更快，因此，可根据该VIO输出的位姿确定拍摄设备的位姿，以提高生成第二地图的速度。

当然，由于VIO存在累积误差，因此，可设定一个时长，在该时长到达后，再根据各个拍摄设备所拍摄得到的新的图像帧来确定拍摄设备的位姿，并采用该位姿更新VIO的位姿。或者，在VIO不能输出新的位姿后，根据各个拍摄设备所拍摄得到的新的图像帧来确定拍摄设备的位姿，并采用该位姿更新VIO的位姿。

在一些实施例中，在上述步骤S16之前，还包括：

对上述新的地图点进行外点删除。

具体地，可通过随机抽样一致性(Random Sample Consensus，RANSAC)方法对各个地图点中的外点进行剔除。其中，RANSAC能鲁棒地估计模型参数。例如，它能从包含大量局外点的数据集中估计出高精度的参数。

对应地，上述步骤S16包括：

在上述第一地图中插入进行外点删除后所剩下的地图点，得到上述第二地图。

本申请实施例中，由于外点为局外点，因此，将进行外点删除后所剩下的地图点插入第一地图，能够提高得到的第二地图的精度。

在一些实施例中，本申请实施例提供的地图构建方法还包括：

D1、对上述地图点对应的图像帧以及上述第一地图的关键帧进行回环检测，得到回环检测结果。

具体地，可利用PnP法确定地图点对应的2D点，进而确定该地图点对应的图像帧。

在一些实施例中，上述地图点可以为执行外点删除后剩下的地图点，若地图点为需要被删除的地图点，则不对该地图点所对应的图像帧进行回环检测。

D2、若上述回环检测结果指示拍摄设备曾经经过上述地图点所对应的位置，则对上述第一地图进行全局优化。

具体地，在当前的图像帧与第一地图的某个关键帧的相似度大于预设的相似度阈值时，表明回环检测结果指示拍摄设备曾经经过该第一地图的该某个关键帧对应的地图点所对应的位置，之后，将对第一地图进行全局优化，以得到全局约束一致的第二地图。

在一些实施例中，若上述回环检测结果指示拍摄设备曾经没有经过上述地图点所对应的位置，则对该第一地图进行局部优化。

在一些实施例中，可采用光束法平差(Bundle Adjustment，BA)的方法对第一地图进行优化(如全局优化或局部优化)。由于BA是通过多帧联合来优化出误差最小的状态量，这个状态量即是拍摄设备(如相机)的位姿和地图点，因此，通过BA优化将地图点添加到第一地图中能够提高添加的地图点的精度。

在一些实施例中，也可以基于滤波的方法对第一地图进行全局优化，此处不作限定。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例二：

对应于上文实施例的地图构建方法，图2示出了本申请实施例提供的地图构建装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图2，该地图构建装置2应用于包括至少两个拍摄设备的移动设备，各个上述拍摄设备的拍摄范围具有交集，且各个上述拍摄设备之间的相对位置是固定的，上述地图构建装置2包括：重定位模块21、第一图像帧获取模块22、第一视觉特征点确定模块23、新的地图点确定模块24、拍摄设备的当前位姿确定模块25、第二地图生成模块26。其中：

重定位模块21，用于在第一地图上对至少一个上述拍摄设备当前所在的位置进行重定位，得到重定位结果，其中，上述第一地图为已构建的地图。

第一图像帧获取模块22，用于在上述重定位结果指示已成功对至少一个上述拍摄设备当前所在的位置重定位后，获取至少两个第一图像帧，其中，各个上述第一图像帧分别由不同的上述拍摄设备在同一时刻分别拍摄得到。

第一视觉特征点确定模块23，用于从各个上述第一图像帧中分别提取视觉特征点，得到对应的第一视觉特征点。

在一些实施例中，本申请实施例的第一视觉特征点为ORB特征点，该第一视觉特征点对应的特征描述子为BRISK描述子。

新的地图点确定模块24，用于根据各个上述第一视觉特征点，确定新的地图点。

拍摄设备的当前位姿确定模块25，用于确定至少一个上述拍摄设备的当前位姿。

第二地图生成模块26，用于根据上述新的地图点和至少一个上述拍摄设备的当前位姿，在上述第一地图插入上述新的地图点，得到第二地图。

本申请实施例中，由于第一地图为已构建的地图，因此，先在第一地图对拍摄设备进行重定位之后，再根据各个拍摄设备在同一时刻所分别拍摄得到第一图像帧确定新的地图点，能够保证得到坐标的准确性，即能够保证得到的新的地图点的准确性，进而能够提高生成的第二地图的准确性。此外，由于在第一地图插入新的地图点时还结合了拍摄设备的当前位姿，而拍摄设备的当前位姿能够反映该拍摄设备的朝向，因此，结合该拍摄设备的朝向能够快速在第一地图查找到新的地图点所在的位置，进而能够快速在第一地图上插入该新的地图点，从而提高了生成第二地图的速度。也即，在本申请实施例中，由于第二地图是在第一地图的基础上生成，因此，提高了第二地图的生成速度，同时，由于第二地图是新生成的地图，因此，当移动设备需要进行定位时，与根据第一地图进行定位相比，根据该第二地图进行定位能够提高该移动设备的定位成功率。

在一些实施例中，该地图构建装置2还包括：

定位模块，用于在接收到定位指令时，根据第二地图响应该定位指令。

在一些实施例中，上述重定位模块21包括：

第二图像帧获取单元，用于获取至少两个第二图像帧，其中，各个上述第二图像帧分别由不同的上述拍摄设备在同一时刻分别拍摄得到。

第二视觉特征点确定单元，用于分别确定各个上述第二图像帧的视觉特征点以及对应的特征描述子，得到第二视觉特征点以及第二特征描述子。

特征匹配单元，用于以上述第二视觉特征点为依据，分别将每一个上述第二图像帧中的第二特征描述子与上述第一地图的特征描述子进行匹配，得到匹配结果，上述匹配结果用于指示被匹配的第二图像帧的第二特征描述子与上述第一地图的特征描述子的匹配程度，其中，当上述匹配程度满足预设的匹配要求，则判定成功对上述至少一个上述拍摄设备当前所在的位置进行重定位。

在一些实施例中，上述特征匹配单元在分别将每一个上述第二图像帧中的各个第二特征描述子与上述第一地图的特征描述子进行匹配时，具体包括：

对各个上述第二图像帧中的任一个第二图像帧，均执行以下步骤：

确定用于获取上述第二图像帧的拍摄设备的位置信息；

在上述第一地图上确定与上述位置信息距离在指定距离之内的地图点；

将确定的上述地图点投影到上述第二图像帧中，得到二维投影点；

将上述第二图像帧的第二特征描述子与上述二维投影点的特征描述子进行匹配。

在一些实施例中，在上述将上述第二图像帧的第二特征描述子与上述二维投影点的特征描述子进行匹配之后，上述特征匹配单元还用于：

若上述第二图像帧的第二特征描述子与上述二维投影点的特征描述子不匹配，则在上述第一地图对应的所有的特征描述子中查找与上述第二图像帧的第二特征描述子匹配的特征描述子。

在一些实施例中，该地图构建装置2还包括：

目标体增加模块，用于若在上述第一地图对应的所有的特征描述子中均没有查找到与上述第二图像帧的第二特征描述子匹配的特征描述子，则在上述第一地图所对应的场景中加入具有指定形状的目标体。

第三图像帧获取模块，用于获取各个上述拍摄设备对加入了上述目标体的场景拍摄得到的至少两个第三图像帧。

第三视觉特征点确定模块，用于从各个上述第三图像帧中分别提取视觉特征点，得到第三视觉特征点。

第三地图生成模块，用于根据各个上述第三视觉特征点确定对应的地图点，并根据确定的上述地图点生成第三地图。

在一些实施例中，若上述匹配程度满足预设的匹配要求，则上述地图构建装置2还包括：

拍摄设备的位姿确定模块，用于根据被匹配的第二图像帧所对应的第二视觉特征点以及被匹配的上述第一地图的视觉特征点，确定拍摄上述被匹配的第二图像帧的拍摄设备的位姿。

视觉惯性里程计的位姿更新模块，用于根据拍摄上述被匹配的第二图像帧的拍摄设备的位姿更新上述移动设备的视觉惯性里程计，上述视觉惯性里程计用于估计上述移动设备的位姿。

对应地，拍摄设备的当前位姿确定模块25具体用于：

根据上述视觉惯性里程计所估计的位姿确定至少一个上述拍摄设备的位姿。

在一些实施例中，该地图构建装置2还包括：

外点删除模块，用于对上述新的地图点进行外点删除。

上述第二地图生成模块26具体用于：

在上述第一地图中插入进行外点删除后所剩下的地图点，得到上述第二地图。

在一些实施例中，本申请实施例提供的地图构建装置2还包括：

回环检测结果确定模块，用于对上述地图点对应的图像帧以及上述第一地图的关键帧进行回环检测，得到回环检测结果。

具体地，可利用PnP法确定地图点对应的2D点，进而确定该地图点对应的图像帧。

在一些实施例中，上述地图点可以为执行外点删除后剩下的地图点，若地图点为需要被删除的地图点，则不对该地图点所对应的图像帧进行回环检测。

全局优化模块，用于若上述回环检测结果指示拍摄设备曾经经过上述地图点所对应的位置，则对上述第一地图进行全局优化。

具体地，在当前的图像帧与第一地图的某个关键帧的相似度大于预设的相似度阈值时，表明回环检测结果指示拍摄设备曾经经过该第一地图的该某个关键帧对应的地图点所对应的位置，之后，将对第一地图进行全局优化，以得到全局约束一致的第二地图。

在一些实施例中，全局优化模块还用于：上述回环检测结果指示拍摄设备曾经没有经过上述地图点所对应的位置，则对该第一地图进行局部优化。

在一些实施例中，可采用光束法平差(Bundle Adjustment，BA)的方法对第一地图进行优化(如全局优化或局部优化)。由于BA是通过多帧联合来优化出误差最小的状态量，这个状态量即是拍摄设备(如相机)的位姿和地图点，因此，通过BA优化将地图点添加到第一地图中能够提高添加的地图点的精度。

在一些实施例中，也可以基于滤波的方法对第一地图进行全局优化，此处不作限定。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

实施例三：

图3为本申请一实施例提供的移动设备的结构示意图。如图3所示，该实施例的移动设备3包括：至少一个处理器30(图3中仅示出一个处理器)、存储器31以及存储在所述存储器31中并可在所述至少一个处理器30上运行的计算机程序32，所述处理器30执行所述计算机程序32时实现上述任意各个方法实施例中的步骤。

所述移动设备3可以是机器人、导航设备等。该移动设备可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图3仅仅是移动设备3的举例，并不构成对移动设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，该处理器30还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器31在一些实施例中可以是所述移动设备3的内部存储单元，例如移动设备3的硬盘或内存。所述存储器31在另一些实施例中也可以是所述移动设备3的外部存储设备，例如所述移动设备3上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器31还可以既包括所述移动设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动设备上运行时，使得移动设备执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/移动设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种地图构建方法，其特征在于，应用于包括至少两个拍摄设备的移动设备，各个所述拍摄设备的拍摄范围具有交集，且各个所述拍摄设备之间的相对位置是固定的，所述地图构建方法包括：

在第一地图上对至少一个所述拍摄设备当前所在的位置进行重定位，得到重定位结果，其中，所述第一地图为已构建的地图；

在所述重定位结果指示已成功对至少一个所述拍摄设备当前所在的位置重定位后，获取至少两个第一图像帧，其中，各个所述第一图像帧分别由不同的所述拍摄设备在同一时刻分别拍摄得到；

从各个所述第一图像帧中分别提取视觉特征点，得到对应的第一视觉特征点；

根据各个所述第一视觉特征点，确定新的地图点；

确定至少一个所述拍摄设备的当前位姿；

根据所述新的地图点和至少一个所述拍摄设备的当前位姿，在所述第一地图插入所述新的地图点，得到第二地图。

2.如权利要求1所述的地图构建方法，其特征在于，所述在第一地图上对至少一个所述拍摄设备当前所在的位置进行重定位，得到重定位结果，包括：

获取至少两个第二图像帧，其中，各个所述第二图像帧分别由不同的所述拍摄设备在同一时刻分别拍摄得到；

分别确定各个所述第二图像帧的视觉特征点以及对应的特征描述子，得到第二视觉特征点以及第二特征描述子；

以所述第二视觉特征点为依据，分别将每一个所述第二图像帧中的第二特征描述子与所述第一地图的特征描述子进行匹配，得到匹配结果，所述匹配结果用于指示被匹配的第二图像帧的第二特征描述子与所述第一地图的特征描述子的匹配程度，其中，当所述匹配程度满足预设的匹配要求，则判定成功对所述至少一个所述拍摄设备当前所在的位置进行重定位。

3.如权利要求2所述的地图构建方法，其特征在于，所述分别将每一个所述第二图像帧中的各个第二特征描述子与所述第一地图的特征描述子进行匹配，包括：

对各个所述第二图像帧中的任一个第二图像帧，均执行以下步骤：

确定用于获取所述第二图像帧的拍摄设备的位置信息；

在所述第一地图上确定与所述位置信息距离在指定距离之内的地图点；

将确定的所述地图点投影到所述第二图像帧中，得到二维投影点；

将所述第二图像帧的第二特征描述子与所述二维投影点的特征描述子进行匹配。

4.如权利要求3所述的地图构建方法，其特征在于，在所述将所述第二图像帧的第二特征描述子与所述二维投影点的特征描述子进行匹配之后，包括：

若所述第二图像帧的第二特征描述子与所述二维投影点的特征描述子不匹配，则在所述第一地图对应的所有的特征描述子中查找与所述第二图像帧的第二特征描述子匹配的特征描述子。

5.如权利要求4所述的地图构建方法，其特征在于，在所述在所述第一地图对应的所有的特征描述子中查找与所述第二图像帧的第二特征描述子匹配的特征描述子之后，还包括：

若在所述第一地图对应的所有的特征描述子中均没有查找到与所述第二图像帧的第二特征描述子匹配的特征描述子，则在所述第一地图所对应的场景中加入具有指定形状的目标体；

获取各个所述拍摄设备对加入了所述目标体的场景拍摄得到的至少两个第三图像帧；

从各个所述第三图像帧中分别提取视觉特征点，得到第三视觉特征点；

根据各个所述第三视觉特征点确定对应的地图点，并根据确定的所述地图点生成第三地图。

6.如权利要求2至4任一项所述的地图构建方法，其特征在于，若所述匹配程度满足预设的匹配要求，则所述地图构建方法还包括：

根据被匹配的第二图像帧所对应的第二视觉特征点以及被匹配的所述第一地图的视觉特征点，确定拍摄所述被匹配的第二图像帧的拍摄设备的位姿；

根据拍摄所述被匹配的第二图像帧的拍摄设备的位姿更新所述移动设备的视觉惯性里程计，所述视觉惯性里程计用于估计所述移动设备的位姿；

对应地，所述确定至少一个所述拍摄设备的当前位姿，包括：

根据所述视觉惯性里程计所估计的位姿确定至少一个所述拍摄设备的位姿。

7.如权利要求2至4任一项所述的地图构建方法，其特征在于，在所述根据所述新的地图点和至少一个所述拍摄设备的当前位姿，在所述第一地图插入所述新的地图点之前，包括：

对所述新的地图点进行外点删除；

所述根据所述新的地图点和至少一个所述拍摄设备的当前位姿，在所述第一地图插入所述新的地图点，包括：

在所述第一地图中插入进行外点删除后所剩下的地图点，得到所述第二地图。

8.一种地图构建装置，其特征在于，应用于包括至少两个拍摄设备的移动设备，各个所述拍摄设备的拍摄范围具有交集，且各个所述拍摄设备之间的相对位置是固定的，所述地图构建装置包括：

重定位模块，用于在第一地图上对至少一个所述拍摄设备当前所在的位置进行重定位，得到重定位结果，其中，所述第一地图为已构建的地图；

第一图像帧获取模块，用于在所述重定位结果指示已成功对至少一个所述拍摄设备当前所在的位置重定位后，获取至少两个第一图像帧，其中，各个所述第一图像帧分别由不同的所述拍摄设备在同一时刻分别拍摄得到；

第一视觉特征点确定模块，用于从各个所述第一图像帧中分别提取视觉特征点，得到对应的第一视觉特征点；

新的地图点确定模块，用于根据各个所述第一视觉特征点，确定新的地图点；

拍摄设备的当前位姿确定模块，用于确定至少一个所述拍摄设备的当前位姿；

第二地图生成模块，用于根据所述新的地图点和至少一个所述拍摄设备的当前位姿，在所述第一地图插入所述新的地图点，得到第二地图。

9.一种移动设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

Images