CN114419189A - 地图构建方法及装置、电子设备、存储介质 - Google Patents

Abstract

本公开实施例是关于一种地图构建方法及装置、电子设备、存储介质，涉及视觉定位技术领域，该地图构建方法包括：对二维图像集中的图像进行特征提取生成匹配关系图，并基于所述匹配关系图对二维图像集中的所有图像进行重建，以构建点云数据；对待匹配图像进行特征提取获取线特征，根据所述点云数据确定所述待匹配图像的候选图像匹配对，并基于所述候选图像匹配对确定线特征候选匹配对；将所述线特征候选匹配对进行分数评估确定目标匹配对，并根据所述目标匹配对构建所述待匹配图像对应的线地图。本公开的技术方案能够提高构建的线地图的准确性。

Description

地图构建方法及装置、电子设备、存储介质

本公开涉及视觉定位技术领域，具体而言，涉及一种地图构建方法、地图构建装置、电子设备以及计算机可读存储介质。

背景技术

对于视觉定位来说，点云地图的构建以及基于点匹配的相机位姿求解可以满足大部分的应用场景，但是对于结构化信息丰富但大量纯色的场景会出现算法失效的情况。因此需要重构线地图来辅助视觉定位。

相关技术中，基于激光雷达数据的线特征进行地图构建，或者是直接使用描述子进行直线匹配，从而基于图像数据进行线特征地图构造。

上述方式中，依赖激光雷达时在线特征地图的应用层面具有局限性，无法直接使用。使用描述子进行匹配，匹配精度较低，因此准确性较差。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种地图构建方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的生成的无法准确构建线地图的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种地图构建方法，其特征在于，包括：对二维图像集中的图像进行特征提取生成匹配关系图，并基于所述匹配关系图对二维图像集中的所有图像进行重建，以构建点云数据；对待匹配图像进行特征提取获取线特征，根据所述点云数据确定所述待匹配图像的候选图像匹配对，并基于所述候选图像匹配对确定线特征候选匹配对；将所述线特征候选匹配对进行分数评估确定目标匹配对，并根据所述目标匹配对构建所述待匹配图像对应的线地图。

根据本公开的一个方面，提供一种地图构建装置，包括：点云数据构建模块，用于对二维图像集中的图像进行特征提取生成匹配关系图，并基于所述匹配关系图对二维图像集中的所有图像进行重建，以构建点云数据；线特征匹配模块，用于对待匹配图像进行特征提取获取线特征，根据所述点云数据确定所述待匹配图像的候选图像匹配对，并基于所述候选图像匹配对确定线特征候选匹配对；线地图构建模块，用于将所述线特征候选匹配对进行分数评估确定目标匹配对，并根据所述目标匹配对构建所述待匹配图像对应的线地图。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的地图构建方法。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的地图构建方法。

本公开实施例中提供的地图构建方法、地图构建装置、电子设备以及计算机可读存储介质中，一方面，根据点云数据确定待匹配图像的候选图像匹配对，基于所述候选图像匹配对确定线特征候选匹配对，并将所述线特征候选匹配对进行分数评估确定目标匹配对，根据所述目标匹配对构建线地图。由于提供了线特征信息，避免了应用层面的局限性，增加了应用范围。另一方面，利用线特征进行匹配并且能够根据线特征候选匹配对的相似性分数来确定目标匹配对，能够提高匹配对的准确性，进而精准地构建线地图，提高定位准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开实施例的地图构建方法或地图构建装置的系统架构的示意图。

图2示意性示出本公开实施例中一种地图构建方法的示意图。

图3示意性示出本公开实施例中确定初始图像匹配对的流程示意图。

图4示意性示出本公开实施例中三角化的示意图。

图5示意性示出本公开实施例中重建图像的流程示意图。

图6示意性示出本公开实施例中确定线特征候选匹配对的示意图。

图7示意性示出本公开实施例中线特征候选匹配对的示意图。

图8示意性示出本公开实施例中线特征建图结果示意图。

图9示意性示出本公开实施例中局部区域的稀疏点云和线地图的示意图。

图10示意性示出本公开实施例中构建线地图的整体流程的示意图。

图11示意性示出本公开实施例中一种地图构建装置的框图。

图12示出了适于用来实现本公开实施例的电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

相关技术中提供了以下几种方式：方式一、通过一种直线特征地图的EKF-SLAM算法，利用激光雷达提取环境中的直线特征，并根据直线特征来建立线特征地图；系统对激光雷达测量的数据激进型区域分割和直线拟合，得到直线特征的参数方程，作为SLAM中的局部线特征地图。方式二、可以对扫描到的激光数据进行降噪滤波处理后，通过动态阈值法对激光点云数据进行区域分割，然后对区域内的数据利用黄金分割的方法进行线段拟合，得到局部地图；最后采用扇形匹配方法实现局部地图的融合，得到全局地图。方式三、采用光流跟踪法估计相邻图像的本质矩阵，然后提取LSD线特征，计算LBD描述子，利用描述子进行匹配，计算参考帧每一条直线的中点极线与匹配直线的交点集合，最终对交点集合进行三角化和直线拟合，构造重投影误差，优化线的位置和相机位姿，得到线地图。

上述的技术方案中，方式一提供给了局部线地图构建方法供SLAM的位姿优化使用，方式二对局部地图进行融合，得到了全局一致的线特征地图。但这两种方案，主要依赖激光雷达的硬件设备优势，只有结构特征，没有视觉特征，在线特征地图的应用层面上具有局限性，无法直接在低成本的彩色相机硬件设备上使用。方式三是基于图像数据的线特征地图构造，该方法的直接使用LBD描述子进行直线匹配，匹配精度较低，错误匹配会为后续的三角化带来误差。另外，该方法的相机位姿估计是利用线特征的重投影误差进行优化的，由于不同视角下，线特征会出现遮挡等问题，直接用线的重投影误差估计的相机位姿精度受限，从而影响到最终的线地图构建。

为了解决上述技术问题，本公开实施例中提供了一种地图构建方法，可以应用于各种类型的增强现实的应用场景，例如可以应用于纹理较少的应用场景。图1示出了可以应用本公开实施例的地图构建方法或地图构建装置的系统架构的示意图。

如图1所示，该系统架构100可以包括：相机110、网络120和电子设备130。相机110是指配置单摄像头或双摄像头的相机；电子设备130可以是具有处理功能的设备，如计算机、智能手机、平板电脑、智能可穿戴设备(如AR眼镜)、机器人、无人机等。相机110可以通过网络120，与电子设备130形成通讯连接，将所采集的图像或视频传输至电子设备130，由电子设备130进行分析处理。图1示出相机110设置于电子设备130之外。在一种实施方式中，相机110还可以内置于电子设备130中，如电子设备130可以是配置了相机的智能手机或机器人。

需要说明的是，本示例性实施方式中，是对相机110拍摄的图像进行线地图构建，如果相机110内置于电子设备130，也相当于对电子设备130拍摄的图像进行线地图构建。

应当理解的是，图1中各装置的数量仅仅是示意性的，例如根据实现需要，可以设置多个相机，其分别通过网络120连接到电子设备130，电子设备130可以同时对每个相机的图像进行线地图构建，等等。

具体地，针对采集到的二维图像集，首先进行点特征提取与匹配，采用SFM算法，恢复相机位姿和特征点云的位置构建点云数据。在图像上提取2D线特征，然后利用3D点与图像的关联关系，生成图像间的匹配关系，最后利用对极几何约束，生成候选匹配对。针对候选匹配对进行三角化，在三维空间，对每个候选匹配对生成的3D线的相似度进行打分，保留分数较高的3D线。进而将3D线聚类合并精简，输出待重建图像的3D线地图。

为了解决相关技术中的问题，本公开实施例中提供了一种地图构建方法。接下来，参考图2对本公开实施例中的地图构建方法进行详细说明。

在步骤S210中，对二维图像集中的图像进行特征提取生成匹配关系图，并基于所述匹配关系图对二维图像集中的所有图像进行重建，以构建点云数据。

本公开实施例中，可以使用终端采集二维图像集，并且可以对二维图像集中的图像进行特征提取和特征匹配，以得到匹配关系图。终端可以为具有摄像头的智能终端，也可以为其他类型的设备，只要能够进行图像采集即可。此处提取的特征为图像的点特征。具体地，可以获取学习型点特征superpoint，并使用对应的匹配方法superglue完成图像的点特征的匹配过程。匹配关系图中保存了二维图像集中所有图像的特征点，具体包括但不限于图像和图像的匹配关系以及特征点和特征点的匹配关系。其中，图像和图像的匹配关系用于描述图像之间是否匹配，特征点和特征点的匹配关系用于描述特征点之间是否匹配。基于此，从匹配关系图中可以得到特征点匹配对数量、图像匹配对数量等信息。

在提取到点特征的同时，还可以对二维图像进行重建，得到相机位姿和点云位置。具体地，可以通过SFM(Structure from Motion，运动恢复结构)对二维图像进行重建。运动恢复结构(SFM)是通过一系列的2D图像，来获取图像中场景的3D坐标，从而进行重建。运动恢复结构用于通过相机的移动来确定目标的空间和几何关系，可以包括欧式结构恢复、仿射结构恢复、透视结构恢复中的任意一种。

相机位姿用于描述相机的姿态，可以先求出对应的2D点(点特征)在当前相机坐标系下的3D坐标，然后根据世界坐标系下的3D坐标和当前相机坐标系下的3D坐标求解相机位姿。点云数据指的是图像中至少一个像素点的三维信息。通过每一对匹配点的坐标，能够还原匹配点在空间当中的坐标，以得到点云数据。其中，点云数据可以为稀疏点云数据，以节省存储空间。

在进行重建时，该重建过程可以为序列化重建。序列化重建的具体过程包括：先对两个初始视角的图像进行重建，得到对应的初始点云和相机位姿；进一步对其他视角的图像进行重建得到参考三维点和参考位姿；如此进行重复直至所有视角的图像均重建成功为止。在此基础上，可以根据参考三维点对初始点云进行更新得到点云数据(将参考三维点添加至初始点云中以生成点云数据)，并根据参考位姿对相机位姿进行更新，以得到最终的相机位姿。初始视角可以为当前时刻用户能够看到的视角，具体可以为任意两个视角。其他视角可以为除初始视角之外的任意一个视角。

具体而言，首先可以根据匹配关系图中的特征点匹配对信息确定当前帧待重建图像以确定初始图像匹配对，并根据所述初始图像匹配对确定初始点云以及相机位姿。其中，当前帧待重建图像指的是初始视角下待重建的一帧图像。特征点匹配对信息指的是每一个图像的特征点匹配对总数。特征点匹配对用于描述每个图像与其他图像之间匹配的特征点。初始图像匹配对指的是初始视角下匹配成功的两个图像，例如可以为当前图像以及与其关联图像。

图3中示意性示出了确定初始图像匹配对的流程图，参考图3中所示，主要包括以下步骤：

在步骤S310中，根据图像上的特征点匹配对总数对所有图像进行排序，作为图像匹配对的第一张图像序列。

本步骤中，对于每一个图像而言，均可以存在与其具备关联关系的关联图像得到图像匹配对。图像匹配对中包括第一张图像和第二张图像。图像匹配对中的两个图像之间均通过匹配的特征点生成特征点匹配对。特征点匹配对信息指的是各图像与其他所有关联图像对应的特征点匹配对的总数。

举例而言，从匹配关系图中得到，每张图像和与其有关系的关联图像进行匹配得到图像匹配对。例如图像A和图像B、图像C、图像D均组成图像匹配对。每个图像匹配对都会生成一些特征点的匹配，例如图像A和图像B之间具有500个特征点匹配对，图像A和图像C之间具有400个特征点匹配对，图像A和图像D之间具有100个特征点匹配对，总数就是所有特征点匹配对的总和。

第一张图像序列可以为所有待重建的图像组成的序列，用于表示图像匹配对中的第一张图像，且第一张图像序列中的所有图像均可以作为当前图像。例如将第一张图像序列中的第1个图像作为当前图像或者是将第2个图像作为当前图像，此处以第1个图像作为当前图像为例进行说明。基于此，可以根据特征点匹配对信息对所有图像进行降序排序，确定图像匹配对的第一张图像序列。即，筛选特征点匹配对数量多且纹理丰富的作为待重建的这一帧，从而将筛选出来的多个图像确定第一张图像序列。

在步骤S320中，遍历第一张图像序列，根据所述第一张图像序列中当前图像与其他图像之间的特征点匹配对个数，确定第二张图像序列。

本步骤中，第二张图像序列用于表示图像匹配对中的多个第二张图像，且第二张图像序列可以为第一张图像序列中的一部分。基于此，遍历第一张图像序列，以当前图像与其他图像之间的特征点匹配对个数对第一张图像序列中的所有图像进行降序排序，确定当前图像的第二张图像序列。其中，当前图像可以为第一张图像序列中的任意一个，其他图像可以为第一张图像序列中除了当前图像之外的剩余图像中的任意一个。当第一张图像确定好之后，需要找与第一张图像最匹配的第二张图像，以生成初始图像匹配对。

在步骤S330中，遍历第二张图像序列，若当前图像和从其他图像中选择的关联图像满足几何约束，将所述当前图像和所述关联图像确定为初始图像匹配对。

本步骤中，关联图像指的是其他图像中与当前图像匹配的图像，其可以为第二张图像序列中的任意一个。几何约束用于描述不同图像之间图像的几何关系，例如可以为两条直线垂直或者平行等等。如果关联图像和当前图像之间满足设置的几何约束，则可以将当前图像和关联图像确定为初始图像匹配对。例如，初始图像匹配对为图像A和图像B。如果不满足几何约束，则继续遍历第二张图像序列，直至得到满足几何约束的关联图像为止。

本公开实施例中，在得到初始图像匹配对之后，可以根据初始图像匹配对之间的特征点匹配关系(特征点和特征点的匹配关系)，估计两张图像之间的相对位姿，以确定相机位姿。与此同时，可以对特征点匹配对进行三角化，获得初始点云。此处的初始点云指的是稀疏点云。进一步地，通过约束条件对初始点云进行优化与滤波，提高初始点云的准确性。约束条件可以为极线约束以及视角约束。其中，极线约束指的是一种点对直线的约束，而不是点与点的约束，极线约束用于将对应点匹配从整幅图像寻找压缩到在一条直线上寻找对应点。视角约束用于描述可视角度范围，例如可以包括水平可视角度或者是垂直可视角度。

接下来，可以进行下一帧重建。下一帧可以用于表示其他视角。具体地，将二维图像集中的目标图像确定为下一帧待重建图像序列，并根据初始点云对所述下一帧待重建图像序列中的待重建图像进行重建，生成参考三维点和参考位姿。其中，目标图像可以根据以下条件确定：(1)该帧图像在之前没有被重建过；(2)该帧图像在现有的3D点云中有足够多的可视点；(3)该帧图像在之前被尝试重建的次数不超过某一固定阈值，通常为3次。下一帧待重建图像序列指的是满足下一帧重建条件的图像组成的集合。待重建图像可以为其中的任意一个图像，例如可以为下一帧待重建图像序列中的第1张图像，或者是也可以为第2张图像等等，此处以待重建图像为第1张图像为例进行说明。

在对下一帧待重建图像序列中的待重建图像进行重建时，首先可以搜索所述待重建图像与初始点云之间的匹配对，即待重建图像与现有的三维点云(初始点云)之间的2D-3D匹配对，即图像和点云之间的匹配对。进一步，利用PNP算法计算待重建图像在初始点云中的参考位姿。PNP算法用于在相机位姿的基础上，根据已知的n个空间三维点(3D点)与图像2D点对应的点对，重新计算相机位姿。在确定参考位姿后，可以按照参考位姿对新增的图像匹配点对进行三角化，生成参考三维点。参考三维点指的是由于三角化而新增加的三维点。

图4中示意性示出了三角化的原理图。参考图4中所示，假设三维空间点P在世界坐标系下的齐次坐标为X＝[x,y,z,1]^T，相应的空间点P在两个视角下的投影点分别为p₁和p₂，其在各自相机坐标系下的坐标为：

两张图像对应的相机投影矩阵分别为P₁和P₂,P₁＝[P₁₁,P₁₂,P₁₃]^T，P₂＝[P₂₁,P₂₂,P₂₃]^T，其中P₁₁、P₁₂、P₁₃分别对应投影矩阵P₁的1-3行，P₂₁、P₂₂、P₂₃分别对应投影矩阵P₂的1-3行，在理想情况下，有

对于

在其两侧分别叉乘其本身，可得：

即：

可以得到：

其中，公式(3)可以由公式(1)和公式(2)线性变换得到，因此每个视角可以提供两个约束条件，联合第二个视角，可得：AX＝0，其中：

公式(4)中，当视角点数较少且不存在外点的情况下，可直接对该矩阵进行SVD分解进行求解，得到点P的坐标，当存在外点的情况下，可采用RANSAC方法进行估计。

在得到参考三维点后，可以将参考三维点添加至初始点云中，根据参考三维点对初始点云进行更新，从而得到点云数据。如此重复，直至所有视角的图像均进行重建为止。并且可以将每个视角重建得到的参考三维点均添加在初始点云中，从而得到点云数据。

需要补充的是，当下一帧待重建序列中的待重建图像重建成功，根据当前点云和参考位姿重新选取下一帧待重建图像序列进行重建，以重新生成参考三维点。当下一帧待重建序列中的待重建图像重建失败，将所述待重建图像的下一相邻图像重建作为待重建图像进行重建，以得到参考三维点，直至重建成功为止。举例而言，以待重建图像为第1张图像为例进行说明。当下一帧待重建序列中的第1张图像被成功重建，则根据当前点云和参考位姿，重新选取下一帧待重建图像序列以继续进行重建。如果第1张图像没有被成功重建，则将第2张图像作为待重建图像进行重建，以此类推直至重建成功。其中，当前点云指的是下一帧待重建序列中图像被重建成功时的点云数据。

在每一帧图像被重建之后，可以对重建成功的每一帧图像的当前点云和相机位姿进行局部优化，并在重建成功的图像满足重建条件时对重建成功的图像的相机位姿和当前点云进行全局优化，最终获取完整的三维点云作为点云数据。重建条件指的是重建图像每增加固定张数，或者重建的三维点每增加固定个数。局部优化和全局优化的优化方式可以为BA(Bundle Adjustment，光束法平差优化)。光束法平差优化能够从这些多视角信息中提取出3D点的坐标以及各个摄像机的相对位置和光学信息的过程。

图5中示意性示出了图像重建的具体流程图，参考图5中所示，主要包括以下步骤：

在步骤S501中，确定初始图像匹配对。

在步骤S502中，对初始图像匹配对进行重建。

在步骤S503中，确定下一帧待重建图像序列。

在步骤S504中，对下一帧待重建图像序列中的待重建图像进行重建。待重建图像可以为第1张图像。

在步骤S505中，判断是否重建成功。若是，则转至步骤S506；若否，则转至步骤S504。

在步骤S506中，进行局部BA优化。

在步骤S507中，判断是否达到重建频率。重建频率指的是全局BA频率。若是，则转至步骤S508。

在步骤S508中，进行全局BA优化。

在步骤S509中，判断所有图像是否重建完成。若否，则转至步骤S503。

本公开实施例中，通过先对初始视角的当前帧待重建图像进行重建得到相机位姿和初始点云，进一步对下一帧待重建图像进行重建，以得到当前位姿和参考三维点，并将参考三维点添加至初始点云中对初始点云进行补充更新，得到点云数据，实现序列化重建。能够通过点特征进行全局点地图的构建，减小由于线特征位姿估计带来的不准确性，估计出准确的相机位姿，提高点云数据的准确性。

继续参考图2中所示，在步骤S220中，对待匹配图像进行特征提取获取线特征，根据所述点云数据确定所述待匹配图像的候选图像匹配对，并基于所述候选图像匹配对确定线特征候选匹配对。

本公开实施例中，待匹配图像可以为二维图像集中的任意一个图像。可以根据点云数据来确定待匹配图像的候选图像匹配对。线特征匹配中，图像匹配对不再通过提取图像全局描述子和图像检索来确定，而是利用步骤S210中生成的点云数据的关联关系来确定。在点云数据中，一个3D点是根据各个视角的2D点三角化出来，一个3D点会被很多视角下的2D点看到。因此通过点云数据可以确定2D点所在的图像存在关联关系。

具体地，可以根据所述点云数据的关联关系，获取待匹配图像上部分特征点对应的三维特征点；遍历多个三维特征点对应的图像集合，对所有图像集合中的元素个数进行排序，并根据排序结果确定所述待匹配图像的候选图像匹配对。具体地，首先针对待匹配图像A上面有M个2D特征点，其中N个2D特征点有对应的3D点，每个3D点都是由包括待匹配图像A在内的若干张图像三角化得到。因此，部分特征点即为N个2D特征点，三维特征点指的即是3D点，且三维特征点与三维点相同。针对第i个3D点，其对应的图像集合为{I_i0,I_i1,...I_ik}。然后分别遍历N个3D点对应的图像集合，对N个集合中每个集合的元素个数进行从大到小排序，并将元素个数最大的图像I确定为与待匹配图像A最相关的图像。在此基础上，按照预设比例以及排序顺序从N个图像中选取与待匹配图像A对应的候选图像匹配对。排列顺序可以为按照从大到小排列，预设比例可以为前20％。

在确定候选图像匹配对之后，可以计算线特征候选匹配对。基于此，本公开实施例中首先可以对待匹配图像进行特征提取，以得到线特征，即一条线。线特征例如可以为LCNN特征。通常点特征的匹配采用描述子的距离远近来度量，但线特征受到视角变换，遮挡等因素的影响，同一根线可能具有不同的长度，描述子难以准确的表达出线所具有的特征，因此，本公开实施例中采用几何约束的方法进行线特征匹配。

图6中示意性示出了计算线特征候选匹配对的流程图，参考图6中所示，主要包括以下步骤：

在步骤S610中，计算候选图像匹配对中待匹配图像和匹配图像之间的基础矩阵，并根据基础矩阵以及待匹配线的端点确定参考线的端点；所述待匹配线位于待匹配图像，所述参考线位于匹配图像；

在步骤S620中，若根据待匹配线与参考线的重叠率确定所述待匹配线与所述参考线为匹配线段，确定所述待匹配线与所述参考线为线特征候选匹配对。

本公开实施例中，待匹配图像和匹配图像能够组成候选图像匹配对。基础矩阵用于对线特征之间进行映射，以将一个线特征映射到其他图像上。

具体地，根据待匹配图像与匹配图像之间的相对世界坐标系的变换矩阵，合成基础矩阵。在确定基础矩阵时，可以根据旋转矩阵、平移向量、内参矩阵以及本质矩阵确定基础矩阵。其中，两张图像的旋转矩阵分别为R₁,R₂，用于确定公式(5)中的旋转矩阵；平移向量分别为t₁,t₂具体用于确定公式(6)的平移向量和公式(7)所示的平移矩阵；内参矩阵分别为K₁,K₂，则本质矩阵E如公式(8)所示，基础矩阵F如公式(9)所示：

t＝t₂-R*t₁ 公式(6)

E＝T*R 公式(8)

本公开实施例中，通过SFM稀疏点云重建得到了相机位姿，已恢复每帧图像在世界坐标系下的旋转矩阵和平移向量，故两张图像之间的基础矩阵可以直接由两张图像相对世界坐标系的变换矩阵合成得到。相较于传统的2D特征点估计基础矩阵的方法相比，通过重建得到的基础矩阵更具有全局最优特性，引入了3D点和关联帧的约束，相机位姿合成的基础矩阵比2D匹配对估计的基础矩阵更加准确。

待匹配线指的是待匹配图像的线特征，因此待匹配线位于待匹配图像上，且待匹配线可以为线特征中的任意一个。参考线指的是匹配图像的线特征，因此参考线位于匹配图像上，且能够与待匹配线组成线特征候选匹配对。待匹配线的端点可以为其左右端点。具体地，待匹配图像可以为图像I₁，匹配图像即为I₂。其中待匹配图像上的一条待匹配线l₁的左右端点坐标分别为

两个端点在匹配图像即图像I₂上的极线方程e_left,e_right如公式(10)所示。图像I₂上的一条参考线l₂可由其左右端点q_left,q_right表示，如公式(11)所示。此时利用公式(12)将待匹配线l₁转换到匹配图像I₂上，可保证与参考线l₂共线，基于此待匹配线在匹配图像上的左右端点坐标为

最后通过判断共线的两个线段参考线(q_left,q_right)与待匹配线的

的重叠率确定两条线是否为匹配线段。重叠率的阈值例如可以为0.5。若待匹配线和参考线为匹配线段，则可以将待匹配线和参考线确定为线特征候选匹配对。

l₂＝q_left×q_right 公式(11)

在步骤S230中，将所述线特征候选匹配对进行分数评估确定目标匹配对，并根据所述目标匹配对构建所述待匹配图像对应的线地图。

本公开实施例中，通过几何匹配的方式得到的线匹配对(即线特征候选匹配对)中，会存在一对多的情况，即待匹配图像上的一条线特征(待匹配线)在其对应的匹配图像上会存在多个参考线，即采用几何约束的方法，无法一对一的确定线匹配对。为了避免这个问题，在匹配的基础上，构造相似性分数，返回一组候选匹配对作为目标匹配对。具体可以将多个线特征候选匹配对进行三角化，在3D空间中衡量线特征候选匹配对的准确性。进一步地，可以对每个线特征候选匹配对进行分数评估，将分数最高的线特征候选匹配对确定为目标匹配对。

具体而言，首先可以将线特征候选匹配对进行线三角化。线三角化指的是对线特征所表示的线段的端点进行三角化，得到在三维空间中的端点。通过三角化出三维空间中的端点，确定三维空间中的线段。

在得到三维空间中的线段之后，可以计算线特征候选匹配对的分数，此处的分数可以为相似性分数。对于一个待匹配线而言，可以存在多个参考线与其组成线特征候选匹配对。因此对于每一个当前线特征候选匹配对而言，均可以通过当前线特征候选匹配对与其他线特征匹配对的相似性分数来计算每个当前线特征候选匹配对的相似性分数。具体可以根据角度相似性和距离相似性来计算相似性分数。其中，公式(13)用于表示角度，角度相似性可以根据公式(14)来计算，距离相似性根据公式(15)和公式(16)计算得到：

angle＝max(min(l₁·l₂,-1.0),1.0)*PI/180 公式(13)

similarity_angle＝exp(-angle*angle/σ_a) 公式(14)

pos＝d₁-d₂ 公式(15)

similarity_pos＝exp(-d1*d1/σ_p) 公式(16)

其中，d₁,d₂分别为l₁,l₂的中点深度值，σ_a,σ_p分别为角度相似性和距离相似性的正则化参数。

在计算出每一个线特征候选匹配对的相似性分数后，选取分数最高的一个线特征候选匹配对作为最准确的匹配对，并保留其对应的三维线段。本公开实施例中，首先根据正则化参数将角度相似性和距离相似性转换至相同尺度范围，并将角度相似性和距离相似性结合，以得到相似性分数。如图7所示，待匹配图像A的匹配图像有B、C、D，待匹配图像A上的线段a可以在图像B、图像C以及图像D上找到ab、ac、ad、ae、af共5组线特征候选匹配对。其中，对于线特征候选匹配对ab而言，其相似性分数可以根据线特征候选匹配对ab产生的3D线段与其余线特征候选匹配对产生的3D线段的相似性分数之和而确定。如果其中线特征候选匹配对ab对应的相似性分数最高，则将ab作为目标匹配对。

在确定目标匹配对之后，若目标匹配对的相似性分数大于阈值，可以认为目标匹配对所对应的一组三维线段中的两个线段属于相同的三维线段。基于此，可以将目标匹配对所对应的待匹配线段和参考线段进行聚类融合，得到目标线段。举例而言，若目标匹配对ab的相似度分数大于阈值，则可以认为其中包含的待匹配线段a与参考线段b属于相同的三维线段，因此可以将待匹配线段a与参考线段b进行聚类融合，得到目标线段。基于此，可以根据目标线段构建待匹配图像的线地图，以对重建出的线地图进行简化。

图8示意性示出了重建的对象1的数据集的3D线地图。图8中的图A为大型场景线地图。为了更加清晰的展示，图8中的图B为显示的局部区域，图8中的图C为对应的二维图像。图9为对应的稀疏点云和线地图。从图9中可以看出，在点特征不丰富的区域，线特征较为丰富，可以为视觉定位提供更多的观测信息。

图10中示意性示出了进行线特征构建的流程图，参考图10中所示，主要包括以下步骤：

在步骤S1010中，获取图像。

在步骤S1020中，对图像进行稀疏点云构建。其中包括：步骤S1021，点特征提取与匹配；步骤S1022，位姿估计；步骤S1023，三角化；步骤S1024，光束法平差优化。

在步骤S1030中，确定待匹配图像的候选图像匹配对。其中包括以下步骤：步骤S1031，线特征提取；步骤S1032，对极几何计算；步骤S1033，线特征匹配。

在步骤S1040中，构造三维线段。其中包括以下步骤：步骤S1041，线三角化；步骤S1042，线段评分与过滤；步骤S1043，聚类优化。

在步骤S1050中，获取全局一致的待匹配图像对应的线地图。

本公开实施例中提供了一种基于稀疏视觉点云的线特征地图构建方式，首先通过点特征进行全局点地图构建，估计出准确的相机位姿，减小由线特征位姿估计带来的不准确性。然后在获得全局相机位姿的基础上，利用几何关系进行线特征匹配，而不是使用诸如LBD的线描述符，并且根据3D线段评分机制，最大程度的挑选出正确的线匹配对及对应的3D线段，并对同一直线簇中的3D线段进行聚类优化，得到全局一致的三维线特征地图，提高线地图的准确性和一致性。相较于激光雷达，降低了硬件成本，可以在普通手机、相机等设备上直接应用，因此增加了应用层范围，更容易实现，增加了便捷性。并且，使用线特征辅助定位，可以极大的提高定位成功率和准确性。

本公开实施例可以应用于基于视觉定位技术的AR导航，AR游戏等应用，也可以应用于视觉传感器和激光传感器的外参标定。视觉定位的前提是需要获得场景的三维地图，得到物理世界到数字世界的映射。而对于弱纹理但结构化信息丰富的场景，通过忽略像素层面的特征，只利用几何关系进行2D线段的匹配，并在三维空间过滤线特征候选匹配对，将每个线特征候选匹配对三角化出的三维线段进行相似性度量，只保留相似性较高的一组匹配作为目标匹配对，从而过滤错误匹配，通过双重匹配重建出准确的3D线特征地图。通过几何的方法进行线特征匹配，与传统描述子方法相比，提高了准确性。使用线特征辅助定位，可以极大的提高定位成功率和准确性。

在纹理较少的应用环境中，难以构造出丰富的点云地图，从而造成定位失败。本公开实施例中利用结构化线特征，可以构造出视觉线特征地图，辅助视觉定位。例如在会议室环境中，只有桌子、椅子屏幕等几何结构明显的纯色物体，本公开实施例中的技术方案能够利用结构化线特征构造出视觉线特征地图，辅助视觉定位。从而在会议室环境实现AR效果，如AR会议等功能，提高AR体验，因此增加了应用范围。

本公开实施例中，还提供了一种地图构建装置，如图11中所示，该地图构建装置1100具体包括：

点云数据构建模块1101，用于对二维图像集中的图像进行特征提取生成匹配关系图，并基于所述匹配关系图对二维图像集中的所有图像进行重建，以构建点云数据；

线特征匹配模块1102，用于对待匹配图像进行特征提取获取线特征，根据所述点云数据确定所述待匹配图像的候选图像匹配对，并基于所述候选图像匹配对确定线特征候选匹配对；

线地图构建模块1103，用于将所述线特征候选匹配对进行分数评估确定目标匹配对，并根据所述目标匹配对构建所述待匹配图像对应的线地图。

在本公开的一种示例性实施例中，点云数据构建模块包括：初始匹配模块，用于根据所述匹配关系图中的特征点匹配对信息，从二维图像集中确定当前帧待重建图像以确定初始图像匹配对，并根据所述初始图像匹配对确定初始点云以及相机位姿；下一帧匹配模块，用于在二维图像集中确定下一帧待重建图像序列，根据初始点云对所述下一帧待重建图像序列中的待重建图像进行重建，生成参考位姿并基于所述参考位姿得到参考三维点；点云更新模块，用于根据参考三维点对初始点云进行更新，获取点云数据。

在本公开的一种示例性实施例中，初始匹配模块包括：第一张图像确定模块，用于根据图像上的特征点匹配对总数对所有图像进行排序，作为图像匹配对的第一张图像序列；第二张图像确定模块，用于遍历第一张图像序列，根据所述第一张图像序列中当前图像与其他图像之间的特征点匹配对数量，确定第二张图像序列；初始匹配确定模块，用于遍历第二张图像序列，若当前图像和从其他图像中选择的关联图像满足几何约束，将所述当前图像和所述关联图像确定为初始图像匹配对。

在本公开的一种示例性实施例中，初始匹配模块包括：位姿确定模块，用于根据初始图像匹配对之间的特征点匹配关系，估计所述初始图像匹配对之间的相对位姿，以确定所述相机位姿；初始点云确定模块，用于对初始图像匹配对的特征点匹配对进行三角化，得到初始点云。

在本公开的一种示例性实施例中，下一帧匹配模块包括：匹配对模块，用于搜索所述待重建图像与初始点云之间的匹配对；参考位姿确定模块，用于根据所述匹配对计算待重建图像在初始点云中的参考位姿；参考三维点确定模块，用于基于所述参考位姿，对新增的图像匹配点对进行三角化，生成参考三维点。

在本公开的一种示例性实施例中，所述装置还包括：重建失败模块，用于当下一帧待重建序列中的待重建图像重建成功，根据当前点云和参考位姿重新选取下一帧待重建图像序列进行重建，以重新生成参考三维点；重建成功模块，用于当下一帧待重建序列中的待重建图像重建失败，将所述待重建图像的下一相邻图像重建作为待重建图像进行重建，直至重建成功为止。

在本公开的一种示例性实施例中，所述装置还包括：优化模块，用于对重建成功的每个图像对应的相机位姿和当前点云进行局部优化，并在对重建成功的所有图像对应的相机位姿和当前点云进行全局优化，以获取所述点云数据；所述重建成功的所有图像满足重建条件。

在本公开的一种示例性实施例中，线特征匹配模块包括：三维特征点获取模块，用于根据所述点云数据的关联关系，获取待匹配图像上部分特征点对应的多个三维特征点；候选图像匹配对确定模块，用于遍历多个三维特征点对应的图像集合，对所有图像集合中的元素个数进行排序，并根据排序结果确定所述待匹配图像的候选图像匹配对。

在本公开的一种示例性实施例中，线特征匹配模块包括：端点确定模块，用于计算候选图像匹配对中待匹配图像和匹配图像之间的基础矩阵，并根据基础矩阵以及待匹配线的端点确定参考线的端点；所述待匹配线位于待匹配图像，所述参考线位于匹配图像；匹配判断模块，用于若根据待匹配线与参考线的重叠率确定所述待匹配线与所述参考线为匹配线段，确定所述待匹配线与所述参考线为线特征候选匹配对。

在本公开的一种示例性实施例中，基础矩阵计算模块包括：合成模块，用于根据待匹配图像与匹配图像之间的相对世界坐标系的变换矩阵，合成所述基础矩阵。

在本公开的一种示例性实施例中，所述装置还包括：共线模块，用于将待匹配图像上的待匹配线转换至匹配图像上以使得待匹配线和参考线共线，并根据共线的待匹配线和参考线的重叠率确定匹配线段。

在本公开的一种示例性实施例中，线地图构建模块包括：目标匹配对确定模块，用于将线特征候选匹配对进行线三角化并计算每个线特征候选匹配对的相似性分数，将相似性分数最大的线特征候选匹配对作为目标匹配对。

在本公开的一种示例性实施例中，目标匹配对确定模块包括：相似性分数计算模块，用于通过当前线特征候选匹配对的三维线段与其他线特征匹配对的三维线段的相似性分数，计算每个当前线特征候选匹配对的相似性分数。

需要说明的是，上述地图构建装置中各模块的具体细节已经在对应的地图构建方法中进行了详细描述，因此此处不再赘述。

图12示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开的终端可以被配置为如图12所示电子设备的形式，然而，需要说明的是，图12示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的方法。

具体的，如图12所示，电子设备1200可以包括：处理器1210、内部存储器1221、外部存储器接口1222、通用串行总线(Universal Serial Bus，USB)接口1230、充电管理模块1240、电源管理模块1241、电池1242、天线1、天线2、移动通信模块1250、无线通信模块1260、音频模块1270、扬声器1271、受话器1272、麦克风1273、耳机接口1274、传感器模块1280、显示屏1290、摄像模组1291、指示器1292、马达1293、按键1294以及用户标识模块(SubscriberIdentification Module，SIM)卡接口1295等。其中传感器模块1280可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备1200的具体限定。在本申请另一些实施例中，电子设备1200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。

处理器1210可以包括一个或多个处理单元，例如：处理器1210可以包括应用处理器、调制解调处理器、图形处理器、图像信号处理器、控制器、视频编解码器、数字信号处理器、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器1210中还可以设置存储器，用于存储指令和数据。本示例性实施方式中的地图构建方法可以由应用处理器、图形处理器或图像信号处理器来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行。

内部存储器1221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器1221可以包括存储程序区和存储数据区。外部存储器接口1222可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备1200的存储能力。

移动终端1200的通信功能可以通过移动通信模块、天线1、无线通信模块、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块可以提供应用在移动终端1400上2G、3G、4G、5G等移动通信解决方案。无线通信模块可以提供应用在移动终端200上的无线局域网、蓝牙、近场通信等无线通信解决方案。

显示屏用于实现显示功能，如显示用户界面、图像、视频等。摄像模块用于实现拍摄功能，如拍摄图像、视频等。音频模块用于实现音频功能，如播放音频，采集语音等。电源模块用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (16)

1.一种地图构建方法，其特征在于，包括：

对二维图像集中的图像进行特征提取生成匹配关系图，并基于所述匹配关系图对二维图像集中的所有图像进行重建，以构建点云数据；

对待匹配图像进行特征提取获取线特征，根据所述点云数据确定所述待匹配图像的候选图像匹配对，并基于所述候选图像匹配对确定线特征候选匹配对；

将所述线特征候选匹配对进行分数评估确定目标匹配对，并根据所述目标匹配对构建所述待匹配图像对应的线地图。

2.根据权利要求1所述的地图构建方法，其特征在于，所述基于所述匹配关系图对二维图像集中的所有图像进行重建，以构建点云数据，包括：

根据所述匹配关系图中的特征点匹配对信息，从二维图像集中确定当前帧待重建图像以确定初始图像匹配对，并根据所述初始图像匹配对确定初始点云以及相机位姿；

在二维图像集中确定下一帧待重建图像序列，根据初始点云对所述下一帧待重建图像序列中的待重建图像进行重建，生成参考位姿并基于所述参考位姿得到参考三维点；

根据参考三维点对初始点云进行更新，获取点云数据。

3.根据权利要求2所述的地图构建方法，其特征在于，所述根据所述匹配关系图中的特征点匹配对，从二维图像集中确定当前帧待重建图像以确定初始图像匹配对，包括：

根据图像上的特征点匹配对总数对所有图像进行排序，作为图像匹配对的第一张图像序列；

遍历第一张图像序列，根据所述第一张图像序列中当前图像与其他图像之间的特征点匹配对数量，确定第二张图像序列；

遍历第二张图像序列，若当前图像和从其他图像中选择的关联图像满足几何约束，将所述当前图像和所述关联图像确定为初始图像匹配对。

4.根据权利要求2所述的地图构建方法，其特征在于，所述根据所述初始图像匹配对确定初始点云以及相机位姿，包括：

根据初始图像匹配对之间的特征点匹配关系，估计所述初始图像匹配对之间的相对位姿，以确定所述相机位姿；

对初始图像匹配对的特征点匹配对进行三角化，得到初始点云。

5.根据权利要求2所述的地图构建方法，其特征在于，所述根据初始点云对所述下一帧待重建图像序列中的待重建图像进行重建，生成参考位姿并基于所述参考位姿得到参考三维点，包括：

搜索所述待重建图像与初始点云之间的匹配对；

根据所述匹配对计算待重建图像在初始点云中的参考位姿；

基于所述参考位姿，对新增的图像匹配点对进行三角化，生成参考三维点。

6.根据权利要求2或5所述的地图构建方法，其特征在于，所述方法还包括：

当下一帧待重建序列中的待重建图像重建成功，根据当前点云和参考位姿重新选取下一帧待重建图像序列进行重建，以重新生成参考三维点；

当下一帧待重建序列中的待重建图像重建失败，将所述待重建图像的下一相邻图像重建重新作为待重建图像以进行重建，直至重建成功为止。

7.根据权利要求2所述的地图构建方法，其特征在于，所述方法还包括：

对重建成功的每个图像对应的相机位姿和当前点云进行局部优化，并对重建成功的所有图像对应的相机位姿和当前点云进行全局优化，以获取所述点云数据；所述重建成功的所有图像满足重建条件。

8.根据权利要求1所述的地图构建方法，其特征在于，所述根据所述点云数据确定所述待匹配图像的候选图像匹配对，包括：

根据所述点云数据的关联关系，获取待匹配图像上部分特征点对应的多个三维特征点；

遍历多个三维特征点对应的图像集合，对所有图像集合中的元素个数进行排序，并根据排序结果确定所述待匹配图像的候选图像匹配对。

9.根据权利要求1所述的地图构建方法，其特征在于，所述基于所述候选图像匹配对确定线特征候选匹配对，包括：

计算候选图像匹配对中待匹配图像和匹配图像之间的基础矩阵，并根据基础矩阵以及待匹配线的端点确定参考线的端点；所述待匹配线位于待匹配图像，所述参考线位于匹配图像；

若根据待匹配线与参考线的重叠率确定所述待匹配线与所述参考线为匹配线段，确定所述待匹配线与所述参考线为线特征候选匹配对。

10.根据权利要求9所述的地图构建方法，其特征在于，所述计算候选图像匹配对中两张匹配图像之间的基础矩阵，包括：

根据待匹配图像与匹配图像之间的相对世界坐标系的变换矩阵，合成所述基础矩阵。

11.根据权利要求9所述的地图构建方法，其特征在于，所述方法还包括：

将待匹配图像上的待匹配线转换至匹配图像上以使得待匹配线和参考线共线，并根据共线的待匹配线和参考线的重叠率确定匹配线段。

12.根据权利要求1所述的地图构建方法，其特征在于，所述对所述候选匹配对进行分数评估确定目标匹配对，包括：

将线特征候选匹配对进行线三角化并计算每个线特征候选匹配对的相似性分数，将相似性分数最大的线特征候选匹配对作为目标匹配对。

13.根据权利要求12所述的地图构建方法，其特征在于，所述计算每个线特征候选匹配对的相似性分数，包括：

通过当前线特征候选匹配对的三维线段与其他线特征匹配对的三维线段的相似性分数，计算每个当前线特征候选匹配对的相似性分数。

14.一种地图构建装置，其特征在于，包括：

点云数据构建模块，用于对二维图像集中的图像进行特征提取生成匹配关系图，并基于所述匹配关系图对二维图像集中的所有图像进行重建，以构建点云数据；

线特征匹配模块，用于对待匹配图像进行特征提取获取线特征，根据所述点云数据确定所述待匹配图像的候选图像匹配对，并基于所述候选图像匹配对确定线特征候选匹配对；

线地图构建模块，用于将所述线特征候选匹配对进行分数评估确定目标匹配对，并根据所述目标匹配对构建所述待匹配图像对应的线地图。

15.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-13任意一项所述的地图构建方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-13任意一项所述的地图构建方法。

Images