CN113506368B - 地图数据融合方法、装置、电子设备、介质和程序产品 - Google Patents

Abstract

本公开提供了一种地图数据融合方法、装置、电子设备、介质和程序产品，涉及计算机领域，尤其涉及地图绘制领域和自动驾驶领域，可应用于辅助驾驶和自动驾驶场景。该方法包括：获取第一地图数据和第二地图数据；基于第一地图数据和第二地图数据分别包括的第一特征描述子集合和第二特征描述子集合，确定第一地图数据和第二地图数据分别包括的三维坐标点的第一集合与三维坐标点的第二集合之间的匹配点对集合；基于匹配点对集合，确定第一地图数据与第二地图数据之间的位姿变换矩阵；以及基于位姿变换矩阵，将第一地图数据和第二地图数据融合为第三地图数据。利用上述方法，可以在无需大量计算资源的情况下，实现对地图数据的快速融合。

Description

地图数据融合方法、装置、电子设备、介质和程序产品

技术领域

本公开涉及计算机领域，尤其涉及地图绘制领域和自动驾驶领域，可应用于辅助驾驶和自动驾驶场景，并且更具体地，涉及地图数据融合方法、地图数据融合装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

对于例如提供自主泊车功能的辅助驾驶或者自动驾驶应用而言，需要根据提前构建好的停车场地图来实时计算车辆的位姿。然而，停车场环境可能会随着时间发生缓慢变化，尤其是室外停车场，不同天气或是同一天的不同时间段的不同光照情况也会导致地图可靠性下降或失效，这时会使得已经被构建好的地图的可靠性下降。因此，可以在用户经过建图区域时采集传感器数据，并且使用采集的传感器数据来融合更新地图，从而使得地图能够自动地适应场景的变化，进而可以扩展该路线地图的可用时间。

然而，传统的用于地图数据融合的技术所需的计算资源较多，并且融合速度也不够理想。

发明内容

根据本公开的实施例，提供了一种地图数据融合方法、地图数据融合装置、电子设备、计算机可读存储介质和计算机程序产品。

在本公开的第一方面中，提供了一种地图数据融合方法，包括：获取第一地图数据，第一地图数据包括三维坐标点的第一集合以及与三维坐标点的第一集合相关联的第一特征描述子集合；获取第二地图数据，第二地图数据包括三维坐标点的第二集合以及与三维坐标点的第二集合相关联的第二特征描述子集合，第一地图数据与第二地图数据针对同一地图；基于第一特征描述子集合和第二特征描述子集合，确定三维坐标点的第一集合与三维坐标点的第二集合之间的匹配点对集合；基于匹配点对集合，确定第一地图数据与第二地图数据之间的位姿变换矩阵；以及基于位姿变换矩阵，将第一地图数据和第二地图数据融合为第三地图数据。

在本公开的第二方面中，提供了一种地图数据融合装置，包括：第一地图数据获取模块，被配置为获取第一地图数据，第一地图数据包括三维坐标点的第一集合以及与三维坐标点的第一集合相关联的第一特征描述子集合；第二地图数据获取模块，被配置为获取第二地图数据，第二地图数据包括三维坐标点的第二集合以及与三维坐标点的第二集合相关联的第二特征描述子集合，第一地图数据与第二地图数据针对同一地图；匹配点对集合确定模块，被配置为基于第一特征描述子集合和第二特征描述子集合，确定三维坐标点的第一集合与三维坐标点的第二集合之间的匹配点对集合；第一位姿变换矩阵确定模块，被配置为基于匹配点对集合，确定第一地图数据与第二地图数据之间的位姿变换矩阵；以及地图数据融合模块，被配置为基于位姿变换矩阵，将第一地图数据和第二地图数据融合为第三地图数据。

在本公开的第三方面中，提供了一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够实现根据本公开的第一方面的方法。

在本公开的第四方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机实现根据本公开的第一方面的方法。

在本公开的第五方面中，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时，执行根据本公开的第一方面的方法。

利用根据本申请的技术，提供了一种地图数据融合方法，利用该方法的技术方案，可以在无需大量计算资源的情况下，实现对地图数据的快速融合，从而不仅能够节省计算资源，也能够提升需要使用经融合的地图数据的用户的用户体验。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中在本公开示例性实施例中，相同的参考标号通常代表相同部件。应当理解，附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示出了可以在其中实现本公开的某些实施例中的地图数据融合方法的地图数据融合环境100的示意性框图；

图2示出了根据本公开实施例的地图数据融合方法200的流程图；

图3示出了根据本公开实施例的地图数据融合方法300的流程图；

图4示出了根据本公开的实施例的地图数据融合装置400的示意性框图；以及

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如以上在背景技术中所描述的，传统的用于地图数据融合的技术所需的计算资源较多，并且融合速度也不够理想。

为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，本公开的实施例提出了一种地图数据融合方法，利用该方法的技术方案，可以在无需大量计算资源的情况下，实现对地图数据的快速融合，从而不仅能够节省计算资源，也能够提升需要使用经融合的地图数据的用户的用户体验。

图1示出了可以在其中实现本公开的某些实施例中的地图数据融合方法的地图数据融合环境100的示意性框图。根据本公开的一个或多个实施例，地图数据融合环境100可以是云环境。如图1中所示，地图数据融合环境100包括计算设备110。在地图数据融合环境100中，待融合地图数据120作为计算设备110的输入被提供给计算设备110。待融合地图数据120例如可以包括第一地图数据和第二地图数据，其中第一地图数据例如可以包括三维坐标点的第一集合以及与三维坐标点的第一集合相关联的第一特征描述子集合，第二地图数据包括三维坐标点的第二集合以及与三维坐标点的第二集合相关联的第二特征描述子集合。

根据本公开的一个或多个实施例，也可以被称为点云的、例如三维坐标点的第一集合和三维坐标点的第二集合的三维坐标点的集合可以是具有三维坐标的点的集合，其中点的三维坐标可以是例如形式为(x,y,z)的世界坐标。

根据本公开的一个或多个实施例，例如第一特征描述子集合和第二特征描述子集合的特征描述子集合包括特征描述子，其中特征描述子可以是多维矢量的形式。特征描述子来源于由图像采集设备所采集到的采集图像中的特征点，特征点是图像的局部特征，其对旋转、尺寸缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。可以通过使用例如SIFT、SUPERPOINT、ORB的特征提取算法对采集图像集合中的采集图像进行特征提取，来获取特征描述子集合。由于采集图像中的特征点具有对应的特征描述子，因此利用采集图像集合构建地图的地图数据中所包括的三维坐标点的集合中的三维坐标点会继承采集图像集合中的对应特征点的特征描述子。

根据本公开的一个或多个实施例，第一地图数据和第二地图数据针对同一三维地图。例如，第一地图数据和第二地图数据可以均为针对同一停车场场景的三维地图的地图数据。

根据本公开的一个或多个实施例，第一地图数据可以是基于最新通过一趟采集获取的采集图像集合而被构建地图数据，第二地图数据可以是当前现有地图的地图数据，其中第二地图数据可以是经过多次地图数据融合而被形成的、所具有的数据量比第一地图数据大的多的地图数据。

在获取到作为输入的待融合地图数据120之后，计算设备110可以基于待融合地图数据120中所包括的特征描述子集合，通过确定匹配点对集合、确定位姿变换矩阵等操作来对待融合地图数据120进行融合，从而可以得到经融合的地图数据，并且可以输出经融合的地图数据。

应当理解，地图数据融合环境100仅仅是示例性而不是限制性的，并且其是可扩展的，其中可以包括更多的计算设备110，并且可以向计算设备110提供更多的待融合地图数据120作为输入，从而使得可以满足更多用户同时利用更多的计算设备110，甚至利用更多的待融合地图数据120来同时或者非同时地进行地图数据融合操作的需求。

在图1所示的地图数据融合环境100中，向计算设备110输入待融合地图数据120的操作可以通过网络来进行。同时，由于根据本公开实施例的地图数据融合方法处理速度很快并且所需的计算资源较少，因此计算设备110也可以例如是车载计算单元。

图2示出了根据本公开的实施例的地图数据融合方法200的流程图。具体而言，地图数据融合方法200可以由图1中所示的地图数据融合环境100中的计算设备110来执行。应当理解的是，地图数据融合方法200还可以包括未示出的附加操作和/或可以省略所示出的操作，本公开的范围在此方面不受限制。

在框202，计算设备110获取第一地图数据。根据本公开的一个或多个实施例，第一地图数据包括三维坐标点的第一集合以及与三维坐标点的第一集合相关联的第一特征描述子集合。

根据本公开的一个或多个实施例，计算设备110可以首先获取由图像采集设备针对需要针对其构建地图数据的场景所采集的第一采集图像集合。而后，计算设备110可以使用例如SIFT、SUPERPOINT、ORB的特征提取算法对第一采集图像集合进行特征提取，以得到具有第一特征描述子集合的第一特征点集合。最后，计算设备110可以基于第一特征点集合，确定三维坐标点的第一集合，其中三维坐标点的第一集合中的三维坐标点与对应的特征描述子相关联。

在框204，计算设备110获取第二地图数据。根据本公开的一个或多个实施例，第二地图数据包括三维坐标点的第二集合以及与三维坐标点的第二集合相关联的第一特征描述子集合，并且第一地图数据和第二地图数据针对同一三维地图。在一些实施例中，获取第二地图数据的具体内容与获取第一地图数据的具体内容类似。在另一些实施例中，第二地图数据可以是经过多次地图数据融合而已经被形成的、所具有的数据量比第一地图数据大的多的地图数据。

在框206，计算设备110基于第一特征描述子集合和第二特征描述子集合，确定三维坐标点的第一集合与三维坐标点的第二集合之间的匹配点对集合。

根据本公开的一个或多个实施例，计算设备110可以首先针对三维坐标点的第一集合中的第一三维坐标点，基于第一特征描述子集合中的、与第一三维坐标点相关联的第一特征描述子，以及第二特征描述子集合，确定三维坐标点的第二集合中，与第一特征描述子距离最近的第二特征描述子。如前所述，特征描述子可以是多维矢量的形式，因此可以通过两个特征描述子之间的距离来确定两个特征描述子之间的相似度，其中两个特征描述子之间的距离越近则两个特征描述子之间的相似度越高。

而后，计算设备110可以确定第一特征描述子与第二特征描述子之间的距离是否小于预设的第一阈值距离，并且在第一特征描述子与第二特征描述子之间的距离小于预设的第一阈值距离时，将与第一特征描述子和第二特征描述子相关联的点对确定为匹配点对集合中的匹配点对。

根据本公开的一个或多个实施例，三维坐标点的第一集合中的第一三维坐标点可以是指三维坐标点的第一集合中的任一点，并且三维坐标点的第二集合中的第二三维坐标点也可以是指三维坐标点的第二集合中的任一点。在确定三维坐标点的第一集合与三维坐标点的第二集合之间的匹配点对集合时，计算设备110可以针对三维坐标点的第一集合中的每个点，在三维坐标点的第二集合中寻找匹配的三维坐标点以形成匹配点对，并且针对三维坐标点的第一集合中的所有点所形成的匹配点对构成匹配点对集合。在一些实施例中，三维坐标点的第一集合中只有少数点能够与三维坐标点的第二集合中的三维坐标点形成匹配点对。

根据本公开的一个或多个实施例，匹配点对中所包括的两个三维坐标点可以被初步认为是物理世界中的同一个三维坐标点。

在框208，计算设备110基于在框206确定的匹配点对集合，确定第一地图数据与第二地图数据之间的位姿变换矩阵。根据本公开的一个或多个实施例，第一地图数据与第二地图数据之间的位姿变换矩阵可以是指三维坐标点的第一集合与三维坐标点的第二集合之间的位姿变换矩阵，并且计算设备110可以基于匹配点对集合，使用随机抽样一致性迭代最近点(RANSAC ICP)算法，确定位姿变换矩阵。

在框210，计算设备110基于在框208确定的位姿变换矩阵，将第一地图数据和第二地图数据融合为第三地图数据，其中第三地图数据可以包括三维坐标点的第三集合以及与三维坐标点的第三集合相关联的第三特征描述子集合。根据本公开的一个或多个实施例，计算设备110可以基于位姿变换矩阵，通过将三维坐标点的第一集合中的每个点的三维坐标转换为三维坐标点的第二集合中的对应三维坐标，而后将该点融合到三维坐标点的第二集合中，来将第一地图数据和第二地图数据融合为第三地图数据。

图3示出了根据本公开实施例的地图数据融合方法300的流程图。具体而言，地图数据融合方法300同样可以由图1中所示的地图数据融合环境100中的计算设备110来执行。应当理解的是，地图数据融合方法300还可以包括未示出的附加操作和/或可以省略所示出的操作，本公开的范围在此方面不受限制。地图数据融合方法300可以被认为是对地图数据融合方法200的扩展。

在框302，计算设备110获取第一地图数据。根据本公开的一个或多个实施例，第一地图数据包括三维坐标点的第一集合以及与三维坐标点的第一集合相关联的第一特征描述子集合。框302的具体内容与框202的具体内容相同，在此不再赘述。

在框304，计算设备110获取第二地图数据。根据本公开的一个或多个实施例，第二地图数据包括三维坐标点的第二集合以及与三维坐标点的第二集合相关联的第一特征描述子集合。框304的具体内容与框204的具体内容相同，在此不再赘述。

在框306，计算设备110基于第一特征描述子集合和第二特征描述子集合，确定三维坐标点的第一集合与三维坐标点的第二集合之间的匹配点对集合。框306的具体内容与框206的具体内容相同，在此不再赘述。

在框308，计算设备110使用随机抽样一致性迭代最近点算法，基于在框306确定的匹配点对集合，确定第一地图数据与第二地图数据之间的位姿变换矩阵和匹配点对集合中的内围层(INLIER)匹配点对集合。框308中确定位姿变换矩阵的具体内容与框208中确定位姿变换矩阵的具体内容相同，在此不再赘述。

根据本公开的一个或多个实施例，在使用随机抽样一致性迭代最近点算法确定匹配点对集合中的内围层匹配点对集合时，可以设置用于确定内围层匹配点对的内围层阈值距离阈值，并且计算设备110可以确定与一个匹配点对中所包括的两个三维坐标点对应的两个特征描述子之间的距离，并且在这两个特征描述子之间的距离小于内围层阈值距离时，将这个匹配点对确定为内围层匹配点对。根据本公开的一些实施例，内围层阈值距离可以与针对地图数据融合方法200的框206描述的第一阈值距离相等。

根据本公开的一个或多个实施例，内围层匹配点对可以被初步认为是正确的点对，并且匹配点对集合中的不属于内围层匹配点对集合的匹配点对可以被初步认为是异常的点对。

在框310，计算设备110基于在框308确定的位姿变换矩阵，将第一地图数据和第二地图数据融合为第三地图数据，其中第三地图数据可以包括三维坐标点的第三集合以及与三维坐标点的第三集合相关联的第三特征描述子集合。框310的具体内容与框210的具体内容相同，在此不再赘述。

在框312，计算设备110基于第三地图数据所包括的第三特征描述子集合，确定三维坐标点的第三集合中的自匹配点对集合。

根据本公开的一个或多个实施例，计算设备110可以首先针对三维坐标点的第三集合中的第三三维坐标点，基于第三特征描述子集合，确定三维坐标点的第三集合中，与关联于第三三维坐标点的第三特征描述子距离最近的第四特征描述子。

而后，计算设备110可以确定第三特征描述子与第四特征描述子之间的距离是否小于预设的第二阈值距离，并且在第三特征描述子与第四特征描述子之间的距离小于预设的第二阈值距离时，将与第三特征描述子和第四特征描述子相关联的点对确定为自匹配点对集合中的自匹配点对。

根据本公开的一个或多个实施例，三维坐标点的第三集合中的第三三维坐标点可以是指三维坐标点的第三集合中的任一点。在确定三维坐标点的第三集合中的自匹配点对集合时，计算设备110可以针对三维坐标点的第三集合中的每个点，在三维坐标点的第三集合中寻找匹配的三维坐标点以形成自匹配点对，并且针对三维坐标点的第三集合中的所有点所形成的匹配点对构成自匹配点对集合。在一些实施例中，三维坐标点的第三集合中只有少数点能够与三维坐标点的第三集合中的其他点形成自匹配点对。

在框314，计算设备110确定在框312确定的三维坐标点的第三集合中的自匹配点对集合中的第一自匹配点对是否属于在框308确定的内围层匹配点对集合。如果第一自匹配点对属于内围层匹配点对集合，则方法300前进到框316，否则，方法300前进到框318。

根据本公开的一个或多个实施例，自匹配点对集合中的第一自匹配点对可以是指自匹配点对集合中的任一自匹配点对，因此框314所涉及的内容可以包括确定，自匹配点对集合中的每个自匹配点对是否属于在框308确定的内围层匹配点对集合。

在框316，计算设备110将第一自匹配点对合并，作为三维坐标点的第三集合中的合并点。根据本公开的一个或多个实施例，将第一自匹配点对合并为合并点相当于从三维坐标点的第三集合删除第一自匹配点对所包括的两个三维坐标点，并且向三维坐标点的第三集合添加通过合并第一自匹配点对所形成的合并点。在第一自匹配点对属于在框308确定的内围层匹配点对集合时，可以认为第一自匹配点对实际上应当是合并后的三维坐标点的第三集合中的同一点，因此可以通过合并第一自匹配点对来避免合并后的三维坐标点的第三集合中存在距离接近的重复点。

根据本公开的一些实施例，计算设备110可以通过将第一自匹配点所包括的两个三维坐标点的坐标和特征描述子求平均，确定合并点的坐标和特征描述子。

根据本公开的另一些实施例，计算设备110可以将第一自匹配点所包括的两个三维坐标点中的一个三维坐标点的坐标和特征描述子确定为合并点的坐标和特征描述子。

在框318，计算设备110确定第一自匹配点所包括的两个三维坐标点的特征描述子之间的距离。

在框320，计算设备110确定第一自匹配点所包括的两个三维坐标点的特征描述子之间的距离是否大于预设的第三阈值距离。如果这两个三维坐标点的特征描述子之间的距离大于预设的第三阈值距离，则方法300前进到框322，否则，方法300可以不执行操作或者可以进一步进行人工判断如何进一步处理。应当理解，第三阈值距离大于内围层阈值距离。

在框322，计算设备110从三维坐标点的第三集合删除第一自匹配点对所包括的两个三维坐标点。在第一自匹配点所包括的两个三维坐标点的特征描述子之间的距离大于预设的第三阈值距离时，可以认为第一自匹配点对所包括的两个三维坐标点在物理世界中实际上是不同的三维坐标点，因此第一自匹配点对存在错误。因此，为了避免第一自匹配点所包括的点对第三地图数据的错误影响，可以从三维坐标点的第三集合删除第一自匹配点对所包括的两个三维坐标点。

根据本公开的一个或多个实施例，框318和框320可以是方法300中的可选框，此时计算设备可以当在框314确定第一自匹配点对不属于内围层匹配点对集合时，直接前进到框322，从而从三维坐标点的第三集合删除第一自匹配点对所包括的两个三维坐标点。

在地图数据融合方法300中，根据本公开的一个或多个实施例，最终三维坐标点的第一集合中的例如80％的三维坐标点都被融合到三维坐标点的第二集合中，并且剩下的20％的三维坐标点分别通过框316被合并或者通过框322被删除。

以上参考图1至图3描述了与可以在其中实现本公开的某些实施例中的地图数据融合方法的地图数据融合环境100、根据本公开实施例的地图数据融合方法200、以及根据本公开实施例的地图数据融合方法300的相关内容。应当理解，上述描述是为了更好地展示本公开中所记载的内容，而不是以任何方式进行限制。

应当理解，本公开的上述各个附图中所采用的各种元件的数目和物理量的大小仅为举例，而并不是对本公开的保护范围的限制。上述数目和大小可以根据需要而被任意设置，而不会对本公开的实施方式的正常实施产生影响。

上文已经参见图1至图3描述了根据本公开的实施方式的地图数据融合方法200和地图数据融合方法300的细节。在下文中，将参见图4描述地图数据融合装置中的各个模块。

图4是根据本公开实施例的地图数据融合装置400的示意性框图。如图4所示，地图数据融合装置400可以包括：第一地图数据获取模块410，被配置为获取第一地图数据，第一地图数据包括三维坐标点的第一集合以及与三维坐标点的第一集合相关联的第一特征描述子集合；第二地图数据获取模块420，被配置为获取第二地图数据，第二地图数据包括三维坐标点的第二集合以及与三维坐标点的第二集合相关联的第二特征描述子集合，第一地图数据与第二地图数据针对同一地图；匹配点对集合确定模块430，被配置为基于第一特征描述子集合和第二特征描述子集合，确定三维坐标点的第一集合与三维坐标点的第二集合之间的匹配点对集合；第一位姿变换矩阵确定模块440，被配置为基于匹配点对集合，确定第一地图数据与第二地图数据之间的位姿变换矩阵；以及地图数据融合模块450，被配置为基于位姿变换矩阵，将第一地图数据和第二地图数据融合为第三地图数据。

在一个或多个实施例中，其中第一地图数据获取模块410包括：采集图像集合获取模块(未示出)，被配置为获取第一采集图像集合；特征提取模块(未示出)，被配置为对第一采集图像集合进行特征提取，以得到第一特征点集合，第一特征点集合具有第一特征描述子集合；以及第一集合确定模块(未示出)，被配置为基于第一特征点集合，确定三维坐标点的第一集合。

在一个或多个实施例中，其中匹配点对集合确定模块430包括：第一特征描述子确定模块(未示出)，被配置为针对三维坐标点的第一集合中的第一三维坐标点，基于第一特征描述子集合中的、与第一三维坐标点相关联的第一特征描述子，以及第二特征描述子集合，确定三维坐标点的第二集合中，与第一特征描述子距离最近的第二特征描述子；以及匹配点对确定模块(未示出)，被配置为如果第一特征描述子与第二特征描述子之间的距离小于第一阈值距离，则将与第一特征描述子和第二特征描述子相关联的点对确定为匹配点对集合中的匹配点对。

在一个或多个实施例中，其中第一位姿变换矩阵确定模块440包括：第二位姿变换矩阵确定模块(未示出)，被配置为使用随机抽样一致性迭代最近点算法，确定位姿变换矩阵。

在一个或多个实施例中，其中地图数据融合装置400还包括：内围层匹配点对集合确定模块(未示出)，被配置为使用随机抽样一致性迭代最近点算法，确定匹配点对集合中的内围层匹配点对集合。

在一个或多个实施例中，其中第三地图数据包括三维坐标点的第三集合以及与三维坐标点的第三集合相关联的第三特征描述子集合，地图数据融合装置400还包括：自匹配点对集合确定模块(未示出)，被配置为基于第三特征描述子集合，确定三维坐标点的第三集合中的自匹配点对集合；以及自匹配点对合并模块(未示出)，被配置为针对自匹配点对集合中的第一自匹配点对，如果第一自匹配点对属于内围层匹配点对集合，则将第一自匹配点对合并，作为三维坐标点的第三集合中的合并点。

在一个或多个实施例中，其中自匹配点对集合确定模块包括：第二特征描述子确定模块(未示出)，被配置为针对三维坐标点的第三集合中的第三三维坐标点，基于第三特征描述子集合，确定三维坐标点的第三集合中，与关联于第三三维坐标点的第三特征描述子距离最近的第四特征描述子；以及自匹配点对确定模块(未示出)，被配置为如果第三特征描述子与第四特征描述子之间的距离小于第二阈值距离，则将与第三特征描述子和第四特征描述子相关联的点对确定为自匹配点对集合中的自匹配点对。

在一个或多个实施例中，其中自匹配点对合并模块包括：第一坐标和特征描述子确定模块(未示出)，被配置为通过将第一自匹配点所包括的两个三维坐标点的坐标和特征描述子求平均，确定合并点的坐标和特征描述子。

在一个或多个实施例中，其中自匹配点对合并模块包括：第二坐标和特征描述子确定模块(未示出)，被配置为将第一自匹配点所包括的两个三维坐标点中的一个三维坐标点的坐标和特征描述子确定为合并点的坐标和特征描述子。

在一个或多个实施例中，其中地图数据融合装置400还包括：特征描述子间距离确定模块(未示出)，被配置为如果第一自匹配点对不属于内围层匹配点对集合，则确定第一自匹配点所包括的两个三维坐标点的特征描述子之间的距离；以及点删除模块(未示出)，被配置为如果距离大于第三阈值距离，则从三维坐标点的第三集合删除第一自匹配点对所包括的两个三维坐标点。

通过以上参考图1至图4的描述，根据本公开的实施方式的技术方案相对于传统方案具有诸多优点。例如，利用该方法的技术方案，利用该方法的技术方案，可以在无需大量计算资源的情况下，实现对地图数据的快速融合，从而不仅能够节省计算资源，也能够提升需要使用经融合的地图数据的用户的用户体验。

根据本公开的实施例，还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。例如，如图1所示的计算设备110和如图4所示的地图数据融合装置400可以由电子设备500来实施。电子设备500旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如地图数据融合方法200和300。例如，在一些实施例中，地图数据融合方法200和300可以被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的地图数据融合方法200和300的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行地图数据融合方法200和300。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种地图数据融合方法，包括：

获取第一地图数据，所述第一地图数据包括三维坐标点的第一集合以及与三维坐标点的所述第一集合相关联的第一特征描述子集合；

获取第二地图数据，所述第二地图数据包括三维坐标点的第二集合以及与三维坐标点的所述第二集合相关联的第二特征描述子集合，所述第一地图数据与所述第二地图数据针对同一地图；

基于所述第一特征描述子集合和所述第二特征描述子集合，确定三维坐标点的所述第一集合与三维坐标点的所述第二集合之间的匹配点对集合；

基于所述匹配点对集合，确定所述第一地图数据与所述第二地图数据之间的位姿变换矩阵；

基于所述位姿变换矩阵，将所述第一地图数据和所述第二地图数据融合为第三地图数据；

使用随机抽样一致性迭代最近点算法，确定所述匹配点对集合中的内围层匹配点对集合；

其中所述第三地图数据包括三维坐标点的第三集合以及与三维坐标点的所述第三集合相关联的第三特征描述子集合，所述方法还包括：

基于所述第三特征描述子集合，确定三维坐标点的所述第三集合中的自匹配点对集合；以及

针对所述自匹配点对集合中的第一自匹配点对，如果所述第一自匹配点对属于所述内围层匹配点对集合，则将所述第一自匹配点对合并，作为三维坐标点的所述第三集合中的合并点；并且

其中确定所述自匹配点对集合包括：

针对三维坐标点的所述第三集合中的第三三维坐标点，基于所述第三特征描述子集合，确定三维坐标点的所述第三集合中，与关联于所述第三三维坐标点的第三特征描述子距离最近的第四特征描述子；以及

如果所述第三特征描述子与所述第四特征描述子之间的所述距离小于第二阈值距离，则将与所述第三特征描述子和所述第四特征描述子相关联的点对确定为所述自匹配点对集合中的自匹配点对。

2.根据权利要求1所述的方法，其中获取所述第一地图数据包括：

获取第一采集图像集合；

对所述第一采集图像集合进行特征提取，以得到第一特征点集合，所述第一特征点集合具有所述第一特征描述子集合；以及

基于所述第一特征点集合，确定三维坐标点的所述第一集合。

3.根据权利要求1所述的方法，其中确定所述匹配点对集合包括：

针对三维坐标点的所述第一集合中的第一三维坐标点，基于所述第一特征描述子集合中的、与所述第一三维坐标点相关联的第一特征描述子，以及所述第二特征描述子集合，确定三维坐标点的所述第二集合中，与所述第一特征描述子距离最近的第二特征描述子；以及

如果所述第一特征描述子与所述第二特征描述子之间的距离小于第一阈值距离，则将与所述第一特征描述子和所述第二特征描述子相关联的点对确定为所述匹配点对集合中的匹配点对。

4.根据权利要求1所述的方法，其中确定所述位姿变换矩阵包括：

使用随机抽样一致性迭代最近点算法，确定所述位姿变换矩阵。

5.根据权利要求1所述的方法，其中将所述第一自匹配点对合并，作为三维坐标点的所述第三集合中的所述合并点包括：

通过将所述第一自匹配点对所包括的两个三维坐标点的坐标和特征描述子求平均，确定所述合并点的坐标和特征描述子。

6.根据权利要求1所述的方法，其中将所述第一自匹配点对合并，作为三维坐标点的所述第三集合中的所述合并点包括：

将所述第一自匹配点对所包括的两个三维坐标点中的一个三维坐标点的坐标和特征描述子确定为所述合并点的坐标和特征描述子。

7.根据权利要求1所述的方法，还包括：

如果所述第一自匹配点对不属于所述内围层匹配点对集合，则确定所述第一自匹配点对所包括的两个三维坐标点的特征描述子之间的距离；以及

如果所述距离大于第三阈值距离，则从三维坐标点的所述第三集合删除所述第一自匹配点对所包括的所述两个三维坐标点。

8.一种地图数据融合装置，包括：

第一地图数据获取模块，被配置为获取第一地图数据，所述第一地图数据包括三维坐标点的第一集合以及与三维坐标点的所述第一集合相关联的第一特征描述子集合；

第二地图数据获取模块，被配置为获取第二地图数据，所述第二地图数据包括三维坐标点的第二集合以及与三维坐标点的所述第二集合相关联的第二特征描述子集合，所述第一地图数据与所述第二地图数据针对同一地图；

匹配点对集合确定模块，被配置为基于所述第一特征描述子集合和所述第二特征描述子集合，确定三维坐标点的所述第一集合与三维坐标点的所述第二集合之间的匹配点对集合；

第一位姿变换矩阵确定模块，被配置为基于所述匹配点对集合，确定所述第一地图数据与所述第二地图数据之间的位姿变换矩阵；

地图数据融合模块，被配置为基于所述位姿变换矩阵，将所述第一地图数据和所述第二地图数据融合为第三地图数据；

内围层匹配点对集合确定模块，被配置为使用随机抽样一致性迭代最近点算法，确定所述匹配点对集合中的内围层匹配点对集合；

其中所述第三地图数据包括三维坐标点的第三集合以及与三维坐标点的所述第三集合相关联的第三特征描述子集合，所述装置还包括：

自匹配点对集合确定模块，被配置为基于所述第三特征描述子集合，确定三维坐标点的所述第三集合中的自匹配点对集合；以及

自匹配点对合并模块，被配置为针对所述自匹配点对集合中的第一自匹配点对，如果所述第一自匹配点对属于所述内围层匹配点对集合，则将所述第一自匹配点对合并，作为三维坐标点的所述第三集合中的合并点；并且

其中所述自匹配点对集合确定模块包括：

第二特征描述子确定模块，被配置为针对三维坐标点的所述第三集合中的第三三维坐标点，基于所述第三特征描述子集合，确定三维坐标点的所述第三集合中，与关联于所述第三三维坐标点的第三特征描述子距离最近的第四特征描述子；以及

自匹配点对确定模块，被配置为如果所述第三特征描述子与所述第四特征描述子之间的所述距离小于第二阈值距离，则将与所述第三特征描述子和所述第四特征描述子相关联的点对确定为所述自匹配点对集合中的自匹配点对。

9.根据权利要求8所述的装置，其中所述第一地图数据获取模块包括：

采集图像集合获取模块，被配置为获取第一采集图像集合；

特征提取模块，被配置为对所述第一采集图像集合进行特征提取，以得到第一特征点集合，所述第一特征点集合具有所述第一特征描述子集合；以及

第一集合确定模块，被配置为基于所述第一特征点集合，确定三维坐标点的所述第一集合。

10.根据权利要求8所述的装置，其中所述匹配点对集合确定模块包括：

第一特征描述子确定模块，被配置为针对三维坐标点的所述第一集合中的第一三维坐标点，基于所述第一特征描述子集合中的、与所述第一三维坐标点相关联的第一特征描述子，以及所述第二特征描述子集合，确定三维坐标点的所述第二集合中，与所述第一特征描述子距离最近的第二特征描述子；以及

匹配点对确定模块，被配置为如果所述第一特征描述子与所述第二特征描述子之间的距离小于第一阈值距离，则将与所述第一特征描述子和所述第二特征描述子相关联的点对确定为所述匹配点对集合中的匹配点对。

11.根据权利要求8所述的装置，其中所述第一位姿变换矩阵确定模块包括：

第二位姿变换矩阵确定模块，被配置为使用随机抽样一致性迭代最近点算法，确定所述位姿变换矩阵。

12.根据权利要求8所述的装置，其中所述自匹配点对合并模块包括：

第一坐标和特征描述子确定模块，被配置为通过将所述第一自匹配点对所包括的两个三维坐标点的坐标和特征描述子求平均，确定所述合并点的坐标和特征描述子。

13.根据权利要求8所述的装置，其中所述自匹配点对合并模块包括：

第二坐标和特征描述子确定模块，被配置为将所述第一自匹配点对所包括的两个三维坐标点中的一个三维坐标点的坐标和特征描述子确定为所述合并点的坐标和特征描述子。

14.根据权利要求8所述的装置，还包括：

特征描述子间距离确定模块，被配置为如果所述第一自匹配点对不属于所述内围层匹配点对集合，则确定所述第一自匹配点对所包括的两个三维坐标点的特征描述子之间的距离；以及

点删除模块，被配置为如果所述距离大于第三阈值距离，则从三维坐标点的所述第三集合删除所述第一自匹配点对所包括的所述两个三维坐标点。

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。

Images