CN110288710B - 一种三维地图的处理方法、处理装置及终端设备 - Google Patents

Abstract

本申请公开的一种三维地图的处理方法包括：获取由第一终端构建的第一三维地图和由第二终端构建的第二三维地图；获取所述第一三维地图所对应的第一图像和所述第二三维地图所对应的第二图像，将所述第一图像中的特征点与所述第二图像中的特征点进行匹配，获得相匹配的第一二维特征点和第二二维特征点；获取所述第一二维特征点在所述第一三维地图中所对应的第一三维特征点；根据所述第一三维特征点和所述第二二维特征点，获得第一变换矩阵；根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系；根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图。

Description

一种三维地图的处理方法、处理装置及终端设备

技术领域

本申请属于信息处理技术领域，尤其涉及一种三维地图的处理方法、处理装置、终端设备及计算机可读存储介质。

背景技术

随着手机等电子产品的运行性能的不断提升，增强现实(Augmented Reality，AR)等交互技术在电子产品中的应用也越来越广泛。其中，多人AR技术方案能够给用户带来更好的体验和乐趣。而在多人AR技术方案中，各个AR设备之间可能需要在同一个公共的三维地图上实现交互，此时，公共的三维地图往往需要先由指定设备统一创建，创建时的计算量较大，信息处理效率较低，对指定设备的性能要求较高。

发明内容

有鉴于此，本申请提供了一种三维地图的处理方法、处理装置、终端设备及计算机可读存储介质，可以提高创建公共的三维地图时的信息处理效率。

本申请的第一方面提供了一种三维地图的处理方法，包括：

获取由第一终端构建的第一三维地图，并获取由第二终端构建的第二三维地图；

获取所述第一三维地图所对应的至少一帧第一图像和所述第二三维地图所对应的至少一帧第二图像，将所述第一图像中的特征点与所述第二图像中的特征点进行匹配，获得相匹配的第一二维特征点和第二二维特征点，其中，所述第一二维特征点属于所述第一图像，所述第二二维特征点属于所述第二图像；

获取所述第一二维特征点在所述第一三维地图中所对应的第一三维特征点；

根据所述第一三维特征点和所述第二二维特征点，获得第一变换矩阵；

根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系；

根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图。

本申请的第二方面提供了一种三维地图的处理装置，包括：

第一获取模块，用于获取由第一终端构建的第一三维地图，并获取由第二终端构建的第二三维地图；

第二获取模块，用于获取所述第一三维地图所对应的至少一帧第一图像和所述第二三维地图所对应的至少一帧第二图像，将所述第一图像中的特征点与所述第二图像中的特征点进行匹配，获得相匹配的第一二维特征点和第二二维特征点，其中，所述第一二维特征点属于所述第一图像，所述第二二维特征点属于所述第二图像；

第三获取模块，用于获取所述第一二维特征点在所述第一三维地图中所对应的第一三维特征点；

第一处理模块，用于根据所述第一三维特征点和所述第二二维特征点，获得第一变换矩阵；

第二处理模块，用于根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系；

第三处理模块，用于根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图。

本申请的第三方面提供了一种终端设备，上述终端设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面的方法的步骤。

本申请的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面的方法的步骤。

本申请的第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。

由上可见，本申请中，所述第一三维地图由第一终端构建，所述第二三维地图由第二终端构建，从而合理利用各个终端的计算资源，降低了单个终端的运行压力，同时，通过分别在不同终端构建第一三维地图和第二三维地图，可以使得后续得到的合并后的三维地图中，具有多个视角下的地图数据，从而提高了后续应用中的适应性，提高了对处于不同视角的AR设备的定位精度；此外，通过获得相匹配的第一二维特征点和第二二维特征点，再获取所述第一二维特征点在所述第一三维地图中所对应的第一三维特征点，并根据所述第一三维特征点和所述第二二维特征点，获得第一变换矩阵，可以通过较少的计算量，获得一个由第一三维地图到第二三维地图之间的初步对应关系；进一步地，根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系，此时，可以根据所述匹配关系，建立图优化问题进行求解，获得将第一三维地图和第二三维地图合并后的三维地图，以提高所述合并后的三维地图的准确性。通过本申请，可以提高创建公共的三维地图时的信息处理效率，具有较强的易用性和实用性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的三维地图的处理方法的一种实现流程示意图；

图2是本申请实施例提供的三维地图的处理方法的另一种实现流程示意图；

图3是本申请实施例提供的三维地图的处理方法的再一种实现流程示意图；

图4是本申请实施例提供的三维地图的处理装置的结构示意图；

图5是本申请实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，上述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了说明本申请上述的技术方案，下面通过具体实施例来进行说明。

实施例一

参见图1，是本申请实施例提供的三维地图的处理方法的一种实现流程示意图。

需要说明的是，执行本申请实施例的方式可以有多种方式。示例性的，本申请实施例可以通过第一终端、第二终端或者除所述第一终端和第二终端之外的其他终端(如其他手机、指定服务器等等)来实现。其中，示例性的，所述第一终端和所诉第二终端可以分别是诸如手机、AR眼镜、平板电脑、笔记本电脑等等电子设备。

本申请实施例中，可以用于实现多人AR交互，此时，执行本申请实施例的终端设备可以与其他终端设备进行通信，以实现信息传输。示例性的，执行本申请实施例的终端设备可以是实现多人AR的多个用户所分别使用的AR设备中的某一台终端设备，例如可以是其中性能较好的设备，或者信息传输速度较快的设备等等；此外，也可以是与所述多个用户所分别使用的AR设备进行信息传输的服务器。

该三维地图的处理方法可以包括以下步骤：

步骤101，获取由第一终端构建的第一三维地图，并获取由第二终端构建的第二三维地图。

本申请实施例中，所述第一三维地图可以是基于第一终端获取到的图像、视频等数据构建得到，也可以是所述第一终端接收其他终端传输的其他三维地图，并将所述其他三维地图与所述第一终端中已有的初始三维地图合并后得到的。

其中，所述第一终端构建所述第一三维地图的具体方式可以有多种。例如，所述第一终端可以通过至少一个摄像头采集关于指定物体或者场景的图像、视频等信息，并可以获取所述第一终端的惯性测量单元(Inertial measurement unit，IMU)信息，并根据采集的所述图像、视频等和所述IMU信息，通过即时定位与地图构建(simultaneouslocalization and mapping，SLAM)方式进行建图，从而获得所述第一三维地图。其中，所述SLAM方式可以包括VINS、VI ORB-SLAM等多种具体算法。

本申请实施例中，所述第一终端构建所述第一三维地图时，可以包括所述第一三维地图对应的点云信息、关键帧、以及关键帧中的各个二维特征点所对应的描述子信息等等。

其中，所述关键帧之间的图像信息冗余度较低，此时，可以避免大量的图像或者视频占用资源，并且基于所述第一三维地图的关键帧进行后续的数据处理，可以大大提高处理效率。所述描述子信息可以指示所述特征点的属性信息。

类似的，所述第二三维地图可以是基于第二终端获取到的图像、视频等数据构建得到，也可以是所述第二终端接收其他终端传输的其他三维地图，并将所述其他三维地图与所述第二终端中已有的初始三维地图合并后得到的。其中，所述第二终端构建所述第二三维地图的具体方式可以有多种，例如，所述第二终端可以是基于SLAM方式构建所述第二三维地图。

可选的，至少所述第一三维地图的一部分由所述第一终端，根据所述第一终端采集的图像通过即时定位与地图构建SLAM方式构建得到，至少所述第二三维地图的一部分由所述第二终端，根据所述第二终端采集的图像通过所述SLAM方式构建得到。

本申请实施例中，所述第一终端可以构建所述第一三维地图的一部分，或者全部。当所述第一终端可以构建所述第一三维地图的一部分时，所述第一三维地图的其他部分可以是其他终端构建得到的。在一种示例性实施方式中，所述第一终端可以在构建完成所述第一三维地图的一部分之后，将该部分发送至另一终端，当另一终端将该部分与所述第一三维地图的其他部分合并得到所述第一三维地图之后，再将所述第一三维地图发送至所述第一终端。此时，本申请实施例中的各个三维地图的数据可以来自不止一个终端设备，而还可以来自除所述第一终端与所述第二终端之外的其他终端设备。

类似的，所述第二终端可以构建所述第二三维地图的一部分，或者全部。

步骤102，获取所述第一三维地图所对应的至少一帧第一图像和所述第二三维地图所对应的至少一帧第二图像，将所述第一图像中的特征点与所述第二图像中的特征点进行匹配，获得相匹配的第一二维特征点和第二二维特征点，其中，所述第一二维特征点属于所述第一图像，所述第二二维特征点属于所述第二图像。

本申请实施例中，所述第一图像可以是所述第一终端为构建所述第一三维地图所采集的图像或者视频中的至少一帧图像。当然，也可以是所述第一终端重新采集的与所述第一三维地图的场景相关联的图像。所述第一图像可以是所述第一三维地图的关键帧中的图像。类似的，所述第二图像可以是所述第二终端为构建所述第二三维地图所采集的图像或者视频中的至少一帧图像，或者，也可以是所述第二终端重新采集的与所述第二三维地图的场景相关联的图像。

本申请实施例中，将所述第一图像中的特征点与所述第二图像中的特征点进行匹配的具体方式可以有多种。例如，可以通过各个特征点所对应的描述子来判断各个特征点是否相互匹配。示例性的，可以判断所述第一图像中的某一特征点与所述第二图像中的某一特征点的相似程度是否符合预设条件来判断该两个特征点是否匹配。例如，可以计算所述第一图像中的某一特征点与所述第二图像中的某一特征点的相似度度量值(如L1范数、L2范数、汉明(Hamming)距离等)，当所述相似度度量值小于对应的阈值时，可以认为所述第一图像中的该特征点与所述第二图像中的该特征点相匹配。而若所述第一图像中的该特征点与所述第二图像中的该特征点不匹配，可以将所述第一图像中的该特征点与所述第二图像中的另一特征点进行匹配。

需要说明的是，本申请实施例中，该三维地图的处理方法的执行终端可以是第一终端、第二终端或者除第一终端和第二终端之外的其他终端。也就是说，事实上，对于确定的执行终端，也可以通过多种方法获得所述第一变换矩阵。例如，若执行终端是第一终端，则此时所述第一终端可以通过获取第一终端对应的三维特征点，以及该三维特征点在第二终端对应的二维特征点，来计算所述第一变换矩阵；此外，也可以获取第二终端对应的三维特征点，以及该三维特征点在第一终端对应的二维特征点，来计算所述第一变换矩阵。类似的，执行终端为第二终端或者其他终端时，也可以存在不同的方式来计算所述第一变换矩阵。

可选的，本申请实施例中，将所述第一图像中的特征点与所述第二图像中的特征点进行匹配时，若所述第一图像与所述第二图像之间相匹配的特征点对的数量大于预设数量阈值，则获得相匹配的第一二维特征点和第二二维特征点。

此时，所述第一图像与所述第二图像之间相匹配的特征点对的数量较多，从而可以满足后续的计算需要，并且，当相匹配的特征点对较多时，后续计算的精度也可能相对较高。其中，所述预设数量阈值可以根据计算所述第一变换矩阵的需要来确定。

步骤103，获取所述第一二维特征点在所述第一三维地图中所对应的第一三维特征点。

本申请实施例中，所述第一二维特征点可以认为是所述第一三维地图中的所述第一三维特征点在图像中的投影。在所述第一终端构建所述第一三维地图时，可以形成所述第一二维特征点与所述第一三维特征点之间的映射关系，因此，可以获取到所述第一二维特征点在所述第一三维地图中所对应的第一三维特征点。

步骤104，根据所述第一三维特征点和所述第二二维特征点，获得第一变换矩阵。

本申请实施例中，可以通过Perspective-n-Point(PNP)的方法获得所述第一变换矩阵。具体的，可以根据各个所述第一三维特征点在所述第一三维地图的坐标系中的坐标以及对应的第二二维特征点所述第二图像中的坐标，建立2D-3D约束，联立方程求解得到所述第一变换矩阵。

本申请实施例中，根据所述第一三维特征点和所述第二二维特征点，获得第一变换矩阵，可以通过较少的计算量，获得一个由第一三维地图到第二三维地图之间的初步对应关系。此时，所述第一变换矩阵可以将所述第一三维地图中的三维特征点投影到所述第二三维地图中，并且，可以通过转换，将所述第二三维地图中的三维特征点投影到第一三维地图中。

步骤105，根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系。

本申请实施例中，所述匹配关系可以指示所述第一三维地图与所述第二三维地图之间存在的相互匹配的特征点(三维特征点或者二维特征点)的信息。所述第一三维地图与所述第二三维地图之间的匹配关系可以包括第一三维地图中的三维特征点投影到所述第二三维地图中后，与所述第二三维地图中的特征点的匹配关系，和/或，所述第二三维地图中的三维特征点投影到所述第一三维地图中后，与所述第一三维地图中的特征点的匹配关系。

其中，示例性的，可以通过各个特征点所对应的描述子来判断各个特征点是否相互匹配。例如，可以通过描述子判断由第一三维地图投影到所述第二三维地图中的二维特征点A与所述第二三维地图的关键帧中的二维特征点B的相似程度是否符合预设条件来判断该两个特征点是否匹配。具体的，可以计算所述二维特征点A与所述二维特征点B的相似度度量值(如L1范数、L2范数、汉明(Hamming)距离等等)，当所述相似度度量值小于对应的阈值时，可以认为所述二维特征点A与所述二维特征点B相匹配，此时，可以认为由第一三维地图投影至所述第二三维地图中的二维特征点A与所述第二三维地图中原本已对应的二维特征点B可能对应现实世界中的同一特征点。但是，一般来说，所述二维特征点A与所述二维特征点B并不能重合，即存在误差，因此，需要在后续，对所述第一变换矩阵进一步优化。

需要说明的是，本申请实施例中，所述第一三维地图的关键帧中的二维特征点可能不都在第一三维地图中存在对应的三维特征点，因此，本申请实施例中，可以指在该二维特征点存在对应的三维特征点时，获取该二维特征点所对应的三维特征点。

步骤106，根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图。

本申请实施例中，通过建立图优化问题进行求解，可以对所述第一变换矩阵、所述第一三维地图的三维特征点和关键帧、以及所述第二三维地图的三维特征点和关键帧等进行优化，并且优化完成后，可以获得将第一三维地图和第二三维地图合并后的三维地图。

所述根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图的方法可以根据实际场景进行选择。例如，可以建立所述第一三维地图和所述第二三维地图的Bundle Adjustment(BA)约束问题，从而根据所述匹配关系以及所述BA约束问题，通过图优化(graph-based optimization)来进行优化，具体的，可以采用高斯-牛顿法(Gauss-Newton)或者列文伯格-马夸尔特(Levenberg-Marquardt)等方法最小化误差，从而实现优化并得到合并后的三维地图。

可选的，在获得将第一三维地图和第二三维地图合并后的三维地图之后，还可以包括：

将所述合并后的三维地图中，相互匹配的三维特征点进行合并。

本申请实施例中，所述合并后的三维地图中，可能包括相互匹配的特征点，该相互匹配的特征点中的一个或多个可以来自所述第一三维地图，另一部分特征点可以来自所述第二三维地图，而由于相互匹配的特征点可以指示现实世界中的同一特征点，因此，可以删除与其他三维特征点存在预设匹配关系的三维特征点，避免所述合并后的三维地图中，存在含义重复的特征点。

可选的，所述将所述合并后的三维地图中，相互匹配的三维特征点进行合并，可以包括：检测所述合并后的三维地图中，相互匹配的三维特征点，若所述相互匹配的三维特征点之间的距离小于预设距离阈值，则将该相互匹配的三维特征点进行合并。本申请实施例可以用于合并第一终端中的第一三维地图和所述第二终端中的第二三维地图，此外，还可以进一步拓展终端设备的数量，因此，在实际应用中，本申请实施例中可以用于实现多个终端设备的三维子地图的合并，所述终端设备的数量在此不作限制。

本申请实施例中，所述第一三维地图由第一终端构建，所述第二三维地图由第二终端构建，从而合理利用各个终端的计算资源，降低了单个终端的运行压力，同时，通过分别在不同终端构建第一三维地图和第二三维地图，可以使得后续得到的合并后的三维地图中，具有多个视角下的地图数据，从而提高了后续应用中的适应性，提高了对处于不同视角的AR设备的定位精度；此外，通过获得相匹配的第一二维特征点和第二二维特征点，再获取所述第一二维特征点在所述第一三维地图中所对应的第一三维特征点，并根据所述第一三维特征点和所述第二二维特征点，获得第一变换矩阵，可以通过较少的计算量，获得一个由第一三维地图到第二三维地图之间的初步对应关系；进一步地，根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系，此时，可以根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图，以提高所述合并后的三维地图的准确性。通过本申请实施例，可以提高创建公共的三维地图时的信息处理效率，具有较强的易用性和实用性。

实施例二

在上述实施例的基础上，参见图2，是本申请实施例提供的三维地图的处理方法的另一实现流程示意图，该三维地图的处理方法可以包括以下步骤：

步骤201，获取由第一终端构建的第一三维地图，并获取由第二终端构建的第二三维地图。

步骤202，获取所述第一三维地图所对应的至少一帧第一图像和所述第二三维地图所对应的至少一帧第二图像，将所述第一图像中的特征点与所述第二图像中的特征点进行匹配，获得相匹配的第一二维特征点和第二二维特征点，其中，所述第一二维特征点属于所述第一图像，所述第二二维特征点属于所述第二图像。

步骤203，获取所述第一二维特征点在所述第一三维地图中所对应的第一三维特征点。

步骤204，根据所述第一三维特征点和所述第二二维特征点，获得第一变换矩阵。

在本申请实施例中，上述步骤201、202、203、204分别与上述步骤101、102、103、104相同或相似，具体可参见上述步骤101、102、103、104的相关描述，在此不再赘述。

步骤205，根据所述第一变换矩阵，获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的第一匹配关系，和，所述第二三维地图中的各个三维特征点在所述第一三维地图中的第二匹配关系。

本申请实施例中，可以遍历所述第一三维地图的各个关键帧，获得各个关键帧中的二维特征点在所述第一三维地图中所对应的三维特征点，并通过所述第一变换矩阵，将所述第一三维地图中所对应的三维特征点投影到所述第二三维地图中，再通过各个特征点所对应的描述子来判断投影到所述第二三维地图中的特征点与所述第二三维地图中的特征点是否存在相互匹配的特征点对，从而获得所述第一匹配关系。并且，类似的，可以遍历所述第二三维地图的各个关键帧，获得各个关键帧中的二维特征点在所述第二三维地图中所对应的三维特征点，并通过所述第一变换矩阵，将所述第二三维地图中所对应的三维特征点投影到所述第一三维地图中，再通过各个特征点所对应的描述子来判断投影到所述第一三维地图中的特征点与所述第一三维地图中的特征点是否存在相互匹配的特征点对，从而获得所述第二匹配关系。

步骤206，根据所述第一匹配关系和所述第二匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图。

本申请实施例中，通过所述第一匹配关系和所述第一匹配关系中各个相匹配的特征点对的误差，可以较全面地反映所述第一变换矩阵的误差。示例性的，可以建立关于所述第一三维地图和所述第二三维地图的Bundle Adjustment约束问题，并根据所述BundleAdjustment约束问题、所述第一匹配关系和所述第二匹配关系，建立误差函数，通过高斯-牛顿法(Gauss-Newton)或者列文伯格-马夸尔特(Levenberg-Marquardt)等方法对所述误差函数进行优化。

可选的，所述根据所述第一变换矩阵，获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的第一匹配关系，和，所述第二三维地图中的各个三维特征点在所述第一三维地图中的第二匹配关系，包括：

获得所述第一三维地图的各个关键帧中的二维特征点在所述第一三维地图中所对应的各个三维特征点，通过所述第一变换矩阵获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的各个第一投影点，并将各个所述第一投影点与所述第二三维地图的各个关键帧中的二维特征点进行匹配，获得所述第一匹配关系；

获得所述第二三维地图的各个关键帧中的二维特征点在所述第二三维地图中所对应的各个三维特征点，通过所述第一变换矩阵获得所述第二三维地图中的各个三维特征点在所述第一三维地图中的各个第二投影点，并将各个所述第二投影点与所述第一三维地图的各个关键帧中的二维特征点进行匹配，获得所述第二匹配关系。

本申请实施例中，可以遍历所述第一三维地图的各个关键帧，以获得所述第一三维地图的各个关键帧中的二维特征点；或者，也可以获取所述第一三维地图中部分关键帧的二维特征点，具体的获取方式可以根据实际应用场景进行选择，在此不作限制。类似的，可以遍历所述第二三维地图的各个关键帧，以获得所述第二三维地图的各个关键帧中的二维特征点；或者，也可以获取所述第二三维地图中部分关键帧的二维特征点。所述第一三维地图中的各个三维特征点在所述第二三维地图中的各个第一投影点可以具有与对应的原三维特征点相同的描述子，从而并将各个所述第一投影点与所述第二三维地图的各个关键帧中的二维特征点进行匹配。

可选的，所述根据所述第一匹配关系和所述第二匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图，包括：

建立关于所述第一三维地图和所述第二三维地图的Bundle Adjustment约束问题；

根据所述Bundle Adjustment约束问题、所述第一匹配关系和所述第二匹配关系，建立误差函数；

对所述误差函数进行优化，以获得将第一三维地图和第二三维地图合并后的三维地图。

本申请实施例中，可以通过SLAM建立关于所述第一三维地图和所述第二三维地图的Bundle Adjustment约束问题。示例性的，可以通过高斯牛顿(Gauss Newton)算法或者列文伯格-马夸尔特(Levenberg-Marquardt)算法，对所述误差函数进行优化，使得所述误差最小化，从而完成优化并获得将第一三维地图和第二三维地图合并后的三维地图。

本申请实施例中，通过获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的第一匹配关系和所述第二三维地图中的各个三维特征点在所述第一三维地图中的第二匹配关系，可以获得所述第一匹配关系和所述第一匹配关系中各个相匹配的特征点对的误差，从而可以较全面地反映所述根据所述第一变换矩阵合并所述第一三维地图和所述第二三维地图所产生的误差，从而使得优化结果更为准确。

实施例三

在上述实施例的基础上，参见图3，是本申请实施例提供的三维地图的处理方法的再一实现流程示意图，该三维地图的处理方法可以包括以下步骤：

步骤301，获取由第一终端构建的第一三维地图，并获取由第二终端构建的第二三维地图。

步骤302，获取所述第一三维地图所对应的至少一帧第一图像和所述第二三维地图所对应的至少一帧第二图像，将所述第一图像中的特征点与所述第二图像中的特征点进行匹配，获得相匹配的第一二维特征点和第二二维特征点，其中，所述第一二维特征点属于所述第一图像，所述第二二维特征点属于所述第二图像。

步骤303，获取所述第一二维特征点在所述第一三维地图中所对应的第一三维特征点。

步骤304，根据所述第一三维特征点和所述第二二维特征点，获得第一变换矩阵。

步骤305，根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系。

步骤306，根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图。

在本申请实施例中，上述步骤301、302、303、304、305、306分别与上述步骤101、102、103、104、105、106相同或相似，具体可参见上述步骤101、102、103、104、105、106的相关描述，在此不再赘述。

步骤307，利用语义分割方式处理所述第一三维地图的各个关键帧所对应的图像和所述第二三维地图的各个关键帧所对应的图像，并将得到的语义信息分别与所述第一三维地图的各个关键帧所对应的图像的二维特征点和所述第二三维地图的各个关键帧所对应的图像的二维特征点相关联。

本申请实施例中，所述语义分割方式可以通过预设的语义分割模型来实现，所述语义分割模型在此不作限定。示例性的，所述语义分割模型可以包括MobileNet、SegNet等等中的一种或多种。

本申请实施例中，通过所述语义分割方式，可以获取到相应的图像中存在的内容和位置等语义信息，并且，可以将相应的语义信息与相应的特征点相关联。

步骤308，删除所述合并后的三维地图中，对应的语义信息不符合预设条件的三维特征点。

本申请实施例中，所述三维特征点可以存在对应于所述第一三维地图的各个关键帧所对应的图像或者所述第二三维地图的各个关键帧所对应的图像中的二维特征点，此时，对应的二维特征点的语义信息可以认为是该三维特征点的语义信息。

本申请实施例中，所述预设条件可以根据实际应用场景进行设置。例如，可以设置对应的语义信息不符合预设条件的三维特征点包括：对应的语义信息为无意义语义的三维特征点，或者对应的语义信息指示为某些特定内容(如可能产生干扰的内容、不需要的内容等等)的三维特征点。

本申请实施例中，通过删除对应的语义信息不符合预设条件的三维特征点，可以压缩合并后的三维地图的大小，减小对终端设备的资源的消耗。同时，可以在后续的应用过程中，减少对设备或者一些操作的定位的干扰，降低后续应用中误匹配的概率。

应理解，上述实施例一、二和三中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例四

参见图4，是本申请实施例提供的三维地图的处理装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。该三维地图的处理装置可以用于各种具备图像处理功能的终端，例如笔记本电脑、口袋计算机(Pocket Personal Computer，PPC)、个人数字助理(Personal Digital Assistant，PDA)等中，可以为内置于这些终端内的软件单元、硬件单元或者软硬件结合单元等。本申请实施例中的三维地图的处理装置400包括：

第一获取模块401，用于获取由第一终端构建的第一三维地图，并获取由第二终端构建的第二三维地图；

第二获取模块402，用于获取所述第一三维地图所对应的至少一帧第一图像和所述第二三维地图所对应的至少一帧第二图像，将所述第一图像中的特征点与所述第二图像中的特征点进行匹配，获得相匹配的第一二维特征点和第二二维特征点，其中，所述第一二维特征点属于所述第一图像，所述第二二维特征点属于所述第二图像；

第三获取模块403，用于获取所述第一二维特征点在所述第一三维地图中所对应的第一三维特征点；

第一处理模块404，用于根据所述第一三维特征点和所述第二二维特征点，获得第一变换矩阵；

第二处理模块405，用于根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系；

第三处理模块406，用于根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图。

可选的，所述第二处理模块405具体用于：

根据所述第一变换矩阵，获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的第一匹配关系，和，所述第二三维地图中的各个三维特征点在所述第一三维地图中的第二匹配关系；

所述第三处理模块406具体用于：

根据所述第一匹配关系和所述第二匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图。

可选的，所述第二处理模块405具体包括：

第一获取单元，用于获得所述第一三维地图的各个关键帧中的二维特征点在所述第一三维地图中所对应的各个三维特征点，通过所述第一变换矩阵获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的各个第一投影点，并将各个所述第一投影点与所述第二三维地图的各个关键帧中的二维特征点进行匹配，获得所述第一匹配关系；

第二获取单元，用于获得所述第二三维地图的各个关键帧中的二维特征点在所述第二三维地图中所对应的各个三维特征点，通过所述第一变换矩阵获得所述第二三维地图中的各个三维特征点在所述第一三维地图中的各个第二投影点，并将各个所述第二投影点与所述第一三维地图的各个关键帧中的二维特征点进行匹配，获得所述第二匹配关系。

可选的，所述第三处理模块406具体包括：

第一建立单元，用于建立关于所述第一三维地图和所述第二三维地图的BundleAdjustment约束问题；

第二建立单元，用于根据所述Bundle Adjustment约束问题、所述第一匹配关系和所述第二匹配关系，建立误差函数；

优化单元，用于对所述误差函数进行优化，以获得将第一三维地图和第二三维地图合并后的三维地图。

可选的，至少所述第一三维地图的一部分由所述第一终端，根据所述第一终端采集的图像通过即时定位与地图构建SLAM方式构建得到，至少所述第二三维地图的一部分由所述第二终端，根据所述第二终端采集的图像通过所述SLAM方式构建得到。

可选的，所述三维地图的处理装置400还包括：

第一删除模块，用于将所述合并后的三维地图中，相互匹配的三维特征点进行合并。

可选的，所述三维地图的处理装置400还包括：

语义分割模块，用于利用语义分割方式处理所述第一三维地图的各个关键帧所对应的图像和所述第二三维地图的各个关键帧所对应的图像，并将得到的语义信息分别与所述第一三维地图的各个关键帧所对应的图像的二维特征点和所述第二三维地图的各个关键帧所对应的图像的二维特征点相关联；

第二删除模块，用于删除所述合并后的三维地图中，对应的语义信息不符合预设条件的三维特征点。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

实施例五

本申请实施例五提供了一种终端设备，请参阅图5，本申请实施例中的终端设备包括：存储器501，一个或多个处理器502(图5中仅示出一个)及存储在存储器501上并可在处理器上运行的计算机程序。其中：存储器501用于存储软件程序以及模块，处理器502通过运行存储在存储器501的软件程序以及单元，从而执行各种功能应用以及数据处理。具体地，处理器502通过运行存储在存储器501的上述计算机程序时实现以下步骤：

获取由第一终端构建的第一三维地图，并获取由第二终端构建的第二三维地图；

获取所述第一三维地图所对应的至少一帧第一图像和所述第二三维地图所对应的至少一帧第二图像，将所述第一图像中的特征点与所述第二图像中的特征点进行匹配，获得相匹配的第一二维特征点和第二二维特征点，其中，所述第一二维特征点属于所述第一图像，所述第二二维特征点属于所述第二图像；

获取所述第一二维特征点在所述第一三维地图中所对应的第一三维特征点；

根据所述第一三维特征点和所述第二二维特征点，获得第一变换矩阵；

根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系；

根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图。

假设上述为第一种可能的实施方式，则在上述第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，处理器502通过运行存储在存储器501的上述计算机程序时，所述根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系，包括：

根据所述第一变换矩阵，获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的第一匹配关系，和，所述第二三维地图中的各个三维特征点在所述第一三维地图中的第二匹配关系；

所述根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图，包括：

根据所述第一匹配关系和所述第二匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图。

在上述第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，处理器502通过运行存储在存储器501的上述计算机程序时，所述根据所述第一变换矩阵，获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的第一匹配关系，和，所述第二三维地图中的各个三维特征点在所述第一三维地图中的第二匹配关系，包括：

获得所述第一三维地图的各个关键帧中的二维特征点在所述第一三维地图中所对应的各个三维特征点，通过所述第一变换矩阵获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的各个第一投影点，并将各个所述第一投影点与所述第二三维地图的各个关键帧中的二维特征点进行匹配，获得所述第一匹配关系；

获得所述第二三维地图的各个关键帧中的二维特征点在所述第二三维地图中所对应的各个三维特征点，通过所述第一变换矩阵获得所述第二三维地图中的各个三维特征点在所述第一三维地图中的各个第二投影点，并将各个所述第二投影点与所述第一三维地图的各个关键帧中的二维特征点进行匹配，获得所述第二匹配关系。

在上述第二种可能的实施方式作为基础而提供的第四种可能的实施方式中，处理器502通过运行存储在存储器501的上述计算机程序时，所述根据所述第一匹配关系和所述第二匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图，包括：

建立关于所述第一三维地图和所述第二三维地图的Bundle Adjustment约束问题；

根据所述Bundle Adjustment约束问题、所述第一匹配关系和所述第二匹配关系，建立误差函数；

对所述误差函数进行优化，以获得将第一三维地图和第二三维地图合并后的三维地图。

在上述第一种可能的实施方式作为基础而提供的第五种可能的实施方式中，处理器502通过运行存储在存储器501的上述计算机程序时，至少所述第一三维地图的一部分由所述第一终端，根据所述第一终端采集的图像通过即时定位与地图构建SLAM方式构建得到，至少所述第二三维地图的一部分由所述第二终端，根据所述第二终端采集的图像通过所述SLAM方式构建得到。

在上述第一种可能的实施方式作为基础而提供的第六种可能的实施方式中，处理器502通过运行存储在存储器501的上述计算机程序时还实现以下步骤：

将所述合并后的三维地图中，相互匹配的三维特征点进行合并。

在第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础，或者上述第五种可能的实施方式作为基础，或者上述第六种可能的实施方式作为基础而提供的第七种可能的实施方式中，处理器502通过运行存储在存储器501的上述计算机程序时还实现以下步骤：

利用语义分割方式处理所述第一三维地图的各个关键帧所对应的图像和所述第二三维地图的各个关键帧所对应的图像，并将得到的语义信息分别与所述第一三维地图的各个关键帧所对应的图像的二维特征点和所述第二三维地图的各个关键帧所对应的图像的二维特征点相关联；

删除所述合并后的三维地图中，对应的语义信息不符合预设条件的三维特征点。

进一步，如图5所示，上述终端设备还可包括：一个或多个输入设备503(图5中仅示出一个)和一个或多个输出设备504(图5中仅示出一个)。存储器501、处理器502、输入设备503和输出设备504通过总线505连接。

应当理解，在本申请实施例中，所称处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备503可以包括键盘、触控板、指纹采集传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风、摄像头等，输出设备504可以包括显示器、扬声器等。

存储器501可以包括只读存储器和随机存取存储器，并向处理器502提供指令和数据。存储器501的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器501还可以存储设备类型的信息。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

上述集成的单元、模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种三维地图的处理方法，其特征在于，包括：

获取由第一终端构建的第一三维地图，并获取由第二终端构建的第二三维地图；

获取所述第一三维地图所对应的至少一帧第一图像和所述第二三维地图所对应的至少一帧第二图像，将所述第一图像中的特征点与所述第二图像中的特征点进行匹配，获得相匹配的第一二维特征点和第二二维特征点，其中，所述第一二维特征点属于所述第一图像，所述第二二维特征点属于所述第二图像；

获取所述第一二维特征点在所述第一三维地图中所对应的第一三维特征点，根据所述第一三维特征点和所述第二二维特征点，获得第一变换矩阵；

根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系；

根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图；

所述根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系，包括：

根据所述第一变换矩阵，获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的第一匹配关系，和，所述第二三维地图中的各个三维特征点在所述第一三维地图中的第二匹配关系；

所述根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图，包括：

根据所述第一匹配关系和所述第二匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图；

所述根据所述第一变换矩阵，获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的第一匹配关系，和，所述第二三维地图中的各个三维特征点在所述第一三维地图中的第二匹配关系，包括：

获得所述第一三维地图的各个关键帧中的二维特征点在所述第一三维地图中所对应的各个三维特征点，通过所述第一变换矩阵获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的各个第一投影点，并将各个所述第一投影点与所述第二三维地图的各个关键帧中的二维特征点进行匹配，获得所述第一匹配关系；

获得所述第二三维地图的各个关键帧中的二维特征点在所述第二三维地图中所对应的各个三维特征点，通过所述第一变换矩阵获得所述第二三维地图中的各个三维特征点在所述第一三维地图中的各个第二投影点，并将各个所述第二投影点与所述第一三维地图的各个关键帧中的二维特征点进行匹配，获得所述第二匹配关系。

2.如权利要求1所述的处理方法，其特征在于，所述根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图，包括：

建立关于所述第一三维地图和所述第二三维地图的Bundle Adjustment约束问题；

根据所述Bundle Adjustment约束问题、所述第一匹配关系和所述第二匹配关系，建立误差函数；

对所述误差函数进行优化，以获得将第一三维地图和第二三维地图合并后的三维地图。

3.如权利要求1所述的处理方法，其特征在于，至少所述第一三维地图的一部分由所述第一终端，根据所述第一终端采集的图像通过即时定位与地图构建SLAM方式构建得到，至少所述第二三维地图的一部分由所述第二终端，根据所述第二终端采集的图像通过所述SLAM方式构建得到。

4.如权利要求1所述的处理方法，其特征在于，在获得将第一三维地图和第二三维地图合并后的三维地图之后，包括：

将所述合并后的三维地图中，相互匹配的三维特征点进行合并。

5.如权利要求1至4任意一项所述的处理方法，其特征在于，所述处理方法还包括：

利用语义分割方式处理所述第一三维地图的各个关键帧所对应的图像和所述第二三维地图的各个关键帧所对应的图像，并将得到的语义信息分别与所述第一三维地图的各个关键帧所对应的图像的二维特征点和所述第二三维地图的各个关键帧所对应的图像的二维特征点相关联；

删除所述合并后的三维地图中，对应的语义信息不符合预设条件的三维特征点。

6.一种三维地图的处理装置，其特征在于，包括：

第一获取模块，用于获取由第一终端构建的第一三维地图，并获取由第二终端构建的第二三维地图；

第二获取模块，用于获取所述第一三维地图所对应的至少一帧第一图像和所述第二三维地图所对应的至少一帧第二图像，将所述第一图像中的特征点与所述第二图像中的特征点进行匹配，获得相匹配的第一二维特征点和第二二维特征点，其中，所述第一二维特征点属于所述第一图像，所述第二二维特征点属于所述第二图像；

第三获取模块，用于获取所述第一二维特征点在所述第一三维地图中所对应的第一三维特征点；

第一处理模块，用于根据所述第一三维特征点和所述第二二维特征点，获得第一变换矩阵；

第二处理模块，用于根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系；

第三处理模块，用于根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图；

所述根据所述第一变换矩阵，获得所述第一三维地图与所述第二三维地图之间的匹配关系，包括：

根据所述第一变换矩阵，获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的第一匹配关系，和，所述第二三维地图中的各个三维特征点在所述第一三维地图中的第二匹配关系；

所述根据所述匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图，包括：

根据所述第一匹配关系和所述第二匹配关系，建立图优化问题进行求解，以获得将第一三维地图和第二三维地图合并后的三维地图；

所述根据所述第一变换矩阵，获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的第一匹配关系，和，所述第二三维地图中的各个三维特征点在所述第一三维地图中的第二匹配关系，包括：

获得所述第一三维地图的各个关键帧中的二维特征点在所述第一三维地图中所对应的各个三维特征点，通过所述第一变换矩阵获得所述第一三维地图中的各个三维特征点在所述第二三维地图中的各个第一投影点，并将各个所述第一投影点与所述第二三维地图的各个关键帧中的二维特征点进行匹配，获得所述第一匹配关系；

获得所述第二三维地图的各个关键帧中的二维特征点在所述第二三维地图中所对应的各个三维特征点，通过所述第一变换矩阵获得所述第二三维地图中的各个三维特征点在所述第一三维地图中的各个第二投影点，并将各个所述第二投影点与所述第一三维地图的各个关键帧中的二维特征点进行匹配，获得所述第二匹配关系。

7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述三维地图的处理方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述三维地图的处理方法的步骤。

Images