CN110704563A - 地图融合方法及装置、设备、存储介质 - Google Patents

地图融合方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN110704563A
CN110704563A CN201910923582.3A CN201910923582A CN110704563A CN 110704563 A CN110704563 A CN 110704563A CN 201910923582 A CN201910923582 A CN 201910923582A CN 110704563 A CN110704563 A CN 110704563A
Authority
CN
China
Prior art keywords
map
target
global
coordinate
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910923582.3A
Other languages
English (en)
Other versions
CN110704563B (zh
Inventor
金珂
杨宇尘
马标
李姬俊男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910923582.3A priority Critical patent/CN110704563B/zh
Publication of CN110704563A publication Critical patent/CN110704563A/zh
Priority to PCT/CN2020/116926 priority patent/WO2021057743A1/zh
Application granted granted Critical
Publication of CN110704563B publication Critical patent/CN110704563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/005—Map projections or methods associated specifically therewith

Abstract

本申请实施例公开了地图融合方法及装置、设备、存储介质，其中，所述方法包括：获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同；以所述第二地图的坐标系为全局坐标系，将每一所述第一地图中第一采样点的局部坐标转换到所述全局坐标系中，得到所述第一采样点的第一全局坐标；将所述第一采样点的第一全局坐标融合到所述第二地图中，得到初始全局地图；对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图。

Description

地图融合方法及装置、设备、存储介质
技术领域
本申请实施例涉及电子技术，涉及但不限于地图融合方法及装置、设备、存储介质。
背景技术
目前，通过视觉信息可以建立室内环境地图，在构建室内环境地图的过程中不可避免地遇到地图融合的需求。比如，在多次数据采集后的地图融合、多人或多机器协作完成地图构建等应用场景中，都需要将多个局部地图合成为一个全局地图。然而，合成的全局地图却存在较大的融合误差，在合成后多个局部地图之间的一致性较低。
发明内容
本申请实施例提供地图融合方法及装置、设备、存储介质。本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种地图融合方法，所述方法包括：获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同；以所述第二地图的坐标系为全局坐标系，将每一所述第一地图中第一采样点的局部坐标转换到所述全局坐标系中，得到所述第一采样点的第一全局坐标；将所述第一采样点的第一全局坐标融合到所述第二地图中，得到初始全局地图；对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图。
第二方面，本申请实施例提供一种地图融合装置，包括：地图获取模块，配置为获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同；坐标转换模块，配置为以所述第二地图的坐标系为全局坐标系，将每一所述第一地图中第一采样点的局部坐标转换到所述全局坐标系中，得到所述第一采样点的第一全局坐标；地图融合模块，配置为将所述第一采样点的第一全局坐标融合到所述第二地图中，得到初始全局地图；地图优化模块，配置为对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图。
第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，处理器执行所述程序时实现上述地图融合方法中的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述地图融合方法中的步骤。
本申请实施例中，在将一个或多个不同的第一地图中第一采样点的第一全局坐标融合到第二地图中，得到初始全局地图之后，对初始全局地图中第一采样点的第一全局坐标进行优化，得到目标全局地图；如此，可以减小地图融合误差，改善初始全局地图的一致性问题。
附图说明
图1A为本申请实施例地图融合方法的实现流程示意图；
图1B为本申请实施例将多个第一地图融合到第二地图的示意图；
图2为本申请实施例确定多个目标点的局部坐标的示意图；
图3为本申请实施例特征点匹配对示意图；
图4为本申请实施例重投影误差的示意图；
图5A为本申请实施例地图融合装置的组成结构示意图；
图5B为本申请实施例另一地图融合装置的组成结构示意图；
图6为本申请实施例电子设备的一种硬件实体示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本申请实施例提供一种地图融合方法，所述方法可以应用于电子设备，所述电子设备可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机、服务器等具有信息处理能力的设备。所述地图融合方法所实现的功能可以通过所述电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，所述电子设备至少包括处理器和存储介质。
图1A为本申请实施例地图融合方法的实现流程示意图，如图1A所示，所述方法至少包括以下步骤S101至步骤S104：
步骤S101，获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同。
需要说明的是，一个或多个不同的第一地图可以是一个或多个不同的其他电子设备在不同位置通过内置的图像采集器所采集的局部地图，或者还可以是所述电子设备在不同位置通过内置的图像采集器所采集的局部地图。所述其他电子设备可以以众包的形式将采集的第一地图发送给所述电子设备。第二地图实际上也是一个局部地图，但是与每一第一地图相比，采集位置是不同的。第二地图的坐标系为适合某种应用场景下的坐标系，例如在视觉定位中，第二地图的坐标系为世界坐标系。
步骤S102，以所述第二地图的坐标系为全局坐标系，将每一所述第一地图中第一采样点的局部坐标转换到所述全局坐标系中，得到所述第一采样点的第一全局坐标。
所述电子设备在实现步骤S102时，可以将第一地图中与第二地图不匹配的第一采样点的局部坐标转换为第一全局坐标，在执行步骤S103时，只将这些不匹配的第一采样点的第一全局坐标融合到第二地图中。在其他实施例中，还可以将第一地图中的全部第一采样点的第一全局坐标融合到第二地图中。需要说明的是，每一第一采样点的第一全局坐标是不同的。
步骤S103，将所述第一采样点的第一全局坐标融合到所述第二地图中，得到初始全局地图。
所述电子设备在实现步骤S103时，可以将多个第一采样点的第一全局坐标添加到第二地图中。在其他实施例中，所述电子设备还可以将多个第一采样点的图像特征和第一全局坐标添加到第二地图中。
步骤S104，对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图。
可以理解地，优化的目的是为了得到与第一采样点的实际坐标更为接近的目标全局坐标，以减小在确定第一采样点的第一全局坐标时所引入的累计误差，从而减小融合误差，得到目标全局地图。
在本申请实施例中，所述电子设备在将每一第一地图中第一采样点的第一全局坐标融合到第二地图之后，不是直接将得到的初始全局地图作为最终应用的目标全局地图，而是，还要对初始全局地图中所述第一采样点的第一全局坐标进行优化；如此可以减小融合误差，使得到的第一采样点的第一全局坐标更加接近实际坐标。这是因为，在将多个第一地图融合到第二地图中，通常当前第一地图中第一采样点的第一全局坐标是在前一个第一地图被融合到第二地图的基础上所确定的，这样就带来了累计误差，即，随着融合到第二地图的第一地图数量的增加，得到的第一采样点的第一全局坐标的误差越随之增加。因此，在得到初始全局地图之后，还需要对融合进来的第一采样点的第一全局坐标进行优化，以减小累计误差。
本申请实施例再提供一种地图融合方法，所述方法至少包括以下步骤S201至步骤S204：
步骤S201，获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同。
步骤S202，以所述第二地图的坐标系为全局坐标系，依次将所述第一地图集合中满足条件的第一地图中第一采样点的局部坐标，转换为第一全局坐标。
步骤S203，依次将所述第一地图集合中满足条件的第一地图中第一采样点的第一全局坐标，融合到当前第二地图中，得到所述初始全局地图。
所述电子设备可以通过如下实施例中的步骤S302至步骤S305实现步骤S202和步骤S203，即，优先将第一地图集合中与第二地图相匹配的第一地图(与第二地图之间具有较多重叠区域的第一地图)中第一采样点的局部坐标，转换为第一全局坐标，并融合到当前第二地图中。
步骤S204，对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图。
在本申请实施例中，优先融合满足条件的第一地图，这样不仅可以提高融合精度，还可以避免出现融合失败的情况，从而提高地图融合效率。
本申请实施例再提供一种地图融合方法，所述方法至少包括以下步骤S301至步骤S306：
步骤S301，获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同。
步骤S302，将所述第一地图集合中与所述第二地图相匹配的第一地图，确定为目标局部地图。
所述电子设备可以通过如下实施例中的步骤S402至步骤S404实现步骤S302；或者，所述电子设备还可以通过如下实施例中的步骤S502至步骤S504实现步骤S302。
步骤S303，以所述第二地图的坐标系为全局坐标系，将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标。
所述电子设备可以通过如下实施例中的步骤S311至步骤S313、或者步骤S405、或者步骤S502至步骤S504来实现步骤S303。
步骤S304，将所述目标局部地图中第一采样点的第一局部坐标融合到所述第二地图中，得到融合后的第二地图；
步骤S305，从所述第一地图集合中剩余的第一地图中，确定与所述融合后的第二地图相匹配的新的目标局部地图，以将所述新的目标局部地图中第一采样点的第一全局坐标，融合到所述融合后的第二地图中，直到每一所述第一地图均被融合到所述第二地图中为止，得到所述初始全局地图。
举例来说，如图1B所示，假设第一地图集合10包括的第一地图为地图11、地图12和地图13，在进行第一次地图融合时，第一地图集合10中与第二地图14相匹配的第一地图为地图12，此时将地图12作为目标局部地图，融合到第二地图14中，得到的融合后的第二地图14为地图141；在进行第二次地图融合时，从第一地图集合中确定与地图141相匹配的新的目标局部地图为地图11，此时将地图11融合到地图141中，得到的融合后的第二地图为地图142；最后，将地图13融合到地图142中，得到初始全局地图143。
步骤S306，对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图。
在本申请实施例中，确定待融合的第一地图(即目标局部地图)和融合，两个动作交替进行，即新的目标局部地图是在当前得到的第二地图的基础上所确定的；这样，使得所述电子设备能够从第一地图集合中找到与当前得到的第二地图具有更多重叠区域的目标局部地图，这对于目标局部地图中第一采样点的第一全局坐标的确定精度是有利的，能够减小融合误差，提高地图融合精度。
在其他实施例中，所述电子设备可以通过如下步骤S311至步骤S313实现上述步骤S303(所述以所述第二地图的坐标系为全局坐标系，将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标)：
步骤S311，从所述第二地图的第二采样点中，确定出与所述目标局部地图中第一采样点的图像特征相匹配的目标点。
步骤S312，根据所述目标局部地图中多个第一采样点的局部坐标和与所述多个第一采样点分别对应的目标点的全局坐标，确定所述目标局部地图相对于所述第二地图的第一坐标转换关系。
在实现步骤S312时，所述电子设备可以根据所述多个第一采样点的局部坐标和与所述多个第一采样点分别对应的目标点的全局坐标，确定与所述多个第一采样点分别对应的目标点在所述目标局部地图中的局部坐标；根据每一目标点的全局坐标和局部坐标，确定所述第一坐标转换关系。
在其他实施例中，第一坐标转换关系包括目标局部地图相对于第二地图的旋转关系，所述电子设备可以根据所述旋转关系，确定图像采集设备在采集所述目标局部地图中第一采样点时在第二地图中的朝向。
一般来说，所述电子设备可以根据至少3个第一采样点的局部坐标和与所述3个第一采样点分别匹配的目标点的全局坐标，才能够准确地确定与所述3个第一采样点分别匹配的目标点的局部坐标。
举例来说，如图2所示，点O为目标局部地图的坐标系的原点，多个目标点为图2中所示的大写的A、B、C这3个点，在目标局部地图中，与点A匹配的第一采样点为小写的点a，与点B匹配的第一采样点为小写的点b，与点C匹配的第一采样点为小写的点c。
根据余弦定理可以列出如下公式(1)：
式(1)中，＜a,b＞指的是∠aOb，＜a,c＞指的是∠aOc，＜b,c＞指的是∠bOc。
对上式进行消元，同时除以OC2，并令
Figure BDA0002218329810000042
则可得出如下式(2)：
Figure BDA0002218329810000051
接着进行替换，令
Figure BDA0002218329810000052
则可得出如下式(3)：
Figure BDA0002218329810000053
将上面的式(1)带入式(2)和式(3)，则可得出如下式(4)：
Figure BDA0002218329810000054
在式(4)中，w、v、cos＜a,c＞、cos＜b,c＞、cos＜a,b＞都是已知量，因此未知量只有x和y两个，因此通过上式(4)中的两个方程可以求得x和y的值，接着根据如下公式(5)的三个方程就可以求解OA、OB和OC的值：
Figure BDA0002218329810000055
最后求解A、B、C这3个目标点的局部坐标，根据向量公式(6)，可得：
式(6)中，
Figure BDA0002218329810000057
的方向为点O到点a；
Figure BDA0002218329810000058
的方向为点O到点b；
Figure BDA0002218329810000059
的方向为点O到点c。
步骤S313，根据所述第一坐标转换关系，将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标。
所述电子设备在实现步骤S313时，可以将目标局部地图中的每一第一采样点的局部坐标转换为第一全局坐标；还可以将目标局部地图中的部分第一采样点的局部坐标转换为第一全局坐标，例如，将目标局部地图中的除与目标点匹配的第一采样点外的其他第一采样点的局部坐标转换为第一全局坐标。
本申请实施例再提供一种地图融合方法，所述方法至少包括以下步骤S401至步骤S410：
步骤S401，获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同。
步骤S402，将每一所述第一地图中第一采样点的图像特征，分别与所述第二地图中第二采样点的图像特征进行匹配，得到与所述第一地图对应的第一匹配对集合。
通过步骤S402，所述电子设备可以得到与每一第一地图对应的第一匹配对集合。换句话说，每一第一匹配对集合都可以通过步骤S402来获得。例如，所述电子设备可以通过以下步骤来确定与所述第一地图对应的第一匹配对集合，即，确定所述第一地图中第i个第一采样点的图像特征与每一所述第二采样点之间的相似度，得到相似度集合，i为大于0的整数；将所述相似度集合中相似度满足第二条件的第二采样点，确定为目标点；将每一所述目标点和对应的第一采样点进行关联，得到与所述第一地图对应的第一匹配对集合。
可以理解地，第一匹配对集合中包括的匹配对为第一采样点和与其匹配的第二采样点(即目标点)。所述相似度，指的是两个采样点的图像特征之间的相近程度。在实现时，所述相似度可以通过欧氏距离、汉明距离或者余弦相似度等来表征。相应地，可以将相似度集合中相似度小于第三阈值的第二采样点确定为目标点。或者可以将相似度集合中相似度最小的第二采样点确定为目标点。
步骤S403，将满足第一条件的第一匹配对集合，确定为第一目标匹配对集合。
例如，将匹配对数目大于第四阈值的第一匹配对集合确定为第一目标匹配对集合；或者，匹配对数目最多的第一匹配对集合确定为第一目标匹配对集合。
步骤S404，将与所述第一目标匹配对集合对应的第一地图，确定为目标局部地图。
步骤S405，根据所述第一目标匹配对集合中多个第一采样点的局部坐标和对应的目标点的全局坐标，确定所述目标局部地图相对于所述第二地图的第一坐标转换关系。
步骤S407，以所述第二地图的坐标系为全局坐标系，根据所述第一坐标转换关系，将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标。
步骤S408，将所述目标局部地图中第一采样点的第一局部坐标融合到所述第二地图中，得到融合后的第二地图。
步骤S409，从所述第一地图集合中剩余的第一地图中，确定与所述融合后的第二地图相匹配的新的目标局部地图，以将所述新的目标局部地图中第一采样点的第一全局坐标，融合到所述融合后的第二地图中，直到每一所述第一地图均被融合到所述第二地图中为止，得到所述初始全局地图。
步骤S410，对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图。
在本申请实施例中，基于第一采样点的图像特征和第二采样点的图像特征，从第一地图集合中选出与第二地图相匹配的目标局部地图；这样，使得所述电子设备能够找到与第二地图更加匹配的目标局部地图，这是因为根据图像特征，能够获得更好的匹配准确度；如此，也更加利于提高融合精度。
本申请实施例再提供一种地图融合方法，所述方法至少包括以下步骤S501至步骤S508：
步骤S501，获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同。
步骤S502，根据迭代策略，将所述第一地图集合中第n个第一地图的每一第一采样点的局部坐标与所述第二地图中多个第二采样点的全局坐标进行匹配，得到匹配结果，n为大于0的整数。
这里，每一第一地图包括第一采样点的局部坐标，第二地图包括第二采样点的全局坐标，但是这些地图均不包括采样点的图像特征；如此，可以使得地图融合方法适用于所有局部地图均没有图像特征的应用场景中，即，在第二地图和每一第一地图没有采样点的图像特征的前提下，所述电子设备也能够实现地图融合。另外，所述电子设备在存储目标全局地图时，图像特征一般占据比较大的存储空间。例如，图像特征为特征描述子，通常情况下，每个采样点的特征描述子具有256个字节，这就需要所述电子设备给每个采样点分配至少256个字节的存储空间来存储特征描述子。在实现时，目标全局地图中不包括采样点的图像特征；如此，可以大大降低目标全局地图的数据量，从而节约目标全局地图的存储空间。
步骤S503，在所述匹配结果表征匹配成功的情况下，将所述第n个第一地图确定为所述目标局部地图。
步骤S504，在所述匹配结果表征匹配失败的情况下，继续将下一个第一地图中每一第一采样点的局部坐标与所述多个第二采样点的全局坐标进行匹配，直到从所述第一地图集合中确定出所述目标局部地图为止，执行步骤S505。
步骤S505，以所述第二地图的坐标系为全局坐标系，将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标。
步骤S506，将所述目标局部地图中第一采样点的第一局部坐标融合到所述第二地图中，得到融合后的第二地图。
步骤S507，从所述第一地图集合中剩余的第一地图中，确定与所述融合后的第二地图相匹配的新的目标局部地图，以将所述新的目标局部地图中第一采样点的第一全局坐标，融合到所述融合后的第二地图中，直到每一所述第一地图均被融合到所述第二地图中为止，得到所述初始全局地图。
步骤S508，对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图。
本申请实施例再提供一种地图融合方法，所述方法至少包括以下步骤S601至步骤S614：
步骤S601，获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同。
步骤S602，从所述第二地图的多个第二采样点中，选取与所述第n个第一地图中每一第一采样点匹配的初始目标点。
所述电子设备在实现步骤S602时，可以设置第一地图相对于第二地图的初始坐标转换关系；然后，根据第一地图中第一采样点的局部坐标和所述初始转换关系，将第一地图中的第一采样点与所述多个第二采样点进行匹配，从而从所述多个第二采样点中选取与所述第一地图中的第一采样点匹配的初始目标点。在一个示例中，可以通过如下实施例中的步骤S702至步骤S704，选取所述初始目标点。
实际上，通过步骤S602，只是为了选取与第一地图中的第一采样点可能匹配的第二采样点，初始目标点可能不是与第一采样点真正匹配的点，因此，需要通过如下步骤S603至步骤S610，进一步确定初始目标点是否是与第一采样点真正匹配的点。
步骤S603，根据所述第n个第一地图中每一第一采样点的局部坐标和对应的初始目标点的全局坐标，确定所述第n个第一地图相对于所述第二地图的第二坐标转换关系。
所述电子设备在实现步骤S603时，可以根据第n个第一地图中每一第一采样点的局部坐标和对应的初始目标点的全局坐标，构建误差函数；然后，通过最小二乘法求解当前最优的第二坐标转换关系。例如，包括h个第一采样点的局部坐标的集合表示为P＝{p1,p2,...,pl,...,ph}，第一采样点的局部坐标用pl来表示，与所述h个第一采样点匹配的初始目标点的全局坐标的集合表示为Q＝{q1,q2,...,ql,...,qh}，初始目标点的全局坐标用ql来表示，那么，可以列出如下式(7)：
Figure BDA0002218329810000071
式中，E(R,T)为误差函数，R和T分别为待求解的第二坐标转换关系中的第二坐标转换关系中的第二旋转关系和第二平移关系。那么，可以通过最小二乘法求解式(7)中R和T的最优解。
步骤S604，根据所述第二坐标转换关系、所述第n个第一地图中每一第一采样点的局部坐标和对应的初始目标点的全局坐标，确定匹配误差。
所述电子设备在实现步骤S604时，可以通过如下实施例中的步骤S706和步骤S707确定所述匹配误差。
步骤S605，统计确定匹配误差的次数。
可以理解地，在处理当前的第一地图时，每确定一次匹配误差，就统计确定匹配误差的次数，在处理下一个第一地图时，可以将当前次数清零。
步骤S606，确定所述次数是否大于第二阈值；如果是，执行步骤S607；否则，执行步骤S608。
可以理解地，如果所述次数大于第二阈值，说明第n个第一地图与当前第二地图是不匹配的，例如两者没有相匹配的采样点。此时，可以将当前统计的确定匹配误差的次数清零之后，将第n个第一地图替换为第n+1个(即下一个)第一地图，重新执行类似步骤S602至步骤606的内容。
步骤S607，生成表征匹配失败的匹配结果，并继续从所述多个第二采样点中，选取与下一个第一地图中每一第一采样点匹配的初始目标点，直到生成表征匹配成功的匹配结果为止，进入步骤S610。
步骤S608，确定所述匹配误差是否大于第一阈值；如果是，返回步骤S602，重新选取初始目标点，并重新确定匹配误差；否则，执行步骤S609。
步骤S609，生成表征匹配成功的匹配结果。
步骤S610，在所述匹配结果表征匹配成功的情况下，将所述第n个第一地图确定为所述目标局部地图，并将确定的匹配误差小于或等于所述第一阈值时的第二坐标转换关系，确定为所述目标局部地图相对于所述第二地图的第一坐标转换关系。
可以理解地，如果所述匹配误差大于第一阈值，说明当前选取的初始目标点并不是与当前第一地图中第一采样点相匹配的点，两者指代的不是物理空间中同一位置点或者相近的位置点。此时，还需要返回步骤S602，重新选取初始目标点，并基于重新选取的初始目标点，重新执行步骤S603至步骤S604，以重新确定匹配误差，直至重新确定的匹配误差小于所述第一阈值时，认为当前迭代中选取的初始目标点是与当前第一地图中第一采样点真正匹配的点，此时可以将当前迭代获得的第二坐标转换关系确定为第一坐标转换关系
步骤S611，以所述第二地图的坐标系为全局坐标系，根据所述第一坐标转换关系，将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标。
步骤S612，将所述目标局部地图中第一采样点的第一局部坐标融合到所述第二地图中，得到融合后的第二地图。
步骤S613，从所述第一地图集合中剩余的第一地图中，确定与所述融合后的第二地图相匹配的新的目标局部地图，以将所述新的目标局部地图中第一采样点的第一全局坐标，融合到所述融合后的第二地图中，直到每一所述第一地图均被融合到所述第二地图中为止，得到所述初始全局地图。
步骤S614，对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图。
本申请实施例再提供一种地图融合方法，所述方法至少包括以下步骤S701至步骤S717：
步骤S701，获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同。
步骤S702，获取所述第n个第一地图相对于所述第二地图的第三坐标转换关系；在实现时，可以将所述第三坐标转换关系设置一个初始值。
步骤S703，根据所述第三坐标转换关系和所述第n个第一地图中第j个第一采样点的局部坐标，确定所述第j个第一采样点的第二全局坐标，j为大于0的整数。
步骤S704，将所述第二全局坐标与所述多个第二采样点的全局坐标进行匹配，得出与所述第j个第一采样点匹配的初始目标点。
所述电子设备在实现步骤S704时，可以确定所述第j个第一采样点的第二全局坐标与每一所述第二采样点的全局坐标之间的距离(例如欧式距离)；然后将距离所述第j个第一采样点最近的第二采样点确定为初始目标点，或者将距离小于或等于距离阈值的第二采样点确定为初始目标点。
步骤S705，根据所述第n个第一地图中每一第一采样点的局部坐标和对应的初始目标点的全局坐标，确定所述第n个第一地图相对于所述第二地图的第二坐标转换关系。
步骤S706，根据第二坐标转换关系和所述第n个第一地图中第j个第一采样点的局部坐标，确定所述第j个第一采样点的第三全局坐标，j为大于0的整数。
步骤S707，根据所述第n个第一地图中每一第一采样点的第三全局坐标和对应的初始目标点的全局坐标，确定所述匹配误差。
所述电子设备在实现步骤S707时，可以先确定所述第n个第一地图中每一第一采样点的第三全局坐标与对应的初始目标点的全局坐标之间的距离(例如欧式距离)；根据每一所述距离，确定所述匹配误差。
这里，可以将多个第一采样点与匹配的初始目标点之间的平均距离，确定为所述匹配误差。例如，包括h个第一采样点的第三全局坐标pl′的集合表示为P′＝{p1′,p′2,...,pl′,...,p′h}，与所述h个第一采样点匹配的初始目标点的全局坐标q的集合表示为Q＝{q1,q2,...,ql,...,qh}，那么通过如下公式(8)可以求取匹配误差d：
Figure BDA0002218329810000091
式中||pl′-ql||2表示第一采样点与匹配的初始目标点之间的欧式距离。
步骤S708，统计确定匹配误差的次数。
步骤S709，确定所述次数是否大于第二阈值；如果是，执行步骤S710；否则，执行步骤S711。
步骤S710，生成表征匹配失败的匹配结果，并返回执行步骤S702，继续获取下一个第一地图相对于所述第二地图的第三坐标转换关系，直到生成表征匹配成功的匹配结果为止，进入步骤S713。
步骤S711，确定所述匹配误差是否大于第一阈值；如果是，将所述第二坐标转换关系作为所述第三坐标转换关系，然后返回执行步骤S703，以重新选取初始目标点；否则，执行步骤S712。
可以理解地，如果所述匹配误差大于第一阈值，说明获取的第三坐标转换关系是不符合实际的，换句话说，得出的初始目标点不是真正与第一采样点相匹配的点，此时，可以将第二坐标转换关系作为所述第三坐标转换关系，重新执行步骤S703至步骤S710，直至匹配误差小于所述第一阈值为止，执行步骤S712。
步骤S712，生成表征匹配成功的匹配结果。
步骤S713，在所述匹配结果表征匹配成功的情况下，将所述第n个第一地图确定为所述目标局部地图。
需要说明的是，如果表征匹配成功的匹配结果为所述电子设备将下一个第一地图中每一第一采样点的局部坐标与所述多个第二采样点的全局坐标进行匹配所得到的匹配结果，则此时将所述下一个第一地图确定为目标局部地图。也就是说，在当前匹配结果表征匹配成功的情况下，将当前被匹配的第一地图确定为目标局部地图。
步骤S714，以所述第二地图的坐标系为全局坐标系，将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标。
步骤S715，将所述目标局部地图中第一采样点的第一局部坐标融合到所述第二地图中，得到融合后的第二地图。
步骤S716，从所述第一地图集合中剩余的第一地图中，确定与所述融合后的第二地图相匹配的新的目标局部地图，以将所述新的目标局部地图中第一采样点的第一全局坐标，融合到所述融合后的第二地图中，直到每一所述第一地图均被融合到所述第二地图中为止，得到所述初始全局地图。
步骤S717，对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图。
本申请实施例再一种地图融合方法，所述方法至少包括以下步骤S801至步骤S806：
步骤S801，获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同。
步骤S802，以所述第二地图的坐标系为全局坐标系，将每一所述第一地图中第一采样点的局部坐标转换到所述全局坐标系中，得到所述第一采样点的第一全局坐标。
步骤S803，将所述第一采样点的第一全局坐标融合到所述第二地图中，得到初始全局地图。
步骤S804，获取每一所述第一地图在被融合到当前第二地图中时，所确定的第一目标匹配对集合，所述第一目标匹配对集合包括所述第一地图中第i个第一采样点、和所述当前第二地图中与所述第i个第一采样点匹配的第二采样点，i为大于0的整数。
可以理解地，每一第一地图都是在前一第一地图被融合到第二地图的基础上进行融合的，也就是说，可以将前一次融合后的第二地图理解为当前第二地图。例如，以图1B所示的地图融合方式为例，地图12被融合到的当前第二地图为第二地图14，融合后的第二地图14为地图141，地图11被融合到的当前第二地图为地图141。
由前述实施例可知，所述电子设备在获取第一目标匹配对集合之前，可以通过类似于上述步骤S402和步骤S403来确定第一目标匹配对集合，这里，直接获取即可。
步骤S805，对每一所述第一目标匹配对集合中的每一第一采样点的第一全局坐标进行优化，得到对应的第一采样点的目标全局坐标。
步骤S806，将每一第一采样点的目标全局坐标更新至所述初始全局地图中，得到所述目标全局地图。
在本申请实施例中，仅对第一目标匹配对集合中具有第一全局坐标的第一采样点进行坐标优化，这样，可以降低执行步骤S805的计算量，提高获得目标全局地图的效率。
在其他实施例中，对于上述步骤S805至少可以通过如下步骤S811至步骤S812来实现：
步骤S811，根据每一所述第一目标匹配对集合中的每一第一采样点的第一全局坐标，确定对应的第一采样点的重投影误差。
以所述第一目标匹配对集合对应的第一地图为第n个第一地图为例，确定所述第一目标匹配对集合中第一采样点的重投影误差可以通过如下步骤实现，即，获取所述第一地图集合中第n个第一地图对应的投影矩阵；获取第一坐标转换关系，所述第一坐标转换关系为所述第n个第一地图在被融合时相对于当前第二地图的坐标转换关系，n为大于0的整数；获取第k个第一采样点的深度信息，所述第k个第一采样点为所述第n个第一地图对应的第一目标匹配对集合中的第一采样点；根据所述投影矩阵、所述第一坐标转换关系、所述第k个第一采样点的第一全局坐标和所述深度信息，确定所述第k个第一采样点的重投影误差，k为大于0的整数。
步骤S812，调整每一所述第一目标匹配对集合中每一第一采样点的第一全局坐标，使得每一第一采样点的重投影误差满足第三条件，从而得到对应的第一采样点的目标全局坐标。
可以理解地，通过步骤S812可以同时调整每一第一采样点的第一全局坐标，从而使得每一第一采样点的重投影误差满足第三条件，例如，使得由每一第一采样点的重投影误差确定的重投影误差函数值小于第二阈值，进而得到每一第一采样点的目标全局坐标。
所述电子设备可以这样实现步骤S812，即，根据每一所述第一目标匹配对集合中每一第一采样点的重投影误差，确定重投影误差函数值；迭代地调整在确定每一所述重投影误差时对应的第一采样点的第一全局坐标，以最小化所述重投影误差函数值，得到每一所述第一目标匹配对集合中每一第一采样点的目标全局坐标。
在其他实施例中，对于上述步骤S811，所述根据每一所述第一目标匹配对集合中的每一第一采样点的第一全局坐标，确定对应的第一采样点的重投影误差，至少可以通过以下步骤S821至步骤S824来实现：
步骤S821，获取所述第一地图集合中第n个第一地图对应的投影矩阵。
步骤S822，获取第一坐标转换关系，所述第一坐标转换关系为所述第n个第一地图在被融合时相对于当前第二地图的坐标转换关系，n为大于0的整数。
步骤S823，获取第k个第一采样点的深度信息，所述第k个第一采样点为所述第n个第一地图对应的第一目标匹配对集合中的第一采样点。
步骤S824，根据所述投影矩阵、所述第一坐标转换关系、所述第k个第一采样点的第一全局坐标和所述深度信息，确定所述第k个第一采样点的重投影误差，k为大于0的整数。
所述电子设备可以这样实现步骤S824，即，根据所述投影矩阵、所述第一坐标转换关系、所述第k个第一采样点的第一全局坐标和所述深度信息，确定所述第k个第一采样点在所述当前第二地图中的投影坐标；根据所述投影坐标和与所述第k个第一采样点匹配的目标点的像素坐标，确定所述第k个第一采样点的重投影误差。
假设所述第k个第一采样点的第一全局坐标为Pk＝[Xk,Yk,Zk]T，其在当前第二地图中的投影坐标为Uk＝[uk,vk]T，两者之间的关系如下公式(9)所示：
Figure BDA0002218329810000111
式中，si指的是所述第k个第一采样点的深度信息，K表示所述投影矩阵，exp(ξ)表示所述第一坐标转换关系。
由公式(9)可以得出投影坐标Uk的计算公式为如下公式(10)：
基于此，根据每一所述第一目标匹配对集合中每一第一采样点的重投影误差，确定重投影误差函数值ζ*的公式如下式(11)所示：
Figure BDA0002218329810000113
式中，
Figure BDA0002218329810000114
表示第k个第一采样点的重投影误差，μk表示与所述第k个第一采样点匹配的目标点的像素坐标。
这样，所述电子设备可以迭代地调整在确定每一所述重投影误差时对应的第一采样点的第一全局坐标，以最小化所述重投影误差函数值，得到每一所述第一目标匹配对集合中每一第一采样点的目标全局坐标。迭代方法可以通过如下实施例中的步骤S910至步骤S914实现。
本申请实施例再一种地图融合方法，所述方法至少包括以下步骤S901至步骤S916：
步骤S901，获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同。
步骤S902，以所述第二地图的坐标系为全局坐标系，将每一所述第一地图中第一采样点的局部坐标转换到所述全局坐标系中，得到所述第一采样点的第一全局坐标。
步骤S903，将所述第一采样点的第一全局坐标融合到所述第二地图中，得到初始全局地图。
步骤S904，获取每一所述第一地图在被融合到当前第二地图中时，所确定的第一目标匹配对集合，所述第一目标匹配对集合包括所述第一地图中第i个第一采样点、和所述当前第二地图中与所述第i个第一采样点匹配的第二采样点，i为大于0的整数。
步骤S905，获取所述第一地图集合中第n个第一地图对应的投影矩阵。
步骤S906，获取第一坐标转换关系，所述第一坐标转换关系为所述第n个第一地图在被融合时相对于当前第二地图的坐标转换关系，n为大于0的整数。
步骤S907，获取第k个第一采样点的深度信息，所述第k个第一采样点为所述第n个第一地图对应的第一目标匹配对集合中的第一采样点。
步骤S908，根据所述投影矩阵、所述第一坐标转换关系、所述第k个第一采样点的第一全局坐标和所述深度信息，确定所述第k个第一采样点的重投影误差，k为大于0的整数。
步骤S909，根据每一所述第一目标匹配对集合中每一第一采样点的重投影误差，确定重投影误差函数值。
步骤S910，调整每一所述第一坐标转换关系，得到对应的第四坐标转换关系。
步骤S911，根据所述第k个第一采样点的局部坐标和所述第四坐标转换关系，重新确定所述第k个第一采样点的第一全局坐标。
步骤S912，根据所述第k个第一采样点的深度信息和重新确定的第一全局坐标、所述第四坐标转换关系和所述投影矩阵，重新确定所述第k个第一采样点的重投影误差。
步骤S913，根据每一所述第一目标匹配对集合中每一第一采样点的重新确定的重投影误差，重新确定重投影误差函数值。
步骤S914，如果重新确定的重投影误差函数值小于第二阈值，将所述第四全局坐标确定为所述目标全局坐标。
步骤S915，如果重新确定的重投影误差函数值大于或等于所述第二阈值，继续调整所述第四坐标转换关系，以重新确定重投影误差函数值，直到当前确定的重投影误差函数值小于所述第二阈值为止，将当前确定的第一全局坐标确定为所述目标全局坐标。
步骤S916，将每一第一采样点的目标全局坐标更新至所述初始全局地图中，得到所述目标全局地图。
在本申请实施例中，通过迭代调整每一第一坐标转换关系，寻找最优的目标全局坐标，如此，能够更加快速地确定所述第一全局坐标的最优目标全局坐标，从而提高地图融合精度。
在本申请实施例中，在未融合任一第一地图之前的第二地图，所述电子设备可以通过如下步骤S111至步骤S115实现对第二地图的预先构建：
步骤S111，根据多张样本图像中第一样本点的局部坐标和图像特征，确定至少一个第一样本点的全局坐标。
在实现时，可以利用图像采集设备按照特定帧率进行样本图像的采集。例如，采用单目摄像头，以固定帧率进行红、绿、蓝(Red、Green、Blue，RGB)图像的采集。或者，也可以从预先采集的样本图像库中获取所述多张样本图像。
在第二地图构建的初始阶段，仅仅可以获得第一样本点的图像特征和局部坐标，但是第一样本点的全局坐标是无从得知的。在实现时，可以通过三维重建方法对多张样本图像进行处理，从而得到第一样本点的全局坐标。例如，通过运动中恢复结构(Structurefrom motion，SFM)方法，对多张样本图像进行初始化处理，从而得到每一样本点的全局坐标。
步骤S112，根据每一所述第一样本点的全局坐标和图像特征，确定第一数据集；即第一数据集中包括每一所述第一样本点的全局坐标和对应的图像特征。
步骤S113，根据获取的第m张其他样本图像中第二样本点的局部坐标和图像特征，确定与所述第m张其他样本图像对应的第二数据集，m为大于0的整数。
步骤S114，根据所述第一数据集，确定所述第二数据集中第二样本点的全局坐标。
事实上，通过步骤S111确定多张样本图像中第一样本点的全局坐标，其时间复杂度是比较高的。因此，在获得第一样本点的全局坐标之后，通过步骤S114来确定第二样本点的全局坐标。如此，可以大大降低构建第二地图时的时间成本。在实现时，可以通过类似于前述实施例所提供步骤S311至步骤S313确定第二样本点的全局坐标。或者，通过类似于步骤S502至步骤S505，来确定第二样本点的全局坐标。
步骤S115，至少根据每一所述第一样本点的全局坐标和每一所述第二样本点的全局坐标，构建所述第二地图。
需要说明的是，构建的第二地图即为前述实施例中未融合任一第一地图的第二地图。第一样本点和第二样本点在第二地图中被称为第二采样点。在其他实施例中，构建的第二地图中包括第二采样点的全局坐标和图像特征。
在本申请实施例中，在进行地图构建时，首先通过多张样本图像获得第一样本点的全局坐标之后，根据每一第一样本点的全局坐标和获取的所述其他样本图像中第二样本点的局部坐标和图像特征，确定所述其他样本图像中第二样本点的全局坐标，得到第二数据集；如此，可以快速获得所述其他样本图像中样本点的全局坐标，从而降低第二地图的构建成本。
在其他实施例中，对于上述步骤S111，根据多张样本图像中第一样本点的局部坐标和图像特征，确定至少一个第一样本点的全局坐标，可以通过如下步骤S121至步骤S123实现：
步骤S121，根据每一所述第一样本点的局部坐标和图像特征，从所述多张样本图像中挑选出满足第四条件的第一目标图像和第二目标图像。
在实现时，挑选出的第一目标图像和第二目标图像一般是视差比较大的两张样本图像，这样，可以提高确定第一目标图像或第二目标图像中的样本点的全局坐标的准确度，进而有利于后续获得更好的地图融合精度。例如可以这样实现，即，根据每一所述第一样本点的图像特征，将所述多张样本图像进行两两匹配，得到每一对样本图像的第二匹配对集合；剔除所述第一匹配对集合中不满足第四条件的匹配对，得到第三匹配对集合；从每一所述第三匹配对集合中，挑选出匹配对数目满足所述第四条件的第二目标匹配对集合；将所述第二目标匹配对集合对应的两张样本图像，确定为第一目标图像和第二目标图像。
步骤S122，确定所述第一目标图像与所述第二目标图像之间的第五坐标转换关系。
在实现时，可以采用随机抽样一致(Random Sample Consensus，RANSAC)算法中的四点法对所述第一目标图像和所述第二目标图像进行处理，计算单应矩阵，从而获得所述第五坐标转换关系(其中包括旋转关系和平移关系)。
步骤S123，根据所述第五坐标转换关系和所述第一目标图像中的第一样本点的局部坐标，确定所述第一目标图像中的第一样本点的全局坐标。
第一目标样本图像中的样本点与匹配的第二目标样本图像的样本点实际上同一位置点，所以，这里仅确定这两张目标样本图像中的任一一张图像中的样本点的全局坐标就可以了。
下面将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例实现了一种基于稀疏点云的室内地图融合技术，可以达成多个局部地图(包括第一地图和第二地图)融合以及地图更新的目标。该方案可以支持室内多个有重复区域的局部地图合成的需求。局部地图的收集可以通过众包的形式无序地进行采集。该方案可以支持地图融合、地图更新、多人建图等日常任务，合成地图的精度高、鲁棒性强。
在本申请实施例中，局部地图是通过单目摄像头采集RGB图像信息，并从中提取图像特征而构建的稀疏点云地图。本申请实施例中，所提取的图像特征是FAST角点(即特征点)的ORB描述子信息，并确定每一角点的三维坐标信息。其中，构建第二地图的具体技术步骤至少包括以下步骤S11至步骤S15：
步骤S11，利用单目摄像头，以固定帧率进行RGB图像采集；
步骤S12，采集过程中实时提取图像中的特征信息；
步骤S13，采集一定数量图像后，利用SFM方法进行初始化；
步骤S14，初始化完成后通过PnP(Perspective-n-Point)算法计算后续图像特征点的三维坐标(即第二样本点的全局坐标)，得到第二地图；
步骤S15，存储第二地图及其对应的图像特征信息，并序列化存储到本地。
其中，针对步骤S12中，提取图像中的特征信息，这里给出如下解释。特征提取是对RGB图像的一种解释和标注的过程。这里对RGB图像提取FAST角点，提取数量固定为150个(150为经验值，角点数量过少，跟踪失败率高，角点数量过多，影响算法效率)，用于图像跟踪；并对该角点进行ORB描述子的提取，用于特征点描述子匹配。
其中，针对步骤S13中，利用SFM方法进行初始化，这里给出如下解释。首先在采集到一定数量的图像后，通过SFM方法对图像的相对旋转和平移进行初始化，并得到特征点的三维坐标(即第一样本点的全局坐标)。SFM算法至少包括以下步骤S131至步骤S139：
步骤S131，对一定数量的图像进行两两匹配，使用欧氏距离判断的方法建立图像特征点之间的匹配关系；
步骤S132，对匹配对进行剔除，剔除方法采用RANSAC八点法计算基础矩阵，不满足基础矩阵的匹配对就选择剔除掉；
步骤S133，匹配关系建立后，生成追踪列表，追踪列表是指同名点的图像名集合；
步骤S134，剔除追踪列表中的无效匹配；
步骤S135，寻找初始化像对(即第一目标图像和第二目标图像)，目的是找到相机基线最大的像对，采用RANSAC算法四点法计算单应矩阵，满足单应矩阵的匹配点成为内点，不满足的成为外点。找到内点占比最小的像对。
步骤S136，寻找初始化像对的相对旋转和平移，方法为通过RANSAC八点法计算本质矩阵，通过对本质矩阵SVD分解得到像对之间的相对旋转和平移；
步骤S137，通过三角化计算得到初始化像对中的特征点的三维坐标；
步骤S138，对其他图像反复执行步骤S136和步骤S137，就可以得到所有图像的相对旋转和平移，以及特征点的三维坐标；
步骤S139，通过光束平差法，优化得到的图像之间的旋转、平移和特征点的三维坐标。这是一个非线性优化的过程，目的是降低SFM结果的误差。
基于步骤S11至步骤S15可以构建出一张基于稀疏点云的离线地图，即第二地图，该地图以二进制格式存储稀疏点云及其图像特征信息(包括三维坐标和描述子信息)到本地，在视觉定位过程中，该地图将被加载使用。
在本申请实施例中，地图更新部分主要是通过描述子匹配到两个局部地图中相对应的稀疏点云，形成点云匹配对；然后再通过PnP算法求解当前第一地图相对于第二地图的精确位姿，对第一地图进行旋转平移后，合并到第二地图以达到地图更新的目的。具体的技术步骤至少包括以下步骤S21至步骤S26：
步骤S21，加载构建好的第二地图和第一地图，以第二地图坐标系为全局坐标系；
步骤S22，在第一地图中，通过描述子匹配第二地图中的对应点，形成点云匹配对；
步骤S23，找到足够多的匹配对之后，通过PnP算法求解第一地图中的稀疏点云在全局坐标系中的精确位姿；
步骤S24，更新第一地图中的所有稀疏点云到全局坐标系中，并将第一地图的稀疏点云集合添加到第二地图的稀疏点云集合；
步骤S25，反复执行步骤S22至步骤S24，将其他局部地图融合到全局坐标系中；
步骤S26，利用优化方法优化融合后的局部地图位姿，消除多个局部地图融合的累计误差，进一步提高地图更新的精度。
其中，针对步骤S22中，在第一地图中，通过描述子匹配第二地图中的对应点，形成点云匹配对，算法具体步骤至少包括以下步骤S221至步骤S224：
步骤S221，对第一地图中的第N(初始为0)个稀疏点F1N(即第一采样点)，设定欧式距离最小值dmin＝dTH，设定匹配点
Figure BDA0002218329810000141
步骤S222，计算F1N和第二地图中点云中的第M(初始为0)个稀疏点F2M，计算特征点描述子之间的欧式距离dNM；
步骤S223，判断欧式距离dNM与欧式距离最小值dmin，若dNM＜dmin，则
Figure BDA0002218329810000142
接着M＝M+1，若第二地图中的稀疏点(即第二采样点)未遍历完毕，则跳转回步骤S222；否则N＝N+1，跳转回步骤S221。若第一地图中的稀疏点遍历完毕，则跳转到步骤S224；
步骤S224，整理第一地图和第二地图中的稀疏点匹配对作为算法输出，算法结束。
其中，针对步骤S23中，通过PnP算法求解第一地图中的稀疏点云在全局坐标系中的精确位姿，有一个优选实例如图3所示，在该优选实例中，算法步骤如下：
首先判断步骤S22中形成匹配对序列(在本实例中匹配对序列为{F0,F1,F2})，若匹配对序列的元素数量大于TH2，则进行步骤S23，否则算法结束，该局部点云融合失败。在该优选实例中，基于匹配对序列，调用OpenCV中的SolvePnP函数求解出当前相机在地图坐标系下的位姿。其中PnP算法的原理如下：
PnP算法的输入是第二地图中的3D点(即第二采样点)和这些3D点在第一地图中的投影得到的2D点，输出是第一地图相对于第二地图所在的全局坐标系的原点的位姿变换。
PnP算法根据匹配对序列先求出对应的2D点在第一地图所在的坐标系下的3D坐标，然后根据3D点在全局坐标系下的坐标和2D点在第一地图所在的坐标系下的3D坐标求解第一地图中稀疏点的全局坐标。
针对步骤S24中，更新第一地图中的稀疏点云到全局坐标系中，这里给出如下解释。当通过步骤S23求得第一地图中的稀疏点云在全局坐标系中的位姿时，可以通过该全局位姿和该稀疏点云在第一地图中的局部位姿求得第二局部坐标系相对于全局坐标系的旋转矩阵和平移向量。将所有第二局部坐标系中的稀疏点，叠加上这个旋转矩阵和平移向量，即可将第一地图中的稀疏点云位姿更新到全局坐标系中。
针对步骤S26中，利用优化方法优化融合后的局部地图位姿，这里给出如下解释。在针对多个局部地图的优化方法上，通常采用最小化重投影误差的方案，将每个局部地图对应一个旋转和平移状态，通过稀疏点云的匹配在多个局部地图之间构建联系。局部地图的稀疏点匹配对在步骤S22中已经获得，每个局部地图在全局坐标系中的旋转和平移也在步骤S23中计算得到，这里综合考虑所有局部地图的位姿和稀疏点匹配对，构建重投影误差函数，然后最小化这个代价函数，即可优化局部地图的融合精度。
关于重投影误差，通过特征匹配对可知，观测值p1,p2是一组特征匹配对，它们是同一个空间点P的投影，如图4所示，p1属于第一地图，p2属于第二地图，
Figure BDA0002218329810000151
为将p1转换为在第二地图中的第一全局坐标之后在第二地图上的投影点。
P的投影
Figure BDA0002218329810000152
与观测值p2之间有一定的距离，这就是重投影误差。当调整局部点云的位姿，可以使这个距离变小，这就起到了对局部点云位姿的优化效果，由于这个调整需要考虑很多个点，所以最后每个点的误差通常不会都为0。考虑N个三维空间点P和它们的投影
Figure BDA0002218329810000153
计算每个局部点云的旋转R和平移T，用李代数表示为ξ。假设某个空间点Pk＝[Xk,Yk,Zk]T，其投影坐标为Uk＝[uk,vk]T，两者之间的关系如下式(12)所示：
矩阵形式如下式(13)所示：
skUk＝Kexp(ξ)Pk (13)；
式中，sk表示空间点Pk在第一地图中的深度信息，K表示第一地图的投影矩阵。由于局部地图位姿误差以及观测点的噪声，该等式存在一个重投影误差，因此，如公式(14)所示，将重投影误差求和，构建最小二乘问题，寻找最好的局部地图位姿，使等式最小化：
Figure BDA0002218329810000155
式中，μk空间点Pk在第二地图中的像素坐标，
Figure BDA0002218329810000156
表示空间点Pk的重投影误差，以图4为例，该投影误差为投影
Figure BDA0002218329810000157
与观测值p2之间的像素距离。在实现时，可以用高斯牛顿法或者列文伯格-马夸特方法可以求解这个最小二乘问题，由此即可求得优化之后的局部地图位姿。
基于步骤S21至步骤S26可以通过视觉特征，达成对多个预定义的稀疏点云局部地图进行融合、更新的目的。该地图更新方案融合精度较高，鲁棒性强。
在本申请实施例中，通过使用最优化理论，减少地图融合的累计误差，提升合成后的全局地图一致性。
在本申请实施例中，结合视觉特征的三维信息，采用了高精度高鲁棒性的匹配算法，在地图融合的结果上相对于其他室内定位方法提高了融合精度。
在本申请实施例中，不需要两个局部地图有大量的重复区域，也能保证良好的地图融合精度，在以众包进行地图更新或多人建图的时候，提升了地图融合的稳定性，同时也提升了构建局部地图的效率。
在本申请实施例中，存储的地图形式为稀疏点云，相当于图像的稀疏采样，在地图大小上较之传统方法有一定程度的压缩。
本申请实施例的创新点体现在充分挖掘图像特征的三维信息，并结合优化理论达成了地图融合的目标。在地图构建上，本申请实施例通过采集视觉图像中特征点的三维坐标和描述子信息，以稀疏点云的形式存储为离线地图。在地图融合方法上，本申请实施例采用描述子匹配的方法找到当前特征点在稀疏点云中的匹配对，再通过PnP算法精确地计算出当前局部地图在全局坐标系中的位置和姿态，最后结合优化理论，进而达成地图融合目的，形成了一套融合准确度高、鲁棒性强的地图融合方案。该方案支持多人建图场景下的地图融合，以及众包形式的地图更新，在保证地图融合稳定性的同时也提升了构建局部地图的效率。
在地图构建部分，本申请实施例只序列化存储稀疏点云的三维坐标信息。
在地图融合部分，本申请实施例提出了一种调整后的地图融合方案，技术步骤至少包括以下步骤S31至步骤S35：
步骤S31，加载构建好的第二地图和第一地图，以第二地图坐标系为全局坐标系；
步骤S32，通过迭代最近点算法(Iterative Closest Point，ICP)求解第一地图稀疏点云相对于第二地图稀疏点云的旋转和平移；
步骤S33，更新第一地图中的所有稀疏点云到全局坐标系中，并将第一地图的稀疏点云集合添加到第二地图的稀疏点云集合；
步骤S34，反复执行步骤S32和步骤S33，将其他局部地图融合到全局坐标系中；
步骤S35，利用优化方法优化融合后的局部地图位姿，消除多个局部地图融合的累计误差，进一步提高地图更新的精度。
其中，针对步骤S32中，通过ICP算法求解第一地图稀疏点云相对于第二地图稀疏点云的旋转和平移，这里给出如下解释。ICP算法，其本质上是基于最小二乘法的最优配准方法。该算法重复进行选择对应关系点对，计算最优刚体变换，直到满足正确配准的收敛精度要求。ICP算法的基本原理是：分别在待匹配的目标点云P和源点云Q中，按照一定的约束条件，找到最邻近的点(pl,ql)，然后计算出最优的旋转R和平移T，使得误差函数最小，误差函数
Figure BDA0002218329810000161
其中h为邻近点对的数量，pl为目标点云P中的一点，ql为源点云Q中与pl对应的最近点，R为旋转矩阵，T为平移向量。
基于步骤S31至步骤S35可以通过视觉特征达成融合多个预定义的稀疏点云地图的目的，且预定的稀疏点云地图中不需要存储额外的特征点描述子信息，压缩了离线地图的大小。
基于前述的实施例，本申请实施例提供一种地图融合装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图5A为本申请实施例地图融合装置的组成结构示意图，如图5A所示，所述装置500包括地图获取模块501、坐标转换模块502、地图融合模块503和地图优化模块504，其中：地图获取模块501，配置为获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同；坐标转换模块502，配置为以所述第二地图的坐标系为全局坐标系，将每一所述第一地图中第一采样点的局部坐标转换到所述全局坐标系中，得到所述第一采样点的第一全局坐标；地图融合模块503，配置为将所述第一采样点的第一全局坐标融合到所述第二地图中，得到初始全局地图；地图优化模块504，配置为对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图。
在其他实施例中，坐标转换模块502，配置为：以所述第二地图的坐标系为全局坐标系，依次将所述第一地图集合中满足条件的第一地图中第一采样点的局部坐标，转换为第一全局坐标；地图融合模块503，配置为：依次将所述第一地图集合中满足条件的第一地图中第一采样点的第一全局坐标，融合到所述第二地图中，得到所述初始全局地图。
在其他实施例中，坐标转换模块502，包括：确定子模块和坐标转换子模块；其中，所述确定子模块，配置为：将所述第一地图集合中与所述第二地图相匹配的第一地图，确定为目标局部地图；所述坐标转换子模块，配置为：将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标；地图融合模块503，配置为：将所述目标局部地图中第一采样点的第一局部坐标融合到所述第二地图中，得到融合后的第二地图；从所述第一地图集合中剩余的第一地图中，确定与所述融合后的第二地图相匹配的新的目标局部地图，以将所述新的目标局部地图中第一采样点的第一全局坐标，融合到所述融合后的第二地图中，直到每一所述第一地图均被融合到所述第二地图中为止，得到所述初始全局地图。
在其他实施例中，所述确定子模块，包括：特征匹配单元，配置为将每一所述第一地图中第一采样点的图像特征，分别与所述第二地图中第二采样点的图像特征进行匹配，得到与所述第一地图对应的第一匹配对集合；第一确定单元，配置为将满足第一条件的第一匹配对集合，确定为第一目标匹配对集合；将与所述第一目标匹配对集合对应的第一地图，确定为所述目标局部地图。
在其他实施例中，所述特征匹配单元，配置为：确定所述第一地图中第i个第一采样点的图像特征与每一所述第二采样点之间的相似度，得到相似度集合，i为大于0的整数；将所述相似度集合中相似度满足第二条件的第二采样点，确定为目标点；将每一所述目标点和对应的第一采样点进行关联，得到与所述第一地图对应的第一匹配对集合。
在其他实施例中，所述坐标转换子模块，包括：第二确定单元，配置为：从所述第二地图的第二采样点中，确定出与所述目标局部地图中第一采样点的图像特征相匹配的目标点；根据所述目标局部地图中每一第一采样点的局部坐标和对应的目标点的全局坐标，确定所述目标局部地图相对于所述第二地图的第一坐标转换关系；坐标转换单元，配置为：根据所述第一坐标转换关系，将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标。
在其他实施例中，所述第二确定单元，配置为：根据所述目标局部地图中每一第一采样点的局部坐标和对应的目标点的全局坐标，确定每一所述目标点在所述目标局部地图中的局部坐标；根据每一所述目标点的全局坐标和局部坐标，确定所述第一坐标转换关系。
在其他实施例中，所述确定子模块，包括：迭代单元和第三确定单元；其中，所述迭代单元，配置为根据迭代策略，将所述第一地图集合中第n个第一地图的每一第一采样点的局部坐标与所述第二地图中多个第二采样点的全局坐标进行匹配，得到匹配结果，n为大于0的整数；所述第三确定单元，配置为在所述匹配结果表征匹配成功的情况下，将所述第n个第一地图确定为所述目标局部地图；所述迭代单元，还配置为在所述匹配结果表征匹配失败的情况下，继续将下一个第一地图中每一第一采样点的局部坐标与所述多个第二采样点的全局坐标进行匹配，直到从所述第一地图集合中确定出所述目标局部地图为止。
在其他实施例中，所述迭代单元，包括：选取子单元，配置为从所述多个第二采样点中，选取与所述第n个第一地图中每一第一采样点匹配的初始目标点；确定子单元，配置为根据所述第n个第一地图中每一第一采样点的局部坐标和对应的初始目标点的全局坐标，确定所述第n个第一地图相对于所述第二地图的第二坐标转换关系；根据所述第二坐标转换关系、所述第n个第一地图中每一第一采样点的局部坐标和对应的初始目标点的全局坐标，确定匹配误差；如果所述匹配误差大于第一阈值，重新选取初始目标点，并重新确定匹配误差；结果生成单元，配置为如果所述匹配误差小于或等于所述第一阈值，生成表征匹配成功的匹配结果。
在其他实施例中，所述迭代单元，还配置为：如果确定匹配误差的次数大于第二阈值，生成表征匹配失败的匹配结果，并继续从所述多个第二采样点中，选取与下一个第一地图中每一第一采样点匹配的初始目标点，直到生成表征匹配成功的匹配结果为止。
在其他实施例中所述坐标转换单元，配置为：在所述匹配结果表征匹配成功的情况下，将确定的匹配误差小于或等于所述第一阈值时的第二坐标转换关系，确定为所述目标局部地图相对于所述第二地图的第一坐标转换关系；根据所述第一坐标转换关系，将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标。
在其他实施例中，所述选取子单元，配置为：获取所述第n个第一地图相对于所述第二地图的第三坐标转换关系；根据所述第三坐标转换关系和所述第n个第一地图中第j个第一采样点的局部坐标，确定所述第j个第一采样点的第二全局坐标，j为大于0的整数；将所述第二全局坐标与所述多个第二采样点的全局坐标进行匹配，得出与所述第j个第一采样点匹配的初始目标点。
在其他实施例中，所述确定子单元，配置为：根据第二坐标转换关系和所述第n个第一地图中第j个第一采样点的局部坐标，确定所述第j个第一采样点的第三全局坐标，j为大于0的整数；根据所述第n个第一地图中每一第一采样点的第三全局坐标和对应的初始目标点的全局坐标，确定所述匹配误差。
在其他实施例中，所述确定子单元，配置为：确定所述第n个第一地图中每一第一采样点的第三全局坐标与对应的初始目标点的全局坐标之间的距离；根据每一所述距离，确定所述匹配误差。
在其他实施例中，确定子单元，配置为如果所述匹配误差大于所述第一阈值，将所述第二坐标转换关系作为所述第三坐标转换关系，重新选取初始目标点。
在其他实施例中，所述地图优化模块504，包括：获取子模块，配置为获取每一所述第一地图在被融合到当前第二地图中时，所确定的第一目标匹配对集合，所述第一目标匹配对集合包括所述第一地图中第i个第一采样点、和所述当前第二地图中与所述第i个第一采样点匹配的第二采样点，i为大于0的整数；坐标优化子模块，配置为对每一所述第一目标匹配对集合中的每一第一采样点的第一全局坐标进行优化，得到对应的第一采样点的目标全局坐标；更新子模块，配置为将每一第一采样点的目标全局坐标更新至所述初始全局地图中，得到所述目标全局地图。
在其他实施例中，所述坐标优化子模块，包括：第三确定单元，配置为根据每一所述第一目标匹配对集合中的每一第一采样点的第一全局坐标，确定对应的第一采样点的重投影误差；坐标调整单元，配置为调整每一所述第一目标匹配对集合中每一第一采样点的第一全局坐标，使得每一第一采样点的重投影误差满足第三条件，从而得到对应的第一采样点的目标全局坐标。
在其他实施例中，所述第三确定单元，配置为：获取所述第一地图集合中第n个第一地图对应的投影矩阵；获取第一坐标转换关系，所述第一坐标转换关系为所述第n个第一地图在被融合时相对于当前第二地图的坐标转换关系，n为大于0的整数；获取第k个第一采样点的深度信息，所述第k个第一采样点为所述第n个第一地图对应的第一目标匹配对集合中的第一采样点；根据所述投影矩阵、所述第一坐标转换关系、所述第k个第一采样点的第一全局坐标和所述深度信息，确定所述第k个第一采样点的重投影误差，k为大于0的整数。
在其他实施例中，所述第三确定单元，配置为：根据所述投影矩阵、所述第一坐标转换关系、所述第k个第一采样点的第一全局坐标和所述深度信息，确定所述第k个第一采样点在所述当前第二地图中的投影坐标；根据所述投影坐标和与所述第k个第一采样点匹配的目标点的像素坐标，确定所述第k个第一采样点的重投影误差。
在其他实施例中，所述坐标调整单元，配置为：根据每一所述第一目标匹配对集合中每一第一采样点的重投影误差，确定重投影误差函数值；迭代地调整在确定每一所述重投影误差时对应的第一采样点的第一全局坐标，以最小化所述重投影误差函数值，得到每一所述第一目标匹配对集合中每一第一采样点的目标全局坐标。
在其他实施例中，所述坐标调整单元，配置为：调整每一所述第一坐标转换关系，得到对应的第四坐标转换关系；根据所述第k个第一采样点的局部坐标和所述第四坐标转换关系，重新确定所述第k个第一采样点的第一全局坐标；根据所述第k个第一采样点的深度信息和重新确定的第一全局坐标、所述第四坐标转换关系和所述投影矩阵，重新确定所述第k个第一采样点的重投影误差；根据每一所述第一目标匹配对集合中每一第一采样点的重新确定的重投影误差，重新确定重投影误差函数值；如果重新确定的重投影误差函数值小于第二阈值，将所述第四全局坐标确定为所述目标全局坐标。
在其他实施例中，所述坐标调整单元，还配置为：如果重新确定的重投影误差函数值大于或等于所述第二阈值，继续调整所述第四坐标转换关系，以重新确定重投影误差函数值，直到当前确定的重投影误差函数值小于所述第二阈值为止，将当前确定的第一全局坐标确定为所述目标全局坐标。
在其他实施例中，如图5B所示，所述装置500还包括：确定模块505，配置为：根据多张样本图像中第一样本点的局部坐标和图像特征，确定至少一个第一样本点的全局坐标；根据每一所述第一样本点的全局坐标和图像特征，确定第一数据集；根据获取的第m张其他样本图像中第二样本点的局部坐标和图像特征，确定与所述第m张其他样本图像对应的第二数据集，m为大于0的整数；根据所述第一数据集，确定所述第二数据集中第二样本点的全局坐标；地图构建模块，配置为至少根据每一所述第一样本点的全局坐标和每一所述第二样本点的全局坐标，构建所述第二地图。
在其他实施例中，所述确定模块505，配置为：根据每一所述第一样本点的局部坐标和图像特征，从所述多张样本图像中挑选出满足第四条件的第一目标图像和第二目标图像；确定所述第一目标图像与所述第二目标图像之间的第五坐标转换关系；根据所述第五坐标转换关系和所述第一目标图像中的第一样本点的局部坐标，确定所述第一目标图像中的第一样本点的全局坐标。
在其他实施例中，所述确定模块505，配置为：根据每一所述第一样本点的图像特征，将所述多张样本图像进行两两匹配，得到每一对样本图像的第二匹配对集合；剔除所述第一匹配对集合中不满足第四条件的匹配对，得到第三匹配对集合；从每一所述第三匹配对集合中，挑选出匹配对数目满足所述第四条件的第二目标匹配对集合；将所述第二目标匹配对集合对应的两张样本图像，确定为第一目标图像和第二目标图像。
以上装置实施例的描述与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的地图融合方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例提供一种电子设备，图6为本申请实施例电子设备的一种硬件实体示意图，如图6所示，该电子设备600的硬件实体包括：包括存储器601和处理器602，所述存储器601存储有可在处理器602上运行的计算机程序，所述处理器602执行所述程序时实现上述实施例中提供的地图融合方法中的步骤。
存储器601配置为存储由处理器602可执行的指令和应用，还可以缓存待处理器602以及电子设备600中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。
对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的地图融合方法中的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (28)

1.一种地图融合方法，其特征在于，所述方法包括：
获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同；
以所述第二地图的坐标系为全局坐标系，将每一所述第一地图中第一采样点的局部坐标转换到所述全局坐标系中，得到所述第一采样点的第一全局坐标；
将所述第一采样点的第一全局坐标融合到所述第二地图中，得到初始全局地图；
对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图。
2.根据权利要求1所述的方法，其特征在于，所述以所述第二地图的坐标系为全局坐标系，将每一所述第一地图中第一采样点的局部坐标转换到所述全局坐标系中，得到所述第一采样点的第一全局坐标，包括：
以所述第二地图的坐标系为全局坐标系，依次将所述第一地图集合中满足条件的第一地图中第一采样点的局部坐标，转换为第一全局坐标；
所述将所述第一采样点的第一全局坐标融合到所述第二地图中，得到初始全局地图，包括：
依次将所述第一地图集合中满足条件的第一地图中第一采样点的第一全局坐标，融合到当前第二地图中，得到所述初始全局地图。
3.根据权利要求2所述的方法，其特征在于，所述依次将所述第一地图集合中满足条件的第一地图中第一采样点的局部坐标，转换为第一全局坐标，包括：将所述第一地图集合中与所述第二地图相匹配的第一地图，确定为目标局部地图；将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标；
所述依次将所述第一地图集合中满足条件的第一地图中第一采样点的第一全局坐标，融合到所述第二地图中，得到所述初始全局地图，包括：
将所述目标局部地图中第一采样点的第一局部坐标融合到所述第二地图中，得到融合后的第二地图；
从所述第一地图集合中剩余的第一地图中，确定与所述融合后的第二地图相匹配的新的目标局部地图，以将所述新的目标局部地图中第一采样点的第一全局坐标，融合到所述融合后的第二地图中，直到每一所述第一地图均被融合到所述第二地图中为止，得到所述初始全局地图。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一地图集合中与所述第二地图相匹配的第一地图，确定为目标局部地图，包括：
将每一所述第一地图中第一采样点的图像特征，分别与所述第二地图中第二采样点的图像特征进行匹配，得到与所述第一地图对应的第一匹配对集合；
将满足第一条件的第一匹配对集合，确定为第一目标匹配对集合；
将与所述第一目标匹配对集合对应的第一地图，确定为所述目标局部地图。
5.根据权利要求4所述的方法，其特征在于，所述将每一所述第一地图中第一采样点的图像特征，分别与所述第二地图中第二采样点的图像特征进行匹配，得到与所述第一地图对应的第一匹配对集合，包括：
确定所述第一地图中第i个第一采样点的图像特征与每一所述第二采样点之间的相似度，得到相似度集合，i为大于0的整数；
将所述相似度集合中相似度满足第二条件的第二采样点，确定为目标点；
将每一所述目标点和对应的第一采样点进行关联，得到与所述第一地图对应的第一匹配对集合。
6.根据权利要求3所述的方法，其特征在于，所述将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标，包括：
从所述第二地图的第二采样点中，确定出与所述目标局部地图中第一采样点的图像特征相匹配的目标点；
根据所述目标局部地图中多个第一采样点的局部坐标和与所述多个第一采样点分别对应的目标点的全局坐标，确定所述目标局部地图相对于所述第二地图的第一坐标转换关系；
根据所述第一坐标转换关系，将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标。
7.根据权利要求6所述的方法，其特征在于，所述根据所述目标局部地图中多个第一采样点的局部坐标和与所述多个第一采样点分别对应的目标点的全局坐标，确定所述目标局部地图相对于所述第二地图的第一坐标转换关系，包括：
根据所述多个第一采样点的局部坐标和与所述多个第一采样点分别对应的目标点的全局坐标，确定与所述多个第一采样点分别对应的目标点在所述目标局部地图中的局部坐标；
根据每一目标点的全局坐标和局部坐标，确定所述第一坐标转换关系。
8.根据权利要求3所述的方法，其特征在于，所述将所述第一地图集合中与所述第二地图相匹配的第一地图，确定为目标局部地图，包括：
根据迭代策略，将所述第一地图集合中第n个第一地图的每一第一采样点的局部坐标，与所述第二地图中多个第二采样点的全局坐标进行匹配，得到匹配结果，n为大于0的整数；
在所述匹配结果表征匹配成功的情况下，将所述第n个第一地图确定为所述目标局部地图；
在所述匹配结果表征匹配失败的情况下，继续将下一个第一地图中每一第一采样点的局部坐标与所述多个第二采样点的全局坐标进行匹配，直到从所述第一地图集合中确定出所述目标局部地图为止。
9.根据权利要求8所述的方法，其特征在于，所述根据迭代策略，将所述第一地图集合中第n个第一地图的每一第一采样点的局部坐标，与所述第二地图中多个第二采样点的全局坐标进行匹配，得到匹配结果，包括：
从所述多个第二采样点中，选取与所述第n个第一地图中每一第一采样点匹配的初始目标点；
根据所述第n个第一地图中每一第一采样点的局部坐标和对应的初始目标点的全局坐标，确定所述第n个第一地图相对于所述第二地图的第二坐标转换关系；
根据所述第二坐标转换关系、所述第n个第一地图中每一第一采样点的局部坐标和对应的初始目标点的全局坐标，确定匹配误差；
如果所述匹配误差大于第一阈值，重新选取初始目标点，并重新确定匹配误差；
如果所述匹配误差小于或等于所述第一阈值，生成表征匹配成功的匹配结果。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
如果确定匹配误差的次数大于第二阈值，生成表征匹配失败的匹配结果，并继续从所述多个第二采样点中，选取与下一个第一地图中每一第一采样点匹配的初始目标点，直到生成表征匹配成功的匹配结果为止。
11.根据权利要求9所述的方法，其特征在于，所述将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标，包括：
在所述匹配结果表征匹配成功的情况下，将确定的匹配误差小于或等于所述第一阈值时的第二坐标转换关系，确定为所述目标局部地图相对于所述第二地图的第一坐标转换关系；
根据所述第一坐标转换关系，将所述目标局部地图中第一采样点的局部坐标转换为第一全局坐标。
12.根据权利要求9所述的方法，其特征在于，所述从所述多个第二采样点中，选取与所述第n个第一地图中每一第一采样点匹配的初始目标点，包括：
获取所述第n个第一地图相对于所述第二地图的第三坐标转换关系；
根据所述第三坐标转换关系和所述第n个第一地图中第j个第一采样点的局部坐标，确定所述第j个第一采样点的第二全局坐标，j为大于0的整数；
将所述第二全局坐标与所述多个第二采样点的全局坐标进行匹配，得出与所述第j个第一采样点匹配的初始目标点。
13.根据权利要求9所述的方法，其特征在于，所述根据所述第二坐标转换关系、所述第n个第一地图中每一第一采样点的局部坐标和对应的初始目标点的全局坐标，确定匹配误差，包括：
根据第二坐标转换关系和所述第n个第一地图中第j个第一采样点的局部坐标，确定所述第j个第一采样点的第三全局坐标，j为大于0的整数；
根据所述第n个第一地图中每一第一采样点的第三全局坐标和对应的初始目标点的全局坐标，确定所述匹配误差。
14.根据权利要求13所述的方法，其特征在于，所述根据所述第n个第一地图中每一第一采样点的第三全局坐标和对应的初始目标点的全局坐标，确定所述匹配误差，包括：
确定所述第n个第一地图中每一第一采样点的第三全局坐标与对应的初始目标点的全局坐标之间的距离；
根据每一所述距离，确定所述匹配误差。
15.根据权利要求12所述的方法，其特征在于，如果所述匹配误差大于第一阈值，重新选取初始目标点，包括：
如果所述匹配误差大于所述第一阈值，将所述第二坐标转换关系作为所述第三坐标转换关系，重新选取初始目标点。
16.根据权利要求1至15任一项所述的方法，其特征在于，所述对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图，包括：
获取每一所述第一地图在被融合到当前第二地图中时，所确定的第一目标匹配对集合，所述第一目标匹配对集合包括所述第一地图中第i个第一采样点、和所述当前第二地图中与所述第i个第一采样点匹配的第二采样点，i为大于0的整数；
对每一所述第一目标匹配对集合中的每一第一采样点的第一全局坐标进行优化，得到对应的第一采样点的目标全局坐标；
将每一第一采样点的目标全局坐标更新至所述初始全局地图中，得到所述目标全局地图。
17.根据权利要求16所述的方法，其特征在于，所述对每一所述第一目标匹配对集合中的每一第一采样点的第一全局坐标进行优化，得到对应的第一采样点的目标全局坐标，包括：
根据每一所述第一目标匹配对集合中的每一第一采样点的第一全局坐标，确定对应的第一采样点的重投影误差；
调整每一所述第一目标匹配对集合中每一第一采样点的第一全局坐标，使得每一第一采样点的重投影误差满足第三条件，从而得到对应的第一采样点的目标全局坐标。
18.根据权利要求17所述的方法，其特征在于，所述根据每一所述第一目标匹配对集合中的每一第一采样点的第一全局坐标，确定对应的第一采样点的重投影误差，包括：
获取所述第一地图集合中第n个第一地图对应的投影矩阵；
获取第一坐标转换关系，所述第一坐标转换关系为所述第n个第一地图在被融合时相对于当前第二地图的坐标转换关系，n为大于0的整数；
获取第k个第一采样点的深度信息，所述第k个第一采样点为所述第n个第一地图对应的第一目标匹配对集合中的第一采样点；
根据所述投影矩阵、所述第一坐标转换关系、所述第k个第一采样点的第一全局坐标和所述深度信息，确定所述第k个第一采样点的重投影误差，k为大于0的整数。
19.根据权利要求18所述的方法，其特征在于，所述根据所述投影矩阵、所述第一坐标转换关系、所述第k个第一采样点的第一全局坐标和所述深度信息，确定所述第k个第一采样点的重投影误差，包括：
根据所述投影矩阵、所述第一坐标转换关系、所述第k个第一采样点的第一全局坐标和所述深度信息，确定所述第k个第一采样点在所述当前第二地图中的投影坐标；
根据所述投影坐标和与所述第k个第一采样点匹配的目标点的像素坐标，确定所述第k个第一采样点的重投影误差。
20.根据权利要求18所述的方法，其特征在于，所述调整每一所述第一目标匹配对集合中每一第一采样点的第一全局坐标，使得每一第一采样点的重投影误差满足第三条件，从而得到对应的第一采样点的目标全局坐标，包括：
根据每一所述第一目标匹配对集合中每一第一采样点的重投影误差，确定重投影误差函数值；
迭代地调整在确定每一所述重投影误差时对应的第一采样点的第一全局坐标，以最小化所述重投影误差函数值，得到每一所述第一目标匹配对集合中每一第一采样点的目标全局坐标。
21.根据权利要求20所述的方法，其特征在于，所述迭代地调整在确定每一所述重投影误差时对应的第一采样点的第一全局坐标，以最小化所述重投影误差函数值，得到每一所述第一目标匹配对集合中每一第一采样点的目标全局坐标，包括：
调整每一所述第一坐标转换关系，得到对应的第四坐标转换关系；
根据所述第k个第一采样点的局部坐标和所述第四坐标转换关系，重新确定所述第k个第一采样点的第一全局坐标；
根据所述第k个第一采样点的深度信息和重新确定的第一全局坐标、所述第四坐标转换关系和所述投影矩阵，重新确定所述第k个第一采样点的重投影误差；
根据每一所述第一目标匹配对集合中每一第一采样点的重新确定的重投影误差，重新确定重投影误差函数值；
如果重新确定的重投影误差函数值小于第二阈值，将所述第四全局坐标确定为所述目标全局坐标。
22.根据权利要求21所述的方法，其特征在于，所述方法还包括：
如果重新确定的重投影误差函数值大于或等于所述第二阈值，继续调整所述第四坐标转换关系，以重新确定重投影误差函数值，直到当前确定的重投影误差函数值小于所述第二阈值为止，将当前确定的第一全局坐标确定为所述目标全局坐标。
23.根据权利要求1至15任一项所述的方法，其特征在于，所述第二地图的构建过程包括：
根据多张样本图像中第一样本点的局部坐标和图像特征，确定至少一个第一样本点的全局坐标；
根据每一所述第一样本点的全局坐标和图像特征，确定第一数据集；
根据获取的第m张其他样本图像中第二样本点的局部坐标和图像特征，确定与所述第m张其他样本图像对应的第二数据集，m为大于0的整数；
根据所述第一数据集，确定所述第二数据集中第二样本点的全局坐标；
至少根据每一所述第一样本点的全局坐标和每一所述第二样本点的全局坐标，构建所述第二地图。
24.根据权利要求23所述的方法，其特征在于，所述根据多张样本图像中第一样本点的局部坐标和图像特征，确定至少一个第一样本点的全局坐标，包括：
根据每一所述第一样本点的局部坐标和图像特征，从所述多张样本图像中挑选出满足第四条件的第一目标图像和第二目标图像；
确定所述第一目标图像与所述第二目标图像之间的第五坐标转换关系；
根据所述第五坐标转换关系和所述第一目标图像中的第一样本点的局部坐标，确定所述第一目标图像中的第一样本点的全局坐标。
25.根据权利要求24所述的方法，其特征在于，所述根据每一所述第一样本点的局部坐标和图像特征，从所述多张样本图像中挑选出满足第四条件的第一目标图像和第二目标图像，包括：
根据每一所述第一样本点的图像特征，将所述多张样本图像进行两两匹配，得到每一对样本图像的第二匹配对集合；
剔除所述第一匹配对集合中不满足第四条件的匹配对，得到第三匹配对集合；
从每一所述第三匹配对集合中，挑选出匹配对数目满足所述第四条件的第二目标匹配对集合；
将所述第二目标匹配对集合对应的两张样本图像，确定为第一目标图像和第二目标图像。
26.一种地图融合装置，其特征在于，包括：
地图获取模块，配置为获取第一地图集合和第二地图，所述第一地图集合中包括一个或多个不同的第一地图，每一所述第一地图的坐标系与所述第二地图的坐标系不同；
坐标转换模块，配置为以所述第二地图的坐标系为全局坐标系，将每一所述第一地图中第一采样点的局部坐标转换到所述全局坐标系中，得到所述第一采样点的第一全局坐标；
地图融合模块，配置为将所述第一采样点的第一全局坐标融合到所述第二地图中，得到初始全局地图；
地图优化模块，配置为对所述初始全局地图中所述第一采样点的第一全局坐标进行优化，以减小融合误差，得到目标全局地图。
27.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至25任一项所述地图融合方法中的步骤。
28.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至25任一项所述地图融合方法中的步骤。
CN201910923582.3A 2019-09-27 2019-09-27 地图融合方法及装置、设备、存储介质 Active CN110704563B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910923582.3A CN110704563B (zh) 2019-09-27 2019-09-27 地图融合方法及装置、设备、存储介质
PCT/CN2020/116926 WO2021057743A1 (zh) 2019-09-27 2020-09-22 地图融合方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910923582.3A CN110704563B (zh) 2019-09-27 2019-09-27 地图融合方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN110704563A true CN110704563A (zh) 2020-01-17
CN110704563B CN110704563B (zh) 2022-06-28

Family

ID=69197861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910923582.3A Active CN110704563B (zh) 2019-09-27 2019-09-27 地图融合方法及装置、设备、存储介质

Country Status (2)

Country Link
CN (1) CN110704563B (zh)
WO (1) WO2021057743A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021057743A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 地图融合方法及装置、设备、存储介质
WO2021057745A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 地图融合方法及装置、设备、存储介质
CN112597787A (zh) * 2020-08-27 2021-04-02 禾多科技（北京）有限公司 用于融合局部图像的方法、装置、服务器和介质
CN113506459A (zh) * 2021-06-11 2021-10-15 上海追势科技有限公司 一种地下停车场众包地图采集方法
CN113838201A (zh) * 2021-09-23 2021-12-24 北京百度网讯科技有限公司 模型适配方法、装置、电子设备及可读存储介质
CN114370865A (zh) * 2022-01-14 2022-04-19 深圳鹏行智能研究有限公司 对室内地图进行坐标转换的方法、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535875A (zh) * 2021-07-14 2021-10-22 北京百度网讯科技有限公司 地图数据扩充方法、装置、电子设备、介质和程序产品
CN114663276A (zh) * 2022-03-25 2022-06-24 北京百度网讯科技有限公司 地图数据的压缩方法、装置、设备及存储介质
CN116481516B (zh) * 2023-06-21 2023-10-13 深圳市普渡科技有限公司 机器人、地图创建方法和存储介质
CN116757936B (zh) * 2023-08-22 2023-11-07 佗道医疗科技有限公司 图像匹配关系获取方法及其图像拼接方法
CN117314735B (zh) * 2023-09-26 2024-04-05 长光辰英(杭州)科学仪器有限公司 基于最小化重投影误差的全局优化坐标映射转换方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012058902A1 (zh) * 2010-11-02 2012-05-10 中兴通讯股份有限公司 全景图合成方法及装置
CN107862720A (zh) * 2017-11-24 2018-03-30 北京华捷艾米科技有限公司 基于多地图融合的位姿优化方法及位姿优化系统
CN109341706A (zh) * 2018-10-17 2019-02-15 张亮 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN109781114A (zh) * 2019-02-15 2019-05-21 上海扩博智能技术有限公司 商场室内导航地图建立方法、系统、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559277B (zh) * 2018-11-28 2023-02-28 中国人民解放军国防科技大学 一种面向数据共享的多无人机协同地图构建方法
CN110276826A (zh) * 2019-05-23 2019-09-24 全球能源互联网研究院有限公司 一种电网作业环境地图的构建方法及系统
CN110704563B (zh) * 2019-09-27 2022-06-28 Oppo广东移动通信有限公司 地图融合方法及装置、设备、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012058902A1 (zh) * 2010-11-02 2012-05-10 中兴通讯股份有限公司 全景图合成方法及装置
CN107862720A (zh) * 2017-11-24 2018-03-30 北京华捷艾米科技有限公司 基于多地图融合的位姿优化方法及位姿优化系统
CN109341706A (zh) * 2018-10-17 2019-02-15 张亮 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN109781114A (zh) * 2019-02-15 2019-05-21 上海扩博智能技术有限公司 商场室内导航地图建立方法、系统、设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021057743A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 地图融合方法及装置、设备、存储介质
WO2021057745A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 地图融合方法及装置、设备、存储介质
CN112597787A (zh) * 2020-08-27 2021-04-02 禾多科技（北京）有限公司 用于融合局部图像的方法、装置、服务器和介质
CN113506459A (zh) * 2021-06-11 2021-10-15 上海追势科技有限公司 一种地下停车场众包地图采集方法
CN113838201A (zh) * 2021-09-23 2021-12-24 北京百度网讯科技有限公司 模型适配方法、装置、电子设备及可读存储介质
CN113838201B (zh) * 2021-09-23 2022-06-07 北京百度网讯科技有限公司 模型适配方法、装置、电子设备及可读存储介质
CN114370865A (zh) * 2022-01-14 2022-04-19 深圳鹏行智能研究有限公司 对室内地图进行坐标转换的方法、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021057743A1 (zh) 2021-04-01
CN110704563B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN110704563B (zh) 地图融合方法及装置、设备、存储介质
CN110728717B (zh) 定位方法及装置、设备、存储介质
CN110705574B (zh) 定位方法及装置、设备、存储介质
CN110704562B (zh) 地图融合方法及装置、设备、存储介质
CN110738143B (zh) 定位方法及装置、设备、存储介质
CN108648240B (zh) 基于点云特征地图配准的无重叠视场相机姿态标定方法
Walch et al. Image-based localization using lstms for structured feature correlation
CN110675457B (zh) 定位方法及装置、设备、存储介质
KR20230127313A (ko) 3차원 재구성 및 관련 인터랙션, 측정 방법 및 관련장치, 기기
CN113436270B (zh) 传感器标定方法及装置、电子设备和存储介质
JP7227969B2 (ja) 三次元再構成方法および三次元再構成装置
KR20080029080A (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
CN111511017B (zh) 定位方法及装置、设备、存储介质
CN111882655B (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN111127522A (zh) 基于单目相机的深度光流预测方法、装置、设备及介质
CN112150548A (zh) 定位方法及装置、终端、存储介质
CN112148742A (zh) 地图更新方法及装置、终端、存储介质
Bao et al. Robust tightly-coupled visual-inertial odometry with pre-built maps in high latency situations
US20220404460A1 (en) Sensor calibration method and apparatus, electronic device, and storage medium
CN113706391B (zh) 无人机航拍图像实时拼接方法、系统、设备及存储介质
Zhu et al. Multimodal neural radiance field
CN114494612A (zh) 构建点云地图的方法、装置和设备
CN109961463B (zh) 基于对偶四元数的视图配准方法、系统、设备和存储介质
Ayush et al. Real time visual SLAM using cloud computing
CN116416289B (zh) 基于深度曲线学习的多模图像配准方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant