CN110704562B - 地图融合方法及装置、设备、存储介质 - Google Patents

地图融合方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN110704562B
CN110704562B CN201910922127.1A CN201910922127A CN110704562B CN 110704562 B CN110704562 B CN 110704562B CN 201910922127 A CN201910922127 A CN 201910922127A CN 110704562 B CN110704562 B CN 110704562B
Authority
CN
China
Prior art keywords
coordinate
voxel
local map
map
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910922127.1A
Other languages
English (en)
Other versions
CN110704562A (zh
Inventor
金珂
杨宇尘
马标
李姬俊男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910922127.1A priority Critical patent/CN110704562B/zh
Publication of CN110704562A publication Critical patent/CN110704562A/zh
Priority to PCT/CN2020/116930 priority patent/WO2021057745A1/zh
Application granted granted Critical
Publication of CN110704562B publication Critical patent/CN110704562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Generation (AREA)

Abstract

本申请实施例公开了地图融合方法及装置、设备、存储介质，其中，所述方法包括：获取第一局部地图集合和第二局部地图，所述第一局部地图集合包括至少一个第一局部地图，所述第一局部地图的坐标系与所述第二局部地图的坐标系不同；根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，将每一所述第一局部地图和所述第二局部地图进行融合，以得到目标全局地图；其中，所述第二体素的第二坐标是根据多个样本图像对，更新所述第二体素的初始坐标而获得的，所述样本图像对包括二维样本图像和深度样本图像。

Description

地图融合方法及装置、设备、存储介质
技术领域
本申请实施例涉及电子技术，涉及但不限于地图融合方法及装置、设备、存储介质。
背景技术
目前，通过视觉信息可以建立室内环境地图，在构建室内环境地图的过程中不可避免地遇到地图融合的需求。比如，在多次数据采集后的地图融合、多人或多机器协作完成地图构建等应用场景中，都需要将多个局部地图合成为一个全局地图。然而，合成的全局地图却存在较大的融合误差，在合成后多个局部地图之间的一致性较低。
发明内容
本申请实施例提供地图融合方法及装置、设备、存储介质。本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种地图融合方法，所述方法包括：获取第一局部地图集合和第二局部地图，所述第一局部地图集合包括至少一个第一局部地图，所述第一局部地图的坐标系与所述第二局部地图的坐标系不同；根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，将每一所述第一局部地图和所述第二局部地图进行融合，以得到目标全局地图；其中，所述第二体素的第二坐标是根据多个样本图像对，更新所述第二体素的初始坐标而获得的，所述样本图像对包括二维样本图像和深度样本图像。
第二方面，本申请实施例提供一种地图融合装置，包括：地图获取模块，配置为获取第一局部地图集合和第二局部地图，所述第一局部地图集合包括至少一个第一局部地图，所述第一局部地图的坐标系与所述第二局部地图的坐标系不同；地图融合模块，配置为根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，将每一所述第一局部地图和所述第二局部地图进行融合，以得到目标全局地图；其中，所述第二体素的第二坐标是根据多个包括二维样本图像和深度样本图像的样本图像对，更新所述第二体素的初始坐标而获得的。
第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述地图融合方法中的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述地图融合方法中的步骤。
本申请实施例中，所述第二局部地图中第二体素的第二坐标是根据多个样本图像对，更新所述第二体素的初始坐标而获得的；相比于直接将二维样本图像中像素点的局部坐标作为所述第二局部地图的内容，可以提高第二局部地图中坐标的精度，进而在地图融合时获得较高的地图融合精度，使得融合后得到的目标全局地图中每一坐标值更加平滑。
附图说明
图1为本申请实施例地图融合方法的实现流程示意图；
图2为本申请实施例将多个第一局部地图融合到第二局部地图的示意图；
图3为本申请实施例对特定物理空间进行量化的实现示意图；
图4为本申请实施例地图融合装置的组成结构示意图；
图5为本申请实施例电子设备的一种硬件实体示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本申请实施例提供一种地图融合方法，所述方法可以应用于电子设备，所述电子设备可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机、服务器等具有信息处理能力的设备。所述地图融合方法所实现的功能可以通过所述电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，所述电子设备至少包括处理器和存储介质。
图1为本申请实施例地图融合方法的实现流程示意图，如图1所示，所述方法至少包括以下步骤S101至步骤S102：
步骤S101，获取第一局部地图集合和第二局部地图，所述第一局部地图集合包括至少一个第一局部地图，所述第一局部地图的坐标系与所述第二局部地图的坐标系不同。
这里，所述第一局部地图集合中包括一个或多个不同的第一局部地图。一个或多个不同的第一局部地图可以是一个或多个不同的其他电子设备在不同位置通过内置的图像采集模组所采集多个样本图像对而构建的局部地图，或者还可以是所述电子设备在不同位置通过内置的图像采集模组所采集的样本图像对而构建的局部地图。对于第一局部地图和第二局部地图的构建过程，可以通过如下实施例中步骤S801至步骤S803实现。所述其他电子设备可以以众包的形式将构建的第一局部地图发送给所述电子设备。第二局部地图的坐标系为适合某种应用场景下的坐标系，例如在视觉定位中，第二局部地图的坐标系为世界坐标系。
步骤S102，根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，将每一所述第一局部地图和所述第二局部地图进行融合，以得到目标全局地图；其中，所述第二体素的第二坐标是根据多个样本图像对，更新所述第二体素的初始坐标而获得的，所述样本图像对包括二维样本图像和深度样本图像。
电子设备可以通过如下实施例中的步骤S202、或者步骤S302至步骤S304、或者步骤S616至步骤S619等来实现步骤S102。
在本申请实施例中，第二局部地图中第二体素的第二坐标是根据多个样本图像对，多次更新述第二体素的初始坐标而获得的，而不是在将样本图像对中的像素点的相机坐标转换为第二局部地图所在的坐标系下之后，直接作为第二局部地图的内容；也就是说，第二局部地图的构建过程实际上是通过多个样本图像对不断地对第二体素的坐标进行优化的过程；如此，能够大大提高第二局部地图中第二体素的坐标精度，进而在地图融合时获得较高的地图融合精度。
本申请实施例再提供一种地图融合方法，所述方法可以应用于所述电子设备，所述方法至少包括以下步骤S201至步骤S202：
步骤S201，获取第一局部地图集合和第二局部地图，所述第一局部地图集合包括至少一个第一局部地图，所述第一局部地图的坐标系与所述第二局部地图的坐标系不同。
步骤S202，根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，依次将所述第一局部地图集合中满足第一条件的第一局部地图融合至当前第二局部地图中，以得到所述目标全局地图。
在实现时，优先将第一局部地图集合中与第二局部地图的重叠区域最多的第一局部地图，融合至第二局部地图中。例如，通过如下实施例的步骤S302至步骤S304，依次将与当前第二局部地图相匹配的第一局部地图融合至当前第二局部地图中；这样，不仅可以提高融合精度，还可以避免出现融合失败的情况，从而提高地图融合效率。
本申请实施例再提供一种地图融合方法，所述方法可以应用于所述电子设备，所述方法至少包括以下步骤S301至步骤S304：
步骤S301，获取第一局部地图集合和第二局部地图，所述第一局部地图集合包括至少一个第一局部地图，所述第一局部地图的坐标系与所述第二局部地图的坐标系不同。
步骤S302，根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，从所述第一局部地图集合中，确定出与所述第二局部地图相匹配的目标局部地图。
电子设备可以通过如下实施例的步骤S402至步骤S404实现步骤S302。
步骤S303，将所述目标局部地图融合至所述第二局部地图中，得到融合后的第二局部地图。
步骤S304，从所述第一局部地图集合中剩余的第一局部地图中，确定出与所述融合后的第二局部地图相匹配的新的目标局部地图，以将所述新的目标局部地图融合至所述融合后的第二局部地图中，直到所述第一局部地图集合中每一所述第一局部地图均被融合至当前第二局部地图中为止，得到所述目标全局地图。
举例来说，如图2所示，假设第一局部地图集合20包括的第一局部地图为地图21、地图22和地图23，在进行第一次地图融合时，第一局部地图集合20中与第二局部地图24相匹配的第一局部地图为地图22，此时将地图22作为目标局部地图，融合到第二局部地图24中，得到的融合后的第二局部地图24为地图241；在进行第二次地图融合时，从第一局部地图集合中确定与地图241相匹配的新的目标局部地图为地图21，此时将地图21融合到地图241中，得到的融合后的第二局部地图为地图242；最后，将地图23融合到地图242中，得到初始全局地图243。
在本申请实施例中，确定待融合的第一局部地图(即目标局部地图)和融合，两个动作交替进行，即新的目标局部地图是在当前得到的第二局部地图的基础上所确定的；这样，使得所述电子设备能够从第一局部地图集合中找到与当前得到的第二局部地图具有更多重叠区域的目标局部地图，从而减小融合误差，提高地图融合精度。这是因为：目标局部地图与第二局部地图之间的重叠区域越多，越能够获得更加准确的第一坐标转换关系(即如下实施例的步骤S503中所述的坐标转换关系)，从而使得确定的第一体素的第五坐标(即如下实施例的步骤S512中所述的第五坐标)更加精确，进而能够减小融合误差。
本申请实施例再提供一种地图融合方法，所述方法可以应用于所述电子设备，所述方法至少包括以下步骤S401至步骤S406：
步骤S401，获取第一局部地图集合和第二局部地图，所述第一局部地图集合包括至少一个第一局部地图，所述第一局部地图的坐标系与所述第二局部地图的坐标系不同。
步骤S402，根据迭代策略，将所述第一局部地图集合中第n个第一局部地图的每一第一体素的第一坐标分别与所述第二局部地图中多个第二体素的第二坐标进行匹配，得到匹配结果，n为大于0的整数。
实际上通过步骤S402是在寻找与第一体素相匹配的第二体素。在实现时，电子设备可以通过如下实施例的步骤S502至步骤S509获得所述匹配结果。需要说明的是，电子设备通过步骤S402可以得到每一第一局部地图与第二局部地图之间的匹配结果，也就是说，第n个第一局部地图为第一局部地图集合中的任一地图。
步骤S403，在所述匹配结果表征匹配成功的情况下，将所述第n个第一局部地图确定为所述目标局部地图。
步骤S404，在所述匹配结果表征匹配失败的情况下，继续根据所述迭代策略，将下一个第一局部地图中每一第一体素的第一坐标分别与所述多个第二体素的第二坐标进行匹配，直到从所述第一局部地图集合中确定出所述目标局部地图为止，进入步骤S405。
步骤S405，将所述目标局部地图融合至所述第二局部地图中，得到融合后的第二局部地图。电子设备可以通过如下实施例的步骤S512至步骤S513获得融合后的第二局部地图。
步骤S406，从所述第一局部地图集合中剩余的第一局部地图中，确定出与所述融合后的第二局部地图相匹配的新的目标局部地图，以将所述新的目标局部地图融合至所述融合后的第二局部地图中，直到所述第一局部地图集合中每一所述第一局部地图均被融合至当前第二局部地图中为止，得到所述目标全局地图。
在本申请实施例中，根据迭代策略，将第一局部地图集合中每一第一局部地图的第一体素的第一坐标分别与第二局部地图中多个第二体素的第二坐标进行匹配，即可从第一局部地图集合中找出与第二局部地图相匹配的目标局部地图；如此，使得电子设备在每一第一局部地图和第二局部地图均没有图像特征的情况下，仍然可以将每一第一局部地图融合至第二局部地图中，从而大大扩展了电子设备的应用场景。例如，由于第一局部地图中不含图像特征，这样就大大降低了地图的数据量，从而使得其他电子设备可以以众包的形式将第一局部地图发送给所述电子设备，进而提高了目标全局地图的构建效率。
本申请实施例再提供一种地图融合方法，所述方法可以应用于所述电子设备，所述方法至少包括以下步骤S501至步骤S514：
步骤S501，获取第一局部地图集合和第二局部地图，所述第一局部地图集合包括至少一个第一局部地图，所述第一局部地图的坐标系与所述第二局部地图的坐标系不同。
步骤S502，从所述多个第二体素中，选取与所述第n个第一局部地图中每一第一体素相匹配的初始目标体素。
在一个示例中，电子设备可以通过如下实施例中的步骤S602至步骤S604，选取所述初始目标体素。实际上，通过步骤S502，只是为了选取与所述第一局部地图中的第一体素可能匹配的第二体素，所述初始目标体素可能不是与所述第一体素真正匹配的对象，因此，需要通过如下步骤S503至步骤S510，进一步确定所述初始目标体素是否是与所述第一体素真正匹配的对象。
步骤S503，根据所述第n个第一局部地图中每一第一体素的第一坐标和对应的初始目标体素的第二坐标，确定所述第n个第一局部地图相对于所述第二局部地图的第一坐标转换关系。
在实现时，可以根据所述第n个第一局部地图中每一第一体素的第一坐标和对应的初始目标体素的第二坐标，构建误差函数；然后，通过最小二乘法求解当前最优的第一坐标转换关系。例如，包括h个第一体素的第一坐标的集合表示为P＝{p1,p2,...,ps,...,ph}，第一体素的第一坐标用ps来表示，与所述h个第一体素匹配的初始目标体素的第二坐标的集合表示为Q＝{q1,q2,...,qs,...,qh}，初始目标体素的第二坐标用qs来表示，那么，可以列出如下式(1)：
Figure BDA0002217899580000051
式中，E(R,T)为误差函数，R和T分别为待求解的第一坐标转换关系中的旋转矩阵和平移向量。那么，可以通过最小二乘法求解式(1)中R和T的最优解。
步骤S504，根据所述第一坐标转换关系、所述第n个第一局部地图中每一第一体素的第一坐标和对应的初始目标体素的第二坐标，确定匹配误差。
在实现时，可以通过如下实施例中的步骤S606和步骤S607确定所述匹配误差。
步骤S505，统计确定匹配误差的次数。
可以理解地，在处理当前的第一局部地图时，每确定一次匹配误差，就统计确定匹配误差的次数，在处理下一个第一局部地图时，可以将当前次数清零。
步骤S506，确定所述次数是否大于第二阈值；如果是，执行步骤S507；否则，执行步骤S508。
可以理解地，如果所述次数大于第二阈值，说明第n个第一局部地图与当前第二局部地图是不匹配的，例如两者没有相匹配的体素。此时，可以将当前统计的确定匹配误差的次数清零之后，将第n个第一局部地图替换为第n+1个(即下一个)第一局部地图，重新执行类似步骤S502至步骤506的内容。
步骤S507，生成表征匹配失败的匹配结果，并继续从所述多个第二体素中，选取与下一个第一局部地图中每一第一体素匹配的初始目标体素，直到生成表征匹配成功的匹配结果为止，进入步骤S510。
步骤S508，确定所述匹配误差是否大于第一阈值；如果是，返回步骤S502，重新选取初始目标体素，并重新确定匹配误差；否则，执行步骤S509。
步骤S509，生成表征匹配成功的匹配结果。
步骤S510，在所述匹配结果表征匹配成功的情况下，将所述第n个第一局部地图确定为所述目标局部地图，然后进入步骤S512。
可以理解地，如果所述匹配误差大于第一阈值，说明当前选取的初始目标体素并不是与当前第一局部地图中第一体素相匹配的对象。此时，还需要返回步骤S502，重新选取初始目标体素，并基于重新选取的初始目标体素，重新执行步骤S503至步骤S504，以重新确定匹配误差，直至重新确定的匹配误差小于所述第一阈值时，认为当前迭代中选取的初始目标体素是与当前第一局部地图中第一体素真正匹配的第二体素，此时进入步骤S512。
步骤S511，在所述匹配结果表征匹配失败的情况下，继续根据所述迭代策略，将下一个第一局部地图中每一第一体素的第一坐标分别与所述多个第二体素的第二坐标进行匹配，直到从所述第一局部地图集合中确定出所述目标局部地图为止，进入步骤S512。
步骤S512，根据确定的匹配误差小于或等于所述第一阈值时的第一坐标转换关系，对所述目标局部地图中每一第一体素的第一坐标进行坐标转换，得到与所述第一体素对应的第五坐标。也就是说，第一体素的第五坐标为在第二局部地图中的坐标值。
步骤S513，根据每一所述第一体素的第五坐标和所述第二局部地图中每一第二体素的第二坐标，对所述目标局部地图和所述第二局部地图进行融合，得到融合后的第二局部地图。
电子设备可以通过如下实施例的步骤S616至步骤S618得到融合后的第二局部地图。
步骤S514，从所述第一局部地图集合中剩余的第一局部地图中，确定出与所述融合后的第二局部地图相匹配的新的目标局部地图，以将所述新的目标局部地图融合至所述融合后的第二局部地图中，直到所述第一局部地图集合中每一所述第一局部地图均被融合至当前第二局部地图中为止，得到所述目标全局地图。
本申请实施例再提供一种地图融合方法，所述方法可以应用于所述电子设备，所述方法至少包括以下步骤S601至步骤S619：
步骤S601，获取第一局部地图集合和第二局部地图，所述第一局部地图集合包括至少一个第一局部地图，所述第一局部地图的坐标系与所述第二局部地图的坐标系不同。
步骤S602，获取所述第n个第一局部地图相对于所述第二局部地图的第二坐标转换关系，n为大于0的整数。在实现时，可以将所述第二坐标转换关系设置一个初始值。
步骤S603，根据所述第二坐标转换关系，对所述第n个第一局部地图中第j个第一体素的第一坐标进行坐标转换，得到所述第j个第一体素的第三坐标，j为大于0的整数。
步骤S604，将所述第三坐标与所述多个第二体素的第二坐标进行匹配，得出与所述第j个第一体素相匹配的初始目标体素。
在实现时，可以确定第j个第一体素的第三坐标与每一所述第二体素的第二坐标之间的距离(例如欧式距离)，然后将距离第j个第一体素最近的第二体素确定为初始目标体素，或者将距离小于或等于距离阈值的第二体素确定为初始目标体素。需要说明的是，第n个第一局部地图可以是第一局部地图集合中的任一第一局部地图，第j个第一体素可以是第n个第一局部地图中的任一第一体素。
步骤S605，根据所述第n个第一局部地图中每一第一体素的第一坐标和对应的初始目标体素的第二坐标，确定所述第n个第一局部地图相对于所述第二局部地图的第一坐标转换关系。
步骤S606，根据所述第一坐标转换关系，将所述第n个第一局部地图中第j个第一体素的第一坐标进行坐标转换，得到所述第j个第一体素的第四坐标，j为大于0的整数。
步骤S607，根据所述第n个第一局部地图中每一第一体素的第四坐标和对应的初始目标体素的第二坐标，确定所述匹配误差。
所述电子设备在实现步骤S607时，可以先确定所述第n个第一局部地图中每一第一体素的第四坐标与对应的初始目标体素的第二坐标之间的第一距离(例如欧式距离)；再根据每一所述第一距离，确定所述匹配误差。
这里，可以将多个第一体素与匹配的初始目标体素之间的平均距离，确定为所述匹配误差。例如，包括h个第一体素的第四坐标ps′的集合表示为P′＝{p1′,p′2,...,ps′,...,p′h}，与所述h个第一体素匹配的初始目标体素的第二坐标qs的集合表示为Q＝{q1,q2,...,qs,...,qh}，那么通过如下公式(2)可以求取匹配误差d：
Figure BDA0002217899580000061
式中||p′s-qs||2表示第一体素与匹配的初始目标体素之间的欧式距离。
步骤S608，统计确定匹配误差的次数。
步骤S609，确定所述次数是否大于第二阈值；如果是，执行步骤S610；否则，执行步骤S611。
步骤S610，生成表征匹配失败的匹配结果，并返回执行步骤S602，继续获取下一个第一局部地图相对于所述第二局部地图的第二坐标转换关系，直到生成表征匹配成功的匹配结果为止，进入步骤S613。
步骤S611，确定所述匹配误差是否大于第一阈值；如果是，将所述第一坐标转换关系作为所述第二坐标转换关系，然后返回执行步骤S603，以重新选取初始目标体素；否则，执行步骤S612。
可以理解地，如果所述匹配误差大于第一阈值，说明获取的第二坐标转换关系是不符合实际的，换句话说，得出的初始目标体素不是真正与第一体素相匹配的对象，此时，可以将第一坐标转换关系作为所述第二坐标转换关系，重新执行步骤S603至步骤S610，直至匹配误差小于所述第一阈值为止，执行步骤S612。
步骤S612，生成表征匹配成功的匹配结果。
步骤S613，在所述匹配结果表征匹配成功的情况下，将所述第n个第一局部地图确定为所述目标局部地图，然后进入步骤S615。
需要说明的是，如果表征匹配成功的匹配结果为所述电子设备将下一个第一局部地图中每一第一体素的第一坐标与所述多个第二体素的第二坐标进行匹配所得到的匹配结果，则此时将所述下一个第一局部地图确定为目标局部地图。也就是说，在当前匹配结果表征匹配成功的情况下，将当前被匹配的第一局部地图确定为目标局部地图。
步骤S614，在所述匹配结果表征匹配失败的情况下，继续根据所述迭代策略，将下一个第一局部地图中每一第一体素的第一坐标分别与所述多个第二体素的第二坐标进行匹配，直到从所述第一局部地图集合中确定出所述目标局部地图为止，进入步骤S615。
步骤S615，根据确定的匹配误差小于或等于所述第一阈值时的第一坐标转换关系，对所述目标局部地图中每一第一体素的第一坐标进行坐标转换，得到与所述第一体素对应的第五坐标。
步骤S616，确定所述目标局部地图中第k个第一体素的第五坐标分别与所述第二局部地图中每一所述第二体素的第二坐标之间的第二距离，以得到第二距离集合，k为大于0的整数。第k个第一体素为目标局部地图中的任一第一体素。
步骤S617，在所述第二距离集合中存在满足第二条件的目标第二距离的情况下，根据所述第k个第一体素的第一坐标和第五坐标，更新所述目标第二距离对应的目标第二体素的第二坐标。
这里对于第二条件不做限定。在一个示例中，将第二距离集合中小于或等于第三阈值的第二距离确定为目标第二距离，将目标第二距离对应的第二体素确定为目标第二体素；在另一个示例中，将第二距离集合中最小的第二距离确定为目标第二距离。
电子设备可以通过如下实施例中的步骤S701至步骤S704，更新所述目标第二体素的第二坐标。
可以理解地，将目标局部地图融合至第二局部地图中，通过步骤S616至步骤618实现。也就是说，一方面根据与第二体素相匹配的第一体素的第一坐标和第五坐标，更新该第二体素的第二坐标；另一方面，如果第二局部地图中没有与第一体素相匹配的第二体素，则将该第一体素作为第二局部地图中新的第二体素，将该第二体素的第五坐标作为该新的第二体素的第二坐标；如此，既可以避免因为直接将目标局部地图中第一体素的第五坐标添加至第二局部地图中，所导致的信息冗余问题，还能够使得目标第二体素的第二坐标更加平滑，从而减小融合误差，提高地图融合精度。
步骤S618，在所述第二距离集合中没有满足所述第二条件的目标第二距离的情况下，将所述第k个第一体素作为所述第二局部地图中的新的第二体素，将所述第k个第一体素的第五坐标作为所述新的第二体素的第二坐标；重复上述步骤S616至步骤S618，以将所述目标局部地图中每一第一体素的第五坐标融合至所述第二局部地图中，从而得到融合后的第二局部地图，然后进入步骤S619。
例如，第二距离集合中的每一第二距离均大于第三阈值，则说明第二局部地图中没有与所述第k个第一体素相匹配的目标第二体素，此时执行步骤S618，将所述第k个第一体素的第五坐标作为第二局部地图中新的元素。
步骤S619，从所述第一局部地图集合中剩余的第一局部地图中，确定出与所述融合后的第二局部地图相匹配的新的目标局部地图，以将所述新的目标局部地图融合至所述融合后的第二局部地图中，直到所述第一局部地图集合中每一所述第一局部地图均被融合至当前第二局部地图中为止，得到所述目标全局地图。
可以理解地，电子设备通过多次重复执行类似于步骤S602至步骤S618，即可获得目标全局地图。
在其他实施例中，对于步骤S617，所述根据所述第k个第一体素的第一坐标和第五坐标，更新所述目标第二距离对应的目标第二体素的第二坐标，所述电子设备可以通过以下步骤S701至步骤S704实现：
步骤S701，获取与所述目标第二体素对应的第一距离模型。
步骤S702，获取所述目标第二体素到物体表面的历史第三距离。
步骤S703，将所述第k个第一体素的第一坐标的Z轴坐标值、所述第k个第一体素的第五坐标的Z轴坐标值和所述历史第三距离，输入至所述第一距离模型中，以更新所述历史第三距离，得到更新后的第三距离。
在一个示例中，第一距离模型如公式(3)所示：
Figure BDA0002217899580000081
式(3)中，Wt表示在当前时刻t所述目标第二体素的权重；Wt-1表示在前一时刻t-1所述目标第二体素的权重；maxweight为在前一时刻t-1所有第二体素中的最大权重；z1表示所述第k个第一体素的第一坐标的Z轴坐标值；z5表示所述第k个第一体素的第五坐标的Z轴坐标值；maxtruncation和mintruncation分别表示截断范围的最大值和最小值；Dt-1表示在前一时刻t-1确定的所述目标第二体素到物体表面的距离，也就是所述目标第二体素到物体表面的历史第三距离的一种示例；而Dt则是当前待求的更新后的第三距离。
这样将所述第k个第一体素的第五坐标的Z轴坐标值z5和述第k个第一体素的第一坐标的Z轴坐标值z1输入至公式(3)所示的第一距离模型中，即可更新历史第三距离Dt-1，从而更新所述目标第二体素的第二坐标。
步骤S704，将所述更新后的第三距离，更新为所述目标第二体素的第二坐标的Z轴坐标值。
在本申请实施例中，在所述第二距离集合中存在满足第二条件的目标第二距离的情况下，根据所述第k个第一体素的第一坐标的Z轴坐标值、所述第k个第一体素的第五坐标的Z轴坐标值和所述目标第二体素到物体表面的历史第三距离，更新所述历史第三距离，以将更新后的第三距离，更新为所述目标第二体素的第二坐标的Z轴坐标值。由于在更新所述目标第二体素的第二坐标时，考虑了目标第二体素到物体表面的历史第三距离，如此，使得更新后的第二坐标更加平滑，从而能够获得更好的融合精度。
一般来说，所述第一局部地图和所述第二局部地图所覆盖的物理空间是不同的。例如，所述第一局部地图覆盖的物理空间为房间1，所述第二局部地图覆盖的物理空间为房间2。但是，所述第一局部地图和所述第二局部地图的构建过程是类似的，只是在进行局部地图构建时，图像采集模组采集多个样本图像对时所在的物理空间不同而已。以所述第二局部地图为例，该地图的构建过程可以包括以下步骤S801至步骤S803：
步骤S801，对特定物理空间的尺寸进行量化处理，得到多个所述第二体素的初始坐标。
可以理解地，所述特定物理空间指的是第二局部地图所覆盖的物理场景。例如，特定物理空间为某栋大楼的某个房间等。第二体素实际上是具有特定尺寸的立方体，也就是该特定物理空间中的最小单位。如图3所示，将特定物理空间看作一个具有一定尺寸的立方体301，然后以第二体素302为单位，对该立方体进行量化，得到多个第二体素；以特定的坐标系(例如世界坐标系)为参考坐标系，确定每一第二体素的初始坐标。举例来说，特定物理空间的尺寸为512×512×512m3，第二体素的尺寸为1×1×1m3，那么以1×1×1m3大小的第二体素为单位，对512×512×512m3大小的物理空间进行量化处理，可以得到512×512×512个第二体素的初始坐标。需要说明的是，所述量化处理包括量化特定物理空间的尺寸和确定每一第二体素的初始坐标。
步骤S802，根据图像采集模组在所述特定物理空间中采集的多个所述样本图像对，对每一所述第二体素的初始坐标进行更新，得到每一所述第二体素的第二坐标。
二维样本图像是指不包含深度信息的平面图像，例如所述二维样本图像为RGB图像。在实现时，图像采集模组可以通过自身安装的第一摄像头采集二维样本图像。深度样本图像是指仅包含深度信息的图像，在实现时，图像采集模组可以通过自身安装的第二摄像头采集深度样本图像。所述电子设备可以通过如下实施例的步骤S902至步骤S904实现步骤S802。
步骤S803，根据每一所述第二体素的第二坐标，构建所述第二局部地图。即，第二局部地图中包括每一第二体素的第二坐标，但是不包括像素点的图像特征，这样既能够减小第二局部地图的数据量，也能够保证第二局部地图的私密性，具有较好的隐私保护效果。
可以理解地，图像采集模组在不同时刻或者不同位置采集样本图像时，其拍摄场景是有重叠区域的，也就是说，不同的样本图像中包括相同的拍摄物体，这使得在基于这些样本图像构建第二局部地图时，引入了大量的冗余信息，物理空间中的同一位置点可能被多个像素点以相同或相近的坐标表示在第二局部地图中，这样就大大增加了第二局部地图的数据量，影响了第二局部地图的构建过程，并且对于获得高精度的地图融合结果也是不利的。并且，对于第一局部地图来讲，数据量太大，不利于其他电子设备以众包的形式发送给所述电子设备，从而限制了地图融合的应用场景，降低了地图融合的效率。
因此，在本申请实施例中，以第二体素的形式构建第二局部地图，即，通过采集的多个样本图像对，对每一所述第二体素的初始坐标进行更新，从而得到包括每一所述第二体素的第二坐标的第二局部地图。这种构建第二局部地图的方式，相当于将所述第二体素所涵盖的所有像素点的坐标融合为一个坐标，如此，就解决了物理空间中的同一位置点被多个像素点以相同或相近的坐标表示在第二局部地图中所带来的上述问题，去除了大量的冗余信息。
本申请实施例再提供一种第二局部地图的构建过程，该过程至少包括以下步骤S901至步骤S905：
步骤S901，对特定物理空间的尺寸进行量化处理，得到多个所述第二体素的初始坐标。
步骤S902，控制图像采集模组按照预设帧率采集所述样本图像对。
在实现时，图像采集模组可以边移动边采集样本图像对。例如，可以通过具有图像采集模组的机器人实现样本图像对的采集。
步骤S903，根据所述图像采集模组在当前时刻采集的第一样本图像对和在历史时刻采集的第二样本图像对，更新每一所述第二体素的初始坐标。
电子设备可以通过如下实施例的步骤S113至步骤S115实现步骤S903。
步骤S904，根据所述第一样本图像对和所述图像采集模组在下一时刻采集的第三样本图像对，继续更新每一所述第二体素的当前坐标，直到样本图像采集结束时，将所述第二体素的当前坐标作为所述第二坐标。
实际上，通过步骤S903和步骤S904，所述电子设备可以根据图像采集模组当前时刻采集的样本图像对和历史时刻采集的样本图像对，实时地更新每一所述第二体素的当前坐标，直到图像采集模组的图像采集任务结束为止，将当前更新得到的每一第二体素的坐标作为与所述第二体素对应的第二坐标。
步骤S905，根据每一所述第二体素的第二坐标，构建所述第二局部地图。
在本申请实施例中，边采集样本图像对，边根据采集的样本图像对更新每一所述第二体素的当前坐标。也就是说，所述电子设备不断地利用图像采集模组在当前时刻采集的样本图像对和在历史时刻(例如前一时刻)采集的样本图像对，更新每一所述第二体素的当前坐标。由于前后时刻获得的两张样本图像，具有较多的重叠区域，因此通过这种边采集样本图像对，边更新每一所述第二体素的当前世界坐标的方法，电子设备就无需从多个样本图像对中找出重叠区域最多的两个样本图像对，然后在基于这两个样本图像对更新每一所述第二体素的当前坐标；如此，能够大大提高地图构建的效率。
本申请实施例再提供一种第二局部地图的构建过程，该过程至少包括以下步骤S111至步骤S117：
步骤S111，对特定物理空间的尺寸进行量化处理，得到多个所述第二体素的初始坐标。
步骤S112，控制所述图像采集模组按照预设帧率采集所述样本图像对。
步骤S113，根据所述第一样本图像对和所述第二样本图像对，确定每一所述第二体素的当前相机坐标。
电子设备在实现步骤S113时，可以根据所述第一样本图像对和所述第二样本图像对，确定相机坐标系相对于所述第二局部地图所在的坐标系的当前转换关系；根据所述当前转换关系，将每一所述第二体素的初始坐标转换为当前相机坐标。
在一个示例中，电子设备可以根据第一样本图像对中二维样本图像的像素点的图像特征、第一样本图像对中深度样本图像的像素点的深度值、以及第二样本图像对中二维样本图像的像素点的图像特征和第二样本图像对中深度样本图像的像素点的深度值，确定所述当前变换关系。基于此，根据如下公式(4)将所述第二体素的初始坐标转换为当前相机坐标。
Figure BDA0002217899580000101
式中，(xc,yc,zc)表示的是相机坐标，变换关系包括旋转矩阵R和平移向量T，(xw,yw,zw)表示的是初始坐标。
步骤S114，从所述第一样本图像对的深度样本图像中，获取与每一所述第二体素的当前像素坐标对应的深度值。
电子设备在实现步骤S114时，可以根据所述图像采集模组的内参矩阵，将每一所述第二体素的当前相机坐标转换为当前像素坐标；从所述第一样本图像对的深度样本图像中，获取与每一所述第二体素的当前像素坐标对应的深度值。
步骤S115，根据每一所述第二体素的当前相机坐标和与每一所述第二体素的当前像素坐标对应的深度值，更新与所述第二体素对应的初始坐标。
电子设备在实现步骤S115时，可以获取所述多个第二体素中第m个第二体素对应的第二距离模型；获取所述第m个第二体素到物体表面的历史第四距离；将所述第m个第二体素的当前相机坐标的Z轴坐标值、与所述第m个第二体素的当前像素坐标对应的深度值和所述历史第四距离，输入至所述第二距离模型中，以更新所述历史第四距离，得到更新后的第四距离；将每一所述第二体素对应的更新后的第四距离，更新为与所述第二体素对应的初始坐标中的Z轴坐标值，以实现对与所述第二体素对应的初始坐标进行更新。
在一个示例中，所述第二体素对应的第二距离模型如下式(5)所示：
Figure BDA0002217899580000102
式(5)中，Wt表示在当前时刻t所述第二体素的权重；Wt-1表示在前一时刻t-1所述第二体素的权重；maxweight为在前一时刻t-1所有第二体素中的最大权重；Dt(u,v)表示与所述第二体素的当前像素坐标对应的深度值；zc表示所述第二体素的当前相机坐标的Z轴坐标值；maxtruncation和mintruncation分别表示截断范围的最大值和最小值；Dt-1表示在前一时刻t-1确定的所述第二体素到物体表面的距离，也就是所述目标第二体素到物体表面的历史第四距离的一种示例；而Dt则是当前待求的更新后的第四距离。
这样将所述第二体素的当前相机坐标的Z轴坐标值zc、所述第二体素的当前像素坐标对应的深度值Dt(u,v)和所述历史第四距离输入至公式(5)所示的距离模型中，即可更新历史第四距离Dt-1，从而更新第二体素的初始坐标。
步骤S116，根据所述第一样本图像对和所述图像采集模组在下一时刻采集的第三样本图像对，继续更新每一所述第二体素的当前坐标，直到样本图像采集结束时，将所述第二体素的当前坐标作为所述第二坐标。
可以理解地，电子设备在获得第三样本图像对之后，通过执行类似于步骤S113至步骤S115，以继续更新每一所述第二体素的当前坐标。
步骤S117，根据每一所述第二体素的第二坐标，构建所述第二局部地图。
通过视觉信息可以建立室内地图，在构建室内地图的过程中不可避免地会遇到地图更新的需求，比如在多次数据采集后的地图融合、多设备协作建图的情况下等。针对依赖视觉信息的地图更新方法，相关技术是这样实现的：获取局部地图，所述局部地图包含局部坐标系信息和扫描到的地图点云信息；根据扫描到的地图点云中点的法相分布频率得到方向直方图；根据正交投影将扫描到的地图点云从离散的方向加权投影到线上得到投影直方图；计算直方图相关性，快速匹配相近的第二局部地图和第一局部地图；根据第二局部地图和第一局部地图对应的方向直方图计算两者之间的旋转关系；根据第二局部地图和第一局部地图对应的投影直方图，计算两者之间的平移关系；根据旋转关系和平移关系合成第二局部地图和第一局部地图。重复上述步骤，直到所有局部地图被融合为一全局地图为止，地图构建完毕。该方案的核心技术点是：第一，计算地图点云的法相分布频率得到方向直方图；第二，加权投影到线上得到投影直方图；第三，计算旋转关系和平移关系。
相关技术中，旋转关系和平移关系是通过计算两局部地图的直方图相关性得到的，当两局部地图重叠的区域不多的情况下，两局部地图的相关性较低，匹配的鲁棒性较低，导致计算的旋转关系和平移关系误差较大，从而降低了地图融合精度；
相关技术中，计算旋转关系和平移关系是依赖于点云的法相特征，该特征的准确性不高，易出现误差，导致计算所得到的地图旋转和平移的精确性较低。
相关技术中，在一个局部地图合成到全局地图后就不再优化调整，存在累计误差，造成合成的全局地图一致性较低。
基于此，下面将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例实现了一种基于稠密点云的室内地图更新技术，可以帮助用户创建稠密点云形式的室内地图，并实现多个局部地图融合以及地图更新的目标。该方案可以支持室内多个有重复区域的局部地图合成的需求。局部地图的收集可以通过众包的形式无序地进行采集。该方案可以支持地图融合、地图更新、多人建图等日常任务，地图更新的精度高、鲁棒性强。
在本申请实施例中，构建地图部分主要是通过单目摄像头采集RGB图像信息，提取图像特征进行视觉追踪，同时利用三维视觉传感器(如TOF、结构光等)，采集深度信息构建稠密点云。构建一个稠密点云形式的局部地图(即第一局部地图或第二局部地图的一种示例)的具体技术步骤可以包括步骤S11至步骤S15：
步骤S11，利用单目摄像头，以固定帧率进行RGB图像采集；
步骤S12，利用三维视觉传感器，以固定帧率进行深度图像采集；
步骤S13，将RGB图像和深度图像进行对齐，包括时间戳对齐和像素对齐；
步骤S14，采集过程中实时提取RGB图像中的特征信息和深度图像中的深度信息，以对图像采集模组进行视觉追踪和运动估计，确定相机坐标系相对于世界坐标系的当前转换关系；
步骤S15，根据得到的多张深度图像和TSDF算法，以体素的形式构建一个稠密点云形式的局部地图。
针对步骤S12中的利用三维视觉传感器进行深度图像采集，这里给出如下解释。深度图像又被称为距离图像，是指从图像采集模组到拍摄场景中各点的距离作为像素值的图像。深度图像直观反映了事物可见表面的几何形状。在深度数据流所提供的图像帧中，每一个像素点代表的是在三维视觉传感器的视野中，该特定的坐标处物体到摄像头平面的距离。
针对步骤S15中的根据得到的多张深度图像和TSDF算法，以体素的形式构建一个稠密点云形式的局部地图，这里给出如下技术步骤S151至步骤S154：
步骤S151，首先获取体素在全局坐标系下的坐标V(xg,yg,zg)，然后根据运动追踪得到的变换矩阵(即步骤S14输出的当前转换关系)将其从全局坐标转换为相机坐标V(xc,yc,zc)；
可以通过如下的公式(6)将深度图像中的像素点(u,v)转换到相机坐标V(xc,yc,zc)：
Figure BDA0002217899580000121
式中R和T分别为当前转换关系中的旋转矩阵和平移向量。
步骤S152，如下公式(7)所示，根据相机的内参矩阵将相机坐标V(xc,yc,zc)转换为图像坐标，得到一个图像坐标(u,v)；
Figure BDA0002217899580000122
式中(u0,v0)是深度图像的中心坐标点，zc表示相机坐标的z轴值，也就是该像素点(u,v)对应的深度值；
Figure BDA0002217899580000123
表示焦距f在相机坐标系的x轴上的焦距分量；
Figure BDA0002217899580000124
表示焦距f在相机坐标系的y轴上的焦距分量。需要说明的是，由于相机坐标系的Z轴为镜头的光轴，因此像素点(u,v)的深度值即为该像素点的相机坐标的Z轴坐标值zc。相机坐标和世界坐标下的同一物体具有相同的深度，即zc＝zw。
步骤S153，如果第l帧深度图像在图像坐标(u,v)处的深度值D(u,v)不为0，则比较D(u,v)与体素的相机坐标V(x,y,z)中z的大小，如果D(u,v)＜z，说明此体素距离相机更远，在融合表面的内部；否则，说明此体素距离相机更近，在融合表面的外部；
步骤S154，根据步骤S153的结果更新此体素中距离值Dl和权重值Wl，更新公式如下式(8)所示：
Figure BDA0002217899580000125
式中，Wl(x,y,z)为当前帧全局数据立方体中体素的权重，Wl-1(x,y,z)为上一帧全局数据立方体中体素的权重，maxweight为上一帧全局数据立方体中所有体素的权重中的最大权重，可以设定为1，Dl(x,y,z)当前全局数据立方体中体素到物体表面的距离，Dl-1(x,y,z)为上一帧全局数据立方体重体素到物体表面的距离，dl(x,y,z)为根据当前帧深度数据计算得到的全局数据立方体中体素到物体表面的距离，z表示体素在相机坐标系下的z轴坐标，Dl(u,v)表示当前帧深度图像在像素点(u,v)处的深度值，[min truncation,maxtruncation]为截断范围，其会影响到重建结果的精细程度。
基于步骤S11至步骤S15可以构建出一张基于稠密点云的局部地图。
在本申请实施例中，地图更新部分主要是通过迭代最近点算法算法(IterativeClosest Point，ICP)匹配两个局部地图的稠密点云，从而求解出当前第一局部地图相对于第二局部地图的精确位姿(即所述第一坐标转换关系)，然后利用TSDF算法以体素的形式将第一局部地图融合至第二局部地图中。具体的技术步骤如下步骤S21至步骤S24：
步骤S21，加载构建好的第二局部地图和第一局部地图，以第二局部地图坐标系为全局坐标系；
步骤S22，通过ICP算法匹配第一局部地图中和第二局部地图中的稠密点云，得到当前第一局部地图在全局坐标系(即第二局部地图)中的精确位姿；
步骤S23，利用TSDF算法以体素的形式将第一局部地图融合至第二局部地图中。
步骤S24，反复执行步骤S22至步骤S23，将其他局部地图融合到第二局部地图中。
其中，针对步骤S22中的通过ICP算法匹配第一局部地图中和第二局部地图中的稠密点云，得到当前第一局部地图在第二局部地图中的精确位姿，这里给出如下解释。ICP算法其本质上是基于最小二乘法的最优配准方法。该算法重复进行选择对应关系点对，计算最优刚体变换，直到满足正确配准的收敛精度要求。ICP算法的基本原理是：分别在待匹配的第一局部地图P和第二局部地图Q中，按照一定的约束条件，找到最邻近的点(pi,qi)；然后计算出最优的旋转R和平移T，使得误差函数最小，误差函数E(R,T)如下公式(9)所示：
Figure BDA0002217899580000131
式中n为邻近点对的数量，pi为第一局部地图P中的一点，qi为第二局部地图Q中与pi对应的最近点，R为旋转矩阵，T为平移向量。算法具体步骤如下步骤S221至步骤S226：
步骤S221，在当前第一局部地图P中取点集pi∈P；
步骤S222，找出第二局部地图Q中的对应点集qi∈Q，使得||qi-pi||＝min；
步骤S223，计算旋转矩阵R和平移矩阵T，使得误差函数最小；
步骤S224，对pi使用步骤S223求得的旋转矩阵R和平移矩阵T进行旋转和平移变换，得到新的对应点集p'i＝{p'i＝Rpi+T,pi∈P}；
步骤S225，计算p'i与对应点集qi的平均距离
Figure BDA0002217899580000132
步骤S226，若d小于给定阈值dTH或者大于迭代次数阈值，则停止迭代计算，算法输出当前的旋转矩阵R和平移矩阵T；否则跳回到步骤S222。
针对步骤S23中的利用TSDF算法以体素的形式将第一局部地图融合至第二局部地图中，可参考步骤S15。
基于步骤S21至步骤S23可以达成对多个预先构建的稠密点云局部地图进行更新、融合的目的。该地图更新方案具有融合精度高、抗环境干扰性强和鲁棒性强等优点。
在本申请实施例中，利用三维视觉传感器得到了深度信息，利用深度信息得到稠密点云的方式建图，不会受到光照变换情况下的影响，地图更新的鲁棒性较高；
本申请实施例提供的地图构建方法和地图融合方法，能够获得以下有益效果：1、采用了高精度高鲁棒性的匹配算法，在地图融合的结果上相对于其他地图融合方法提高了融合精度；2、存储的地图形式为稠密点云，不需要视觉特征的描述子信息，在地图大小上较之其他方法有一定程度的压缩；3、构建的地图形式为稠密点云地图，不需要存储环境的RGB信息，因此地图的私密性较好。
在本申请实施例中，主要利用三维视觉传感器采集深度信息构建局部地图，并结合高精度高鲁棒性的点云匹配算法达成室内地图更新目的。在地图构建上，通过使用三维视觉传感器采集深度图像信息，以稠密点云的形式存储为离线地图。在地图更新方法上，采用ICP算法匹配第一局部地图和第二局部地图，精确地计算出第一局部地图相对于第二局部地图的转换关系。最后结合TSDF算法融合多个局部地图，形成了一套融合准确度高、鲁棒性强的地图更新方案。该方案支持多人建图场景下的地图融合，以及众包形式的地图更新，在保证地图融合稳定性的同时，也提升了构建局部地图的效率。
基于前述的实施例，本申请实施例提供一种地图融合装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图4为本申请实施例地图融合装置的组成结构示意图，如图4所示，所述装置400包括地图获取模块401和地图融合模块402，其中：地图获取模块401，配置为获取第一局部地图集合和第二局部地图，所述第一局部地图集合包括至少一个第一局部地图，所述第一局部地图的坐标系与所述第二局部地图的坐标系不同；地图融合模块402，配置为根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，将每一所述第一局部地图和所述第二局部地图进行融合，以得到目标全局地图；其中，所述第二体素的第二坐标是根据多个样本图像对，更新所述第二体素的初始坐标而获得的，所述样本图像对包括二维样本图像和深度样本图像。
在其他实施例中，地图融合模块402，配置为根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，依次将所述第一局部地图集合中满足第一条件的第一局部地图，融合至当前第二局部地图中，以得到所述目标全局地图。
在其他实施例中，地图融合模块402，包括：确定子模块，配置为根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，从所述第一局部地图集合中，确定出与所述第二局部地图相匹配的目标局部地图；融合子模块，配置为将所述目标局部地图融合至所述第二局部地图中，得到融合后的第二局部地图；从所述第一局部地图集合中剩余的第一局部地图中，确定出与所述融合后的第二局部地图相匹配的新的目标局部地图，以将所述新的目标局部地图融合至所述融合后的第二局部地图中，直到所述第一局部地图集合中每一所述第一局部地图均被融合至当前第二局部地图中为止，得到所述目标全局地图。
在其他实施例中，所述确定子模块，包括：匹配单元，配置为根据迭代策略，将所述第一局部地图集合中第n个第一局部地图的每一第一体素的第一坐标分别与所述第二局部地图中多个第二体素的第二坐标进行匹配，得到匹配结果，n为大于0的整数；确定单元，配置为在所述匹配结果表征匹配成功的情况下，将所述第n个第一局部地图确定为所述目标局部地图；在所述匹配结果表征匹配失败的情况下，继续根据所述迭代策略，将下一个第一局部地图中每一第一体素的第一坐标分别与所述多个第二体素的第二坐标进行匹配，直到从所述第一局部地图集合中确定出所述目标局部地图为止。
在其他实施例中，所述匹配单元，配置为：从所述多个第二体素中，选取与所述第n个第一局部地图中每一第一体素相匹配的初始目标体素；根据所述第n个第一局部地图中每一第一体素的第一坐标和对应的初始目标体素的第二坐标，确定所述第n个第一局部地图相对于所述第二局部地图的第一坐标转换关系；根据所述第一坐标转换关系、所述第n个第一局部地图中每一第一体素的第一坐标和对应的初始目标体素的第二坐标，确定匹配误差；如果所述匹配误差大于第一阈值，重新选取初始目标体素，并重新确定匹配误差；如果所述匹配误差小于或等于所述第一阈值，生成表征匹配成功的匹配结果。
在其他实施例中，所述匹配单元，还配置为：如果确定匹配误差的次数大于第二阈值，生成表征匹配失败的匹配结果，并继续从所述多个第二体素中，选取与下一个第一局部地图中每一第一体素匹配的初始目标体素，直到生成表征匹配成功的匹配结果为止。
在其他实施例中，所述匹配单元，配置为：获取所述第n个第一局部地图相对于所述第二局部地图的第二坐标转换关系；根据所述第二坐标转换关系，对所述第n个第一局部地图中第j个第一体素的第一坐标进行坐标转换，得到所述第j个第一体素的第三坐标，j为大于0的整数；将所述第三坐标与所述多个第二体素的第二坐标进行匹配，得出与所述第j个第一体素相匹配的初始目标体素。
在其他实施例中，所述匹配单元，配置为：根据所述第一坐标转换关系，将所述第n个第一局部地图中第j个第一体素的第一坐标进行坐标转换，得到所述第j个第一体素的第四坐标，j为大于0的整数；根据所述第n个第一局部地图中每一第一体素的第四坐标和对应的初始目标体素的第二坐标，确定所述匹配误差。
在其他实施例中，所述匹配单元，配置为：确定所述第n个第一局部地图中每一第一体素的第四坐标与对应的初始目标体素的第二坐标之间的第一距离；根据每一所述第一距离，确定所述匹配误差。
在其他实施例中，所述匹配单元，配置为：如果所述匹配误差大于所述第一阈值，将所述第一坐标转换关系作为所述第二坐标转换关系，重新选取初始目标体素。
在其他实施例中，所述融合子模块，包括：坐标转换单元，配置为在所述匹配结果表征匹配成功的情况下，根据确定的匹配误差小于或等于所述第一阈值时的第一坐标转换关系，对所述目标局部地图中每一第一体素的第一坐标进行坐标转换，得到与所述第一体素对应的第五坐标；地图融合单元，配置为根据每一所述第一体素的第五坐标和所述第二局部地图中每一第二体素的第二坐标，对所述目标局部地图和所述第二局部地图进行融合，得到融合后的第二局部地图。
在其他实施例中，所述地图融合单元，配置为：确定所述目标局部地图中第k个第一体素的第五坐标分别与所述第二局部地图中每一所述第二体素的第二坐标之间的第二距离，以得到第二距离集合；在所述第二距离集合中存在满足第二条件的目标第二距离的情况下，根据所述第k个第一体素的第一坐标和第五坐标，更新所述目标第二距离对应的目标第二体素的第二坐标，k为大于0的整数；在所述第二距离集合中没有满足所述第二条件的目标第二距离的情况下，将所述第k个第一体素作为所述第二局部地图中的新的第二体素，将所述第k个第一体素的第五坐标作为所述新的第二体素的第二坐标。重复上述步骤，以将所述目标局部地图中每一第一体素的第五坐标融合至所述第二局部地图中，从而得到融合后的第二局部地图。
在其他实施例中，所述地图融合单元，配置为：获取与所述目标第二体素对应的第一距离模型；获取所述目标第二体素到物体表面的历史第三距离；将所述第k个第一体素的第一坐标的Z轴坐标值、所述第k个第一体素的第五坐标的Z轴坐标值和所述历史第三距离，输入至所述第一距离模型中，以更新所述历史第三距离，得到更新后的第三距离；将所述更新后的第三距离，更新为所述目标第二体素的第二坐标的Z轴坐标值。
在其他实施例中，所述装置400还包括地图构建模块，所述地图构建模块，配置为：对特定物理空间的尺寸进行量化处理，得到多个所述第二体素的初始坐标；根据图像采集模组在所述特定物理空间中采集的多个所述样本图像对，对每一所述第二体素的初始坐标进行更新，得到每一所述第二体素的第二坐标；根据每一所述第二体素的第二坐标，构建所述第二局部地图。
在其他实施例中，所述地图构建模块，配置为：控制所述图像采集模组按照预设帧率采集所述样本图像对；根据所述图像采集模组在当前时刻采集的第一样本图像对和在历史时刻采集的第二样本图像对，更新每一所述第二体素的初始坐标；根据所述第一样本图像对和所述图像采集模组在下一时刻采集的第三样本图像对，继续更新每一所述第二体素的当前坐标，直到样本图像采集结束时，将所述第二体素的当前坐标作为所述第二坐标。
在其他实施例中，所述地图构建模块，配置为：根据所述第一样本图像对和所述第二样本图像对，确定每一所述第二体素的当前相机坐标；从所述第一样本图像对的深度样本图像中，获取与每一所述第二体素的当前像素坐标对应的深度值；根据每一所述第二体素的当前相机坐标和与每一所述第二体素的当前像素坐标对应的深度值，更新与所述第二体素对应的初始坐标。
在其他实施例中，所述地图构建模块，配置为：获取所述多个第二体素中第m个第二体素对应的第二距离模型；获取所述第m个第二体素到物体表面的历史第四距离；将所述第m个第二体素的当前相机坐标的Z轴坐标值、与所述第m个第二体素的当前像素坐标对应的深度值和所述历史第四距离，输入至所述第二距离模型中，以更新所述历史第四距离，得到更新后的第四距离；将每一所述第二体素对应的更新后的第四距离，更新为与所述第二体素对应的初始坐标中的Z轴坐标值，以实现对与所述第二体素对应的初始坐标进行更新。
在其他实施例中，所述地图构建模块，配置为：根据所述第一样本图像对和所述第二样本图像对，确定相机坐标系相对于所述第二局部地图所在的坐标系的当前转换关系；根据所述当前转换关系，将每一所述第二体素的初始坐标转换为当前相机坐标。
在其他实施例中，所述地图构建模块，配置为：根据所述图像采集模组的内参矩阵，将每一所述第二体素的当前相机坐标转换为当前像素坐标；从所述第一样本图像对的深度样本图像中，获取与每一所述第二体素的当前像素坐标对应的深度值。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的地图融合方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例提供一种电子设备，图5为本申请实施例电子设备的一种硬件实体示意图，如图5所示，该电子设备500的硬件实体包括：包括存储器501和处理器502，所述存储器501存储有可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现上述实施例中提供的地图融合方法中的步骤。
存储器501配置为存储由处理器502可执行的指令和应用，还可以缓存待处理器502以及电子设备500中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。
对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的地图融合方法中的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (22)

1.一种地图融合方法，其特征在于，所述方法包括：
获取第一局部地图集合和第二局部地图，所述第一局部地图集合包括至少一个第一局部地图，所述第一局部地图的坐标系与所述第二局部地图的坐标系不同；其中，所述第一局部地图和所述第二局部地图所覆盖的物理空间不同；
根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，将每一所述第一局部地图和所述第二局部地图进行融合，以得到目标全局地图；
其中，所述第二体素的第二坐标是根据多个样本图像对，更新所述第二体素的初始坐标而获得的，所述样本图像对包括二维样本图像和深度样本图像。
2.根据权利要求1所述的方法，其特征在于，所述根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，将每一所述第一局部地图和所述第二局部地图进行融合，以得到目标全局地图，包括：
根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，依次将所述第一局部地图集合中满足第一条件的第一局部地图，融合至当前第二局部地图中，以得到所述目标全局地图。
3.根据权利要求2所述的方法，其特征在于，所述根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，依次将所述第一局部地图集合中满足第一条件的第一局部地图，融合至当前第二局部地图中，以得到所述目标全局地图，包括：
根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，从所述第一局部地图集合中，确定出与所述第二局部地图相匹配的目标局部地图；
将所述目标局部地图融合至所述第二局部地图中，得到融合后的第二局部地图；
从所述第一局部地图集合中剩余的第一局部地图中，确定出与所述融合后的第二局部地图相匹配的新的目标局部地图，以将所述新的目标局部地图融合至所述融合后的第二局部地图中，直到所述第一局部地图集合中每一所述第一局部地图均被融合至当前第二局部地图中为止，得到所述目标全局地图。
4.根据权利要求3所述的方法，其特征在于，所述根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，从所述第一局部地图集合中，确定出与所述第二局部地图相匹配的目标局部地图，包括：
根据迭代策略，将所述第一局部地图集合中第n个第一局部地图的每一第一体素的第一坐标分别与所述第二局部地图中多个第二体素的第二坐标进行匹配，得到匹配结果，n为大于0的整数；
在所述匹配结果表征匹配成功的情况下，将所述第n个第一局部地图确定为所述目标局部地图；
在所述匹配结果表征匹配失败的情况下，继续根据所述迭代策略，将下一个第一局部地图中每一第一体素的第一坐标分别与所述多个第二体素的第二坐标进行匹配，直到从所述第一局部地图集合中确定出所述目标局部地图为止。
5.根据权利要求4所述的方法，其特征在于，所述根据迭代策略，将所述第一局部地图集合中第n个第一局部地图的每一第一体素的第一坐标分别与所述第二局部地图中多个第二体素的第二坐标进行匹配，得到匹配结果，包括：
从所述多个第二体素中，选取与所述第n个第一局部地图中每一第一体素相匹配的初始目标体素；
根据所述第n个第一局部地图中每一第一体素的第一坐标和对应的初始目标体素的第二坐标，确定所述第n个第一局部地图相对于所述第二局部地图的第一坐标转换关系；
根据所述第一坐标转换关系、所述第n个第一局部地图中每一第一体素的第一坐标和对应的初始目标体素的第二坐标，确定匹配误差；
如果所述匹配误差大于第一阈值，重新选取初始目标体素，并重新确定匹配误差；
如果所述匹配误差小于或等于所述第一阈值，生成表征匹配成功的匹配结果。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
如果确定匹配误差的次数大于第二阈值，生成表征匹配失败的匹配结果，并继续从所述多个第二体素中，选取与下一个第一局部地图中每一第一体素匹配的初始目标体素，直到生成表征匹配成功的匹配结果为止。
7.根据权利要求5所述的方法，其特征在于，所述从所述多个第二体素中，选取与所述第n个第一局部地图中每一第一体素相匹配的初始目标体素，包括：
获取所述第n个第一局部地图相对于所述第二局部地图的第二坐标转换关系；
根据所述第二坐标转换关系，对所述第n个第一局部地图中第j个第一体素的第一坐标进行坐标转换，得到所述第j个第一体素的第三坐标，j为大于0的整数；
将所述第三坐标与所述多个第二体素的第二坐标进行匹配，得出与所述第j个第一体素相匹配的初始目标体素。
8.根据权利要求5所述的方法，其特征在于，所述根据所述第一坐标转换关系、所述第n个第一局部地图中每一第一体素的第一坐标和对应的初始目标体素的第二坐标，确定匹配误差，包括：
根据所述第一坐标转换关系，将所述第n个第一局部地图中第j个第一体素的第一坐标进行坐标转换，得到所述第j个第一体素的第四坐标，j为大于0的整数；
根据所述第n个第一局部地图中每一第一体素的第四坐标和对应的初始目标体素的第二坐标，确定所述匹配误差。
9.根据权利要求8所述的方法，其特征在于，所述根据所述第n个第一局部地图中每一第一体素的第四坐标和对应的初始目标体素的第二坐标，确定所述匹配误差，包括：
确定所述第n个第一局部地图中每一第一体素的第四坐标与对应的初始目标体素的第二坐标之间的第一距离；
根据每一所述第一距离，确定所述匹配误差。
10.根据权利要求7所述的方法，其特征在于，如果所述匹配误差大于第一阈值，重新选取初始目标体素，包括：
如果所述匹配误差大于所述第一阈值，将所述第一坐标转换关系作为所述第二坐标转换关系，重新选取初始目标体素。
11.根据权利要求5所述的方法，其特征在于，所述将所述目标局部地图融合至所述第二局部地图中，得到融合后的第二局部地图，包括：
在所述匹配结果表征匹配成功的情况下，根据确定的匹配误差小于或等于所述第一阈值时的第一坐标转换关系，对所述目标局部地图中每一第一体素的第一坐标进行坐标转换，得到与所述第一体素对应的第五坐标；
根据每一所述第一体素的第五坐标和所述第二局部地图中每一第二体素的第二坐标，对所述目标局部地图和所述第二局部地图进行融合，得到融合后的第二局部地图。
12.根据权利要求11所述的方法，其特征在于，所述根据每一所述第一体素的第五坐标和所述第二局部地图中每一第二体素的第二坐标，对所述目标局部地图和所述第二局部地图进行融合，得到融合后的第二局部地图，包括：
确定所述目标局部地图中第k个第一体素的第五坐标分别与所述第二局部地图中每一所述第二体素的第二坐标之间的第二距离，以得到第二距离集合；
在所述第二距离集合中存在满足第二条件的目标第二距离的情况下，根据所述第k个第一体素的第一坐标和第五坐标，更新所述目标第二距离对应的目标第二体素的第二坐标，k为大于0的整数；
在所述第二距离集合中没有满足所述第二条件的目标第二距离的情况下，将所述第k个第一体素作为所述第二局部地图中的新的第二体素，将所述第k个第一体素的第五坐标作为所述新的第二体素的第二坐标；
重复上述步骤，以将所述目标局部地图中每一第一体素的第五坐标融合至所述第二局部地图中，从而得到融合后的第二局部地图。
13.根据权利要求12所述的方法，其特征在于，所述根据所述第k个第一体素的第一坐标和第五坐标，更新所述目标第二距离对应的目标第二体素的第二坐标，包括：
获取与所述目标第二体素对应的第一距离模型；
获取所述目标第二体素到物体表面的历史第三距离；
将所述第k个第一体素的第一坐标的Z轴坐标值、所述第k个第一体素的第五坐标的Z轴坐标值和所述历史第三距离，输入至所述第一距离模型中，以更新所述历史第三距离，得到更新后的第三距离；
将所述更新后的第三距离，更新为所述目标第二体素的第二坐标的Z轴坐标值。
14.根据权利要求1至13任一项所述的方法，所述第二局部地图的构建过程包括：
对特定物理空间的尺寸进行量化处理，得到多个所述第二体素的初始坐标；
根据图像采集模组在所述特定物理空间中采集的多个所述样本图像对，对每一所述第二体素的初始坐标进行更新，得到每一所述第二体素的第二坐标；
根据每一所述第二体素的第二坐标，构建所述第二局部地图。
15.根据权利要求14所述的方法，其特征在于，所述根据图像采集模组在所述特定物理空间中采集的多个所述样本图像对，对每一所述第二体素的初始坐标进行更新，得到每一所述第二体素的第二坐标，包括：
控制所述图像采集模组按照预设帧率采集所述样本图像对；
根据所述图像采集模组在当前时刻采集的第一样本图像对和在历史时刻采集的第二样本图像对，更新每一所述第二体素的初始坐标；
根据所述第一样本图像对和所述图像采集模组在下一时刻采集的第三样本图像对，继续更新每一所述第二体素的当前坐标，直到样本图像采集结束时，将所述第二体素的当前坐标作为所述第二坐标。
16.根据权利要求15所述的方法，其特征在于，所述根据所述图像采集模组在当前时刻采集的第一样本图像对和在历史时刻采集的第二样本图像对，更新每一所述第二体素的初始坐标，包括：
根据所述第一样本图像对和所述第二样本图像对，确定每一所述第二体素的当前相机坐标；
从所述第一样本图像对的深度样本图像中，获取与每一所述第二体素的当前像素坐标对应的深度值；
根据每一所述第二体素的当前相机坐标和与每一所述第二体素的当前像素坐标对应的深度值，更新与所述第二体素对应的初始坐标。
17.根据权利要求16所述的方法，其特征在于，所述根据每一所述第二体素的当前相机坐标和与每一所述第二体素的当前像素坐标对应的深度值，更新与所述第二体素对应的初始坐标，包括：
获取所述多个第二体素中第m个第二体素对应的第二距离模型；m为大于0的整数；
获取所述第m个第二体素到物体表面的历史第四距离；
将所述第m个第二体素的当前相机坐标的Z轴坐标值、与所述第m个第二体素的当前像素坐标对应的深度值和所述历史第四距离，输入至所述第二距离模型中，以更新所述历史第四距离，得到更新后的第四距离；
将每一所述第二体素对应的更新后的第四距离，更新为与所述第二体素对应的初始坐标中的Z轴坐标值，以实现对与所述第二体素对应的初始坐标进行更新。
18.根据权利要求16所述的方法，其特征在于，所述根据所述第一样本图像对和所述第二样本图像对，确定每一所述第二体素的当前相机坐标，包括：
根据所述第一样本图像对和所述第二样本图像对，确定相机坐标系相对于所述第二局部地图所在的坐标系的当前转换关系；
根据所述当前转换关系，将每一所述第二体素的初始坐标转换为当前相机坐标。
19.根据权利要求16所述的方法，其特征在于，所述从所述第一样本图像对的深度样本图像中，获取与每一所述第二体素的当前像素坐标对应的深度值，包括：
根据所述图像采集模组的内参矩阵，将每一所述第二体素的当前相机坐标转换为当前像素坐标；
从所述第一样本图像对的深度样本图像中，获取与每一所述第二体素的当前像素坐标对应的深度值。
20.一种地图融合装置，其特征在于，包括：
地图获取模块，配置为获取第一局部地图集合和第二局部地图，所述第一局部地图集合包括至少一个第一局部地图，所述第一局部地图的坐标系与所述第二局部地图的坐标系不同；其中，所述第一局部地图和所述第二局部地图所覆盖的物理空间不同；
地图融合模块，配置为根据每一所述第一局部地图中第一体素的第一坐标和所述第二局部地图中第二体素的第二坐标，将每一所述第一局部地图和所述第二局部地图进行融合，以得到目标全局地图；
其中，所述第二体素的第二坐标是根据多个样本图像对，更新所述第二体素的初始坐标而获得的，所述样本图像对包括二维样本图像和深度样本图像。
21.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至19任一项所述地图融合方法中的步骤。
22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至19任一项所述地图融合方法中的步骤。
CN201910922127.1A 2019-09-27 2019-09-27 地图融合方法及装置、设备、存储介质 Active CN110704562B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910922127.1A CN110704562B (zh) 2019-09-27 2019-09-27 地图融合方法及装置、设备、存储介质
PCT/CN2020/116930 WO2021057745A1 (zh) 2019-09-27 2020-09-22 地图融合方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910922127.1A CN110704562B (zh) 2019-09-27 2019-09-27 地图融合方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN110704562A CN110704562A (zh) 2020-01-17
CN110704562B true CN110704562B (zh) 2022-07-19

Family

ID=69197716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910922127.1A Active CN110704562B (zh) 2019-09-27 2019-09-27 地图融合方法及装置、设备、存储介质

Country Status (2)

Country Link
CN (1) CN110704562B (zh)
WO (1) WO2021057745A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704562B (zh) * 2019-09-27 2022-07-19 Oppo广东移动通信有限公司 地图融合方法及装置、设备、存储介质
CN111415388B (zh) * 2020-03-17 2023-10-24 Oppo广东移动通信有限公司 一种视觉定位方法及终端
CN111667545B (zh) * 2020-05-07 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 高精度地图生成方法、装置、电子设备及存储介质
CN112130567A (zh) * 2020-09-22 2020-12-25 广州小鹏自动驾驶科技有限公司 一种数据处理方法和装置
CN114579679A (zh) * 2020-12-01 2022-06-03 中移(成都)信息通信科技有限公司 空间定位数据融合方法、系统、设备及计算机存储介质
CN113506459B (zh) * 2021-06-11 2023-03-28 上海追势科技有限公司 一种地下停车场众包地图采集方法
CN113673603B (zh) * 2021-08-23 2024-07-02 北京搜狗科技发展有限公司 一种要素点匹配的方法及相关装置
CN113900435B (zh) * 2021-08-31 2022-09-27 深圳蓝因机器人科技有限公司 基于双摄像头的移动机器人避障方法、设备、介质及产品
CN113866758B (zh) * 2021-10-08 2023-05-26 深圳清航智行科技有限公司 一种场面监视方法、系统、装置及可读存储介质
CN114111758B (zh) * 2021-11-01 2024-06-04 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN116228925B (zh) * 2023-05-04 2023-08-08 北京集度科技有限公司 地图生成方法、装置及计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105865462A (zh) * 2015-01-19 2016-08-17 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法
CN108509974A (zh) * 2018-01-26 2018-09-07 北京三快在线科技有限公司 地图数据融合方法、装置、电子设备及存储介质
CN109425348A (zh) * 2017-08-23 2019-03-05 北京图森未来科技有限公司 一种同时定位与建图的方法和装置
CN109961506A (zh) * 2019-03-13 2019-07-02 东南大学 一种融合改进Census图的局部场景三维重建方法
CN110118554A (zh) * 2019-05-16 2019-08-13 深圳前海达闼云端智能科技有限公司 基于视觉惯性的slam方法、装置、存储介质和设备
CN110208802A (zh) * 2019-05-16 2019-09-06 四川省客车制造有限责任公司 融合多视图模糊推理赋值的障碍物检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140769A1 (en) * 2014-11-17 2016-05-19 Qualcomm Incorporated Edge-aware volumetric depth map fusion
US10360718B2 (en) * 2015-08-14 2019-07-23 Samsung Electronics Co., Ltd. Method and apparatus for constructing three dimensional model of object
US11199414B2 (en) * 2016-09-14 2021-12-14 Zhejiang University Method for simultaneous localization and mapping
CN109086277B (zh) * 2017-06-13 2024-02-02 纵目科技（上海）股份有限公司 一种重叠区构建地图方法、系统、移动终端及存储介质
CN109559277B (zh) * 2018-11-28 2023-02-28 中国人民解放军国防科技大学 一种面向数据共享的多无人机协同地图构建方法
CN110704563B (zh) * 2019-09-27 2022-06-28 Oppo广东移动通信有限公司 地图融合方法及装置、设备、存储介质
CN110704562B (zh) * 2019-09-27 2022-07-19 Oppo广东移动通信有限公司 地图融合方法及装置、设备、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105865462A (zh) * 2015-01-19 2016-08-17 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法
CN109425348A (zh) * 2017-08-23 2019-03-05 北京图森未来科技有限公司 一种同时定位与建图的方法和装置
CN108509974A (zh) * 2018-01-26 2018-09-07 北京三快在线科技有限公司 地图数据融合方法、装置、电子设备及存储介质
CN109961506A (zh) * 2019-03-13 2019-07-02 东南大学 一种融合改进Census图的局部场景三维重建方法
CN110118554A (zh) * 2019-05-16 2019-08-13 深圳前海达闼云端智能科技有限公司 基于视觉惯性的slam方法、装置、存储介质和设备
CN110208802A (zh) * 2019-05-16 2019-09-06 四川省客车制造有限责任公司 融合多视图模糊推理赋值的障碍物检测方法

Also Published As

Publication number Publication date
CN110704562A (zh) 2020-01-17
WO2021057745A1 (zh) 2021-04-01

Similar Documents

Publication Publication Date Title
CN110704562B (zh) 地图融合方法及装置、设备、存储介质
CN110728717B (zh) 定位方法及装置、设备、存储介质
CN110704563B (zh) 地图融合方法及装置、设备、存储介质
CN110675457B (zh) 定位方法及装置、设备、存储介质
CN112767538B (zh) 三维重建及相关交互、测量方法和相关装置、设备
CN110705574B (zh) 定位方法及装置、设备、存储介质
WO2021057744A1 (zh) 定位方法及装置、设备、存储介质
CN112102458B (zh) 基于激光雷达点云数据辅助的单镜头三维图像重构方法
CN106803271B (zh) 一种视觉导航无人机的摄像机标定方法及装置
JP7227969B2 (ja) 三次元再構成方法および三次元再構成装置
WO2020063139A1 (zh) 脸部建模方法、装置、电子设备和计算机可读介质
JP4392507B2 (ja) ３次元サーフェス生成方法
JP7058277B2 (ja) 再構成方法および再構成装置
KR100855657B1 (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
WO2021184289A1 (zh) 对象解算、绕点飞行方法及设备
CN112148742A (zh) 地图更新方法及装置、终端、存储介质
CN111709984A (zh) 位姿深度预测方法、视觉里程计方法、装置、设备及介质
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
US8509522B2 (en) Camera translation using rotation from device
CN113902802A (zh) 视觉定位方法及相关装置、电子设备和存储介质
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
CN114821791A (zh) 一种图像三维动作信息的捕捉方法和系统
CN114419189A (zh) 地图构建方法及装置、电子设备、存储介质
CN114494612A (zh) 构建点云地图的方法、装置和设备
CN105096290B (zh) 在空间的平面图中标定至少一个立体相机的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant