CN111724485A - 实现虚实融合的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种实现虚实融合的方法、装置、电子设备及存储介质，其中，实现虚实融合的方法包括：先确定待融合区域，并将待融合区域划分为多个子区域；获取到子区域的参考点在子区域的区域坐标系的第一物理坐标；利用第一物理坐标以及子区域与待融合区域之间的位置关系，得到待融合区域现实场景与虚拟数字空间的变换关系；利用变换关系对待融合区域现实场景和虚拟数字空间进行虚实融合。通过上述方式，本申请能够快速且准确地实现待融合区域的虚实融合。

Description

实现虚实融合的方法、装置、电子设备及存储介质

技术领域

本申请涉及增强现实的技术领域，特别是涉及一种实现虚实融合的方法、装置、电子设备及存储介质。

背景技术

增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界进行巧妙融合的技术。其广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互以及传感等多种技术手段。增强现实通过将计算机生成的文字、图像、三维模型、音乐以及视频等虚拟信息进行模拟仿真后，应用到真实世界中，使两种信息互为补充，从而实现对真实世界的“增强”。而随着技术的进步，特别是高精度地图技术在AR领域的落地和成熟，数字孪生以及平行世界等各类科幻的概念逐渐地成为可能。

目前实现虚实融合的方法包括基于图像识别的方法、基于三维物体识别的方法以及SLAM通过局部地图共享的方式来达到共享虚实融合的效果。各种虚实融合的方式包括：图像/物体/人脸/人体的虚实融合内容的编辑，都是通过有相对应的参考物体来编辑虚拟内容，比如：被跟踪的图像、物体，标准人脸以及标准骨架结构等。即使稍微大一些的范围云锚点(cloud anchor)，也可以通过在线编辑然后保存。

而对于通过传统地图上的虚实融合，传统地图不会细到建筑物内部的结构，也无法融合除水平面以外的空间。因此，如何在更大范围内的跨区域、跨建筑、跨楼层或者全球范围内实现虚实融合成为基于高精度地图的增强现实应用的一个亟需解决的问题。

发明内容

本申请提供一种实现虚实融合的方法、装置、电子设备及存储介质，以解决现有技术中存在的虚实融合技术的应用范围较为局限的问题。

为解决上述技术问题，本申请第一方面提供一种实现虚实融合的方法，包括：确定待融合区域，并将待融合区域划分为多个子区域；获取到子区域的参考点在子区域的区域坐标系的第一物理坐标；利用第一物理坐标以及子区域与待融合区域之间的位置关系，得到待融合区域现实场景与虚拟数字空间的变换关系；利用变换关系对待融合区域现实场景和虚拟数字空间进行虚实融合。

因此，利用子区域中局部参考点计算得到现实场景与虚拟数字空间之间的变换关系，再通过该变换关系将整体待融合区域进行虚实融合，在实现精准地虚实融合的基础上，降低了获得变换关系的计算量与复杂度，提高了实现虚实融合的过程的效率，并使得虚实融合的结果更加准确。

其中，利用第一物理坐标以及子区域与待融合区域之间的位置关系，得到待融合区域现实场景与虚拟数字空间的变换关系的步骤包括：利用子区域的参考点的第一物理坐标以及在虚拟数字空间中参考点的对应点的第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系；确定子区域与待融合区域的坐标位置变换关系；利用坐标位置变换关系以及子区域现实场景与虚拟数字空间的变换关系计算，得到待融合区域现实场景与虚拟数字空间的变换关系。

因此，利用子区域的参考点的第一物理坐标以及在虚拟数字空间中参考点的对应点的第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系，以参考点与参考点在虚拟数字空间中对应的对应点为基础，计算子区域现实场景与虚拟数字空间的变换关系，从而保证变换关系的准确率，提高现实场景和虚拟数字空间的虚实融合的精度。

其中，确定待融合区域，并将待融合区域划分为多个子区域的步骤包括：将待融合区域划分成多层子区域；确定子区域与待融合区域的坐标位置变换关系的步骤包括：从最低层子区域至待融合区域依次计算，得到每一层子区域相对于其父区域的坐标位置变换关系；基于每一层子区域相对于其父区域的坐标位置变换关系确定每一层子区域与待融合区域的坐标位置变换关系。

因此，将待融合区域划分成多层子区域，并逐层计算得到每一层子区域相对于其父区域的坐标位置变换关系，能够快速准确地确定最低层子区域与待融合区域的坐标位置变换关系，从而提高坐标位置变换关系的可靠性。

其中，从最低层子区域至待融合区域依次计算，得到每一层子区域相对于其父区域的坐标位置变换关系的步骤包括：选取转换参考点；确定转换参考点在最低层的第一子区域的区域坐标系下的坐标以及第二子区域的区域坐标系下的坐标；其中，第二子区域为第一子区域的父区域；利用第一子区域的区域坐标系下的坐标以及第二子区域的区域坐标系下的坐标确定第一子区域与第二子区域的坐标位置关系；将第二子区域作为第一子区域，将第三子区域作为第二子区域，其中，第三子区域为第二子区域的父区域，重复执行利用第一子区域的区域坐标系下的坐标以及第二子区域的区域坐标系下的坐标确定第一子区域与第二子区域的坐标位置关系的步骤至第三子区域为待融合区域。

因此，获得各相邻层之间的坐标位置关系，从而进一步获取每一层子区域相对于其父区域的坐标位置变换关系，提高现实场景与虚拟数字空间进行虚实融合的自由度，从而可以根据不同的需求将不同层的子区域进行虚实融合。

其中，获取到子区域的参考点在子区域的区域坐标系的第一物理坐标的步骤包括：在子区域内基于参考点建立现实场景的第一坐标系，确定参考点在第一坐标系下的第一物理坐标；利用子区域的参考点的第一物理坐标以及参考点在虚拟数字空间的第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系的步骤包括：利用参考点在虚拟数字空间的对应点建立虚拟数字空间的第二坐标系，并确定对应点在第二坐标系下的第一数字坐标；利用第一物理坐标以及第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系。

因此，在子区域内基于参考点建立现实场景的第一坐标系，从而确定参考点在第一坐标系下的第一物理坐标。利用参考点在虚拟数字空间的对应点建立虚拟数字空间的第二坐标系，从而确定对应点在第二坐标系下的第一数字坐标，通过建立坐标系来提供参考点与对应点之间的数学联系，从而实现利用第一物理坐标以及第一数字坐标计算得到子区域现实场景与虚拟数字空间的变换关系。

其中，在子区域内基于参考点建立现实场景的第一坐标系的步骤包括：在子区域选取至少两个参考点以及一参考平面；将其中一个参考点在参考平面的投影为原点，以其中两个参考点在参考平面的投影的连线为其中一个坐标轴建立第一坐标系；利用参考点在虚拟数字空间的对应点建立虚拟数字空间的第二坐标系的步骤包括：获取到子区域的虚拟数字空间，并识别出至少两个参考点在虚拟数字空间中的对应点以及对应参考平面；将其中一个对应点在对应参考平面的投影为原点，以其中两个对应参考点在对应参考平面的投影的连线为其中一个坐标轴建立第二坐标系。

因此，仅利用两个参考点以及一参考平面的坐标及位置关系分别建立子区域现实场景与虚拟数字空间的坐标系，提供了现实场景与虚拟数字空间坐标系的快速建立方式，提高了计算子区域现实场景与虚拟数字空间的变换关系的效率。

其中，获取到子区域的虚拟数字空间，并识别出两个参考点在虚拟数字空间中的两个对应点以及对应参考平面的步骤包括：利用至少两个参考点的标识信息识别出至少两个参考点在虚拟数字空间中的对应点。

因此，在参考点出建立标识信息，并根据标识信息识别出至少两个参考点在虚拟数字空间中的对应点，从而确定参考点与对应点之间的对应关系，以保证现实场景与虚拟数字空间的变换关系的准确性。

其中，获取到子区域的参考点在子区域的区域坐标系的第一物理坐标的步骤包括：在子区域选择至少三个参考点，分别确定至少三个参考点在子区域的区域坐标系的第一物理坐标；利用子区域的参考点的第一物理坐标以及对应点在虚拟数字空间的第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系的步骤包括：获取到子区域的虚拟数字空间，并识别出至少三个参考点在虚拟数字空间中的至少三个对应点，确定至少三个对应点在虚拟数字空间中的第一数字坐标；利用至少三个参考点的第一物理坐标以及至少三个对应点的第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系。

因此，仅利用三个参考点的坐标及位置关系分别建立子区域现实场景与虚拟数字空间的坐标系，提供了另一种现实场景与虚拟数字空间坐标系的快速建立方式，提高了计算子区域现实场景与虚拟数字空间的变换关系的效率。

其中，利用第一物理坐标以及子区域与待融合区域之间的位置关系，得到待融合区域现实场景与虚拟数字空间的变换关系的步骤还包括：确定参考点在待融合区域对应的区域坐标系的第二物理坐标；利用第一物理坐标以及第二物理坐标确定子区域与待融合区域的坐标位置变换关系。

因此，提供另一种获取子区域与待融合区域的坐标位置变换关系的方式，可以快速高效地子区域与待融合区域的坐标位置变换关系，并减少计算量。

其中，待融合区域对应的区域坐标系包括大地坐标系。

因此，待融合区域对应的区域坐标系包括大地坐标系以实现待融合区域在大地坐标系上的延伸和扩展，贴合实际应用。

其中，利用变换关系将待融合区域进行现实场景和虚拟数字空间的虚实融合的步骤还包括：获取待融合区域的非视觉信号的坐标，利用变换关系以及非视觉信号的坐标，对待融合区域的非视觉信号进行现实场景和虚拟数字空间的虚实融合。

因此，通过对非视觉信号进行虚实融合可以实现蓝牙信号或WIFI信号等非视觉信号的虚实融合，以在虚实融合后的区域上显示多种非视觉信号，提供多种非视觉功能。

其中，利用变换关系将待融合区域进行现实场景和虚拟数字空间的虚实融合的步骤之后还包括：基于待融合区域对应的区域坐标系将虚实融合后的区域进行展示。

因此，将实现虚实融合后的区域基于待融合区域对应的区域坐标系进行展示，以统一各子区域的坐标标准，方便对虚实融合后的区域进行扩展应用。

为解决上述技术问题，本申请第二方面提供一种实现虚实融合的装置，虚实融合的装置包括：划分模块、获取模块，计算模块、以及融合模块，划分模块用于确定待融合区域，并将待融合区域划分为多个子区域；获取模块用于获取到子区域的参考点在子区域的区域坐标系的第一物理坐标；计算模块用于利用第一物理坐标以及子区域与待融合区域之间的位置关系，得到待融合区域现实场景与虚拟数字空间的变换关系；融合模块用于利用变换关系对待融合区域现实场景和虚拟数字空间进行虚实融合。

为解决上述技术问题，本申请第三方面提供一种电子设备，其包括：相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序数据，以实现上述任一项的实现虚实融合的方法。

为解决上述技术问题，本申请第四方面提供一种计算机可读存储介质，计算机可读存储介质存储有程序数据，程序数据能够被执行以实现上述任一项的实现虚实融合的方法。

上述方案，通过先确定到待融合区域，并将待融合区域划分为多个子区域，获取到子区域的参考点在子区域的区域坐标系的第一物理坐标，再利用第一物理坐标以及子区域与待融合区域之间的位置关系，得到待融合区域现实场景与虚拟数字空间的变换关系，最后利用变换关系对待融合区域现实场景和虚拟数字空间进行虚实融合，本申请利用局部参考点计算得到现实场景与虚拟数字空间之间的变换关系，再通过该变换关系将整体待融合区域进行虚实融合，提高了实现虚实融合的过程的效率，降低了整体待融合区域虚实融合的计算量与复杂度，并使得虚实融合的结果更加准确。

附图说明

图1是本申请提供的实现虚实融合的方法一实施例的流程示意图；

图2是本申请提供的实现虚实融合的方法另一实施例的流程示意图；

图3是本申请提供的实现虚实融合的方法又一实施例的流程示意图；

图4是本申请提供的实现虚实融合的装置一实施例的结构示意图；

图5是本申请提供的电子设备一实施例的结构示意图；

图6是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1是本申请实现虚实融合的方法一实施例的流程示意图，本实施例的实现虚实融合的方法包括以下步骤：

S11：确定待融合区域，并将待融合区域划分为多个子区域。

待融合区域是需要通过虚实融合技术进行研究的区域。将整个待融合区域划分为多个子区域，可选地，多个子区域可为具有跨区域、跨建筑、跨楼层或者全球范围内关联关系。

在一个具体的实施场景中，先确定需要进行虚实融合的待融合区域，其中，待融合区域的确定根据实际需求进行选取。将待融合区域划分成多个子区域，其中，划分标准可以是根据虚拟数字空间所能一次性采集的最大范围进行划分，或其他划分标准，在此不做限定。

S12：获取到子区域的参考点在子区域的区域坐标系的第一物理坐标。

在一个具体的实施场景中，将待融合区域划分成多个子区域后，选择各子区域现实场景中的多个参考点，并获取到多个参考点的第一物理坐标。其中，多个参考点的第一物理坐标的获取可以通过测绘工具进行测量。

S13：利用第一物理坐标以及子区域与待融合区域之间的位置关系，得到待融合区域现实场景与虚拟数字空间的变换关系。

在一个具体的实施场景中，获取了多个参考点的第一物理坐标后，再通过在多个参考点上设置标志信息来识别出多个参考点在虚拟数字空间中对应的多个对应点，利用多个参考点与多个对应点之间的对应关系来计算得到多个子区域现实场景与虚拟数字空间的变换关系，以减少整个待融合区域进行虚实融合的计算量。

利用根据划分情况计算获得子区域与待融合区域之间的位置关系计并结合多个子区域现实场景与虚拟数字空间的变换关系，计算得到待融合区域现实场景与虚拟数字空间的变换关系。

S14：利用变换关系对待融合区域现实场景和虚拟数字空间进行虚实融合。

利用上一步骤中计算得到的待融合区域现实场景与虚拟数字空间的变换关系，对整个待融合区域现实场景和虚拟数字空间进行虚实融合。

通过上述方式，本申请先确定到需要被融合的待融合区域，再利用待融合区域中子区域现实场景的多个参考点与虚拟数字空间的多个对应点之间的对应关系计算得到子区域现实场景与虚拟数字空间的变换关系，最后利用变换关系对待融合区域现实场景和虚拟数字空间进行虚实融合。可选地，本申请利用局部参考点计算得到待融合区域现实场景与虚拟数字空间之间的变换关系，再通过该变换关系将整体待融合区域进行虚实融合，提高了实现虚实融合的过程的效率，并使得虚实融合的结果更加准确。

请参阅图2，图2是本申请实现虚实融合的方法另一实施例的流程示意图。

在本实施例中，可通过高精度地图技术对虚拟数字空间进行构建，先通过摄像机和/或传感器采集现实场景中的地图信息，再在计算机可识别的可存储介质中将地图信息通过特征点云地图和/或稠密网格进行重建成虚拟数字空间，最后将虚拟数字空间与现实场景进行虚实融合。其中，地图信息包括视觉信息以及非视觉信息，而视觉信息包括建筑结构、地理地形等构建地图的视觉上看得到的信息，非视觉信息包括：蓝牙信息和WIFI信息等视觉上无法直接看到的信号信息。在后续待融合区域现实场景与虚拟数字空间进行虚实融合的同时，上述地图信息也进行对应的虚实融合。

S21：确定待融合区域，并将待融合区域划分为多个子区域。

其中，待融合区域是需要通过虚实融合技术进行研究的区域。

本步骤中，先确定需要进行虚实融合的待融合区域，其中，待融合区域的确定根据实际需求进行选取。将待融合区域划分成多个子区域，其中，划分标准可以是根据虚拟数字空间所能一次性采集的最大范围进行划分。例如：当通过高精度地图技术来制作虚拟数字空间时，会通过摄像头或/和传感器采集地图信息，但摄像头或/和传感器采集的范围有限，当待融合区域为整个建筑时，高精度地图一次采集的范围为室外区域、一层楼层以及一段楼梯等高精度地图能够一次采集的最大范围。本步骤将待融合区域进行划分成多个子区域，以将整个待融合区域拆分开来，以便进行各子区域的虚实融合，减少了整个待融合区域虚实融合的计算量。另外，通过高精度地图技术来制作虚拟数字空间的步骤是在确定了待融合区域之后进行的。

在一个具体的实施场景中，先根据实际需求确定一定范围的待融合区域，然后依据高精度地图一次所能采集的范围对待融合区域进行划分成多个子区域，再实地前往各子区域，采用高精度地图技术对各子区域的地图信息进行采集以制作相应的虚拟数字空间。

S22：利用子区域的参考点的第一物理坐标以及在虚拟数字空间中参考点的对应点的第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系。

将待融合区域划分成多个子区域后，通过先获取子区域现实场景与虚拟数字空间的变换关系，再利用该变换关系实现整个待融合区域的虚实融合。

在一个具体的实施场景中，子区域现实场景与虚拟数字空间的变换关系的计算方式可以为：在子区域选择两个参考点和一个参考平面。通过测绘工具在子区域内测量得到两个参考点P₁和P₂，并在子区域范围内选取一个参考平面L，通过参考点P₁、P₂和参考平面L建立子区域在现实场景中的第一坐标系，具体如下：

将参考点P₁投影到参考平面L上，获得投影点O₁。将O₁作为第一坐标系的原点。将参考点P₁与参考点P₂在参考平面L上的投影点之间的连线作为第一坐标系的一个坐标轴(例如：z轴)，将与参考平面L垂直的方向作为第一坐标系的另一个坐标轴(例如y轴)，并基于原点O₁以及两个坐标轴组建子区域在现实场景中的第一坐标系O₁-xyz。最后，基于第一坐标系O₁-xyz获得参考点P₁与参考点P₂在第一坐标系O₁-xyz中的第一物理坐标。可选地，参考平面L可以为参考水平面，而参考平面L垂直的方向可以为重力方向，也就是说，第一坐标系可以是依据大地坐标系建立的局部大地坐标系。其中，本计算方式中参考点的数量至少为两个，例如两个、四个、五个等，在此不做限定，当选取多个参考点后，可以挑选其中两个参考点进行后续计算。

在本步骤中的测绘工具可以是全站仪或者RTK。其中，全站仪全称为：全站型电子测距仪(Electronic Total Station，ETS)，是一种集光、机和电为一体的高技术测量仪器，是集水平角、垂直角、距离(斜距、平距)以及高差测量功能于一体的测绘仪器系统。而RTK(Real-time kinematic，实时动态)载波相位差分技术，是实时处理两个测量站载波相位观测量的差分方法，将基准站采集的载波相位发给接收机，进行求差解算坐标。RTK是一种卫星定位测量方法，能够在野外实时进行厘米级定位精度的测量。而在一个具体的实施方式中，当待融合区域为高层建筑时，可以将测绘工具放置于电梯(电梯门中间点或者电梯门墙角等地点)或消防楼梯中进行各楼层子区域的参考点的测量。因建筑随着使用会因装修或其他因素导致结构发生改变，而电梯或消防楼梯的精度较为精确，且即使装修也不会容易被修改。

通过测绘工具对参考点P₁和P₂进行测量后，在参考点P₁和P₂的位置分别放置图像标志。当通过摄像机和/或传感器采集虚拟数字空间构建所需的数据时，会通过识别到的图像标志而确定虚拟数字空间中参考点P₁和P₂所对应的对应点P′₁和P′₂。也就是说，参考点P₁和P₂在现实场景中所对应的点与对应点P′₁和P′₂在虚拟数字空间中所对应的点实际上是相同的。其中，图像标志可以为二维码之类的具有明确指向含义的图像标志。

利用高精度地图采集以及生成技术构建子区域的虚拟数字空间，当构建起虚拟数字空间后，利用参考点P₁和P₂在虚拟数字空间中所对应的对应点P′₁和P′₂建立虚拟数字空间的第二坐标系。其中，由于虚拟数字空间是将采集来的地图数据在计算机可识别的可存储介质上进行重建的数字地图，虚拟数字空间中的各个点的坐标都是通过数字体现的。

将对应点P′₁在参考平面L在虚拟数字空间中对应的参考平面L′上的投影点O₂作为虚拟数字空间的第二坐标系的原点O₂，将对应点P′₁和P′₂在参考平面L′上的投影点之间的连线作为第二坐标系的一个坐标轴(例如：x轴)，将与参考平面L′垂直的方向作为第二坐标系的另一个坐标轴(例如y轴)，基于原点O₂以及两个坐标轴组建虚拟数字空间中的第二坐标系O₂-xyz。最后，基于第二坐标系O₂-xyz获得对应点P′₁与对应点P′₂在第二坐标系O₂-xyz中的第一数字坐标。

由于参考点P₁和P₂与对应点P′₁和P′₂实际上是相同的点，且上述第一坐标系与第二坐标系的构建方式也相同，将第一坐标系与第二坐标系进行对齐。也就是。利用相同的点在不同的坐标系下的第一物理坐标以及第一数字坐标进行计算，获得第一坐标系与第二坐标系之间的变换关系Mat(1)，由于第一坐标系是建立在现实场景中的，而第二坐标系是建立在虚拟数字空间中的，因此该变换关系Mat(1)同时也是子区域现实场景与虚拟数字空间之间的变换关系。

在另一个具体的实施场景中，子区域现实场景与虚拟数字空间的变换关系的计算方式还可以为：在子区域选择三个参考点，通过测绘工具在子区域内测量三个不共线的参考点P₃、P₄以及P₅在子区域的区域坐标系下的第一物理坐标。并同样在3个参考点P₃、P₄以及P₅上分别放置图像标志，使得通过摄像机和/或传感器采集虚拟数字空间构建所需的数据时，会通过识别到的图像标志而确定虚拟数字空间中参考点P₃、P₄以及P₅所对应的对应点P′₃、P′₄以及P′₅。同样，参考点P₃、P₄以及P₅在现实场景中所对应的点与对应点P′₃、P′₄以及P′₅在虚拟数字空间中所对应的点是相同的。

当虚拟数字空间完成构建后，获取对应点P′₃、P′₄以及P′₅在数字化虚拟数字空间中的第一数字坐标。在本实施方式中，基于三个参考点P₃、P₄以及P₅在现实场景中的第一物理坐标以及参考点P₃、P₄以及P₅在虚拟数字空间中所对应的对应点P′₃、P′₄以及P′₅的第一数字坐标进行对齐计算得到子区域现实场景与虚拟数字空间的变换关系Mat(1)。

由于参考点P₃、P₄以及P₅与对应点P′₃、P′₄以及P′₅在实际上是相同的点，因此，将第一数字坐标与第一物理坐标进行对齐。也就是。利用相同的点在不同的场景下的第一物理坐标以及第一数字坐标进行计算，获得子区域现实场景与虚拟数字空间之间的变换关系Mat(1)，也就是整个待融合区域现实场景与虚拟数字空间之间的变换关系。

此外，参考点还可以是四个、五个等，其与参考点的个数为三个的处理流程类似，在此不作赘述。

本步骤提供了两种利用子区域的参考点的第一物理坐标以及对应点在虚拟数字空间的第一数字坐标计算得到子区域现实场景与虚拟数字空间的变换关系的方法，通过数个参考点的第一物理坐标与第一数字坐标来计算子区域现实场景与虚拟数字空间的变换关系，降低了子区域虚实融合的计算量和难度，提高了子区域虚实融合的准确性与可靠性。

S23：确定子区域与待融合区域的坐标位置变换关系。

在将待融合区域进行划分成多个子区域后，需要确定各子区域与待融合区域之间的变换关系，以方便将各虚实融合后的子区域进行拼接最终形成虚实融合后的整个区域。

在一个实施场景中，将待融合区域划分成多层子区域后，从最低层子区域至待融合区域依次计算得到每一层子区域相对于其父区域的坐标位置变换关系。并基于每一层子区域相对于其父区域的坐标位置变换关系确定每一层子区域与待融合区域的坐标位置变换关系。也就是说，当计算出子区域现实场景与虚拟数字空间的变换关系后，可利用每一层子区域相对于其父区域的坐标位置变换关系和变换关系Mat(1)对各父区域逐层进行虚实融合或任意层进行虚实融合，以提高整个待融合区域虚实融合的自由度，使其适用于多种虚实融合的应用场景。

在一个具体的实施场景中，先选取转换参考点；确定转换参考点在最低层的第一子区域的区域坐标系下的坐标以及第二子区域的区域坐标系下的坐标。其中，第二子区域为第一子区域的父区域。利用第一子区域的区域坐标系下的坐标以及第二子区域的区域坐标系下的坐标则可确定第一子区域与第二子区域的坐标位置关系。将第二子区域作为第一子区域，将第三子区域作为第二子区域，其中，第三子区域为第二子区域的父区域，重复执行利用第一子区域的区域坐标系下的坐标以及第二子区域的区域坐标系下的坐标确定第一子区域与第二子区域的坐标位置关系的步骤至第三子区域为待融合区域。

举例说明：当待融合区域为一栋大楼时，按照高精度地图技术一次所能获取的区域范围进行划分可粗略地将待融合区域划分成如下层：第一子区域为多个房间，第二子区域为多个楼层，第三子区域为整栋大楼。则依次计算每一层子区域相对于其父区域的坐标位置变换关系的步骤在此例中可以为：在各房间中分别选取转换参考点，并确定转换参考点在其所在的房间中的房间坐标系下的坐标以及在其所在的楼层中的楼层坐标系下的坐标，从而根据房间坐标系下的坐标和楼层坐标系下的坐标确定该房间与该楼层之间的坐标位置关系。当计算整栋大楼与各楼层之间的坐标位置关系时，重复执行上述选取转换参考点并确定转换参考点在不同子区域坐标系下的坐标，从而进行转换计算的步骤即可。在实际应用中，多层子区域的划分可以为三层、五层、八层等，在此不做限定。多层子区域之间的坐标位置关系同样根据上述坐标转换的计算方法进行多次循环执行得到。而当进行虚实融合时，也可通过参考点在其所在的房间中的房间坐标系下的坐标以及在其所在的楼层中的楼层坐标系下的坐标与参考点在其所在的楼层中的楼层坐标系下的坐标以及在其所在的整栋大楼中的整体坐标系下的坐标来进行逐层虚实融合。

在一个实施场景中，获取了子区域现实场景与虚拟数字空间之间的变换关系Mat(1)后，可以获取参考点在待融合区域对应的区域坐标系的第二物理坐标，并基于各子区域中的参考点在待融合区域的区域坐标系下的第二物理坐标以及各子区域中的参考点在现实场景中第一坐标系下的第一物理坐标进行计算，获得各子区域与待融合区域的坐标位置变换关系Mat(2)，再直接根据变换关系Mat(1)与坐标位置变换关系Mat(2)直接进行整个待融合区域现实场景与虚拟数字空间的虚实融合，而不考虑多层子区域与其对应的父区域之间的坐标位置关系。从而实现现实场景与虚拟数字空间的虚实融合最大程度上的计算量精简，复杂度简化。

在获得各子区域与待融合区域的坐标位置变换关系Mat(2)或各子区域与其父区域的坐标位置变换关系后，即可根据上述变换关系对各子区域进行编辑。或利用坐标位置变换关系Mat(2)可以将进行虚实融合后的各子区域导入到编辑器(例如Unity编辑器或者Unreal编辑器)中，进行拼接，以还原整个区域的地图。或利用各子区域与其父区域的坐标位置变换关系将进行虚实融合后的各层子区域导入到编辑器(例如Unity编辑器或者Unreal编辑器)中，逐层进行拼接，以还原整个区域或局部区域的地图。或利用各子区域与其父区域的坐标位置变换关系将进行虚实融合后的各层子区域导入到编辑器(例如Unity编辑器或者Unreal编辑器)中，分别对各层子区域进行旋转、缩放等操作以适应于不同的实际需求，提高虚实融合区域的自由度。

本步骤通过确定子区域与待融合区域的坐标位置变换关系来使被划分成多个子区域的待融合区域进行拼接还原，实现了整个待融合区域或局部待融合区的虚实融合。

其中，待融合区域的区域坐标系可以是大地坐标系。

本步骤S23可以在步骤S21之后，S22步骤之前进行。也就是说，本实施例子区域现实场景与虚拟数字空间之间变换关系Mat(1)与各子区域与待融合区域的坐标位置变换关系Mat(2)和各子区域与其父区域的坐标位置变换关系的先后顺序可以进行替换。可选地，当根据各子区域与其父区域的坐标位置变换关系进行子区域与待融合区域的坐标转换时，该步骤设置于步骤S21之后进行，此时计算效率更高。当根据各子区域与待融合区域的坐标位置变换关系Mat(2)进行子区域与待融合区域的坐标转换时，该步骤设置于S22步骤之后进行，此时计算效率更高。

S24：利用坐标位置变换关系以及子区域现实场景与虚拟数字空间的变换关系计算，得到待融合区域现实场景与虚拟数字空间的变换关系。

在获得子区域现实场景与虚拟数字空间之间变换关系Mat(1)与各子区域与待融合区域的坐标位置变换关系Mat(2)后，利用上述两种变换关系计算即可得到整个待融合区域虚实融合的变换关系，实现整个待融合区域的虚实融合。其中，在一个具体的实施例中，当待融合区域为高层建筑时或具有不同高度的区域时，可基于变换关系Mat(1)获取第一层高度的变换关系Mat(1，1)，当对于第n层可以通过消防楼梯或电梯实际测量或者基于第一层与第n层之间存在的高度差进行换算，则第n层的变换关系为Mat(1，n)。

S25：基于待融合区域的对应的区域坐标系将虚实融合后的区域进行展示。

基于区域坐标系将虚实融合后的区域进行展示或应用，以方便使用者了解地图结构或细节。其中，若各子区域在展示过程中采用的是子区域的区域坐标系进行展示的，则通过坐标位置变换关系Mat(2)将其转换为待融合区域的区域坐标系进行展示，以便使用者能够全局了解虚实融合后的区域的信息。

在一个具体的实时场景中，对虚实融合后的区域进行展示时，同样可对虚实融合后的区域进行如前文所述的编辑操作，以利于使用者对虚实融合后的区域进行了解，并提高使用者对虚实融合后的区域进行操作的自由度，增加虚实融合技术的实用性。

由于高精度地图在采集时是通过传感器和/或摄像头对地图信息进行采集，也就是其构建的虚拟数字空间中会包括地图结构等视觉信息，也会包括蓝牙信号或WIFI信号等非视觉信号，而在待融合区域进行虚实融合后，非视觉信号也会进行虚实融合。例如，当将虚实融合后的区域展示给使用者后，使用者通过虚实融合后的区域可以获知前往区域内某个目的地的路线，也会通过虚实融合后的区域获知目的地的是否设置有WIFI等信息。

本实施例的应用场景进一步包括大范围的地图导航或信息获取，例如：本实施例提供的技术方案可以帮助使用者精确获取大范围区域(例如：整个机场、工厂、场馆、商场、医院以及车库)中的虚拟数字空间信息，通过这些虚拟数字空间信息以及自己的显示设备，随时随地获取到旅游景点介绍、航班信息、工厂IOT信息、商场的市场推广、医院的挂号排队以及汽车方位等各式各样的视觉信息和/或非视觉信息，辅助使用者达成各种目标。

在本实施例中，子区域现实场景的第一坐标系可以基于大地坐标系的构建，且待融合区域的区域坐标系也可以采用大地坐标系，则在大地坐标系的范围内的区域都可以基于大地坐标系通过本实施例的实现虚实融合的方法进行区域的虚实融合。

通过上述方式，本实施例的实现虚实融合的方法通过将整个待融合区域进行划分成多个子区域，通过检测各子区域现实场景的参考点和虚拟数字空间的对应点计算得出各子区域现实场景与虚拟数字空间之间的变换关系，以及基于待融合区域的区域坐标系计算得出各子区域与整个待融合区域之间的坐标位置变换关系，通过上述两种变换关系实现整个待融合区域的虚实融合，并基于区域坐标系对整个虚实融合后的区域进行展示或应用，本申请能够快速且准确地实现整个待融合区域的虚实融合，并实现大范围区域的虚实融合，提高了虚实融合技术的自由度。

请参阅图3，图3是本申请提供的实现虚实融合的方法又一实施例的流程示意图。在本实施例中，将以子区域的区域坐标系是依据大地坐标系的特征进行建立、待融合区域的区域坐标系为大地坐标系以及采用两个参考点进行计算子区域虚实融合的变换关系的情况进行具体地说明。

S31：将待融合区域划分为多个子区域。

将本实施例中的待融合区域划分成多个子区域。其中，子区域的划分标准为高精度地图所能一次性采集的最大范围。

S32：利用子区域的参考点的第一物理坐标以及对应点在虚拟数字空间的第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系。

本步骤子区域的区域坐标系是依据大地坐标系的特征进行建立的。在一个具体的实施方式中。选择两个参考点，并通过测绘工具在子区域内测量得到两个参考点，将其中任意一个参考点在参考水平面上的投影作为第一坐标系的原点，将两个参考点在参考水平面上的投影点之间的连线作为第一坐标系的一个坐标轴，将重力方向作为第一坐标系的另一个坐标轴。最后基于原点以及两个坐标轴建立起第一坐标系，并获取两个参考点在第一坐标系内的第一物理坐标。

在选取了两个参考点后，在两个参考点上设置图像标志，以使虚拟数字空间构建后，获得与两个参考点相对应的对应点。而虚拟数字空间中的第二坐标轴的构建过程具体如下：将其中任意一个对应点在参考水平面上的投影作为第二坐标系的原点，将两个对应点在参考水平面上的投影点之间的连线作为第二坐标系的一个坐标轴，将重力方向作为第二坐标系的另一个坐标轴。最后基于原点以及两个坐标轴建立起第二坐标系，并获取两个对应点在第二坐标系内的第一数字坐标。

由于对应点是通过在现实场景中的参考点上设置图像标志而获得的，因此，对应点与其对应的参考点实质上是同一个点。因此，当将第一坐标系与第二坐标系对齐后，利用对应点与对应的参考点理论上是相同这一原理，即可通过第一物理坐标和第一数字坐标计算得出第一坐标系与第二坐标系之间的变换关系，也就是子区域现实场景与虚拟数字空间之间的变换关系。

S33：确定子区域与待融合区域的坐标位置变换关系。

在本步骤中，确定子区域与待融合区域的坐标位置变换关系。其中，待融合区域的区域坐标系为大地坐标系。而参考点与子区域都处于待融合区域内，也就是说，参考点与子区域基于待融合区域的区域坐标系都具有一个大地坐标。则在本步骤中，参考点会基于待融合区域的区域坐标系具有一个第二物理坐标，而在上一步骤中，参考点基于第一坐标系具有第一物理坐标，则利用参考点的第一物理坐标与第二物理坐标进行计算即可获得子区域与待融合区域的坐标位置变换关系。

S34：利用坐标位置变换关系以及子区域现实场景与虚拟数字空间的变换关系计算，得到待融合区域现实场景与虚拟数字空间的变换关系。

利用获得的子区域与待融合区域的坐标位置变换关系以及子区域现实场景与虚拟数字空间之间的变换关系计算获取待融合区域现实场景与虚拟数字空间的变换关系，以实现整个待融合区域的虚实融合。

当待融合区域的区域坐标系采用大地坐标系时，各种建筑、街道、地区甚至全球上的任意一点都基于大地坐标系都具有大地坐标。也就是，当待融合区域为全球范围时，其所选择的参考点都会基于大地坐标系有着大地坐标，当待融合区域的区域坐标系为大地坐标系时，该坐标则为第二物理坐标，当通过选取参考点的方式建立第一坐标系并获得参考点的第一物理坐标后，即可通过第一物理坐标与第二物理坐标计算子区域与待融合区域的变换关系。从而进行一步实现整个待融合区域的虚实融合。

在本实施例中，当待融合区域的选定为某个建筑或全球范围时，其虚实融合的区别仅在于子区域的划分数量。本实施例的实现虚实融合的方法能够实现跨区域、跨建筑、跨楼层甚至全球范围内的虚实融合。换而言之，当某个区域间存在某种统一的坐标系时，本实施例都可以基于该统一的坐标系将整个区域进行虚实融合。

S35：基于大地坐标系将虚实融合后的区域进行展示。

基于待融合区域的区域坐标系也就是大地坐标系将虚实融合后的区域进行展示和/或编辑，以使虚实融合后的区域更加贴合现实场景，更容易应用到使用者的日常生活中。

通过上述方式，本申请的实现虚实融合方法，可通过将待融合区域的区域坐标系设为大地坐标系，并利用待融合区域上的任意一点基于大地坐标系具有大地坐标来实现跨区域、跨建筑、跨楼层甚至全球范围内的虚实融合。

请参阅图4，图4是本申请实现虚实融合的装置一实施例的结构示意图，本实施方式的实现虚实融合的装置包括划分模块31、获取模块32、计算模块33、以及融合模块34。

划分模块31用于确定待融合区域，并将待融合区域划分为多个子区域。获取模块32用于获取到子区域的参考点在子区域的区域坐标系的第一物理坐标。计算模块33利用第一物理坐标以及子区域与待融合区域之间的位置关系，得到待融合区域现实场景与虚拟数字空间的变换关系。融合模块34用于利用变换关系对待融合区域现实场景和虚拟数字空间进行虚实融合。

上述方案，利用子区域中局部参考点计算得到现实场景与虚拟数字空间之间的变换关系，再通过该变换关系将整体待融合区域进行虚实融合，在实现精准地虚实融合的基础上，降低了获得变换关系的计算量与复杂度，提高了实现虚实融合的过程的效率，并使得虚实融合的结果更加准确。

在一些实施例中，计算模块33利用第一物理坐标以及子区域与待融合区域之间的位置关系，得到待融合区域现实场景与虚拟数字空间的变换关系的步骤包括：利用子区域的参考点的第一物理坐标以及在虚拟数字空间中参考点的对应点的第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系；确定子区域与待融合区域的坐标位置变换关系；利用坐标位置变换关系以及子区域现实场景与虚拟数字空间的变换关系计算，得到待融合区域现实场景与虚拟数字空间的变换关系。

区别于前述实施例，利用子区域的参考点的第一物理坐标以及在虚拟数字空间中参考点的对应点的第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系，以参考点与参考点在虚拟数字空间中对应的对应点为基础，计算子区域现实场景与虚拟数字空间的变换关系，从而保证变换关系的准确率，提高现实场景和虚拟数字空间的虚实融合的精度。

在一些实施例中，划分模块31确定待融合区域，并将待融合区域划分为多个子区域的步骤包括：将待融合区域划分成多层子区域；确定子区域与待融合区域的坐标位置变换关系的步骤包括：从最低层子区域至待融合区域依次计算，得到每一层子区域相对于其父区域的坐标位置变换关系；基于每一层子区域相对于其父区域的坐标位置变换关系确定最低层子区域与待融合区域的坐标位置变换关系。

区别于前述实施例，将待融合区域划分成多层子区域，并逐层计算得到每一层子区域相对于其父区域的坐标位置变换关系，能够快速准确地确定最低层子区域与待融合区域的坐标位置变换关系，从而提高坐标位置变换关系的可靠性。

在一些实施例中，划分区域31从最低层子区域至待融合区域依次计算，得到每一层子区域相对于其父区域的坐标位置变换关系的步骤包括：选取转换参考点；确定转换参考点在最低层的第一子区域的区域坐标系下的坐标以及第二子区域的区域坐标系下的坐标；其中，第二子区域为第一子区域的父区域；利用第一子区域的区域坐标系下的坐标以及第二子区域的区域坐标系下的坐标确定第一子区域与第二子区域的坐标位置关系；将第二子区域作为第一子区域，将第三子区域作为第二子区域，其中，第三子区域为第二子区域的父区域，重复执行利用第一子区域的区域坐标系下的坐标以及第二子区域的区域坐标系下的坐标确定第一子区域与第二子区域的坐标位置关系的步骤至第三子区域为待融合区域。

区别于前述实施例，获得各相邻层之间的坐标位置关系，从而进一步获取每一层子区域相对于其父区域的坐标位置变换关系，提高现实场景与虚拟数字空间进行虚实融合的自由度，从而可以根据不同的需求将不同层的子区域进行虚实融合。

在一些实施例中，获取模块32获取到子区域的参考点在子区域的区域坐标系的第一物理坐标的步骤包括：在子区域内基于参考点建立现实场景的第一坐标系，确定参考点在第一坐标系下的第一物理坐标；利用子区域的参考点的第一物理坐标以及参考点在虚拟数字空间的第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系的步骤包括：利用参考点在虚拟数字空间的对应点建立虚拟数字空间的第二坐标系，并确定对应点在第二坐标系下的第一数字坐标；利用第一物理坐标以及第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系。

区别于前述实施例，在子区域内基于参考点建立现实场景的第一坐标系，从而确定参考点在第一坐标系下的第一物理坐标。利用参考点在虚拟数字空间的对应点建立虚拟数字空间的第二坐标系，从而确定对应点在第二坐标系下的第一数字坐标，通过建立坐标系来提供参考点与对应点之间的数学联系，从而实现利用第一物理坐标以及第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系。

在一些实施例中，获取模块32在子区域内基于参考点建立现实场景的第一坐标系的步骤包括：在子区域选取至少两个参考点以及一参考平面；将其中一个参考点在参考平面的投影为原点，以其中两个参考点在参考平面的投影的连线为其中一个坐标轴建立第一坐标系；利用参考点在虚拟数字空间的对应点建立虚拟数字空间的第二坐标系的步骤包括：获取到子区域的虚拟数字空间，并识别出至少两个参考点在虚拟数字空间中的对应点以及对应参考平面；将其中一个对应点在对应参考平面的投影为原点，以其中两个对应参考点在对应参考平面的投影的连线为其中一个坐标轴建立第二坐标系。

区别于前述实施例，仅利用两个参考点以及一参考平面的坐标及位置关系分别建立子区域现实场景与虚拟数字空间的坐标系，提供了现实场景与虚拟数字空间坐标系的快速建立方式，提高了计算子区域现实场景与虚拟数字空间的变换关系的效率。

在一些实施例中，获取模块32获取到子区域的虚拟数字空间，并识别出两个参考点在虚拟数字空间中的两个对应点以及对应参考平面的步骤包括：利用至少两个参考点的标识信息识别出至少两个参考点在虚拟数字空间中的对应点。

区别于前述实施例，在参考点出建立标识信息，并根据标识信息识别出至少两个参考点在虚拟数字空间中的对应点，从而确定参考点与对应点之间的对应关系，以保证现实场景与虚拟数字空间的变换关系的准确性。

在一些实施例中，获取模块32获取到子区域的参考点在子区域的区域坐标系的第一物理坐标的步骤包括：在子区域选择至少三个参考点，分别确定至少三个参考点在子区域的区域坐标系的第一物理坐标；利用子区域的参考点的第一物理坐标以及对应点在虚拟数字空间的第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系的步骤包括：获取到子区域的虚拟数字空间，并识别出至少三个参考点在虚拟数字空间中的至少三个对应点，确定至少三个对应点在虚拟数字空间中的第一数字坐标；利用至少三个参考点的第一物理坐标以及至少三个对应点的第一数字坐标计算，得到子区域现实场景与虚拟数字空间的变换关系。

区别于前述实施例，仅利用三个参考点的坐标及位置关系分别建立子区域现实场景与虚拟数字空间的坐标系，提供了另一种现实场景与虚拟数字空间坐标系的快速建立方式，提高了计算子区域现实场景与虚拟数字空间的变换关系的效率。

在一些实施例中，利用第一物理坐标以及子区域与待融合区域之间的位置关系，得到待融合区域现实场景与虚拟数字空间的变换关系的步骤还包括：确定参考点在待融合区域对应的区域坐标系的第二物理坐标；利用第一物理坐标以及第二物理坐标确定子区域与待融合区域的坐标位置变换关系。

区别于前述实施例，提供另一种获取子区域与待融合区域的坐标位置变换关系的方式，可以快速高效地获得子区域与待融合区域的坐标位置变换关系，并减少计算量。

在一些实施例中，待融合区域对应的区域坐标系包括大地坐标系。

区别于前述实施例，待融合区域对应的区域坐标系包括大地坐标系以实现待融合区域在大地坐标系上的延伸和扩展，贴合实际应用。

在一些实施例中，计算模块33利用变换关系将待融合区域进行现实场景和虚拟数字空间的虚实融合的步骤还包括：获取待融合区域的非视觉信号的坐标，利用变换关系以及非视觉信号的坐标，对待融合区域的非视觉信号进行现实场景和虚拟数字空间的虚实融合。

区别于前述实施例，通过对非视觉信号进行虚实融合可以实现蓝牙信号或WIFI信号等非视觉信号的虚实融合，以在虚实融合后的区域上显示多种非视觉信号，提供多种非视觉功能。

在一些实施例中，融合模块34利用变换关系将待融合区域进行现实场景和虚拟数字空间的虚实融合的步骤之后还包括：基于待融合区域对应的区域坐标系将虚实融合后的区域进行展示。

区别于前述实施例，将实现虚实融合后的区域基于待融合区域对应的区域坐标系进行展示，以统一各子区域的坐标标准，方便对虚实融合后的区域进行扩展应用。

通过上述方式，本申请的虚实融合的装置先确定到需要被融合的待融合区域，再利用待融合区域中子区域现实场景的多个参考点与虚拟数字空间的多个对应点之间的对应关系计算，得到子区域现实场景与虚拟数字空间的变换关系，最后利用变换关系将待融合区域进行现实场景和虚拟数字空间的虚实融合，本申请利用局部参考点计算，得到现实场景与虚拟数字空间之间的变换关系，在通过该变换关系将整体的待融合区域进行虚实融合，提高了实现虚实融合的过程的效率，并使得虚实融合的结果更加准确。

基于同样的发明构思，本申请还提出了一种电子设备，该电子设备能够被执行以实现上述任一实施例的实现虚实融合的方法，请参阅图5，图5是本申请提供的电子设备一实施例的结构示意图，电子设备包括相互耦接的存储器42和处理器41，处理器41用于执行存储器42中存储的程序数据，以实现上述任一实现虚实融合的方法实施例的步骤。在一个具体的实施场景中，电子设备可以包括但不限于：微型计算机、服务器，此外，电子设备还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器41用于控制其自身以及存储器42以实现上述任一实现虚实融合的方法实施例的步骤。处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器41可以由集成电路芯片共同实现。

上述方案，能够提高虚实融合的效率和准确性。

请参阅图6，图6为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质50存储有能够被处理器运行的程序数据51，程序数据51用于实现上述任一实现虚实融合的方法实施例的步骤。

上述方案，能够提高虚实融合的效率和准确性。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (15)

1.一种实现虚实融合的方法，其特征在于，包括：

确定待融合区域，并将所述待融合区域划分为多个子区域；

获取到所述子区域的参考点在所述子区域的区域坐标系的第一物理坐标；

利用所述第一物理坐标以及所述子区域与所述待融合区域之间的位置关系，得到所述待融合区域现实场景与虚拟数字空间的变换关系；

利用所述变换关系对所述待融合区域现实场景和所述虚拟数字空间进行虚实融合。

2.根据权利要求1所述的实现虚实融合的方法，其特征在于，所述利用所述第一物理坐标以及所述子区域与所述待融合区域之间的位置关系，得到所述待融合区域现实场景与虚拟数字空间的变换关系的步骤包括：

利用所述子区域的参考点的第一物理坐标以及在所述虚拟数字空间中所述参考点的对应点的第一数字坐标计算，得到所述子区域现实场景与所述虚拟数字空间的变换关系；

确定所述子区域与所述待融合区域的坐标位置变换关系；

利用所述坐标位置变换关系以及所述子区域现实场景与所述虚拟数字空间的变换关系计算，得到所述待融合区域现实场景与所述虚拟数字空间的变换关系。

3.根据权利要求2所述的实现虚实融合的方法，其特征在于，所述确定待融合区域，并将所述待融合区域划分为多个子区域的步骤包括：

将所述待融合区域划分成多层子区域；

所述确定所述子区域与所述待融合区域的坐标位置变换关系的步骤包括：

从最低层子区域至所述待融合区域依次计算，得到每一层子区域相对于其父区域的坐标位置变换关系；

基于所述每一层子区域相对于其父区域的坐标位置变换关系，确定所述每一层子区域与所述待融合区域的坐标位置变换关系。

4.根据权利要求3所述的实现虚实融合的方法，其特征在于，所述从最低层子区域至所述待融合区域依次计算，得到每一层子区域相对于其父区域的坐标位置变换关系的步骤包括：

选取转换参考点；

确定所述转换参考点在最低层的第一子区域的区域坐标系下的坐标以及第二子区域的区域坐标系下的坐标；其中，所述第二子区域为所述第一子区域的父区域；

利用所述第一子区域的区域坐标系下的坐标以及第二子区域的区域坐标系下的坐标，确定所述第一子区域与所述第二子区域的坐标位置关系；

将所述第二子区域作为第一子区域，将第三子区域作为第二子区域，其中，所述第三子区域为第二子区域的父区域，重复执行所述利用所述第一子区域的区域坐标系下的坐标以及第二子区域的区域坐标系下的坐标确定所述第一子区域与所述第二子区域的坐标位置关系的步骤至所述第三子区域为所述待融合区域。

5.根据权利要求2-4任一项所述的实现虚实融合的方法，其特征在于，所述获取到所述子区域的参考点在所述子区域的区域坐标系的第一物理坐标的步骤包括：

在所述子区域内基于所述参考点建立现实场景的第一坐标系，确定所述参考点在所述第一坐标系下的所述第一物理坐标；

所述利用所述子区域的参考点的第一物理坐标以及所述参考点在所述虚拟数字空间的第一数字坐标计算，得到所述子区域现实场景与所述虚拟数字空间的变换关系的步骤包括：

利用所述参考点在所述虚拟数字空间的对应点建立虚拟数字空间的第二坐标系，并确定所述对应点在所述第二坐标系下的第一数字坐标；

利用所述第一物理坐标以及所述第一数字坐标计算，得到所述子区域现实场景与所述虚拟数字空间的变换关系。

6.根据权利要求5所述的实现虚实融合的方法，其特征在于，所述在所述子区域内基于所述参考点建立现实场景的第一坐标系的步骤包括：

在所述子区域选取至少两个所述参考点以及一参考平面；

将其中一个所述参考点在所述参考平面的投影为原点，以其中两个所述参考点在所述参考平面的投影的连线为其中一个坐标轴建立所述第一坐标系；

所述利用所述参考点在所述虚拟数字空间的对应点建立虚拟数字空间的第二坐标系的步骤包括：

获取到所述子区域的虚拟数字空间，并识别出至少两个所述参考点在所述虚拟数字空间中的对应点以及对应参考平面；

将其中一个所述对应点在所述对应参考平面的投影为原点，以其中两个所述对应参考点在所述对应参考平面的投影的连线为其中一个坐标轴建立所述第二坐标系。

7.根据权利要求6所述的实现虚实融合的方法，其特征在于，所述获取到所述子区域的虚拟数字空间，并识别出两个所述参考点在所述虚拟数字空间中的两个对应点以及对应参考平面的步骤包括：

利用所述至少两个参考点的标识信息识别出所述至少两个所述参考点在所述虚拟数字空间中的对应点。

8.根据权利要求2-4任一项所述的实现虚实融合的方法，其特征在于，所述获取到所述子区域的参考点在所述子区域的区域坐标系的第一物理坐标的步骤包括：

在所述子区域选择至少三个所述参考点，分别确定所述至少三个参考点在所述子区域的区域坐标系的第一物理坐标；

所述利用所述子区域的参考点的第一物理坐标以及所述对应点在所述虚拟数字空间的第一数字坐标计算，得到所述子区域现实场景与所述虚拟数字空间的变换关系的步骤包括：

获取到所述子区域的虚拟数字空间，并识别出所述至少三个参考点在所述虚拟数字空间中的至少三个对应点，确定所述至少三个对应点在所述虚拟数字空间中的第一数字坐标；

利用所述至少三个参考点的第一物理坐标以及所述至少三个对应点的第一数字坐标计算，得到所述子区域现实场景与所述虚拟数字空间的变换关系。

9.根据权利要求1所述的实现虚实融合的方法，其特征在于，所述利用所述第一物理坐标以及所述子区域与所述待融合区域之间的位置关系，得到所述待融合区域现实场景与虚拟数字空间的变换关系的步骤还包括：

确定所述参考点在所述待融合区域对应的区域坐标系的第二物理坐标；

利用所述第一物理坐标以及所述第二物理坐标确定所述子区域与所述待融合区域的坐标位置变换关系。

10.根据权利要求9所述的实现虚实融合的方法，其特征在于，待融合区域对应的区域坐标系包括大地坐标系。

11.根据权利要求1所述的实现虚实融合的方法，其特征在于，所述利用所述变换关系将所述待融合区域进行现实场景和所述虚拟数字空间的虚实融合的步骤还包括：

获取所述待融合区域的非视觉信号的坐标，

利用所述变换关系以及所述非视觉信号的坐标，对所述待融合区域的非视觉信号进行现实场景和虚拟数字空间的虚实融合。

12.根据权利要求1所述的实现虚实融合的方法，其特征在于，所述利用所述变换关系对所述待融合区域现实场景和所述虚拟数字空间进行虚实融合的步骤之后还包括：

基于所述待融合区域对应的区域坐标系将虚实融合后的区域进行展示。

13.一种实现虚实融合的装置，其特征在于，所述实现虚实融合的装置包括划分模块、获取模块，计算模块、以及融合模块；

所述划分模块用于确定待融合区域，并将所述待融合区域划分为多个子区域；

所述获取模块用于获取到所述子区域的参考点在所述子区域的区域坐标系的第一物理坐标；

所述计算模块用于利用所述第一物理坐标以及所述子区域与所述待融合区域之间的位置关系，得到所述待融合区域现实场景与虚拟数字空间的变换关系；

所述融合模块用于利用所述变换关系对所述待融合区域现实场景和所述虚拟数字空间进行虚实融合。

14.一种电子设备，其特征在于，所述电子设备包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序数据，以实现权利要求1至12任一项所述的实现虚实融合的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序数据，所述程序数据能够被执行以实现如权利要求1-12任一项所述的实现虚实融合的方法。

Images