CN113409473B - 实现虚实融合的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了实现虚实融合的方法、装置、电子设备及存储介质，其中，实现虚实融合的方法包括：获取到待融合区域的图像数据；对图像数据中待融合区域进行划分，得到待融合区域的各目标区域；基于图像数据构建待融合区域的虚拟模型；确定各目标区域在虚拟模型中对应的位置信息；基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，以对待融合区域的各目标区域进行虚实融合。通过上述方式，本申请能够快速且准确地实现待融合区域内各目标区域的虚实融合。

Description

实现虚实融合的方法、装置、电子设备及存储介质

技术领域

本申请涉及增强现实的技术领域，特别是涉及实现虚实融合的方法、装置、电子设备及存储介质。

背景技术

增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界进行巧妙融合的技术。其广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互以及传感等多种技术手段。增强现实通过将计算机生成的文字、图像、三维模型、音乐以及视频等虚拟信息进行模拟仿真后，应用到真实世界中，使两种信息互为补充，从而实现对真实世界的“增强”。而随着技术的进步，特别是高精度地图技术在AR领域的落地和成熟，数字孪生以及平行世界等各类科幻的概念逐渐地成为可能。

目前实现虚实融合的方法包括基于图像识别的方法、基于三维物体识别的方法以及SLAM通过局部地图共享的方式来达到共享虚实融合的效果。各种虚实融合的方式包括：图像数据/物体/人脸/人体的虚实融合内容的编辑，都是通过有相对应的实体参考物体来编辑虚拟内容，比如：被跟踪的图像数据、物体，标准人脸以及标准骨架结构等。即使稍微大一些的范围云锚点(cloud anchor)，也可以通过在线编辑然后保存。

而对于实际场景区域上的虚实融合，可能存在对非实体的目标进行虚实融合。因此，如何对场景区域内的非实体目标实现虚实融合成为基于高精度地图的增强现实应用的一个亟需解决的问题。

发明内容

本申请提供一种实现虚实融合的方法、装置、电子设备及存储介质，以解决现有技术中存在的虚实融合技术的应用范围较为局限的问题。

为解决上述技术问题，本申请第一方面提供一种实现虚实融合的方法，包括：获取到待融合区域的图像数据；对图像数据中待融合区域进行划分，得到待融合区域的各目标区域；基于图像数据构建待融合区域的虚拟模型；确定各目标区域在虚拟模型中对应的位置信息；基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，以对待融合区域的各目标区域进行虚实融合。

因此，先确定各目标区域在虚拟模型中对应的位置信息，使得虚拟内容的添加能够基于位置信息准确地放置于对应的区域内，使得虚实融合的结果更加准确，并提高了实现虚实融合的过程的效率。

其中，基于图像数据构建待融合区域的虚拟模型，包括：对图像数据进行特征提取，得到待融合区域的虚拟地图；基于图像数据和虚拟地图对待融合区域进行三维重建，得到待融合区域的虚拟模型。

因此，基于待融合区域的图像数据构建待融合区域的虚拟模型，从而提高虚拟模型的精度和准确性，且通过先构建虚拟地图再基于虚拟地图和图像数据进行三维重建，能够更进一步提高虚拟模型构建的效率和精度。

其中，对图像数据进行特征提取，得到待融合区域的虚拟地图，包括：对多张图像数据进行特征提取，得到各图像数据的特征点；对各图像数据的特征点进行特征点匹配，得到各图像数据的特征点之间的对应关系；基于各图像数据的位姿以及对应关系对特征点进行三角化，以构建虚拟地图。

因此，基于各图像数据的特征点进行特征点匹配，得到各图像数据的特征点之间的对应关系，再基于图像数据的位姿和对应关系进行三角化，来构建虚拟地图，能够实现三维虚拟地图的构建，并提高虚拟地图与真实待融合区域之间的相似性，并便于后续虚拟模型的构建。

其中，基于图像数据和虚拟地图对待融合区域进行三维重建，得到待融合区域的虚拟模型，包括：对图像数据和虚拟地图进行深度估计，生成图像深度图，并将图像深度图融合成点云；基于点云生成虚拟模型。

因此，通过对图像数据和虚拟地图进行深度估计，生成图像深度图，并将图像深度图融合成点云，最后基于点云生成虚拟模型，能够通过点云来提高虚拟模型的精度与立体度，进而使其与真实的待融合区域更加贴近。

其中，图像数据包括至少两个的位姿，对图像数据和虚拟地图进行深度估计，生成图像深度图，并将图像深度图融合成点云，包括：分别对至少两个位姿的图像数据和虚拟地图进行深度估计，生成至少两个图像深度图，并分别将至少两个图像深度图对应融合成至少两个点云；将至少两个点云进行整合，得到待融合区域的稠密点云；基于点云生成虚拟模型，包括：基于稠密点云生成包括稠密点云和网格的虚拟模型。

因此，通过生成至少两个位姿的点云，并将其进行融合，得到稠密点云，再在稠密点云的基础上生成包括稠密点云和网格的虚拟模型来进一步提高虚拟模型的精度和特征量，从而提高虚拟模型与真实的待融合区域之间的相似度，减少虚实融合不准确的情况发生。

其中，对图像数据中待融合区域进行划分，得到待融合区域的各目标区域，包括：通过神经网络对图像数据中待融合区域进行划分，得到待融合区域的各目标区域及其在图像数据上的坐标信息；在虚拟模型中确定各目标区域对应的位置信息，包括：基于各目标区域及其在图像数据上的坐标信息以及图像数据的位姿确定各目标区域在虚拟模型中对应的位置信息。

因此，通过神经网络对图像数据进行划分，得到目标区域及其在图像数据上的坐标信息，再基于坐标信息以及图像数据的位姿确定各目标区域在虚拟模型中对应的位置信息，从而能够基于准确的坐标信息提高各目标区域在虚拟模型中对应的位置信息的精准度，减少融合错位的现象发生。

其中，图像数据包括至少两个的位姿，基于各目标区域及其在图像数据上的坐标信息以及图像数据的位姿确定各目标区域在虚拟模型中对应的位置信息，包括：基于各目标区域在至少两个位姿对应的图像数据上的坐标信息确定各相同目标区域在至少两个位姿对应的图像数据上的匹配关系；基于匹配关系确定各目标区域在虚拟模型中对应的三维位置信息；基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，包括：基于三维位置信息在虚拟模型内的各目标区域对应添加虚拟内容。

因此，基于各目标区域在至少两个位姿对应的图像数据上的坐标信息确定各相同目标区域在至少两个位姿对应的图像数据上的匹配关系；再基于匹配关系确定各目标区域在虚拟模型中对应的三维位置信息，从而能够基于三维位置信息在虚拟模型内的各目标区域对应添加虚拟内容，进而提高虚拟模型上各目标区域的准确划分。

其中，基于三维位置信息在虚拟模型内的各目标区域对应添加虚拟内容，包括：基于三维位置信息在虚拟模型内的各目标区域对应添加三维虚拟特效。

因此，基于三维位置信息在虚拟模型内的各目标区域对应添加三维虚拟特效，来提高三维虚拟特征对位的精准度。

其中，获取到待融合区域的图像数据之前，包括：通过训练样本对初始网络进行训练；响应于初始网络对训练样本的各目标区域的划分的准确率满足预设准确率，则停止训练，得到神经网络。

因此，在进行虚实融合之前，通过训练样本对初始网络进行训练的到神经网络，能够提高神经网络对图像数据中各目标区域进行划分的准确率，并减少人工划分的工作量。

为解决上述技术问题，本申请第二方面提供了一种实现虚实融合的方法，包括获取到待融合区域的图像数据；对图像数据中待融合区域进行划分，得到待融合区域的地平线、天空区域以及地面区域；基于图像数据构建待融合区域的虚拟模型；确定地平线、天空区域以及地面区域在虚拟模型中对应的位置信息；基于位置信息在虚拟模型内的地平线、天空区域以及地面区域对应添加虚拟内容，以对待融合区域的地平线、天空区域以及地面区域进行虚实融合。

其中，基于位置信息在虚拟模型内的地平线、天空区域以及地面区域对应添加虚拟内容，以对待融合区域的地平线、天空区域以及地面区域进行虚实融合，包括：增强现实交通装置在移动过程中实时获取待融合区域的新的图像数据；对新的图像数据进行划分，得到新的图像数据的地平线、天空区域以及地面区域；基于虚拟模型分别在地平线、天空区域以及地面区域对应添加虚拟内容。

因此，通过增强现实交通装置在实时移动中对新的图像数据进行划分，进而进行虚拟融合能够在增强现实交通装置移动的过程中实时对待融合区域的各区域进行虚拟融合，实现交通、移动等多场景的实时虚拟融合。

上述方案，使得虚拟内容的添加能够基于位置信息准确地放置于对应的地平线、天空区域以及地面区域内，使得虚实融合的结果更加准确，并提高了实现虚实融合的过程的效率。

为解决上述技术问题，本申请第三方面提供了一种实现虚实融合的装置，虚实融合的装置包括：获取模块、划分模块，构建模块、确定模块以及融合模块；获取模块用于获取到待融合区域的图像数据；划分模块用于对图像数据中待融合区域进行划分，得到待融合区域的各目标区域；构建模块用于基于图像数据构建待融合区域的虚拟模型；确定模块用于确定各目标区域在虚拟模型中对应的位置信息；融合模块用于基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，以对待融合区域的各目标区域进行虚实融合。

为解决上述技术问题，本申请第四方面提供了一种实现虚实融合的装置，虚实融合的装置包括：获取模块、划分模块，构建模块、确定模块以及融合模块；获取模块用于获取到待融合区域的图像数据；划分模块用于对图像数据中待融合区域进行划分，得到待融合区域的地平线、天空区域以及地面区域；构建模块用于基于图像数据构建待融合区域的虚拟模型；确定模块用于确定地平线、天空区域以及地面区域在虚拟模型中对应的位置信息；融合模块用于基于位置信息在虚拟模型内的地平线、天空区域以及地面区域对应添加虚拟内容，以对待融合区域的地平线、天空区域以及地面区域进行虚实融合。

为解决上述技术问题，本申请第五方面提供一种电子设备，其包括：相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序数据，以实现上述任一方面的实现虚实融合的方法。

为解决上述技术问题，本申请第六方面提供一种计算机可读存储介质，计算机可读存储介质存储有程序数据，程序数据能够被执行以实现上述任一方面的实现虚实融合的方法。

上述方案，先获取待融合区域的各目标区域，进而能够确定各目标区域在虚拟模型中对应的位置信息，使得虚拟内容的添加能够基于位置信息准确地放置于对应的区域内，使得虚实融合的结果更加准确，并提高了实现虚实融合的过程的效率。

附图说明

图1是本申请实现虚实融合的方法一实施例的流程示意图；

图2是本申请实现虚实融合的方法另一实施例的流程示意图；

图3是本申请实现虚实融合的方法又一实施例的流程示意图；

图4是本申请实现虚实融合的装置一实施例的结构示意图；

图5是本申请实现虚实融合的装置另一实施例的结构示意图；

图6是本申请提供的电子设备一实施例的结构示意图；

图7是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1是本申请实现虚实融合的方法一实施例的流程示意图，本实施例的实现虚实融合的方法包括以下步骤：

S11：获取到待融合区域的图像数据。

待融合区域是需要通过虚实融合技术进行研究的区域。具体地，待融合区域可以包括实体区域，如某栋建筑、某条街道或某座山峰等，或非实体区域，如天空区域、真空区域或空气区域等，还可以包括实体和非实体的融合区域等，具体在此不做限制。其中，待融合区域为现实世界中真实存在的区域。

本实施例待融合区域的图像数据可以通过全球卫星惯性导航系统从太空角度获取得到，可以通过地面AR车上的车载摄像头从地面角度获取得到，可以通过无人机对待融合区域从航拍角度获取得到，也可以通过上述所有拍摄设备或其他拍摄角度的拍摄设备获取得到，从而获得待融合区域的多位姿、多角度的图像数据，以便于后续基于图像数据进行待融合区域的构建，提高虚拟模型的构建精度。

其中，本实施例的图像数据可以包括多张不同角度的图像数据。

S12：对图像数据中待融合区域进行划分，得到待融合区域的各目标区域。

对各图像数据中待融合区域进行划分，得到待融合区域的各目标区域。在一个具体的应用场景中，当待融合区域包括地面、墙壁的目标区域时，对各图像数据中待融合区域进行划分，分别得到地面、墙壁的目标区域。在另一个具体的应用场景中，当待融合区域包括地面、天空、地平线的目标区域时，对各图像数据中待融合区域进行划分，分别得到地面、天空、地平线的目标区域。具体地，可以通过神经网络或人工或其他分类器对各图像数据中待融合区域进行划分，具体在此不做限定。

S13：基于图像数据构建待融合区域的虚拟模型。

获取了待融合区域的图像数据后，再对图像数据进行重建，得到待融合区域对应的虚拟模型。在一个具体的应用场景中，可以在计算机可识别的可存储介质中基于图像数据利用三维重建算法将其重建成虚拟模型，从而构建出图像数据所对应的三维模型，即待融合区域的虚拟三维模型。在另一个具体的应用场景中，也可以通过对图像数据进行特征分析，基于各图像数据的特征点，以点为基础构建待融合区域的虚拟三维模型。其中，构建待融合区域的虚拟模型的具体做法在此不做限定。

待融合区域的虚拟模型为与待融合区域实际场景对应相同的虚拟模型。

S14：确定各目标区域在虚拟模型中对应的位置信息。

构建了待融合区域的虚拟模型后，确定待融合区域的各目标区域在虚拟模型中对应的位置信息。在一个具体的应用场景中，可以基于各目标区域在各图像数据内的位置进而确定各目标区域在虚拟模型中对应的位置信息。在另一个具体的应用场景中，也可以接受人工对虚拟模型各目标区域的划分，从而确定各目标区域在虚拟模型中对应的位置信息。在另一个具体的应用场景中，还可以通过能够对三维数据进行划分的已训练好的深度神经网络对虚拟模型中的各目标区域进行确定。

S15：基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，以对待融合区域的各目标区域进行虚实融合。

基于步骤S14中所获取的各目标区域在虚拟模型中对应的位置信息在虚拟模型内的各目标区域对应添加虚拟内容，以对待融合区域的各目标区域进行虚实融合。

其中，虚拟内容可以是基于各目标区域的相关特征对应进行添加的。如：当需要在待融合区域的虚拟模型的地面区域添加虚拟车辆，而在需要在待融合区域的虚拟模型的天空区域添加虚拟飞鸟，则需要将虚拟模型内的地面区域和天空区域进行划分，并确定具体的位置信息，从而便于将对应的虚拟内容添加到相应的位置，来避免虚拟内容混乱放置的情况。

添加虚拟内容后，可以将虚拟内容进行展示，从而利用上述添加实现虚拟内容显示在对应的各目标区域内，从而便于将虚实融合后的结果进行应用。

通过上述方式，本申请先对图像数据中待融合区域进行划分，得到待融合区域的各目标区域，再基于图像数据构建待融合区域的虚拟模型，然后确定各目标区域在虚拟模型中对应的位置信息，最后基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，以对待融合区域的各目标区域进行虚实融合，从而能够先获取待融合区域的各目标区域，进而确定各目标区域在虚拟模型中对应的位置信息，使得虚拟内容的添加能够基于位置信息准确地放置于对应的区域内，使得虚实融合的结果更加准确，并提高了实现虚实融合的过程的效率。

请参阅图2，图2是本申请实现虚实融合的方法另一实施例的流程示意图。

S21：获取到待融合区域的图像数据。

其中，待融合区域是需要通过虚实融合技术进行研究的区域。

本步骤中，先确定需要进行虚实融合的待融合区域，再通过全球卫星惯性导航系统、地面AR车以及空中无人机对待融合区域进行多角度、多位姿的拍摄，从而获取多位姿、多角度的多张图像数据，从而便于后续全方面、高精度地构建待融合区域的虚拟模型。

S22：通过神经网络对图像数据中待融合区域进行划分，得到待融合区域的各目标区域及其在图像数据上的坐标信息。

通过神经网络对每张图像数据中的待融合区域进行划分，得到待融合区域的各目标区域以及各目标区域在各图像数据上的坐标信息。坐标信息可以只整个目标区域在图像数据上的范围性的坐标信息。

其中，神经网络是在对待融合区域进行虚实融合前，通过训练样本对初始网络进行训练后得到的。其中，训练样本已被标注了各目标区域；其中，训练样本包括与待融合区域相关或类似的图像数据。训练时，响应于初始网络对训练样本的各目标区域的划分的准确率满足预设准确率，则停止训练，得到神经网络。具体地，当初始网络对训练样本的各目标区域的划分与训练样本已被标注各目标区域的标注划分之间的差距满足预设差距时，停止训练，得到神经网络。

本实施例的神经网络包括深度神经网络、卷积神经网络或循环神经网络等可以进行分类的神经网络。

S23：对图像数据进行特征提取，得到待融合区域的虚拟地图,基于图像数据和虚拟地图对待融合区域进行三维重建，得到待融合区域的虚拟模型。

获取到图像数据后，分别对各图像数据进行特征提取，得到各图像数据的特征点；再对各图像数据的特征点进行特征点匹配，得到各图像数据的特征点之间的对应关系；从而基于各图像数据的位姿以及对应关系对特征点进行三角化，以构建虚拟地图。

在一个具体的应用场景中，可以采用SIFT特征提取算子对各图像数据中的SIFT特征点进行提取，进而利用所提取到的特征点进行相互匹配，在剔除误匹配以后，得到各图像数据的特征点之间的对应关系。再基于各图像数据的位姿以及对应关系对特征点进行三角化，以初步构建待融合区域的三维虚拟地图。

获取虚拟地图后，对图像数据和虚拟地图进行深度估计，生成图像深度图，并将图像深度图融合成点云，并基于点云生成虚拟模型。在一个具体的应用场景中，基于图像数据的位姿对图像数据进行深度估计生成图像深度图，再将图像深度图融合成点云，并基于点云生成虚拟模型。在一个具体的应用场景中，当所有图像数据具备地面AR车以及空中无人机两个位姿时，分别基于地面AR车以及空中无人机各自所采集到的图像数据进行深度估计得到地面AR车以及空中无人机两个位姿对应的两个图像深度图。再分别将两个图像深度图融合成两个点云，并基于两个点云生成虚拟模型。在实际应用中，图像数据可以有多个位姿，本应用场景并不对图像数据的位姿进行限定。

其中，深度估计的方法可以采用Colmap或OpenMVS等方法进行。

在一个具体的应用场景中，可以分别对至少两个位姿的图像数据和虚拟地图进行深度估计，生成至少两个图像深度图，并分别将至少两个图像深度图对应融合成至少两个点云，再将至少两个点云进行整合，得到待融合区域的稠密点云，最后基于稠密点云生成包括稠密点云和网格的虚拟模型。具体地，可以依据稠密点云中各点的可见性及重投影误差两个指标来判断是否将各点作为网格顶点，从而构建Delaunay四面体，从而得到包括稠密点云和网格的虚拟模型。

S24：基于各目标区域及其在图像数据上的坐标信息以及图像数据的位姿确定各目标区域在虚拟模型中对应的位置信息。

得到了待融合区域的虚拟模型后，基于各目标区域及其在图像数据上的坐标信息以及图像数据的位姿确定各目标区域在虚拟模型中对应的位置信息。

在一个具体的应用场景中，可以基于各目标区域在至少两个位姿对应的图像数据上的坐标信息确定各相同目标区域在至少两个位姿对应的图像数据上的匹配关系，再基于匹配关系确定各目标区域在虚拟模型中对应的三维位置信息，基于三维位置信息在虚拟模型内的各目标区域对应添加虚拟内容。

在另一个具体的应用场景中，也可以通过2D-3D重投影建立虚拟模型上三维特征点与图像数据上二维特征点之间的匹配关系，在基于匹配关系与各目标区域在至少两个位姿对应的图像数据上的坐标信息确定各目标区域在虚拟模型中对应的三维位置信息。

S25：基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，以对待融合区域的各目标区域进行虚实融合。

获取到各目标区域在虚拟模型中对应的位置信息后，基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，从而完成待融合区域的各目标区域的虚实融合。具体地，可以基于三维位置信息在虚拟模型内的各目标区域对应添加三维虚拟特效。

在一个具体的应用场景中，可以将三维虚拟特效的中心点与各目标区域在虚拟模型中对应的三维位置信息中的目标点进行对齐，从而将三维虚拟特效添加到虚拟模型内的各目标区域的目标点上。

其中，在使三维虚拟特效的中心点与各目标区域的目标点进行对齐后，还可以对三维虚拟特效的大小和方位进行调整，以实现目标对象与目标点六自由度的对齐。其中，六自由度是指沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度。

通过上述方式，本实施例的实现虚实融合的方法通过神经网络对图像数据中待融合区域进行划分，得到待融合区域的各目标区域及其在图像数据上的坐标信息，再对图像数据进行特征提取，得到待融合区域的虚拟地图,基于图像数据和虚拟地图对待融合区域进行三维重建，得到待融合区域的虚拟模型，然后基于各目标区域及其在图像数据上的坐标信息以及图像数据的位姿确定各目标区域在虚拟模型中对应的位置信息，最后基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，以对待融合区域的各目标区域进行虚实融合，从而能够使得虚拟内容的添加能够基于位置信息准确地放置于对应的区域内，使得虚实融合的结果更加准确，并提高了实现虚实融合的过程的效率。

请参阅图3，图3是本申请实现虚实融合的方法又一实施例的流程示意图。

S31：获取到待融合区域的图像数据。

本实施例的待融合区域为包括地平线、天空区域以及地面区域的区域。其中。待融合区域的图像数据可以通过全球卫星惯性导航系统获取得到，可以通过地面AR车上的车载摄像头获取得到，可以通过无人机对待融合区域进行航拍得到，也可以通过上述所有拍摄设备获取得到，从而获得待融合区域的多位姿、多角度的图像数据，以便于后续基于图像数据进行待融合区域的构建，提高虚拟模型的构建精度。

S32：对图像数据中待融合区域进行划分，得到待融合区域的地平线、天空区域以及地面区域。

对各图像数据中待融合区域进行划分，得到待融合区域的地平线、天空区域以及地面区域。

S33：基于图像数据构建待融合区域的虚拟模型。

本步骤与前述实施例的步骤S13相同，请参阅前文，在此不再赘述。

S34：确定地平线、天空区域以及地面区域在虚拟模型中对应的位置信息。

构建了待融合区域的虚拟模型后，确定待融合区域的地平线、天空区域以及地面区域在虚拟模型中对应的位置信息。在一个具体的应用场景中，可以基于地平线、天空区域以及地面区域在各图像数据内的位置进而分别确定地平线、天空区域以及地面区域在虚拟模型中对应的位置信息。在另一个具体的应用场景中，也可以接受人工对虚拟模型中地平线、天空区域以及地面区域的划分，从而确定地平线、天空区域以及地面区域在虚拟模型中对应的位置信息。在另一个具体的应用场景中，还可以通过能够对三维数据进行划分的已训练好的深度神经网络对虚拟模型中的地平线、天空区域以及地面区域进行确定。

S35：基于位置信息在虚拟模型内的地平线、天空区域以及地面区域对应添加虚拟内容，以对待融合区域的地平线、天空区域以及地面区域进行虚实融合。

基于地平线、天空区域以及地面区域在虚拟模型中对应的位置信息在虚拟模型内的地平线、天空区域以及地面区域对应添加虚拟内容，以对待融合区域的各目标区域进行虚实融合。

在一个具体的应用场景中，可以在虚拟模型内的地面区域添加AR轨道特效，而在天空区域添加AR飞鸟特效等。具体地虚拟内容的添加在此不做限定。

构建完虚拟模型后，可以使增强现实交通装置在移动过程中实时获取待融合区域的新的图像数据；再对新的图像数据进行划分，得到新的图像数据的地平线、天空区域以及地面区域，最后基于虚拟模型分别在地平线、天空区域以及地面区域对应添加虚拟内容。其中，新的图像数据的各区域的划分方法与前述实施例相同，请参阅前文，在此不再赘述。

在一个具体的应用场景中，增强现实交通装置在移动过程中通过摄像头或传感器实时获取待融合区域的新的图像数据，然后对新的图像数据进行划分，得到新的图像数据的地平线、天空区域以及地面区域及其坐标信息，最后基于虚拟模型中各区域的位置信息以及新的图像数据中的各区域划分后的坐标信息分别在地平线、天空区域以及地面区域对应添加虚拟内容，从而实现可以在增强现实交通装置的移动过程中实现对新获取的图像数据的实时虚实融合，进而提高待融合区域的虚实融合的显示效果。

其中，增强现实交通装置可以包括装载有AR摄像头或相关AR技术的车辆、船只、飞行器等交通装置，从而使得人能够在增强现实交通装置上随着增强现实交通装置的移动实时虚实融合。

通过上述方式，本申请的实现虚实融合方法，使得虚拟内容的添加能够基于位置信息准确地放置于对应的地平线、天空区域以及地面区域内，使得虚实融合的结果更加准确，并提高了实现虚实融合的过程的效率，且本实施例还能够基于增强现实交通装置实现待融合区域的实时虚实融合。

请参阅图4，图4是本申请实现虚实融合的装置一实施例的结构示意图，本实施方式的实现虚实融合的装置40包括获取模块41、划分模块42，构建模块43、确定模块44以及融合模块45。

获取模块41用于获取到待融合区域的图像数据；划分模块42用于对图像数据中待融合区域进行划分，得到待融合区域的各目标区域；构建模块43用于基于图像数据构建待融合区域的虚拟模型；确定模块44用于确定各目标区域在虚拟模型中对应的位置信息；融合模块45用于基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，以对待融合区域的各目标区域进行虚实融合。

上述方案，先获取待融合区域的各目标区域，进而确定各目标区域在虚拟模型中对应的位置信息，使得虚拟内容的添加能够基于位置信息准确地放置于对应的区域内，使得虚实融合的结果更加准确，并提高了实现虚实融合的过程的效率。

在一些实施例中，构建模块43对图像数据进行特征提取，得到待融合区域的虚拟地图；基于图像数据和虚拟地图对待融合区域进行三维重建，得到待融合区域的虚拟模型。

区别于前述实施例，基于待融合区域的图像数据构建待融合区域的虚拟模型，从而提高虚拟模型的精度和准确性，且通过先构建虚拟地图再基于虚拟地图和图像数据进行三维重建，能够更进一步提高虚拟模型构建的效率和精度。

在一些实施例中，构建模块43对多张图像数据进行特征提取，得到各图像数据的特征点；对各图像数据的特征点进行特征点匹配，得到各图像数据的特征点之间的对应关系；基于各图像数据的位姿以及对应关系对特征点进行三角化，以构建虚拟地图。

区别于前述实施例，基于各图像数据的特征点进行特征点匹配，得到各图像数据的特征点之间的对应关系，再基于图像数据的位姿和对应关系进行三角化，来构建虚拟地图，能够实现三维虚拟地图的构建，并提高虚拟地图与真实待融合区域之间的相似性，并便于后续虚拟模型的构建。

在一些实施例中，构建模块43对图像数据和虚拟地图进行深度估计，生成图像深度图，并将图像深度图融合成点云；基于点云生成虚拟模型。

区别于前述实施例，通过对图像数据和虚拟地图进行深度估计，生成图像深度图，并将图像深度图融合成点云，最后基于点云生成虚拟模型，能够通过点云来提高虚拟模型的精度与立体度，进而使其与真实的待融合区域更加贴近。

在一些实施例中，构建模块43分别对至少两个位姿的图像数据和虚拟地图进行深度估计，生成至少两个图像深度图，并分别将至少两个图像深度图对应融合成至少两个点云；将至少两个点云进行整合，得到待融合区域的稠密点云；基于稠密点云生成包括稠密点云和网格的虚拟模型。

区别于前述实施例，通过生成至少两个位姿的点云，并将其进行融合，得到稠密点云，再在稠密点云的基础上生成包括稠密点云和网格的虚拟模型来进一步提高虚拟模型的精度和特征量，从而提高虚拟模型与真实的待融合区域之间的相似度，减少虚实融合不准确的情况发生。

在一些实施例中，划分模块42通过神经网络对图像数据中待融合区域进行划分，得到待融合区域的各目标区域及其在图像数据上的坐标信息；基于各目标区域及其在图像数据上的坐标信息以及图像数据的位姿确定各目标区域在虚拟模型中对应的位置信息。

区别于前述实施例，通过神经网络对图像数据进行划分，得到目标区域及其在图像数据上的坐标信息，再基于坐标信息以及图像数据的位姿确定各目标区域在虚拟模型中对应的位置信息，从而能够基于准确的坐标信息提高各目标区域在虚拟模型中对应的位置信息的精准度，减少融合错位的现象发生。

在一些实施例中，图像数据包括至少两个的位姿，确定模块44基于各目标区域在至少两个位姿对应的图像数据上的坐标信息确定各相同目标区域在至少两个位姿对应的图像数据上的匹配关系；基于匹配关系确定各目标区域在虚拟模型中对应的三维位置信息；再基于三维位置信息在虚拟模型内的各目标区域对应添加虚拟内容。

区别于前述实施例，基于各目标区域在至少两个位姿对应的图像数据上的坐标信息确定各相同目标区域在至少两个位姿对应的图像数据上的匹配关系；再基于匹配关系确定各目标区域在虚拟模型中对应的三维位置信息，从而能够基于三维位置信息在虚拟模型内的各目标区域对应添加虚拟内容，进而提高虚拟模型上各目标区域的准确划分。

在一些实施例中，融合模块45基于三维位置信息在虚拟模型内的各目标区域对应添加三维虚拟特效。

区别于前述实施例，基于三维位置信息在虚拟模型内的各目标区域对应添加三维虚拟特效，来提高三维虚拟特征对位的精准度。

在一些实施例中，获取到待融合区域的图像数据之前，包括：通过训练样本对初始网络进行训练；响应于初始网络对训练样本的各目标区域的划分的准确率满足预设准确率，则停止训练，得到神经网络。

区别于前述实施例，在进行虚实融合之前，通过训练样本对初始网络进行训练的到神经网络，能够提高神经网络对图像数据中各目标区域进行划分的准确率，并减少人工划分的工作量。

通过上述方式，本申请的虚实融合的装置先通过神经网络对图像数据中待融合区域进行划分，得到待融合区域的各目标区域，再基于图像数据构建待融合区域的虚拟模型，然后确定各目标区域在虚拟模型中对应的位置信息，最后基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，以对待融合区域的各目标区域进行虚实融合，从而能够利用神经网络获取待融合区域的各目标区域，进而确定各目标区域在虚拟模型中对应的位置信息，使得虚拟内容的添加能够基于位置信息准确地放置于对应的区域内，使得虚实融合的结果更加准确，并提高了实现虚实融合的过程的效率。

请参阅图5，图5是本申请实现虚实融合的装置另一实施例的结构示意图，本实施方式的实现虚实融合的装置50包括获取模块51、划分模块52，构建模块53、确定模块54以及融合模块55。

获取模块51用于获取到待融合区域的图像数据；划分模块52用于对图像数据中待融合区域进行划分，得到待融合区域的地平线、天空区域以及地面区域；构建模块53用于基于图像数据构建待融合区域的虚拟模型；确定模块54用于确定地平线、天空区域以及地面区域在虚拟模型中对应的位置信息；融合模块55用于基于位置信息在虚拟模型内的地平线、天空区域以及地面区域对应添加虚拟内容，以对待融合区域的地平线、天空区域以及地面区域进行虚实融合。

上述方案，使得虚拟内容的添加能够基于位置信息准确地放置于对应的地平线、天空区域以及地面区域内，使得虚实融合的结果更加准确，并提高了实现虚实融合的过程的效率。

在一些实施例中，基于位置信息在虚拟模型内的地平线、天空区域以及地面区域对应添加虚拟内容，以对待融合区域的地平线、天空区域以及地面区域进行虚实融合，包括：增强现实交通装置在移动过程中实时获取待融合区域的新的图像数据；对新的图像数据进行划分，得到新的图像数据的地平线、天空区域以及地面区域；基于虚拟模型分别在地平线、天空区域以及地面区域对应添加虚拟内容。

区别于前述实施例，通过增强现实交通装置在实时移动中对新的图像数据进行划分，进而进行虚拟融合能够在增强现实交通装置移动的过程中实时对待融合区域的各区域进行虚拟融合，实现交通、移动等多场景的实时虚拟融合。

基于同样的发明构思，本申请还提出了一种电子设备，该电子设备能够被执行以实现上述任一实施例的实现虚实融合的方法，请参阅图6，图6是本申请提供的电子设备一实施例的结构示意图，电子设备包括相互耦接的存储器62和处理器61，处理器61用于执行存储器62中存储的程序数据，以实现上述任一实现虚实融合的方法实施例的步骤。在一个具体的实施场景中，电子设备可以包括但不限于：微型计算机、服务器，此外，电子设备还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器61用于控制其自身以及存储器62以实现上述任一实现虚实融合的方法实施例的步骤。处理器61还可以称为CPU(Central Processing Unit，中央处理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。处理器61还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器61可以由集成电路芯片共同实现。

上述方案，能够快速且准确地实现待融合区域内各目标区域的虚实融合。

请参阅图7，图7为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质70存储有能够被处理器运行的程序数据71，程序数据71用于实现上述任一实现虚实融合的方法实施例的步骤。

上述方案，能够快速且准确地实现待融合区域内各目标区域的虚实融合。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种实现虚实融合的方法，其特征在于，包括：

获取到待融合区域的图像数据；

对所述图像数据中待融合区域进行划分，得到待融合区域的各目标区域；

基于所述图像数据构建所述待融合区域的虚拟模型；

确定所述各目标区域在所述虚拟模型中对应的位置信息；

基于所述位置信息在所述虚拟模型内的各目标区域对应添加虚拟内容，以对所述待融合区域的各目标区域进行虚实融合；

其中，所述基于所述图像数据构建所述待融合区域的虚拟模型，包括：

对所述图像数据进行特征提取，得到待融合区域的虚拟地图；所述图像数据包括至少两个的位姿；

分别对至少两个位姿的图像数据和所述虚拟地图进行深度估计，生成至少两个图像深度图，并分别将至少两个图像深度图对应融合成至少两个点云；

将至少两个点云进行整合，得到所述待融合区域的稠密点云；

基于所述稠密点云中各点的可见性以及重投影误差生成所述虚拟模型。

2.根据权利要求1所述的实现虚实融合的方法，其特征在于，所述对所述图像数据进行特征提取，得到待融合区域的虚拟地图，包括：

对多张所述图像数据进行特征提取，得到各图像数据的特征点；

对各图像数据的特征点进行特征点匹配，得到各图像数据的特征点之间的对应关系；

基于所述各图像数据的位姿以及对所述对应关系对所述特征点进行三角化，以构建所述虚拟地图。

3.根据权利要求1所述的实现虚实融合的方法，其特征在于，所述对所述图像数据中待融合区域进行划分，得到待融合区域的各目标区域，包括：

通过神经网络对所述图像数据中待融合区域进行划分，得到待融合区域的各目标区域及其在所述图像数据上的坐标信息；

所述在所述虚拟模型中确定所述各目标区域对应的位置信息，包括：

基于各目标区域及其在所述图像数据上的坐标信息以及所述图像数据的位姿确定所述各目标区域在所述虚拟模型中对应的位置信息。

4.根据权利要求3所述的实现虚实融合的方法，其特征在于，所述图像数据包括至少两个的位姿，

所述基于各目标区域及其在所述图像数据上的坐标信息以及所述图像数据的位姿确定所述各目标区域在所述虚拟模型中对应的位置信息，包括：

基于各目标区域在至少两个位姿对应的图像数据上的坐标信息确定各相同目标区域在至少两个位姿对应的图像数据上的匹配关系；

基于所述匹配关系确定所述各目标区域在所述虚拟模型中对应的三维位置信息；

所述基于所述位置信息在所述虚拟模型内的各目标区域对应添加虚拟内容，包括：

基于所述三维位置信息在所述虚拟模型内的各目标区域对应添加虚拟内容。

5.根据权利要求4所述的实现虚实融合的方法，其特征在于，所述基于所述三维位置信息在所述虚拟模型内的各目标区域对应添加虚拟内容，包括：

基于所述三维位置信息在所述虚拟模型内的各目标区域对应添加三维虚拟特效。

6.根据权利要求3-5任一项所述的实现虚实融合的方法，其特征在于，所述获取到待融合区域的图像数据之前，包括：

通过训练样本对初始网络进行训练；

响应于初始网络对训练样本的各目标区域的划分的准确率满足预设准确率，则停止训练，得到所述神经网络。

7.一种实现虚实融合的方法，其特征在于，包括：

获取到待融合区域的图像数据；

对所述图像数据中待融合区域进行划分，得到待融合区域的地平线、天空区域以及地面区域；

基于所述图像数据构建所述待融合区域的虚拟模型；

确定所述地平线、天空区域以及地面区域在所述虚拟模型中对应的位置信息；

基于所述位置信息在所述虚拟模型内的所述地平线、天空区域以及地面区域对应添加虚拟内容，以对所述待融合区域的地平线、天空区域以及地面区域进行虚实融合；

其中，所述基于所述图像数据构建所述待融合区域的虚拟模型，包括：

对所述图像数据进行特征提取，得到待融合区域的虚拟地图；所述图像数据包括至少两个的位姿；

分别对至少两个位姿的图像数据和所述虚拟地图进行深度估计，生成至少两个图像深度图，并分别将至少两个图像深度图对应融合成至少两个点云；

将至少两个点云进行整合，得到所述待融合区域的稠密点云；

基于所述稠密点云中各点的可见性以及重投影误差生成所述虚拟模型。

8.根据权利要求7所述的实现虚实融合的方法，其特征在于，所述基于所述位置信息在所述虚拟模型内的所述地平线、天空区域以及地面区域对应添加虚拟内容，以对所述待融合区域的地平线、天空区域以及地面区域进行虚实融合，包括：

增强现实交通装置在移动过程中实时获取待融合区域的新的图像数据；

对所述新的图像数据进行划分，得到所述新的图像数据的地平线、天空区域以及地面区域；

基于所述虚拟模型分别在所述地平线、天空区域以及地面区域对应添加虚拟内容。

9.一种实现虚实融合的装置，其特征在于，所述实现虚实融合的装置包括获取模块、划分模块，构建模块、确定模块以及融合模块；

所述获取模块用于获取到待融合区域的图像数据；

所述划分模块用于对所述图像数据中待融合区域进行划分，得到待融合区域的各目标区域；

所述构建模块用于基于所述图像数据构建所述待融合区域的虚拟模型；其中，所述基于所述图像数据构建所述待融合区域的虚拟模型，包括：对所述图像数据进行特征提取，得到待融合区域的虚拟地图；所述图像数据包括至少两个的位姿；分别对至少两个位姿的图像数据和所述虚拟地图进行深度估计，生成至少两个图像深度图，并分别将至少两个图像深度图对应融合成至少两个点云；将至少两个点云进行整合，得到所述待融合区域的稠密点云；基于所述稠密点云中各点的可见性以及重投影误差生成所述虚拟模型；

所述确定模块用于确定所述各目标区域在所述虚拟模型中对应的位置信息；

所述融合模块用于基于所述位置信息在所述虚拟模型内的各目标区域对应添加虚拟内容，以对所述待融合区域的各目标区域进行虚实融合。

10.一种实现虚实融合的装置，其特征在于，所述实现虚实融合的装置包括获取模块、划分模块，构建模块、确定模块以及融合模块；

所述获取模块用于获取到待融合区域的图像数据；

所述划分模块用于对所述图像数据中待融合区域进行划分，得到待融合区域的地平线、天空区域以及地面区域；

所述构建模块用于基于所述图像数据构建所述待融合区域的虚拟模型；其中，所述基于所述图像数据构建所述待融合区域的虚拟模型，包括：对所述图像数据进行特征提取，得到待融合区域的虚拟地图；所述图像数据包括至少两个的位姿；分别对至少两个位姿的图像数据和所述虚拟地图进行深度估计，生成至少两个图像深度图，并分别将至少两个图像深度图对应融合成至少两个点云；将至少两个点云进行整合，得到所述待融合区域的稠密点云；基于所述稠密点云中各点的可见性以及重投影误差生成所述虚拟模型；

所述确定模块用于确定所述地平线、天空区域以及地面区域在所述虚拟模型中对应的位置信息；

所述融合模块用于基于所述位置信息在所述虚拟模型内的所述地平线、天空区域以及地面区域对应添加虚拟内容，以对所述待融合区域的地平线、天空区域以及地面区域进行虚实融合。

11.一种电子设备，其特征在于，所述电子设备包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序数据，以实现如权利要求1至6任一项所述的实现虚实融合的方法或权利要求7-8所述的实现虚实融合的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序数据，所述程序数据能够被执行以实现如权利要求1至6任一项所述的实现虚实融合的方法或权利要求7-8所述的实现虚实融合的方法。

Images