CN115953298A - 基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法 - Google Patents

Abstract

本申请提供了一种基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法，包括如下步骤：步骤一：虚幻引擎接入实景视频；步骤二：虚幻引擎接入搭建完成的三维虚拟模型；步骤三：虚幻引擎实现实景视频和三维虚拟模型的数据配准；步骤四：基于虚幻引擎实现实景视频与三维虚拟模型视口的位置同步，实现实景视频与三维虚拟模型的虚实融合；本申请在虚拟世界里采用物理世界中实际拍摄的视频来替换虚拟场景，基于虚幻引擎实现实景视频和三维虚拟模型的数据配准、实现实景视频与三维虚拟模型视口的位置同步，实现实景视频与三维虚拟模型在虚拟空间内360°全视角的深度融合，大大提升了虚拟场景的真实感，带来了良好的沉浸式体验。

Description

基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法

技术领域

本发明涉及视频融合技术领域，特别涉及一种基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法。

背景技术

视频融合技术是虚拟现实技术的一个分支，或者说是虚拟现实的一个发展阶段。三维视频融合技术是指把一个或多个由摄像机图像序列视频和与之相关的三维虚拟场景加以匹配和融合，生成一个新的关于此场景的动态虚拟场景或模型，实现虚拟场景与实时视频的融合，即：虚实融合。虚实融合是把视频画面精确融合显示在三维模型对应的空间真实地理坐标位置，这种融合不会随着对三维模型的倾斜、旋转等操作而产生错位，充分发挥出三维场景的直观特点。三维视频融合技术，可依托于单独的三维引擎，实现小范围或局部的三维场景与视频等资源的融合应用，也可依托于三维地理信息系统(3D GIS)，实现全球广域范围内的三维地理信息可视化虚实融合应用。

虚幻引擎(Unreal Engine，简称UE)是Epic Game公司开发的一款游戏引擎，虚幻引擎以其强大的实时渲染能力、高真实感的画质效果、开发者友好的编辑工具、体系完备的功能模块成为最为顶尖的游戏引擎之一。虚幻引擎不仅在游戏制作领域占有绝大多数的市场，而且广泛应用在高精度仿真、工业设计、虚拟现实、电影制作等诸多行业和领域之中。

本申请旨在于提供一种基于虚幻引擎的实景视频与三维模型数据的虚实融合方法，在撰写前，申请对现有技术进行详细的检索，检索到最接近的现有技术如下：

现有技术1：申请号为201910976157.0的一种三维视频融合拼接方法，该申请提到了一种技术方案，包括如下步骤：

三维立体模型建模：创建一个现实影像的、精确的三维立体模型，作为三维视频融合拼接系统的基础数据，支持多种输入，可以展示的数据包括影像数据、高程数据、矢量数据、三维模型数据，实现三维场景真实感实时渲染；

视频点位规划：在三维模型中任意拖动摄像机位置和姿态，清晰显示摄像机覆盖范围并准确界定盲区范围，科学计算摄像头覆盖视角及静态数据信息可视化展示；

海量视频接入与关联调度：整合管理区域内全部监控视频资源，从多个视频管理平台中获取分镜头视频流，将零碎的分镜头视频信息在时间和空间上深度融合，在三维立体模型中以视标的形式关联调度，实现视频资源的统一高效管理；

重点区域三维视频融合监控：将处在不同位置、碎片化的分镜头监控视频实时融合到三维场景中，实现对监控区域范围整体大场景的实时全局监控；

重点车辆管控：重点区域一旦出现紧急警情，指挥人员快速锁定关注目标，并选择最佳视角的实时视频以获得重要信息，尽快做出判断和响应。

该申请中通过三维视频融合拼接方法，解决海量离散视频既“看不过来”又“看不太懂”问题，将监控区域的海量视频，融合拼接到三维模型中，形成360度立体全景通透监控，能满足安保对监控区域“看高看低、看全看细”的核心诉求，同时配合安防与应急预案沙盘部署与推演，有效提高综合指挥调度效率，及时准确统一指挥处理突发事件。

该申请涉及到将监控区域的海量视频，融合拼接到三维模型中，形成360度立体全景通透监控，但是该方案中，未对视频和三维模型的数据进行配准，未对其的视口进行位置同步，也未对融合的效果进行优化；从而使该方案中的融合度较差、视频图像会有一定程度的畸变，未能实现真实物理世界与虚拟数字世界的深度融合，降低虚拟场景的真实感。

因此，需要提供一种新的技术方案来解决上述技术问题。

发明内容

本申请提供了一种基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法，包括如下步骤：

步骤一：虚幻引擎接入实景视频，用于完成虚实融合中实景部分的搭建；

步骤二：虚幻引擎接入搭建完成的三维虚拟模型，用于完成虚实融合中虚拟部分的搭建；

步骤三：虚幻引擎实现实景视频和三维虚拟模型的数据配准；

步骤四：基于虚幻引擎实现实景视频与三维虚拟模型视口的位置同步，实现实景视频与三维虚拟模型的虚实融合。

作为一种优选方案，还包括步骤五：通过虚幻引擎对虚实融合的效果进行优化。

作为一种优选方案，所述步骤一包括如下步骤：

步骤1.1：虚幻引擎根据不同的实景视频建立不同的视频源(Media source)，视频源通过虚幻引擎的媒体播放组件(Media Player Component)进行播放，同时生成相应的媒体纹理(Media texture)；

步骤1.2：通过媒体纹理建立新的材质，同时在虚幻引擎编辑器中的视口的虚拟场景世界中放置面片静态网格体，调整面片静态网格体的尺寸参数，使其覆盖虚幻引擎编辑器中的视口，然后在新的材质添加到屏幕位置(Screen Position)节点，并将新的材质应用于面片静态网格体上，确保实景视频始终面向虚幻引擎编辑器中的视口，完成视频虚实结合中实景部分的搭建。

作为一种优选方案，所述步骤二包括如下步骤：

步骤2.1：将三维虚拟模型导入虚幻引擎编辑器中，并将三维虚拟模型放入虚幻引擎的虚拟场景世界中，确保通过虚拟场景世界视口可以看到实景视频和三维虚拟模型；

步骤2.2：在虚幻引擎编辑器中为三维虚拟模型创建相关材料，完成视频虚实结合中的虚拟部分的搭建。

作为一种优选方案，所述实景视频和三维虚拟模型的数据配准包括虚拟场景摄像机视口的创建、实景视频坐标标定，基于虚拟场景摄像机视口的创建、实景视频坐标标定实现实景视频和三维虚拟模型的数据配准。

作为一种优选方案，所述虚拟场景摄像机视口的创建的过程包括如下步骤：

步骤3.1：在虚拟场景世界中放置一个虚拟场景摄像机，将虚拟场景摄像机视口面向步骤1.2中虚拟场景世界中的面片静态网格体；

步骤3.2：通过虚幻引擎编辑器中的空演员对象将面片静态网格体和虚拟场景摄像机进行绑定，面片静态网格体将会跟随虚拟场景摄像机移动，确保面片静态网格体显示的实景视频始终在虚拟场景摄像机视口内。

作为一种优选方案，所述实景视频坐标标定包括如下步骤：

步骤3.3：采用内参数标定算法求解实景视频采集设备内的参数；

步骤3.4：通过三维虚拟模型中点的世界坐标和纹理矩阵公式(1)得到三维虚拟模型和实景视频坐标的关系，通过实景视频采集设备内参数得到实景视频的拍摄角度和位置信息；

其中，(X₀，Y₀，Z₀，W₀)为三维虚拟模型中某一点D的世界坐标；(s，t，r，q)为与D点对应的纹素的纹理坐标d；

ModelviewMatrix(模型视图矩阵)定义了虚拟场景摄像机在世界坐标系中的位置和姿态，是一个旋转矩阵与平移矩阵的乘积；

Projective Matrix(投影矩阵)定义了一个透视变换，在三维渲染里面透视变换用一个视景体来直观的表示，可以用函数glFrustum(left，right，bottom，top，near，far)定义一个视景体，Scale and Bias Matrix用于将计算出的坐标[-1，1]变换到纹理坐标[0，1]的范围内。

作为一种优选方案，所述实景视频和三维虚拟模型的数据配准的具体过程为：

将步骤3.4中得到的三维虚拟模型和实景视频坐标的关系以及实景视频的拍摄角度和位置信息，计算得到三维虚拟模型在实景视频中某点所对应的三维坐标，将三维虚拟模型与该三维坐标进行匹配，便完成了实景视频与虚拟场景世界的虚拟场景摄像机视口视角的匹配。

作为一种优选方案，所述步骤四具体包括以下步骤：

步骤4.1：通过实景视频采集设备内参数得到实景视频每一帧的拍摄角度和位置信息，将每一帧的拍摄角度和位置信息使用虚幻引擎链接起来形成虚拟场景摄像机位置和角度的连续运动轨迹；

步骤4.2：将上述运动轨迹的数据导入到虚拟场景摄像机视口位置控制参数中，实现虚拟场景摄像机视口与虚拟场景世界视口的同步，实现虚拟三维视口与实景二维视口角度的同步，实现实景视频与三维虚拟模型的虚实融合。

作为一种优选方案，所述效果优化包括处理实景视频与三维虚拟模型之间的前后遮挡关系和真实天气环境的还原及模拟。

作为一种优选方案，所述处理前后遮挡关系包括如下步骤：

步骤5.1a：确定三维虚拟模型在实景视频中的地理位置，得出三维虚拟模型与实景视频中物体的前后关系，并确定遮挡三维虚拟模型的实景视频中的前景物体，通过前景方法、中景方法、后景方法中的任一种方法获得实景视频前景物体的蒙版(Mask)，并导出和实景视频时间轴同步的蒙版视频文件；

步骤5.2a：通过步骤1.1和步骤1.2的方法将蒙版视频文件导入虚拟场景世界，生成有遮挡效果的蒙版面片静态网格体，并通过步骤3.2的方式将蒙版面片静态网格体绑定到虚拟场景摄像机，蒙版面片静态网格体会跟随虚拟场景摄像机位置和角度的移动变化，确保蒙版面片静态网格体显示的视频始终在虚拟场景摄像机的视口内；

步骤5.3a：设置蒙版面片静态网格体在虚拟场景世界的位置，将蒙版面片静态网格体放置在三维虚拟模型与虚拟场景摄像机之间的任意位置，实现视频融合中三维虚拟模型与实景视频中的前景物体的前后遮挡关系。

作为一种优选方案，所述真实天气环境的还原及模拟包括如下步骤：

步骤5.1b：下载插件Ultra dynamic weather并导入到虚幻引擎中，将Ultradynamic weather中管控天气的虚幻引擎编辑器蓝图Actor置入虚拟场景世界中，在虚幻引擎编辑器中蓝图的控制面板实现天气切换；

步骤5.2b：在步骤2.2编辑的三维虚拟模型材质节点中添加Ultra dynamicweather材质函数，并与三维虚拟模型本身的材质节点相连接，实现天气效果在三维物体上的交互。

本申请在虚拟世界里采用物理世界中实际拍摄的视频来替换虚拟场景，通过虚幻引擎实现实景视频和三维虚拟模型的数据配准，且基于虚幻引擎实现实景视频与三维虚拟模型视口的位置同步，实现实景视频与三维虚拟模型的虚实融合，实现实景视频与三维虚拟模型在虚拟空间内360°全视角的融合，同时解决了实景视频坐标标定、三维虚拟模型数据配准、视频图像畸变、实景视频和三维虚拟模型数据前后遮挡关系的处理、天气模拟等系列难点，最终实现了真实物理世界与虚拟数字世界的深度融合，大大提升了虚拟场景的真实感，带来了良好的沉浸式体验。

附图说明

图1本申请的流程图；

图2是本申请的标定板的示意图；

图3是本申请的实施例的原理图；

图4是本申请的视频和三维模型视口配准示意图；

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅是本申请一部分的实施例，而不是全部的实施例，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围，即此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

实施例一：

本实施例中的二维实景视频可以是无人机航拍视频或者监控视频，图3为本案例的技术模型；

以下为基于无人机拍摄的实景视频的应用实例——基于虚幻引擎的某建筑施工二维实景视频与三维建筑模型的虚实融合方法：

步骤一：虚幻引擎接入无人机采集的二维实景视频；

具体为：步骤1.1：将二维实景视频视频导入虚幻引擎编辑器中，在虚幻引擎编辑器中建立视频源(Media source)，然后将视频源位置指定为预先准备的施工二维实景视频，施工二维实景视频通过虚幻引擎自带的媒体播放组件(Media Player Component)进行播放的同时生成相应的媒体纹理(Media texture)；

步骤1.2：对施工二维实景视频进行视口设置：通过步骤1.1中生成的媒体纹理建立新的材质A，同时在虚幻引擎编辑器中的视口中放置面片静态网格体并附上材质A，调整面片静态网格体的尺寸参数为16：9(因为该实例无人机视频为16：9，具体参数可根据实际项目进行更改)，并使面片静态网格体尺寸大小可以覆盖虚幻引擎编辑器中的视口，最后在面片静态网格体的材质A中添加到屏幕位置(Screen Position)节点，可以确保在任何角度下施工二维实景视频始终面向虚幻引擎编辑器中视口；

步骤二：三维虚拟模型的搭建，本实施例中的三维虚拟模型为施工建筑的三维建筑模型：

具体为：步骤2.1：通过三维软件搭建施工建筑的三维建筑模型，将施工建筑的三维建筑模型导入虚幻引擎编辑器中，并将施工建筑的三维建筑模型放入虚拟场景世界，确保通过虚拟场景世界视口可以看到步骤1中的施工二维实景视频以及施工建筑的三维建筑模型；

步骤2.2：在虚幻引擎编辑器中为施工建筑的三维建筑模型创建相关材质B，完成视频虚实融合中的虚拟部分的搭建；

步骤三：施工二维实景视频和施工建筑的三维建筑模型的视口配准，主要包括虚拟场景摄像机视口的创建、施工二维实景视频坐标标定，基于虚拟场景摄像机视口的创建、施工二维实景视频坐标标定实现施工二维实景视频和施工建筑的三维建筑模型的视口配准；

具体地：所述虚拟场景摄像机视口的创建的过程包括如下步骤：

步骤3.1：建立虚拟场景摄像机视口：需要在虚拟场景世界中放置一个虚拟场景摄像机，将虚拟场景摄像机视口面向步骤1中的面片静态网格体；

步骤3.2：通过虚幻引擎编辑器中的空演员对象将面片静态网格体和虚拟场景摄像机进行绑定，面片静态网格体将会跟随虚拟场景摄像机视口移动，确保虚拟场景摄像机在任何角度下，面片静态网格体显示的施工二维实景视频始终在虚拟场景摄像机视口内；

具体地：所述施工二维实景视频坐标标定包括如下步骤：

步骤3.3：采用内参数标定算法求解无人机的参数；内参数标定算法是视觉传感器消除镜头畸变所必需完成的一个步骤，尤其是无人机视频镜头为了获得更大的视场和更长的景深，通常将镜头制作的更加弯曲，从而引入了严重的桶形畸变，因而必须对这些畸变进行校正才能充分利用所采集的图像；使用张正友标定法从不同的方向对标定板进行图像提取，标定板如图2所示；通过Harris角点提取算法对每幅图像进行角点提取，并且应用提取的角点对方程进行求解，计算出无人机的摄像机设备的内参数；

步骤3.4：在施工二维实景视频中选择一个需要匹配施工建筑的三维建筑模型的点，施工建筑的三维建筑模型的点的纹理坐标为d(s，t，r，q)，通过无人机实景镜头内参数得到施工二维实景视频的拍摄角度和位置信息，以施工二维实景视频的拍摄角度和位置信息确定虚拟场景摄像机矩阵；

其中，(X₀，Y₀，Z₀，W₀)为三维虚拟模型中某一点D的世界坐标；(s，t，r，q)为与D点对应的纹素的纹理坐标d；从式(1)可以看出纹理矩阵由三个矩阵串联构成；ModelviewMatrix(模型视图矩阵)定义了虚拟场景摄像机在世界坐标系中的位置和姿态，是一个旋转矩阵与平移矩阵的乘积；Projective(Frustum)Matrix(投影矩阵)定义了一个透视变换，在三维渲染里面透视变换可用一个视景体来直观的表示，可以用函数glFrustum(left，right，bottom，top，near，far)定义一个视景体，Scale and Bias Matrix用于将计算出的坐标[-1，1]变换到纹理坐标[0，1]的范围内。

步骤3.5：通过公式(2)(3)(4)(5)(6)获得投影矩阵(Projective(Frustum)Matrix)。

其中：(2)是根据相似三角形的关系得到的公式，由公式(2)，可得到公式(3)，(4)，类似地可得到公式(5)，(6)；

施工二维实景视频图像的高度和宽度分别为height和width，长为top的线段被映射成长度为v0的线段，而长为-bottom的线段被映射成长度为height-v₀的线段；

表示视景体近裁面距离与无人机的摄像机相距长度的比，

表示视景体近裁面距离与无人机的摄像机的镜头宽比。

将步骤3.4和步骤3.5中得到的参数代入到纹理矩阵式1中，可以反求出施工建筑的三维建筑模型在施工二维实景视频中某点d所对应三维坐标D(X₀，Y₀，Z₀，W₀)，同理再重复3.3—3.4步骤，确定另一个三维建筑模型点D₂(对应二维视频中的点d₂)的坐标，便可以由两点确定施工建筑的三维建筑模型在虚拟场景世界中与施工二维实景视频相匹配的位置，如图4所示；

步骤四：施工二维实景视频与施工建筑的三维建筑模型视口的位置同步：

具体为：步骤4.1：通过无人机实景镜头内参数得到施工二维实景视频每一帧的拍摄角度和位置信息，将每一帧的拍摄角度和位置信息通过虚幻引擎中的Sequencer关卡序列功能链接起来，形成虚拟场景摄像机位置和角度的连续运动轨迹；

步骤4.2：将上述形成的运动轨迹的数据导入到虚拟场景摄像机视口位置控制参数中，实现虚拟场景摄像机视口与虚拟场景世界视口的同步，即实现虚拟三维视口与实景二维视口角度的同步，此时三维虚拟场景摄像机的运动轨迹与实景视频拍摄时的真实摄像机视角和位置保持一致，完成施工二维实景视频与三维建筑模型的虚实融合。

实施例二：

本实施例提供了一种优化方案，对虚实融合的效果进行优化，具体地：

还包括步骤五：虚幻引擎对施工二维实景视频与三维建筑模型的虚实融合的效果进行优化，主要包括处理视频融合中的前后遮关系，以及对真实天气环境的还原及模拟。

处理视频融合中的前后遮挡关系：

步骤5.1a：确定施工建筑的三维建筑模型在施工二维实景视频中的地理位置，可以得出施工建筑的三维建筑模型与施工二维实景中物体的前后关系，并确定可能遮挡施工建筑的三维建筑模型的前景物体为数座施工塔吊，通过前景方法、中景方法、后景方法中的任一种方法获得施工塔吊在实景视频中的蒙版(Mask)，并导出为和施工二维实景视频时间轴同步的蒙版视频文件；

步骤5.2a：通过步骤1.1和1.2的方法将蒙版视频文件导入虚拟场景世界，生成有遮挡效果的蒙版面片静态网格体，并通过步骤3.2方式将蒙版面片静态网格体绑定到虚拟场景摄像机，此时蒙版面片静态网格体会跟随虚拟场景摄像机位置移动和角度变化。

步骤5.3a：设置蒙版面片静态网格体在虚拟场景世界的位置，将塔吊的蒙版面片静态网格体放置在施工建筑的三维建筑模型与虚拟场景摄像机之间的任意位置，即可实现视频融合中施工建筑的三维建筑模型与施工二维实景视频中的施工塔吊前后遮挡关系。

真实天气环境的还原及模拟：

步骤5.1b：通过插件Ultra dynamic weather系统实现在虚拟场景世界中真实天气环境的还原及模拟，具体为：将插件Ultra dynamic weather中的控制天气的虚幻引擎编辑器蓝图Actor置入虚拟场景世界中，在虚幻引擎编辑器中蓝图的控制面板来切换天气；

步骤5.2b：在步骤2.2中编辑的施工建筑的三维建筑模型材质节点中添加Ultradynamic weather材质函数，并与施工建筑的三维建筑模型本身的材质节点相连接。

本实施例基于虚幻引擎的某建筑施工二维实景视频与三维施工建筑模型的虚实融合方法，施工二维实景视频与三维施工建筑模型融合后，建筑为三维建筑模型，施工场景为视频，建筑前的塔吊为视频前景物体，旋转不同视角，融合图像未发生畸变，融合效果良好。

本申请在虚拟世界里采用物理世界中实际拍摄的视频来替换虚拟场景，通过虚幻引擎实现实景视频和三维虚拟模型的数据配准，且基于虚幻引擎实现实景视频与三维虚拟模型视口的位置同步，实现实景视频与三维虚拟模型的虚实融合，实现实景视频与三维虚拟模型在虚拟空间内360°全视角的融合，同时解决了实景视频坐标标定、三维虚拟模型数据配准、视频图像畸变、实景视频和三维虚拟模型数据前后遮挡关系的处理、天气模拟等系列难点，最终实现了真实物理世界与虚拟数字世界的深度融合，大大提升了虚拟场景的真实感，带来了良好的沉浸式体验。

需要特别指出的是，上述各个实施例中的各个组件或步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换形成的组合也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。

以上是本发明公开的示例性实施例，上述本发明实施例公开的顺序仅仅为了描述，不代表实施例的优劣；但是应当注意，以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子，在不背离权利要求限定的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包括在本发明实施例的保护范围之内。

Claims (10)

1.一种基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法，其特征在于，包括如下步骤：

步骤一：虚幻引擎接入实景视频，用于完成虚实融合中实景部分的搭建；

步骤二：虚幻引擎接入搭建完成的三维虚拟模型，用于完成虚实融合中虚拟部分的搭建；

步骤三：虚幻引擎实现实景视频和三维虚拟模型的数据配准；

步骤四：基于虚幻引擎实现实景视频与三维虚拟模型视口的位置同步，实现实景视频与三维虚拟模型的虚实融合。

2.根据权利要求1所述的一种基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法，其特征在于，还包括步骤五：通过虚幻引擎对虚实融合的效果进行优化。

3.根据权利要求2所述的一种基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法，其特征在于，所述步骤一包括如下步骤：

步骤1.1：虚幻引擎根据不同的实景视频建立不同的视频源，视频源通过虚幻引擎的媒体播放组件进行播放，同时生成相应的媒体纹理；

步骤1.2：通过媒体纹理建立新的材质，同时在虚幻引擎编辑器中的视口中放置面片静态网格体，调整面片静态网格体的尺寸参数，使其覆盖虚幻引擎编辑器中的视口，然后在新的材质添加到屏幕位置节点，并将新的材质应用于面片静态网格体上，确保实景视频始终面向虚幻引擎编辑器中的视口，完成视频虚实结合中实景部分的搭建。

4.根据权利要求2所述的一种基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法，其特征在于，所述步骤二包括如下步骤：

步骤2.1：虚幻引擎导入搭建好的三维虚拟模型，并将导入的三维虚拟模型放入虚幻引擎的虚拟场景世界中，通过虚拟场景世界视口可以看到实景视频和三维虚拟模型；

步骤2.2：在虚幻引擎编辑器中为三维虚拟模型创建相关材料，完成视频虚实结合中的虚拟部分的搭建。

5.根据权利要求3所述的一种基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法，其特征在于，所述实景视频和三维虚拟模型的数据配准包括虚拟场景摄像机视口的创建、实景视频坐标标定，基于虚拟场景摄像机视口的创建、实景视频坐标标定，实现实景视频和三维虚拟模型的数据配准。

6.根据权利要求5所述的一种基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法，其特征在于，所述虚拟场景摄像机视口的创建的过程包括如下步骤：

步骤3.1：在虚拟场景世界中放置一个虚拟场景摄像机，将虚拟场景摄像机视口面向步骤1.2中的面片静态网格体；

步骤3.2：通过虚幻引擎编辑器中的空演员对象将面片静态网格体和虚拟场景摄像机进行绑定，面片静态网格体将会跟随虚拟场景摄像机移动，确保面片静态网格体显示的实景视频始终在虚拟场景摄像机视口内。

7.根据权利要求5所述的一种基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法，其特征在于，所述实景视频坐标标定包括如下步骤：

步骤3.3：采用内参数标定算法求解实景视频采集设备内的参数；

步骤3.4：通过三维虚拟模型中点的世界坐标和纹理矩阵公式得到三维虚拟模型和实景视频坐标的关系，通过实景视频采集设备内参数得到实景视频的拍摄角度和位置信息。

8.根据权利要求5所述的一种基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法，其特征在于，所述步骤四具体包括以下步骤：

步骤4.1：通过实景视频采集设备内参数得到实景视频每一帧的拍摄角度和位置信息，将每一帧的拍摄角度和位置信息使用虚幻引擎链接起来形成虚拟场景摄像机位置和角度的连续运动轨迹；

步骤4.2：将上述运动轨迹的数据导入到虚拟场景摄像机的视口位置控制参数中，实现虚拟场景摄像机视口与虚拟场景世界视口的同步，实现实景视频与三维虚拟模型的虚实融合。

9.根据权利要求6所述的一种基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法，其特征在于，所述效果优化包括处理实景视频与三维虚拟模型之间的前后遮挡关系，具体包括如下步骤：

步骤5.1a：确定三维虚拟模型在实景视频中的地理位置，得出三维虚拟模型与实景视频中物体的前后关系，并确定遮挡三维虚拟模型的实景视频中的前景物体，通过前景方法、中景方法、后景方法中的任一种方法获得实景视频前景物体的蒙版，并导出和实景视频时间轴同步的蒙版视频文件；

步骤5.2a：通过步骤1.1和步骤1.2的方法将蒙版视频文件导入虚拟场景世界，生成有遮挡效果的蒙版面片静态网格体，并通过步骤3.2的方式将蒙版面片静态网格体绑定到虚拟场景摄像机，蒙版面片静态网格体会跟随虚拟场景摄像机位置和角度的移动变化，确保蒙版面片静态网格体显示的视频始终在虚拟场景摄像机视口内；

步骤5.3a：设置蒙版面片静态网格体在虚拟场景世界的位置，将蒙版面片静态网格体放置在三维虚拟模型与虚拟场景摄像机之间的任意位置，实现视频融合中三维虚拟模型与实景视频中的前景物体的前后遮挡关系。

10.根据权利要求4所述的一种基于虚幻引擎的实景视频与三维虚拟模型的虚实融合方法，其特征在于，所述效果优化包括真实天气环境的还原及模拟，具体包括如下步骤：

步骤5.1b：下载插件Ultra dynamic weather并导入到虚幻引擎中，将Ultra dynamicweather中管控天气的虚幻引擎编辑器蓝图Actor置入虚拟场景世界中，在虚幻引擎编辑器中蓝图的控制面板实现天气切换；

步骤5.2b：在步骤2.2编辑的三维虚拟模型材质节点中添加Ultra dynamic weather材质函数，并与三维虚拟模型本身的材质节点相连接，实现天气效果在三维物体上的交互。

Images