CN114332356A

CN114332356A - 一种虚实画面结合方法和装置

Info

Publication number: CN114332356A
Application number: CN202111476116.9A
Authority: CN
Inventors: 郑培枫; 丁于成; 江帆
Original assignee: Beijing Xinaote Totem Technology Co ltd
Current assignee: Totem Vision Guangzhou Digital Technology Co ltd
Priority date: 2021-12-06
Filing date: 2021-12-06
Publication date: 2022-04-12

Abstract

本发明提供了一种虚实画面结合方法和系统，其中方法包括以下步骤：获取演播室实景画面和虚拟画面，并根据画面获得纹理贴图；在虚拟场景中设置屏幕三维模型；确定屏幕三维模型中网格节点对应的纹理贴图坐标；根据屏幕三维模型中网格节点对应的纹理贴图坐标，对纹理贴图和三维模型进行合成，得到目标画面。本发明通过将拍摄画面作为纹理应用于虚拟场景中的三维模型，利用三维引擎自动深度排序进行虚实合成，方便调节实景画面与虚拟画面之间的位置关系，可以使电视导演摆脱空间和道具制作等方面的限制，在广泛的想象空间中进行自由的创作，提高电视台对节目的创作与制作能力，降低节目制作的成本，提高了虚拟演播室系统的制作质量。

Description

一种虚实画面结合方法和装置

技术领域

本发明涉及电视节目制作技术领域，特别是涉及一种虚实画面结合方法和装置。

背景技术

虚拟演播室系统是近年来随着计算机技术的飞速发展和色键技术的不断改进而出现的一种新的电视节目制作系统，传统虚拟演播室产品中，主持人在蓝箱中进行拍摄，将画面进行抠像并与图形工作站渲染的三维背景进行合成，由于主持人在蓝箱中缺乏表演沉浸感、抠像合成方式无法为主持人提供灯光效果，随着演播室LED大屏的应用，目前已有用大屏取代蓝箱，将拍摄画面(实景)与前景虚拟植入画面(虚景)通过像素混叠的方法进行虚实合成的虚拟演播室技术方案，但是像素混叠的合成方法是将拍摄画面作为底层，将植入画面作为覆盖层，会导致虚实两层画面之间没有纵深关系，无法改变主持人与前景物体的前后混合关系。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种虚实画面结合方法、以及相应的一种虚实画面结合系统。

为了解决上述问题，一方面，本发明实施例公开了一种虚实画面结合方法，包括：

获取实景摄像机拍摄的演播室实景画面，并根据所述实景画面获得第一纹理贴图；

获取虚拟摄像机拍摄的演播室虚拟画面，并根据所述虚拟画面获得第二纹理贴图；

在虚拟场景中设置屏幕三维模型，所述虚拟摄像机设置在所述虚拟场景中；

确定所述屏幕三维模型中网格节点对应的纹理贴图坐标；

根据所述屏幕三维模型中网格节点对应的纹理贴图坐标，对所述第一纹理贴图、第二所述纹理贴图和所述屏幕三维模型进行合成，得到目标画面。

进一步地，所述确定所述屏幕三维模型中网格节点对应的纹理贴图坐标，包括:

获取与所述实景摄像机拍摄画面对应的第一摄像机坐标系；

根据所述第一摄像机坐标系对应的第一视矩阵与第一投影矩阵，计算所述屏幕三维模型对应的第一平面投影；

在所述虚拟场景中设置虚拟摄像机，获取与所述虚拟摄像机拍摄画面对应的第二摄像机坐标系；

根据所述第二摄像机坐标系对应的第二视矩阵与第二投影矩阵，计算所述屏幕三维模型对应的第二平面投影；

以所述屏幕三维模型左上角为原点，将所述第一平面投影和所述第二平面投影内各个像素的坐标进行归一化，并将归一化后的坐标作为被投影到所述像素的三维模型网格节点的纹理贴图坐标。

进一步地，所述确定所述屏幕三维模型中网格节点对应的纹理贴图坐标，还包括:

根据未定义纹理贴图坐标的第一网格节点，查找与所述第一网格节点相邻的已定义纹理贴图坐标的第二网格节点；

根据所述第二网格节点对应的第二纹理贴图坐标，通过坐标插值进行计算，得到所述第一网格节点对应的第一纹理贴图坐标。

进一步地，所述根据所述实景画面获得纹理贴图包括：

根据所述纹理贴图坐标对实景画面进行纹理源采样；

根据所述纹理贴图坐标对实景画面进行颜色采样；

将所述纹理源和颜色填充至所述纹理贴图坐标对应的网格节点。

进一步地，所述在虚拟场景中设置屏幕三维模型包括：

根据所述演播室中的实体屏幕的尺寸，在虚拟场景中设置尺寸匹配的屏幕三维模型。

进一步地，在所述虚拟场景中设置虚拟摄像机，包括：

根据所述实景摄像机的分辨率，在所述虚拟场景中设置分辨率匹配的虚拟摄像机。

另一方面，本发明还提供了一种虚实画面结合系统，应用于虚拟演播室，包括：

第一纹理贴图获取模块，用于获取实景摄像机拍摄的演播室实景画面，并根据所述实景画面获得第一纹理贴图；

第二纹理贴图获取模块，用于获取虚拟摄像机拍摄的演播室虚拟画面，并根据所述虚拟画面获得第二纹理贴图；

屏幕三维模型创建模块，用于在虚拟场景中设置屏幕三维模型，所述虚拟摄像机设置在所述虚拟场景中；

纹理贴图坐标获取模块，用于确定所述屏幕三维模型中网格节点对应的纹理贴图坐标；

目标画面合成模块，用于根据所述屏幕三维模型中网格节点对应的纹理贴图坐标，对所述第一纹理贴图、第二所述纹理贴图和所述屏幕三维模型进行合成，得到目标画面。

进一步地，所述纹理贴图坐标获取模块包括：

第一摄像机坐标系获取模块，用于获取与所述实景摄像机拍摄画面对应的第一摄像机坐标系；

第一平面投影计算模块，用于根据所述第一摄像机坐标系对应的第一视矩阵与第一投影矩阵，计算所述屏幕三维模型对应的第一平面投影；

第二摄像机坐标系获取模块，用于在所述虚拟场景中设置虚拟摄像机，获取与所述虚拟摄像机拍摄画面对应的第二摄像机坐标系；

第二平面投影计算模块，用于根据所述第二摄像机坐标系对应的第二视矩阵与第二投影矩阵，计算所述屏幕三维模型对应的第二平面投影；

第一纹理贴图坐标获取子模块，用于以所述屏幕三维模型左上角为原点，将所述第一平面投影和所述第二平面投影内各个像素的坐标进行归一化，并将归一化后的坐标作为被投影到所述像素的三维模型网格节点的纹理贴图坐标。

进一步地，所述纹理贴图坐标获取模块包括还包括:

第二纹理贴图坐标获取子模块，用于根据未定义纹理贴图坐标的第一网格节点，查找与所述第一网格节点相邻的已定义纹理贴图坐标的第二网格节点；

第三纹理贴图坐标获取子模块，用于根据所述第二网格节点对应的第二纹理贴图坐标，通过坐标插值进行计算，得到所述第一网格节点对应的第一纹理贴图坐标。

进一步地，所述第一纹理贴图获取模块包括：

第一纹理源采样模块，用于根据所述纹理贴图坐标对实景画面进行纹理源采样；

第一颜色采样模块，用于根据所述纹理贴图坐标对实景画面进行颜色采样；

第一填充模块，用于将所述纹理源和颜色填充至所述纹理贴图坐标对应的网格节点。

进一步地，所述第二纹理贴图获取模块包括：

第二纹理源采样模块，用于根据所述纹理贴图坐标对虚拟画面进行纹理源采样；

第二颜色采样模块，用于根据所述纹理贴图坐标对虚拟画面进行颜色采样；

第二填充模块，用于将所述纹理源和颜色填充至所述纹理贴图坐标对应的网格节点。

进一步地，所述屏幕三维模型的尺寸与演播室屏幕尺寸一致。

进一步地，所述虚拟场景中设置有虚拟摄像机，所述虚拟摄像机的分辨率与所述实景摄像机一致。

另一方面，本发明的实施例还提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现该虚实画面结合方法的步骤。

另一方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现该虚实画面结合方法的步骤。

本发明的技术方案通过获取演播室实景画面，并根据实景画面获得第一纹理贴图；获取演播室虚拟画面，并根据虚拟画面获得第二纹理贴图；在虚拟场景中设置屏幕三维模型；确定屏幕三维模型中网格节点对应的纹理贴图坐标；根据屏幕三维模型中网格节点对应的纹理贴图坐标，对第一纹理贴图、第二纹理贴图和三维模型进行合成，得到目标画面。本发明通过将实景拍摄画面、虚拟画面作为纹理应用于虚拟场景中的三维模型，利用三维引擎自动深度排序进行虚实合成，方便调节实景画面与虚拟画面之间的位置关系，可以使电视导演摆脱空间和道具制作等方面的限制，在广泛的想象空间中进行自由的创作，提高电视台对节目的创作与制作能力，降低节目制作的成本。

附图说明

图1为本发明实施例提供的一种虚实画面结合方法的步骤流程图；

图2为本发明实施例中XR虚拟演播室的一种联接方案示意图；

图3为本发明实施例提供的一种虚实画面结合装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为本发明实施例提供的一种虚实画面结合方法的步骤流程图，应用于虚拟演播室，该方法的技术方案整合了VR(虚拟现实)和AR(增强现实)的技术并进行了扩展，所以被称为XR技术(ExtendedReality，扩展现实)，以此技术构建的虚拟演播室产品被称为XR虚拟演播室，XR虚拟演播室是随着计算机技术飞速发展和色键技术不断改进而出现的一种新的电视节目制作系统。在虚拟演播室系统中，如图2所示，摄像机的工作状态信息传送给图形工作站，计算机依此得到前景物体与摄像机之间的距离和相对位置，可以计算出虚拟场景中的相对位置，该方法包括以下步骤：

步骤101、获取实景摄像机拍摄的演播室实景画面，并根据所述实景画面获得第一纹理贴图；

于本实施例中，实景摄像机用于拍摄主持人位于演播室大屏的实景画面，实景摄像机采集的图像以标准电视信号的形式转换为数字图像，并输入计算机作为纹理源，每幅数字图像在计算机内为M*N数组，M行N列的图像中的每一个元素(称为像素)的数值即是图像点的颜色值。在图像上定义直角坐标系m，n，每个像素的坐标(m，n)分别以该像素为单位的图像坐标系坐标。由于(m，n)只表示像素位于数组中的列数和行数，并没有用物理单位表示出该像素在图像中的位置。因此，需要再建立以物理单位(毫米)表示的图像坐标系。该图像坐标系以图像内某一点(摄像机光轴与图像平面的交点)为原点。X轴与Y轴分别与m，n轴平行。每个像素在X轴、Y轴方向上的物理尺寸为dX、dY，则可建立两个坐标系的关系。

摄影机坐标系的原点为摄像机光心，x轴与y轴与图像的X，Y轴平行，z轴为摄像机光轴，它与图像平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，构成的直角坐标系称为第一摄像机坐标系。建立第一摄像机坐标系后，对实景画面进行纹理源采样和颜色采样，获得与实景画面对应的纹理贴图。

步骤102、获取虚拟摄像机拍摄的演播室虚拟画面，并根据所述虚拟画面获得第二纹理贴图；

根据所述虚拟画面获得第二纹理贴图的方法跟上述步骤101类似，申请人在此进行简要说明，即虚拟摄像机采集的图像以标准电视信号的形式转换为数字图像，并输入计算机作为纹理源，建立与虚拟摄像机对应的第二摄像机坐标系后，对虚拟画面进行纹理源采样和颜色采样，获得与虚拟画面对应的第二纹理贴图。

需要说明的是，为方便XR虚拟演播室的应用和提高制作效率，于本实施例中，与虚拟画面对应的第二纹理贴图可从数据库调用，所述数据库根据演播室制作需求进行制作并存档备用。

步骤103、在虚拟场景中设置屏幕三维模型，所述虚拟摄像机设置在所述虚拟场景中；

根据演播室中的实体屏幕的尺寸，在虚拟场景中设置尺寸匹配的屏幕三维模型，于本实施例中，为了方便进行虚实画面的合成，将屏幕三维模型的尺寸设置为与实体屏幕的尺寸一致。同时，在在虚拟场景中设置虚拟摄像机，为了方便进行虚实画面的合成，虚拟摄像机的分辨率根据实景摄像机的分辨率进行设置，优选虚拟摄像机的分辨率和实景摄像机的分辨率相同。

步骤104、确定所述屏幕三维模型中网格节点对应的纹理贴图坐标；

根据第一摄像机坐标系对应的第一视矩阵与第一投影矩阵，计算所述屏幕三维模型对应的第一平面投影；获取与所述虚拟摄像机拍摄画面对应的第二摄像机坐标系；根据所述第二摄像机坐标系对应的第二视矩阵与第二投影矩阵，计算所述屏幕三维模型对应的第二平面投影；以所述屏幕三维模型左上角为原点，将所述第一平面投影和所述第二平面投影内各个像素的坐标进行归一化，并将归一化后的坐标作为被投影到所述像素的三维模型网格节点的纹理贴图坐标。具体的，确定屏幕三维模型中网格节点对应的纹理贴图坐标包括以下步骤：a、确定屏幕三维模型世界空间坐标系；b、根据视矩阵进行视角变换转为相机空间；c、根据投影矩阵进行透视投影变换转为投影空间；d、经过裁剪、视口变换后，获取平面投影像素的坐标值。

需要说明的是，上述坐标归一化过程：将像素坐标缩放到0和1之间，保留原始数据的分布，即以屏幕三维模型左上角为原点(0,0)，以像素横坐标除以分辨率宽度作为归一化横坐标，以像素纵坐标除以分辨率高度作为归一化纵坐标。如虚拟场景分辨率为(1920，1080)，某像素位置为(960，540)，则归一化坐标为(0.5,0.5)。

在一种可选实施例中，所述确定所述屏幕三维模型中网格节点对应的纹理贴图坐标，还包括:

例如：当需要定义第一网格节点对应的第一纹理贴图坐标时，已经与其相邻的第二网格节点对应的第二纹理贴图坐标为(0.61,0.45)，且坐标差值为(0，0.09)，可相应得到第一网格节点对应的第一纹理贴图坐标为(0.61，0.36)。

根据所述实景画面获得第一纹理贴图的过程包括：根据所述纹理贴图坐标对实景画面进行纹理源采样；根据所述纹理贴图坐标对实景画面进行颜色采样；将所述纹理源和颜色填充至所述纹理贴图坐标对应的网格节点。

根据所述虚拟画面获得第二纹理贴图的过程包括：根据所述纹理贴图坐标对虚拟画面进行纹理源采样；根据所述纹理贴图坐标对虚拟画面进行颜色采样；将所述纹理源和颜色填充至所述纹理贴图坐标对应的网格节点。

步骤105、根据所述屏幕三维模型中网格节点对应的纹理贴图坐标，对所述第一纹理贴图、第二所述纹理贴图和所述屏幕三维模型进行合成，得到目标画面。

本申请中实景画面和虚拟画面的合成采用三维引擎进行合成，常用的三维引擎包括D3D和OpenGL三维引擎，该三维引擎在合成过程中会根据距离远近自动计算多个物体的前后遮挡关系。于本实施例中，位于屏幕三维模型前的物体作为前景图元，位于屏幕三维模型后的物体作为背景图元，三维引擎依据深度排序自动进行正确的遮挡混合运算，完成虚实合成。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

为了实现上述虚实画面结合方法，本发明实施例还提供了一种虚实画面结合装置，包括：

第一纹理贴图获取模块301，用于获取实景摄像机拍摄的演播室实景画面，并根据所述实景画面获得纹理贴图；

第二纹理贴图获取模块302，用于获取虚拟摄像机拍摄的演播室虚拟画面，并根据所述虚拟画面获得纹理贴图；

屏幕三维模型创建模块303，用于在虚拟场景中设置屏幕三维模型，所述虚拟摄像机设置在所述虚拟场景中；

纹理贴图坐标获取模块304，用于确定所述屏幕三维模型中网格节点对应的纹理贴图坐标；

目标画面合成模块305，用于根据所述屏幕三维模型中网格节点对应的纹理贴图坐标，对所述第一纹理贴图、第二所述纹理贴图和所述屏幕三维模型进行合成，得到目标画面。

在一种可选实施例中，所述纹理贴图坐标获取模块304可以包括：

在一种可选实施例中，所述纹理贴图坐标获取模块304还可以包括:

进一步地，所述第一纹理贴图获取模块301可以包括：

进一步地，所述第二纹理贴图获取模块302可以包括：

在一种可选实施例中，所述屏幕三维模型的尺寸与演播室屏幕尺寸一致。

在一种可选实施例中，所述虚拟摄像机的分辨率与实景摄像机一致。

基于上述说明，本发明的技术方案通过获取演播室实景画面，并根据实景画面获得第一纹理贴图；获取演播室虚拟画面，并根据虚拟画面获得第二纹理贴图；在虚拟场景中设置屏幕三维模型；确定屏幕三维模型中网格节点对应的纹理贴图坐标；根据屏幕三维模型中网格节点对应的纹理贴图坐标，对第一纹理贴图、第二纹理贴图和三维模型进行合成，得到目标画面。本发明通过将实景拍摄画面、虚拟画面作为纹理应用于虚拟场景中的三维模型，利用三维引擎自动深度排序进行虚实合成，方便调节实景画面与虚拟画面之间的位置关系，可以使电视导演摆脱空间和道具制作等方面的限制，在广泛的想象空间中进行自由的创作，提高电视台对节目的创作与制作能力，降低节目制作的成本。

本发明实施例还提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述虚实画面合成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述虚实画面合成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种虚实画面合成方法和一种虚实画面合成装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种虚实画面结合方法，应用于虚拟演播室，其特征在于，包括：

确定所述屏幕三维模型中网格节点对应的纹理贴图坐标；

根据所述屏幕三维模型中网格节点对应的纹理贴图坐标，对所述第一纹理贴图、所述第二纹理贴图和所述屏幕三维模型进行合成，得到目标画面。

2.根据权利要求1所述的方法，其特征在于，所述确定所述屏幕三维模型中网格节点对应的纹理贴图坐标，包括:

获取与所述实景摄像机拍摄画面对应的第一摄像机坐标系；

获取与所述虚拟摄像机拍摄画面对应的第二摄像机坐标系；

3.根据权利要求2所述的方法，其特征在于，所述确定所述屏幕三维模型中网格节点对应的纹理贴图坐标，还包括:

4.根据权利要求1所述的方法，其特征在于，所述根据所述实景画面获得第一纹理贴图包括：

根据所述纹理贴图坐标对实景画面进行纹理源采样；

根据所述纹理贴图坐标对实景画面进行颜色采样；

5.根据权利要求1所述的方法，其特征在于，所述根据所述虚拟画面获得第二纹理贴图包括：

根据所述纹理贴图坐标对虚拟画面进行纹理源采样；

根据所述纹理贴图坐标对虚拟画面进行颜色采样；

6.根据权利要求1所述的方法，其特征在于，所述在虚拟场景中设置屏幕三维模型包括：

根据所述演播室中的实体屏幕的尺寸，在虚拟场景中设置尺寸匹配的屏幕三维模型；

所述虚拟摄像机设置在所述虚拟场景中，包括：

7.一种虚实画面结合系统，应用于虚拟演播室，其特征在于，包括：

8.根据权利要求7所述的系统，其特征在于，所述纹理贴图坐标获取模块包括：

9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。