CN112689064B - 视频画面处理方法和装置 - Google Patents

Abstract

本发明提供了一种视频画面处理方法和装置，其中，所述视频画面处理方法包括：在制作三维虚拟背景时，将模拟蓝箱的三维模型确定为虚拟蓝箱物体；将所述虚拟蓝箱物体的自定义深度模板缓冲值设置为第一预设值；将所述虚拟蓝箱物体设置为不可见；在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景；将所述目标渲染背景传递至色键器，以使所述色键器依据所述目标渲染背景和对前景视频画面进行处理，生成目标视频画面。本发明提供的视频画面处理方法，能够减轻图形工作站的带宽压力、减少其资源消耗。

Description

视频画面处理方法和装置

技术领域

本发明涉及视频处理技术领域，特别是涉及一种视频画面处理处理方法和装置。

背景技术

在虚拟演播室产品中，主持人或嘉宾会在实际的蓝箱中进行拍摄,将画面传入色键器，由色键器进行抠像并于图形工作站渲染并传来的虚边三维背景合成，达到虚实结合的效果。由于场地的限制，实际蓝箱的尺寸可能小于虚拟背景，当摄像机推拉摇移出实际蓝箱边缘时，会有如天花板、墙壁等蓝箱以外的进入镜头画面，导致色键抠像合成时会将这类景物也加入前景中。

目前主要采用无限蓝箱处理方案解决该技术问题。现有的无限蓝箱处理方案的工作原理为：图形工作站生成虚拟背景时会指定计算后的蓝箱区域的阿尔法值为色键器的过滤值，蓝箱区域的阿尔法值与其他区域的阿尔法值不同，由色键器依据阿尔法值将前景视频图像中非蓝箱内的景物滤除，再与背景混合。具体流程如图1所示，图形工作站渲染一帧背景图像，再由图形工作站渲染一个阿尔法值，图形工作站再依据阿尔法值对该帧背景图像进行处理，然后将渲染得到的背景图像交给色键器处理，由色键器依据阿尔法值将前景视频图像中非蓝箱内的景物滤除，再与背景图像混合。

这种无限蓝箱处理方案，需要图形工作站对背景图像进行两次渲染，图形工作站的带宽压力大、资源消耗大。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种视频画面处理方法及装置。

第一方面，本发明实施例公开了一种视频画面处理方法，其中，所述方法包括：在制作三维虚拟背景时，将模拟蓝箱的三维模型确定为虚拟蓝箱物体；将所述虚拟蓝箱物体的自定义深度模板缓冲值设置为第一预设值；将所述虚拟蓝箱物体设置为不可见；在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景；其中，目标像素点的自定义深度值为所述第一预设值；将所述目标渲染背景传递至色键器，以使所述色键器依据所述目标渲染背景和对前景视频画面进行处理，生成目标视频画面。

可选地，所述将所述虚拟蓝箱物体设置为不可见的步骤，包括：

将所述虚拟蓝箱物体的材质贴图设置为全透明，以使所述虚拟蓝箱物体不可见。

可选地，在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景的步骤，包括：

在三维渲染的后处理过程中，逐个将渲染画面中的像素点的自定义深度值与第一预设值进行比对；

在像素点的自定义深度等于第一预设值的情况下，确定所述像素点为目标像素点；

将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景。

可选地，将所述目标渲染背景传递至色键器，以使所述色键器依据所述目标渲染背景和对前景视频画面进行处理，生成目标视频画面的步骤，包括：

将所述目标渲染背景传递至色键器的背景信号通道；

将所述目标渲染背景中各像素点的阿尔法值作为键信号传递至所述色键器的键信号通道，以使所述色键器依据接收到的目标渲染背景和各像素点的键信号对前景视频画面进行处理，生成目标视频画面。

可选地，在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景的步骤，包括：

在三维渲染的后处理过程中，通过Shander或Cuda编写的处理模块调用GPU，通过所述GPU识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景。

第一方面，本发明实施例公开了一种视频画面处理装置，其中，所述装置包括：确定模块，用于在制作三维虚拟背景时，将模拟蓝箱的三维模型确定为虚拟蓝箱物体；第一设置模块，用于将所述虚拟蓝箱物体的自定义深度模板缓冲值设置为第一预设值；第二设置模块，用于将所述虚拟蓝箱物体设置为不可见；第三设置模块，用于在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景；其中，目标像素点的自定义深度值为所述第一预设值；传递模块，用于将所述目标渲染背景传递至色键器，以使所述色键器依据所述目标渲染背景和对前景视频画面进行处理，生成目标视频画面。

可选地，所述第二设置模块具体用于：

将所述虚拟蓝箱物体的材质贴图设置为全透明，以使所述虚拟蓝箱物体不可见。

可选地，所述第三设置模块包括：

第一子模块，用于在三维渲染的后处理过程中，逐个将渲染画面中的像素点的自定义深度值与第一预设值进行比对；

第二子模块，用于在像素点的自定义深度等于第一预设值的情况下，确定所述像素点为目标像素点；

第三子模块，用于将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景。

可选地，所述传递模块包括：

第四子模块，用于将所述目标渲染背景传递至色键器的背景信号通道；

第五子模块，用于将所述目标渲染背景中各像素点的阿尔法值作为键信号传递至所述色键器的键信号通道，以使所述色键器依据接收到的目标渲染背景和各像素点的键信号对前景视频画面进行处理，生成目标视频画面。

可选地，第三设置模块具体用于：

在三维渲染的后处理过程中，通过Shander或Cuda编写的处理模块调用GPU，通过所述GPU识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景。

本发明实施例中提供的视频画面处理方案，在制作三维虚拟背景时，将模拟蓝箱的三维模型确定为虚拟蓝箱物体；将虚拟蓝箱物体的自定义深度模板缓冲值设置为第一预设值；将虚拟蓝箱物体设置为不可见；在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景；将目标渲染背景传递至色键器，以使色键器依据目标渲染背景和对前景视频画面进行处理，生成目标视频画面。图形工作站仅需对背景图像进行一次渲染，相较于现有的方案中需要图形工作站对背景图像进行两次渲染，能够减轻图形工作站的带宽压力、减少其资源消耗。

附图说明

图1是现有技术中的无限蓝箱处理方法的流程示意图；

图2是本发明实施例的一种视频画面处理方法的步骤流程图；

图3是本发明实施例的一种视频画面处理装置的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

参照图2，示出了本发明实施例的一种视频画面处理方法的步骤流程图。

本发明实施例的视频画面处理方法可以包括以下步骤：

步骤201：在制作三维虚拟背景时，将模拟蓝箱的三维模型确定为虚拟蓝箱物体。

“蓝箱”是一个数字摄影棚，摄制区天棚、地板和四壁都用蓝色涂料涂装，演员置身其中仿佛被装进了一个蓝色的大盒子中。后期制作中可以将图像里所有蓝色屏蔽，演员仿佛在“真空”里表演，场景、道具等都在电脑里制作，再与演员合成在一起，形成目标视频画面。

将三维模型确定为虚拟蓝箱物体，虚拟蓝箱物体的尺寸、形状等可灵活设置，无需依赖于真实的蓝箱。

步骤202：将虚拟蓝箱物体的自定义深度模板缓冲值设置为第一预设值。

第一预设值可以由本领域技术人员根据实际需求进行设置，本申请实施例中对此不做具体限制，例如：设置为255。

随着物理渲染系统的发布，各别图像处理引擎中引进了一个新的深度缓存功能，即自定义深度功能，该功能可以用于诸如编辑器里的选择区域高亮、自发光网格的渲染、自定义的透明切片。为了渲染特定网格的轮廓(比如一个掉下的同伴、一个可以利用的战利品箱子等等)，我们需要一个缓存去抓取到他们的阴影。自定义深度对这样的需求来说非常适用。自定义深度为对象填满了深度信息，在后期图像处理时可以在后期处理时可基于该参数，进行像素点筛选。

当前基于D3D或OpenGL构造的三维渲染引擎都支持自定义深度模板缓冲值(CustomDepth Stencil)的设定。

步骤203：将虚拟蓝箱物体设置为不可见。

在实际实现过程中，可将虚拟蓝箱物体的材质贴图设置为全透明，以使虚拟蓝箱物体不可见。

“材质”用来指定物体的表面或数个面的特性，它决定这些平面在着色时的特性，如颜色，光亮程度，自发光度及不透明度等，制定到材质上的图形称为“贴图”。

步骤204：在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景。

其中，目标像素点的自定义深度值为第一预设值。

将虚拟蓝箱物体设置为不可见后，将其与背景图像融合，该融合过程可称为三维渲染的后处理过程，为渲染引擎的后处理阶段。在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景的步骤，包括以下子步骤：

在三维渲染的后处理过程中，逐个将渲染画面中的像素点的自定义深度值与第一预设值进行比对；在像素点的自定义深度等于第一预设值的情况下，确定像素点为目标像素点；将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景。

其中，阿尔法值即Alpha值，阿尔法值可设置为1或0，用于表征像素点的透明度，如透明、或半透明等。

在三维渲染的后处理过程中，可通过Shander或Cuda编写的处理模块调用GPU(Graphics Processing Unit，图形处理器)，通过GPU识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景。

其中，Shader是用来实现图像渲染的，用来替代固定渲染管线的可编辑程序。Cuda是一种针对支持CUDA功能的GPU的C语言开发环境。

通过GPU执行三维渲染的后处理过程，能够分担CPU(Central Processing Unit，中央处理器)的工作负荷，提升设备资源的利用率。

步骤205：将目标渲染背景传递至色键器，以使色键器依据目标渲染背景和对前景视频画面进行处理，生成目标视频画面。

在一种可选地实施例中，将目标渲染背景传递至色键器，以使色键器依据目标渲染背景和对前景视频画面进行处理，生成目标视频画面的步骤，包括以下子步骤：

子步骤一：将目标渲染背景传递至色键器的背景信号通道；

子步骤二：将目标渲染背景中各像素点的阿尔法值作为键信号传递至色键器的键信号通道，以使色键器依据接收到的目标渲染背景和各像素点的键信号对前景视频画面进行处理，生成目标视频画面。

本发明实施例提供的视频画面处理方法，在制作三维虚拟背景时，将模拟蓝箱的三维模型确定为虚拟蓝箱物体；将虚拟蓝箱物体的自定义深度模板缓冲值设置为第一预设值；将虚拟蓝箱物体设置为不可见；在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景；将目标渲染背景传递至色键器，以使色键器依据目标渲染背景和对前景视频画面进行处理，生成目标视频画面。图形工作站仅需对背景图像进行一次渲染，相较于现有的方案中需要图形工作站对背景图像进行两次渲染，能够减轻图形工作站的带宽压力、减少其资源消耗。

参照图3，示出了本发明实施例的一种视频画面处理装置的结构框图。

本发明实施例提供的视频画面处理装置包括如下模块：

确定模块301，用于在制作三维虚拟背景时，将模拟蓝箱的三维模型确定为虚拟蓝箱物体；

第一设置模块302，用于将所述虚拟蓝箱物体的自定义深度模板缓冲值设置为第一预设值；

第二设置模块303，用于将所述虚拟蓝箱物体设置为不可见；

第三设置模块304，用于在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景；其中，目标像素点的自定义深度值为所述第一预设值；

传递模块305，用于将所述目标渲染背景传递至色键器，以使所述色键器依据所述目标渲染背景和对前景视频画面进行处理，生成目标视频画面。

可选的，所述第二设置模块具体用于：将所述虚拟蓝箱物体的材质贴图设置为全透明，以使所述虚拟蓝箱物体不可见。

可选的，所述第三设置模块包括：

第一子模块，用于在三维渲染的后处理过程中，逐个将渲染画面中的像素点的自定义深度值与第一预设值进行比对；

第二子模块，用于在像素点的自定义深度等于第一预设值的情况下，确定所述像素点为目标像素点；

第三子模块，用于将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景。

可选的，所述传递模块包括：

第四子模块，用于将所述目标渲染背景传递至色键器的背景信号通道；

第五子模块，用于将所述目标渲染背景中各像素点的阿尔法值作为键信号传递至所述色键器的键信号通道，以使色键器依据接收到的目标渲染背景和各像素点的键信号对前景视频画面进行处理，生成目标视频画面。

可选的，第三设置模块具体用于：在三维渲染的后处理过程中，通过Shander或Cuda编写的处理模块调用GPU，通过所述GPU识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景。

本发明实施例提供的视频画面处理装置，在制作三维虚拟背景时，将模拟蓝箱的三维模型确定为虚拟蓝箱物体；将虚拟蓝箱物体的自定义深度模板缓冲值设置为第一预设值；将虚拟蓝箱物体设置为不可见；在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景；将目标渲染背景传递至色键器，以使色键器依据目标渲染背景和对前景视频画面进行处理，生成目标视频画面。图形工作站仅需对背景图像进行一次渲染，相较于现有的方案中需要图形工作站对背景图像进行两次渲染，能够减轻图形工作站的带宽压力、减少其资源消耗。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本发明的实施例中，还提供了一种电子设备。该电子设备可以包括一个或多个处理器，以及其上存储有指令的一个或多个机器可读介质，指令例如应用程序。当所述指令由所述一个或多个处理器执行时，使得所述处理器执行上述视频画面处理方法。

在本发明的实施例中，还提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序可由电子设备的处理器执行，以完成上述视频画面处理方法中的相关流程。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种视频画面处理方法及装置，电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种视频画面处理方法，其特征在于，所述方法包括：

在制作三维虚拟背景时，将模拟蓝箱的三维模型确定为虚拟蓝箱物体；

将所述虚拟蓝箱物体的自定义深度模板缓冲值设置为第一预设值；

将所述虚拟蓝箱物体设置为不可见；

在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景；其中，目标像素点的自定义深度值为所述第一预设值；

将所述目标渲染背景传递至色键器，以使所述色键器依据所述目标渲染背景和对前景视频画面进行处理，生成目标视频画面。

2.根据权利要求1所述的方法，其特征在于，所述将所述虚拟蓝箱物体设置为不可见的步骤，包括：

将所述虚拟蓝箱物体的材质贴图设置为全透明，以使所述虚拟蓝箱物体不可见。

3.根据权利要求1所述的方法，其特征在于，在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景的步骤，包括：

在三维渲染的后处理过程中，逐个将渲染画面中的像素点的自定义深度值与第一预设值进行比对；

在像素点的自定义深度等于第一预设值的情况下，确定所述像素点为目标像素点；

将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景。

4.根据权利要求1所述的方法，其特征在于，将所述目标渲染背景传递至色键器，以使所述色键器依据所述目标渲染背景和对前景视频画面进行处理，生成目标视频画面的步骤，包括：

将所述目标渲染背景传递至色键器的背景信号通道；

将所述目标渲染背景中各像素点的阿尔法值作为键信号传递至所述色键器的键信号通道，以使所述色键器依据接收到的目标渲染背景和各像素点的键信号对前景视频画面进行处理，生成目标视频画面。

5.根据权利要求1所述的方法，其特征在于，在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景的步骤，包括：

在三维渲染的后处理过程中，通过Shader或Cuda编写的处理模块调用GPU，通过所述GPU识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景。

6.一种视频画面处理装置，其特征在于，所述装置包括：

确定模块，用于在制作三维虚拟背景时，将模拟蓝箱的三维模型确定为虚拟蓝箱物体；

第一设置模块，用于将所述虚拟蓝箱物体的自定义深度模板缓冲值设置为第一预设值；

第二设置模块，用于将所述虚拟蓝箱物体设置为不可见；

第三设置模块，用于在三维渲染的后处理过程中，识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景；其中，目标像素点的自定义深度值为所述第一预设值；

传递模块，用于将所述目标渲染背景传递至色键器，以使所述色键器依据所述目标渲染背景和对前景视频画面进行处理，生成目标视频画面。

7.根据权利要求6所述的装置，其特征在于，所述第二设置模块具体用于：

将所述虚拟蓝箱物体的材质贴图设置为全透明，以使所述虚拟蓝箱物体不可见。

8.根据权利要求6所述的装置，其特征在于，所述第三设置模块包括：

第一子模块，用于在三维渲染的后处理过程中，逐个将渲染画面中的像素点的自定义深度值与第一预设值进行比对；

第二子模块，用于在像素点的自定义深度等于第一预设值的情况下，确定所述像素点为目标像素点；

第三子模块，用于将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景。

9.根据权利要求6所述的装置，其特征在于，所述传递模块包括：

第四子模块，用于将所述目标渲染背景传递至色键器的背景信号通道；

第五子模块，用于将所述目标渲染背景中各像素点的阿尔法值作为键信号传递至所述色键器的键信号通道，以使所述色键器依据接收到的目标渲染背景和各像素点的键信号对前景视频画面进行处理，生成目标视频画面。

10.根据权利要求6所述的装置，其特征在于，第三设置模块具体用于：

在三维渲染的后处理过程中，通过Shader或Cuda编写的处理模块调用GPU，通过所述GPU识别渲染画面中的目标像素点，并将各目标像素点的阿尔法值设置为色键器的过滤值，得到目标渲染背景。

Images