CN116886840A - 视频抠像合成方法、系统以及录播设备 - Google Patents

Abstract

本申请提供一种视频抠像合成方法、系统以及录播设备。该方法应用于视频抠像合成系统，系统中的录播设备在接收到内容显示设备发送的实时背景画面和摄像设备发送的实时前景画面后，对其进行抠像合成处理得到第一合成实时画面，然后将该第一合成实时画面渲染到反馈显示设备上，并将实时前景画面和实时背景画面转发至抠像服务器，该反馈显示设备展示该第一合成实时画面供主播实时监看，该抠像服务器对其进行抠像合成处理得到第二合成实时画面，并基于该第二合成实时画面进行编码得到视频流。该方法结合了录播设备的实时性和服务器的高算力资源，并通过反馈显示设备提供了反馈链路，从源头和结果上提高了抠像合成后的视频质量。

Description

视频抠像合成方法、系统以及录播设备

技术领域

本申请涉及视频处理技术领域，尤其涉及一种视频抠像合成方法、系统以及录播设备。

背景技术

在视频处理技术领域，常常运用视频抠像技术，将视频中的人物或者其他前景图像，嵌入合成到另一背景画面中。

当前技术中有两种方式对视频中的任务或者其他前景图像进行抠像合成处理：一种是通过录播设备直接对获取的前景画面和背景画面进行抠像合成处理，然而，由于录播设备的算力性能有限，无法实现高负荷算法，导致抠像合成效果一般，视频质量较低；另一种是通过抠像服务器对由录播设备转发的前景画面和背景画面进行抠像合成处理，虽然这种方式弥补了抠像合成效果一般的缺陷，但是这种方式无法满足主播实时观察当前直播/录制效果的需求，使得视频的质量不高。

因此，当前方法存在抠像合成后的视频质量不高的技术问题，需要改进。

发明内容

本申请提供一种视频抠像合成方法、系统以及录播设备，用于缓解当前方法存在的抠像合成后的视频质量不高的技术问题。

为了解决上述技术问题，本申请提供以下技术方案：

本申请提供一种视频抠像合成方法，应用于视频抠像合成系统，所述视频抠像合成系统包括录播设备、内容显示设备、反馈显示设备、摄像设备以及抠像服务器，该方法包括：

所述录播设备接收所述内容显示设备发送的实时背景画面和所述摄像设备发送的实时前景画面；

所述录播设备对所述实时前景画面和所述实时背景画面进行抠像合成处理，得到第一合成实时画面；

所述录播设备将所述第一合成实时画面渲染到所述反馈显示设备上，并将所述实时前景画面和所述实时背景画面转发至所述抠像服务器；

所述反馈显示设备展示所述第一合成实时画面供主播实时监看；

所述抠像服务器对所述实时前景画面和所述实时背景画面进行抠像合成处理得到第二合成实时画面，并基于所述第二合成实时画面进行编码得到视频流。

相应的，本申请还提供一种视频抠像合成系统，所述视频抠像合成系统包括录播设备、内容显示设备、反馈显示设备、摄像设备以及抠像服务器，其中：

所述内容显示设备用于发送实时背景画面至所述录播设备；

所述摄像设备用于发送实时前景画面至所述录播设备；

所述录播设备用于接收所述实时背景画面和所述实时前景画面，对所述实时前景画面和所述实时背景画面进行抠像合成处理得到第一合成实时画面，将所述第一合成实时画面渲染到所述反馈显示设备上，将所述实时前景画面和所述实时背景画面转发至所述抠像服务器；

所述反馈显示设备用于展示所述第一合成实时画面供主播实时监看；

所述抠像服务器用于对所述实时前景画面和所述实时背景画面进行抠像合成处理得到第二合成实时画面，并基于所述第二合成实时画面进行编码得到视频流。

同时，本申请提供一种录播设备，包括：

第三方接口，用于接收内容显示设备发送的实时背景画面；

无线接收模块，用于接收摄像设备发送的实时前景画面；

合成控制模块，用于对所述实时前景画面和所述实时背景画面进行抠像合成处理，得到第一合成实时画面；还用于将所述第一合成实时画面渲染到反馈显示设备上，以使得所述反馈显示设备展示所述第一合成实时画面供主播实时监看；

转发服务模块，用于将所述实时前景画面和所述实时背景画面转发至所述抠像服务器，以使得所述抠像服务器对所述实时前景画面和所述实时背景画面进行抠像合成处理得到第二合成实时画面、并基于所述第二合成实时画面进行编码得到视频流。

有益效果：本申请提供一种视频抠像合成方法、系统以及录播设备。具体地，该方法应用于视频抠像合成系统，所述视频抠像合成系统包括所述录播设备、内容显示设备、反馈显示设备、摄像设备以及抠像服务器，录播设备在接收到内容显示设备发送的实时背景画面和摄像设备发送的实时前景画面后，对该实时前景画面和该实时背景画面进行抠像合成处理得到第一合成实时画面，然后将该第一合成实时画面渲染到反馈显示设备上，并将实时前景画面和实时背景画面转发至抠像服务器，该反馈显示设备展示第一合成实时画面供主播实时监看，该抠像服务器对实时前景画面和实时背景画面进行抠像合成处理得到第二合成实时画面，并基于第二合成实时画面进行编码得到视频流。该方法结合录播设备和抠像服务器的优点进行了两次抠像合成处理，一是利用录播设备实时性，将录播设备的抠像合成结果直接渲染到反馈显示设备上，以此增加了用户反馈链路，从采集源头上提升了视频录制的质量，间接提升了抠像合成的视频质量，二是利用抠像服务器的高算力资源，将抠像服务器的抠像合成结果进行编码得到用于直播/录播的视频流，进一步提升了抠像合成的视频质量。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1是本申请实施例提供的视频抠像合成系统的系统架构图。

图2是本申请实施例提供的录播设备的视频抠像合成场景示意图。

图3是本申请实施例提供的抠像服务器的视频抠像合成场景示意图。

图4是本申请实施例提供的视频抠像合成方法的流程示意图。

图5是本申请实施例提供的视频抠像合成方法应用的场景示意图。

图6是本申请实施例提供的视频抠像合成方法的交互示意图。

图7是本申请实施例提供的录播设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含；本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。

本申请提供一种视频抠像合成方法、系统以及录播设备。

请参阅图1，图1是本申请实施例提供的视频抠像合成系统的系统架构图，如图1所示，该系统可以包括服务器以及设备，服务器与设备之间、设备与设备之间通过各种网关组成的互联网等方式连接通信，其中，该系统中至少包括录播设备101、内容显示设备102、反馈显示设备103、摄像设备104以及抠像服务器105：

录播设备101可以包括嵌入式录播主机，还可以包括运行独立直播/录播软件的平板电脑、笔记本电脑等。需要说明的是，录播设备可以通过HDMI OUT接口将第一合成实时画面渲染至反馈显示设备。

内容显示设备102包括智慧白板、智慧平板等用于展示直播相关内容(例如课件等)的设备。需要说明的是，内容显示设备可以包括两套系统，一套为Windows系统，主要用于直播/录播内容画面的展示，例如课件的展示和课件中的批注内容展示；另一套为Android系统，主要用于生成覆盖在内容画面的半透明蓝绿幕层，该半透明蓝绿幕层可以包括半透明蓝色幕层或者半透明绿色幕层。内容显示设备用于发送实时背景画面至录播设备。

反馈显示设备103包括用于展示当前直播/录播画面供主播监看的显示器等设备。例如，反馈显示设备用于展示第一合成实时画面供主播实时监看。

摄像设备104包括处于直播场景中的各类摄像头等，需要说明的是，该摄像设备104处于能拍摄到内容显示设备和主播的位置。摄像设备用于发送实时前景画面至录播设备。

抠像服务器105可以包括独立的服务器，还可以包括是服务器组成的服务器网络或者服务器集群，也可以包括边缘云服务器；例如，本申请中所描述的服务器，其包括但不限于计算机、网络主机、存储服务器以及应用服务器或者多个服务器构成的云服务器，其中云服务器由基于云计算(Cloud Computing)的大量计算机或者网络服务器构成。

录播设备101、内容显示设备102、反馈显示设备103、摄像设备104以及抠像服务器105之间设有如图1所示的通信链路，以实现信息交互；通信链路的类型可以包括有线、无线通信链路或者光纤电缆等，本申请在此不做限制，其中：

内容显示设备在接收到实时内容画面后，将该实时背景画面发送至录播设备，并将生成的半透明蓝绿幕层覆盖至该实时内容画面上，得到实时蓝绿幕复合画面；摄像设备拍摄包含处于该内容显示设备显示的实时蓝绿幕复合画面前方的实时前景图像的画面，得到实时前景画面，并将实时前景画面发送至录播设备；录播设备在接收到内容显示设备发送的实时背景画面和摄像设备发送的实时前景画面后，对该实时前景画面和该实时背景画面进行抠像合成处理得到第一合成实时画面，并将该第一合成实时画面渲染到反馈显示设备上，同时，将该实时前景画面和该实时背景画面转发至抠像服务器；反馈显示设备展示录播设备渲染的第一合成实时画面供主播实时监看，以使得主播根据该第一合成实时画面随时调整姿态或节奏；抠像服务器接收到录播设备转发的实时前景画面和实时背景画面后，对该实时前景画面和该实时背景画面进行抠像合成处理得到第二合成实时画面，并基于该第二合成实时画面进行编码得到视频流，该视频流可用于直播或者录播。

在上述过程中，充分结合了录播设备和抠像服务器的优点进行了两次抠像合成处理，一是利用录播设备实时性，将录播设备的抠像合成结果直接渲染到反馈显示设备上，以此增加了用户反馈链路，从采集源头上提升了视频录制的质量，间接提升了抠像合成的视频质量，二是利用抠像服务器的高算力资源，将抠像服务器的抠像合成结果进行编码得到用于直播/录播的视频流，进一步提升了抠像合成的视频质量。

需要说明的是，图1所示的系统架构图仅仅是一个示例，本申请实施例描述的服务器、设备以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

请参阅图2，图2是本申请实施例提供的录播设备的视频抠像合成场景示意图。如图2所示的场景中，单纯利用录播设备对画面进行抠像合成，具体的，录播设备在接收到内容显示设备通过HDMI IN接口发送的实时背景画面、和摄像设备通过对内容显示设备前方的实时前景图像(例如主播)进行现场采集后发送的实时前景画面后，通过其内置的抠像模块对该实时前景画面进行抠像处理，得到实时前景图像，然后通过其内置的合成控制模块对该实时前景图像和该实时背景画面进行合成处理得到合成实时画面，并对该合成实时画面进行编码，得到用于直播/录播的视频流。在图2所示的场景中，由于录播设备的算力性能有限，无法实现高负荷算法，导致抠像效果一般，无法满足高质量视频的需求，此外，录播设备对于扩展功能落地缓慢，算力无法扩充，支撑不起后续的抠像特效功能。

为了提高视频需求，支撑更为丰富的扩展功能，请参阅图3，图3是本申请实施例提供的抠像服务器的视频抠像合成场景示意图。如图3所示的场景中，单纯利用抠像服务器对画面进行抠像合成，具体的，录播设备在接收到内容显示设备通过HDMI IN接口发送的实时背景画面、和摄像设备通过对内容显示设备前方的实时前景图像(例如主播)进行现场采集后发送的实时前景画面后，通过其内置的转发服务模块将该实时前景图像和该实时背景画面转发至抠像服务器，抠像服务器接收到该实时前景图像和该实时背景画面后，对其进行抠像合成处理，从而得到高质量合成实时画面，并对该高质量合成实时画面进行编码，得到用于直播/录播的视频流。在图3所示的场景中，虽然抠像服务器拥有强大的算力性能，可以弥补录播设备抠像效果一般的缺陷，但是抠像服务器的方案无法满足用于实时观察抠像合成视频的效果，对于主播而言，存在“盲讲”的情况，以讲师录制精品课程为例，在无法实时观察抠像录课效果的情况下，对讲师的备课要求极高，导致录课成本提高，且可能存在重复讲课而需要反复重录的情况，从而也降低了视频的录制质量。

为了解决纯录播设备方案和纯抠像服务器方案的缺陷，本申请实施例将录播设备和抠像服务器结合起来，完成一次高质量的抠像合成视频的录制，合理利用了录播设备的实时处理特性和抠像服务器的高算力资源。

请参阅图4，图4是本申请实施例提供的视频抠像合成方法的流程示意图。该视频抠像合成方法应用于视频抠像合成系统，该视频抠像合成系统包括录播设备、内容显示设备、反馈显示设备、摄像设备以及抠像服务器。该方法至少包括以下步骤：

S201：录播设备接收内容显示设备发送的实时背景画面和摄像设备发送的实时前景画面。

实时背景画面和实时前景画面是分别通过内容显示设备和摄像设备采集得到的。其中，实时背景画面为用户通过内容显示设备展示的实时内容画面，例如课件画面，PPT画面等；实时前景画面为摄像设备拍摄的画面，该画面包含处于实时蓝绿幕复合画面前方的实时前景图像，其中，实时蓝绿幕复合画面是通过内容显示设备显示的；具体的，实时蓝绿幕复合画面为内容显示设备在接收到实时内容画面后，将内容显示设备生成的半透明蓝绿幕层覆盖至实时内容画面上得到的实时复合画面，需要说明的是，实时前景画面包括实时内容画面、半透明蓝绿幕层以及前景图像，而前景图像可以包括人物图像(例如主播，其中主播可以包括录制网络课程的讲师)等，其中，半透明蓝绿幕层可以包括半透明蓝色幕层或者半透明绿色幕层。

由于实时前景画面中的实时前景图像处于实时蓝绿幕复合画面前方，因此方便了后续抠像处理，提高了抠像的质量。具体的，由于人身体的自然颜色不包含蓝色和绿色这两种色彩，因此利用实时蓝绿幕复合画面作为实时前景画面的背景不会和任务混在一起，同时，由于蓝色和绿色是RGB系统中的原色，也比较方便处理，在后续抠像处理中，利用色度的区别和其他更为精细的处理方式，可以较为准确的抠出实时前景图像(例如人物)。

S202：录播设备对实时前景画面和实时背景画面进行抠像合成处理，得到第一合成实时画面。

在一种实施例中，S202包括：录播设备识别实时前景画面，确定实时前景画面中实时蓝绿幕复合画面部分的识别结果为完全绿色；录播设备根据实时前景画面中实时蓝绿幕复合画面部分的识别结果，将前景画面中实时蓝绿幕复合画面部分设置为透明，以得到实时前景画面中的实时前景图像；录播设备将实时前景图像和实时背景画面进行合成处理，得到第一合成实时画面。其中，实时前景画面包括实时内容画面、半透明蓝绿幕层以及前景图像，半透明蓝绿幕层直接覆盖在实时内容画面上，主播可以透过半透明蓝绿幕层看到实时内容画面，避免了现有技术中使用物理绿幕而遮挡内容显示设备显示的实时内容画面的问题。

具体的，以实时内容画面为PPT、前景图像为人物图像为例。录播设备先识别实时前景画面中的实时蓝绿幕复合画面，通过容差设置，过滤掉了实时内容画面(即PPT)，将实时蓝绿幕复合画面的识别结果确定为完全绿色，即得到了完全绿幕画面，在绿幕区设置抠像，即将识别为完全绿色的实时蓝绿幕复合画面部分设置为透明，如此即能从实时前景画面中抠像得到实时前景图像(即人物图像)，最后，将抠像得到的实时前景图像和前述步骤获取的实时背景画面进行合成处理，即得到了第一合成实时画面，该画面可以描述为人物图像嵌入实时内容画面的合成图像。

可选地，因为抠像后的前景图像的边缘可能存在锯齿，因此，录播设备需要对锯齿进行平滑操作。具体的，录播设备先对第一合成实时画面进行边缘检测，从而得到第一合成实时画面中的边缘像素，然后取以边缘像素点为中心，对预设范围内的像素点进行平滑运算，即将该边缘像素点预设范围内的像素色彩值相加，然后进行算数平均，得到的平均像素值即为该边缘像素点的新色彩值。

S203：录播设备将第一合成实时画面渲染到反馈显示设备上，并将实时前景画面和实时背景画面转发至抠像服务器。

由于录播设备具有实时性，可以满足主播现场录制视频的临场感需求。因此，在录播设备对实时前景画面和实时背景画面进行抠像合成得到第一合成实时画面后，录播设备需要将第一合成实时画面渲染到反馈显示设备上，以使得反馈显示设备向主播展示即时展示第一合成实时画面，从而形成主播的录制反馈链路。需要说明的是，录播设备将第一合成实时画面渲染到反馈显示设备的延迟大概在100毫秒以内，满足了主播现场录制视频的临场感需求。

为了进一步的提高抠像合成的视频质量，除了通过录播设备形成主播的录制反馈链路外，还需要充分利用抠像服务器的高算力资源。因此，录播设备在进行抠像合成处理的同时，还需要将实时前景画面和实时背景画面转发至抠像服务器，通过抠像服务器对实时前景画面和实时背景画面进行一次高质量高延迟的抠像合成处理，从而得到质量较高的第二合成实时画面。

S204：反馈显示设备展示第一合成实时画面供主播实时监看。

反馈显示设备接收到录播设备发送的第一合成实时画面后，将该第一合成实时画面展示给主播实时监看，主播通过反馈显示设备观察到自己当前的录制效果，可以随时根据第一合成实时画面调整自己的录制状态或者节奏，从而从源头上提升了录制视频的质量，简介提升了抠像合成的质量，不会出现“盲讲”的情况。

S205：抠像服务器对实时前景画面和实时背景画面进行抠像合成处理得到第二合成实时画面，并基于第二合成实时画面进行编码得到视频流。

和录播设备对实时前景画面和实时背景画面进行抠像合成处理的步骤类似，抠像服务器利用其高算力，对实时前景画面和实时背景画面进行了一次高质量高延迟的抠像合成处理，从而得到质量较高的第二合成实时画面，并对该第二合成实时画面进行编码处理得到用于录播/直播的视频流。需要说明的是，对于录播的视频流，抠像服务器需要对其进行存储，得到录制文件。

在一种实施例中，该方法还包括：录播设备接收主播触发的画面模式切换信号；录播设备响应画面模式切换信号，发送模式切换指令至反馈显示设备；反馈显示设备接收并执行模式切换指令，切换至主播预监看的画面模式。其中，画面模式包括内容模式和抠像模式，内容模式指的是反馈显示设备仅展示实时内容画面的展示模式，抠像模式指的是反馈显示设备展示人物嵌入实时内容画面的展示模式。

具体的，主播可以通过遥控器(例如红外遥控器、无线遥控器)或者其他触控方式对录播设备进行控制，从而触发画面模式切换信号(例如切换为内容模式)，录播设备响应该画面模式切换信号，发送模式切换指令(例如切换至内容模式的指令)至反馈显示设备，反馈显示设备接收到该模式切换指令，并执行该指令，仅展示实时内容画面供主播监看。通过这种方式，可以提高主播和录播设备之间的互动性，通过主播对录播设备的主动控制，从而满足主播根据需要调整预监看内容的需求。

可选地，录播设备还可以接收主播触发的翻页信号、亮度调节信号等。录播设备接收到主播触发的翻页信号后，发送翻页指令至内容显示设备，以驱动内容显示设备执行该翻页指令对展示的实时内容画面进行翻页。录播设备接收到主播触发的亮度调节信号后，发送亮度调节指令至反馈显示设备，以驱动反馈显示设备执行该亮度调节指令对当前的显示亮度进行调节。

通过上述各实施例可知，本申请的视频抠像合成方法进行了两次抠像合成处理，且两次抠像合成处理的注重点不同，第一次抠像合成处理是由录播设备进行的，由于录播设备具有实时性的特点，可以满足主播现场录制的临场感要求，因此将通过录播设备得到的第一合成实时画面直接渲染到反馈显示设备上，以此增加了用户反馈链路，从采集源头上提升了视频录制的质量，间接提升了抠像合成的视频质量，第二次抠像合成处理是由抠像服务器进行的，由于抠像服务器更注重抠像质量，可以满足抠像细节/抠像特效等精品视频的需求，因此通过录播设备将实时前景画面和实时背景画面转发至抠像服务器，利用抠像服务器的高算力资源，将通过抠像服务器得到的第二合成实时画面进行编码得到用于直播/录播的视频流，进一步提升了抠像合成的视频质量。除此之外，本申请实施例将录播设备作为接入终端，由于录播设备有更丰富的多媒体接口，因此，相比于纯抠像服务器的方案，要更加简单。

为了详细的描述视频抠像合成系统中各设备/服务器的工作流程，请参阅图5和图6，图5是本申请实施例提供的视频抠像合成方法应用的场景示意图，图6是本申请实施例提供的视频抠像合成方法的交互示意图，该系统中各设备/服务器的交互如下所示：

301：内容显示设备接收实时内容画面。

主播通过内容显示设备的第三方接口例如USB接口、Type-C接口等，将其录制需要的PPT、视频等实时内容画面投放至内容显示设备，内容显示设备通过其第三方接口接收到主播投放的实时内容画面，并进行展示。

302：内容显示设备将实时内容画面作为实时背景画面发送至录播设备。

结合图5，内容显示设备用于通过HDMI IN接口将实时内容画面作为实时背景画面发送至录播设备。

303：录播设备接收实时背景画面。

录播设备通过HDMI IN接口接收到内容显示设备发送的实时背景画面。

304：内容显示设备将半透明蓝绿幕层覆盖至实时内容画面上，得到实时蓝绿幕复合画面。

为了方便后续抠像，同时也避免物理绿幕完全遮挡住实时内容画面而导致主播看不见内容显示设备的展示内容的情况出现，内容显示设备在其内部通过Android系统生成一个半透明蓝绿幕层(该半透明蓝绿幕层可以包括半透明蓝色幕层或者半透明绿色幕层)，并将该半透明蓝绿幕层覆盖至实时内容画面上，得到实时蓝绿幕复合画面。需要说明的是，由于蓝色或绿色与人的肤色相差较大，所以常被用于抠像的幕布；同时，设置为半透明是为了主播可以透过半透明幕层看到内容显示设备的展示内容。

可选地，半透明蓝绿幕层可以设置70％至95％的不透明覆盖度，如果设置为100％不透明，那么人眼将无法穿过半透明蓝绿幕层看到内容显示设备所展示的内容，形成了完全的蓝绿幕画面；如果设置70％以下的不透明覆盖度，摄像设备在拍摄包括半透明蓝绿幕层的实时前景画面后，设备/服务器无法很好的去除半透明蓝绿幕层下的实时内容画面(例如PPT)，从而导致抠像的效果不佳。因此，设置70％至95％的不透明覆盖度是较为合适的。

主播在观看实时蓝绿幕复合画面，可以透过该半透明蓝绿幕层，看清内容显示设备上展示的带有蓝绿幕层的实时内容画面，有效解决了物理蓝绿幕完全遮挡住内容的情况。

305：摄像设备拍摄包含处于内容显示设备显示的实时蓝绿幕复合画面前方的实时前景图像的画面，得到实时前景画面。

摄像设备对处于内容显示设备显示的实时蓝绿幕复合画面前方的实时前景图像(例如人物图像)的画面进行拍摄，得到实时前景画面。其中，实时前景画面包括实时内容画面、半透明蓝绿幕层以及前景图像，而前景图像可以包括人物图像(例如主播，其中主播可以包括录制网络课程的讲师)等。

306：摄像设备发送实时前景画面至录播设备。

如图5所示，摄像设备将现场采集的实时前景画面发送至录播设备。

307：录播设备接收实时前景画面。

录播设备通过摄像接收模块接收到内容显示设备发送的实时背景画面。

308：录播设备对实时前景画面和实时背景画面进行抠像合成处理，得到第一合成实时画面。

如图5所示，录播设备通过抠像模块对实时前景画面进行抠像处理，整个过程为将除前景图像本体之外的其他部分都设置为透明的，从而得到实时前景图像，然后通过合成控制模块将实时前景图像和实时背景图像进行合成处理，从而得到第一合成实时画面。具体的抠像合成步骤已在S202中进行了详细的描述，在此不再赘述。

309：录播设备将第一合成实时画面渲染到反馈显示设备上。

为了便于主播实时监看录制画面，方便主播调整录制行为，录播设备还设置了主播的录制反馈链路，即将第一合成实时画面渲染到反馈显示设备上。需要说明的是，录播设备将第一合成实时画面渲染到反馈显示设备的延迟大概在100毫秒以内，满足了主播现场录制视频的临场感需求。

310：反馈显示设备展示第一合成实时画面供主播实时监看。

反馈显示设备将第一合成实时画面展示在其显示屏上，主播通过反馈显示设备观察到自己当前的录制效果，可以随时根据第一合成实时画面调整自己的录制状态或者节奏，从而从源头上提升了录制视频的质量，简介提升了抠像合成的质量，不会出现“盲讲”的情况。

311：录播设备将实时前景画面和实时背景画面转发至抠像服务器。

如图5所示，在录播设备对实时前景画面和实时背景画面进行抠像处理的同时，录播设备还通过转发服务模块将实时前景画面和实时背景画面转发至抠像服务器，以利用抠像服务器的高算力资源。

312：抠像服务器对实时前景画面和实时背景画面进行抠像合成处理，得到第二合成实时画面。

如图5所示，对实时前景画面和实时背景画面进行一次高质量高延迟的抠像合成处理，从而得到质量较高的第二合成实时画面。

313：抠像服务器基于第二合成实时画面进行编码得到视频流。

如图5所示，抠像服务器对第二合成实时画面进行编码，从而得到视频流。将视频流输入到直播场景中，即用于直播；将视频流进行存储，从而得到用于录播的存储文件。

可选的，在对视频流进行存储时，还可以设置存储文件的路径、格式等。

可选地，抠像服务器也可以接一根HDMI OUT数据线至反馈显示设备，将第二合成实时画面渲染至反馈显示设备，但这种方式延迟性更高，灵活性较低。

此外，抠像服务器还可以利用其高算力资源，还可以在抠像合成中配置抠像特效功能，从而得到更为丰富的抠像合成画面。

该视频抠像合成系统相较于单一的录播设备抠像而言，提升了抠像效果；相较于单一的抠像服务器抠像而言，增加了用户反馈链路，从采集源头提升了主播录制视频的质量，间接提升了抠像合成的视频质量。

基于上述实施例的内容，本申请实施例提供了一种录播设备，该录播设备用于执行上述方法实施例中提供的录播设备侧执行的视频抠像合成方法。具体地，请参阅图7，该装置包括：

第三方接口701，用于接收内容显示设备发送的实时背景画面；

摄像接收模块702，用于接收摄像设备发送的实时前景画面；

合成控制模块703，用于对所述实时前景画面和所述实时背景画面进行抠像合成处理，得到第一合成实时画面；还用于将所述第一合成实时画面渲染到反馈显示设备上，以使得所述反馈显示设备展示所述第一合成实时画面供主播实时监看；

转发服务模块704，用于将所述实时前景画面和所述实时背景画面转发至所述抠像服务器，以使得所述抠像服务器对所述实时前景画面和所述实时背景画面进行抠像合成处理得到第二合成实时画面、并基于所述第二合成实时画面进行编码得到视频流。

其中，实时前景画面为摄像设备拍摄的画面，所述画面包含处于实时蓝绿幕复合画面前方的实时前景图像，所述实时蓝绿幕复合画面是通过所述内容显示设备显示的。

进一步的，实时蓝绿幕复合画面为所述内容显示设备在接收到实时内容画面后，将所述内容显示设备生成的半透明蓝绿幕层覆盖至所述实时内容画面上得到的实时复合画面。其中，半透明蓝绿幕层可以包括半透明蓝色幕层或者半透明绿色幕层。

在一种实施例中，合成控制模块703包括：

画面识别模块，用于识别所述实时前景画面，确定所述实时前景画面中实时蓝绿幕复合画面部分的识别结果为完全绿色；

抠像模块，用于根据所述实时前景画面中实时蓝绿幕复合画面部分的识别结果，将所述前景画面中实时蓝绿幕复合画面部分设置为透明，以得到所述实时前景画面中的所述实时前景图像；

画面合成模块，用于将所述实时前景图像和所述实时背景画面进行合成处理，得到第一合成实时画面。

在一种实施例中，录播设备还包括：

切换信号接收模块，用于接收所述主播触发的画面模式切换信号；

切换信号响应模块，用于响应所述画面模式切换信号，发送模式切换指令至所述反馈显示设备。

其中，第三方接口701可以包括HDMI接口、USB接口、Type-C接口等。

摄像接收模块702是利用短距离无线传输技术进行的无线接收模块。

需要说明的是，合成控制模块703和转发服务模块704都集成于处理器中，处理器是录播设备的控制中心，利用各种接口和线路连接整个录播设备的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行录播设备的各种功能和处理数据，从而对录播设备进行整体监控。在一种实施例中，处理器可包括一个或多个处理核心；优选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。

除此之外，该录播设备还可以包括显示模块、音频电路模块、存储器、传感器以及电源模块。

其中，显示单元可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元可包括显示面板，在一种实施例中，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器以确定触摸事件的类型，随后处理器根据触摸事件的类型在显示面板上提供相应的视觉输出。在一种实施例中，触敏表面与显示面板是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

音频电路模块包括扬声器，扬声器可提供用户与录播设备之间的音频接口。音频电路模块可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

传感器例如光传感器，具体地，光传感器可包括环境光传感器及距离传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度；至于录播设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

电源模块(比如电池)可以用于给录播设备的各个部件供电，优选的，电源可以通过电源管理系统与处理器逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源模块还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。需要说明的是，电源模块不是该录播设备所必须的部件，该录播设备还可以通过第三方接口与其他设备相连进而实现供电。

本申请实施例的录播设备，可以用于执行前述方法录播设备侧实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

区别于当前的技术，本申请提供的录播设备设置了合成控制模块和转发服务模块，通过合成控制模块和转发服务模块结合录播设备和服务器的优点进行了两次抠像合成处理，一是利用录播设备实时性，将录播设备的抠像合成结果直接渲染到反馈显示设备上，以此增加了用户反馈链路，从采集源头上提升了视频录制的质量，间接提升了抠像合成的视频质量，二是利用抠像服务器的高算力资源，通过转发服务模块将实时前景画面和实时背景画面转发至抠像服务器进行处理，以使得抠像服务器对其进行抠像合成，并对抠像合成结果进行编码得到用于直播/录播的视频流，从而进一步提升了抠像合成的视频质量。

以上对本申请实施例所提供的视频抠像合成方法、系统以及录播设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种视频抠像合成方法，其特征在于，应用于视频抠像合成系统，所述视频抠像合成系统包括录播设备、内容显示设备、反馈显示设备、摄像设备以及抠像服务器，所述方法包括：

所述录播设备接收所述内容显示设备发送的实时背景画面和所述摄像设备发送的实时前景画面；

所述录播设备对所述实时前景画面和所述实时背景画面进行抠像合成处理，得到第一合成实时画面；

所述录播设备将所述第一合成实时画面渲染到所述反馈显示设备上，并将所述实时前景画面和所述实时背景画面转发至所述抠像服务器；

所述反馈显示设备展示所述第一合成实时画面供主播实时监看；

所述抠像服务器对所述实时前景画面和所述实时背景画面进行抠像合成处理得到第二合成实时画面，并基于所述第二合成实时画面进行编码得到视频流。

2.根据权利要求1所述的视频抠像合成方法，其特征在于，所述实时前景画面为所述摄像设备拍摄的画面，所述画面包含处于实时蓝绿幕复合画面前方的实时前景图像，所述实时蓝绿幕复合画面是通过所述内容显示设备显示的。

3.根据权利要求2所述的视频抠像合成方法，其特征在于，所述实时蓝绿幕复合画面为所述内容显示设备在接收到实时内容画面后，将所述内容显示设备生成的半透明蓝绿幕层覆盖至所述实时内容画面上得到的实时复合画面。

4.根据权利要求2所述的视频抠像合成方法，其特征在于，所述录播设备对所述实时前景画面和所述实时背景画面进行抠像合成处理，得到第一合成实时画面的步骤，包括：

所述录播设备识别所述实时前景画面，确定所述实时前景画面中实时蓝绿幕复合画面部分的识别结果为完全绿色；

所述录播设备根据所述实时前景画面中实时蓝绿幕复合画面部分的识别结果，将所述前景画面中实时蓝绿幕复合画面部分设置为透明，以得到所述实时前景画面中的所述实时前景图像；

所述录播设备将所述实时前景图像和所述实时背景画面进行合成处理，得到第一合成实时画面。

5.根据权利要求1所述的视频抠像合成方法，其特征在于，还包括：

所述录播设备接收所述主播触发的画面模式切换信号；

所述录播设备响应所述画面模式切换信号，发送模式切换指令至所述反馈显示设备；

所述反馈显示设备接收并执行所述模式切换指令，切换至所述主播预监看的画面模式。

6.一种视频抠像合成系统，其特征在于，所述视频抠像合成系统包括录播设备、内容显示设备、反馈显示设备、摄像设备以及抠像服务器，其中：

所述内容显示设备用于发送实时背景画面至所述录播设备；

所述摄像设备用于发送实时前景画面至所述录播设备；

所述录播设备用于接收所述实时背景画面和所述实时前景画面，对所述实时前景画面和所述实时背景画面进行抠像合成处理得到第一合成实时画面，将所述第一合成实时画面渲染到所述反馈显示设备上，将所述实时前景画面和所述实时背景画面转发至所述抠像服务器；

所述反馈显示设备用于展示所述第一合成实时画面供主播实时监看；

所述抠像服务器用于对所述实时前景画面和所述实时背景画面进行抠像合成处理得到第二合成实时画面，并基于所述第二合成实时画面进行编码得到视频流。

7.根据权利要求6所述的视频抠像合成系统，其特征在于，所述摄像设备还用于拍摄画面，所述画面包含处于实时蓝绿幕复合画面前方的实时前景图像，所述实时蓝绿幕复合画面是通过所述内容显示设备显示的。

8.根据权利要求6所述的视频抠像合成系统，其特征在于，所述内容显示设备还用于在接收到实时内容画面后，将所述内容显示设备生成的半透明蓝绿幕层覆盖至所述实时内容画面上，得到实时蓝绿幕复合画面。

9.一种录播设备，其特征在于，包括：

第三方接口，用于接收内容显示设备发送的实时背景画面；

摄像接收模块，用于接收摄像设备发送的实时前景画面；

合成控制模块，用于对所述实时前景画面和所述实时背景画面进行抠像合成处理，得到第一合成实时画面；还用于将所述第一合成实时画面渲染到反馈显示设备上，以使得所述反馈显示设备展示所述第一合成实时画面供主播实时监看；

转发服务模块，用于将所述实时前景画面和所述实时背景画面转发至所述抠像服务器，以使得所述抠像服务器对所述实时前景画面和所述实时背景画面进行抠像合成处理得到第二合成实时画面、并基于所述第二合成实时画面进行编码得到视频流。

10.根据权利要求9所述的录播设备，其特征在于，所述合成控制模块包括：

画面识别模块，用于识别所述实时前景画面，确定所述实时前景画面中实时蓝绿幕复合画面部分的识别结果为完全绿色；

抠像模块，用于根据所述实时前景画面中实时蓝绿幕复合画面部分的识别结果，将所述前景画面中实时蓝绿幕复合画面部分设置为透明，以得到所述实时前景画面中的所述实时前景图像；

画面合成模块，用于将所述实时前景图像和所述实时背景画面进行合成处理，得到第一合成实时画面。