CN115988171B - 一种视频会议系统及其沉浸式布局方法和装置 - Google Patents

Abstract

本申请公开提供了一种视频会议系统及其沉浸式布局方法和装置，涉及视频会议技术领域，该方法主持终端接收绿幕融合图像，绿幕融合图像是参会终端将第二前景图和第二二值化灰度图与绿幕进行融合得到的，对绿幕融合图像进行绿幕抠像，获取每个参会终端的第二前景图和第二二值化灰度图；将主持端的前景图和Alpha图，以及每个参会终端的前景图和Alpha图按照当前会场布局图进行前景数据和预设背景数据的融合，生成并共享会场视觉图，解决了现有技术中由主持终端对所有参会终端的视频码流进行SEI解析得到压缩后的Alpha通道数据，再根据参会终端的Alpha进行沉浸式融合，开发时间长、耗费人力多且主持终端运行压力大的问题。

Description

一种视频会议系统及其沉浸式布局方法和装置

技术领域

本发明涉及视频会议沉浸式布局技术领域，具体涉及一种视频会议系统及其沉浸式布局方法和装置。

背景技术

随着视频会议使用率不断提高，用户对于视频会议功能的需求越来越精细化和个性化，视频会议软件除了保障视频会议基础功能（如音频流畅、视频清晰）外，还需要满足一些如虚拟背景、沉浸式布局、控制道具、添加字幕以及直播问答模式等优化功能。

关于沉浸式布局的实现，相关技术中，由每个参会终端进行虚人像分割得到相应的Alpha通道，再由参会终端对Alpha进行压缩并塞进视频编码码流的SEI信息中向主持终端发送，由主持终端对收到的所有参会终端的视频码流进行SEI解析得到压缩后的Alpha通道数据，并根据参会终端的Alpha通道数据进行前景和背景的沉浸式融合，完成视频会议的沉浸式布局。

然而，视频引擎一般只支持3YUV通道，若想对于4通道的支持需要对视频引擎进行较大的改动，且Alpha进行压缩需要Huffman编码和Jpeg压缩，对计算机性能要求较高，个人用计算机一般无法快速高效的完成视频会议沉浸式布局功能供用户使用，大大影响了用户的体验。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中由主持终端对所有参会终端的视频码流进行SEI解析得到压缩后的Alpha通道数据，并在根据参会终端的Alpha进行沉浸式融合，该方案开发时间长、耗费人力多且主持终端运行压力大的问题，从而提供一种视频会议系统及其沉浸式布局方法和装置。

为解决上述技术问题，本发明公开实施例至少提供一种视频会议系统及其沉浸式布局方法和装置。

第一方面，本发明公开实施例提供了一种视频会议中沉浸式布局方法，包括：

获取主持终端摄像头采集的第一视频图像；

对所述第一视频图像进行人像抠图得到第一前景图和第一二值化灰度图；

接收每个参会终端发送的绿幕融合图像，所述绿幕融合图像是所述参会终端将第二前景图和第二二值化灰度图与绿幕进行融合得到的，所述第二前景图和第二二值化灰度图是所述参会终端对第二视频图像进行人像抠图得到的，所述第二视频图像是所述参会终端摄像头采集的；

对解码后的每个绿幕融合图像进行绿幕抠像，获取每个所述参会终端的所述第二前景图和所述第二二值化灰度图；

将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，生成会场视觉图；

将所述会场视觉图进行本地渲染和视频编码后，向每个所述参会终端发送。

可选地，所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合为：通过公式I=alpha*F +(1-alpha)*B，其中，alpha属于[0，1]，将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，F表示第二前景图，B表示背景图，I表示融合后的图，alpha表示二值化灰度图，前景图alpha为1，背景alpha为0。

可选地，在所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合之前，所述方法还包括：基于用户选择的预设背景获取所述预设背景数据。

可选地，在所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合之前，所述方法还包括：获取所述当前会场布局图。

第二方面，本发明公开实施例还提供另一种视频会议中沉浸式布局方法，包括：

获取参会终端摄像头采集的第二视频图像；

对所述第二视频图像进行人像抠图得到第二前景图和第二二值化灰度图；

将所述第二前景图和所述第二二值化灰度图与绿幕进行融合得到绿幕融合图像；

向主持终端发送所述绿幕融合图像，以便所述主持终端通过对解码后的所述绿幕融合图像进行绿幕抠像，来获取所述第二前景图和所述第二二值化灰度图；

接收会场视觉图，所述会场视觉图是所述主持终端将第一前景图和第一二值化灰度图，以及每个参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合后生成的，所述第一前景图和所述第一二值化灰度图是所述主持终端对第一视频图像进行人像抠图得到的，所述第一视频图像是所述主持终端的摄像头采集的。

第三方面，本发明公开实施例还提供一种视频会议中沉浸式布局装置，包括：

第一视频图像模块，用于获取主持终端摄像头采集的第一视频图像；

第一人像抠图模块，用于对所述第一视频图像进行人像抠图得到第一前景图和第一二值化灰度图；

绿幕融合图像接收模块，用于接收每个参会终端发送的绿幕融合图像，所述绿幕融合图像是所述参会终端将第二前景图和第二二值化灰度图与绿幕进行融合得到的，所述第二前景图和第二二值化灰度图是所述参会终端对第二视频图像进行人像抠图得到的，所述第二视频图像是所述参会终端摄像头采集的；

绿幕抠像模块，用于对解码后的每个绿幕融合图像进行绿幕抠像，获取每个所述参会终端的所述第二前景图和所述第二二值化灰度图；

会场视觉融合模块，用于将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，生成会场视觉图；

会场视觉图发送模块，用于将所述会场视觉图进行本地渲染和视频编码后，向每个所述参会终端发送。

第四方面，本发明公开实施例还提供另一种视频会议中沉浸式布局装置，包括：

第二视频图像获取模块，用于获取参会终端摄像头采集的第二视频图像；

第二人像抠图模块，用于对所述第二视频图像进行人像抠图得到第二前景图和第二二值化灰度图；

绿幕融合图像生成模块，用于将所述第二前景图和所述第二二值化灰度图与绿幕进行融合得到绿幕融合图像；

绿幕融合图像发送模块，用于向主持终端发送所述绿幕融合图像，以便所述主持终端通过对解码后的所述绿幕融合图像进行绿幕抠像，来获取所述第二前景图和所述第二二值化灰度图；

会场视觉图接收模块，用于接收会场视觉图，所述会场视觉图是所述主持终端将第一前景图和第一二值化灰度图，以及每个参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合后生成的，所述第一前景图和所述第一二值化灰度图是所述主持终端对第一视频图像进行人像抠图得到的，所述第一视频图像是所述主持终端的摄像头采集的。

第五方面，本发明公开实施例还提供一种视频会议系统，包括：

至少一个参会终端，获取参会终端摄像头采集的第二视频图像，对所述第二视频图像进行人像抠图得到第二前景图和第二二值化灰度图，将所述第二前景图和所述第二二值化灰度图与绿幕进行融合得到绿幕融合图像，向主持终端发送所述绿幕融合图像，接收主持终端发送的会场视觉图；

主持终端，获取主持终端摄像头采集的第一视频图像，对所述第一视频图像进行人像抠图得到第一前景图和第一二值化灰度图，接收每个参会终端发送的绿幕融合图像，对解码后的所述绿幕融合图像进行绿幕抠像，获取每个所述参会终端的所述第二前景图和所述第二二值化灰度图，将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，生成会场视觉图，将所述会场视觉图进行本地渲染和视频编码后，向每个所述参会终端发送。

第六方面，本发明公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面、第二方面，或第一方面、第二方面中任一种可能的实施方式中的步骤。

第七方面，本发明公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面、第二方面，或第一方面、第二方面中任一种可能的实施方式中的步骤。

本发明的实施例提供的技术方案可以具有以下有益效果：由参会终端完成前景图、alpha图和绿幕的融合，不再需要参会终端压缩其Alpha图并通过SEI发送的方式，在主持终端通过绿幕抠图得到对应的Alpha图来实现沉浸式布局的功能，不改动视频引擎框架的基础上，只增加一个绿幕抠像的功能，能够简洁、快速的完成视频会议的沉浸式布局，极大的减少了开发工作量，根据实际测试可节省80%以上的工作量，并且可以保证沉浸式布局观看效果，在主持终端和参会终端看到的视频一致且合成后的数据保持同步，已在相应的云会议客户端中使用，得到用户的肯定。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明公开实施例所提供的一种视频会议中沉浸式布局方法的流程图；

图2示出了本发明公开实施例所提供的另一种视频会议中沉浸式布局方法的流程图；

图3示出了本发明公开实施例所提供的又一种视频会议中沉浸式布局方法的流程图；

图4示出了本发明公开实施例所提供的一种视频会议中沉浸式布局装置的结构示意图；

图5示出了本发明公开实施例所提供的另一种视频会议中沉浸式布局装置的结构示意图；

图6示出了本发明公开实施例所提供的一种视频会议系统的结构示意图；

图7示出了本发明公开实施例所提供的一种计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

实施例1

如图1所示，本发明公开实施例所提供的一种视频会议中沉浸式布局方法的流程图，所述方法包括：

S11：获取主持终端摄像头采集的第一视频图像；

S12：对第一视频图像进行人像抠图得到第一前景图和第一二值化灰度图；

S13：接收每个参会终端发送的绿幕融合图像，绿幕融合图像是参会终端将第二前景图和第二二值化灰度图与绿幕进行融合得到的，第二前景图和第二二值化灰度图是参会终端对第二视频图像进行人像抠图得到的，第二视频图像是参会终端摄像头采集的；

S14：对解码后的每个绿幕融合图像进行绿幕抠像，获取每个参会终端的第二前景图和第二二值化灰度图；

S15：将第一前景图和第一二值化灰度图，以及每个参会终端的第二前景图和第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，生成会场视觉图；

S16：将会场视觉图进行本地渲染和视频编码后，向每个参会终端发送。

可以理解的是，本实施例提供的技术方案，由参会终端完成前景图、alpha图和绿幕的融合，不再需要参会终端压缩其Alpha图并通过SEI发送的方式，在主持终端通过绿幕抠图得到对应的Alpha图来实现沉浸式布局的功能，不改动视频引擎框架的基础上，只增加一个绿幕抠像的功能，能够简洁、快速的完成视频会议的沉浸式布局，极大的减少了开发工作量，根据实际测试可节省80%以上的工作量，并且可以保证沉浸式布局观看效果，在主持终端和参会终端看到的视频一致且合成后的数据保持同步，已在相应的云会议客户端中使用，得到用户的肯定。

实施例2

作为实施例1的一种改进，如图2所示，本发明公开实施例所提供的另一种视频会议中沉浸式布局方法的流程图，该方法包括：

S21：获取主持终端摄像头采集的第一视频图像；

S22：对第一视频图像进行人像抠图得到第一前景图和第一二值化灰度图；

S23：接收每个参会终端发送的绿幕融合图像，绿幕融合图像是参会终端将第二前景图和第二二值化灰度图与绿幕进行融合得到的，第二前景图和第二二值化灰度图是参会终端对第二视频图像进行人像抠图得到的，第二视频图像是参会终端摄像头采集的；

S24：对解码后的每个绿幕融合图像进行绿幕抠像，获取每个参会终端的第二前景图和第二二值化灰度图；

S25：基于用户选择的预设背景获取预设背景数据；

S26：获取当前会场布局图；

S27：将第一前景图和第一二值化灰度图，以及每个参会终端的第二前景图和第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，生成会场视觉图；

S28：将会场视觉图进行本地渲染和视频编码后，向每个参会终端发送。

在具体实践中，通过公式I=alpha*F +(1-alpha)*B，其中，alpha属于[0，1]，将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，F表示第二前景图，B表示背景图，I表示融合后的图，alpha表示二值化灰度图，前景图alpha为1，背景alpha为0。

为了便于上述方案的理解，下面对上述方案中出现的一些相关技术进行详细说明。

虚拟背景，云会议中的虚拟背景主要用于用户因个人隐私或所处位置比较敏感时，需要将背景信息用已有的图像或视频替换的显示方式，简称虚拟化。云会议中虚拟背景的功能主要是对视频中的每一帧基于Image Matting生成的二值化灰度图Alpha（一般人像区域为，255，背景区域为0，人像与背景交集边缘处为0-255），将当前帧与所要替换的背景图依托Alpha图进行融合，最终得到想要的结果图或视频并进行显示。

沉浸式布局，沉浸式视频会议是让不同时间、不同地点、不同场景下在同一场会中的人体验到在同一个会议室开会的感觉。沉浸式布局是在虚拟背景的基础上进行对于不同布局的位置贴合，实现不同人在同一个场景下开会的目的。

SEI（Supplemental Enhancement Information，补充增强信息），流媒体是采用流式传输方式在网络上播放的媒体格式，视频网站内容、短视频、直播、视频会议等视频形态，均属于流媒体的不同分支。流媒体大致包含三个层级：码流、封装和协议。从音视频编码器输出的码流，经过某种封装格式后，经过特定的协议传输、保存，构成了流媒体世界的基础功能。SEI并非解码过程的必须选项，可能对解码过程（容错、纠错）有帮助， 集成在视频码流中。在视频压缩标准中，视频编码器在输出视频码流的时候，SEI信息属于附加信息，对解码器不构成影响。视频内容的编码端和传输过程中，都可以插入SEI信息，插入的SEI会和视频数据一起发送到解码端。举例来说，沉浸式布局，通过SEI传递alpha通道的相关信息，极大地优化了解码端的视频通道与alpha通道的同步性。通常，在SEI中可以添加以下信息：编码器参数、视频版权信息/字幕信息、摄像头参数以及传递内容生成过程中的剪辑事件（引发场景切换）。在视频压缩标准中，整个系统框架分为两层：视频编码层面（Video CodingLayer，简称VCL）和网络抽象层面（Network Abstraction Layer，简称NAL）。VCL负责表示有效视频数据的内容，NAL负责格式化数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。NAL unit是NAL的基本语法结构，它包含一个字节的头信息（NAL header）和一系列来自VCL的原始数据字节流（RBSP）。当nal_unit_type为6时表示该数据包是SEI信息，Payload则为所承载的数据（也是本发明具体实施方式中需要传递的数据）。

JPEG，JPEG联合图像专家组，是用于连续色调静态图像压缩的一种标准，文件后缀名为jpg或jpeg，是最常用的图像文件格式，其主要是采用预测编码、离散余弦变换以及熵编码的联合编码方。JPEG的性能，用质量与比特率之比来衡量，是相当优越的。它的优点是：1）支持极高的压缩率，因此JPEG图像的下载速度大大加快，且JPEG可以提供无损压缩。2）能够轻松地处理16.8M颜色，可以很好地再现全彩色的图像。3）在对图像的压缩处理过程中，该图像格式可以允许自由地在最小文件尺寸（最低图像质量）和最大文件尺寸（最高图像质量）之间选择。JPEG格式的文件尺寸相对较小，下载速度快，有利于在带宽并不“富裕”的情况下传输。在本发明实施例中为了尽可能的压缩Alpha通道数据，减少视频压缩码流的大小，减小带宽的压力，对于Alpha通道会先进行JPEG压缩处理，而且由于Alpha数据分布比较单一，因此压缩率会比较高。

去除绿幕，绿幕指的是将视频图像的背景是纯绿的色彩，前景是所需要的纹理图，这样做得优势是可以通过纹理和背景的色彩差值将前景图扣出，方法容易实现且不耗费计算资源。绿幕中的背景色彩值为(0，255，0),前景中99.99%不会出现有一片（大于等于4分个像素点）等于该值，可能会有偶尔一个独立的点色彩值为(0，255，0)，因此通过前景和背景色彩值的区别可以很容易的分割去前景和背景。

相关技术中，对于沉浸式布局往往需要在视频编码的SEI信息中携带压缩后的Alpha信息进行发送，在接收端对SEI信息进行解析并解压缩得到Alpha通道，在进行前景和背景的融合。由于视频引擎大多数都只支持3通道，对于4通道的支持需要对视频引擎进行较大范围的改动，且Alpha进行压缩需要Huffman编码和Jpeg压缩，对于工作量增加也较大，无法做到快速高效的完成此功能供用户使用。沉浸式布局一般都是观看沉浸式布局的效果，不会播放本地预览的视频，本发明实施例提出了一种极简的沉浸式布局的方案，可以快速便捷的实现沉浸是布局，只需要增加有去除绿幕一个功能点其余的无需做任何改变即可。

可以理解的是，本实施例提供的技术方案，由参会终端完成前景图、alpha图和绿幕的融合，不再需要参会终端压缩其Alpha图并通过SEI发送的方式，在主持终端通过绿幕抠图得到对应的Alpha图来实现沉浸式布局的功能，不改动视频引擎框架的基础上，只增加一个绿幕抠像的功能，能够简洁、快速的完成视频会议的沉浸式布局，极大的减少了开发工作量，根据实际测试可节省80%以上的工作量，并且可以保证沉浸式布局观看效果，在主持终端和参会终端看到的视频一致且合成后的数据保持同步，已在相应的云会议客户端中使用，得到用户的肯定。

实施例3

如图3所示，本发明实施例还提供另一种视频会议中沉浸式布局方法，该方法包括：

S31：获取参会终端摄像头采集的第二视频图像；

S32：对第二视频图像进行人像抠图得到第二前景图和第二二值化灰度图；

S33：将第二前景图和第二二值化灰度图与绿幕进行融合得到绿幕融合图像；

S34：向主持终端发送绿幕融合图像，以便主持终端通过对解码后的绿幕融合图像进行绿幕抠像，来获取第二前景图和第二二值化灰度图；

S35：接收会场视觉图，会场视觉图是主持终端将第一前景图和第一二值化灰度图，以及每个参会终端的第二前景图和第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合后生成的，第一前景图和第一二值化灰度图是主持终端对第一视频图像进行人像抠图得到的，第一视频图像是主持终端的摄像头采集的。

可以理解的是，本实施例提供的技术方案，由参会终端完成前景图、alpha图和绿幕的融合，不再需要参会终端压缩其Alpha图并通过SEI发送的方式，在主持终端通过绿幕抠图得到对应的Alpha图来实现沉浸式布局的功能，不改动视频引擎框架的基础上，只增加一个绿幕抠像的功能，能够简洁、快速的完成视频会议的沉浸式布局，极大的减少了开发工作量，根据实际测试可节省80%以上的工作量，并且可以保证沉浸式布局观看效果，在主持终端和参会终端看到的视频一致且合成后的数据保持同步，已在相应的云会议客户端中使用，得到用户的肯定。

实施例4

如图4所示，本发明实施例还提供一种视频会议中沉浸式布局装置，包括：

第一视频图像模块41，用于获取主持终端摄像头采集的第一视频图像；

第一人像抠图模块42，用于对第一视频图像进行人像抠图得到第一前景图和第一二值化灰度图；

绿幕融合图像接收模块43，用于接收每个参会终端发送的绿幕融合图像，绿幕融合图像是参会终端将第二前景图和第二二值化灰度图与绿幕进行融合得到的，第二前景图和第二二值化灰度图是参会终端对第二视频图像进行人像抠图得到的，第二视频图像是参会终端摄像头采集的；

绿幕抠像模块44，用于对解码后的每个绿幕融合图像进行绿幕抠像，获取每个参会终端的第二前景图和第二二值化灰度图；

会场视觉融合模块45，用于将第一前景图和第一二值化灰度图，以及每个参会终端的第二前景图和第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，生成会场视觉图，具体的，在一些可选实施例中，可以但不限于通过公式I=alpha*F+(1-alpha)*B，其中，alpha属于[0,1]，将第一前景图和第一二值化灰度图，以及每个参会终端的第二前景图和第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，F表示第二前景图，B表示背景图，I表示融合后的图，alpha表示二值化灰度图，前景图alpha为1，背景alpha为0；

会场视觉图发送模块46，用于将会场视觉图进行本地渲染和视频编码后，向每个参会终端发送。

在具体实践中，如图4中虚线部分所示，该装置还可以包括：

背景获取模块47，用于基于用户选择的预设背景获取预设背景数据。

布局图获取模块48，用于获取当前会场布局图。

可以理解的是，本实施例提供的技术方案，由参会终端完成前景图、alpha图和绿幕的融合，不再需要参会终端压缩其Alpha图并通过SEI发送的方式，在主持终端通过绿幕抠图得到对应的Alpha图来实现沉浸式布局的功能，不改动视频引擎框架的基础上，只增加一个绿幕抠像的功能，能够简洁、快速的完成视频会议的沉浸式布局，极大的减少了开发工作量，根据实际测试可节省80%以上的工作量，并且可以保证沉浸式布局观看效果，在主持终端和参会终端看到的视频一致且合成后的数据保持同步，已在相应的云会议客户端中使用，得到用户的肯定。

实施例5

如图5所示，本发明实施例还提供一种视频会议中沉浸式布局装置，包括：

第二视频图像获取模块51，用于获取参会终端摄像头采集的第二视频图像；

第二人像抠图模块52，用于对第二视频图像进行人像抠图得到第二前景图和第二二值化灰度图；

绿幕融合图像生成模块53，用于将第二前景图和第二二值化灰度图与绿幕进行融合得到绿幕融合图像；

绿幕融合图像发送模块54，用于向主持终端发送绿幕融合图像，以便主持终端通过对解码后的绿幕融合图像进行绿幕抠像，来获取第二前景图和第二二值化灰度图；

会场视觉图接收模块55，用于接收会场视觉图，会场视觉图是主持终端将第一前景图和第一二值化灰度图，以及每个参会终端的第二前景图和第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合后生成的，第一前景图和第一二值化灰度图是主持终端对第一视频图像进行人像抠图得到的，第一视频图像是主持终端的摄像头采集的。

可以理解的是，本实施例提供的技术方案，由参会终端完成前景图、alpha图和绿幕的融合，不再需要参会终端压缩其Alpha图并通过SEI发送的方式，在主持终端通过绿幕抠图得到对应的Alpha图来实现沉浸式布局的功能，不改动视频引擎框架的基础上，只增加一个绿幕抠像的功能，能够简洁、快速的完成视频会议的沉浸式布局，极大的减少了开发工作量，根据实际测试可节省80%以上的工作量，并且可以保证沉浸式布局观看效果，在主持终端和参会终端看到的视频一致且合成后的数据保持同步，已在相应的云会议客户端中使用，得到用户的肯定。

实施例6

如图6所示，本发明实施例还提供一种视频会议系统，包括：

至少一个参会终端61，获取参会终端摄像头采集的第二视频图像，对第二视频图像进行人像抠图得到第二前景图和第二二值化灰度图，将第二前景图和第二二值化灰度图与绿幕进行融合得到绿幕融合图像，向主持终端发送绿幕融合图像，接收主持终端发送的会场视觉图；

主持终端62，获取主持终端摄像头采集的第一视频图像，对第一视频图像进行人像抠图得到第一前景图和第一二值化灰度图，接收每个参会终端发送的绿幕融合图像，对解码后的绿幕融合图像进行绿幕抠像，获取每个参会终端的第二前景图和第二二值化灰度图，将第一前景图和第一二值化灰度图，以及每个参会终端的第二前景图和第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，生成会场视觉图，将会场视觉图进行本地渲染和视频编码后，向每个参会终端发送。

可以理解的是，本实施例提供的技术方案，由参会终端完成前景图、alpha图和绿幕的融合，不再需要参会终端压缩其Alpha图并通过SEI发送的方式，在主持终端通过绿幕抠图得到对应的Alpha图来实现沉浸式布局的功能，不改动视频引擎框架的基础上，只增加一个绿幕抠像的功能，能够简洁、快速的完成视频会议的沉浸式布局，极大的减少了开发工作量，根据实际测试可节省80%以上的工作量，并且可以保证沉浸式布局观看效果，在主持终端和参会终端看到的视频一致且合成后的数据保持同步，已在相应的云会议客户端中使用，得到用户的肯定。

实施例7

基于同一技术构思，本申请实施例还提供了一种计算机设备，包括存储器1和处理器2，如图7所示，所述存储器1存储有计算机程序，所述处理器2执行所述计算机程序时实现上述任一项所述的视频会议中沉浸式布局方法。

其中，存储器1至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器1在一些实施例中可以是视频会议系统的内部存储单元，例如硬盘。存储器1在另一些实施例中也可以是视频会议系统的外部存储设备，例如插接式硬盘，智能存储卡（Smart MediaCard, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，存储器1还可以既包括视频会议系统的内部存储单元也包括外部存储设备。存储器1不仅可以用于存储安装于视频会议系统的应用软件及各类数据，例如视频会议系统程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器2在一些实施例中可以是一中央处理器（Central Processing Unit,CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器1中存储的程序代码或处理数据，例如执行视频会议程序等。

可以理解的是，本实施例提供的技术方案，由参会终端完成前景图、alpha图和绿幕的融合，不再需要参会终端压缩其Alpha图并通过SEI发送的方式，在主持终端通过绿幕抠图得到对应的Alpha图来实现沉浸式布局的功能，不改动视频引擎框架的基础上，只增加一个绿幕抠像的功能，能够简洁、快速的完成视频会议的沉浸式布局，极大的减少了开发工作量，根据实际测试可节省80%以上的工作量，并且可以保证沉浸式布局观看效果，在主持终端和参会终端看到的视频一致且合成后的数据保持同步，已在相应的云会议客户端中使用，得到用户的肯定。

本发明公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的视频会议中沉浸式布局方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本发明公开实施例所提供的视频会议中沉浸式布局方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的视频会议中沉浸式布局方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本发明公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包（Software DevelopmentKit，SDK）等等。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种视频会议中沉浸式布局方法，其特征在于，包括：

获取主持终端摄像头采集的第一视频图像；

对所述第一视频图像进行人像抠图得到第一前景图和第一二值化灰度图；

接收每个参会终端发送的绿幕融合图像，所述绿幕融合图像是所述参会终端将第二前景图和第二二值化灰度图与绿幕进行融合得到的，所述第二前景图和第二二值化灰度图是所述参会终端对第二视频图像进行人像抠图得到的，所述第二视频图像是所述参会终端摄像头采集的；

对解码后的每个绿幕融合图像进行绿幕抠像，获取每个所述参会终端的所述第二前景图和所述第二二值化灰度图；

将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，生成会场视觉图；

将所述会场视觉图进行本地渲染和视频编码后，向每个所述参会终端发送；

所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合为：通过公式I=alpha*F +(1-alpha)*B，其中，alpha属于[0，1]，将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，F表示第二前景图，B表示背景图，I表示融合后的图，alpha表示二值化灰度图，前景图alpha为1，背景alpha为0。

2.根据权利要求1所述的视频会议中沉浸式布局方法，其特征在于，在所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合之前，所述方法还包括：

基于用户选择的预设背景获取所述预设背景数据。

3.根据权利要求2所述的视频会议中沉浸式布局方法，其特征在于，在所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合之前，所述方法还包括：

获取所述当前会场布局图。

4.一种视频会议中沉浸式布局方法，其特征在于，包括：

获取参会终端摄像头采集的第二视频图像；

对所述第二视频图像进行人像抠图得到第二前景图和第二二值化灰度图；

将所述第二前景图和所述第二二值化灰度图与绿幕进行融合得到绿幕融合图像；

向主持终端发送所述绿幕融合图像，以便所述主持终端通过对解码后的所述绿幕融合图像进行绿幕抠像，来获取所述第二前景图和所述第二二值化灰度图；

接收会场视觉图，所述会场视觉图是所述主持终端将第一前景图和第一二值化灰度图，以及每个参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合后生成的，所述第一前景图和所述第一二值化灰度图是所述主持终端对第一视频图像进行人像抠图得到的，所述第一视频图像是所述主持终端的摄像头采集的；

所述将第一前景图和第一二值化灰度图，以及每个参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合为：通过公式I=alpha*F +(1-alpha)*B，其中，alpha属于[0，1]，将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，F表示第二前景图，B表示背景图，I表示融合后的图，alpha表示二值化灰度图，前景图alpha为1，背景alpha为0。

5.一种视频会议中沉浸式布局装置，其特征在于，包括：

第一视频图像模块，用于获取主持终端摄像头采集的第一视频图像；

第一人像抠图模块，用于对所述第一视频图像进行人像抠图得到第一前景图和第一二值化灰度图；

绿幕融合图像接收模块，用于接收每个参会终端发送的绿幕融合图像，所述绿幕融合图像是所述参会终端将第二前景图和第二二值化灰度图与绿幕进行融合得到的，所述第二前景图和第二二值化灰度图是所述参会终端对第二视频图像进行人像抠图得到的，所述第二视频图像是所述参会终端摄像头采集的；

绿幕抠像模块，用于对解码后的每个绿幕融合图像进行绿幕抠像，获取每个所述参会终端的所述第二前景图和所述第二二值化灰度图；

会场视觉融合模块，用于将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，生成会场视觉图，所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合为：通过公式I=alpha*F +(1-alpha)*B，其中，alpha属于[0，1]，将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，F表示第二前景图，B表示背景图，I表示融合后的图，alpha表示二值化灰度图，前景图alpha为1，背景alpha为0；

会场视觉图发送模块，用于将所述会场视觉图进行本地渲染和视频编码后，向每个所述参会终端发送。

6.一种视频会议中沉浸式布局装置，其特征在于，包括：

第二视频图像获取模块，用于获取参会终端摄像头采集的第二视频图像；

第二人像抠图模块，用于对所述第二视频图像进行人像抠图得到第二前景图和第二二值化灰度图；

绿幕融合图像生成模块，用于将所述第二前景图和所述第二二值化灰度图与绿幕进行融合得到绿幕融合图像；

绿幕融合图像发送模块，用于向主持终端发送所述绿幕融合图像，以便所述主持终端通过对解码后的所述绿幕融合图像进行绿幕抠像，来获取所述第二前景图和所述第二二值化灰度图；

会场视觉图接收模块，用于接收会场视觉图，所述会场视觉图是所述主持终端将第一前景图和第一二值化灰度图，以及每个参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合后生成的，所述第一前景图和所述第一二值化灰度图是所述主持终端对第一视频图像进行人像抠图得到的，所述第一视频图像是所述主持终端的摄像头采集的，所述主持终端将第一前景图和第一二值化灰度图，以及每个参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合为：所述主持终端通过公式I=alpha*F +(1-alpha)*B，其中，alpha属于[0，1]，将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，F表示第二前景图，B表示背景图，I表示融合后的图，alpha表示二值化灰度图，前景图alpha为1，背景alpha为0。

7.一种视频会议系统，其特征在于，包括：

至少一个参会终端，获取参会终端摄像头采集的第二视频图像，对所述第二视频图像进行人像抠图得到第二前景图和第二二值化灰度图，将所述第二前景图和所述第二二值化灰度图与绿幕进行融合得到绿幕融合图像，向主持终端发送所述绿幕融合图像，接收主持终端发送的会场视觉图；

主持终端，获取主持终端摄像头采集的第一视频图像，对所述第一视频图像进行人像抠图得到第一前景图和第一二值化灰度图，接收每个参会终端发送的绿幕融合图像，对解码后的所述绿幕融合图像进行绿幕抠像，获取每个所述参会终端的所述第二前景图和所述第二二值化灰度图，将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，生成会场视觉图，将所述会场视觉图进行本地渲染和视频编码后，向每个所述参会终端发送，所述将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合为：通过公式I=alpha*F +(1-alpha)*B，其中，alpha属于[0，1]，将所述第一前景图和所述第一二值化灰度图，以及每个所述参会终端的所述第二前景图和所述第二二值化灰度图按照当前会场布局图进行前景数据和预设背景数据的融合，F表示第二前景图，B表示背景图，I表示融合后的图，alpha表示二值化灰度图，前景图alpha为1，背景alpha为0。

8.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至4中任一项所述视频会议中沉浸式布局方法。

9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至4中任一项所述视频会议中沉浸式布局方法。