CN114584737B - 一种云会议中实时多人同场景自定义的方法与系统 - Google Patents

Abstract

本发明属于视频云会议技术领域，具体涉及一种云会议中实时多人同场景自定义的方法和系统，方法包括以下步骤：主持人端发起同场景会议模式，并将消息发送给参会人端；参会人端收到消息，启动同场景处理，生成第一YUV数据和对应的第一Alpha数据并发送；主持人端接收数据，合成同场景视频，发送到参会人端同步显示。本发明通过将参会人端摄像头采集的视频数据在参会人端分割处理，再发送到主持人端进行同场景视频合成，然后分发到各参会人端；有效将复杂的视频运算下放到各参会人端，确保了设备资源的合理分配使用，不仅不需要增加额外硬件设备，减小了用户使用成本，同时由于不需要服务器进行复杂视频运算，节约了云服务器计算资源。

Description

一种云会议中实时多人同场景自定义的方法与系统

技术领域

本发明属于视频云会议技术领域，具体涉及一种云会议中实时多人同场景自定义的方法与系统。

背景技术

在视频云会议中，为了让参会人拥有更好的会议体验，需要在云会议中实现实时多人同场景自定义的会议模式，让多位参会人视频出现在同一场景中，既能保护参会人视频的隐私，也能够模拟参会人在同一个会议室中开会的场景，从而营造出面对面开会的体验。

现有技术下，实现云会议中多人同场景自定义的方案，分为硬件设备方案和云服务器方案。硬件设备方案需要用户在本地会议室中放置额外硬件设备来处理复杂的视频运算，参会人视频都上传到硬件设备上处理后，再分发给各个参会终端。但是这种方案增加了用户的使用成本。云服务器方案将参会人视频在云服务器上进行复杂运算处理后，再分发给各个参会终端。这种方案虽然降低了用户的使用成本，但是增加了云服务器资源的消耗。现有技术的方案都不能很好的解决设备资源及使用成本问题。

发明内容

本发明要解决的技术问题在于克服现有技术中云会议多人同场景方案需要增加额外硬件导致增加用户使用成本和使用云服务器处理复杂运算导致云服务器资源大量消耗的缺陷，从而提供一种云会议中实时多人同场景自定义的方法与系统。

一种云会议中实时多人同场景自定义的方法，包括以下步骤：

主持人端发起同场景会议模式，并将同场景会议模式开启消息通过云服务器发送给参会人端；

参会人端收到同场景会议模式开启消息，启动同场景处理，生成第一YUV数据和对应的第一Alpha数据并发送到云服务器；

主持人端从所述云服务器接收所述第一YUV数据和对应的第一Alpha数据，合成同场景视频，通过云服务器发送到参会人端同步显示。

进一步的，所述参会人端启动同场景处理，生成第一YUV数据和对应的第一Alpha数据并发送到云服务器，包括：

参会人端通过摄像头采集视频数据；

将采集到的视频数据进行分割处理，生成第一YUV数据和第一Alpha数据；

对第一YUV数据进行H.264编码，并将对应的第一Alpha数据插入到H.264编码的SEI信息辅助字段中，生成H.264编码数据；

将H.264编码数据打包为RTP包并发送到云服务器。

进一步的，所述主持人端从所述云服务器接收所述第一YUV数据和对应的第一Alpha数据，合成同场景视频包括：

主持人端通过摄像头采集视频数据，并将采集到的视频数据进行分割处理，生成第二YUV数据和第二Alpha数据；

从云服务器接收RTP包，对所述RTP包进行视频组帧和解析，得到H.264编码数据；

对所述H.264编码数据进行解码获取第一YUV数据，从SEI信息辅助字段中提取出第一Alpha数据；

获取设定场景信息，所述场景信息包括场景图YUV数据和场景参数；

将第一YUV数据、第一Alpha数据、第二YUV数据和第二Alpha数据，与场景图YUV数据进行合成，并按照场景参数进行调整，完成同场景视频合成。

进一步的，一种云会议中实时多人同场景自定义的方法，还包括：

主持人端关闭同场景会议模式，并将同场景会议模式关闭消息通过云服务器发送给参会人端，参会人端关闭同场景处理。

进一步的，一种云会议中实时多人同场景自定义的方法，还包括：

所述参会人端收到同场景会议模式开启消息后，关闭多层视频编码；

所述参会人端收到同场景会议模式关闭消息后，开启多层视频编码。

一种云会议中实时多人同场景自定义的系统，包括：

主持人端装置，用于发起同场景会议模式，并将同场景会议模式开启消息通过云服务器发送给参会人端；接收第一YUV数据和对应的第一Alpha数据，合成同场景视频，通过云服务器发送到参会人端同步显示；关闭同场景会议模式，并将同场景会议模式关闭消息通过云服务器发送给参会人端；

参会人端装置，用于通过云服务器接收主持人端发出的同场景会议模式开启消息；从摄像头中采集视频数据，并将采集到的视频数据进行分割处理，生成第一YUV数据和对应的第一Alpha数据；发送第一YUV数据和对应的第一Alpha数据；接收主持人端通过云服务器发送的同场景视频并显示。

进一步的，所述主持人端装置包括：

会议控制模块，用于控制同场景会议的开启与关闭；

主持人端接收模块，用于接收参会人端发出的数据；

合成模块，用于合成同场景视频；

主持人端发送模块，用于向参会人端发送数据；

主持人端显示模块，用于在主持人端显示同场景视频。

进一步的，所述参会人端装置包括：

采集模块，用于从摄像头中采集视频数据，将采集单元中采集到的视频数据进行分割处理，并生成第一YUV数据和对应的第一Alpha数据；

参会人端发送模块，用于对第一YUV数据进行H.264编码，将对应的第一Alpha数据插入到所述H.264编码的SEI信息辅助字段中，以及将H.264编码数据打包为RTP包并发送到云服务器；

参会人端接收模块，用于接收主持人端发出的数据；

参会人端显示模块，用于在参会人端显示同场景视频。

进一步的，所述主持人端接收模块包括：

视频组帧单元，用于对RTP包进行视频组帧和解析；

RTP包解析单元，用于提取RTP包中的第一YUV数据和对应的第一Alpha数据。

进一步的，所述合成模块包括：

合成单元，用于将第一YUV数据、第一Alpha数据、第二YUV数据和第二Alpha数据，与场景图YUV数据进行合成；

调整单元，用于对同场景视频按照场景参数进行对比度和亮度调整。有益效果：

1.本发明通过将参会人端摄像头采集的视频数据在参会人端进行分割处理，生成第一YUV数据和第一Alpha数据，再发送到主持人端进行同场景视频合成，然后将同场景视频分发到各参会人端；有效将复杂的视频运算下放到各参会人端，确保了设备资源的合理分配使用，不仅不需要增加额外的硬件设备，减小了用户的使用成本，同时由于不需要服务器进行复杂的视频运算，大大节约了云服务器计算资源。

2.本发明通过将第一Alpha数据插入到H.264编码的SEI信息辅助字段中，将第一Alpha数据作为视频编码数据的一部分与第一YUV数据同步发送，实现了第一YUV数据与第一Alpha数据的同步对齐，确保了后续同场景视频的合成质量。通过将H.264编码数据打包为RTP包并发送，确保了数据的有效传输。

3.本发明通过将主持人端与参会人端所有的数据传输通过云服务器转发，确保了数据传输的稳定高速，降低了视频云会议的通信延迟。通过在主持人端完成同场景视频合成并分发到各参会人端，确保了各参会人端显示的同场景视频的一致性，提升了云视频的会议的体验。

附图说明

图1为本发明的主要步骤流程图；

图2为本发明的参会人端和主持人同场景会议流程图；

图3为本发明参会人端同场景处理的步骤流程图；

图4为本发明主持人端合成同场景视频并发送的步骤流程图；

图5为本发明主持人端装置的结构框图；

图6为本发明参会人端装置的结构框图。

具体实施方式

为了使本领域的技术人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

参照图1所示，本发明公开了一种云会议中实时多人同场景自定义的方法，包括以下步骤：

S101、主持人端发起同场景会议模式，并将同场景会议模式开启消息通过云服务器发送给参会人端；

S102、参会人端收到同场景会议模式开启消息，启动同场景处理，生成第一YUV数据和对应的第一Alpha数据并发送到云服务器；

S103、主持人端从所述云服务器接收所述第一YUV数据和对应的第一Alpha数据，合成同场景视频，通过云服务器发送到参会人端同步显示。

本发明通过将参会人端摄像头采集的视频数据在参会人端进行分割处理，生成第一YUV数据和第一Alpha数据，再发送到主持人端进行同场景视频合成，然后将同场景视频分发到各参会人端；有效将复杂的视频运算下放到各参会人端，确保了设备资源的合理分配使用，不仅不需要增加额外的硬件设备，减小了用户的使用成本，同时由于不需要服务器进行复杂的视频运算，大大节约了云服务器计算资源。

实施例2：

参照图2所示，以三个参会人端为例，公开了一种云会议中实时多人同场景自定义的方法，包括：

主持人端发起同场景会议模式，并将同场景会议模式开启消息通过云服务器发送给多个参会人端；

参会人端收到同场景会议模式开启消息，关闭多层视频编码，启动同场景处理，生成第一YUV数据和对应的第一Alpha数据并发送到云服务器；

云服务器向主持人端发送所述第一YUV数据和对应的第一Alpha数据；

主持人端根据接收的所述第一YUV数据和对应的第一Alpha数据，合成同场景视频，通过云服务器发送到参会人端同步显示；

主持人端关闭同场景会议模式，并将同场景会议模式关闭消息通过云服务器发送给参会人端；

参会人端关闭同场景处理，开启多层视频编码。

主持人端通过服务器向参会人端发送同场景会议模式的开启或关闭消息，控制参会人端同场景会议模式的进行。参会人端不在同场景会议模式时，开启多层视频编码，切换到普通视频云会议模式下的数据传输，确保云会议不中断，能够持续正常运行。

实施例3

在上述实施例的基础上，对云会议中实时多人同场景自定义的方法进行进一步的说明；本实施例分别对同场景会议进行时，参会人端同场景处理的步骤和主持人端合成同场景视频并发送的步骤进行进一步的详细说明。

参照图3所示，所述参会人端启动同场景处理，生成第一YUV数据和对应的第一Alpha数据并发送到云服务器，包括：

参会人端通过摄像头采集视频数据；

将采集到的视频数据进行分割处理，生成第一YUV数据和第一Alpha数据；

对第一YUV数据进行H.264编码，并将对应的第一Alpha数据插入到H.264编码的SEI信息辅助字段中，生成H.264编码数据；

将H.264编码数据打包为RTP包并发送到云服务器。

可选地，在将采集到的视频数据进行分割处理前，还包括采集后处理和视频分割前处理。所述采集后处理包括在用于分割处理的分割库支持的色彩空间与采集到视频数据的色彩空间不匹配时，对所采集的视频数据先进行色彩空间转换。所述视频分割前处理包括对视频数据进行视频缩放、视频旋转、视频裁剪处理，以便在后续同场景视频合成中确保视频中人像的分辨率、角度和大小的统一。

可选地，在将第一Alpha数据插入到H.264编码的SEI信息辅助字段中前，先将第一Alpha数据进行无损压缩。由于第一Alpha数据数据量较大，同时第一Alpha数据的差异性直接影响到同场景视频的合成效果，因此采用无损压缩，在节约服务器带宽的同时确保了同场景会议模式的效果体验。

本发明通过将第一Alpha数据插入到H.264编码的SEI信息辅助字段中，将第一Alpha数据作为视频编码数据的一部分与第一YUV数据同步发送，实现了第一YUV数据与第一Alpha数据的同步对齐，确保了后续同场景视频的合成质量。通过将H.264编码数据打包为RTP包并发送，确保了数据的有效传输。

参照图4所示，所述主持人端从所述云服务器接收所述第一YUV数据和对应的第一Alpha数据，合成同场景视频包括：

主持人端通过摄像头采集视频数据，并将采集到的视频数据进行分割处理，生成YUV数据D和Alpha数据D；

从云服务器接收RTP包，对所述RTP包进行视频组帧和解析，得到H.264编码数据；

对所述H.264编码数据进行解码获取YUV数据A、YUV数据B、YUV数据C，从SEI信息辅助字段中提取出Alpha数据A、Alpha数据B、Alpha数据C；

获取设定场景信息，所述场景信息包括场景图YUV数据和场景参数；

将YUV数据A、YUV数据B、YUV数据C、Alpha数据A、Alpha数据B、Alpha数据C、YUV数据D和Alpha数据D，与场景图YUV数据进行合成，并按照场景参数进行调整，完成同场景视频合成。

由于从SEI信息辅助字段中提取出的第一Alpha数据为无损压缩的数据，需要首先对其进行解压。在对所述RTP包进行视频组帧时，根据RTP包中的时间戳确定RTP包的时间顺序，根据MARK位确定每一帧的开始和结束，从而完成对RTP包的组帧。

本发明通过将主持人端与参会人端所有的数据传输通过云服务器转发，确保了数据传输的稳定高速，降低了视频云会议的通信延迟。通过在主持人端完成同场景视频合成并分发到各参会人端，确保了各参会人端显示的同场景视频的一致性，提升了云视频的会议的体验。

实施例4

本发明还提供了一种云会议中实时多人同场景自定义的系统，包括：

主持人端装置，用于发起同场景会议模式，并将同场景会议模式开启消息通过云服务器发送给参会人端；接收第一YUV数据和对应的第一Alpha数据，合成同场景视频，通过云服务器发送到参会人端同步显示；关闭同场景会议模式，并将同场景会议模式关闭消息通过云服务器发送给参会人端；

参会人端装置，用于通过云服务器接收主持人端发出的同场景会议模式开启消息；从摄像头中采集视频数据，并将采集到的视频数据进行分割处理，生成第一YUV数据和对应的第一Alpha数据；发送第一YUV数据和对应的第一Alpha数据；接收主持人端通过云服务器发送的同场景视频并显示。

参照图5所示，所述主持人端装置包括：

会议控制模块，用于控制同场景会议的开启与关闭；

主持人端接收模块，用于接收参会人端发出的数据；

合成模块，用于合成同场景视频；

主持人端发送模块，用于向参会人端发送数据；

主持人端显示模块，用于在主持人端显示同场景视频。

参照图6所示，所述参会人端装置包括：

采集模块，用于从摄像头中采集视频数据，将采集单元中采集到的视频数据进行分割处理，并生成第一YUV数据和对应的第一Alpha数据；

参会人端发送模块，用于对第一YUV数据进行H.264编码，将对应的第一Alpha数据插入到所述H.264编码的SEI信息辅助字段中，以及将H.264编码数据打包为RTP包并发送到云服务器；

参会人端接收模块，用于接收主持人端发出的数据；

参会人端显示模块，用于在参会人端显示同场景视频。

具体来说，所述主持人端接收模块包括：

视频组帧单元，用于对RTP包进行视频组帧和解析；

RTP包解析单元，用于提取RTP包中的第一YUV数据和对应的第一Alpha数据。

具体来说，所述合成模块包括：

合成单元，用于将第一YUV数据、第一Alpha数据、第二YUV数据和第二Alpha数据，与场景图YUV数据进行合成；

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围之内。

Claims (1)

1.一种云会议中实时多人同场景自定义的方法，其特征在于，包括以下步骤：

主持人端发起同场景会议模式，并将同场景会议模式开启消息通过云服务器发送给参会人端；

参会人端收到同场景会议模式开启消息后，关闭多层视频编码；

所述参会人端收到同场景会议模式开启消息，启动同场景处理，生成第一YUV数据和对应的第一Alpha数据并发送到云服务器；

主持人端从所述云服务器接收所述第一YUV数据和对应的第一Alpha数据，合成同场景视频，通过云服务器发送到参会人端同步显示；

所述参会人端启动同场景处理，生成第一YUV数据和对应的第一Alpha数据并发送到云服务器，包括：

参会人端通过摄像头采集视频数据；

进行采集后处理：包括用于分割处理的分割库支持的色彩空间与采集到视频数据的色彩空间不匹配时，对所采集的视频数据先进行色彩空间转换；

进行视频分割前处理：包括对视频数据进行视频缩放、视频旋转、视频裁剪处理；

将采集到的视频数据进行分割处理，生成第一YUV数据和第一Alpha数据；

将第一Alpha数据进行无损压缩；

对第一YUV数据进行H.264编码，并将对应的第一Alpha数据插入到H.264编码的SEI信息辅助字段中，生成H.264编码数据；

将H.264编码数据打包为RTP包并发送到云服务器；

所述主持人端从所述云服务器接收所述第一YUV数据和对应的第一Alpha数据，合成同场景视频包括：

主持人端通过摄像头采集视频数据，并将采集到的视频数据进行分割处理，生成第二YUV数据和第二Alpha数据；

从云服务器接收RTP包，对所述RTP包进行视频组帧和解析，得到H.264编码数据；

对所述H.264编码数据进行解码获取第一YUV数据，从SEI信息辅助字段中提取出压缩的第一Alpha数据；

解压缩第一Alpha数据；

获取设定场景信息，所述场景信息包括场景图YUV数据和场景参数；

将第一YUV数据、第一Alpha数据、第二YUV数据和第二Alpha数据，与场景图YUV数据进行合成，并按照场景参数进行调整，完成同场景视频合成；

主持人端关闭同场景会议模式，并将同场景会议模式关闭消息通过云服务器发送给参会人端，参会人端关闭同场景处理；

所述参会人端收到同场景会议模式关闭消息后，开启多层视频编码。

Images