CN114501070B

CN114501070B - 视频会议同步额外信息的编解码方法、处理方法和系统

Info

Publication number: CN114501070B
Application number: CN202210391297.3A
Authority: CN
Inventors: 程鹏宇
Original assignee: G Net Cloud Service Co Ltd
Current assignee: G Net Cloud Service Co Ltd
Priority date: 2022-04-14
Filing date: 2022-04-14
Publication date: 2022-07-19
Anticipated expiration: 2042-04-14
Also published as: CN114501070A

Abstract

本发明涉及视频会议同步额外信息的编解码方法、处理方法和系统，具体方法为：采集视频会议中待传输的基础信息；基于基础信息生成额外信息；对额外信息进行压缩；在基础信息中插入补充增强信息SEI，并将压缩后的额外信息添加到SEI中，得到处理后的基础信息；对所述处理后的基础信息进行编码；接收编码数据，对编码数据进行解码，提取基础信息和SEI中的压缩后的额外信息；对压缩后的额外信息进行解压得到额外信息。本发明使得视频数据和额外信息数据做到时间上的同步，同时降低参会人端的设备负荷。

Description

视频会议同步额外信息的编解码方法、处理方法和系统

技术领域

本发明属于视频会议技术领域，更具体地，涉及一种视频会议同步额外信息的编解码方法、处理方法和系统。

背景技术

随着视频会议领域技术的不断发展进步，各行各业对于视频会议使用率越来越高，对于视频会议功能的需求越来越精细化和个性化，现在的视频会议软件除了保障视频会议基础功能（如音频流畅、视频清晰）外，还需要满足一些如虚拟背景，沉浸式布局，控制道具，添加字幕，直播问答模式等功能，这些功能都作为额外信息进行控制，现有的技术一般对基础信息（如视频、音频数据）和额外信息进行独立传输，然后在解码端通过时间戳同步或线程队列同步等方式来匹配基础信息和额外信息，这会存在基础信息和额外信息相互等待的情况使得视频卡顿，还会存在如果其中一个通道数据丢失的情况下使得合成后的视频不同步的问题。同时，由于视频会议的硬件大多来自于终端用户本身的自有设备，硬件性能优劣不一，将额外信息的控制功能放到每个参会人端，对于参会人端的性能消耗会很高，严重影响视频会议的正常进行。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中的上述技术缺陷，从而提供一种视频会议中同步基础信息和额外信息的编码方法、解码方法、处理方法和系统，具体实现方案如下。

第一方面，本发明提供一种视频会议中同步基础信息和额外信息的编码方法，包括：

采集视频会议中待传输的基础信息；

基于基础信息生成额外信息；

对额外信息进行压缩；

在基础信息中插入补充增强信息SEI，并将压缩后的额外信息添加到SEI中，得到处理后的基础信息；

对所述处理后的基础信息进行编码。

可选的，所述基础信息包括视频信息，所述额外信息包括Alpha通道数据。

可选的，所述对额外信息进行压缩包括：对额外信息进行无损压缩。

可选的，所述的编码方法应用在参会人端，在对所述处理后的基础信息进行编码之后还包括：接收来自主持人端的融合信息的编码数据，并进行解码；所述融合信息是所述主持人端根据所述处理后的基础信息生成的。

第二方面，本发明提供一种视频会议中同步基础信息和额外信息的解码方法，包括：

接收编码数据，所述编码数据是根据第一方面的编码方法得到；

对编码数据进行解码，提取基础信息和SEI中的压缩后的额外信息；

对压缩后的额外信息进行解压得到额外信息。

可选的，所述的解码方法应用在主持人端，在对压缩后的额外信息进行解压得到额外信息之后还包括：对提取到的基础信息和额外信息进行融合得到融合信息；对融合信息进行编码并发送。

第三方面，本发明提供一种视频会议中同步基础信息和额外信息的编码装置，包括：

第一采集模块，用于对视频会议中待传输的基础信息进行采集；

第一额外信息生成模块，用于根据基础信息生成额外信息；

压缩模块，用于对额外信息进行压缩；

插入模块，用于在基础信息中插入补充增强信息SEI，并将压缩后的额外信息添加到SEI中，得到处理后的基础信息；

第一编码器，用于对所述处理后的基础信息进行编码。

可选的，所述的编码装置应用在参会人端，还包括：第一解码器，用于接受主持人端融合信息的编码数据，并进行解码；所述融合信息是所述主持人端根据所述处理后的基础信息生成的。

第四方面，本发明提供一种视频会议中同步基础信息和额外信息的解码装置，包括：

接收模块，用于接收编码数据，所述编码数据是根据第一方面所述的编码方法得到；

第二解码器，用于对编码数据进行解码，提取基础信息和SEI中的压缩后的额外信息；

解压模块，用于对压缩后的额外信息进行解压得到额外信息。

可选的，所述的解码装置应用在主持人端，还包括：

信息融合模块，用于对提取到的基础信息和额外信息进行融合得到融合信息；

第二编码器，用于对融合信息进行编码并发送。

本发明技术方案，具有如下优点：

本发明通过在视频码流的补充增强信息SEI中添加额外信息，可以使得视频数据和额外信息数据做到时间上的同步，保证在主持人端和参会人端看到视频一致且合成后的数据保持同步，通过在主持人端进行额外信息的控制，降低参会人端的设备负荷，减小参会人端设备对视频会议的影响，保证视频会议的正常进行。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开实施例所提供的一种编码方法的流程图；

图2为本发明公开实施例所提供的一种解码方法的流程图；

图3为本发明公开实施例所提供的一种编码装置的结构示意图；

图4为本发明公开实施例所提供的一种解码装置的结构示意图；

图5为本发明公开实施例所提供的一种整体处理方法的流程图；

图6为本发明公开实施例所采集的视频图像；

图7为本发明公开实施例所生成的Alpha图像；

图8为本发明公开实施例的沉浸式布局的视频会议图像；

图9为本发明公开实施例所提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

如图1所示，本发明公开实施例所提供的一种视频会议中同步基础信息和额外信息的编码方法，包括：

S101、采集视频会议中待传输的基础信息；

S102、基于基础信息生成额外信息；

S103、对额外信息进行压缩；

S104、在基础信息中插入补充增强信息SEI，并将压缩后的额外信息添加到SEI中，得到处理后的基础信息；

S105、对所述处理后的基础信息进行编码。

可选的，所述基础信息包括视频信息，还可以包括音频信息或者视频信息、音频信息两者的组合；额外信息根据视频会议的需求，可以包括Alpha通道数据，Alpha通道数据是对视频图像进行二值化处理后的图像数据，方便后续对视频会议做虚拟化背景、沉浸式布局等特定需求的视频会议的设计。

可选的，可以选择无损压缩的方式对额外信息进行压缩后再添加到SEI中。具体的，JPEG联合图像专家组，是用于连续色调静态图像压缩的一种标准，支持极高的压缩率，JPEG图像的下载速度大大加快，可以提供无损压缩，且可以很好地再现全彩色的图像，因此，为了尽可能的压缩额外信息数据，减少视频压缩码流的大小，减小带宽的压力，对于额外信息可以采用JPEG无损压缩技术进行压缩处理。

可选的，将所述的编码方法应用在参会人端，在对所述处理后的基础信息进行编码之后还包括：接收来自主持人端的融合信息的编码数据，并进行解码；所述融合信息是所述主持人端根据所述处理后的基础信息生成的。根据视频会议的形式可以有多个参会人端，多个参会人端分别进行所述的编码方法以完成基础信息和额外信息的同步，同时，多个参会人端分别接收来自主持人端的融合信息的编码数据，并进行解码，然后实现所需的视频会议的形式。

可以理解的是，本实施例提供的技术方案，通过采集视频会议的基础信息和额外信息，将额外信息压缩后添加到视频码流中的SEI信息中，然后进行编码，压缩后的额外信息对视频码流不会有太强的影响，同时使得视频数据和额外信息数据做到时间上的同步。

实施例2

如图2所示，在实施例1的基础上，本发明公开实施例所提供的一种视频会议中同步基础信息和额外信息的解码方法，包括：

S201、接收编码数据，所述编码数据是根据实施例1的编码方法得到；

S202、对编码数据进行解码，提取基础信息和SEI中的压缩后的额外信息；

S203、对压缩后的额外信息进行解压得到额外信息。

可选的，主持人端对融合信息还要进行本地渲染，然后编码发送给参会人端。

可选的，主持人端可以参加会议或者不参加会议，当参加会议时，同样需要采集主持人端的基础信息，并基于基础信息生成额外信息，然后直接进行基础信息和额外信息的融合得到融合信息，编码后发送给参会人端。

可以理解的是，本实施例提供的技术方案，通过采集视频会议的基础信息和额外信息，将额外信息压缩后添加到视频码流中的SEI信息中，然后进行编码，主持人端对编码数据进行解码，提取基础信息和SEI中的压缩后的额外信息，对压缩后的额外信息进行解压得到额外信息，对提取到的基础信息和额外信息进行融合得到融合信息，对融合信息进行编码并发送至参会人端，实现所需的视频会议的形式。通过将额外信息压缩后添加到视频码流中的SEI信息中，实现基础信息和额外信息时间上的同步，压缩后的额外信息对视频码流不会有太强的影响，且将编码后的数据发送至主持人端进行处理，降低参会人端的设备负荷，减小参会人端设备对视频会议的影响，保证视频会议的正常进行。

实施例3

如图3所示，本发明公开实施例所提供的一种视频会议中同步基础信息和额外信息的编码装置，包括：

第一采集模块301，用于对视频会议中待传输的基础信息进行采集；

第一额外信息生成模块302，用于根据基础信息生成额外信息；

压缩模块303，用于对额外信息进行压缩；

插入模块304，用于在基础信息中插入补充增强信息SEI，并将压缩后的额外信息添加到SEI中，得到处理后的基础信息；

第一编码器305，用于对所述处理后的基础信息进行编码。

可选的，所述的编码装置应用在参会人端，还包括：第一解码器306，用于接受主持人端融合信息的编码数据，并进行解码；所述融合信息是所述主持人端根据所述处理后的基础信息生成的。

可以理解的是，本实施例提供的技术方案中的编码装置，通过采集视频会议的基础信息和额外信息，将额外信息压缩后添加到视频码流中的SEI信息中，然后进行编码，压缩后的额外信息对视频码流不会有太强的影响，同时使得视频数据和额外信息数据做到时间上的同步。

实施例4

如图4所示，本发明公开实施例所提供的一种视频会议中同步基础信息和额外信息的解码装置，包括：

接收模块401，用于接收编码数据，所述编码数据是根据第一方面所述的编码方法得到；

第二解码器402，用于对编码数据进行解码，提取基础信息和SEI中的压缩后的额外信息；

解压模块403，用于对压缩后的额外信息进行解压得到额外信息。

可选的，所述的解码装置应用在主持人端，还包括：信息融合模块404，用于对提取到的基础信息和额外信息进行融合得到融合信息；第二编码器405，用于对融合信息进行编码并发送。

可以理解的是，本实施例提供的技术方案的解码装置，主持人端对编码数据进行解码后，提取基础信息和SEI中的压缩后的额外信息，对压缩后的额外信息进行解压得到额外信息，对提取到的基础信息和额外信息进行融合得到融合信息，对融合信息进行编码并发送至参会人端，实现所需的视频会议的形式。通过将额外信息压缩后添加到视频码流中的SEI信息中，实现基础信息和额外信息时间上的同步，压缩后的额外信息对视频码流不会有太强的影响，且将编码后的数据发送至主持人端进行处理，降低参会人端的设备负荷，减小参会人端设备对视频会议的影响，保证视频会议的正常进行。

实施例5

如图3所示，本发明公开实施例所提供的一种视频会议中同步基础信息和额外信息的处理方法，包括以下步骤：

S501、采集视频会议中参会人端的待传输的基础信息；

S502、基于基础信息生成额外信息；

S503、对额外信息进行压缩；

S504、在基础信息中插入补充增强信息SEI，并将压缩后的额外信息添加到SEI中，得到处理后的基础信息;

S505、对所述处理后的基础信息进行编码，将编码数据发送给视频会议的主持人端；

S506、主持人端进行解码，提取基础信息和SEI中的压缩后的额外信息；

S507、对压缩后的额外信息进行解压得到额外信息；

S508、对提取到的基础信息和额外信息进行融合得到融合信息，对融合信息进行编码并发送；

S509、参会人端接受融合信息的编码数据，并进行解码，完成处理过程。

可选的，参会人端可以有一个或多个，有多个参会人端时，采集多个参会人端的基础信息和额外信息形成多路数据进行传输。

可选的，主持人端可以参加会议或者不参加会议，参加会议时，同样需要采集主持人端的基础信息，并基于基础信息生成额外信息，然后直接进行基础信息和额外信息的信息融合，编码后发送给参会人端。

可选的，所述基础信息包括视频信息、音频信息的其中一种或者两者的组合。

可选的，所述的额外信息需要进行无损压缩后再添加到SEI中，JPEG联合图像专家组，是用于连续色调静态图像压缩的一种标准，支持极高的压缩率，JPEG图像的下载速度大大加快，可以提供无损压缩，且可以很好地再现全彩色的图像，因此，为了尽可能的压缩额外信息数据，减少视频压缩码流的大小，减小带宽的压力，对于额外信息采用JPEG无损压缩技术进行压缩处理。

可选的，在主持人端进行解码提取到SEI中的额外信息后对其进行解压。

可选的，所述的额外信息根据视频会议的需求，可以是添加字幕的信息、虚拟背景的信息、沉浸式布局的信息等等。

在具体实践中，为了便于对技术方案的理解，本实施例以视频会议需要设计为沉浸式布局的实例进行进一步说明。

视频会议开始，采集一个或多个参会人端的本地视频画面，视频画面的每一帧构成一幅图像F，对图像F进行Image Matting（人像分割）生成的二值化灰度图像alpha（一般人像区域为,255，背景区域为0，人像与背景交集边缘处为0-255），将该二值化灰度图alpha作为额外信息进行处理并添加到码流中的SEI中，然后编码得到基础信息和额外信息同步的编码数据，并发送给视频会议的主持人端，主持人端进行视频解码提取基础信息，还原额外信息，得到每一个参会人端的视频数据和对应的二值化灰度图，然后根据设计的沉浸式布局的位置对每一个参会人端的视频画面采用公式（1）进行融合处理，其中公式（1）中F表示视频画面的每一帧图像，alpha表示对应的二值化灰度图，B表示替换的沉浸式布局画面，I表示融合处理后的融合图像信息。

（1）

然后，主持人端将融合后的融合图像进行本地渲染和视频编码，并将编码后的视频数据进行发送至每一个参会人端，参会人端接收后进行解码，然后可以看到在沉浸式布局画面背景下开会的视频，实现不同参会人在同一个沉浸式场景下开会的目的。

实施例6

基于同一技术构思，本申请实施例还提供了一种计算机设备，包括存储器1和处理器2，如图5所示，所述存储器1存储有计算机程序，所述处理器2执行所述计算机程序时实现上述任一项所述的方法。

其中，存储器1至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器1在一些实施例中可以是视频会议中同步基础信息和额外信息的编码和解码系统的内部存储单元，例如硬盘。存储器1在另一些实施例中也可以是视频会议中同步基础信息和额外信息的编码和解码系统的外部存储设备，例如插接式硬盘，智能存储卡（Smart Media Card,SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，存储器1还可以既包括视频会议中同步基础信息和额外信息的编码和解码系统的内部存储单元也包括外部存储设备。存储器1不仅可以用于存储安装于视频会议中同步基础信息和额外信息的编码和解码系统的应用软件及各类数据，例如视频会议中同步基础信息和额外信息的编码和解码系统程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器2在一些实施例中可以是一中央处理器（Central Processing Unit,CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器1中存储的程序代码或处理数据，例如执行视频会议中同步基础信息和额外信息的编码和解码系统程序等。

本发明公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本发明公开实施例所提供的视频会议中同步基础信息和额外信息的编码和解码方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本发明公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包（Software DevelopmentKit，SDK）等等。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种视频会议中同步基础信息和额外信息的编码方法，其特征在于，包括：

采集视频会议中待传输的基础信息；

基于基础信息生成额外信息；

对额外信息进行压缩；

对所述处理后的基础信息进行编码；

所述的编码方法应用在参会人端，在对所述处理后的基础信息进行编码之后还包括：

接收来自主持人端的融合信息的编码数据，并进行解码；所述融合信息是所述主持人端根据所述处理后的基础信息生成的。

2.根据权利要求1所述的编码方法，其特征在于，所述基础信息包括视频信息，所述额外信息包括Alpha通道数据。

3.根据权利要求1所述的编码方法，其特征在于，所述对额外信息进行压缩包括：对额外信息进行无损压缩。

4.一种视频会议中同步基础信息和额外信息的解码方法，其特征在于，包括以下步骤：

接收编码数据，所述编码数据是根据权利要求1-3任一项所述的编码方法得到；

对压缩后的额外信息进行解压得到额外信息；

所述的解码方法应用在主持人端，在对压缩后的额外信息进行解压得到额外信息之后还包括：

对提取到的基础信息和额外信息进行融合得到融合信息；

对融合信息进行编码并发送。

5.一种视频会议中同步基础信息和额外信息的编码装置，其特征在于，包括：

第一额外信息生成模块，用于根据基础信息生成额外信息；

压缩模块，用于对额外信息进行压缩；

第一编码器，用于对所述处理后的基础信息进行编码；

所述的编码装置应用在参会人端，还包括：第一解码器，用于接受来自主持人端的融合信息的编码数据，并进行解码；所述融合信息是所述主持人端根据所述处理后的基础信息生成的。

6.一种视频会议中同步基础信息和额外信息的解码装置，其特征在于，包括：

接受模块，用于接收编码数据，所述编码数据是根据权利要求1-4任一项所述的编码方法得到；

解压模块，用于对压缩后的额外信息进行解压得到额外信息；

所述的解码装置应用在主持人端，还包括：

第二编码器，用于对融合信息进行编码并发送。

7.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至4中任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至4中任一项所述的方法。