CN112839197B

CN112839197B - 图像码流处理方法、装置、系统及存储介质

Info

Publication number: CN112839197B
Application number: CN202011642893.1A
Authority: CN
Inventors: 何伟敏
Original assignee: Beijing Rongxun Technology Co ltd
Current assignee: Beijing Rongxun Technology Co ltd
Priority date: 2020-12-31
Filing date: 2020-12-31
Publication date: 2023-08-25
Anticipated expiration: 2040-12-31
Also published as: CN112839197A

Abstract

本发明公开了一种图像码流处理方法，应用于视频会议的图像码流处理系统，图像码流处理系统包括多点控制单元MCU和电视墙设备，方法包括：通过MCU接收终端采集的图像码流，并确定能否将图像码流发送给电视墙设备；若能，则将图像码流发送给电视墙设备，并通过电视墙设备对图像码流进行处理，得到第一目标码流；通过电视墙设备将第一目标码流发送给MCU，以供MCU将第一目标码流反馈给终端。本发明还公开了一种图像码流处理装置、系统及存储介质。本发明使用系统中已有的电视墙设备进行协助运算，减轻MCU的运算工作。

Description

图像码流处理方法、装置、系统及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及图像码流处理方法、装置、系统及存储介质。

背景技术

MCU(Multi Control Unit，多点控制单元)在视频会议中负责与各个终端进行码流的传输，负责图像的合成与重新编解码，可以说是视频会议中的神经中枢，由此可见，MCU的运算能力是衡量一个视频会议系统性能好与坏的重要指标。

当前对视频会议中采集的图像码流进行处理的方法是，终端向MCU发送图像码流，通过MCU对该图像码流进行解码，然后合成多画面图像，并且对合成的多画面图像重新进行编码，再将编码后的多画面图像返回给终端。图像码流的处理工作皆由MCU执行，使得MCU的运算工作量很大。

发明内容

本发明的主要目的在于提出一种图像码流处理方法、装置、系统及存储介质，旨在寻求电视墙设备的协助运算来减轻MCU的运算工作。

为实现上述目的，本发明提供一种图像码流处理方法，应用于视频会议的图像码流处理系统，所述图像码流处理系统包括多点控制单元MCU和电视墙设备，所述方法包括如下步骤：

通过所述MCU接收终端采集的图像码流，并确定所述电视墙设备能否对所述图像码流进行处理；

若能，则将所述图像码流发送给所述电视墙设备，并通过所述电视墙设备对所述图像码流进行处理，得到第一目标码流；

通过所述电视墙设备将所述第一目标码流发送给所述MCU，以供所述MCU将所述第一目标码流返回给所述终端。

优选地，所述电视墙设备包括多个解码子卡，所述确定所述电视墙设备能否对所述图像码流进行处理的步骤包括：

获取多个所述解码子卡的状态信息，并根据各所述状态信息确定所述电视墙设备能否对所述图像码流进行处理。

优选地，所述根据各所述状态信息确定所述电视墙设备能否对所述图像码流进行处理的步骤包括：

判断所述状态信息是否包含空闲状态；

若是，则确定所述电视墙设备能对所述图像码流进行处理；

若否，则确定所述电视墙设备不能对所述图像码流进行处理。

优选地，所述将所述图像码流发送给所述电视墙设备，并通过所述电视墙设备对所述图像码流进行处理，得到第一目标码流的步骤包括：

从所述状态信息为空闲状态的解码子卡中确定目标解码子卡；

将所述图像码流发送给所述目标解码子卡，并通过所述目标解码子卡对所述图像码流进行处理，得到第一目标码流。

优选地，所述通过所述目标解码子卡对所述图像码流进行处理，得到第一目标码流的步骤包括：

通过所述目标解码子卡对所述图像码流进行解码处理、图像合成处理、重新编码处理，得到第一目标码流。

优选地，所述确定所述电视墙设备能否对所述图像码流进行处理的步骤之后，还包括：

若确定所述电视墙设备不能对所述图像码流进行处理，则通过所述MCU对所述图像码流进行处理，得到处理后的第二目标码流，将所述第二目标码流返回给所述终端。

优选地，所述通过所述MCU接收终端上传的图像码流的步骤之前，还包括：

通过所述MCU接收终端发送的呼叫请求，并将所述终端加入所述呼叫请求对应的目标会议中；

建立所述MCU与所述终端之间的媒体通道，以供所述MCU通过所述媒体通道接收所述终端对所述目标会议进行采集得到的图像码流。

此外，为实现上述目的，本发明还提供一种图像码流处理装置，应用于视频会议的图像码流处理系统，所述图像码流处理系统包括多点控制单元MCU和电视墙设备，所述MCU与所述电视墙设备通信连接，所述图像码流处理装置包括：

接收确定模块，用于通过所述MCU接收终端采集的图像码流，并确定所述电视墙设备能否对所述图像码流进行处理；

发送处理模块，用于若能，则将所述图像码流发送给所述电视墙设备，并通过所述电视墙设备对所述图像码流进行处理，得到第一目标码流；

发送反馈模块，用于通过所述电视墙设备将所述第一目标码流发送给所述MCU，以供所述MCU将所述第一目标码流返回给所述终端。

优选地，所述接收确定模块还用于：

判断所述状态信息是否包含空闲状态；

若是，则确定所述电视墙设备能对所述图像码流进行处理；

优选地，所述发送处理模块还用于：

优选地，所述图像码流处理装置还包括MCU处理模块，所述MCU处理模块用于：

优选地，所述图像码流处理装置还包括建立连接模块，所述建立连接模块用于：

此外，为实现上述目的，本发明还提供一种电视墙设备，所述电视墙设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像码流处理程序，所述图像码流处理程序被所述处理器执行时实现如上所述的图像码流处理方法的步骤。

此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有图像码流处理程序，所述图像码流处理程序被处理器执行时实现如上所述的图像码流处理方法的步骤。

本发明提出的图像码流处理方法，应用于视频会议的图像码流处理系统，图像码流处理系统包括多点控制单元MCU和电视墙设备，方法包括：通过MCU接收终端采集的图像码流，并确定能否将图像码流发送给电视墙设备；若能，则将图像码流发送给电视墙设备，并通过电视墙设备对图像码流进行处理，得到第一目标码流；通过电视墙设备将第一目标码流发送给MCU，以供MCU将第一目标码流反馈给终端。本发明使用系统中已有的电视墙设备进行协助运算，减轻MCU的运算工作。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的电视墙设备结构示意图；

图2为本发明图像码流处理方法第一实施例的流程示意图；

图3为传统视频会议的图像码流处理方法的流程示意图；

图4为本发明图像码流处理方法的流程示意图；

图5为本发明图像码流处理方法较佳实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的电视墙设备结构示意图。

本发明实施例图像码流处理系统可以是云端服务器、管理服务器等，包括多点控制单元MCU、电视墙设备等。

如图1所示，该电视墙设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的电视墙设备结构并不构成对电视墙设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作电视墙设备、网络通信模块、用户接口模块以及图像码流处理程序。

其中，操作电视墙设备是管理和控制电视墙设备与软件资源的程序，支持网络通信模块、用户接口模块、图像码流处理程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。

在图1所示的图像码流处理系统中，所述图像码流处理系统通过处理器1001调用存储器1005中存储的图像码流处理程序，并执行下述图像码流处理方法各个实施例中的操作。

基于上述硬件结构，提出本发明图像码流处理方法实施例。

参照图2，图2为本发明图像码流处理方法第一实施例的流程示意图，所述方法包括：

步骤S10，通过所述MCU接收终端采集的图像码流，并确定所述电视墙设备能否对所述图像码流进行处理；

本实施例图像码流处理方法运用于各大视频会议场景的图像码流处理系统中。MCU在视频会议中负责与各个终端进行图像码流的传输，负责图像的合成与重新编解码，可以说是视频会议中的神经中枢，MCU的运算能力是衡量一个视频会议场景的图像码流处理系统性能好与坏的重要指标。因此，提升MCU的运算能力可大大增加终端的接入数量，并提高整个图像码流处理系统的稳定性。提升MCU的运算能力可从两方面入手，一方面可对MCU自身软硬件的不断优化与升级，另一方面是寻求外部运算能力的协助。

而寻求图像码流处理系统中的电视墙设备对MCU进行外部运算能力的协助是一个不错的选择。可以理解的，参照图3，图3为传统视频会议的图像码流处理方法的流程示意图，图像码流处理系统通过MCU接收各个终端上传的图像码流之后，由MCU自身完成对图像码流进行解码、合成、重新编码等处理工作，再将处理后的图像码流返回给对应的终端。由此可见，MCU的性能损耗主要集中在对音视频码流进行编解码、合成的处理流程上。

在本实施例中，视频会议终端的主要作用是对视频会议中的音视频信息进行采集、编码、打包、接收、解码、展现对应的视频画面，因此，终端主要部署在需要进行视频会议的各类会议室或办公室，用于实现会议音视频信号的采集、编解码和传输。参照图4，图4为本发明图像码流处理方法的流程示意图，通过MCU接收各个终端上传的图像码流之后，MCU不会立即进行解码与合成图像编码工作，而是优先寻求电视墙设备的协助，因此，在MCU接收到各终端采集得到的图像码流后，需要先确定电视墙设备能否对该图像码流进行处理，例如，可通过控制MCU向电视墙设备发送一个询问请求，以确定电视墙设备能否帮助MCU对该图像码流进行处理。若电视墙设备能够帮助MCU对采集的图像码流进行处理，可在一定程度上减轻MCU的运算工作，通过MCU和电视墙设备的协助运算，可为图像码流处理系统提供强大的运算能力支撑，使得用户无需增加额外的设备，便可增加图像码流处理系统的接入点数量。

进一步地，所述通过所述MCU接收终端上传的图像码流的步骤之前，还包括：

步骤a1，通过所述MCU接收终端发送的呼叫请求，并将所述终端加入所述呼叫请求对应的目标会议中；

步骤a2，建立所述MCU与所述终端之间的媒体通道，以供所述MCU通过所述媒体通道接收所述终端对所述目标会议进行采集得到的图像码流。

在本实施例中，建立视频会议通信时，MCU会接收到对应终端发送的呼叫请求，如SIP(Session Initiation Protocol，会话初始协议)，用于创建对应的语音/视频通话，从而将该终端加入对应的目标会议中，并建立终端与MCU之间的媒体通道，以供终端将目标会议中采集得到的图像码流发送给MCU。

步骤S20，若能，则将所述图像码流发送给所述电视墙设备，并通过所述电视墙设备对所述图像码流进行处理，得到第一目标码流；

在本实施例中，若电视墙设备能接收该图像码流，则将该图像码流发送给电视墙设备，以供电视墙设备对该图像码流进行处理，得到对应的第一目标码流，再通过终端对返回的第一目标码流进行解析，并将第一目标码流对应的画面显示在对应终端。

进一步地，所述电视墙设备包括多个解码子卡，所述确定所述电视墙设备能否对所述图像码流进行处理的步骤包括：

步骤b，获取多个所述解码子卡的状态信息，并根据各所述状态信息确定所述电视墙设备能否对所述图像码流进行处理。

在本实施例中，电视墙设备包括多个解码子卡，将MCU与电视墙设备建立连接后，MCU上保存着电视墙设备各个解码子卡的工作状态，也就是说，MCU可实时了解到各个解码子卡当前的状态信息(空闲状态或工作状态)，从而确定电视墙设备能否接收对应的图像码流，并对图像码流进行处理。

进一步地，所述根据各所述状态信息确定所述电视墙设备能否对所述图像码流进行处理的步骤包括：

步骤c1，判断所述状态信息是否包含空闲状态；

步骤c2，若是，则确定所述电视墙设备能对所述图像码流进行处理；

步骤c3，若否，则确定所述电视墙设备不能对所述图像码流进行处理。

在本实施例中，对各解码子卡的状态信息进行判断，以确定电视墙设备中是否存在空闲的解码子卡，从而确定电视墙设备能否对待处理的图像码流进行处理。具体的，若检测到电视墙设备存在空闲的解码子卡，即各个解码子卡对应的状态信息中包含空闲状态，则确定电视墙设备可对该图像码流进行处理；若检测到各个解码子卡对应的状态信息中不包含空闲状态，即电视墙设备中的各个解码子卡都处于工作状态，说明电视墙设备不能帮助MCU对待处理的图像码流进行处理。

进一步地，所述将所述图像码流发送给所述电视墙设备，并通过所述电视墙设备对所述图像码流进行处理，得到第一目标码流的步骤包括：

步骤d1，从所述状态信息为空闲状态的解码子卡中确定目标解码子卡；

步骤d2，将所述图像码流发送给所述目标解码子卡，并通过所述目标解码子卡对所述图像码流进行处理，得到第一目标码流。

在本实施例中，确定电视墙设备中存在可以协助MCU对图像码流进行处理之后，若电视墙设备中处于空闲状态的解码子卡数量大于待执行的视频会议数量，即处于空闲状态的解码子卡数量大于待处理的图像码流数量，则需要从处于空闲状态的解码子卡中确定对应的目标解码子卡，以通过目标解码子卡对各个视频会议对应的图像码流进行处理。例如，空闲的解码子卡有10个，待处理的图像码流有2个，那么可通过随机算法，从空闲的解码子卡中随机确定两个目标解码子卡来处理这两个视频会议对应的图像码流；也可事先对电视墙设备上的各个解码子卡进行编号，通过获取各个空闲的解码子卡对应的编号，再根据空闲解码子卡的编号顺序和这两个图像码流产生时间的先后顺序，分别确定处理这两个图像码流的目标解码子卡。接着，图像码流处理系统建立MCU与目标解码子卡之间的媒体通道(UDP通道，即用户数据报协议通道)，其中，建立的媒体通道数与视频会议中涉及的终端数量一致，即MCU与目标解码子卡之间的媒体通道与上传图像码流的终端数量相同。图像码流系统通过MCU与目标解码子卡之间的媒体通道将待处理的图像码流发送给对应的目标解码子卡，再由目标解码子卡对图像码流进行处理，得到对应的第一目标码流。

具体地，所述通过所述目标解码子卡对所述图像码流进行处理，得到第一目标码流的步骤包括：

步骤e，通过所述目标解码子卡对所述图像码流进行解码处理、图像合成处理、重新编码处理，得到第一目标码流。

在本实施例中，对视频会议中的图像码流进行处理包括解码处理、图像合成处理、重新编码处理等流程，可以理解的，终端对视频会议中进行采集得到的音视频流需要经过预编码处理之后，如通过HEVC(高效视频编码)等编码方式进行预编码处理，得到对应的图像码流后，才能将图像码流推送给MCU进行下一步的处理流程。因此，将图像码流发送给目标解码子卡进行处理时，需要进行解码处理，以将图像码流解析为目标解码子卡可以识别的数据。另外，由于每个视频会议对应的与会者可能包括多个，且所有与会者可能分布在全国乃至世界各地，为了使每个与会者都能进行云端面对面的会话交流，就需要在同一时间使每个与会者都能看到所有的与会者。因此，对图像码流进行处理时，多画面图像合成技术必不可少，多画面图像合成技术不但可以为视频人员提供更加全面的视频信息，而且还不改变原有视频画面的质量。通过多画面图像合成处理，可以将多个终端上传的多个视频画面合成一个多画面图像，再通过对合成的多画面图像进行重新编码处理后得到第一目标码流，再将第一目标码流返回给对应的终端，就可以将多个不同的视频画面实时地显示在各个终端上，从而使每一位与会者都可以通过对应的终端或特定的应用软件看到其他与会者。

步骤S30，通过所述电视墙设备将所述第一目标码流发送给所述MCU，以供所述MCU将所述第一目标码流返回给所述终端。

在本实施例中，若电视墙设备接收到多路媒体通道传输的图像码流，经过目标解码子卡对多个终端上传的图像码流进行处理后，电视墙设备可将多路媒体通道合成一路媒体通道，并通过合成的媒体通道将第一目标码流发送给MCU，再由MCU分发回各个终端上，以将第一目标码流对应的视频画面显示在各个终端上。

本实施例的图像码流处理方法，应用于视频会议的图像码流处理系统，图像码流处理系统包括多点控制单元MCU和电视墙设备，通过MCU接收终端采集的图像码流，并确定能否将图像码流发送给电视墙设备；若能，则将图像码流发送给电视墙设备，并通过电视墙设备对图像码流进行处理，得到第一目标码流；通过电视墙设备将第一目标码流发送给MCU，以供MCU将第一目标码流反馈给终端。本发明使用系统中已有的电视墙设备进行协助运算，减轻MCU的运算工作。

进一步地，基于本发明图像码流处理方法第一实施例，提出本发明图像码流处理方法第二实施例。

图像码流处理方法的第二实施例与图像码流处理方法的第一实施例的区别在于，所述确定所述电视墙设备能否对所述图像码流进行处理的步骤之后，还包括：

步骤f，若确定所述电视墙设备不能对所述图像码流进行处理，则通过所述MCU对所述图像码流进行处理，得到处理后的第二目标码流，将所述第二目标码流返回给所述终端。

在本实施例中，若确定电视墙设备不能接收待处理的图像码流，即说明此时电视墙设备中的解码子卡都处于工作状态，不存在空闲的解码子卡，因此无法通过电视墙设备来协助处理待处理的图像码流。但是MCU本身就具有对图像码流进行编解码、图像合成的功能，在电视墙设备中的解码子卡都用来协助MCU处理各个视频会议对应的图像码流后，需要利用MCU自身对图像码流进行处理。具体的，MCU将来自各个终端的图像码流，经过同步分离后，抽取出音频、视频、数据等信息和信令，再将各个终端对应的信息和信令，送入同一种处理模块，完成相应的音频混合或切换、视频混合或切换、数据广播、路由选择、会议控制等过程，最后将各个终端所需要的各种信息重新组合起来，送往相应的终端设备上。

本实施例的图像码流处理方法，在确定电视墙设备不能接收待处理的图像码流后，由MCU自身对图像码流进行处理，尽可能地利用电视墙设备来协助图像码流的处理过程，以最大程度地减轻MCU的运算工作。

本发明还提供一种图像码流处理装置。参照图5，本发明图像码流处理装置包括：

接收确定模块10，用于通过所述MCU接收终端采集的图像码流，并确定所述电视墙设备能否对所述图像码流进行处理；；

发送处理模块20，用于若能，则将所述图像码流发送给所述电视墙设备，并通过所述电视墙设备对所述图像码流进行处理，得到第一目标码流；

发送反馈模块30，用于通过所述电视墙设备将所述第一目标码流发送给所述MCU，以供所述MCU将所述第一目标码流返回给所述终端。

优选地，所述接收确定模块还用于：

判断所述状态信息是否包含空闲状态；

若是，则确定所述电视墙设备能对所述图像码流进行处理；

优选地，所述发送处理模块还用于：

本发明还提供一种存储介质。

本发明存储介质上存储有图像码流处理程序，所述图像码流处理程序被处理器执行时实现如上所述的图像码流处理方法的步骤。

其中，在所述处理器上运行的图像码流处理程序被执行时所实现的方法可参照本发明图像码流处理方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者电视墙设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者电视墙设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者电视墙设备中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端电视墙设备(可以是手机，计算机，服务器，空调器，或者网络电视墙设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种图像码流处理方法，其特征在于，应用于图像码流处理系统，所述图像码流处理系统包括多点控制单元MCU和电视墙设备，所述MCU与所述电视墙设备通信连接，所述方法包括如下步骤：

通过所述MCU接收终端上传的图像码流，并确定所述电视墙设备能否对所述图像码流进行处理；

通过所述电视墙设备将所述第一目标码流发送给所述MCU，以供所述MCU将所述第一目标码流返回给所述终端；

所述电视墙设备包括多个解码子卡，所述确定所述电视墙设备能否对所述图像码流进行处理的步骤包括：

获取多个所述解码子卡的状态信息，并根据各所述状态信息确定所述电视墙设备能否对所述图像码流进行处理；

所述终端部署于目标会议的参会方场地。

2.如权利要求1所述的图像码流处理方法，其特征在于，所述根据各所述状态信息确定所述电视墙设备能否对所述图像码流进行处理的步骤包括：

判断所述状态信息是否包含空闲状态；

若是，则确定所述电视墙设备能对所述图像码流进行处理；

3.如权利要求1所述的图像码流处理方法，其特征在于，所述将所述图像码流发送给所述电视墙设备，并通过所述电视墙设备对所述图像码流进行处理，得到第一目标码流的步骤包括：

4.如权利要求3所述的图像码流处理方法，其特征在于，所述通过所述目标解码子卡对所述图像码流进行处理，得到第一目标码流的步骤包括：

5.如权利要求1所述的图像码流处理方法，其特征在于，所述确定所述电视墙设备能否对所述图像码流进行处理的步骤之后，还包括：

6.如权利要求1-5任一项所述的图像码流处理方法，其特征在于，所述通过所述MCU接收终端上传的图像码流的步骤之前，还包括：

7.一种图像码流处理装置，其特征在于，应用于视频会议的图像码流处理系统，所述图像码流处理系统包括多点控制单元MCU和电视墙设备，所述MCU与所述电视墙设备通信连接，所述图像码流处理装置包括：

发送反馈模块，用于通过所述电视墙设备将所述第一目标码流发送给所述MCU，以供所述MCU将所述第一目标码流返回给所述终端；

所述终端部署于目标会议的参会方场地。

8.一种图像码流处理系统，其特征在于，所述图像码流处理系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像码流处理程序，所述图像码流处理程序被所述处理器执行时实现如权利要求1至6中任一项所述的图像码流处理方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有图像码流处理程序，所述图像码流处理程序被处理器执行时实现如权利要求1至6中任一项所述的图像码流处理方法的步骤。