CN113992883B - 视频会议处理方法、处理设备、会议系统以及存储介质 - Google Patents

Abstract

本申请提供了一种视频会议处理方法、处理设备、会议系统及存储介质，在当前环境未配置实现视频会议的专用多点控制设备的情况下，本申请将由录播终端替代该多点控制设备支持实现视频会议，满足多点视频会议应用需求，且录播终端检测到目标视频会议的参会终端的数量达到参会阈值，将向各参会终端发送目标视频编码参数，以使参会终端减小自身的视频编码参数至目标视频编码参数，以降低参会终端向录播终端传输视频流数据的视频码率，减少对带宽占用，降低丢包风险，且使得录播终端接收到各参会终端的视频流数据后，无需进行缩放处理进行合屏处理，降低了处理成本，提高了处理效率。

Description

视频会议处理方法、处理设备、会议系统以及存储介质

技术领域

本申请主要涉及视频会议应用领域，更具体地说是涉及一种视频会议处理方法、处理设备、会议系统及存储介质。

背景技术

随着计算机网络技术和宽带建设的不断发展，多点视频会议系统已广泛应用于工作、生活、学习等领域。在多点会议系统应用中，通常需要多点控制单元(MultipointControl Unit，MCU)作为多媒体信息交换机，实现参与会议的多个终端的呼叫和连接，并对各终端发送的音视频码流进行处理，向各终端发送给对应的音视频码流，实现各终端之间的互相观看和交流。

然而，在某些应用场景下，可能没有配置MCU设置，导致无法进行视频会议。

发明内容

有鉴于此，本申请提出了一种视频会议处理方法，所述方法包括：

获取目标视频会议的参会终端的数量；其中，所述参会终端是指与录播终端建立媒体会话连接的终端；

检测到所述参会终端的数量达到参会阈值，向所述参会终端发送目标视频编码参数；所述目标视频编码参数小于所述参会终端相应的视频编码参数；

接收所述参会终端发送的具有所述目标视频编码参数的视频流数据；

对多个所述参会终端的所述视频流数据进行合屏处理，将得到的目标视频流数据发送至各所述参会终端。

在一些实施例中，所述向所述参会终端发送目标视频编码参数，包括：

获取针对所述录播终端的多点控制性能配置的目标视频分辨率；所述目标视频分辨率小于所述参会终端配置的视频分辨率；

按照会话初始协议，向所述参会终端发送携带有所述目标视频分辨率的编码调整请求，以使所述参会终端响应所述编码调整请求，将默认的视频分辨率调整为所述目标视频分辨率，获得具有所述目标视频分辨率的视频流数据。

在一些实施例中，所述获取针对所述录播终端的多点控制性能配置的目标视频分辨率，包括：

依据所述参会终端的数量，确定所述目标视频会议的视频界面布局格式；

依据所述视频界面布局格式以及所述参会终端配置的视频分辨率，确定针对所述录播终端的多点控制性能配置的目标视频分辨率。

在一些实施例中，所述对所述视频流数据进行合屏处理，将得到的目标视频流数据发送至所述参会终端进行播放，包括：

对多个所述参会终端各自发送的具有所述目标视频编码参数的视频流数据进行解码处理；

对解码后的多个所述参会终端对应的同一帧视频流数据进行合并处理，得到具有所述目标视频编码参数的相应帧视频流数据；

对得到的多帧视频流数据进行编码处理，得到待输出的目标视频流数据；

将所述目标视频流数据发送至多个所述参会终端。

在一些实施例中，所述参会终端与录播终端建立媒体会话的实现方法，包括：

响应针对目标视频会议的多点控制功能触发请求，控制录播终端进入多点控制工作模式；

接收参会终端发送的针对所述目标视频会议的会议接入请求，建立所述录播终端与所述参会终端之间的媒体会话连接；所述会议接入请求是按照会话初始协议生成的。

又一方面，本申请还提出了一种视频会议处理方法，所述方法包括：

建立与针对目标视频会议的录播终端的媒体会话连接；

接收所述录播终端发送的目标视频编码参数；所述目标视频编码参数小于参会终端相应的视频编码参数；

将所述参会终端的视频编码参数调整为所述目标视频编码参数；

获得具有所述目标视频编码参数的视频流数据，将所述视频流数据发送至所述录播终端，以使所述录播终端对所述目标视频会议的多个参会终端发送的所述视频流数据进行合屏处理，得到待输出的目标视频流数据；

接收所述录播终端发送的所述目标视频流数据，对所述目标视频流数据进行解码，播放解码后的视频流数据。

又一方面，本申请还提出了一种视频会议处理装置，所述装置包括：

参会终端数量获取模块，用于获取目标视频会议的参会终端的数量；其中，所述参会终端是指与录播终端建立媒体会话连接的终端；

目标视频编码参数发送模块，用于检测到所述参会终端的数量达到参会阈值，向所述参会终端发送目标视频编码参数；所述目标视频编码参数小于所述参会终端相应的视频编码参数；

视频流数据接收模块，用于接收所述参会终端发送的具有所述目标视频编码参数的视频流数据；

视频流合屏处理模块，用于对多个所述参会终端的所述视频流数据进行合屏处理，将得到的目标视频流数据发送至所述参会终端。

又一方面，本申请还提出了一种视频会议处理装置，所述装置包括：

媒体会话构建模块，用于建立与针对目标视频会议的录播终端的媒体会话连接；

目标视频编码参数接收模块，用于接收所述录播终端发送的目标视频编码参数；所述目标视频编码参数小于参会终端相应的视频编码参数；

视频编码参数调整模块，用于将所述参会终端的视频编码参数调整为所述目标视频编码参数；

视频流数据发送模块，用于获得具有所述目标视频编码参数的视频流数据，将所述视频流数据发送至所述录播终端，以使所述录播终端对所述目标视频会议的多个参会终端发送的所述视频流数据进行合屏处理，得到待输出的目标视频流数据；

视频流数据播放模块，用于接收所述录播终端发送的所述目标视频流数据，对所述目标视频流数据进行解码，播放解码后的视频流数据。

又一方面，本申请还提出了一种视频会议系统，所述系统包括录播终端以及多个参会终端，其中：

所述录播终端包括第一通信接口、第一存储器和第一处理器，其中：

所述第一存储器用于存储实现录播终端侧执行的上述视频会议处理方法的第一程序；

所述第一处理器，用于加载执行所述第一存储器存储的所述第一程序，实现录播终端侧执行的视频会议处理方法；

所述参会终端包括显示器、音频播放器、音频采集器、图像采集器、第二通信接口、第二存储器和第二处理器，其中：

所述第二存储器用于存储实现参会终端侧执行的上述视频会议处理方法的第二程序；

所述第二处理器，用于加载执行所述第二存储器存储的所述第二程序，实现参会终端侧执行的视频会议处理方法。

又一方面，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器加载执行，实现上述的视频会议处理方法。

由此可见，本申请提供了一种视频会议处理方法、处理设备、会议系统及存储介质，在当前环境未配置实现视频会议的专用多点控制设备的情况下，本申请将由录播终端替代该多点控制设备支持实现视频会议，满足多点视频会议应用需求且录播终端检测到目标视频会议的参会终端的数量达到参会阈值，将向各参会终端发送目标视频编码参数，以使参会终端减小自身的视频编码参数至目标视频编码参数，以降低参会终端向录播终端传输视频流数据的视频码率，减少对带宽占用，降低丢包风险，且使得录播终端接收到各参会终端的视频流数据后，无需进行缩放处理进行合屏处理，提高了处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为多点视频会议系统的结构示意图；

图2为适用于本申请提出的视频会议处理方法的视频会议系统的一可选示例的结构示意图

图3为适用于本申请提出的视频会议处理方法的视频会议系统的又一可选示例的硬件结构示意图；

图4为本申请提出的录播终端侧实现的视频会议处理方法的一可选示例的流程示意图；

图5为本申请提出的录播终端侧实现的视频会议处理方法的又一可选示例的流程示意图；

图6为本申请提出的参会终端侧实现的视频会议处理方法的一可选示例的流程示意图；

图7为本申请提出的视频会议处理装置的一可选示例的结构示意图；

图8为本申请提出的视频会议处理装置的又一可选示例的结构示意图；

图9为本申请提出的视频会议处理装置的又一可选示例的结构示意图。

具体实施方式

结合背景技术部分描述的技术方案，为了满足用户对视频会议的高稳定性和自动恢复能力的应用需求，提出将多点会议系统与录播系统融合构成多点视频会议系统，如图1所示，可以由录播终端作为多点视频会议系统的参会终端，各参会终端可以接入本次会议的多点控制单元(Multipoint Control Unit，MCU)设备，满足多台参会终端之间的视频通信需求。

然而，在某一些业务场景中，多点视频会议系统可能未配置单独的MCU设备(即多点控制设备)，为了保证系统正常运行，提出使用内置MCU的录播终端作为临时MCU设备，实现对参与会议的各参会终端的呼叫接入，对各参会终端的音视频码流的处理和传输等，使得整个系统在没有专用的MCU设备的情况下，也能够通过这种一拖二、一拖三组会的方式实现视频会议。

基于此，在组会过程中，确定本次会议作为临时MCU设备使用的录播终端，如启动该录播终端的MCU功能，切换到MCU工作模式(即多点控制工作模式)后，可以接收参与会议的各参会终端发送的默认视频分辨率(如1920*1080或者1280*720等)的视频流数据，使得该录播终端处于MCU工作模式下，接收2路或3路甚至更多路的该视频流数据，若业务场景对实时性要求较高，码率可能会达到6～8Mbps(megabits per second，一种传输速率单位，指每秒传输的位(比特)数量)，会占用大量带宽，增加了视频流数据传输过程中丢包的风险概率，降低多点视频会议的数据传输可靠性。

而且，作为临时MCU设备的录播终端在接收到的各参会终端的发送的视频流数据后，还需要对视频流数据进行解码、缩放、合成同一画面等处理，该处理过程会占用录播终端较多的CPU资源，这会影响录播终端的工作性能，降低数据处理效率。

为了进一步改善上述问题，本申请提出在组会成功后，确定录播终端(即能够切换到MCU工作模式，作为临时MCU设备使用的终端)所需的目标视频分辨率(即一种视频编码参数)，其可以依据录播终端的网络性能参数、工作性能参数、参会终端默认的视频分辨率等确定，临时MCU设备可以将目标视频分辨率发送至参与会议的各参会终端，以使各参会终端可以依据该目标视频分辨率，调整待发送视频流数据的视频流分辨率，以降低会议过程中视频流数据传输的码率，减少对带宽的占用，降低视频流数据传输过程中的丢包风险。

在又一些实施例中，经过这种视频分辨率的统一调整后，临时MCU设备对接收到的视频流数据进行处理时，可以直接对解码后的视频流数据进行合屏处理，节省了缩放处理过程所占用的资源和时间，提高了数据处理效率。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合，也就是说，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请文件中，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

另外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

参照图2，为适用于本申请提出的视频会议处理方法的视频会议系统的一可选应用场景的结构示意图，如图2所示，该系统可以包括录播终端10以及多个参会终端20，其中：

结合图3所示的系统硬件结构示意图，录播终端10能够进入多点控制工作模式下运行，所作为临时多点控制设备支持实现多点视频会议，解决当前环境未配置多点视频会议专用多点控制设备的技术问题，保证视频会议正常执行。

因此，录播终端10可以内置有多点控制单元MCU，在其启动运行时，可以使得该录播终端10进入多点控制工作模式下运行，实现过程本申请不做详述。基于此，该录播终端10为了能够作为临时多点控制设备，支持实现视频会议，该录播设备10可以包括但并不局限于第一通信接口11、第一存储器12和第一处理器13。

本申请实施例中，该第一存储器12可以用于存储本申请提出的录播终端侧实现的视频会议处理方法的第一程序；第一处理器13可以用于加载执行第一存储器12存储的第一程序，实现如下实施例中录播终端侧描述的视频会议处理方法，实现过程本申请实施例在此不做详述。

在一些实施例中，第一通信接口11、第一存储器12和第一处理器13可以部署在录播终端10内置的MCU中，部署方式本申请不做详述。可选的，第一处理器13可以是上述MCU，这种情况下，第一通信接口11、第一存储器12和第一处理器13可以直接部署在录播终端10的壳体内，实现方式不做限制。

结合上述分析，在多点视频会议过程中，录播终端10可以作为临时MCU设备使用，启动其内置的MCU功能，进入多点控制工作模式，建立与参与本次视频会议的各参会终端20的媒体会话，实现各参会终端20与该录播终端10之间的视频流数据互动，以及通过该录播终端10，实现各参会终端20之间的视频流数据互动，实现过程可以结合视频会议系统中多点控制设备的工作原理确定，本申请对视频会议系统中录播终端10内置MCU，实现各参会终端20的音频、视频、数据、信令等信号的汇接、分配、交互的处理过程不做详述。

第一通信接口11可以包括但并不局限于WIFI模块、4G/5G/6G(第四代移动通信网络/第五代移动通信网络/第六代移动通信网络)模块、GPRS模块、GSM模块等通信模块的数据接口，以实现与其他终端之间的数据交互；根据需要，还可以包括如USB接口、串/并口、各种类型的多媒体接口等，实现与其他终端相应接口的有线连接，以及录播终端内部各组成器件之间的数据交互等，本申请对录播终端10包含的第一通信接口11的接口类型及其数量不做限制，可视情况而定。

在本申请实施例中，上述第一存储器12可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。第一处理器13，可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路(application-specific integrated circuit，ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。

从数据处理功能来看，上述第一处理器13可以包括但并不局限于音频处理器、视频处理器、数据处理器、控制处理器、多路复用器等，可以依据本申请提出的视频会议处理方法的处理需求确定，本申请对上述第一处理器13包含的处理器类型及其数量不做限制，可视情况而定。

可以理解，在多点视频会议中，录播终端内置的MCU作为系统核心，可以提供多点视频会议的管理和控制功能，通常包含有多点控制器、多点处理器，在实际应用中，可以采用合适的会议控制方式，如主席控制方式、演讲人控制方式和声音控制方式进行会议，实现过程本申请不做详述。需要说明，本申请对上述内置MCU的录播终端的产品类型不做限制。

参会终端20可以是用户使用参与视频会议的电子设备，其可以包括但并不局限于智能手机、平板电脑、可穿戴设备、智能手表、增强现实技术(Augmented Reality，AR)设备、虚拟现实(Virtual Reality，VR)设备、车载设备、机器人、台式计算机等，用户可以依据场景需求选择合适的电子设备，请求接入目标视频参会终端，建立与针对目标视频参会终端的上述录播终端10(即临时MCU设备)之间的多媒体会话，实现两者之间的视频流数据交互。

结合上述分析可知，如图3所示，对于上述参会终端20可以包括但并不局限于显示器21、音频播放器22、音频采集器23、图像采集器24、第二通信接口25、第二存储器26和第二处理器27等，可以依据参会终端20的功能需求确定其硬件结构，本申请不做一一列举。

显示器21可以包括显示面板，如触摸显示面板、非触摸显示面板等，本申请对显示器21的内容显示原理及其结构不做限制，本申请实施例中，可以显示MCU合屏处理得到的目标视频流数据，即呈现视频会议的会议界面，本申请对该会议界面的布局方式及其内容不做限制，可视情况而定。

音频播放器22可以包括扬声器等，用于输出目标视频流数据中的音频信号；音频采集器23可以包括拾音器等，用于采集参会终端20的使用者(即会议参与者)发言音频信号等；图像采集器24可以包括摄像头等，用于采集会议参与者的图像信息，本申请参会终端20的这类输入设备/输出设备的类别及其工作原理不做详述，可以依据视频会议的应用需求确定。

对于参会终端20的第二通信接口25的类别可以结合上文对第一通信接口11的描述，可以理解，该第一通信接口11与第二通信接口25之间可以包括至少一对相匹配的通信接口，建立两者之间的多媒体会话连接，实现两者之间的多媒体数据交互。

第二存储器26可以用于存储本申请提出的参会终端侧实现的视频会议处理方法的第二程序；第二处理器27可以用于加载执行第二存储器26存储的第二程序，实现如下实施例中参会终端侧描述的视频会议处理方法，实现过程本申请实施例在此不做详述。且关于第二存储器26和第二处理器27的器件类型，可以参照但并不局限于上文对第一存储器12和第一处理器13的器件类型描述，本实施例不做赘述。

在又一些实施例中，根据应用需求，参会终端还可以包括各种传感器构成的传感器模组、天线、电源管理模组等其他器件，本申请在此不做一一列举。

应该理解的是，图2和图3所示的视频会议系统并不构成对本申请实施例提出的视频会议系统的限定，在实际应用中，视频会议系统可以包括比图2或图3所示的更多或更少的部件，或者组合某些部件，可以依据场景需求确定，本申请在此不

参照图4，为本申请提出的视频会议处理方法的一可选示例的流程示意图，该方法可以适用于上述录播终端，本申请实施例对该录播终端的产品类型不做限制，可视情况而定，需要说明，为了保证该录播终端可以替代视频会议的专用多点控制设备，该录播终端可以内置MCU，在视频会议过程中，其可以作为临时多点控制设备使用。基于此，如图4所示，本实施例提出的视频会议处理方法可以包括：

步骤S11，获取目标视频会议的参会终端的数量；

本申请实施例中，目标视频会议可以是针对任一业务场景构建的多点会议，且在该目标视频会议中，将由上述内置MCU的录播终端作为临时MCU设备，也可以说是将其作为会话服务器，满足本次视频会议的管理和控制需求。因此，该目标视频会议的参会终端可以是指与内置MCU的录播终端建立媒体会话连接的终端，其可以包括但并不局限于上文列举的电子设备。

需要说明，本申请对内置MCU的录播终端如何构建参与目标视频会议的各参会终端之间的媒体会话连接的实现方法不做详述。可以由该内置MCU的录播终端启动MCU，进入多点控制工作模式后，主动呼叫若干终端参与本次目标视频会议；也可以由终端主动向内置MCU的录播终端发送针对目标视频会议的会议接入请求，来主动请求参与目标视频会议等，在实现过程可以依据但并不局限于SIP(Session initialization Protocol，会话初始协议)实现。

在视频会议应用中，结合上文对本申请技术方案的相关分析，为了降低会议过程中的码率，减少对带宽的占用，从而降低视频流数据传输过程中丢包的风险概率，提出在参会终端达到一定数量后，通过调整参会终端的视频编码参数，来降低码率，所以，本申请可以检测接入目标视频会议的参会终端的数量。

步骤S12，检测到参会终端的数量达到参会阈值，向参会终端发送目标视频编码参数；

在任一视频会议中，作为MCU设备使用的内置MCU的录播终端所能够支持的参会终端的数量有限，如最多支持4台参会终端参与视频会议，且随着录播终端接入的参会终端数量增多，码率会逐渐增加，占用带宽也会越来越大，从而增加丢包风险，且会占用录播终端较多CPU资源，影响其工作性能，对此，本申请提出在接入的参会终端达到一定数量即参会阈值的情况下，可以通知参会终端将其原有的视频编码参数调整为统一的目标视频编码参数，来降低码率，简化视频处理步骤，减小对CPU资源的占用，提高处理效率。

可见，上述参会阈值可以是决定是否触发录播终端向各参会终端发送目标视频编码参数，使参会终端按照该目标视频编码参数进行视频编码处理，要求接入录播终端的参会终端最小数量。可以理解，该参会阈值小于该录播终端所能够支持的参会终端最大数量，本申请对其具体数值不做限制。

基于此，录播终端识别到参与目标视频会议的参会终端达到参会阈值(如2台等)的情况下，可以触发本申请提出的调整参会终端的视频编码参数的处理机制，为了减小码率，需要减小参会终端自身的视频编码参数，本申请对该视频编码参数的减小数值不做限制，可视情况而定。

继上述分析，为了减小录播设备接收到各参会终端的视频流数据后的处理步骤，提高处理效率，提出由录播终端向各参会终端发送内置MCU所需的目标视频编码参数，即需要各参会终端将自身的视频编码参数调整到的目标值，本申请对该目标视频编码参数的类型及其数值大小不做限制。

可以理解，为了降低码率，该目标视频编码参数小于参会终端自身的视频编码参数(如视频采集过程中默认使用的视频流编码参数)，在一些实施例中，本申请中视频编码参数可以包括但并不局限于视频分辨率。对于目标视频编码参数的传输方式，可以依据录播终端与各参会终端之间的通信方式实现，本申请实施例不做详述。

按照上述检测方式，确定接入录播终端的参会终端数量未达到参会阈值的情况下，可以不用调整参会终端的视频编码参数，这样，参会终端按照原有的视频编码参数获得视频流数据后，可以直接发送至录播终端，也就是说，录播终端可以不用向各参会终端发送目标视频编码参数，待接收到任一参会终端发送的视频流数据后，可以将其转发至其他参会终端输出，满足参与视频会议的各参会终端相互之间的通信需求，实现过程本申请不做详述。

步骤S13，接收参会终端发送的具有目标视频编码参数的视频流数据；

对于目标视频会议中的各参会终端，接收到内置MCU的录播终端发送的目标视频编码参数后，可以据此对自身的视频编码参数进行调整，后续可以按照调整后得到的目标视频编码参数进行视频流数据采集，如视频录制，得到具有目标视频编码参数的视频流数据，将其发送至内置MCU的录播终端，本申请对视频流数据的获取及其传输时间过程不做详述。

步骤S14，对多个参会终端的视频流数据进行合屏处理，将得到的目标视频流数据发送至各参会终端。

如上述描述，各参会终端减小各自的视频编码参数后进行视频录制，所得到的视频流数据(即利用调整后的视频编码参数对直接采集到的视频数据进行编码后的数据)的数据量，小于依据调整前的视频编码参数得到的视频流数据的数据量，即减小了参会终端传输文件大小，从而减少了传输视频流数据占用的带宽，进而降低了丢包的风险。

内置MCU的录播终端接收到各参会终端发送的视频流数据后，为了能够在同一视频会议界面中展示各会议参与者的会议窗口，需要对这多个视频流数据进行合屏处理，即将多个视频合并在同一屏幕上输出，将最终得到的目标视频流会议反馈至各参会终端输出，以使各会议参与者通过参会终端的屏幕输出的视频会议界面，可以输出多个参会终端各自对应的会议子窗口，在该会议子窗口中呈现相应参会终端采集到的视频。本申请对录播终端内置的MCU如何实现步骤S14的方法不做限制。

其中，由于各参会终端发送的视频流数据的视频编码参数相同，内置MCU的录播终端可以直接对多个视频流数据进行合屏处理，在此之前无需进行编码调整处理，提高了处理效率。

参照图5，为本申请提出的视频会议处理方法的又一可选示例的流程示意图，本实施例可以是对上文描述的视频会议处理方法的一可选细化实现方法，但并不局限于该细化实现方法，且该方法仍由内置MCU的录播终端执行，如图5所示，该方法可以包括：

步骤S21，响应针对目标视频会议的多点控制功能触发请求，控制录播终端进入多点控制工作模式；

在多点会议应用中，本申请可以选择采用SIP协议实现参与目标视频会议的各参会终端，与内置MCU的录播终端之间的视频互动协议，该录播终端可以作为教师角色，开启该录播终端的内置MCU功能后，将该录播终端的录播客户端(即录播应用程序)的互动协议配置为SIP协议，并输入内置MCU的IP地址进行呼叫，建立与各参会终端之间的媒体会话。

基于此，相关人员可以通过打开内置MCU的录播终端的配置页面，触发MCU功能选项，即触发启动该录播终端的多点控制功能，或者通过该多点控制功能的快捷触发方式，触发录播终端的多点控制功能等，生成针对目标视频会议的多点控制功能触发请求，以使录播终端检测到多点控制功能触发请求后，响应该请求启动该录播终端的内置MCU功能，但并不局限于本实施例描述的触发启动实现方法。

步骤S22，接收参会终端发送的针对目标视频会议的会议接入请求，建立录播终端与该参会终端之间的媒体会话连接；

在一些实施例中，内置MCU的录播终端可以主动呼叫各参会终端，接入目标视频会议；在又一些实施例中，如步骤S22描述方式，对于任一想要参与目标视频会议的终端，可以主动向内置MCU的录播终端发送会议接入请求，且该会议接入请求可以按照会话初始协议生成，如SIP-INVITE请求等，本申请对会议接入请求的内容及其格式不做限制。可以理解，该会议接入请求通常可以携带目标视频会议的会议标识号等。

在内置MCU的录播终端接收到任一终端发送的会议接入请求后，确定允许该终端接入目标视频会议，可以反馈针对该会议接入请求的响应消息，以告之该参会终端录播终端收到其发送的会议接入请求，参会终端收到该响应消息后，还可以进一步向录播终端反馈确认收到该响应消息的确认消息，如ACK消息(Acknowledgement，确认消息)，从而建立该终端(此时可以称为参会终端)与内置MCU的录播终端之间的媒体会话，实现方法不做限制。

可以理解，对于想要参与目标视频会议的终端，均可以按照上文描述的方法接入目标视频会议，构建与该目标视频会议的内置MCU的录播终端之间的媒体会话连接，作为该目标视频会议的一参会终端，本申请不做一一详述。

步骤S23，获取目标视频会议的参会终端的数量；

步骤S24，检测到该参会终端的数量达到参会阈值，获取针对录播终端的多点控制性能配置的目标视频分辨率；

按照上文描述方法，随着接入目标视频会议的参会终端的数量增多，参会终端与内置MCU的录播终端之间互动的视频流数据占用带宽会逐渐增多，但网络资源有限，这会影响数据传输性能，甚至会因部分视频流数据传输失败导致丢包，进而导致视频会议界面输出的视频内容不流畅。

对此，本申请实施例中，录播终端的内置MCU识别接入目标视频会议的参会终端数量达到参会阈值的情况下，希望通过降低各参会终端的视频流数据的视频分辨率的方式，来降低码率(即数据传输时单位时间传送的数据位数)，从而减少各参会终端向该录播终端传输的视频文件(即视频流数据所在的文件)的文件大小。

因此，录播终端可以依据其多点控制性能(如网络性能、CPU可用资源等)确定目标视频分辨率，即内置MCU所需的目标视频分辨率，如960*540，其通常小于各参会终端默认的视频分辨率，如1920*1080或者1280*720等，但为了避免取样率过小导致所得视频图像内容过度失真，可以依据各参会终端默认的视频分辨率，来确定目标视频分辨率，本申请对该目标视频分辨率的数值大小不做限制，可视情况而定。

在实际应用中，对于内置MCU的录播终端所能够支持的如上述的一拖二、一拖三业务场景，其最多可支持4台参会终端接入目标视频会议，这样，各参会终端输出的视频会议界面包含的相应数量的会议子窗口，可以按照左右界面、品字形界面、四格界面等方式进行布局，无论哪种布局方式，会议子窗口的宽高均为整个视频会议界面的1/2，因此，本申请获得的目标视频分辨率可以是参会终端默认的视频分辨率的1/2，但并不局限于此。

由此可见，为了获得目标视频分辨率，可以依据参会终端的数量，确定目标视频会议的视频界面布局格式，之后，依据视频界面布局格式以及参会终端配置的视频分辨率，确定针对内置MCU的目标视频分辨率，但并不局限于本申请提出的这种目标视频分辨率获取方法。

在又一些实施例中，可以通过对录播终端相应的视频分辨率调整按钮(如物理按钮或虚拟功能按钮等)进行操作，响应该视频分辨率调整，得到针对内置MCU的目标视频分辨率；也可以通过语音或其他输入方式，来确定该目标视频分辨率，本申请在此不做一一举例详述。

步骤S25，按照会话初始协议，向参会终端发送携带有目标视频分辨率的编码调整请求；

在确定目标视频分辨率后，可以生成包含该目标视频分辨率的编码调整请求，如SIP-INFO请求，将其发送至接入目标视频会议的各参会终端，以使各参会终端接收到该编码调整请求后，可以反馈相应的响应消息，如回复2000K，同时可以响应编码调整请求，将默认的视频分辨率调整为目标视频分辨率，获得具有目标视频分辨率的视频流数据。关于参会终端如何实现自身的视频分辨率的编码调整方法本申请不做详述，可以依据编解码器的编码参数、解码参数的配置方法确定。

可以理解，参会终端按照目标视频分辨率对自身的编码参数进行修改后，即降低自身的视频分辨率，如将1920*1080修改为960*540，将降低其向内置MCU的录播终端传输视频流的码率。

在实际应用中，经过试验得知，按照原视频流数据传输方式，内置MCU可能需要接收到6Mbps的视频码率，造成大量丢包，最终导致参会终端输出的视频花屏卡顿，降低了用户体验。按照本申请提出的降低视频分辨率的处理方式，视频码率可以降低4倍(即存在4台参会终端的情况下)，这样，只需要接收1～1.5Mbps的视频码率，同样的网络质量，减少了带宽占用，提高了视频图像输出质量。

步骤S26，接收参会终端发送的具有目标视频分辨率的视频流数据；

步骤S27，对多个参会终端各自发送的具有目标视频分辨率的视频流数据进行解码处理；

步骤S28，对解码后的多个参会终端对应的同一帧视频流数据进行合并处理，得到具有目标视频分辨率的相应帧视频流数据；

步骤S29，对得到的多帧视频流数据进行编码处理，得到待输出的目标视频流数据；

步骤S210，将目标视频流数据发送至多个参会终端。

在对多个参会终端发送的视频流数据进行合屏处理过程中，需要先对来自各参会终端的视频流数据进行解码，再进行YUV(即一种颜色编码方法)合屏处理，即将多个YUV图像合并为一个YUV图像，可以结合YUV图像合并技术实现，但并不局限于这种YUV合屏处理方法。

其中，在合屏处理过程中，如上文步骤描述方法，对于来自不同参会终端的同一帧视频流数据(即同一帧视频图像数据)，可以按照预设视频会议界面的布局方式，合并为具有目标视频分辨率的相应帧视频图像，如此逐帧合并处理，可以得到合并后的视频流数据，此时该视频流数据包含多个参会终端发送的视频流数据内容。

依据不同设备之间的视频流传输协议要求，对于合并得到的视频流数据，内置MCU的录播终端需要先对其进行编码处理，再将编码后的视频流数据发送至各参会终端，以使参会终端采用相应的解码方式对其进行解码后输出，本申请对视频流数据的编解码实现方法不做限制。

综上，在本申请实施例中，内置MCU的录播终端识别接入目标视频会议的参会终端数量达到参会阈值，将该内置MCU所需的目标视频分辨率发送至各参会终端，将其原有的视频分辨率降低为目标视频分辨率，这样，各参会终端据此进行视频采集，将得到的视频流数据传输至内置MCU的录播终端过程中，可以降低码率，减少占用的带宽，从而达到降低丢包风险的效果。

而且，内置MCU的录播终端获得多个参会终端发送的视频流数据后，由于其视频分辨率相同，无需进行缩放处理，可以直接进行合屏处理，得到所需输出的目标视频流数据，提高了处理效率。

参照图6，为本申请提出的视频会议处理方法的又一可选示例的流程示意图，本申请实施例由任一参会终端执行，该参会终端可以与内置MCU的录播终端相互配置，实现本申请提出的视频会议处理方法，关于该录播终端所执行的方法步骤，可以参照上文实施例相应部分的描述，本实施例从参会终端侧描述视频会议处理方法的实现过程，如图6所示，该方法可以包括：

步骤S31，建立与针对目标视频会议的录播终端的媒体会话连接；

结合上文实施例相应部分的描述，确定目标视频会议的录播终端的内置MCU的IP地址后，想要参与目标视频会议的终端可以发起SIP-INVITE请求，请求建立与该录播终端的媒体会话，在接收到该录播终端反馈的2000K这一内容的响应消息后，可以向该录播终端发送ACK消息，实现过程可以参照上文相应部分的描述，本实施例不做赘述。

对于与内置MCU的录播终端建立媒体会话的任一参会终端，可以与该录播终端的内置MCU互相发送视频流数据，在接入一个参会终端的情况下，改视频流数据的视频分辨率可以是默认的视频分辨率，如1080P等，但并不局限于此。

在其他终端想要加入目标视频会议的情况下，可以按照上文描述方式，建立与内置MCU的录播终端之间的媒体会话，实现过程本申请不做赘述。

步骤S32，接收录播终端发送的目标视频编码参数；

如上文从内置MCU的录播终端侧描述的视频会议处理方法可知，录播终端的内置MCU识别到参会终端的数量达到参会阈值，将确定的目标视频编码参数发送至各参会终端，该目标视频编码参数小于参会终端相应的视频编码参数，能够达到降低码率的技术效果。可选的，该目标视频编码参数可以包括但并不局限于目标视频分辨率。

步骤S33，将参会终端的视频编码参数调整为目标视频编码参数；

步骤S34，获得具有目标视频编码参数的视频流数据，将该视频流数据发送至录播终端；

参会终端调整自身的视频编码参数后，将按照目标识别编码参数进行视频采集和编码，降低了传输至内置MCU的录播终端的视频码率，减少对带宽占用，从而降低了丢包风险。关于录播终端接收到目标视频会议的多个参会终端发送的视频流数据后的合屏处理过程，可以参照上文实施例相应部分的描述，本实施例不做赘述。

步骤S35，接收录播终端发送的目标视频流数据，对目标视频流数据进行解码，播放解码后的视频流数据。

综上，在一个视频会议中，接入录播终端的内置MCU的参会终端数量达到参会阈值，如2台参会终端的情况下，参会终端可以按照该录播终端发送的其内置MCU所需的目标视频编码参数，来调整该参会终端自身的视频编码参数，以降低其视频流数据传输的视频码率，减少对带宽占用。且各参会终端向录播终端的内置MCU发送统一视频编码参数的视频流数据，节省了内置MCU的缩放处理，提高了处理效率。

参照图7，为本申请提出的视频会议处理装置的一可选示例的结构示意图，该装置可以从内置MCU的录播终端侧进行描述，如图7所示，该装置可以包括：

参会终端数量获取模块31，用于获取目标视频会议的参会终端的数量；其中，所述参会终端是指与录播终端建立媒体会话连接的终端；

目标视频编码参数发送模块32，用于检测到所述参会终端的数量达到参会阈值，向所述参会终端发送目标视频编码参数；所述目标视频编码参数小于所述参会终端相应的视频编码参数；

视频流数据接收模块33，用于接收所述参会终端发送的具有所述目标视频编码参数的视频流数据；

视频流合屏处理模块34，用于对多个所述参会终端的所述视频流数据进行合屏处理，将得到的目标视频流数据发送至所述参会终端。

可选的，如图8所示，上述目标视频编码参数发送模块32可以包括：

目标视频分辨率获取单元321，用于获取针对录播终端的多点控制性能配置的目标视频分辨率；所述目标视频分辨率小于所述参会终端配置的视频分辨率；

编码调整请求发送单元322，用于按照会话初始协议，向所述参会终端发送携带有所述目标视频分辨率的编码调整请求，以使所述参会终端响应所述编码调整请求，将默认的视频分辨率调整为所述目标视频分辨率，获得具有所述目标视频分辨率的视频流数据。

在一种可能的实现方式中，上述目标视频分辨率获取单元321可以包括：

视频界面布局格式确定单元，用于依据所述参会终端的数量，确定所述目标视频会议的视频界面布局格式；

目标视频分辨率确定单元，用于依据所述视频界面布局格式以及所述参会终端配置的视频分辨率，确定针对录播终端的多点控制性能配置的目标视频分辨率。

在又一些实施例中，如图8所示，上述视频流合屏处理模块34可以包括：

解码单元341，用于对多个所述参会终端各自发送的具有所述目标视频编码参数的视频流数据进行解码处理；

合并处理单元342，用于对解码后的多个所述参会终端对应的同一帧视频流数据进行合并处理，得到具有所述目标视频编码参数的相应帧视频流数据；

编码单元343，用于对得到的多帧视频流数据进行编码处理，得到待输出的目标视频流数据；

目标视频流数据发送单元344，用于将所述目标视频流数据发送至多个所述参会终端。

基于上文各实施例的描述，上述装置还可以包括：

媒体会话建立模块，用于建立参会终端与录播终端之间的媒体会话连接；

可选的，该媒体会话建立模块可以包括：

多点控制工作模式启动单元，用于响应针对目标视频会议的多点控制功能触发请求，控制录播终端进入多点控制工作模式；

会议接入单元，用于接收参会终端发送的针对所述目标视频会议的会议接入请求，建立所述录播终端与所述参会终端之间的媒体会话连接；所述会议接入请求是按照会话初始协议生成的。

参照图9，为本申请提出的视频会议处理装置的又一可选示例的结构示意图，该装置可以从参会终端侧进行描述，如图9所示，该装置可以包括：

媒体会话构建模块41，用于建立与针对目标视频会议的录播终端的媒体会话连接；

目标视频编码参数接收模块42，用于接收所述录播终端发送的目标视频编码参数；所述目标视频编码参数小于参会终端相应的视频编码参数；

视频编码参数调整模块43，用于将所述参会终端的视频编码参数调整为所述目标视频编码参数；

视频流数据发送模块44，用于获得具有所述目标视频编码参数的视频流数据，将所述视频流数据发送至所述录播终端，以使所述录播终端对所述目标视频会议的多个参会终端发送的所述视频流数据进行合屏处理，得到待输出的目标视频流数据；

视频流数据播放模块45，用于接收所述录播终端发送的所述目标视频流数据，对所述目标视频流数据进行解码，播放解码后的视频流数据。

需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在相应侧终端的存储器中，由相应侧终端的处理器执行存储在该存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。

本申请还提供了一种计算机可读存储介质，其上可以存储计算机程序，该计算机程序可以被处理器调用并加载，以实现上述实施例描述的视频会议处理方法的各个步骤。

最后，需要说明的是，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、系统、终端而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种视频会议处理方法，其特征在于，所述方法包括：

获取目标视频会议的参会终端的数量；其中，所述参会终端是指与录播终端建立媒体会话连接的终端；

检测到所述参会终端的数量达到参会阈值，向所述参会终端发送目标视频编码参数，以使参会终端将其原有的视频编码参数调整为统一的目标视频编码参数；所述目标视频编码参数小于所述参会终端相应的视频编码参数；接收所述参会终端发送的具有所述目标视频编码参数的视频流数据；

对多个所述参会终端的所述视频流数据进行合屏处理，将得到的目标视频流数据发送至各所述参会终端。

2.根据权利要求1所述的方法，其特征在于，所述向所述参会终端发送目标视频编码参数，包括：

获取针对所述录播终端的多点控制性能配置的目标视频分辨率；所述目标视频分辨率小于所述参会终端配置的视频分辨率；

按照会话初始协议，向所述参会终端发送携带有所述目标视频分辨率的编码调整请求，以使所述参会终端响应所述编码调整请求，将默认的视频分辨率调整为所述目标视频分辨率，获得具有所述目标视频分辨率的视频流数据。

3.根据权利要求2所述的方法，其特征在于，所述获取针对所述录播终端的多点控制性能配置的目标视频分辨率，包括：

依据所述参会终端的数量，确定所述目标视频会议的视频界面布局格式；

依据所述视频界面布局格式以及所述参会终端配置的视频分辨率，确定针对所述录播终端的多点控制性能配置的目标视频分辨率。

4.根据权利要求1～3任一项所述的方法，其特征在于，所述对所述视频流数据进行合屏处理，将得到的目标视频流数据发送至所述参会终端进行播放，包括：

对多个所述参会终端各自发送的具有所述目标视频编码参数的视频流数据进行解码处理；

对解码后的多个所述参会终端对应的同一帧视频流数据进行合并处理，得到具有所述目标视频编码参数的相应帧视频流数据；

对得到的多帧视频流数据进行编码处理，得到待输出的目标视频流数据；

将所述目标视频流数据发送至多个所述参会终端。

5.根据权利要求4所述的方法，其特征在于，所述参会终端与录播终端建立媒体会话的实现方法，包括：

响应针对目标视频会议的多点控制功能触发请求，控制录播终端进入多点控制工作模式；

接收参会终端发送的针对所述目标视频会议的会议接入请求，建立所述录播终端与所述参会终端之间的媒体会话连接；所述会议接入请求是按照会话初始协议生成的。

6.一种视频会议处理方法，其特征在于，所述方法包括：

建立与针对目标视频会议的录播终端的媒体会话连接；

接收所述录播终端发送的目标视频编码参数；所述目标视频编码参数小于参会终端相应的视频编码参数；

将所述参会终端的视频编码参数调整为统一的所述目标视频编码参数；

获得具有所述目标视频编码参数的视频流数据，将所述视频流数据发送至所述录播终端，以使所述录播终端对所述目标视频会议的多个参会终端发送的所述视频流数据进行合屏处理，得到待输出的目标视频流数据；

接收所述录播终端发送的所述目标视频流数据，对所述目标视频流数据进行解码，播放解码后的视频流数据。

7.一种视频会议处理装置，其特征在于，所述装置包括：

参会终端数量获取模块，用于获取目标视频会议的参会终端的数量；其中，所述参会终端是指与录播终端建立媒体会话连接的终端；

目标视频编码参数发送模块，用于检测到所述参会终端的数量达到参会阈值，向所述参会终端发送目标视频编码参数，以使参会终端将其原有的视频编码参数调整为统一的目标视频编码参数；所述目标视频编码参数小于所述参会终端相应的视频编码参数；

视频流数据接收模块，用于接收所述参会终端发送的具有所述目标视频编码参数的视频流数据；

视频流合屏处理模块，用于对多个所述参会终端的所述视频流数据进行合屏处理，将得到的目标视频流数据发送至所述参会终端。

8.一种视频会议处理装置，其特征在于，所述装置包括：

媒体会话构建模块，用于建立与针对目标视频会议的录播终端的媒体会话连接；

目标视频编码参数接收模块，用于接收所述录播终端发送的目标视频编码参数；所述目标视频编码参数小于参会终端相应的视频编码参数；

视频编码参数调整模块，用于将所述参会终端的视频编码参数调整为统一的所述目标视频编码参数；

视频流数据发送模块，用于获得具有所述目标视频编码参数的视频流数据，将所述视频流数据发送至所述录播终端，以使所述录播终端对所述目标视频会议的多个参会终端发送的所述视频流数据进行合屏处理，得到待输出的目标视频流数据；

视频流数据播放模块，用于接收所述录播终端发送的所述目标视频流数据，对所述目标视频流数据进行解码，播放解码后的视频流数据。

9.一种视频会议系统，其特征在于，所述系统包括录播终端以及多个参会终端，其中：

所述录播终端包括第一通信接口、第一存储器和第一处理器，其中：

所述第一存储器用于存储实现如权利要求1所述的视频会议处理方法的第一程序；

所述第一处理器，用于加载执行所述第一存储器存储的所述第一程序，实现如权利要求1所述的视频会议处理方法；

所述参会终端包括显示器、音频播放器、音频采集器、图像采集器、第二通信接口、第二存储器和第二处理器，其中：

所述第二存储器用于存储实现如权利要求6所述的视频会议处理方法的第二程序；

所述第二处理器，用于加载执行所述第二存储器存储的所述第二程序，实现如权利要求6所述的视频会议处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器加载执行，实现如权利要求1或6所述的视频会议处理方法。

Images