CN111405231A - 视频会议方法、装置、设备和计算机可读存储介质 - Google Patents

Abstract

本发明实施例提供了一种视频会议方法、装置、设备和计算机可读存储介质。其中，该方法包括：获取视频会议终端的能力信息；根据能力信息，判断视频会议终端是否具备第一能力，其中，第一能力包括：将多路视频流解码并输出为多画面的主流画面的能力；若是，则将主流画面对应的多路视频流发送给该视频会议终端；否则，将多路视频流融合为单路多画面视频流并将单路多画面视频流发送给该视频会议终端。通过本发明，解决了视频会议系统中具备相关能力的终端无法发挥高画质、低延时优势的问题，实现了视频会议系统兼容各类新老的多品牌的接入设备的同时，确保有能力的视频会议终端更大可能地发挥高画质、低延时的优化效果。

Description

视频会议方法、装置、设备和计算机可读存储介质

技术领域

本发明涉及视频会议领域，特别是涉及一种视频会议方法、装置、设备和计算机可读存储介质。

背景技术

相关技术中的视频会议系统包含了多点控制单元(Multi Control Unit，简称为MCU)及软终端、硬终端等各类参与设备。视频会议终端采集图像、声音，并经过编码发送给MCU。MCU则根据会议要求将多个视频会议终端发送的图像进行融合或不进行融合，声音混音或不混音后发送给各个参与终端，从而实现多方与会人的音视频通话。

随着视频会议系统云化方案的兴起，视频会议服务端不做多画面融合，只做多路视频流转发的视频会议方案也越来越多。多路视频流转发是指视频会议服务端接收到视频会议的多画面的主流画面对应的多路视频流直接转发给与会终端，而可以不在视频会议服务端对多路视频流进行转码及画面融合为单路多画面视频流，因此，多路视频流转发方案具有高画质、低延时优势。然而，此类方案目前尚没有标准协议，各个厂商只能通过私有协议来实现。而目前的基于私有协议的多路视频流转发方案都只能在封闭系统中实现，不能兼容传统视频会议客户端。例如，当视频会议中存在基于H.323协议的终端、基于STD协议的终端、基于SIP协议的终端、单路级联模拟终端或录播模拟终端等不具备将多路视频流融合为多画面视频流的相关能力的终端时，视频会议中的所有终端都将采用由视频会议服务端将多路视频流进行画面融合后再发送给各个终端的方案，导致具备相关能力的终端无法发挥高画质、低时延的优势。

发明内容

基于此，本发明提供一种视频会议方法、装置、设备和计算机可读存储介质，用以解决相关技术中的视频会议系统中存在标准协议终端的情况下，具备相关能力的终端也只能使用标准协议，导致具备相关能力的终端无法发挥高画质、低延时优势的问题。

第一方面，本发明提供一种视频会议方法，该方法包括：

获取视频会议终端的能力信息；

根据所述能力信息，判断所述视频会议终端是否具备第一能力，其中，所述第一能力包括：将多路视频流解码并输出为多画面的主流画面的能力；

在判断到所述视频会议终端为具备所述第一能力的第一视频会议终端的情况下，将所述主流画面对应的多路视频流发送给所述第一视频会议终端。

在一种可能的实现方式中，在根据所述能力信息，判断所述视频会议终端是否具备第一能力之后，所述方法还包括：

在判断到所述视频会议终端为未具备所述第一能力的第二视频会议终端的情况下，将所述多路视频流融合为单路多画面视频流，并将所述单路多画面视频流发送给所述第二视频会议终端。

在一种可能的实现方式中，根据所述能力信息，判断所述视频会议终端是否具备第一能力包括：

实时获取所述主流画面的画面布局信息；

根据所述画面布局信息，判断所述视频会议终端的最大解码路数是否大于或等于所述主流画面的画面布局中子画面数量；

若是，则确定所述视频会议终端为具备所述第一能力的所述第一视频会议终端，否则确定所述视频会议终端为未具备所述第一能力的所述第二视频会议终端。

在一种可能的实现方式中，根据所述能力信息，判断所述视频会议终端是否具备第一能力还包括：

在判断到所述视频会议终端的最大解码路数大于或等于所述主流画面的画面布局中子画面数量的情况下，判断所述视频会议终端是否接收到演示流；

若是，则判断所述视频会议终端的最大解码路数是否大于或等于所述主流画面的画面布局中子画面数量加上演示流画面数量；

若是，则确定所述视频会议终端为具备所述第一能力的所述第一视频会议终端，否则确定所述视频会议终端为未具备所述第一能力的所述第二视频会议终端。

在一种可能的实现方式中，根据所述能力信息，判断所述视频会议终端是否具备第一能力还包括：

根据所述画面布局信息和所述主流画面的帧率，判断所述视频会议终端的最大解码总帧率是否大于或等于所述主流画面需求的解码总帧率；

若是，且在所述视频会议终端的最大解码路数大于或等于所述主流画面的画面布局中子画面数量的情况下，确定所述视频会议终端为具备所述第一能力的所述第一视频会议终端；否则确定所述视频会议终端为未具备所述第一能力的所述第二视频会议终端。

在一种可能的实现方式中，所述方法还包括：判断对应的画面在所述主流画面中的第三视频会议终端是否都具备第二能力，所述第二能力包括：在一个会议会话中调整上行视频流的编码参数的能力，其中，

将所述主流画面对应的多路视频流发送给所述第一视频会议终端包括：在判断到所述第三视频会议终端都具备所述第二能力的情况下，将所述多路视频流发送给所述第一视频会议终端；

将所述多路视频流融合为单路多画面视频流，并将所述单路多画面视频流发送给所述第二视频会议终端包括：在判断到所述第三视频会议终端都具备所述第二能力的情况下，将所述多路视频流融合为单路多画面视频流，并将所述单路多画面视频流发送给所述第二视频会议终端。

在一种可能的实现方式中，所述方法还包括：

在判断到所述第三视频会议终端未都具备所述第二能力的情况下，将所述多路视频流融合为单路多画面视频流，将所述单路多画面视频流发送给当前视频会议中的全部视频会议终端。

在一种可能的实现方式中，将所述主流画面对应的多路视频流发送给所述第一视频会议终端包括：

判断所述第一视频会议终端对应的画面是否在所述主流画面中；

在判断到所述第一视频会议终端对应的画面在所述主流画面中的情况下，将除所述第一视频会议终端之外的其他视频会议终端发送的所述多路视频流发送给所述第一视频会议终端。

在一种可能的实现方式中，所述方法还包括：

在判断到所述第三视频会议终端都具备所述第二能力的情况下，根据所述主流画面的画面布局信息，生成所述第三视频会议终端的上行视频流编码参数；

将所述上行视频流编码参数发送给所述第三视频会议终端；

获取所述第三视频会议终端根据所述上行视频流编码参数发送的单路视频流，其中，从全部的所述第三视频会议终端获取的单路视频流即为所述多路视频流。

在一种可能的实现方式中，所述方法还还包括：

在判断到所述第三视频会议终端未都具备第二能力的情况下，根据所述主流画面的画面布局信息，生成所述第三视频会议终端的上行视频流编码参数；

获取所述第三视频会议终端发送的单路视频流，并根据所述第三视频会议终端的上行视频流编码参数重新对所述第三视频会议终端发送的单路视频流进行视频编码。

在一种可能的实现方式中，所述上行视频流编码参数至少包括：视频编码码率，或，视频编码码率和分辨率。

在一种可能的实现方式中，

所述视频编码码率是基于所述主流画面中所述第三视频会议终端对应的画面面积占所述主流画面中各子画面的总面积的比例，以及视频会议的最大下行带宽确定的；

所述分辨率是基于所述主流画面中所述第三视频会议终端对应的画面面积占所述主流画面的面积的比例，以及所述主流画面的分辨率确定的。

第二方面，本发明提供一种视视频会议装置，该装置包括：

第一获取模块，用于获取视频会议终端的能力信息；

第一判断模块，用于根据所述能力信息，判断所述视频会议终端是否具备第一能力，其中，所述第一能力包括：将多路视频流解码并输出为多画面的主流画面的能力；

第一发送模块，用于在判断到所述视频会议终端为具备所述第一能力的第一视频会议终端的情况下，将所述主流画面对应的多路视频流发送给所述第一视频会议终端。

第三方面，本发明提供一种视频会议设备，该视频会议设备包括存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的视频会议方法。

第四方面，本发明提供一种计算机可读存储介质，该存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的视频会议方法。

本发明实施例提供的视频会议方法、装置、设备和计算机可读存储介质，通过获取视频会议终端的能力信息；根据能力信息，判断视频会议终端是否具备第一能力，其中，第一能力包括：将多路视频流解码并输出为多画面的主流画面的能力；在判断到视频会议终端为具备第一能力的第一视频会议终端的情况下，将主流画面对应的多路视频流发送给第一视频会议终端的方式，解决相关技术中的视频会议系统中存在标准协议终端的情况下，具备相关能力的终端也只能使用标准协议，导致具备相关能力的终端无法发挥高画质、低延时优势的技术问题，实现了具备相关能力的终端高画质、低延时的有益效果。

本发明的一个或多个实施例的细节在以下附图和描述中提出，以使本发明的其他特征、目的和优点更加简明易懂。

附图说明

为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种视频会议方法的流程图；

图2是根据本发明实施例的一种视频会议的九宫格布局示意图；

图3是根据本发明实施例的一种视频会议的一大N小的布局示意图；

图4是根据本发明实施例的一种视频会议的画中画布局示意图；

图5是根据本发明实施例的一种视频会议的品字型布局示意图；

图6是根据本发明实施例的一种视频会议装置的结构框图；

图7是根据本发明实施例的一种视频会议设备的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本发明保护的范围。

本实施例所提供的方法实施例可以在视频会议中的视频会议服务端执行。下面将以视频会议中的视频会议服务端为例，对本发明实施例的视频会议方法进行描述和说明。

在本实施例中提供了一种视频会议方法。如图1所示，图1是根据本发明实施例的一种视频会议方法的流程图，该流程包括如下步骤：

步骤S102：视频会议服务端获取视频会议终端的能力信息。

步骤S104：视频会议服务端根据能力信息，判断视频会议终端是否具备第一能力，其中，第一能力包括：将多路视频流解码并输出为多画面的主流画面的能力。

步骤S106：视频会议服务端在判断到视频会议终端为具备第一能力的第一视频会议终端的情况下，将主流画面对应的多路视频流发送给第一视频会议终端。

通过上述步骤，视频会议服务端根据视频会议终端的能力信息，来确定该视频会议终端是否具备将多路视频流解码并输出为多画面的主流画面的能力；在视频会议终端具备将多路视频流解码并输出为多画面的主流画面的能力的情况下，将主流画面对应的多路视频流发送给该视频会议终端，从而解决了相关技术中的视频会议系统中存在标准协议终端的情况下，具备相关能力的终端也只能使用标准协议，导致具备相关能力的终端无法发挥高画质、低延时优势的技术问题，实现了具备相关能力的终端高画质、低延时的有益效果。

需要说明的是，在本实施例中，为了方便表述，将至少能够将多路视频流解码并输出为多画面的主流画面的能力称为第一能力；将具备第一能力的视频会议终端称为第一视频会议终端，将不具备第一能力的视频会议终端称为第二视频会议终端。

在一个实施例中，视频会议终端还可以将多路视频流融合为单路多画面视频流，并将单路多画面视频流发送给第二视频会议终端。通过上述方式，实现了在一个视频会议中将多路视频流转发给具备第一能力的第一视频会议终端、多路视频流融合下发给未具备第一能力的第二视频会议终端的两栖会议。

在一个实施例中，视频会议服务端在获取视频会议终端的能力信息之后，可以根据该能力信息，来判断视频会议终端是否具备第一能力：

例如，视频会议服务端获取的视频会议终端的能力信息包括视频会议终端的最大解码路数。视频会议服务端可以预设解码路数，当视频会议服务端判断到视频会议终端的最大解码路数小于预设解码路数的情况下，则确定该视频会议终端不具备第一能力，否则确定该视频会议终端具备第一能力。上述的预设解码路数优选由当前视频会议的画面布局中最大的子画面数量确定。

例如，视频会议服务端获取的视频会议终端的能力信息包括视频会议终端的最大解码路数。视频会议服务端可以实时获取主流画面的画面布局信息；由于主流画面的画面布局信息中子画面的数量决定了视频会议服务端应至少具备的解码路数，因此，视频会议服务端根据画面布局信息可以确定画面布局中子画面数量，进而判断视频会议终端的最大解码路数是否大于或等于主流画面的画面布局中子画面数量。若是，则视频会议服务端确定视频会议终端为具备第一能力的第一视频会议终端，否则确定视频会议终端为未具备第一能力的第二视频会议终端。例如，视频会议的多画面的主流画面有28个画面，视频会议终端支持32路视频流解码，即大于多画面的主流画面中画面数量；据此可以确定视频会议终端为具备第一能力的第一视频会议终端。在本实施例中，视频会议终端是否具备第一能力是随着画面布局的变化而动态变化的。

再例如，视频会议服务端获取的视频会议终端的能力信息包括视频会议终端的最大解码路数和演示流。视频会议服务端还可以在判断到视频会议终端的最大解码路数大于或等于主流画面的画面布局中子画面数量的情况下，判断视频会议终端是否接收到演示流；若是，则判断视频会议终端的最大解码路数是否大于或等于主流画面的画面布局中子画面数量加上演示流画面数量；若是，则确定视频会议终端为具备第一能力的第一视频会议终端，否则确定视频会议终端为未具备第一能力的第二视频会议终端。在本实施例中，第一能力表示至少能够将多路视频流解码并输出为多画面的主流画面，以及满足演示流画面播放的能力，避免了视频会议终端接收到演示流而不能播放的情况。

又例如，视频会议服务端获取的视频会议终端的能力信息包括视频会议终端的最大解码路数和解码总帧率。视频会议服务端还可以根据画面布局信息和主流画面的帧率，判断视频会议终端的最大解码总帧率是否大于或等于主流画面需求的解码总帧率；以及视频会议服务端还根据画面布局信息，判断视频会议终端的最大解码路数是否大于或等于主流画面的画面布局中子画面数量；若上述两个判断均为是，则视频会议服务端确定视频会议终端为具备第一能力的第一视频会议终端；否则视频会议服务端确定视频会议终端为未具备第一能力的第二视频会议终端。在本实施例中，第一能力表示至少能够将多路视频流解码并输出为多画面的主流画面，以及满足主流画面需求的解码总帧率的能力。通过上述方式，避免了视频会议终端解码总帧率不足导致的画面卡顿。

在本实施例中，视频会议终端的能力信息可以预先配置在视频会议服务端。视频会议服务端也可以通过视频会议终端上报的参数来获取能力信息。

例如，这些参数包括但不限于以下至少之一：

(1)"decoders_H264"参数。当该参数的值为32时，表示终端H.264最大解码路数为32；该参数用于描述终端打开的解码器路数限制。

(2)"totalDecodeFPS_H264"参数。当该参数的值为360时，表示终端H.264最大解码总帧率为360，其中，最大解码总帧率＝1080p最大解码路数×视频帧率。

(3)"decoders_H265"参数。当该参数的值为32时，表示终端H.265最大解码路数为32；该参数用于描述终端打开的解码器路数限制。

(4)"totalDecodeFPS_H265"参数。当该参数的值为360时，表示终端H.265最大解码总帧率为360，其中，最大解码总帧率＝1080p最大解码路数×视频帧率。

在本实施例中，视频会议服务端将视频会议的多画面的主流画面对应的多路视频流转发给第一视频会议终端之前，视频会议服务端还会获取视频会议的多画面的主流画面对应的各个视频会议终端的视频流。在视频会议中，多画面的主流画面包括根据一个或者多个视频会议终端的视频流生成的画面。多画面的主流画面对应的视频会议终端是指画面被展示在多画面的主流画面对应的视频会议终端。由于视频会议的画面布局中可能只需要展示一部分视频会议终端对应的画面，因此，对于画面不需要展示在多画面的主流画面对应的视频会议终端，可以不向视频会议服务端发送其视频流。

在一个实施例中，视频会议服务端在判断到第一视频会议终端对应的画面在主流画面中的情况下，将除第一视频会议终端之外的其他视频会议终端发送的多路视频流发送给第一视频会议终端。在本实施例中，视频会议服务端将视频会议的画面布局中除第一视频会议终端所对应的视频流以外的其他终端对应的多路视频流转发给第一视频会议终端，而无需再将第一视频会议终端对应的视频流转发给第一视频会议终端，减少了对视频会议服务端的下行传输资源的占用。

在一个实施例中，本实施例提供的视频会议方法还包括：视频会议服务端判断对应的画面在主流画面中的视频会议终端是否都具备在一个会议会话中调整上行视频流的编码参数的能力。

在本实施例中，视频会议服务端将主流画面对应的多路视频流发送给第一视频会议终端包括：在判断到对应的画面在主流画面中的视频会议终端都具备在一个会议会话中调整上行视频流的编码参数的能力的情况下，视频会议服务端将多路视频流发送给第一视频会议终端。

以及，在本实施例中，视频会议服务端将多路视频流融合为单路多画面视频流，并将单路多画面视频流发送给第二视频会议终端包括：在判断到对应的画面在主流画面中的视频会议终端都具备在一个会议会话中调整上行视频流的编码参数的能力的情况下，视频会议服务端将多路视频流融合为单路多画面视频流，并将单路多画面视频流发送给第二视频会议终端。

通过上述方式，实现了多路视频流的获取。并且，在对应的画面在主流画面中的视频会议终端都具备在一个会议会话中调整上行视频流的编码参数的能力的情况下，对应的画面在主流画面中的视频会议终端上行给视频会议服务端的视频流都能够是根据视频会议服务端下发的编码参数编码的，从而可以避免视频会议服务端或者接收多路视频流的第一视频会议终端对多路视频流进行重新编码，降低了视频会议服务端和接收多路视频流的第一视频会议终端的处理资源消耗，也降低了对第一视频会议终端性能的要求。

需要说明的是，在本实施例中，为了方便表述，将至少能够在一个会议会话中调整上行视频流的编码参数的能力称为第二能力；将对应的画面在主流画面中的视频会议终端称为第三视频会议终端。

在上述实施例中，视频会议服务端判断对应的画面在主流画面中的视频会议终端是否都具备在一个会议会话中调整上行视频流的编码参数的能力之后，在视频会议服务端在判断到第三视频会议终端中存在未具备第二能力上行的单路视频流的情况下，若直接将多路视频流转发给具备第一能力的第一视频会议终端，则视频会议终端还需要具备将未具备第二能力的第三视频会仪终端上行的单路视频流重新编码的能力。为了避免上述问题，在本实施例中，视频会议服务端在判断到第三视频会议终端未都具备第二能力的情况下，视频会议服务端将多路视频流融合为单路多画面视频流，将单路多画面视频流发送给当前视频会议中的全部视频会议终端，以降低对视频会议终端能力的要求，避免视频会议终端能力不足。

在上述实施例中，视频会议服务端判断对应的画面在主流画面中的视频会议终端是否都具备在一个会议会话中调整上行视频流的编码参数的能力之后，在视频会议服务端在判断到第三视频会议终端都具备第二能力的情况下，视频会议服务端根据主流画面的画面布局信息，生成第三视频会议终端的上行视频流编码参数；视频会议服务端将上行视频流编码参数发送给第三视频会议终端；视频会议服务端获取第三视频会议终端根据上行视频流编码参数发送的单路视频流，其中，从全部的第三视频会议终端获取的单路视频流即为多路视频流。通过上述方式实现了第三视频会议终端的按需上行，其优势在于：发送给视频会议服务端的视频流无需重新进行视频编码而可以直接转发给其他的视频会议终端，避免了视频会议服务端的资源因重新进行视频编码而大量消耗。

在上述实施例中，视频会议服务端判断对应的画面在主流画面中的视频会议终端是否都具备在一个会议会话中调整上行视频流的编码参数的能力之后，在视频会议服务端在判断到第三视频会议终端未都具备第二能力的情况下，视频会议服务端还可以根据主流画面的画面布局信息，生成第三视频会议终端的上行视频流编码参数；获取第三视频会议终端发送的单路视频流，并根据第三视频会议终端的上行视频流编码参数重新对第三视频会议终端发送的单路视频流进行视频编码。通过上述方式，在第三视频会议终端不全具有第二能力的情况下，视频会议服务端将第三视频会议终端中不具有第二能力的视频会议终端上行的单路视频流进行重新编码后再下发给第一视频会议终端，从而以视频会议服务端消耗部分资源为代价，避免了接收多路视频流的第一视频会议终端在本地对单路视频流进行重新编码可能存在的能力不足的问题。

在本实施例中，视频编码参数至少包括：视频编码码率，其中，视频编码码率可以通过以下方式来确定：多画面的主流画面中第三视频会议终端对应的画面面积占多画面的主流画面中各子画面的总面积的比例，以及视频会议的最大下行带宽确定的，例如，通过第三视频会议终端在视频会议的多画面的主流画面中的面积占整个多画面的主流画面中各子画面的总面积的比例乘以视频会议的最大下行带宽，确定第三视频会议终端所要发送的单路视频流的视频编码码率。采用上述方式，保证了全部的多路视频流不会超过视频会议的最大下行带宽，并且，其他的视频会议终端接收到这些多路视频流后，可以直接解码后合成为多画面视频，而无需对任何一路单路视频流进行重新编码。

在一个实施例中，视频编码参数还可以包括：分辨率，其中，分辨率可以通过以下方式确定：多画面的主流画面中第三视频会议终端对应的画面面积占多画面的主流画面的面积的比例，以及多画面的主流画面的分辨率确定的。例如，通过视频会议的多画面的主流画面的分辨率乘以画面布局中第三视频会议终端对应的画面面积占多画面的主流画面的面积的比例，确定第三视频会议终端所要发送的单路视频流对应的分辨率。

由于在一个视频会议中，多画面的主流画面的画面布局是可以主动改变的，或者在视频会议的进行中画面布局也会根据会议模式而变化，因此，第三视频会议终端发送单路视频流占用的视频会议的最大上行带宽也是可以变化的。

例如，当视频会议的多画面的主流画面对应的终端被点名；或者视频会议的多画面的主流画面对应的终端的角色为主席且视频会议的全部终端进入全体看主席模式；或者视频会议的画面布局中只有一个填充画面的情况下，对应终端采用根据最大下行带宽确定的码率发送视频流。

在本实施例中，视频会议服务端可以主动或者被动向视频会议中的视频会议终端下发视频编码参数。例如，当视频会议终端加入视频会议，视频会议终端可以发送GetLayout协议到视频会议服务端获取画面布局信息，此时，视频会议服务端发送SetLayout协议给视频会议终端，以下发优化后的上行视频流带宽等视频编码参数。又例如，当视频会议的画面布局变更、视频会议为点名或全体看主席、或者视频会议点名结束时，视频会议服务端发送SetLayout协议给第一视频会议终端，以下发优化后的上行视频流带宽等视频编码参数。

在上述的一些实施例中，在视频会议服务端需要向其他终端转发多路视频流的情况下，由于画面布局中所有终端发送给视频会议服务端的视频流占用的最大上行带宽不大于视频会议的最大下行带宽，因此视频会议服务端不需要将画面布局中终端发送的视频流重新编码为较低码率的视频流而可以直接将终端的视频流转发给其他终端，减少了视频会议服务端的资源消耗，也避免了下行带宽不足以支持视频会议服务端向各个终端下发的视频流所需的带宽而导致的大量丢包，进而导致视频缺失或卡顿的问题。在视频会议服务端需要向其他终端发送多画面融合的视频流的情况下，在视频会议服务端进行多画面融合时也可以无需将画面布局中终端发送的视频流重新编码为较低码率的视频流而直接与其他视频流进行融合，减少了视频会议服务端的资源消耗。

以视频会议中终端1、终端2和终端3在画面布局中，终端4不在画面布局中，且终端1、终端2、终端3和终端4均为具备第一能力和第二能力的终端为例。视频会议服务端可以直接将视频会议多画面的主流画面对应的终端1、终端2和终端3对应的视频流转发给终端4，在终端4上对接收到的多路视频流进行解码并合成为多画面视频，实现在终端4上对多路视频流的展示。

以视频会议中终端1、终端2、终端3、终端4和终端5在画面布局中，且终端1、终端2和终端3均为具备第一能力和第二能力的终端，终端4和终端5为不具备第一能力和第二能力的终端为例。在这种情况下，有两种视频流传输方式：

方式一：视频会议服务端可以将终端1、终端2、终端3、终端4和终端5的视频流进行解码后融合得到单路多画面视频流，再将单路多画面视频流下发给视频会议中的全部终端。

方式二：视频会议服务端也可以将终端1、终端2、终端3、终端4和终端5的5路视频流发送给视频会议中具备第一能力的终端(例如终端1、终端2、终端3)，同时还将终端1、终端2、终端3、终端4和终端5的5路视频流进行解码后融合得到单路多画面视频流发送给视频会议中不具备第一能力的终端(例如终端4和终端5)。

上述两种视频流传输方式在视频会议的下行传输资源充足的情况下，都能够实现视频流的可靠传输。然而，由于使用标准协议的终端往往都是以固定码率或者最大上行带宽支持的最大码率向视频会议服务端发送视频流的，在一些情况下，例如视频会议的上行传输带宽和下行传输带宽对称设置的情况下，如果在画面布局中存在使用标准协议的终端，在采用方式二传输视频流时，为了保证多画面的主流画面对应的全部终端占用的上行带宽的总和不高于最大下行带宽，则视频会议服务端转发画面布局中全部终端的多路视频流之前，还需要将使用标准协议的终端的视频流转码为较低码率的视频流，这一过程将会占用视频会议服务端的处理资源。因此，在视频会议服务端的处理资源紧张的情况下，优选采用方式一进行视频流的传输，以节省视频会议服务端在发送视频流时所要占用的处理资源。

在本实施例中，不具备第二能力的视频会议终端(即第二视频会议终端)包括但不限于以下至少之一：主画面仅支持单路视频流输入的终端、主画面仅支持单路视频流输入的MCU级联模拟终端、录播模拟终端。其中，主画面仅支持单路视频输入的终端包括但不限于：H.323终端、标准SIP终端、监控摄像头模拟终端、监控平台模拟终端、RTSP URL模拟终端、下级MCU模拟终端、H.323级联模拟终端等。主画面仅支持单路视频流输入的MCU级联模拟终端包括但不限于：主画面仅支持单路视频流输入的MCU单路上级级联模拟终端、主画面仅支持单路视频流输入的MCU单路下级级联模拟终端等。

本实施例中的视频会议终端均可以为硬终端或者软终端。

需要说明的是，当视频会议存在主画面仅支持单路视频流输入的MCU上级级联模拟终端时，则该视频会议的所有终端都播放该MCU上级级联模拟终端的单路多画面视频流，即该视频会议需发送请求信息请求MCU上级级联模拟终端下发的单路多画面视频流，同时MCU上级级联模拟终端根据请求信息请求MCU上级级联模拟终端所在的本级视频会议中多画面的主流画面对应的单路多画面视频流。

下面以优选的实施例来说明终端在视频会议的画面布局方式以及视频会议服务端对视频会议的多画面的主流画面对应的终端的视频流的编码方式。

在本发明的实施例中，视频会议的画面布局方式包括但不限于：品字型布局、九宫格布局、一大N小布局和画中画布局，如图2至图5所示，其中，图2为根据本发明实施例的一种视频会议的九宫格布局示意图，图3为根据本发明实施例的一种视频会议的一大N小的布局示意图，图4为根据本发明实施例的一种视频会议的画中画布局示意图，图5为根据本发明实施例中的一种视频会议的品字型布局示意图。

实施例1

在本实施例中，以私有协议终端为具备第一能力且具备第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，以及视频会议的画面布局方式为品字形布局和视频会议的主流画面面积为1为例来进行说明。视频会议的画面布局中对应的终端包括：私有协议终端1、私有协议终端2和私有协议终端3，则针对三个私有协议终端均采用“多路视频流转发”模式，并且三个私有协议终端的上行的视频流的最大带宽均为1/3×2Mbps，且三个私有协议终端均只需请求另外两个私有协议终端视频流。

实施例2

在本实施例中，以私有协议终端为具备第一能力且具备第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，以及视频会议的画面布局方式为品字形布局和视频会议的主流画面面积为1为例来进行说明。

视频会议的画面布局中对应的终端包括：私有协议终端1、私有协议终端2和私有协议终端3；私有协议终端4对应的画面不在视频会议的画面布局中。则针对四个私有协议终端均采用“多路视频流转发”模式，并且私有协议终端1、私有协议终端2和私有协议终端3的上行的视频流的最大带宽均为1/3×2Mbps，私有协议终端1、私有协议终端2和私有协议终端3三个私有协议终端只需请求另外两个私有协议终端视频流，而私有协议终端4需请求另外三个私有协议终端视频流。

实施例3

在本实施例中，以私有协议终端为具备第一能力且具备第二能力的终端，H.323终端为不具备第一能力和第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，以及视频会议的画面布局方式为品字形布局和视频会议的主流画面面积为1为例来进行说明。

视频会议的画面布局中对应的终端包括：私有协议终端1、私有协议终端2和私有协议终端3；H.323终端4不在视频会议的画面布局中。则针对三个私有协议终端均采用“多路视频流转发”模式，针对H.323终端4采用“多画面融合”的模式，并且私有协议终端1、私有协议终端2和私有协议终端3的上行的视频流的最大带宽均为1/3×2Mbps，H.323终端4需上行的视频流的最大带宽为2Mbps，各个终端的下行的视频流的最大带宽均为2Mbps，而H.323终端4需请求私有协议终端1、私有协议终端2和私有协议终端3三个终端的多画面融合后的单路视频流(即单路多画面视频流)。

实施例4

在本实施例中，以私有协议终端为具备第一能力且具备第二能力的终端，H.323终端为不具备第一能力和第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，以及视频会议的画面布局方式为品字形布局和视频会议的主流画面面积为1为例来进行说明。

视频会议的画面布局中对应的终端包括：私有协议终端1、私有协议终端2和H.323终端3；H.323终端4对应的画面不在视频会议的画面布局中。则针对视频会议中的全部终端均采用“多画面融合”模式，并且私有协议终端1和私有协议终端2的上行的视频流的最大带宽均为2Mbps，H.323终端3和H.323终端4需上行的视频流的最大带宽为2Mbps，而视频会议中的全部终端均需请求私有协议终端1、私有协议终端2和H.323终端3三个终端的多画面融合后的单路视频流(即单路多画面视频流)。

实施例5

在本实施例中，以私有协议终端为具备第一能力且具备第二能力的终端，单路下级级联模拟终端为不具备第一能力和第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，以及视频会议的画面布局方式为品字形布局和视频会议的主流画面面积为1为例来进行说明。

视频会议的画面布局中对应的终端包括：私有协议终端1、私有协议终端2和私有协议终端3；单路下级级联模拟终端4对应的画面不在视频会议的画面布局中。则针对三个私有协议终端均采用“多路视频流转发”模式，针对单路下级级联模拟终端4采用“多画面融合”的模式，并且私有协议终端1、私有协议终端2和私有协议终端3的上行的视频流的最大带宽均为1/3×2Mbps，单路下级级联模拟终端4需上行的视频流的最大带宽为2Mbps，而单路下级级联模拟终端4需请求私有协议终端1、私有协议终端2和私有协议终端3三个终端的多画面融合后的单路视频流(即单路多画面视频流)。

实施例6

在本实施例中，以私有协议终端为具备第一能力且具备第二能力的终端，单路下级级联模拟终端为不具备第一能力和第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，以及视频会议的画面布局方式为品字形布局和视频会议的主流画面面积为1为例来进行说明。

视频会议的画面布局中对应的终端包括：私有协议终端1、私有协议终端2和单路下级级联模拟终端3；单路下级级联模拟终端4对应的画面不在视频会议的画面布局中。则针对视频会议中的全部终端均采用“多画面融合”模式，并且私有协议终端1和私有协议终端2的上行的视频流的最大带宽均为2Mbps，而单路下级级联模拟终端3和单路下级级联模拟终端4需上行的视频流的最大带宽为2Mbps，且各个终端的下行的视频流的最大带宽均为2Mbps，其中，视频会议中的全部终端均需请求私有协议终端1、私有协议终端2和单路下级级联模拟终端3三个终端的多画面融合后的单路视频流(即单路多画面视频流)。

实施例7

在本实施例中，以私有协议终端为具备第一能力且具备第二能力的终端，录播模拟终端均为不具备第一能力和第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，以及视频会议的画面布局方式为品字形布局和视频会议的主流画面面积为1为例来进行说明。

视频会议的画面布局中对应的终端包括：私有协议终端1、私有协议终端2和私有协议终端3；录播模拟终端4对应的画面不在视频会议的画面布局中。则针对三个私有协议终端均采用“多路视频流转发”模式，针对录播模拟终端4采用“多画面融合”模式，并且私有协议终端1、私有协议终端2和私有协议终端3的上行的视频流的最大带宽均为1/3×2Mbps，而录播模拟终端3需上行的视频流的最大带宽为0Mbps，其中，录播模拟终端4需请求私有协议终端1、私有协议终端2和私有协议终端3三个终端的多画面融合后的单路视频流(即单路多画面视频流)。

实施例8

在本实施例中，以私有协议终端为具备第一能力且具备第二能力的终端，单路上级级联模拟终端为不具备第一能力和第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，以及视频会议的画面布局方式为品字形布局和视频会议的主流画面面积为1为例来进行说明。

视频会议的画面布局中对应的终端包括：私有协议终端1、私有协议终端2和私有协议终端3；单路上级级联模拟终端4对应的画面不在视频会议的画面布局中。则针对视频会议中的全部终端均采用“多画面融合”模式，并且私有协议终端1、私有协议终端2和私有协议终端3的上行的视频流的最大带宽均为2Mbps，单路上级级联模拟终端4需上行的视频流的最大带宽为2Mbps，其中，私有协议终端1、私有协议终端2和私有协议终端3需发送请求信息请求单路上级级联模拟终端4下发的多画面融合后的单路视频流(即单路多画面视频流)，同时单路上级级联模拟终端4根据请求信息请求本级视频会议中多画面的主流画面对应的单路多画面视频流。

实施例9

在本实施例中，以私有协议终端1、私有协议终端2、私有协议终端3和私有协议终端4为具备第一能力且具备第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，以及视频会议的画面布局方式为田字形布局和视频会议的主流画面面积为1为例来进行说明。

在本实施例中，私有协议终端1、私有协议终端2、私有协议终端3和私有协议终端4对应的画面均在画面布局中；私有协议终端5对应的画面不在画面布局中，且私有协议终端5的解码路数为3。此时私有协议终端1、私有协议终端2、私有协议终端3、私有协议终端4上行视频的最大带宽为1/4×2Mbps，私有协议终端5则不上行视频流。私有协议终端1、私有协议终端2、私有协议终端3、私有协议终端4均采用“多路视频流转发”模式，而私有协议终端5的最大解码路数小于画面布局中的子画面数量，即私有协议终端5不具备第一能力，此时私有协议终端5需请求私有协议终端1、私有协议终端2、私有协议终端3和私有协议终端4四个终端的多画面融合后的单路视频流(即单路多画面视频流)。

实施例10

在本实施例中，以私有协议终端1、私有协议终端2、私有协议终端3和私有协议终端4为具备第一能力且具备第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，以及视频会议的画面布局方式为田字形布局和视频会议的主流画面面积为1为例来进行说明。

在本实施例中，该视频会议的演示流画面开启，私有协议终端1、私有协议终端2、私有协议终端3和私有协议终端4对应的画面均在画面布局中，私有协议终端5对应的画面不在画面布局中，且私有协议终端5的解码路数为4。此时私有协议终端1、私有协议终端2、私有协议终端3、私有协议终端4上行视频的最大带宽为1/4×2Mbps，私有协议终端5则不上行视频流。私有协议终端1、私有协议终端2、私有协议终端3、私有协议终端4均采用“多路视频流转发”模式，而私有协议终端5由于解码路数小于画面布局中的子画面数量加上演示流画面的数量，即私有协议终端5不具备第一能力，此时私有协议终端5需请求私有协议终端1、私有协议终端2、私有协议终端3和私有协议终端4四个终端的多画面融合后的单路视频流(即单路多画面视频流)。

实施例11

在本实施例中，以私有协议终端1、私有协议终端2、私有协议终端3和私有协议终端4为具备第一能力且具备第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，以及视频会议的画面布局方式为田字形布局和视频会议的主流画面面积为1为例来进行说明。

在本实施例中，该视频会议的主画面需求的解码总帧率为40帧/秒，私有协议终端1、私有协议终端2、私有协议终端3和私有协议终端4对应的画面均在画面布局中，私有协议终端5对应的画面不在画面布局中，且私有协议终端5的解码路数为4，以及私有协议终端5的最大解码总帧率为50帧/秒。此时私有协议终端1、私有协议终端2、私有协议终端3、私有协议终端4上行视频的最大带宽为1/4×2Mbps，私有协议终端5则不上行视频流。私有协议终端1、私有协议终端2、私有协议终端3、私有协议终端4均采用“多路视频流转发”模式，而私有协议终端5由于解码路数大于或等于画面布局中的子画面数量，且最大解码总帧率大于视频会议的主流画面需求的解码总帧率，即私有协议终端5具备第一能力，此时私有协议终端5也采用“多路视频流转发”模式。

实施例12

在本实施例中，以私有协议终端1、私有协议终端2、私有协议终端3为具备第一能力且具备第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，视频会议的画面布局方式为品字形布局，以及视频会议的主流画面面积为1为例来进行说明。

私有协议终端1、私有协议终端2和私有协议终端3三个终端对应的分辨率是基于主流画面中终端对应的画面面积占主流画面的面积的比例，以及主流画面的分辨率确定的。在本实施例中，该视频会议的主流画面的分辨率为1920×1080，私有协议终端1、私有协议终端2和私有协议终端3对应的画面均在主流画面的画面布局中，且私有协议终端1、私有协议终端2和私有协议终端3对应的画面面积均为1/4，则私有协议终端1、私有协议终端2和私有协议终端3三个终端对应的分辨率均为1/4×1920×1080。

实施例13

在本实施例中，以私有协议终端1、私有协议终端2、私有协议终端3为具备第一能力且具备第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，视频会议的画面布局方式为品字形布局，以及视频会议的主流画面面积为1为例来进行说明。

私有协议终端1、私有协议终端2和私有协议终端3对应的视频编码码率是基于主流画面中终端对应的画面面积占主流画面中各子画面的总面积的比例，以及视频会议的最大下行带宽确定的。在本实施例中，该视频会议的最大下行带宽为2Mbps，私有协议终端1、私有协议终端2和私有协议终端3对应的画面均在画面布局中，且私有协议终端1、私有协议终端2和私有协议终端3对应的画面面积均为1/4，则私有协议终端1、私有协议终端2和私有协议终端3三个终端对应的视频编码码率均为[1/4÷(1/4+1/4+1/4)]×2Mbps。

实施例14

在本实施例中，以私有协议终端1、私有协议终端2为具备第一能力且具备第二能力的终端，视频会议的各个终端的最大视频上行带宽和下行带宽均为2Mbps，视频会议的画面布局方式为1大1小布局，以及视频会议的主流画面面积为1，私有协议终端1对应的大画面的面积为1(即大画面铺满主流画面)，私有协议终端2对应的小画面的面积为1/4，为例来进行说明。

私有协议终端1和私有协议终端2对应的视频编码码率是基于主流画面中终端对应的画面面积占主流画面中各子画面的总面积的比例，以及视频会议的最大下行带宽确定的。在本实施例中，该视频会议的最大下行带宽为2Mbps，私有协议终端1和私有协议终端2对应的画面均在画面布局中，则私有协议终端1的视频编码码率为1÷(1/4+1)×2Mbps；私有协议终端2的视频编码码率为1/4÷(1/4+1)×2Mbps。

在本实施例中还提供了一种视频会议装置，可以应用于视频会议服务端，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是根据本发明实施例的一种视频会议装置的结构框图，如图6所示，该装置包括：

第一获取模块610，用于获取视频会议终端的能力信息；

第一判断模块620，耦合至第一获取模块610，用于根据能力信息，判断视频会议终端是否具备第一能力，其中，第一能力包括：将多路视频流解码并输出为多画面的主流画面的能力；

第一发送模块630，耦合至第一判断模块620，用于在判断到视频会议终端为具备第一能力的第一视频会议终端的情况下，将主流画面对应的多路视频流发送给第一视频会议终端。

在一个实施例中，该装置还包括：第二发送模块，在判断到视频会议终端为未具备第一能力的第二视频会议终端的情况下，将多路视频流融合为单路多画面视频流，并将单路多画面视频流发送给第二视频会议终端。

在一个实施例中，第一判断模块620，还用于实时获取主流画面的画面布局信息；根据画面布局信息，判断视频会议终端的最大解码路数是否大于或等于主流画面的画面布局中子画面数量；若是，则确定视频会议终端为具备第一能力的第一视频会议终端，否则确定视频会议终端为未具备第一能力的第二视频会议终端。

在一个实施例中，第一判断模块620，还用于判断到视频会议终端的最大解码路数大于或等于主流画面的画面布局中子画面数量的情况下，判断视频会议终端是否接收到演示流；若是，则判断视频会议终端的最大解码路数是否大于或等于主流画面的画面布局中子画面数量加上演示流画面数量；若是，则确定视频会议终端为具备第一能力的第一视频会议终端，否则确定视频会议终端为未具备第一能力的第二视频会议终端。

在一个实施例中，第一判断模块620，还用于根据画面布局信息和主流画面的帧率，判断视频会议终端的最大解码总帧率是否大于或等于主流画面需求的解码总帧率；若是，且在视频会议终端的最大解码路数大于或等于主流画面的画面布局中子画面数量的情况下，确定视频会议终端为具备第一能力的第一视频会议终端；否则确定视频会议终端为未具备第一能力的第二视频会议终端。

在一个实施例中，该装置还包括：第二判断模块，用于判断对应的画面在主流画面中的第三视频会议终端是否都具备第二能力，第二能力包括：在一个会议会话中调整上行视频流的编码参数的能力，其中，将主流画面对应的多路视频流发送给第一视频会议终端包括：第二发送模块，用于在判断到第三视频会议终端都具备第二能力的情况下，将多路视频流发送给第一视频会议终端；将多路视频流融合为单路多画面视频流，并将单路多画面视频流发送给第二视频会议终端包括：第三发送模块，用于在判断到第三视频会议终端都具备第二能力的情况下，将多路视频流融合为单路多画面视频流，并将单路多画面视频流发送给第二视频会议终端。

在一个实施例中，该装置还包括：第四发送模块，用于在判断到第三视频会议终端未都具备第二能力的情况下，将多路视频流融合为单路多画面视频流，将单路多画面视频流发送给当前视频会议中的全部视频会议终端。

在一个实施例中，第一发送模块630，还用于判断第一视频会议终端对应的画面是否在主流画面中；在判断到第一视频会议终端对应的画面在主流画面中的情况下，将除第一视频会议终端之外的其他视频会议终端发送的多路视频流发送给第一视频会议终端。

在一个实施例中，该装置还包括：第一生成模块，用于在判断到第三视频会议终端都具备第二能力的情况下，根据主流画面的画面布局信息，生成第三视频会议终端的上行视频流编码参数；上行模块，用于将上行视频流编码参数发送给第三视频会议终端；第二获取模块，用于获取第三视频会议终端根据上行视频流编码参数发送的单路视频流，其中，从全部的第三视频会议终端获取的单路视频流即为多路视频流。

在一个实施例中，该装置还包括：第二生成模块，用于在判断到第三视频会议终端未都具备第二能力的情况下，根据主流画面的画面布局信息，生成第三视频会议终端的上行视频流编码参数；第三获取模块，用于获取第三视频会议终端发送的单路视频流，并根据第三视频会议终端的上行视频流编码参数重新对第三视频会议终端发送的单路视频流进行视频编码。

在一个实施例中，上行视频流编码参数至少包括：视频编码码率。

在一个实施例中，视频编码码率是基于主流画面中第三视频会议终端对应的画面面积占主流画面对应的面积的比例，以及视频会议的最大下行带宽确定的。

在一个实施例中，上行视频流编码参数还包括：分辨率；其中，分辨率是基于主流画面中第三视频会议终端对应的画面面积占主流画面对应的面积的比例，以及主流画面的分辨率确定的。

另外，结合图1描述的本发明实施例视频会议方法可以由视频会议设备来实现。图7为根据本发明实施例的视频会议设备的硬件结构示意图。

视频会议设备可以包括处理器71以及存储有计算机程序指令的存储器72。

具体地，上述处理器71可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器72可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器72可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器72可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器72可在数据处理装置的内部或外部。在特定实施例中，存储器72是非易失性固态存储器。在特定实施例中，存储器72包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器71通过读取并执行存储器72中存储的计算机程序指令，以实现上述实施例中的任意一种视频会议方法。

在一个示例中，视频会议设备还可包括通信接口73和总线70。其中，如图7所示，处理器71、存储器72、通信接口73通过总线70连接并完成相互间的通信。

通信接口73，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线70包括硬件、软件或两者，将视频会议设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线70可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

该视频会议设备可以基于获取到的视频会议终端的能力信息，或者能力信息和画面布局信息，执行本发明实施例中的视频会议方法，从而实现结合图1描述的视频会议方法。

另外，结合上述实施例中的视频会议方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种视频会议方法。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种视频会议方法，其特征在于，所述方法包括：

获取视频会议终端的能力信息；

根据所述能力信息，判断所述视频会议终端是否具备第一能力，其中，所述第一能力包括：将多路视频流解码并输出为多画面的主流画面的能力；

在判断到所述视频会议终端为具备所述第一能力的第一视频会议终端的情况下，将所述主流画面对应的多路视频流发送给所述第一视频会议终端。

2.根据权利要求1所述的方法，其特征在于，在根据所述能力信息，判断所述视频会议终端是否具备第一能力之后，所述方法还包括：

在判断到所述视频会议终端为未具备所述第一能力的第二视频会议终端的情况下，将所述多路视频流融合为单路多画面视频流，并将所述单路多画面视频流发送给所述第二视频会议终端。

3.根据权利要求2所述的方法，其特征在于，根据所述能力信息，判断所述视频会议终端是否具备第一能力包括：

实时获取所述主流画面的画面布局信息；

根据所述画面布局信息，判断所述视频会议终端的最大解码路数是否大于或等于所述主流画面的画面布局中子画面数量；

若是，则确定所述视频会议终端为具备所述第一能力的所述第一视频会议终端，否则确定所述视频会议终端为未具备所述第一能力的所述第二视频会议终端。

4.根据权利要求3所述的方法，其特征在于，根据所述能力信息，判断所述视频会议终端是否具备第一能力还包括：

在判断到所述视频会议终端的最大解码路数大于或等于所述主流画面的画面布局中子画面数量的情况下，判断所述视频会议终端是否接收到演示流；

若是，则判断所述视频会议终端的最大解码路数是否大于或等于所述主流画面的画面布局中子画面数量加上演示流画面数量；

若是，则确定所述视频会议终端为具备所述第一能力的所述第一视频会议终端，否则确定所述视频会议终端为未具备所述第一能力的所述第二视频会议终端。

5.根据权利要求3所述的方法，其特征在于，根据所述能力信息，判断所述视频会议终端是否具备第一能力还包括：

根据所述画面布局信息和所述主流画面的帧率，判断所述视频会议终端的最大解码总帧率是否大于或等于所述主流画面需求的解码总帧率；

若是，且在所述视频会议终端的最大解码路数大于或等于所述主流画面的画面布局中子画面数量的情况下，确定所述视频会议终端为具备所述第一能力的所述第一视频会议终端；否则确定所述视频会议终端为未具备所述第一能力的所述第二视频会议终端。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：判断对应的画面在所述主流画面中的第三视频会议终端是否都具备第二能力，所述第二能力包括：在一个会议会话中调整上行视频流的编码参数的能力，其中，

将所述主流画面对应的多路视频流发送给所述第一视频会议终端包括：在判断到所述第三视频会议终端都具备所述第二能力的情况下，将所述多路视频流发送给所述第一视频会议终端；

将所述多路视频流融合为单路多画面视频流，并将所述单路多画面视频流发送给所述第二视频会议终端包括：在判断到所述第三视频会议终端都具备所述第二能力的情况下，将所述多路视频流融合为单路多画面视频流，并将所述单路多画面视频流发送给所述第二视频会议终端。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在判断到所述第三视频会议终端未都具备所述第二能力的情况下，将所述多路视频流融合为单路多画面视频流，将所述单路多画面视频流发送给当前视频会议中的全部视频会议终端。

8.根据权利要求1所述的方法，其特征在于，将所述主流画面对应的多路视频流发送给所述第一视频会议终端包括：

判断所述第一视频会议终端对应的画面是否在所述主流画面中；

在判断到所述第一视频会议终端对应的画面在所述主流画面中的情况下，将除所述第一视频会议终端之外的其他视频会议终端发送的所述多路视频流发送给所述第一视频会议终端。

9.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在判断到所述第三视频会议终端都具备所述第二能力的情况下，根据所述主流画面的画面布局信息，生成所述第三视频会议终端的上行视频流编码参数；

将所述上行视频流编码参数发送给所述第三视频会议终端；

获取所述第三视频会议终端根据所述上行视频流编码参数发送的单路视频流，其中，从全部的所述第三视频会议终端获取的单路视频流即为所述多路视频流。

10.根据权利要求6所述的方法，其特征在于，所述方法还还包括：

在判断到所述第三视频会议终端未都具备第二能力的情况下，根据所述主流画面的画面布局信息，生成所述第三视频会议终端的上行视频流编码参数；

获取所述第三视频会议终端发送的单路视频流，并根据所述第三视频会议终端的上行视频流编码参数重新对所述第三视频会议终端发送的单路视频流进行视频编码。

11.根据权利要求9所述的方法，其特征在于，所述上行视频流编码参数包括：视频编码码率，或，视频编码码率和分辨率。

12.根据权利要求11所述的方法，其特征在于，

所述视频编码码率是基于所述主流画面中所述第三视频会议终端对应的画面面积占所述主流画面中各子画面的总面积的比例，以及视频会议的最大下行带宽确定的；

所述分辨率是基于所述主流画面中所述第三视频会议终端对应的画面面积占所述主流画面的面积的比例，以及所述主流画面的分辨率确定的。

13.一种视频会议装置，其特征在于，所述装置包括：

第一获取模块，用于获取视频会议终端的能力信息；

第一判断模块，用于根据所述能力信息，判断所述视频会议终端是否具备第一能力，其中，所述第一能力包括：将多路视频流解码并输出为多画面的主流画面的能力；

第一发送模块，用于在判断到所述视频会议终端为具备所述第一能力的第一视频会议终端的情况下，将所述主流画面对应的多路视频流发送给所述第一视频会议终端。

14.一种视频会议设备，包括存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至12中任一项所述的视频会议方法。

15.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的视频会议方法。

Images