CN115567671A - 一种处理视频会议中媒体流的方法及相关产品 - Google Patents

Abstract

本申请提供了一种处理视频会议中媒体流的方法及相关产品，基于该方法或相关产品对视频会议中的媒体流进行处理，能够提高媒体资源的利用率。该方法由视频会议控制系统执行，视频会议控制系统包括M个媒体处理机，M个媒体处理机中不同的媒体处理机位于不同的设备、容器或虚拟机中，M个媒体处理机包括：具备媒体收发资源的第一类媒体处理机，具备视频适配资源、多画面合成资源、音频适配资源、混音资源、共享资源、标注资源中的至少一种的第二类媒体处理机。该方法包括：第一类媒体处理机接收第一会议终端发送的媒体流，并将媒体流发送至一个或多个第二类媒体处理机，上述一个或多个第二类媒体处理机基于拥有的媒体资源对该媒体流进行处理。

Description

一种处理视频会议中媒体流的方法及相关产品

技术领域

本申请涉及视频会议技术领域，尤其涉及一种处理视频会议中媒体流的方法及相关产品。

背景技术

随着通信技术的快速发展，视频会议成为了一种主流的会议方式。其中，多点控制单元(multi-point control unit,MCU)作为实现视频会议的重要设备，主要负责对会议中的媒体流进行转发和处理。由于单台MCU的容量受到算力的限制，因此，单台MCU无法同时对多个会议终端的媒体流进行转发和处理。

目前，主要通过设置多台MCU，并将多台MCU以级联的方式建立连接，从而来协同完成会议中媒体流的转发和处理。但是，不同的会议终端对MCU的资源需求不同，这就导致上述多台MCU的整体资源利用率低的问题。

发明内容

本申请提供了一种处理视频会议中媒体流的方法及相关产品，基于该方法或相关产品对视频会议中的媒体流进行处理，能够提高媒体资源的利用率。

第一方面，本申请提供了一种处理视频会议中媒体流的方法，该方法由视频会议控制系统执行，视频会议系统包括M个媒体处理机，其中，M为大于1的正整数，M个媒体处理机中不同的媒体处理机位于不同的设备中、或者位于不同的容器中、或者位于不同的虚拟机中，M个媒体处理机包括2类媒体处理机：具备媒体收发资源的第一类媒体处理机，以及具备以下一种或多种媒体资源：视频适配资源、多画面合成资源、音频适配资源、混音资源、共享资源、标注资源的第二类媒体处理机。上述方法包括如下步骤：第一媒体处理机接收第一会议终端发送的媒体流，并将媒体流发送至一个或多个第二类媒体处理机。然后，再由上述一个或多个第二类媒体处理机基于拥有的媒体资源对接收到的媒体流进行处理。

其中，第一媒体处理机属于第一类媒体处理机，可选的，第一媒体处理机还可以属于第二类媒体处理机，即第一媒体处理机除了具备上述媒体收发资源，还可以具备视频适配资源、多画面合成资源、音频适配资源、混音资源、共享资源、标注资源中的至少一种。同样的，上述一个或多个第二类媒体处理机也可以具备媒体收发资源。

上述视频会议控制系统中，M个媒体处理机中不同的媒体处理机位于不同的设备中、或者位于不同的容器中、或者位于不同的虚拟机中，并且，每个媒体处理机可以具备媒体收发资源、视频适配资源、多画面合成资源、音频适配资源、混音资源、共享资源、标注资源中的至少一种。相较于单台MCU，本申请通过把不同的媒体资源配置到M个媒体处理机，可以使得媒体资源的使用更加灵活。那么，实施第一方面所描述的方法，可以提高媒体资源的利用率。

在一种可能的实现方式中，上述一个或多个第二类媒体处理机基于拥有的媒体资源对接收到的媒体流进行处理之后，还将处理后的媒体流返回至第二媒体处理机，其中，第二媒体处理机属于上述具备媒体收发资源的第一类媒体处理机。可选的，第二媒体处理机还可以属于第二类媒体处理机，即第二媒体处理机除了具备上述媒体收发资源，还可以具备视频适配资源、多画面合成资源、音频适配资源、混音资源、共享资源、标注资源中的至少一种。

在一种可能的实现方式中，第二会议终端通过第二媒体处理机接入上述视频会议，那么，上述方法还包括：第二媒体处理机将上述处理后的媒体流发送至第二会议终端。这样，当第二会议终端接收上述处理后的媒体流后，便可以获取第一会议终端所在会场的视频图像、声音、或者第一会议终端共享给第二会议终端的内容(包括桌面、文档、白板等)、或者第二会议终端共享给第二会议终端的标注内容，从而实现第一会议终端与第二会议终端之间的视频会议。

在一种可能的实现方式中，上述视频会议控制系统还包括信令处理机和媒体控制机，在第一媒体处理机接收第一会议终端发送的媒体流之前，上述方法还包括：信令处理机接收第一会议终端的接入请求，并将接入请求转发至媒体控制机，其中，接入请求包括第一会议终端的接入能力信息，接入能力信息用于表征第一会议终端具备的会议接入能力，接入能力信息包括第一会议终端的接入带宽。媒体控制机根据接入请求确定第一媒体处理机，第一媒体处理机具备的媒体收发资源满足第一会议终端的接入带宽，还根据第二会议终端的会议需求或视频会议的类，为接入请求分配一个或多个第二类媒体处理机，其中，第二会议终端和第一会议终端处于同一个视频会议中。

上述实现方式中，媒体控制机根据第一会议终端的接入带宽为上述接入请求分配媒体收发资源(即第一媒体处理机)，根据第二会议终端的会议需求或视频会议的类为上述接入请求分配媒体资源(即上述一个或多个第二类媒体处理机)。也就是说，媒体控制机可以根据实际需求分配相应的媒体资源，从而避免媒体资源的浪费，提高媒体资源的利用率。

在一种可能的实现方式中，上述第二会议终端通过第二媒体处理机接入上述视频会议，第二媒体处理机属于第一类媒体处理机。那么，上述第一媒体处理机将媒体流发送至一个或多个第二类媒体处理机，包括：第一媒体处理机将媒体流发送至一个或多个第二类媒体处理机的第一子集中的媒体处理机，然后，第一子集中的媒体处理机对媒体流进行处理，并将处理后的媒体流发送至一个或多个第二类媒体处理机的第二子集中的媒体处理机，然后，第二子集中的媒体处理机对处理后的媒体流进行二次处理，并将二次处理后的媒体流发送至第二媒体处理机。上述方法还包括：第二媒体处理机将二次处理后的媒体流发送至第二会议终端。

由于在处理媒体流的过程中，一些处理具有先后顺序，例如，可以先对视频流进行视频适配处理，再对视频适配后的视频流进行多画面合成，又例如，可以先对音频流进行音频适配处理，再对音频适配处理后的音频流进行混音处理。因此，通过实施上述实现方式，可以实现对第一会议终端发送的媒体流进行多次不同处理，从而更好的满足第二会议终端的需求以及视频会议的类。并且，通过上述实现方式，第二会议终端还可以接收到上述二次处理后的媒体流，之后，第二会议终端便可以获取第一会议终端所在会场的视频图像、声音、或者第一会议终端共享给第二会议终端的内容(包括桌面、文档、白板等)、或者第二会议终端共享给第二会议终端的标注内容，从而实现第一会议终端与第二会议终端之间的视频会议。

在一种可能的实现方式中，当视频会议的类包括视频类，且第二会议终端的会议需求包括视频适配需求时，上述一个或多个第二类媒体处理机包括具备视频适配资源的媒体处理机。当视频会议的类包括视频类，且第二会议终端的会议需求包括视频适配需求和多画面呈现需求时，上述一个或多个第二类媒体处理机包括具备视频适配资源的媒体处理机以及具备多画面合成资源的媒体处理机，并且，第一子集中的媒体处理机包括具备视频适配资源的媒体处理机，第二子集中的媒体处理机包括具备多画面合成资源的媒体处理机。

在一种可能的实现方式中，当视频会议的类包括音频类，且第二会议终端的会议需求包括音频适配需求时，上述一个或多个第二类媒体处理机包括具备音频适配资源的媒体处理机。当视频会议的类包括音频类，且第二会议终端的会议需求包括音频适配需求和混音需求时，上述一个或多个第二类媒体处理机包括具备音频适配资源的媒体处理机以及具备混音资源的媒体处理机，并且，第一子集中的媒体处理机包括具备音频适配资源的媒体处理机，第二子集中的媒体处理机包括具备混音资源的媒体处理机。

在一种可能的实现方式中，当视频会议的类包括协作类，且第二会议终端的会议需求包括共享需求时，一个或多个媒体处理机包括具备共享资源的媒体处理机。当视频会议的类包括协作类，且第二会议终端的会议需求包括标注需求时，一个或多个第二类媒体处理机包括具备标注资源的媒体处理机。

在一种可能的实现方式中，上述方法还包括：当视频会议的类发生变化或第二会议终端的会议需求发生变化时，媒体控制机根据变化后的视频会议的类或变化后的第二会议终端的会议需求，为接入请求重新分配一个或多个第二类媒体处理机，其中，重新分配的一个或多个第二类媒体处理机与第一或多个第二类媒体处理机不同，或者，重新分配的一个或多个第二类媒体处理机包括第一或多个第二类媒体处理机中的至少一个。

结合上述多种实现方式可知，当第二会议终端的会议需求不同或视频会议的类不同时，媒体控制机可以分配不同媒体资源以用于对第一会议终端发送的媒体流进行处理，从而可以避免媒体资源的浪费，提高媒体资源的利用率。另外，通过上述实现方式，媒体处理机拥有的媒体资源可以共享。

在一种可能的实现方式中，上述第一媒体处理机与上述第二媒体处理机是同一个媒体处理机，或者，上述第一媒体处理机与上述第二媒体处理机是不同的媒体处理机。也就是说，媒体处理机拥有的媒体收发资源可以共享。

在一种可能的实现方式中，上述第一媒体处理机配置有与上述一个或多个第二类媒体处理机之间的路由信息，那么，第一媒体处理机将上述媒体流发送至一个或多个第二类媒体处理机，包括：第一媒体处理机根据上述路由信息，将上述媒体流发送至一个或多个第二类媒体处理机。其中，当第一媒体处理机与第二媒体处理机是同一个媒体处理机时，上述路由信息包括第一媒体处理机以及上述一个或多个第二类媒体处理机之间的路由关系；当第一媒体处理机与第二媒体处理机不是同一个媒体处理机时，上述路由信息包括第一媒体处理机、第二媒体处理机以及上述一个或多个第二类媒体处理机之间的路由关系。

在一种可能的实现方式中，上述方法还包括：当第一媒体处理机、第二媒体处理机或上述一个或多个第二类媒体处理机中的任意一个出现故障时，媒体控制机获取出现故障的媒体处理机上使用的媒体资源，并根据出现故障的媒体处理机上使用的媒体资源，从M个媒体处理机中确定第三媒体处理机，第三媒体处理机用于代替出现故障的媒体处理机执行任务。如此，可以提高视频会议系统的可靠性。

第二方面，本申请提供了一种视频会议控制系统，该系统包括M个媒体处理机，其中，M为大于1的正整数，M个媒体处理机中不同的媒体处理机位于不同的设备中、或者位于不同的容器中、或者位于不同的虚拟机中，M个媒体处理机包括2类媒体处理机：具备媒体收发资源的第一类媒体处理机，以及具备以下一种或多种媒体资源：视频适配资源、多画面合成资源、音频适配资源、混音资源、共享资源、标注资源的第二类媒体处理机。上述视频会议控制系统通过以下方式对视频会议中的媒体流进行处理：第一媒体处理机用于接收第一会议终端发送的媒体流，并将媒体流发送至一个或多个第二类媒体处理机。上述一个或多个第二类媒体处理机用于基于拥有的媒体资源对接收到的媒体流进行处理。

其中，第一媒体处理机属于第一类媒体处理机，可选的，第一媒体处理机还可以属于第二类媒体处理机，即第一媒体处理机除了具备上述媒体收发资源，还可以具备视频适配资源、多画面合成资源、音频适配资源、混音资源、共享资源、标注资源中的至少一种。同样的，上述一个或多个第二类媒体处理机也可以具备媒体收发资源。

在一种可能的实现方式中，上述一个或多个第二类媒体处理机还用于将处理后的媒体流返回至第二媒体处理机。其中，第二媒体处理机属于上述具备媒体收发资源的第一类媒体处理机。可选的，第二媒体处理机还可以属于第二类媒体处理机，即第二媒体处理机除了具备上述媒体收发资源，还可以具备视频适配资源、多画面合成资源、音频适配资源、混音资源、共享资源、标注资源中的至少一种。

在一种可能的实现方式中，第二会议终端通过第二媒体处理机接入上述视频会议，那么，上述第二媒体处理机还用于将上述处理后的媒体流发送至第二会议终端。

在一种可能的实现方式中，上述系统还包括信令处理机和媒体控制机。信令处理机用于接收第一会议终端的接入请求，并将接入请求转发至媒体控制机，其中，接入请求包括第一会议终端的接入能力信息，接入能力信息用于表征第一会议终端具备的会议接入能力，接入能力信息包括第一会议终端的接入带宽。媒体控制机用于根据接入请求确定第一媒体处理机，第一媒体处理机具备的媒体收发资源满足第一会议终端的接入带宽，根据第二会议终端的会议需求或视频会议的类，为接入请求分配上述一个或多个第二类媒体处理机，其中，第二会议终端和第一会议终端处于视频会议中。

在一种可能的实现方式中，上述第二会议终端通过第二媒体处理机接入视频会议，第二媒体处理机属于第一类媒体处理机。第一媒体处理机用于将媒体流发送至上述一个或多个第二类媒体处理机的第一子集中的媒体处理机。第一子集中的媒体处理机用于对媒体流进行处理，并将处理后的媒体流发送至上述一个或多个第二类媒体处理机的第二子集中的媒体处理机。第二子集中的媒体处理机用于对处理后的媒体流进行二次处理，并将二次处理后的媒体流发送至第二媒体处理机。第二媒体处理机用于将二次处理后的媒体流发送至第二会议终端。

在一种可能的实现方式中，当视频会议的类包括视频类，且第二会议终端的会议需求包括视频适配需求时，上述一个或多个第二类媒体处理机包括具备视频适配资源的媒体处理机。当视频会议的类包括视频类，且第二会议终端的会议需求包括视频适配需求和多画面呈现需求时，上述一个或多个第二类媒体处理机包括具备视频适配资源的媒体处理机以及具备多画面合成资源的媒体处理机，并且，第一子集中的媒体处理机包括具备视频适配资源的媒体处理机，第二子集中的媒体处理机包括具备多画面合成资源的媒体处理机。

在一种可能的实现方式中，当视频会议的类包括音频类，且第二会议终端的会议需求包括音频适配需求时，上述一个或多个第二类媒体处理机包括具备音频适配资源的媒体处理机。当视频会议的类包括音频类，且第二会议终端的会议需求包括音频适配需求和混音需求时，上述一个或多个第二类媒体处理机包括具备音频适配资源的媒体处理机以及具备混音资源的媒体处理机，并且，第一子集中的媒体处理机包括具备音频适配资源的媒体处理机，第二子集中的媒体处理机包括具备混音资源的媒体处理机。

在一种可能的实现方式中，当视频会议的类包括协作类，且第二会议终端的会议需求包括共享需求时，上述一个或多个媒体处理机包括具备共享资源的媒体处理机。当视频会议的类包括协作类，且第二会议终端的会议需求包括标注需求时，上述一个或多个第二类媒体处理机包括具备标注资源的媒体处理机。

在一种可能的实现方式中，上述媒体控制机还用于当视频会议的类发生变化或第二会议终端的会议需求发生变化时，根据变化后的视频会议的类或变化后的第二会议终端的会议需求，为接入请求重新分配一个或多个第二类媒体处理机，其中，重新分配的一个或多个第二类媒体处理机与之前分配的一个或多个第二类媒体处理机不同，或者，重新分配的一个或多个第二类媒体处理机包括之前分配的一个或多个第二类媒体处理机中的至少一个。

在一种可能的实现方式中，上述第一媒体处理机与上述第二媒体处理机是同一个媒体处理机，或者，上述第一媒体处理机与上述第二媒体处理机是不同的媒体处理机。

在一种可能的实现方式中，上述媒体控制机还用于配置有与上述一个或多个第二类媒体处理机之间的路由信息，那么，第一媒体处理机用于根据上述路由信息，将上述媒体流发送至一个或多个第二类媒体处理机。其中，当第一媒体处理机与第二媒体处理机是同一个媒体处理机时，上述路由信息包括第一媒体处理机以及上述一个或多个第二类媒体处理机之间的路由关系；当第一媒体处理机与第二媒体处理机不是同一个媒体处理机时，上述路由信息包括第一媒体处理机、第二媒体处理机以及上述一个或多个第二类媒体处理机之间的路由关系。

在一种可能的实现方式中，上述媒体控制机还用于当第一媒体处理机、第二媒体处理机或上述一个或多个第二类媒体处理机中的任意一个出现故障时，获取出现故障的媒体处理机上使用的媒体资源，根据出现故障的媒体处理机上使用的媒体资源，从M个媒体处理机中确定第三媒体处理机，第三媒体处理机用于代替出现故障的媒体处理机执行任务。

第三方面，本申请提供了一种计算设备系统，该计算设备系统包括处理器和存储器，存储器存储计算机指令，处理器执行计算机指令，以使计算设备系统执行前述第一方面或第一方面的任意一种可能的实现方式中的方法。

第四方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序代码，当计算机程序代码被计算设备系统执行时，计算设备系统执行前述第一方面或第一方面的任意一种可能的实现方式中的方法。

附图说明

图1是本申请提供的一种视频会议系统的结构示意图；

图2是本申请提供的一种视频会议控制系统的结构示意图；

图3是本申请提供的一种视频会议控制系统的部署方式示意图；

图4是本申请提供的一种处理视频会议中媒体流的方法的流程示意图；

图5是本申请提供的一种视频会议控制系统对媒体流的转发和处理的示意图；

图6是本申请提供的一种视频会议控制系统对媒体流的转发和处理的示意图；

图7是本申请提供的一种视频会议控制系统对媒体流的转发和处理的示意图；

图8是本申请提供的一种视频会议控制系统对媒体流的转发和处理的示意图；

图9是本申请提供的一种计算设备系统的结构示意图。

具体实施方式

下面将结合附图，对本申请提供的技术方案进行描述。

为了使本申请提供的技术方案更清晰，在具体描述本申请提供的技术方案之前，首先介绍本申请提供的技术方案适用的应用场景：视频会议。

视频会议是一种基于通信网络实现远程会议的方式，它支持远距离的终端设备之间进行实时的信息交流、资源共享以及协同工作，从而使得不同地方的用户能够随时随地的举行会议。因此，视频会议已经成为了当下的一种主流的会议方式。视频会议可以通过视频会议系统来实现。

请参见图1，图1是本申请提供的一种视频会议系统的结构示意图。如图1所示，视频会议系统包括会议终端100、传输信道200以及视频会议控制系统300，其中，会议终端100和视频会议控制系统300之间通过传输信道200连接。

会议终端100是指进行视频会议的终端设备，具体可以是分体式终端设备或者一体化终端设备。其中，分体式终端设备是由视频输入设备(例如摄像头)、视频输出设备、音频输入设备(例如麦克风)以及音频输出设备等多个设备组成的，一体化终端设备是指将视频输入设备、视频输出设备、音频输入设备以及音频输出设备等采用一体式设计的方式整合成的一个设备，例如，手机、便携电脑等。

可选的，会议终端100由用户直接操作，用于实时采集会场的图像信号、声音信号等，并对这些信号进行处理为可传输的媒体流，然后通过传输信道200传输至视频会议控制系统300。会议终端100还用于接收视频会议控制系统300通过传输信道200传输的媒体流，并对接收到的媒体流进行处理，以向用户展示其他会场的实时图像、声音等信息。

可选的，会议终端100还可以向视频会议控制系统300发送信令，例如，向视频会议控制系统300申请在会议中发言或申请会议的主控权。对应的，会议终端100也可以接收视频会议控制系统300发送的信令，以执行相应的操作，例如，视频会议控制系统300向某个会议终端发送共享屏幕的指令后，该会议终端将本地桌面共享给其他的会议终端。

传输信道200用于实现会议终端100与视频会议控制系统300之间的通信连接，可选的，传输信道200可以是光纤、电缆、微波或卫星等，本申请不作具体限定。

视频会议控制系统300用于实现媒体流的转发和处理。具体地，视频会议控制系统300用于接收会议终端100通过传输信道200发送的媒体流，并对接收到的媒体流进行处理，然后转发给其他的会议终端，从而减轻会议终端100处理媒体流的负担，减小会议终端100转发以及处理媒体流时所占用的网络带宽，提高视频会议的效率和成本。可选的，视频会议控制系统300还用于接收会议终端100发送的信令，以及向会议终端100发送信令。

本申请实施例中，如图2所示，视频会议控制系统300包括媒体控制机310、信令处理机320和M个媒体处理机330，其中，M为大于1的正整数。媒体控制机310、信令处理机320、以及M个媒体处理机330中的每个媒体处理机330位于不同的设备(例如服务器)中、或者位于不同的容器中、或者位于不同的虚拟机中。但值得注意的是，视频会议控制系统300对外呈现为一个设备，例如，对于会议终端100来说，视频会议控制系统300是一个设备。

下面对视频会议控制系统300中的各个部分进行简要介绍：

媒体控制机310用于对接入会议的各个会议终端进行管理和控制，例如，同意某个会议终端接入会议的请求、控制与会者的发言顺序等。媒体控制机310还用于管理以及调度视频会议控制系统300中的媒体资源。

信令处理机320用于和会议终端100以及媒体控制机310进行信令协商，使得会议终端100可以接入会议。具体地，信令处理机320用于接收会议终端100发送的信令，并与媒体控制机310进行该信令的协商，从而为会议终端100分配待接入的媒体处理机，之后，向会议终端100返回上述待接入的媒体处理机的地址，使得会议终端100通过该地址接入会议。应理解，本申请实施例中，会议终端100接入会议包括会议终端100可以向其他的会议终端发送媒体流，以及接收其他会议终端发送的媒体流。

M个媒体处理机330用于接收会议终端100发送的媒体流，并将接收到的媒体流进行处理，以及将处理后的媒体流转发至其他的会议终端。其中，媒体流包括视频流和音频流，视频流用于传输会场的画面，音频流用于传输会场的声音。另外，考虑到在视频会议中还可以实现协作功能，协作功能包括共享功能和标注功能，共享功能是指：一个会议终端可以向接入会议的其他会议终端共享桌面(屏幕)、白板、程序(例如文档、音视频文件、桌面上显示的内容、或者正在运行的应用程序界面等)，标注功能是指：一个会议终端在获得其他会议终端共享的桌面(屏幕)、白板和程序时，还可以对其进行标注，从而实现多方的互动。因此，可选的，媒体流还包括协作流，协作流用于传输共享内容或标注内容。

也就是说，M个媒体处理机330对媒体流的收发包括对视频流、音频流、协作流中的至少一种进行收发，对媒体流的处理包括对视频流、音频流、协作流中的至少一种进行处理。更具体地，M个媒体处理机330对视频流的处理还可以进一步划分为视频流的适配处理和多画面合成处理，对音频流的处理还可以进一步划分为音频流的适配处理和混音处理，对协作流的处理还可以进一步划分为对传输共享内容的协作流进行处理、以及对传输标注内容的协作流进行处理。其中，视频流的适配处理包括对视频流的带宽、分辨率、码率、帧率、视频协议中的至少一种进行处理；多画面合成处理包括将多个会议终端发送的视频流组合成一路视频流；音频流的适配处理包括对音频流的带宽、采样率、音频协议中的至少一种进行处理；混音处理包括将多个会议终端发送的音频流组合成一路音频流；对传输共享内容的协作流进行处理包括对这一部分协作流的带宽、协议中的至少一种进行处理；同样的，对传输标注内容的协作流进行处理包括对这一部分协作流的带宽、协议中的至少一种进行处理。

应理解，媒体处理机330具备媒体资源时，才能完成对媒体流的转发和处理。本申请实施例中，M个媒体处理机330中的每个媒体处理机330具备以下一种或多种媒体资源：媒体收发资源、视频适配资源、多画面合成资源、音频适配资源、混音资源、共享资源、标注资源。其中，当媒体处理机330具备媒体收发资源时，该媒体处理机具备媒体流的收发功能，即，能够接收会议终端100或其他的媒体处理机发送的媒体流，还能够将接收到媒体流发送至其他的媒体处理机或其他的会议终端。当媒体处理机330具备视频适配资源时，该媒体处理机具备视频适配的功能，即，能够根据不同会议终端对视频适配的需求(例如，对视频协议、视频分辨率、视频码率、视频帧率、视频带宽等的需求)，将接收到的视频流处理为满足不同会议终端需求的视频流。当媒体处理机330具备多画面合成资源时，该媒体处理机具备多画面合成的功能，即，能够将多个会议终端发送的视频流组合成一路视频流，使得与会者可以同时看到多个会场的画面。当媒体处理机330具备音频适配资源时，该媒体处理机具备音频适配的功能，即，能够根据不同会议终端对音频适配的需求(例如，对音频协议、音频分辨率、音频采样率、音频带宽等的需求)，将接收到的音频流处理为满足不同会议终端需求的音频流。当媒体处理机330具备混音资源时，该媒体处理机具备混音的功能，即，能够将多个会议终端发送的音频流组合成一路音频流，使得一个与会者可以同时听到其他多个与会者的声音。当媒体处理机330具备共享资源时，该媒体处理机能够处理传输共享内容的协作流，使得视频会议可以实现共享功能。当媒体处理机330具备标注资源时，该媒体处理机能够处理传输标注内容的协作流，使得视频会议可以实现标注功能。

考虑到不同类的视频会议，或者会议终端100的不同会议需求对媒体资源的使用情况可能不同。例如，当视频会议的类为音频类，即与会者只能听到彼此的声音却看不到彼此的画面时，视频会议中的媒体流为音频流，那么，所使用的媒体资源可以包括音频适配资源和混音资源中的至少一种；当视频会议的类为视频类，即与会者只能看不到彼此的画面却听到彼此的声音时，视频会议中的媒体流为视频流，那么，所使用的媒体资源可以包括视频适配资源和多画面合成资源中的至少一种。又例如，当会议终端100的会议需求为视频适配需求时，所使用的媒体资源为视频适配资源；当会议终端100的会议需求为视频适配需求和多画面呈现时，所使用的媒体资源为视频适配资源和多画面合成资源。因此，本申请实施例提出：M个媒体处理机330中包括具备一种媒体资源的媒体处理机，也包括具备多种媒体资源的媒体处理机，并且，不同的媒体处理机具备的媒体资源可以相同，也可以不同。例如，M个媒体处理机330中包括一个或多个仅具备媒体收发资源的媒体处理机、一个或多个仅具备视频适配资源的媒体处理机、一个或多个仅具备音频适配资源的媒体处理机、一个或多个同时具备视频适配资源和多画面合成资源的媒体处理机、一个或多个同时具备音频适配资源和混音资源的媒体处理机、一个或多个同时具备共享资源和标注资源的媒体处理机、一个或多个同时具备媒体收发资源、视频适配资源和多画面合成资源的媒体处理机、一个或多个同时具备媒体收发资源、视频适配资源、音频适配资源以及混音资源的媒体处理机等。如此，M个媒体处理机330能够满足不同类的视频会议，以及不同的会议需求，并根据视频会议的类和会议终端100的会议需求从M个媒体处理机330中选取一个或多个媒体处理机来转发和处理视频会议中的媒体流，从而减少媒体资源的浪费，提高媒体资源的利用率。

另外，考虑到实际应用中，相较于媒体流的收发，媒体流(包括视频流、音频流和协作流)的处理(尤其是对媒体流的编码、解码处理)所耗费的媒体资源较多，因此，M个媒体处理机330中可以包括更多数量的具备视频流适配资源的媒体处理机以及更多数量的具备音频流适配资源的媒体处理机。

总的来说，本申请实施例中的视频会议控制系统300可以理解为一个集群。该集群可以由多个部分组成，例如，由多个设备组成、或者由多个设备和多个虚拟机组成、又或者由多个设备、多个虚拟机以及多个容器组成。以图3为例，视频会议控制系统300包括9个媒体处理机，其中，媒体控制机310部署在服务器S1上，信令处理机320部署在服务器S2上，9个媒体处理机330分别部署在9个虚拟机上，即虚拟机VM1至虚拟机VM9。但是，该集群对外呈现为一个设备，该计算机集群中的各个部分协同实现视频会议控制系统300的功能，此时也就涉及到这样一个问题：视频会议控制系统300中的各个部分之间如何协同实现视频会议控制系统300的功能呢？

为此，本申请还提供了一种处理视频会议中媒体流的方法，该方法由上述视频会议控制系统300执行。当视频会议控制系统300执行该方法时，可以实现对视频会议中的媒体流的处理，从而实现不同会议终端之间的视频会议。下面以第一会议终端和第二会议终端举行的视频会议为例，对上述方法进行介绍。

在介绍之前需要说明的是，为了更加清楚的说明本申请提供的媒体流的处理方法，将M个媒体处理机分为2类媒体处理机，即具备媒体收发资源的第一类媒体处理机，以及具备以下一种或多种媒体资源：视频适配资源、多画面合成资源、音频适配资源、混音资源、共享资源、标注资源的第二类媒体处理机。应理解，M个媒体处理机中可以包括既属于第一类媒体处理机，也属于第二类媒体处理机的媒体处理机，也可以包括只属于第一类媒体处理机的媒体处理机，还可以包括只属于第二类媒体处理机的媒体处理机，本申请不作限定。

请参见图4，图4示出了本申请提供的一种处理视频会议中媒体流的方法的流程示意图。如图4所示，该方法包括但不限于如下步骤：

S101：信令处理机320接收第一会议终端发送的接入请求，并将该接入请求转发至媒体控制机310。

其中，接入请求包括第一会议终端的互联网协议(internet protocol,IP)地址和第一会议终端的接入能力信息，第一会议终端的接入能力信息包括但不限于以下一个或多个：第一会议终端接入带宽，第一会议终端支持的视频协议、视频带宽、视频分辨率、视频帧率以及视频码率，第一会议终端支持的音频协议、音频带宽、音频采用率，第一会议终端支持的协作流协议、协作流带宽。

S102：媒体控制机310根据上述接入请求，从M个媒体处理机中确定第一媒体处理机。

其中，第一媒体处理机属于第一类媒体处理机，具备媒体收发资源，且第一媒体处理机具备的媒体收发资源满足第一会议终端的接入带宽。

具体地，媒体控制即310根据上述接入请求，从M个媒体处理机中确定第一媒体处理机时，可以依据第一规则。关于上述第一规则需要说明的是，考虑到实际应用中媒体处理机330可以具备一种或多种媒体资源，即具备媒体收发资源的媒体处理机可以仅具备媒体收发资源，也可以具备其他的媒体资源，因此针对不同的情况，第一规则应发生相应的变化。

当具备媒体收发资源的媒体处理机不具备其他的媒体资源时，第一规则包括以下一个或多个：(1)选择的媒体处理机的剩余带宽大于第一会议终端的接入带宽；(2)在满足规则(1)的基础上，优先选择距离第一会议终端近、且剩余带宽多的媒体处理机。

当具备媒体收发资源的媒体处理机还具备其他的媒体资源(例如，视频适配资源、多画面合成资源、音频适配资源、混音资源等)时，第一规则除了包括上述规则(1)和规则(2)，还可以包括：(3)选择的媒体处理机的剩余媒体资源大于所需的媒体资源，所需的媒体资源是指媒体处理机处理媒体流时所耗费的资源，例如，当具备媒体收发资源的媒体处理机还具备视频适配资源时，所需的媒体资源是指处理第一会议终端发送的视频流所耗费的资源。又例如，当具备媒体收发资源的媒体处理机还具备视频适配资源和音频适配资源时，所需的媒体资源是指处理第一会议终端发送的视频流以及音频流所耗费的资源。

S103：媒体控制机310根据第二会议终端的会议需求或视频会议的类，为上述接入请求分配一个或多个第二类媒体处理机。

其中，第一会议终端和第二会议终端处于上述视频会议中。第二会议终端通过第二媒体处理机接入该视频会议，第二媒体处理机属于第一类媒体处理机，具备媒体收发资源。可选的，第二媒体处理机还可以属于第二类媒体处理机，即第二媒体处理机除了具备媒体收发资源，还可以具备视频适配资源、多画面合成资源、音频适配资源、混音资源、共享资源、标注资源中的至少一种。可选的，第二媒体处理机与第一媒体处理机可以是同一个媒体处理机，也可以是不同的媒体处理机。应理解，第二会议终端通过第二媒体处理机接入视频会议的过程，与第一会议终端通过第一媒体处理机接入视频会议的过程类似，具体可参见上述S101，此处不再展开叙述。

本申请实施例中，第二会议终端的会议需求包括视频适配需求、多画面呈现需求、音频适配需求、混音需求、共享需求以及标注需求中的至少一个。其中，视频适配需求是指第二会议终端对接收到的视频流在以下一个或多个方面的需求：视频流采用的视频协议、视频流的带宽、视频流的分辨率、视频流的帧率、视频流的码率等。多画面呈现需求是指第二会议终端希望向与会者呈现多个画面的需求，即将第一会场的视频流与其他会场的视频流组合成一路视频流，其中，第一会场的视频流可以是第一会议终端发送的视频流，也可以是经过视频适配处理后的视频流。音频适配需求是指第二会议终端对接收到的音频流在以下一个或多个方面的需求：音频流采用的音频协议、音频流的带宽、音频流的采样率等。混音需求是指第二会议终端希望向与会者播放多个会场的声音，即将第一会场的音频流与其他会场的音频流混合成一路音频流，其中，第一会场的音频流可以是第一会议终端发送的音频流，也可以是经过音频适配处理后的音频流。共享需求或标注需求是指第一会议终端对接收到协作流在以下一个或多个方面的需求：协作流的带宽、协作流采用的协议等。

可选的，第二会议终端的会议需求可以是媒体控制机在第二会议终端请求接入视频会议时获得的。具体地，当第二会议终端想要接入视频会议时，第二会议终端向信令处理机发送接入请求，第二会议终端发送的接入请求包括第二会议终端的接入能力信息。与第一会议终端的接入能力信息类似的，第二会议终端的接入能力信息包括但不限于以下一个或多个：第二会议终端的接入带宽、第二会议终端支持的视频协议、视频带宽、视频分辨率、视频帧率以及视频码率，第二会议终端支持的音频协议、音频带宽、音频采用率，第二会议终端支持的协作流协议、协作流带宽。其中，第二会议终端的接入能力信息声明了第二会议终端的会议需求，例如，第二会议终端支持的视频协议声明了第二会议终端对接收到的视频流所采用的视频协议的需求，第二会议终端支持的音频流的带宽声明了第二会议终端对接收到的视频流的带宽的需求等。因此，媒体控制机可以根据信令处理机发送的第二会议终端的接入能力信息确定第二会议终端的需求。

可选的，第二会议终端的会议需求还可以是第二会议终端在视频会议举行过程中向信令处理机发送的，之后再由信令处理机转发至媒体控制机。例如，在视频会议举行的过程中，第二会议终端想要开启多画面模式，此时，第二会议终端向信令控制机发送多画面请求，信令控制机根据将多画面请求转发至媒体控制机，以便于媒体控制机获得该请求(即第二会议终端的多画面需求)。

本申请实施例中，视频会议的类包括视频类、音频类以及协作类中的至少一种。其中，视频类是指具有视频功能的会议，使得与会者可以看到彼此的画面，音频类是指具有音频功能会议，使得与会者可以发言者的声音，协作类是指具有协作功能的会议，例如，第一会议终端向第二会议终端共享了本地的文档，或者第一会议终端在白板上添加标注内容后，将标注的内容发送至第二会议终端。

可选的，媒体控制机可以通过以下方式获得视频会议的类：在创建视频会议时预先配置了视频会议的类。或者，在视频会议举行的过程中，第一会议终端或第二会议终端根据当前的场景需求配置视频会议的类，例如，第一会议终端想要将本地的文档共享给第二会议终端，则第一会议终端向信令处理机发送协作请求，信令处理机再将该请求转发至媒体控制机，以使得媒体控制机确定当前视频会议的类包括协作类。

在一具体的实施例中，媒体控制机310根据第二会议终端的会议需求或视频会议的类，为第一会议终端的接入请求分配一个或多个第二类媒体处理机，包括：媒体控制机310根据第二会议终端的会议需求或视频会议的类，确定处理第一会议终端发送的媒体流所需的媒体资源，处理后的媒体流满足第二会议终端的会议需求以及接入的视频会议的类。

更具体地，媒体控制机310根据第一会议终端的接入能力信息可以确定第一会议终端发送的视频流采用的视频协议、该视频流的带宽、该视频流的分辨率、该视频流的帧率、该视频流的码率，以及第一会议终端发送的音频流采用的音频协议、该音频流的带宽、该音频流的采用率，以及第一会议终端发送的协作流采用的协议、该协作流的带宽中的至少一个。那么，媒体控制机310将上述信息与第二会议终端的会议需求或视频会议的类进行匹配，确定需要对第一会议终端发送的媒体流(包括视频流、音频流、协作流)进行哪些处理，以及处理该媒体流所需的媒体资源，从而确定上述一个或多个第二类媒体处理机。

可选的，由于第一媒体处理机或第二媒体处理机可以既属于第一类媒体处理机，也可以属于第二类媒体处理机，因此，上述一个或多个第二类媒体处理机可以包括第一媒体处理机或第二媒体处理机。

应理解，M个媒体处理机中具备能够将上述媒体流处理为满足第二会议终端需求以及视频会议的类的媒体资源的媒体处理机可能有多个，在这种情况下，媒体控制机可以依据第二规则确定出上述一个或多个第二类媒体处理机。第二规则包括以下一个或多个：(1)选择出的媒体处理机的剩余媒体资源大于该媒体处理机对媒体流进行处理时所耗费的资源。(2)在满足规则(1)的基础上，优先选择距离第一媒体处理机近、且剩余媒体资源多的媒体处理机。

本申请实施例中，视频会议的类不同或者第二会议终端的会议需求不同，上述一个或多个第二类媒体处理机具备的媒体资源可能不同。例如，当视频会议的类包括视频类，且第二会议终端的会议需求包括视频适配需求时，上述一个或多个第二类媒体处理机包括具备视频适配资源的媒体处理机；当视频会议的类包括视频类，且第二会议终端的会议需求包括视频适配需求和多画面呈现需求时，上述一个或多个第二类媒体处理机包括具备视频适配资源的媒体处理机以及具备多画面合成资源的媒体处理机。又例如，当视频会议的类包括音频类，且第二会议终端的会议需求包括音频适配需求时，上述一个或多个第二类媒体处理机包括具备音频适配资源的媒体处理机；当视频会议的类包括音频类，且第二会议终端的会议需求包括音频适配需求和混音需求时，上述一个或多个第二类媒体处理机包括具备音频适配资源的媒体处理机以及具备混音资源的媒体处理机。又例如，当视频会议的类包括协作类，且第二会议终端的会议需求包括共享需求时，上述一个或多个媒体处理机包括具备共享资源的媒体处理机；当视频会议的类包括协作类，且第二会议终端的会议需求包括标注需求时，上述一个或多个第二类媒体处理机包括具备标注资源的媒体处理机。

在一具体的实施例中，当视频会议的类发生变化或第二会议终端的会议需求发生变化时，媒体控制机310根据变化后的视频会议的类或变化后的第二会议终端的会议需求，为第一会议终端的接入请求重新分配一个或多个第二类媒体处理机，其中，重新分配的一个或多个第二类媒体处理机与上述一个或多个第二类媒体处理机不同，或者，重新分配的一个或多个第二类媒体处理机包括上述一个或多个第二类媒体处理机中的至少一个。也就是说，上述一个或多个第二类媒体处理机中的至少一个媒体处理机可以被共享。

S104：第一媒体处理机接收第一会议终端发送的媒体流。

具体地，媒体控制机310从M个媒体处理机330中确定第一媒体处理机后，将第一媒体处理机的IP地址发送至信令处理机320。之后，再由信令处理机320将第一媒体处理机的IP地址发送至第一会议终端。那么，第一会议终端采集所在会场的声音信号、图像信号、协作信号中的至少一种，并将采集到的信号转换为可用于传输的媒体流之后，可以根据第一媒体处理机的IP地址，向第一媒体处理机发送上述媒体流。第一媒体处理机接收第一会议终端发送的媒体流。

可选的，媒体控制机310还将第一会议终端的IP地址发送至第一媒体处理机。如此，第一媒体处理机便可以向第一会议终端发送媒体流。

考虑到实际应用中，第二会议终端的会议需求或视频会议的类不同，上述一个或多个第二类媒体处理机对媒体流的处理可能具有先后顺序，例如，当视频会议的类包括视频类，第二会议终端的会议需求包括视频适配需求和多画面合成需求时，对视频流进行多画面合成之前，一般先对视频流进行视频适配处理；又例如，当视频会议的类包括音频类，第二会议终端的会议需求包括音频适配需求和混音需求时，对音频流进行混音之前，一般先对音频流进行音频适配处理。因此，在上述一个或多个第二类媒体处理机对媒体流的处理不具有先后顺序的情况下，例如，第二会议终端的会议需求不同时包括视频适配需求和多画面呈现需求、或者不同时包括音频适配需求和混音需求，执行S105-S107。在上述一个或多个第二类媒体处理机对媒体流的处理具有先后顺序的情况下，例如，第二会议终端的会议需求同时包括视频适配需求和多画面呈现需求，或者同时包括音频适配需求和混音需求的情况下，执行S108-S111。

S105：第一媒体处理机将上述媒体流发送至上述一个或多个第二类媒体处理机。

在一具体的实施例中，第一媒体处理机配置有与上述一个或多个第二类媒体处理机之间的路由信息(以下简称为第一路由信息)。那么，第一媒体处理机将上述媒体流发送至上述一个或多个第二类媒体处理机，包括：第一媒体处理机根据第一路由信息，将上述媒体流发送至上述一个或多个第二类媒体处理机。

可选的，第一路由信息可以是媒体控制机310下发至第一媒体处理机的，也可以是第一媒体处理机根据第一媒体处理机与上述一个或多个第二类媒体处理机之间的路由关系自行配置的。在一种可能的实现方式中，媒体控制机310根据第一媒体处理机与上述一个或多个第二类媒体处理机之间的路由关系，配置第一路由表，其中，第一路由表用于指示第一媒体处理机以及上述一个或多个第二类媒体处理机对媒体流进行转发，第一路由表包括第一路由信息。当第一媒体处理机与第二媒体处理机是同一个媒体处理机时，第一路由表包括第一媒体处理机以及上述一个或多个第二类媒体处理机之间的路由关系。当第一媒体处理机与第二媒体处理机不是同一个媒体处理机时，第一路由表包括第一媒体处理机、第二媒体处理机以及上述一个或多个第二类媒体处理机之间的路由关系。然后，媒体控制机310将第一路由信息下发至第一媒体处理机。如此，第一媒体处理机便可以得到第一路由信息。

S106：上述一个或多个第二类媒体处理机基于拥有的媒体资源对该媒体流进行处理，并将处理后的媒体流发送至第二媒体处理机。

在一具体的实施例中，上述一个或多个第二类媒体处理机配置有与第二媒体处理机之间的路由信息(以下简称为第二路由信息)。那么，上述一个或多个第二类媒体处理机将处理后的媒体流发送至第二媒体处理机，包括：上述一个或多个第二类媒体处理机根据第二路由信息，将处理后的媒体流发送至第二媒体处理机。

可选的，第二路由信息可以是媒体控制机310下发至上述一个或多个第二类媒体处理机的，即，第一路由表包括第二路由信息，媒体控制机310将第二路由信息发送至上述一个或多个第二类媒体处理机。可选的，第二路由信息也可以是上述一个或多个第二类媒体处理机根据自身与第二媒体处理机之间的路由关系自行配置的。

可选的，媒体控制机310还可以直接将第一路由表下发至第一媒体处理机以及上述一个或多个第二类媒体处理机，第一媒体处理机和上述一个或多个第二类媒体处理机根据第一路由表转发媒体流。

应理解，由前文可知，上述一个或多个第二类媒体处理机可以包括第一媒体处理机或第二媒体处理机。在这种情况下，在这种情况下，第一媒体处理机或第二媒体处理机可以基于拥有的媒体资源对媒体流进行相应的处理。例如，第一媒体处理机可以直接对媒体流进行处理，并将处理后的媒体流发送至第二媒体处理机，或者第一媒体处理机直接将媒体流发送至第二媒体处理机进行处理。

S107：第二媒体处理机将处理后的媒体流发送至第二会议终端。

如此，当第二会议终端接收到处理后的媒体流后，通过在本地播放上述处理后的媒体流，并可以获得第一会议终端所在会场的视频图像、声音、第一会议终端共享给第二会议终端的内容(例如，桌面、文档等)、第一会议终端发送给第二会议终端的标注内容中的至少一种，从而实现第一会议终端和第二会议终端之间的视频会议。

S108：第一媒体处理机将上述媒体流发送至上述一个或多个第二类媒体处理机的第一子集中的媒体处理机。

在一具体的实施例中，第一媒体处理机配置有与上述第一子集中的媒体处理机之间的路由信息(以下简称为第三路由信息)。那么，第一媒体处理机将上述媒体流发送至上述第一子集中的媒体处理机，包括：第一媒体处理机根据第三路由信息，将上述媒体流发送至上述第一子集中的媒体处理机。

可选的，第三路由信息可以是媒体控制机310下发至第一媒体处理机的，也可以是第一媒体处理机根据第一媒体处理机与上述第一子集中的媒体处理机之间的路由关系自行配置的。在一种可能的实现方式中，媒体控制机310根据第一媒体处理机与上述一个或多个第二类媒体处理机之间的路由关系，配置第二路由表，其中，第二路由表用于指示第一媒体处理机以及上述一个或多个第二类媒体处理机对媒体流进行转发，第二路由表包括第三路由信息。当第一媒体处理机与第二媒体处理机是同一个媒体处理机时，第二路由表包括第一媒体处理机以及上述一个或多个第二类媒体处理机之间的路由关系。当第一媒体处理机与第二媒体处理机不是同一个媒体处理机时，第二路由表包括第一媒体处理机、第二媒体处理机以及上述一个或多个第二类媒体处理机之间的路由关系。然后，媒体控制机310将第三路由信息下发至第一媒体处理机。如此，第一媒体处理机便可以得到第三路由信息。

S109：第一子集中的媒体处理机基于拥有的媒体资源对上述媒体流进行处理，并将处理后的媒体流发送至上述一个或多个第二类媒体处理机的第二子集中的媒体处理机。

在一具体的实施例中，上述第一子集中的媒体处理机配置有与第二子集中的媒体处理机之间的路由信息(以下简称为第四路由信息)。那么，上述第一子集中的媒体处理机将处理后的媒体流发送至上述第二子集中的媒体处理机，包括：上述第一子集中的媒体处理机根据第四路由信息，将处理后的媒体流发送至上述第二子集中的媒体处理机。

可选的，第四路由信息可以是媒体控制机310下发至上述第一子集中的媒体处理机的，即，第二路由表包括第四路由信息，媒体控制机310将第四路由信息发送至上述第一子集中的媒体处理机。可选的，第四路由信息也可以是上述第一子集中的媒体处理机根据自身与上述第二子集中的媒体处理机之间的路由关系自行配置的。

S110：第二子集中的媒体处理机基于拥有的媒体资源对上述处理后的媒体流进行二次处理，并将二次处理后的媒体流发送至第二媒体处理机。

在一具体的实施例中，上述第二子集中的媒体处理机配置有与第二媒体处理机之间的路由信息(以下简称为第五路由信息)。那么，上述第二子集中的媒体处理机将二次处理后的媒体流发送至第二媒体处理机，包括：上述第二子集中的媒体处理机根据第五路由信息，将二次处理后的媒体流发送至第二媒体处理机。

可选的，第五路由信息可以是媒体控制机310下发至上述第二子集中的媒体处理机的，即，第二路由表包括第五路由信息，媒体控制机310将第五路由信息发送至上述第二子集中的媒体处理机。可选的，第五路由信息也可以是上述第二子集中的媒体处理机根据自身与第二媒体处理机之间的路由关系自行配置的。

可选的，媒体控制机310还可以直接将第一路由表下发至第一媒体处理机以及上述一个或多个第二类媒体处理机，第一媒体处理机和上述一个或多个第二类媒体处理机根据第一路由表转发媒体流。

可选的，当视频会议的类包括视频类，且第二会议终端的会议需求包括视频适配需求和多画面呈现需求时，上述一个或多个第二类媒体处理机包括具备视频适配资源的媒体处理机以及具备多画面合成资源的媒体处理机，并且，第一子集中的媒体处理机包括具备视频适配资源的媒体处理机，第二子集中的媒体处理机包括具备多画面合成资源的媒体处理机。

可选的，当视频会议的类包括音频类，且第二会议终端的会议需求包括音频适配需求和混音需求时，上述一个或多个第二类媒体处理机包括具备音频适配资源的媒体处理机以及具备混音资源的媒体处理机，并且，第一子集中的媒体处理机包括具备音频适配资源的媒体处理机，第二子集中的媒体处理机包括具备混音资源的媒体处理机。

应理解，由前文可知，上述一个或多个第二类媒体处理机可以包括第一媒体处理机或第二媒体处理机。在这种情况下，第一媒体处理机或第二媒体处理机可以基于拥有的媒体资源对媒体流进行相应的处理。并且，在处理完成后，可以转发至其他的第二类媒体处理机进行处理。例如，第一媒体处理机可以直接对媒体流进行处理，并将处理后的媒体流发送至第二子集中的媒体处理机。

S111：第二媒体处理机将上述二次处理后的媒体流发送至第二会议终端。

如此，当第二会议终端接收到处理后的媒体流后，通过在本地播放上述处理后的媒体流，并可以获得第一会议终端所在会场的视频图像、声音、第一会议终端共享给第二会议终端的内容(例如，桌面、文档等)、第一会议终端发送给第二会议终端的标注内容中的至少一种，从而实现第一会议终端和第二会议终端之间的视频会议。

为了更加清楚的了解上述S101-S111，下面通过几个具体的例子进行说明：

示例1、假设，第一会议终端和第二会议终端接入的视频会议的类为视频类，第一媒体处理机和第二媒体处理机不同。并且，第二会议终端的会议需求包括视频适配需求(具体为视频协议)和多画面呈现需求，第一会议终端发送的视频流采用的视频协议(以下称为第一视频协议)与第二会议终端支持的视频协议(以下称为第二视频协议)不同，且第一会议终端发送的视频流的分辨率不满足多画面中每个子画面对应的分辨率。

那么，媒体控制机310分配的一个或多个第二类媒体处理机包括：媒体处理机A和媒体处理机B，其中，媒体处理机A具备视频适配资源，媒体处理机B具备多画面合成资源。媒体控制机310配置的第一路由表指示的转发路径包括：第一媒体处理机→媒体处理机A→媒体处理机B→第二媒体处理机。视频会议控制系统300通过以下方式完成对第一会议终端发送的媒体流的转发和处理，如图5所示：

首先，第一媒体处理机根据第一路由表将媒体流(具体为视频流)发送至媒体处理机A，然后，媒体处理机A基于第一视频协议对视频流进行解码，对解码后的视频流进行缩放处理，以满足子画面对应的视频分辨率，然后基于第二视频协议将缩放后的视频流进行编码，根据第一路由表将编码后的视频流发送至媒体处理机B。然后，媒体处理机B对接收到的视频流进行多画面合成处理，并根据第一路由表将多画面合成后的视频流发送至第二媒体处理机。然后，第二媒体处理机将多画面合成后的视频流发送至第二会议终端。

示例2、假设，第一会议终端和第二会议终端接入的视频会议的类为音频类，第一媒体处理机和第二媒体处理机不同。并且，第二会议终端的会议需求包括音频适配需求(具体为音频协议)和混音需求，第一会议终端发送的音频流采用的音频协议(以下称为第一音频协议)与第二会议终端支持的音频协议(以下称为第二音频协议)不同。

那么，媒体控制机310分配的一个或多个第二类媒体处理机包括：媒体处理机C，其中，媒体处理机C具备音频适配资源以及混音资源。媒体控制机310配置的第一路由表指示的转发路径包括：第一媒体处理机→媒体处理机C→第二媒体处理机。视频会议控制系统300通过以下方式完成对第一会议终端发送的媒体流的转发和处理，如图6所示：

首先，第一媒体处理机根据第一路由表将媒体流(具体为音频流)发送至媒体处理机C，然后，媒体处理机C基于第一音频协议对音频流进行解码，并将解码后的音频流与其他的音频流进行混音处理，然后基于第二音频协议对混音处理后的音频流进行编码，根据第一路由表将编码后的视频流发送至第二媒体处理机。然后，第二媒体处理机将接收到的音频流转发至第二会议终端。

示例3、假设，第一会议终端和第二会议终端接入的视频会议的类为音视频类，第一媒体处理机和第二媒体处理机相同。并且，第二会议终端的会议需求包括音频适配需求(具体为音频协议)、混音需求、视频适配需求(具体为视频协议)、多画面呈现需求，第一音频协议与第二音频协议不同、第一视频协议与第二视频协议不同，且第一会议终端发送的视频流的分辨率满足多画面中每个子画面对应的分辨率。

那么，媒体控制机310分配的一个或多个第二类媒体处理机包括：媒体处理机D、媒体处理机B以及媒体处理机C，其中，媒体处理机D具备视频适配资源。媒体控制机310配置的第一路由表指示的转发路径包括：第一媒体处理机→媒体处理机D→媒体处理机B→第一媒体处理机，第一媒体处理机→媒体处理机C→第一媒体处理机。视频会议控制系统300通过以下方式完成对第一会议终端发送的媒体流的转发和处理，如图7所示：

第一媒体处理机根据第一路由表将媒体流(具体为视频流)发送至媒体处理机D，然后，媒体处理机D基于第一视频协议对视频流进行解码，然后基于第二视频协议将解码后的视频流进行编码，根据第一路由表将编码后的视频流发送至媒体处理机B。然后，媒体处理机B对接收到的视频流进行多画面合成处理，并根据第一路由表将多画面合成后的视频流发送至第一媒体处理机。然后，第一媒体处理机将多画面合成后的视频流发送至第二会议终端。

第一媒体处理机还根据第一路由表将媒体流(具体为频流)发送至媒体处理机C，然后，媒体处理机C基于第一音频协议对音频流进行解码，并将解码后的音频流与其他的音频流进行混音处理，然后基于第二音频协议对混音处理后的音频流进行编码，根据第一路由表将编码后的视频流发送至第一媒体处理机。然后，第一媒体处理机将接收到的音频流转发至第二会议终端。

示例4、以示例3中的场景为例，媒体控制机310分配的一个或多个第二类媒体处理机还可以包括：第一媒体处理机、媒体处理机B以及媒体处理机C，其中，相较于示例3中的第一媒体处理机，此处的第一媒体处理机还具备视频适配资源。媒体控制机310配置的第一路由表指示的转发路径包括：第一媒体处理机→媒体处理机B→第一媒体处理机，第一媒体处理机→媒体处理机C→第一媒体处理机。视频会议控制系统300通过以下方式完成对第一会议终端发送的媒体流的转发和处理，如图8所示：

第一媒体处理机基于第一视频协议对第一会议终端发送的媒体流(具体为视频流)进行解码，然后基于第二视频协议将解码后的视频流进行编码，根据第一路由表将编码后的视频流发送至媒体处理机B。然后，媒体处理机B对接收到的视频流进行多画面合成处理，并根据第一路由表将多画面合成后的视频流发送至第一媒体处理机。然后，第一媒体处理机将多画面合成后的视频流发送至第二会议终端。

第一媒体处理机还根据第一路由表将媒体流(具体为音频流)发送至媒体处理机C，然后，媒体处理机C基于第一音频协议对音频流进行解码，并将解码后的音频流与其他的音频流进行混音处理，然后基于第二音频协议对混音处理后的音频流进行编码，根据第一路由表将编码后的视频流发送至第一媒体处理机。然后，第一媒体处理机将接收到的音频流转发至第二会议终端。

应理解，上述示例1至示例4仅仅作为举例，在实际应用中，第一会议终端和第二会议终端接入的视频会议的类还可以包括协作类，第二会议终端的会议需求还包括共享需求、标注需求、对接收到的视频流的带宽、帧率等的需求，上述一个或多个第二类媒体处理机也可能不同，例如，上述一个或多个第二类媒体处理机包括第二媒体处理机，因此针对不同的场景，视频会议控制系统300对媒体流的处理过程不同，但是，处理思路与上述示例的思路类似，为了简便，本申请不再展开叙述。

本申请实施例中，上述S103-S111描述的是：在第一会议终端发送的媒体流不满足第二会议终端的会议需求或接入的视频会议的类的情况下，视频会议控制系统300对该媒体流的转发和处理的过程。应理解，在实际应用中，还存在：第一会议终端发送的媒体流满足第二会议终端的会议需求以及接入的视频会议的类，在这种情况下，视频会议控制系统300可以通过以下方式完成对媒体流的转发和处理：

方式1、当第一媒体处理机和第二媒体处理机不是同一个媒体处理机时，媒体控制机310配置第一媒体处理机和第二媒体处理机之间的路由关系，得到第三路由表，并将第三路由表下发给第一媒体处理机。之后，第一媒体处理机根据第三路由表将第一会议终端发送的媒体流发送至第二媒体处理机，第二媒体处理机接收上述媒体流，并将上述媒体流转发至第二会议终端。

方式2、当第一媒体处理机和第二媒体处理机是同一个媒体处理机时，第一媒体处理机直接将第一会议终端发送的媒体流转发至第二会议终端。

本申请实施例中，通过将视频会议控制系统300设置为多机的形态，即视频会议控制系统300由媒体控制机310、信令处理机320、M个媒体处理机330构成，并且媒体控制机310、信令处理机320、以及M个媒体处理机330中的每个媒体处理机330位于不同的设备(例如服务器)中、或者位于不同的容器中、或者位于不同的虚拟机中。这使得视频会议控制系统300的容量相当于多个设备的容量之和，相较于单台MCU，本申请提供的视频会议控制系统300具有大容量。而且，通过上述方法实施例可以看出，当视频会议控制系统300中的各个功能模块的部署方式灵活时，媒体控制机310可以第二会议终端的会议需求以及视频会议的类，灵活地为第一会议终端的接入请求分配对应的第二类媒体处理机，也就是说，媒体控制310可以根据所需的媒体资源来分配相应的媒体处理机，从而提高视频会议控制系统300的媒体资源利用率。

另外，正是由于上述视频会议控制系统300设置为上述多机的形态，当第一媒体处理机、第二媒体处理机或者上述一个或多个第二类媒体处理机中的任意一个出现故障时，媒体控制机310还可以执行以下步骤：获取出现故障的媒体处理机上使用的媒体资源，根据出现故障的媒体处理机上使用的媒体资源，从M个媒体处理机中确定第三媒体处理机，第三媒体处理机用于代替出现故障的媒体处理机执行任务。如此，当第一媒体处理机、第二媒体处理机或者上述一个或多个第二类媒体处理机出现故障时，视频会议控制系统300仍然可以实现第一会议终端与第二会议终端之间的视频会议，从而提高视频会议控制系统300的可靠性。

在一具体的实施例中，当第一媒体处理机出现故障时，媒体控制机310获取出现第一媒体处理机上使用的媒体资源，然后根据第一媒体处理机上使用的媒体资源确定第三媒体处理机，其中，第三媒体处理机剩余的媒体资源大于上述第一媒体处理机上使用的媒体资源，这样，第三媒体处理机就可以代替上述第一媒体处理机执行任务。媒体控制机310确定第三媒体处理机后，更新已配置的路由表(包括第一路由表或第二路由表)，并将更新后的路由表发送至第三媒体处理机。媒体控制机310还向信令处理机320以及上述一个或多个第二类媒体处理机发送地址更新消息，地址更新消息携带了第三媒体处理机的IP地址。信令处理机320接收到地址更新消息后，将第三媒体处理机的IP地址发送给第一会议终端，第一会议终端根据第三媒体处理机的IP地址接入第三媒体处理机。上述一个或多个第二类媒体处理机接收到地址更新消息后，更新本地存储的路由表，以使得视频会议控制系统300可以根据更新后的路由表对第一会议终端发送的媒体流进行转发和处理。

应理解，当第二媒体处理机出现故障时，媒体控制机310执行的步骤与上述第一媒体处理机出现故障时执行的步骤类似，为了简便，此处不再叙述。

在另一具体的实施例中，当上述一个或多个第二类媒体处理机中的任意一个媒体处理机出现故障时，媒体控制机310获取出现故障的媒体处理机上使用的媒体资源，然后根据该媒体处理机上使用的媒体资源确定第三媒体处理机，其中，第三媒体处理机剩余的媒体资源大于此处出现故障的媒体处理机上使用的媒体资源，这样，第三媒体处理机就可以代替上述出现故障的媒体处理机执行任务。媒体控制机310确定第三媒体处理机后，更新已配置的路由表(包括第一路由表或第二路由表)，并将更新后的路由表发送至第三媒体处理机。媒体控制机310还向第一媒体处理机以及上述一个或多个第二类媒体处理机中未出现故障的媒体处理机发送地址更新消息，地址更新消息携带了第三媒体处理机的IP地址。第一媒体处理机以及上述一个或多个第二类媒体处理机中未出现故障的媒体处理机接收到地址更新消息后，更新本地存储的第一路由表，以使得视频会议控制系统300可以根据更新后的路由表对第一会议终端发送的媒体流进行转发和处理。

本申请还提供了一种视频会议控制系统，如前述图2所示，本申请提供的视频会议控制系统可以包括媒体控制机310、信令处理机320以及M个媒体处理机330。其中，视频会议控制系统300用于执行前述S101-S111、方式1、方式2、以及当第一媒体处理机、第二媒体处理机或者上述一个或多个第二类媒体处理机中的任意一个出现故障时，视频会议控制系统300执行的步骤。具体地，媒体控制机310用于执行S102、S103、S105中配置第一路由表、S108中配置第二路由表的步骤、方式1中媒体控制机310执行的步骤、以及当第一媒体处理机、第二媒体处理机或者上述一个或多个第二类媒体处理机中的任意一个出现故障时媒体控制机310执行的步骤；信令处理机320用于执行S101，以及当第一媒体处理机或第二媒体处理机出现故障时，信令处理机320执行的步骤；M个媒体处理机330中的第一媒体处理机用于执行S104、S105、S108，以及方式1、方式2中第一媒体处理机执行的步骤，以及当第二媒体处理机或上述一个或多个第二类媒体处理机中的任意一个出现故障时第一媒体处理机执行的步骤；M个媒体处理机330中的第二媒体处理机用于执行S107、S111，以及方式1、方式2中第二媒体处理机执行的步骤，以及当第一媒体处理机或上述一个或多个第二类媒体处理机中的任意一个出现故障时第二媒体处理机执行的步骤；M个媒体处理机330中的一个或多个第二类媒体处理机用于执行S108、S111，以及当第一媒体处理机或第二媒体处理机出现故障时上述一个或多个第二类媒体处理机执行的步骤。

本申请还提供了一种计算设备系统。由前文可知，视频会议控制系统300中的媒体控制机310、信令处理机320以及M个媒体处理机330中的每个媒体处理机330可以位于不同的容器中、或者位于不同的虚拟机中。因此，视频会议控制系统300可以部署在该计算设备系统。请参见图9，图9示出了部署有视频会议控制系统300的计算设备系统的结构示意图。其中，计算设备系统400包括多个计算设备500，计算设备系统400中的多个计算设备500可以通过内部处理器执行计算机指令协同地实现视频会议控制系统300的功能。

如图9所示，每个计算设备500包括存储器510、处理器520、通信接口530以及总线540。其中，存储器510、处理器520、通信接口530通过总线540实现彼此之间的通信连接。

存储器510可以是只读存储器(read only memory,ROM)，静态存储设备、动态存储设备或者随机存取存储器(random access memory,RAM)。存储器510可以存储程序，例如，媒体控制机310中的程序、信令处理机320中的程序、M个媒体处理机330中的程序等。当存储器510中存储的程序被处理器520执行时，处理器520和通信接口530用于执行前述S101-S111、方式1、方式2、以及当第一媒体处理机、第二媒体处理机或者上述一个或多个第二类媒体处理机中的任意一个出现故障时，视频会议控制系统300执行的全部或部分步骤。存储器510还可以存储处理器520在执行过程中产生的中间数据或结果数据，例如，第一会议终端的IP地址、第一会议终端的接入能力信息、第二会议终端的会议需求等。

处理器520可以采用通用的中央处理器(central processing unit,CPU)，微处理器，专用集成电路(application specific integrated circuit,ASIC)，图形处理器(graphics processing unit,GPU)或者一个或多个集成电路。

处理器520还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述调度装置400的部分或全部功能可用通过处理器520中的硬件的集成逻辑电路或者软件形式的指令完成。处理器520还可以是通用处理器、数据信号处理器(digital signalprocess,DSP)、现场可编程逻辑门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件，分立门或者晶体管逻辑器件，分立硬件组件，以实现或者执行本申请实施例中公开的方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器510，处理器520读取存储器510中的信息，结合其硬件完成上述视频会议控制系统300的部分或全部功能。

通信接口530使用例如但不限于收发器一类的收发模块，来实现计算设备500与其他设备或通信网络之间的通信。

总线540可包括在计算设备500各个部件(例如，存储器510、处理器520、通信接口530)之间传送信息的通路。

上述每个计算设备500间通过通信网络建立通信通路。每个计算设备500上运行视频会议控制系统300中的一部分(例如：媒体控制机310、信令处理机320、M个媒体处理机330)。任一计算设备500可以为云数据中心中的服务器，或边缘数据中心中的计算设备，或终端计算设备。

上述各个附图对应的流程的描述各有侧重，某个流程中没有详细描述的部分，可以参见其他流程的相关描述。

在上述实施例中，可以全部或部分地通过软件、硬件或者其组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。提供模型训练系统的计算机程序产品包括一个或多个由模型训练系统执行的计算指令，在计算机上加载和执行这些计算机程序指令时，全部或部分地产生按照本申请实施例图所述的流程或功能。

上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如，同轴电缆、光纤、双绞线或无线(例如，红外、无线、微波)等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质存储有提供模型训练系统的计算机程序指令。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，光盘)、或者半导体介质(例如，固态硬盘(solid state disk,SSD))。

Claims (24)

1.一种处理视频会议中媒体流的方法，其特征在于，视频会议控制系统包括M个媒体处理机，其中，所述M为大于1的正整数，所述M个媒体处理机中不同的媒体处理机位于不同的设备中、或者位于不同的容器中、或者位于不同的虚拟机中，所述M个媒体处理机包括2类媒体处理机：具备媒体收发资源的第一类媒体处理机，以及具备以下一种或多种媒体资源：视频适配资源、多画面合成资源、音频适配资源、混音资源、共享资源、标注资源的第二类媒体处理机，所述方法包括：

第一媒体处理机接收第一会议终端发送的媒体流，所述第一媒体处理机属于所述第一类媒体处理机；

所述第一媒体处理机将所述媒体流发送至一个或多个所述第二类媒体处理机；

所述一个或多个第二类媒体处理机基于拥有的媒体资源对所述媒体流进行处理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述一个或多个第二类媒体处理机返回处理后的所述媒体流至第二媒体处理机，所述第二媒体处理机属于所述第一类媒体处理机。

3.根据权利要求2所述的方法，其特征在于，第二会议终端通过第二媒体处理机接入所述视频会议，所述方法还包括：

所述第二媒体处理机将所述处理后的所述媒体流发送至所述第二会议终端。

4.根据权利要求1所述的方法，其特征在于，所述视频会议控制系统还包括信令处理机和媒体控制机，所述第一媒体处理机接收第一会议终端发送的媒体流之前，所述方法还包括：

所述信令处理机接收所述第一会议终端的接入请求，并将所述接入请求转发至所述媒体控制机，其中，所述接入请求包括所述第一会议终端的接入能力信息，所述接入能力信息用于表征所述第一会议终端具备的会议接入能力，所述接入能力信息包括所述第一会议终端的接入带宽；

所述媒体控制机根据所述接入请求确定所述第一媒体处理机，所述第一媒体处理机具备的所述媒体收发资源满足所述第一会议终端的接入带宽；

所述媒体控制机根据第二会议终端的会议需求或视频会议的类，为所述接入请求分配所述一个或多个第二类媒体处理机，其中，所述第二会议终端和所述第一会议终端处于所述视频会议中。

5.根据权利要求4所述的方法，其特征在于，所述第二会议终端通过第二媒体处理机接入所述视频会议，所述第二媒体处理机属于所述第一类媒体处理机，所述第一媒体处理机将所述媒体流发送至一个或多个所述第二类媒体处理机，包括：

所述第一媒体处理机将所述媒体流发送至所述一个或多个第二类媒体处理机的第一子集中的媒体处理机；

所述第一子集中的媒体处理机对所述媒体流进行处理，并将处理后的媒体流发送至所述一个或多个第二类媒体处理机的第二子集中的媒体处理机；

所述第二子集中的媒体处理机对所述处理后的媒体流进行二次处理，并将二次处理后的媒体流发送至所述第二媒体处理机；

所述方法还包括：

所述第二媒体处理机将所述二次处理后的媒体流发送至所述第二会议终端。

6.根据权利要求5所述的方法，其特征在于，

当所述视频会议的类包括视频类，且所述第二会议终端的会议需求包括视频适配需求时，所述一个或多个第二类媒体处理机包括具备所述视频适配资源的媒体处理机；

当所述视频会议的类包括所述视频类，且所述第二会议终端的会议需求包括所述视频适配需求和多画面呈现需求时，所述一个或多个第二类媒体处理机包括具备所述视频适配资源的媒体处理机以及具备所述多画面合成资源的媒体处理机，并且，所述第一子集中的媒体处理机包括具备所述视频适配资源的媒体处理机，第二子集中的媒体处理机包括具备所述多画面合成资源的媒体处理机。

7.根据权利要求5所述的方法，其特征在于，

当所述视频会议的类包括音频类，且所述第二会议终端的会议需求包括音频适配需求时，所述一个或多个第二类媒体处理机包括具备所述音频适配资源的媒体处理机；

当所述视频会议的类包括所述音频类，且所述第二会议终端的会议需求包括所述音频适配需求和混音需求时，所述一个或多个第二类媒体处理机包括具备所述音频适配资源的媒体处理机以及具备所述混音资源的媒体处理机，并且，所述第一子集中的媒体处理机包括具备所述音频适配资源的媒体处理机，第二子集中的媒体处理机包括具备所述混音资源的媒体处理机。

8.根据权利要求5所述的方法，其特征在于，

当所述视频会议的类包括协作类，且所述第二会议终端的会议需求包括共享需求时，所述一个或多个媒体处理机包括具备所述共享资源的媒体处理机；

当所述视频会议的类包括所述协作类，且所述第二会议终端的会议需求包括标注需求时，所述一个或多个第二类媒体处理机包括具备所述标注资源的媒体处理机。

9.根据权利要求2或5所述的方法，其特征在于，所述方法还包括：

当所述视频会议的类发生变化或所述第二会议终端的会议需求发生变化时，所述媒体控制机根据变化后的视频会议的类或变化后的第二会议终端的会议需求，为所述接入请求重新分配一个或多个第二类媒体处理机，其中，重新分配的一个或多个第二类媒体处理机与所述一个或多个第二类媒体处理机不同，或者，所述重新分配的一个或多个第二类媒体处理机包括所述一个或多个第二类媒体处理机中的至少一个。

10.根据权利要求1所述的方法，其特征在于，所述第一媒体处理机配置有与所述一个或多个第二类媒体处理机之间的路由信息，所述第一媒体处理机将所述媒体流发送至一个或多个第二类媒体处理机，包括：

所述第一媒体处理机根据所述路由信息，将所述媒体流发送至所述一个或多个第二类媒体处理机。

11.根据权利要求2或5所述的方法，其特征在于，所述方法还包括：

当所述第一媒体处理机、第二媒体处理机或所述一个或多个第二类媒体处理机中的任意一个出现故障时，所述媒体控制机获取出现故障的媒体处理机上使用的媒体资源；

所述媒体控制机根据所述出现故障的媒体处理机上使用的媒体资源，从所述M个媒体处理机中确定第三媒体处理机，所述第三媒体处理机用于代替所述出现故障的媒体处理机执行任务。

12.一种视频会议控制系统，其特征在于，所述系统包括M个媒体处理机，其中，所述M为大于1的正整数，所述M个媒体处理机包括第一媒体处理机，所述M个媒体处理机中不同的媒体处理机位于不同的设备中、或者位于不同的容器中、或者位于不同的虚拟机中，所述M个媒体处理机包括2类媒体处理机：具备媒体收发资源的第一类媒体处理机，以及具备以下一种或多种媒体资源：视频适配资源、多画面合成资源、音频适配资源、混音资源、共享资源、标注资源的第二类媒体处理机，

第一媒体处理机，用于接收第一会议终端发送的媒体流，将所述媒体流发送至一个或多个所述第二类媒体处理机，其中，所述第一媒体处理机属于所述第一类媒体处理机；

所述一个或多个第二类媒体处理机，用于基于拥有的媒体资源对所述媒体流进行处理。

13.根据权利要求12所述的系统，其特征在于，

所述一个或多个第二类媒体处理机，还用于返回处理后的所述媒体流至第二媒体处理机，所述第二媒体处理机属于所述第一类媒体处理机。

14.根据权利要求13所述的系统，其特征在于，第二会议终端通过所述第二媒体处理机接入所述视频会议，

所述第二媒体处理机，用于将所述处理后的所述媒体流发送至所述第二会议终端。

15.根据权利要求12所述的系统，其特征在于，所述系统还包括信令处理机和媒体控制机，

所述信令处理机，用于接收所述第一会议终端的接入请求，并将所述接入请求转发至所述媒体控制机，其中，所述接入请求包括所述第一会议终端的接入能力信息，所述接入能力信息用于表征所述第一会议终端具备的会议接入能力，所述接入能力信息包括所述第一会议终端的接入带宽；

所述媒体控制机，用于根据所述接入请求确定所述第一媒体处理机，所述第一媒体处理机具备的所述媒体收发资源满足所述第一会议终端的接入带宽，根据第二会议终端的会议需求或视频会议的类，为所述接入请求分配所述一个或多个第二类媒体处理机，其中，所述第二会议终端和所述第一会议终端处于所述视频会议中。

16.根据权利要求15所述的系统，其特征在于，所述第二会议终端通过第二媒体处理机接入所述视频会议，所述第二媒体处理机属于所述第一类媒体处理机，

所述第一媒体处理机，用于将所述媒体流发送至所述一个或多个第二类媒体处理机的第一子集中的媒体处理机；

所述第一子集中的媒体处理机，用于对所述媒体流进行处理，并将处理后的媒体流发送至所述一个或多个第二类媒体处理机的第二子集中的媒体处理机；

所述第二子集中的媒体处理机，用于对所述处理后的媒体流进行二次处理，并将二次处理后的媒体流发送至所述第二媒体处理机；

所述第二媒体处理机，用于将所述二次处理后的媒体流发送至所述第二会议终端。

17.根据权利要求16所述的系统，其特征在于，

当所述视频会议的类包括视频类，且所述第二会议终端的会议需求包括视频适配需求时，所述一个或多个第二类媒体处理机包括具备所述视频适配资源的媒体处理机；

当所述视频会议的类包括所述视频类，且所述第二会议终端的会议需求包括所述视频适配需求和多画面呈现需求时，所述一个或多个第二类媒体处理机包括具备所述视频适配资源的媒体处理机以及具备所述多画面合成资源的媒体处理机，并且，所述第一子集中的媒体处理机包括具备所述视频适配资源的媒体处理机，第二子集中的媒体处理机包括具备所述多画面合成资源的媒体处理机。

18.根据权利要求16所述的系统，其特征在于，

当所述视频会议的类包括音频类，且所述第二会议终端的会议需求包括音频适配需求时，所述一个或多个第二类媒体处理机包括具备所述音频适配资源的媒体处理机；

当所述视频会议的类包括所述音频类，且所述第二会议终端的会议需求包括所述音频适配需求和混音需求时，所述一个或多个第二类媒体处理机包括具备所述音频适配资源的媒体处理机以及具备所述混音资源的媒体处理机，并且，所述第一子集中的媒体处理机包括具备所述音频适配资源的媒体处理机，第二子集中的媒体处理机包括具备所述混音资源的媒体处理机。

19.根据权利要求16所述的系统，其特征在于，

当所述视频会议的类包括协作类，且所述第二会议终端的会议需求包括共享需求时，所述一个或多个媒体处理机包括具备所述共享资源的媒体处理机；

当所述视频会议的类包括所述协作类，且所述第二会议终端的会议需求包括标注需求时，所述一个或多个第二类媒体处理机包括具备所述标注资源的媒体处理机。

20.根据权利要求13或16所述的系统，其特征在于，

所述媒体控制机，还用于当所述视频会议的类发生变化或所述第二会议终端的会议需求发生变化时，根据变化后的视频会议的类或变化后的第二会议终端的会议需求，为所述接入请求重新分配一个或多个第二类媒体处理机，其中，重新分配的一个或多个第二类媒体处理机与所述一个或多个第二类媒体处理机不同，或者，所述重新分配的一个或多个第二类媒体处理机包括所述一个或多个第二类媒体处理机中的至少一个。

21.根据权利要求12所述的系统，其特征在于，

所述第一媒体处理机，还用于配置有与所述一个或多个第二类媒体处理机之间的路由信息，并根据所述路由信息，将所述媒体流发送至所述一个或多个第二类媒体处理机。

22.根据权利要求13或16所述的系统，其特征在于，

所述媒体控制机，还用于当所述第一媒体处理机、第二媒体处理机或所述一个或多个第二类媒体处理机中的任意一个出现故障时，获取出现故障的媒体处理机上使用的媒体资源，根据所述出现故障的媒体处理机上使用的媒体资源，从所述M个媒体处理机中确定第三媒体处理机，所述第三媒体处理机用于代替所述出现故障的媒体处理机执行任务。

23.一种计算设备系统，其特征在于，所述计算设备系统包括处理器和存储器，所述存储器存储计算机指令，所述处理器执行所述计算机指令，以使所述计算设备系统执行前述权利要求1-11任一项权利要求所述的方法。

24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算设备系统执行时，所述计算设备系统执行前述权利要求1-11任一项权利要求所述的方法。

Images