CN114125359A - 一种可拓展分布式媒体处理方法及系统 - Google Patents

Abstract

本申请涉及一种可拓展分布式媒体处理方法及系统，可拓展分布式媒体处理方法包括当接收到会议终端发出的入会请求时，基于入会请求定位到对应的会议会场；向会议终端分配媒体通道，并判断会议会场输出的视频数是否达到预设的最大视频数；若会议会场输出的视频数达到预设的最大视频数，向该会议终端发送会议会场所输出视频的混像媒体流；若会议会场输出的视频数未达到预设的最大视频数，向该会议终端发出是否需要上传本地媒体流的选择标志；当接收到会议终端需上传本地媒体流的选择信息时，采集该会议终端的本地媒体流分发至会议会场所有的会议终端。本申请具有降低服务运营商的运营成本的效果。

Description

一种可拓展分布式媒体处理方法及系统

技术领域

本申请涉及云视频会议的技术领域，尤其是涉及一种可拓展分布式媒体处理方法及系统。

背景技术

为了减少人员面对面接触和群体性人员聚集成。众多人员参与的线下会议和线下活动转移到线上进行，促进了云视频会议的大容量会议室在线会议需求猛增。

目前主流云视频会议厂家采用的技术线路主要包括两种，一种是采用MCU+直播的处理方式，另一种是SFU选择性转发的处理方式。采用MCU+直播技术无法实现会议互动功能，只能收听和观看；而采用SFU选择性转发技术则满足会议互动功能，但SFU选择性转发技术的多媒体数据未经混流，其将会议会场内所有输出的视频直接转发至所有接收端，接收端接收多路数据导致带宽资源的消耗增大，同时也增大了会议终端的解码负载，尤其是大容量会议室，极大的增加了服务运营商的运营成本。

发明内容

为了减少带宽资源的消耗和终端的解码负载，从而降低服务运营商的运营成本，本申请提供了一种可拓展分布式媒体处理方法及系统。

本申请的上述发明目的一是通过以下技术方案得以实现的：

一种可拓展分布式媒体处理方法，包括步骤：

当接收到会议终端发出的入会请求时，基于入会请求定位到对应的会议会场；

基于会议会场，向会议终端分配媒体通道，并判断会议会场输出的视频数是否达到预设的最大视频数；

基于媒体通道，若会议会场输出的视频数达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，响应进场请求，向该会议终端发送会议会场所输出视频的混像媒体流；

若会议会场输出的视频数未达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，向该会议终端发出是否需要上传本地媒体流的选择标志；

当接收到会议终端需上传本地媒体流的选择信息时，采集该会议终端的本地媒体流，通过媒体通道将本地媒体流分发至会议会场所有的会议终端。

通过采用上述技术方案，会议终端发出入会请求后，后台定位会议终端所要参加的会议后，向该会议终端分配媒体通道用于转发媒体流，相比于SFU选择性转发技术，本方法通过设置会议会场的输出最大视频数，当达到最大视频数时，会议会场只输出部分会议终端的视频，其余的会议终端在不参与互动时，只接收媒体流而不上传本体媒体流，进而使得接收端接收的数据量减少，缓解带宽资源的消耗，而当要参与互动时，通过发出需要上传本体媒体流的选择信息，既能够实现上传本地媒体流，参与互动的功能，控制会议会场视频输出的数量，只有参与互动时输出视频，减少带宽资源的消耗和终端的解码负载，从而降低服务运营商的运营成本。

本申请在一较佳示例中可以进一步配置为：基于会议会场，向会议终端分配媒体通道，并判断会议会场输出的视频数是否达到预设的最大视频数的步骤之后，还包括步骤：

向会议终端所分配的媒体通道发出允许指令，并同时向会议终端发送媒体通道的入会地址和入会端口。

通过采用上述技术方案，向会议终端分配媒体通道后，需要给所分配的媒体通道发送一个允许指令后，会议终端才能够通过才媒体通道进入会议会场，同时将媒体通道的入会地址和入会端口。

本申请在一较佳示例中可以进一步配置为：基于媒体通道，若会议会场输出的视频数达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，响应进场请求，向该会议终端发送会议会场所输出视频的混像媒体流的步骤之后，还包括步骤： 当接收到管理员终端发出的互动参与指令时，基于互动参与指令获取欲参与互动的会议终端，向该欲参与互动的会议终端下发流控指令；

当该会议终端接收到流控指令时，采集该会议终端的本地媒体流并发送至所匹配的媒体通道，经过混像处理后将本地媒体流同步至会议会场的所有会议终端。

通过采用上述技术方案，管理员通过发出互动参与指令，指示并控制指定的会议终端进行参与互动，即控制某一会议终端输出视频并显示在会议会场，会议终端接收到流控指令时，采集该会议终端的本地视频流并通过与其匹配的媒体通道和后台进行混像处理后，将本地媒体流分发至其余的会议终端，实现管理员终端对参会者互动的强制控制，即当有参会者需要参与互动时，管理员能够及时控制发言者的视频显示于屏幕；也即是说，管理员终端可以控制该参会者的视频输出，实现对主动控制会议会场视频输出数量的控制，减少带宽资源的消耗和终端的解码负载，从而降低服务运营商的运营成本。

本申请在一较佳示例中可以进一步配置为：当接收到管理员终端发出的互动参与指令时，基于互动参与指令获取欲参与互动的会议终端，向该欲参与互动的会议终端下发流控指令的步骤，包括步骤：

当接收到管理员终端发出的互动参与指令时，基于互动参与指令获取欲参与互动的会议终端，标记为欲互动终端；

获取欲互动终端所匹配的媒体通道，并获取欲互动终端的参会状态，生成状态信息；

基于状态信息，若欲互动终端位于会议会场内且未输出视频，则向欲互动终端所匹配的媒体通道下发流控指令；

当媒体通道接收到流控指令时，切换上传本地媒体流的转发策略，并将流控指令发送至匹配的会议终端。

通过采用上述技术方案，当会议终端被标记为欲互动终端时，先是获取欲互动终端所匹配的媒体通道，即查询找欲互动终端的媒体流传输的路径，并事先获知欲互动终端的状态，若确认其在会中且未输出视频，才向其发出流控指令，流控指令通过媒体通道转发至欲互动终端，实现流控指令的发送，同时状态的校对使得流控指令的发送的逻辑更为缜密。

本申请在一较佳示例中可以进一步配置为：基于状态信息，若欲互动终端位于会议会场内且未输出视频，则向欲互动终端所匹配的媒体通道下发流控指令的步骤同时，还包括步骤：

若欲互动终端`位于会议会场内且未输出视频，则为欲互动终端锁定一个预留视频位置，并发出混像处理的准备指令。

通过采用上述技术方案，在确认欲互动终端在会场中且未输出视频 的状态，并发送流控指令的同时，为欲互动终端锁定一个供其输出视频的预留位置，此预留位置不可被其他会议终端抢占，并发出混像处理的准备指令使得后台的混像系统事先做好本地媒体流的混像准备，提高以便将混像后的媒体流发送至其他会议终端，提高本体媒体流分发的效率。

本申请在一较佳示例中可以进一步配置为：基于媒体通道，若会议会场输出的视频数达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，响应进场请求，向该会议终端发送会议会场所输出视频的混像媒体流的步骤之后，还包括步骤；

当接收到管理员终端发出的互动暂停指令时，基于互动暂停指令获取欲暂停互动的会议终端，向该欲暂停互动的会议终端下发流控指令；

当该会议终端接收到流控指令时，暂停本地媒体流的采集且暂停将本地媒体流发送至匹配的媒体通道。

通过采用上述技术方案，管理员终端同时可以通过发出互动暂停指令，控制正在互动中、即控制正在输出视频的会议终端暂停输出视频，即当有参与者请求互动且此时会议会场输出的视频数已满时，管理员可以选择正在输出视频的任一会议终端结束输出视频，将输出视频的位置替换给欲互动终端，采用替换的方式即更换了互动人，同时不会增加带宽消耗，而且通过管理员终端进行强制控制，进一步提升了会议互动的效率。

本申请在一较佳示例中可以进一步配置为：当接收到管理员终端发出的互动暂停指令时，基于互动暂停指令获取欲暂停互动的会议终端，向该欲暂停互动的会议终端下发流控指令的步骤，包括步骤：

当接收到管理员终端发出的互动暂停指令时，基于互动暂停指令获取欲暂停互动的会议终端，标记为欲暂停终端；

获取欲暂停终端所匹配的媒体通道，并获取欲暂停终端的参会状态，生成状态信息；

基于状态信息，若欲暂停终端位于会议会场内且处于输出视频的状态，则向欲暂停终端所匹配的媒体通道下发流控指令；

当媒体通道接收到流控指令时，切换暂停上传本地媒体流的转发策略，将流控指令发送至匹配的会议终端。

通过采用上述技术方案，会议终端被标记为欲暂停终端时，其匹配的媒体通道和欲暂停终端的参会状态均被获取，在确认其处于输出视频状态后，下发流控指令使得媒体通道切换转发策略，暂停上传本体媒体流，转变为将其他会议终端的媒体流发送至欲暂停终端，实现管理员强制控制会议终端暂停上传本地媒体流的功能。

本申请在一较佳示例中可以进一步配置为：当接收到管理员终端发出的互动参与指令时，基于互动参与指令获取欲参与互动的会议终端，标记为欲互动终端的步骤之后，包括步骤：

当接收到管理员终端发出的最大视频数的调整指令时，响应调整指令并向管理员终端发送调整端口；

基于调整端口，当获取到调整数值时，会议会场输出的最大视频数修改为调整数值。

通过采用上述技术方案，当管理员终端将会议终端标记为欲互动终端后，若出现会议会场输出的视频数已满，且目前输出视频的会议终端均处于互动中，不得将其替换的情况时，管理员终端可临时发出调整指令以调整会议会场输出的最大视频数，以便将欲互动终端输出的视频显示至其他会议终端，则会议的互动功能较为灵活，适应性更高；同时管理人员可根据参会人数，调整每个会议会场输出的最大视频数，以在不影响互动效果的前提下减轻带宽的消耗和解码复核，进而节省运营成本。

本申请的上述发明目的二是通过以下技术方案得以实现的：

一种可拓展分布式媒体处理系统，包括：

会场定位模块，用于当接收到会议终端发出的入会请求时，基于入会请求定位到对应的会议会场；

通道分配模块，用于基于会议会场，向会议终端分配媒体通道，并判断会议会场输出的视频数是否达到预设的最大视频数；

媒体流传输模块，用于基于媒体通道，若会议会场输出的视频数达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，响应进场请求，向该会议终端发送会议会场所输出视频的混像媒体流；

选择标志模块，用于若会议会场输出的视频数未达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，向该会议终端发出是否需要上传本地媒体流的选择标志；

选择互动模块，当接收到会议终端需上传本地媒体流的选择信息时，采集该会议终端的本地媒体流，通过媒体通道将本地媒体流分发至会议会场所有的会议终端。

通过采用上述技术方案，会议终端发出入会请求后，后台定位会议终端所要参加的会议后，向该会议终端分配媒体通道用于转发媒体流，相比于SFU选择性转发技术，本方法通过设置会议会场的输出最大视频数，当达到最大视频数时，会议会场只输出部分会议终端的视频，其余的会议终端在不参与互动时，只接收媒体流而不上传本体媒体流，进而使得接收端接收的数据量减少，缓解带宽资源的消耗，而当要参与互动时，通过发出需要上传本体媒体流的选择信息，既能够实现上传本地媒体流，参与互动的功能，控制会议会场视频输出的数量，只有参与互动时输出视频，减少带宽资源的消耗和终端的解码负载，从而降低服务运营商的运营成本。

综上所述，本申请包括以下至少一种有益技术效果：

1.通过发出需要上传本体媒体流的选择信息，既能够实现上传本地媒体流，参与互动的功能，控制会议会场视频输出的数量，只有参与互动时输出视频，减少带宽资源的消耗和终端的解码负载，从而降低服务运营商的运营成本；

2.当有参会者需要参与互动时，管理员能够及时控制发言者的视频显示于屏幕；也即是说，管理员终端可以控制该参会者的视频输出，实现对主动控制会议会场视频输出数量的控制，减少带宽资源的消耗和终端的解码负载，从而降低服务运营商的运营成本；

3.发出混像处理的准备指令使得后台的混像系统事先做好本地媒体流的混像准备，提高以便将混像后的媒体流发送至其他会议终端，提高本体媒体流分发的效率；

4.管理员可以选择正在输出视频的任一会议终端结束输出视频，将输出视频的位置替换给欲互动终端，采用替换的方式即更换了互动人，同时不会增加带宽消耗，而且通过管理员终端进行强制控制，进一步提升了会议互动的效率。

附图说明

图1是本申请一种可拓展分布式媒体处理方法实施例的一流程图；

图2是本申请一种可拓展分布式媒体处理方法实施例中步骤S30之后的一实现流程图；

图3是本申请一种可拓展分布式媒体处理方法实施例中步骤S31的一实现流程图；

图4是本申请一种可拓展分布式媒体处理方法实施例中步骤S30之后的另一实现流程图；

图5是本申请一种可拓展分布式媒体处理方法实施例中步骤S33的一实现流程图；

图6是本申请一种可拓展分布式媒体处理系统实施例的一原理框图；

图7是本申请一种可拓展分布式媒体处理系统实施例的一架构图；

图8是本申请一种可拓展分布式媒体处理系统实施例种互动参与指令的原理框图；

图9是本申请一种可拓展分布式媒体处理系统实施例种互动暂停指令的原理框图。

具体实施方式

以下结合附图1-9对本申请作进一步详细说明。

在一实施例中，如图1所示，本申请公开了一种可拓展分布式媒体处理方法，具体包括如下步骤：

S10：当接收到会议终端发出的入会请求时，基于入会请求定位到对应的会议会场；

在本实施例中，会议终端指PC端、用户的手机等智能移动终端，并且带有采集音频、视频等功能；入会请求是指查找并申请进入会议的信令，信令中携带会议号码，会议号码是会议会场的一个标识，会议号码分为两类，一类是：每个会议终端享有一个专属会议号码，另一类是：每个会议会场对应一个会议号码；

具体的，当接收到用户PC端或手机等智能移动终端发出的进入会议的信令时，获取信令中携带的会议号码，基于会议号码定位查找到对应的会议会场。

S20：基于会议会场，向会议终端分配媒体通道，并判断会议会场输出的视频数是否达到预设的最大视频数；

在本实施例中，媒体通道指SUF任务处理单元，相当于路由器，其预设有转发策略，负责转发媒体流数据，通常媒体通道根据会议终端的数量进行扩展，每个媒体通道能够匹配并管理若干个会议终端；

输出视频数则是会议会场的屏幕显示的视频数，视频来自不同的会议终端；

具体的，查找到会议终端欲进入的会议会场后，后台分配媒体通道给会议终端，该媒体通道则负责会议终端进入会议后的媒体流转发，并提前判断该会议会场目前输出的视频数是否达到最大视频数。

S30：基于媒体通道，若会议会场输出的视频数达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，响应进场请求，向该会议终端发送会议会场所输出视频的混像媒体流；

在本实施例中，进场请求是指进入定位的会议会场的请求；混像媒体流是指经过混音、混频处理后的媒体数据。

具体的，当提前判断的结果为输出视频数达到最大视频数时，则当会议终端进入到会议会场时，后台直接给该刚进会的会议终端输出目前会议会场内输出的视频，视频显示的为其他会议终端的画面和音频。

S40：若会议会场输出的视频数未达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，向该会议终端发出是否需要上传本地媒体流的选择标志；

在本实施例中，选择标志是指发送至会议终端的弹窗，连接页面等。

具体的，当提前判断的结果为输出视频数仍未达到最大视频数时，则当会议终端进入到会议会场时，后台生成是否需要上传本地媒体流的选择标志的弹窗，并将弹窗发送至会议终端的设备。

S50：当接收到会议终端需上传本地媒体流的选择信息时，采集该会议终端的本地媒体流，通过媒体通道将本地媒体流分发至会议会场所有的会议终端；

在本实施例中，本地媒体流是指会议终端的设备采集的现场视频、音频数据，

具体的，当会议终端的用户选择了上传本地媒体流的选择信息时，会议终端的设备通过采集现场的视频音频，并对视频音频压缩后进行编码，变压后的数据通过网络发送至后台的媒体通道，媒体通道将接收到的编码数据转发至后台进行混像处理；

进一步的，混像处理后的编码数据通过媒体通道发送至会议会场内的所有会议终端，会议终端进行解码并显示该本地媒体流，即显示该会议终端的现场视频。

进一步的，当接收到会议终端无需上传本地媒体流的选择信息时，则向该会议终端发送会议会场目前所输出的视频，即输出其他会议终端的本地媒体流。

在另一实施例中，在步骤S20之后，还包括步骤：

S21：向会议终端所分配的媒体通道发出允许指令，并同时向会议终端发送媒体通道的入会地址和入会端口。

允许指令是指允许媒体通道与发出入会请求的会议终端进行匹配。

具体的， 后台给会议终端分配媒体通道后，向该媒体通过发出允许指令，允许媒体通道与该会议终端进行匹配；

进一步的，后台向会议终端发出用于进入会议会场的入会地址和入会端口。

在另一实施例中，参照图2，步骤S30之后，还包括步骤：

S31：当接收到管理员终端发出的互动参与指令时，基于互动参与指令获取欲参与互动的会议终端，向该欲参与互动的会议终端下发流控指令；

在本实施例中，管理员终端与会议终端功性质一致，均是参与会议的终端设备，管理员终端也匹配有一个媒体通道，管理员终端通过媒体通道接收或上传数据或发送指令；而管理员终端有两种进入会议的方式，一种是以参会者的身份，另一种是以控制者的身份，以参会者的身份进入会议会场时，其功能与其余的会议终端一致，当以控制者身份进入会议会场时，管理员终端通过媒体端口发送互动参与指令等控制指令。

互动参与指令是指强制控制任一会议终端参与会议互动的指令，即将该会议终端的现场视频显示在会议会场；

流控指令是指控制会议终端采集本体媒体流，同时控制媒体通道转发该本地媒体流数据至后台的指令。

具体的，管理员终端的用户通过会议会场观察到某会议终端有参与互动进行发言的需求时，若管理员终端响应其互动需求，则向后台发出互动参与指令；当后台接收到管理员终端发出的互动参与指令时，从互动参与指令中获取到请求互动的会议终端，并向该会议终端下发流控指令；

S32：当该会议终端接收到流控指令时，采集该会议终端的本地媒体流并发送至所匹配的媒体通道，经过混像处理后将本地媒体流同步至会议会场的所有会议终端。

在本实施例中，混像处理是指后台将接收到的本地媒体流进行混像、混音处理。

具体的，当有互动需求的会议终端接收到流控指令后，通过会议终端的设备采集现场的视频和音频并进行压缩编码，通过网络发送至后台进行混像、混音处理后，再通过会议会场内的多个媒体通道将混像后的数据传输至所有的会议终端。

在另一实施例中，参照图3，步骤S31具体包括步骤：

S311：当接收到管理员终端发出的互动参与指令时，基于互动参与指令获取欲参与互动的会议终端，标记为欲互动终端；

S312：获取欲互动终端所匹配的媒体通道，并获取欲互动终端的参会状态，生成状态信息；

S313：基于状态信息，若欲互动终端位于会议会场内且未输出视频，则向欲互动终端所匹配的媒体通道下发流控指令；

S314：当媒体通道接收到流控指令时，切换上传本地媒体流的转发策略，并将流控指令发送至匹配的会议终端。

在本实施例中，欲互动终端是指即将参与互动的会议终端；状态信息包括：欲互动终端位于会议会场内且未输出视频、欲互动终端位于会议会场内且输出视频两种情况；转发策略包括：将本地媒体流转发至后台进行混像处理和将后台经混像处理后的本地媒体流转发至会议终端。

具体的，当接收到管理员终端发出的互动参与指令时，将该有互动需求的会议终端标记为欲互动终端，获取欲互动终端匹配的媒体通道，校对该媒体通道目前的转发策略，并校对欲互动终端的状态信息，若欲互动终端正在参会且未输出视频，则向欲互动终端匹配的媒体通道发出流控指令，切换媒体通道的转发策略，并将流控指令传输至欲互动终端以指示欲互动终端采集本地媒体流，切换转发策略后的媒体通道将本体媒体流转发至后台进行混像处理。

在另一实施例中，步骤S313的同时，还包括步骤：

S313A：若欲互动终端位于会议会场内且未输出视频，则为欲互动终端锁定一个预留视频位置，并发出混像处理的准备指令。

在本实施例中，预留视频位置是指用于在会议会场中输出某个会议终端的现场视频的位置，准备指令是指做好混像处理的前期阶段准备工作，

具体的，在确认欲互动终端在会场中且未输出视频的状态，并发送流控指令的同时，为欲互动终端锁定一个供其输出视频的预留位置，此预留位置不可被其他会议终端抢占，并发出混像处理的准备指令使得后台的混像系统事先做好本地媒体流的混像准备，提高以便将混像后的媒体流发送至其他会议终端，提高本体媒体流分发的效率。

在另一实施例中，步骤S311之后，还包括步骤：

S315：当接收到管理员终端发出的最大视频数的调整指令时，响应调整指令并向管理员终端发送调整端口；

S316：基于调整端口，当获取到调整数值时，会议会场输出的最大视频数修改为调整数值。

在本实施例中，调整指令是指调整会议会场输出的最大视频数的指令；

调整端口为供管理员终端的用户输出调整数据的端口。

具体的，当管理员终端将会议终端标记为欲互动终端后，若出现会议会场输出的视频数已满，且目前输出视频的会议终端均处于互动中，不得将其替换的情况时，管理员终端可临时发出调整指令以调整会议会场输出的最大视频数，以便将欲互动终端输出的视频显示至其他会议终端。

进一步的，同时管理人员可根据参会人数，调整每个会议会场输出的最大视频数，以在不影响互动效果的前提下减轻带宽的消耗和解码复核，进而节省运营成本。

在另一实施例中，参照图4，步骤S30之后，还包括步骤：

S33：当接收到管理员终端发出的互动暂停指令时，基于互动暂停指令获取欲暂停互动的会议终端，向该欲暂停互动的会议终端下发流控指令；

在本实施例中，互动暂停指令是指强制控制任一正在输出视频的会议终端，使其立即暂停上传本地媒体流的指令；

具体的，在有会议终端进入到会议会场之后，管理员终端通过发出互动暂停指令选中需暂停上传媒体流的会议终端，发出流控指令暂停该会议终端对本体媒体流的采集；

进一步的，当有参与者请求互动且此时会议会场输出的视频数已满时，管理员可以选择正在输出视频的任一会议终端结束输出视频，将输出视频的位置替换给欲互动终端，采用替换的方式即更换了互动人，同时不会增加带宽消耗，而且通过管理员终端进行强制控制，进一步提升了会议互动的效率。

S34：当该会议终端接收到流控指令时，暂停本地媒体流的采集且暂停将本地媒体流发送至匹配的媒体通道。

具体的，当需暂停上传媒体流的会议终端接收到流控指令后，会议终端的设备停止采集现场的视频和音频。

进一步的，媒体通道转发会议会场内其他会议终端的媒体流数据至该需暂停的会议终端。

在另一实施例中，参照图5，步骤S33具体包括步骤：

S331：当接收到管理员终端发出的互动暂停指令时，基于互动暂停指令获取欲暂停互动的会议终端，标记为欲暂停终端；

S332：获取欲暂停终端所匹配的媒体通道，并获取欲暂停终端的参会状态，生成状态信息；

S333：基于状态信息，若欲暂停终端位于会议会场内且处于输出视频的状态，则向欲暂停终端所匹配的媒体通道下发流控指令；

S334：当媒体通道接收到流控指令时，切换暂停上传本地媒体流的转发策略，将流控指令发送至匹配的会议终端。

在本实施例中，当接收到管理员终端发出的互动暂停指令时，将该需要暂停互动的会议终端标记为欲暂停终端，获取欲暂停终端匹配的媒体通道，校对该媒体通道目前的转发策略，并校对欲暂停终端的状态信息，若欲暂停终端正在参会且处于输出视频的状态，则向欲暂停终端匹配的媒体通道发出流控指令，切换媒体通道的转发策略，并将流控指令传输至欲暂停终端以指示欲暂停终端采集本地媒体流，切换转发策略后的媒体通道将停止本体媒体流的转发，并将后台经过混像处理的媒体流转发至欲暂停终端。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在一实施例中，提供一种可拓展分布式媒体处理系统，该可拓展分布式媒体处理系统与上述实施例中。一种可拓展分布式媒体处理方法一一对应。如图6所示，该一种可拓展分布式媒体处理系统包括：

会场定位模块，用于当接收到会议终端发出的入会请求时，基于入会请求定位到对应的会议会场；

通道分配模块，用于基于会议会场，向会议终端分配媒体通道，并判断会议会场输出的视频数是否达到预设的最大视频数；

媒体流传输模块，用于基于媒体通道，若会议会场输出的视频数达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，响应进场请求，向该会议终端发送会议会场所输出视频的混像媒体流；

选择标志模块，用于若会议会场输出的视频数未达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，向该会议终端发出是否需要上传本地媒体流的选择标志；

选择互动模块，当接收到会议终端需上传本地媒体流的选择信息时，采集该会议终端的本地媒体流，通过媒体通道将本地媒体流分发至会议会场所有的会议终端。

可选的，一种可拓展分布式媒体处理系统还包括：

允许模块，用于向会议终端所分配的媒体通道发出允许指令，并同时向会议终端发送媒体通道的入会地址和入会端口。

可选的，一种可拓展分布式媒体处理系统还包括：

互动参与模块，用于当接收到管理员终端发出的互动参与指令时，基于互动参与指令获取欲参与互动的会议终端，向该欲参与互动的会议终端下发流控指令；

互动流控模块，用于当该会议终端接收到流控指令时，采集该会议终端的本地媒体流并发送至所匹配的媒体通道，经过混像处理后将本地媒体流同步至会议会场的所有会议终端。

可选的，互动参与模块包括：

互动标记模块，用于当接收到管理员终端发出的互动参与指令时，基于互动参与指令获取欲参与互动的会议终端，标记为欲互动终端；

互动状态获取模块，用于获取欲互动终端所匹配的媒体通道，并获取欲互动终端的参会状态，生成状态信息；

互动状态确定模块，用于基于状态信息，若欲互动终端位于会议会场内且未输出视频，则向欲互动终端所匹配的媒体通道下发流控指令；

互动策略切换模块，用于当媒体通道接收到流控指令时，切换上传本地媒体流的转发策略，并将流控指令发送至匹配的会议终端。

可选的，互动参与模块还包括：

混像准备模块，用于若欲互动终端位于会议会场内且未输出视频，则为欲互动终端锁定一个预留视频位置，并发出混像处理的准备指令。

可选的，一种可拓展分布式媒体处理系统还包括：

调整指令模块，用于当接收到管理员终端发出的最大视频数的调整指令时，响应调整指令并向管理员终端发送调整端口；

调整接收模块，用于基于调整端口，当获取到调整数值时，会议会场输出的最大视频数修改为调整数值。

可选的，一种可拓展分布式媒体处理系统还包括：

互动暂停指令，用于当接收到管理员终端发出的互动暂停指令时，基于互动暂停指令获取欲暂停互动的会议终端，向该欲暂停互动的会议终端下发流控指令；

暂停流控模块，用于当该会议终端接收到流控指令时，暂停本地媒体流的采集且暂停将本地媒体流发送至匹配的媒体通道。

可选的，所述互动暂停指令模块还包括：

暂停标记模块，用于当接收到管理员终端发出的互动暂停指令时，基于互动暂停指令获取欲暂停互动的会议终端，标记为欲暂停终端；

暂停状态获取模块：用于获取欲暂停终端所匹配的媒体通道，并获取欲暂停终端的参会状态，生成状态信息；

暂停状态确认模块：用于基于状态信息，若欲暂停终端位于会议会场内且处于输出视频的状态，则向欲暂停终端所匹配的媒体通道下发流控指令；

暂停策略切换模块，用于当媒体通道接收到流控指令时，切换暂停上传本地媒体流的转发策略，将流控指令发送至匹配的会议终端。

在另一实施例中，一种可拓展分布式媒体处理系统包括：

参照图7，TERMINAL终端模块、MEETING-MANAGER会议管理模块、MIXER模块以及SFU模块；MEETING-MANAGER会议管理模块、MIXER模块以及SFU模块为后台服务器，TERMINAL终端模块为用户的终端设备。

TERMINAL终端模块是指PC端、用户的手机等智能移动终端，并且带有采集音频、视频等功能；TERMINAL终端模块包括TERMINAL01、TERMINAL02、TERMINAL03...TERMINAL0N等若干个终端，会议终端、管理员终端均属于TERMINAL终端模。

SFU模块包括SFU01、SFU02、SFU03...SFU0N等若干个媒体通道，每个媒体通道用于匹配一个或若干个TERMINAL终端模块，其中SFU01用于匹配管理员终端，SFU02、SFU03...SFU0N用于匹配会议会场的其他会议终端，

MIXER模块用于进行混像处理并将混像后的媒体流进行分发、用于预留会议会场输出的视频位置以及用于接收准备指令；

MEETING-MANAGER会议管理模块用于负责会议资源（包括MIXER资源和SFU资源）实时状态信息收集管理、会议输出视频的调度分配以及调整、TERMINAL终端模块的入会请求等信令接入处理、允许指令的处理，MIXER模块混音混像的管理、媒体通道的媒体流调度控制、会议资源释放等。

管理员通过TERMINAL01提前进入会议会场，并通过MEETING-MANAGER会议管理模块设置好最大输出视频数，参会者通过TERMINAL02向MEETING-MANAGER会议管理模块发出入会请求，MEETING-MANAGER会议管理模块定位到对应的会议会场，并分配SFU02与TERMINAL02匹配，EETING-MANAGER会议管理模块向SFU02发出允许指令允许，并向TERMINAL02发出SFU02的入会地址和入会端口，当TERMINAL02发出进场请求时，MEETING-MANAGER会议管理模块允许TERMINAL02进场。

进一步的，当TERMINAL02选择上传本地媒体流的选择信息时，MEETING-MANAGER会议管理模块响应选择信息，并发出流控指令至SFU02，同时发出准备指令至MIXER模块做好混像准备，TERMINAL02采集本地媒体流并通过SFU02转发至MIXER模块，MIXER模块经过混像后将混像媒体流分发至SFU01、SFU03...SFU0N，再分发到对应的TERMINAL终端模块。

参照图8，当TERMINAL01发出互动参与指令指定TERMINAL03参加会议互动互动时，MEETING-MANAGER会议管理模块接收到互动参与指令并查找TERMINAL03对应的媒体通道为SFU02，MEETING-MANAGER会议管理模块发出流控指令至SFU02以切换转发策略，并发送准备指令至MIXER模块准备混像处理和预留视频位置，SFU02将流控指令发送至TERMINAL03使TERMINAL03开始采集本地媒体流，SFU02将本地媒体流转发至MIXER模块进行混像处理并分发至其余的SFU0N。

参照图9，当TERMINAL01发出互动暂停指令指定TERMINAL03暂停会议互动时，MEETING-MANAGER会议管理模块接收到互动参与指令并查找TERMINAL03对应的媒体通道为SFU02，MEETING-MANAGER会议管理模块发出流控指令至SFU02以切换转发策略，SFU02将流控指令发送至TERMINAL03使TERMINAL03暂停采集本地媒体流，发送指令使MIXER模块暂停对TERMINAL03的混像处理，进一步MIXER模块将会议会场中其他会议终端输出的媒体流分发给SFU02，SFU02再转发至TERMINAL03。

关于一种可拓展分布式媒体处理系统的具体限定可以参见上文中对于一种可拓展分布式媒体处理方法的限定，在此不再赘述。上述一种可拓展分布式媒体处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种可拓展分布式媒体处理方法，其特征在于：包括步骤：

当接收到会议终端发出的入会请求时，基于入会请求定位到对应的会议会场；

基于会议会场，向会议终端分配媒体通道，并判断会议会场输出的视频数是否达到预设的最大视频数；

基于媒体通道，若会议会场输出的视频数达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，响应进场请求，向该会议终端发送会议会场所输出视频的混像媒体流；

若会议会场输出的视频数未达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，向该会议终端发出是否需要上传本地媒体流的选择标志；

当接收到会议终端需上传本地媒体流的选择信息时，采集该会议终端的本地媒体流，通过媒体通道将本地媒体流分发至会议会场所有的会议终端。

2.根据权利要求1所述的一种可拓展分布式媒体处理方法，其特征在于：基于会议会场，向会议终端分配媒体通道，并判断会议会场输出的视频数是否达到预设的最大视频数的步骤之后，还包括步骤：

向会议终端所分配的媒体通道发出允许指令，并同时向会议终端发送媒体通道的入会地址和入会端口。

3.根据权利要求1所述的一种可拓展分布式媒体处理方法，其特征在于：基于媒体通道，若会议会场输出的视频数达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，响应进场请求，向该会议终端发送会议会场所输出视频的混像媒体流的步骤之后，还包括步骤：当接收到管理员终端发出的互动参与指令时，基于互动参与指令获取欲参与互动的会议终端，向该欲参与互动的会议终端下发流控指令；

当该会议终端接收到流控指令时，采集该会议终端的本地媒体流并发送至所匹配的媒体通道，经过混像处理后将本地媒体流同步至会议会场的所有会议终端。

4.根据权利要求3所述的一种可拓展分布式媒体处理方法，其特征在于：当接收到管理员终端发出的互动参与指令时，基于互动参与指令获取欲参与互动的会议终端，向该欲参与互动的会议终端下发流控指令的步骤，包括步骤：

当接收到管理员终端发出的互动参与指令时，基于互动参与指令获取欲参与互动的会议终端，标记为欲互动终端；

获取欲互动终端所匹配的媒体通道，并获取欲互动终端的参会状态，生成状态信息；

基于状态信息，若欲互动终端位于会议会场内且未输出视频，则向欲互动终端所匹配的媒体通道下发流控指令；

当媒体通道接收到流控指令时，切换上传本地媒体流的转发策略，并将流控指令发送至匹配的会议终端。

5.根据权利要求4所述的一种可拓展分布式媒体处理方法，其特征在于：基于状态信息，若欲互动终端位于会议会场内且未输出视频，则向欲互动终端所匹配的媒体通道下发流控指令的步骤同时，还包括步骤：

若欲互动终端位于会议会场内且未输出视频，则为欲互动终端锁定一个预留视频位置，并发出混像处理的准备指令。

6.根据权利要求1所述的一种可拓展分布式媒体处理方法，其特征在于：基于媒体通道，若会议会场输出的视频数达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，响应进场请求，向该会议终端发送会议会场所输出视频的混像媒体流的步骤之后，还包括步骤；

当接收到管理员终端发出的互动暂停指令时，基于互动暂停指令获取欲暂停互动的会议终端，向该欲暂停互动的会议终端下发流控指令；

当该会议终端接收到流控指令时，暂停本地媒体流的采集且暂停将本地媒体流发送至匹配的媒体通道。

7.根据权利要求6所述的一种可拓展分布式媒体处理方法，其特征在于：当接收到管理员终端发出的互动暂停指令时，基于互动暂停指令获取欲暂停互动的会议终端，向该欲暂停互动的会议终端下发流控指令的步骤，包括步骤：

当接收到管理员终端发出的互动暂停指令时，基于互动暂停指令获取欲暂停互动的会议终端，标记为欲暂停终端；

获取欲暂停终端所匹配的媒体通道，并获取欲暂停终端的参会状态，生成状态信息；

基于状态信息，若欲暂停终端位于会议会场内且处于输出视频的状态，则向欲暂停终端所匹配的媒体通道下发流控指令；

当媒体通道接收到流控指令时，切换暂停上传本地媒体流的转发策略，将流控指令发送至匹配的会议终端。

8.根据权利要求4所述的一种可拓展分布式媒体处理方法，其特征在于：当接收到管理员终端发出的互动参与指令时，基于互动参与指令获取欲参与互动的会议终端，标记为欲互动终端的步骤之后，包括步骤：

当接收到管理员终端发出的最大视频数的调整指令时，响应调整指令并向管理员终端发送调整端口；

基于调整端口，当获取到调整数值时，会议会场输出的最大视频数修改为调整数值。

9.一种可拓展分布式媒体处理系统，其特征在于：包括

会场定位模块，用于当接收到会议终端发出的入会请求时，基于入会请求定位到对应的会议会场；

通道分配模块，用于基于会议会场，向会议终端分配媒体通道，并判断会议会场输出的视频数是否达到预设的最大视频数；

媒体流传输模块，用于基于媒体通道，若会议会场输出的视频数达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，响应进场请求，向该会议终端发送会议会场所输出视频的混像媒体流；

选择标志模块，用于若会议会场输出的视频数未达到预设的最大视频数，则当媒体通道接收到会议终端的进场请求时，向该会议终端发出是否需要上传本地媒体流的选择标志；

选择互动模块，当接收到会议终端需上传本地媒体流的选择信息时，采集该会议终端的本地媒体流，通过媒体通道将本地媒体流分发至会议会场所有的会议终端。

Images