CN105187760A - 一种多点控制单元集群系统及方法 - Google Patents

一种多点控制单元集群系统及方法 Download PDF

Info

Publication number
CN105187760A
CN105187760A CN201510456113.7A CN201510456113A CN105187760A CN 105187760 A CN105187760 A CN 105187760A CN 201510456113 A CN201510456113 A CN 201510456113A CN 105187760 A CN105187760 A CN 105187760A
Authority
CN
China
Prior art keywords
media
media processing
server
processing server
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510456113.7A
Other languages
English (en)
Other versions
CN105187760B (zh
Inventor
边学工
唐雪华
王中元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Is With Sharp Hundred Million Mountain Science And Technology Ltds
Original Assignee
Wuhan Is With Sharp Hundred Million Mountain Science And Technology Ltds
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Is With Sharp Hundred Million Mountain Science And Technology Ltds filed Critical Wuhan Is With Sharp Hundred Million Mountain Science And Technology Ltds
Priority to CN201510456113.7A priority Critical patent/CN105187760B/zh
Publication of CN105187760A publication Critical patent/CN105187760A/zh
Application granted granted Critical
Publication of CN105187760B publication Critical patent/CN105187760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种多点控制单元集群系统及方法,系统由媒体控制服务器(MCS)和媒体处理服务器(MPS)组成;MCS接收会议管理服务器发送的会议信息,根据负载均衡原则,分配一个或多个MPS给该会议。MCS将收到的终端的媒体码流组播或单播给为该会议提供媒体处理服务的所有MPS,每个MPS分别负责其中一部分终端的媒体处理工作,进行混音或多画面合成,将编码后的媒体流发给MCS,再由MCS转发给对应终端。MCS发现某个MPS掉线后或者某个MPS需要进行维护时候,MCS将该MPS上负责的呼叫信息保存到一个待处理链表中,并逐个将呼叫迁移到其它可用的MPS上,终端呼叫仍然保持连接状态。本发明可解决因MCU级联产生的媒体流延时和音视频质量下降问题,控制逻辑简单、可靠性高、可故障恢复。

Description

一种多点控制单元集群系统及方法
技术领域
本发明属于通信领域,涉及容量可扩展视频会议系统及方法,具体涉及一种多点控制单元集群系统及方法。
技术背景
基于H.323或SIP国际标准视频会议系统已经得到广泛应用。由于采用国际标准,不同厂家的视频会议设备可以互联互通,方便用户扩容,有效保护了用户在视频会议设备上投资。多点控制单元(MCU)是视频会议系统的中心控制设备。MCU将各会议场点信令,送入多点控制器(MC),完成会议控制等过程。将媒体流送入多点处理器(MP),完成相应的音频混合或切换、视频多画面合成或切换。最后将各会议场点所需的各种媒体流重新组合起来,送往相应的终端设备。
随着参会终端数目的增加和会议规模的扩大,H.323或SIP系统中执行多点会议控制和多点媒体处理功能的MCU逐渐成为系统瓶颈。随着宽带网络飞速发展和CPU处理能力越来越强,出现越来越多支持更高分辨率的视频会议终端,MCU也面临者为不同规格终端(分辨率和呼叫速率)提供不同服务质量的问题,这进一步加大了MCU的处理负担。
现有视频会议扩容方法一般采用MCU级联的方法(如公开日为2006年6月7日的中国CN001140574专利申请:一种扩大会议电视系统容量的方法;公开日为2010年08月04日的中国CN101316351B专利申请:多点控制单元级联系统及其通信方法、装置;公开日为2011年1月27日的美国US0018960A1专利申请:METHODANDSYSTEMFORPROVIDINGCONTINUOUSPRESENCEVIDEOINACASCADINGCONFERENCE;公开日为2014年9月4日的美国US0247320A1专利申请:VIDEOCONFERENCEVIRTUALENDPOINTS等)。为了支持不同呼叫速率的终端,要么参与级联的每个MCU都需要进行编解码、混音或多画面合成,这样势必增加因为MCU级联引起媒体流延时和音视频质量的下降;要么将混音或多画面合成集中到指定的主MCU(MasterMCU)进行处理,从MCU(SlaveMCU)只进行媒体流的转发,这样势必导致主MCU成为系统的瓶颈。虽然对于前一种方案有些改进办法,如使用网状的级联架构可以缩短级联的路径,但是网状架构的MCU级联至少也需要两次编解码。同时每个MCU级联也多占用MCU的一个端口。比如,5个MCU进行网状的级联,同一个会议中每个MCU都有终端接入,则每个MCU将多浪费4个端口(总计多占用20个端口)。级联的MCU越多,端口数目浪费越严重。另外,参与级联的MCU越多,拓扑结构越复杂,管理这些MCU和同步MCU之间的信息的复杂度也越高,增加了呼叫管理和会议管理的复杂性,不利于系统的稳定和故障恢复。此外,由于MCU集呼叫控制、会议控制和媒体处理功能于一身,一旦MCU出现故障后,其上的所有终端呼叫都会掉线,严重影响用户体验。
主要视频会议厂家(Polycom,Cisco,华为等)都提供了功能强大的硬件MCU。一般来讲,MCU的价格跟MCU接入终端数量(即端口数目)成正比,并且最大接入容量越大的MCU越昂贵。传统上,企业一般自行采购MCU,为了方便以后扩容,往往预先多采购一些端口容量,这样设备利用率往往不高,造成较大浪费。采用云服务方式提供视频会议服务,可以很好解决资源共享的问题,大大降低企业使用视频会议的成本,但是对系统的可扩展性、可靠性和故障恢复提出了更高的要求。
发明内容
本发明提供一种多点控制单元(MCU)集群系统及方法,以解决视频会议MCU级联中存在的媒体流延时和音视频质量下降问题,同时系统具有控制逻辑简单、可靠性高、可故障恢复等特点。
本发明的系统所采用的方案是:一种多点控制单元集群系统,其特征在于:包括媒体控制服务器和媒体处理服务器;所述的媒体控制服务器负责终端呼叫接入、会议控制、媒体流转发、媒体处理服务器的调度;所述的媒体处理服务器负责媒体流的处理,包括媒体流收发、音视频编解码、混音、多画面合成;所述的媒体控制服务器和媒体处理服务器之间通过网络进行控制消息交互和媒体流的收发。
作为优选,一个所述的媒体控制服务器管理调度若干个所述的媒体处理服务器;一个所述的媒体处理服务器能为若干个会议提供媒体处理服务;所述的媒体处理服务器能为一个会议中不同终端提供媒体处理服务。
作为优选,所述的媒体控制服务器还用于根据会议的信息调度会议,根据负载均衡原则选择一个或多个媒体处理服务器为该会议提供媒体处理服务,并通知相应的媒体处理服务器。
作为优选,所述的媒体控制服务器还用于指定某个媒体处理服务器为某个终端提供混音和音频编码服务,并通知该媒体处理服务器;所述的媒体控制服务器还用于指定某个媒体处理服务器为某个终端提供多画面合成和视频编码服务。
作为优选,所述的媒体控制服务器还用于接收终端的呼叫或者接收会议管理服务器发出的呼叫邀请信息,与终端建立呼叫连接,包括呼叫信令接收和媒体流收发;所述的媒体控制服务器还用于将接收到终端的音频流组播或者单播给参加该会议所有媒体处理服务器;所述的媒体控制服务器还用于根据与会终端是否在合成的多画面中显示,来决定是否将接收到终端的视频流组播或者单播转发给参加该会议所有媒体处理服务器;所述的媒体控制服务器还用于将媒体处理服务器处理后音视频流转发给终端;所述的媒体控制服务器还用于指定为会议提供音频处理服务的某个媒体处理服务器负责报告各终端的音量信息,进行语音激励和多画面合成的切换控制。
作为优选,所述媒体处理服务器还用于接收媒体控制服务器的会议信息,根据会议信息,准备好媒体流的接收和发送;所述的媒体处理服务器还用于接收媒体控制服务器传来的终端呼叫信息,根据呼叫信息,准备好相应的编解码类型和参数;所述的媒体处理服务器还用于接收媒体控制服务器的会议控制信息,根据会议控制信息,进行混音或多画面合成的设置;所述的媒体处理服务器还用于接收媒体控制服务器转发的来自终端的音频流,解码后进行混音,并将编码后音频流发给媒体控制服务器;所述的媒体处理服务器还用于接收媒体控制服务器转发的来自终端的视频流,解码后进行多画面合成,并将编码后的视频流发给媒体控制服务器。
本发明的方法所采用的技术方案是:一种多点控制单元集群方法,其特征在于,包括以下步骤:
步骤1:媒体处理服务器向媒体控制服务器注册,发送媒体处理服务器的媒体处理能力信息给媒体控制服务器;
步骤2:媒体控制服务器接收会议管理服务器发送的会议信息,进行会议调度,根据负载均衡原则,分配一个或多个媒体处理服务器给该会议,媒体控制服务器将相关会议信息发送给所分配的媒体处理服务器;
步骤3:终端与媒体控制服务器建立呼叫,媒体控制服务器将呼叫信息通知该会议的所有媒体处理服务器,并指定某个媒体处理服务器负责为该呼叫提供混音和多画面合成服务;
步骤4:媒体控制服务器检查到会议的媒体处理服务器不够用时,根据负载均衡原则,增加分配一个媒体处理服务器给该会议;
步骤5:媒体控制服务器将终端的媒体码流组播或单播给为该会议提供服务的所有媒体处理服务器,媒体处理服务器进行混音或多画面合成,将编码后的媒体流发给媒体控制服务器,再由媒体控制服务器转发给终端。
作为优选,步骤2中媒体控制服务器根据会议设置信息、终端呼叫情况、媒体处理服务器的处理能力以及媒体处理服务器的负载情况,根据负载均衡原则,将媒体处理服务器分配给会议;媒体控制服务器通知媒体处理服务器该会议音视频组播或单播接收地址,媒体处理服务器在该组播或单播地址接收会议中终端的音视频流;一个会议能分配多个媒体处理服务器,一个媒体处理服务器能分配给多个会议。
作为优选,步骤3中媒体控制服务器给每个呼叫分配一个内部唯一ID;媒体控制服务器根据当前会议使用的媒体处理服务器,从中选择一个负载最小的媒体处理服务器,将此呼叫分配给该媒体处理服务器,并通知该媒体处理服务器为此终端提供媒体服务;媒体控制服务器同时通知参与同一个会议的所有媒体处理服务器,该终端上线。
本发明还提供了一种多点控制单元集群系统的故障恢复方法,其特征在于,包括以下步骤:
步骤1:媒体处理服务器和媒体控制服务器之间每隔T1毫秒进行心跳检查;
步骤2:媒体控制服务器发现某个媒体处理服务器掉线后或者某个媒体处理服务器需要进行维护时候,媒体控制服务器将该媒体处理服务器上负责编码的呼叫信息保存到一个待处理链表中;
步骤3:媒体控制服务器定时或者当新的媒体处理服务器注册到媒体控制服务器上或者媒体处理服务器软件宕机后重新注册到媒体控制服务器上时候,媒体控制服务器检查待处理的呼叫链表,将会议和呼叫迁移到其它可用的媒体处理服务器上;
步骤4:媒体控制服务器每隔T2毫秒检查待处理的呼叫链表,如果终端呼叫没有分配到媒体处理服务器超过T3毫秒,才将终端挂断。
作为优选,步骤3中所述的媒体控制服务器检查待处理的呼叫链表,将会议和呼叫迁移到其它可用的媒体处理服务器上;首先检查该终端呼叫所在会议是否有空闲媒体处理端口的媒体处理服务器,如果没有的话,则先查询媒体控制服务器管理的所有媒体处理服务器链表,是否有空闲媒体处理端口的媒体处理服务器可以分配给该会议;如果会议占用的媒体处理服务器有空闲媒体处理端口,媒体控制服务器将该待处理呼叫分配到该媒体处理服务器上,通知媒体处理服务器并将该终端呼叫信息从待处理链表中去除。
本发明采用将媒体控制和媒体呼叫分离的方式,将不同会议和不同终端呼叫的媒体处理需求以负载均衡的方式分解到不同媒体处理服务器上进行处理。较现有技术方案相比,媒体流在MCU集群系统只需要经过一次编解码,能够有效的避免因MCU级联多次编解码造成的媒体时延和音视频质量损耗。同时系统保留了多画面合成功能,并能根据不同终端类型(编解码类型、视频分辨率和呼叫速率)提供不同编码质量的服务。
本发明的媒体处理服务器与媒体控制服务器之间交互消息较简单,媒体处理服务器与媒体处理服务器之间不需要进行任何交互,且会议管理服务器只需要管理一个媒体控制服务器,减少了MCU级联情况下会议管理服务器同时管理多个MCU以及各个MCU之间信息同步和媒体转发的需求,较现有技术方案相比更容易操作,有利于提高系统的可靠性。
本发明可以使用相对廉价的标准服务器搭建原先只能由昂贵的硬件设备或者高档服务器才能实现的大容量支持混音和多画面合成的多点控制单元,并且系统可根据容量需求随时增加媒体处理服务器,可以在线对系统扩容。用户不用为预留MCU容量多支付或者提前支付费用。
本发明当系统中某个媒体处理服务器出现故障或者需要进行系统维护时,该媒体处理服务器负责处理的会议和呼叫可以动态切换到其它可用的媒体处理服务器上,终端与媒体控制服务器的呼叫仍然保持连接状态,系统具备高可用性。
附图说明
图1:本发明实施例的系统原理图;
图2:本发明实施例的多画面合成和编码示意图原理图;
图3:本发明实施例的故障恢复处理流程示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种多点控制单元集群系统,包括一个媒体控制服务器(MCS)和多个媒体处理服务器MPS(MPS1、MPS2、MPS3和MPS4)。MCS负责终端呼叫接入、会议控制、媒体流转发、MPS的调度;MPS负责媒体流的处理,包括媒体流收发、音视频编解码、混音、多画面合成;MCS和MPS之间通过网络进行控制消息交互和媒体流的收发,一个MCS管理调度多个MPS,一个MPS可以为多个会议提供媒体处理服务;每个MPS与MCS之间都有信令通道和媒体通道,MPS与MPS之间没有任何联系。终端与MCS使用标准的H.323或SIP进行通信,每个终端与MCS之间有标准的信令通道和标准的RTP/RTCP媒体通道。
视频会议系统一般都设置有“会议管理服务器”和“呼叫管理服务器”,与本多点控制单元集群系统有接口关系。会议管理服务器提供会议管理功能:创建、删除、预约会议功能等;呼叫管理服务器提供会话控制的服务。
MCS用于接收会议管理服务器发送的会议信息;MCS用于接收MPS的注册消息及MPS的媒体处理能力信息;MCS还用于根据会议的信息调度会议,根据负载均衡原则或者其它规则选择一个或多个MPS为该会议提供媒体处理服务,并通知相应的MPS;MCS还用于根据终端呼叫或挂断(进入或离开会议),增加或减少为该会议提供媒体服务的MPS;MCS还用于接收终端的呼叫或者接收会议管理服务器发出的呼叫邀请信息,与终端建立呼叫连接,包括呼叫信令接收和媒体流收发;MCS还用于将接收到终端的音频流组播(Multicast)或者单播(Unicast)给参加该会议所有MPS;MCS还用于根据与会终端是否在合成的多画面中显示,来决定是否将接收到终端的视频流组播或者单播转发给参加该会议所有MPS;MCS还用于指定某个MPS为该终端提供混音和音频编码服务,并通知该MPS;MCS还用于指定某个MPS为该终端提供多画面合成和视频编码服务;MCS还用于对MPS进行心跳检查,一旦发现某个MPS掉线,立即将该MPS负责提供媒体处理服务的会议和终端呼叫,迁移到其它可用的MPS上,保证会议和呼叫不掉线;MCS还用于将MPS处理后音视频流转发给终端;MCS还用于指定为会议提供音频处理服务的某个MPS负责报告各终端的音量信息,进行语音激励和多画面合成的切换控制;MPS用于向MCS注册,报告自己的媒体处理能力;MPS还用于接收MCS的会议信息,根据会议信息,准备好媒体流的接收和发送;MPS还用于接收MCS传来的终端呼叫信息,根据呼叫信息,准备好相应的编解码类型和参数;MPS还用于接收MCS的会议控制信息,根据会议控制信息,进行混音或多画面合成的设置;MPS还用于接收MCS转发的来自终端的音频流,解码后进行混音,并将编码后音频流发给MCS;MPS还用于接收MCS转发的来自终端的视频流,解码后进行多画面合成,并将编码后的视频流发给MCS。
MCS接收会议管理服务器发送的会议设置信息。MPS上线后向MCS报告自己的处理能力。MCS根据会议设置信息、终端呼叫情况、MPS的处理能力以及MPS的负载情况,根据负载均衡原则或者其它规则,将MPS分配给会议。MCS通知MPS该会议音视频组播接收地址,MPS在该组播地址接收会议中终端的音视频流。一个会议可以分配多个MPS,一个MPS可以分配给多个会议。
H.323或者SIP终端直接或者通过呼叫管理服务器呼叫MCS,MCS也可以直接或者通过呼叫管理服务器呼叫H.323或SIP终端,建立呼叫连接和收发RTP媒体流。MCS给每个呼叫分配一个内部唯一ID。MCS根据当前会议使用的MPS,从中选择一个负载最小的MPS或者根据其它规则,将该呼叫分配给MPS,并通知该MPS为此终端提供媒体服务。MCS同时通知参与同一个会议的所有MPS,该终端上线。
MPS可以进一步分为不同类型:音频处理MPS和视频处理MPS。MCS可以选择一个音频MPS为终端提供混音和音频编码服务,可以选择一个视频MPS为终端提供多画面合成和视频编码服务。
下面分别就音频流和视频流的处理进行描述。
对于音频流的处理,当前MCU对音频都采用了混音的处理,即各终端将自己的音频编码数据发给MCU,由MCU选取最大的几路音频进行混音处理,再由MCU将混音数据进行编码后发给各个终端。发给某个终端的混音数据中,不包含终端自己那一路的音频。MCS收到终端音频流后,将收到的终端的媒体流,加上终端ID信息后,组播给参与该会议的所有音频处理MPS。MPS收到后根据媒体流里的终端ID信息,区分是哪个终端的音频流。如图1中所示,假定有终端Ta和Tb加入会议C,MPS1和MPS2参与会议C的音频处理,终端Ta由MPS1进行音频处理,终端Tb由MPS2进行音频处理。MPS1和MPS2都会收到终端Ta和Tb的音频流。MPS1和MPS2分别对终端Ta和Tb的音频流进行解码、能量判断、让后选取会议终端最大几路音频进行混音。MPS1将混音后数据去掉终端Ta的音频(如果Ta参与混音的话)使用终端Ta的解码类型进行编码,然后在媒体流上加上终端Ta的ID以及其它RTP包头需要的信息发给MCS。同样,MPS2将混音后数据去掉终端Tb的音频(如果Tb参与混音的话)使用终端Tb的解码类型进行编码,然后在媒体流上加上终端Tb的ID以及其它RTP包头需要的信息发给MCS。MCS收到MPS的音频码流后,去掉终端ID,进行RTP打包后发给ID对应的终端。
对于视频流的处理,当前MCU对视频都采用了多画面合成的处理,即各终端将自己的视频编码数据发给MCU,由MCU根据语音激励或者其它规则选取多画面的布局,MCU选取对应的几路终端视频进行多画面合成处理,再由MCU将多画面合成数据进行编码后发给各个终端。如图2所示,终端Ta和Tb加入会议C,会议中终端a和终端b都在合成的多画面中显示。假定终端Ta是1080P/2Mbps终端,Tb是720P/1Mbps终端。假定MPS1和MPS2参与会议C的视频处理,终端Ta由MPS1进行视频处理,终端Tb由MPS2进行视频处理。MCS收到终端a和终端b的视频流后,由于终端a和终端b都多画面中显示,MCS将终端a和终端b的视频流组播或者单播转发给MPS1和MPS2。MPS1和MPS2分别对终端Ta和Tb的视频频流进行解码、并根据MCS的设定的多画面大小和布局,进行多画面合成。对于MPS1来讲,由于终端a是1080P/2Mbps的高清终端,MPS1的为终端Ta进行媒体处理的画面大小是1080P,MPS1对1080P视频进行编码(编码速率2Mbps),然后在媒体流上加上终端Ta的ID以及其它RTP包头需要的信息发给MCS。同样,对于MPS2,由于终端b是720P/1Mbps的高清终端,MPS2为终端Tb进行媒体处理的的画面大小是720P,MPS2对720P视频进行编码(编码速率1Mbps),然后在媒体流上加上终端Tb的ID以及其它RTP包头需要的信息发给MCS。MCS收到MPS的音频码流后,去掉终端ID,进行RTP打包后发给ID对应的终端。最终,终端Ta收到的是一个1080P合成多画面,终端Tb收到的是720P合成多画面。
本发明提供的一种多点控制单元集群的方法,包括以下步骤:
步骤1:MPS向MCS注册,发送MPS的媒体处理能力信息给MCS;
步骤2:MCS根据会议设置信息、终端呼叫情况、MPS的处理能力以及MPS的负载情况,根据负载均衡原则或者其他原则,分配一个或多个MPS给该会议;MCS通知MPS该会议音视频组播接收地址,MPS在该组播地址接收会议中终端的音视频流;一个会议能分配多个MPS,一个MPS能分配给多个会议。
步骤3:终端与MCS建立呼叫,MCS将呼叫信息通知该会议的所有MPS,并指定某个MPS负责为该呼叫提供混音和多画面合成服务;MCS给每个呼叫分配一个内部唯一ID,MCS根据当前会议使用的MPS,从中选择一个负载最小的MPS,将该呼叫分配给MPS,并通知该MPS为此终端提供媒体服务;MCS同时通知参与同一个会议的所有MPS,该终端上线。
步骤4:MCS检查到会议的MPS不够用时,根据负载均衡原则或者其它规则,增加分配一个MPS给该会议;
步骤5:MCS将终端的媒体码流组播给为该会议提供服务的所有MPS,MPS进行混音或多画面合成,将编码后的媒体流发给MCS,再由MCS转发给终端。
请见图3,本发明还提供了一种多点控制单元集群系统的故障恢复方法,包括以下步骤:
步骤1:MPS向MCS注册,发送MPS的媒体处理能力信息给MCS;
步骤2:MPS和MCS之间每隔1秒进行心跳检查;
步骤3:MCS接收会议管理服务器发送的会议信息,进行会议调度,根据负载均衡原则或者其它规则,分配一个或多个MPS给该会议,MCS将相关会议信息发送给所分配的MPS;
步骤4:终端与MCS建立呼叫,MCS将呼叫信息通知该会议的所有MPS,并指定某个MPS负责为该呼叫提供混音和多画面合成服务;
步骤5:MCS检查到会议的MPS不够用时,根据负载均衡原则或者其它规则,增加分配一个MPS给该会议;
步骤6:MCS将终端的媒体码流组播或单播给为该会议提供服务的所有MPS,MPS进行混音或多画面合成,将编码后的媒体流发给MCS,再由MCS转发给终端;
步骤7:MCS发现某个MPS掉线后或者某个MPS需要进行维护时候,MCS将该MPS上负责编码的呼叫信息保存到一个待处理链表中;按照所述步骤3、4、5、6迁移到其它可用的MPS上,此时终端与MCS的呼叫仍然保持连接状态;
步骤8:MCS定时或者当新的MPS注册到MCS上时候,MCS检查待处理的呼叫链表,按照所述步骤3、4、5、6将会议和呼叫迁移到其它可用的MPS上;
步骤9:MCS每隔5秒检查待处理的呼叫链表,如果终端呼叫没有分配到MPS超过30秒,才将终端挂断。
本实施例中,MCS与MPS之间进行心跳检查,一旦MCS发现某个MPS掉线,立即将该MPS负责提供媒体处理服务的终端呼叫,保存到一个待分配MPS终端呼叫链表中。然后如图3所示,MCS依次从待分配MPS终端呼叫链表取出每个呼叫,首先检查该终端呼叫所在会议是否有空闲媒体处理端口的MPS,如果没有的话,则先查询MCS管理的所有MPS链表,是否有空闲媒体处理端口的MPS可以分配给该会议。如果会议占用的MPS有空闲媒体处理端口,MCS将该待处理呼叫分配到该MPS上,通知MPS并将该终端呼叫信息从待处理链表中去除。当有新的MPS注册到MCS上后或者MPS软件宕机后重新注册到MCS上,也会触发MCS检查待处理链表中是否有需要分配媒体处理资源的呼叫。如果待处理链表中的呼叫在一段时间内无法分配MPS,MCS则将挂断该呼叫。
在上述实施例的基础上,进一步地,MCS可以分解为逻辑两种逻辑服务器:仅负责处理信令和会议控制的MCS和仅负责媒体转发的MTS(媒体转发服务器)。同样,一个MCS管理多个MTS。MTS接收终端的RTP媒体数据,转发给MPS,然后将MPS处理后的媒体数据打包成标准的RTP媒体数据转发给终端。这样可以进一步降低MCS的负载和复杂度,提高MCS的可靠性和处理容量,同时将媒体转发处理分解到多个服务器上。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (11)

1.一种多点控制单元集群系统,其特征在于:包括媒体控制服务器和媒体处理服务器;所述的媒体控制服务器负责终端呼叫接入、会议控制、媒体流转发、媒体处理服务器的调度;所述的媒体处理服务器负责媒体流的处理,包括媒体流收发、音视频编解码、混音、多画面合成;所述的媒体控制服务器和媒体处理服务器之间通过网络进行控制消息交互和媒体流的收发。
2.根据权利要求1所述的多点控制单元集群系统,其特征在于:一个所述的媒体控制服务器管理调度若干个所述的媒体处理服务器;一个所述的媒体处理服务器能为若干个会议提供媒体处理服务;所述的媒体处理服务器能为一个会议中不同终端提供媒体处理服务。
3.根据权利要求1所述的多点控制单元集群系统,其特征在于:所述的媒体控制服务器还用于根据会议的信息调度会议,根据负载均衡原则选择一个或多个媒体处理服务器为该会议提供媒体处理服务,并通知相应的媒体处理服务器。
4.根据权利要求1所述的多点控制单元集群系统,其特征在于:所述的媒体控制服务器还用于指定某个媒体处理服务器为某个终端提供混音和音频编码服务,并通知该媒体处理服务器;所述的媒体控制服务器还用于指定某个媒体处理服务器为某个终端提供多画面合成和视频编码服务。
5.根据权利要求1所述的多点控制单元集群系统,其特征在于:所述的媒体控制服务器还用于接收终端的呼叫或者接收会议管理服务器发出的呼叫邀请信息,与终端建立呼叫连接,包括呼叫信令接收和媒体流收发;所述的媒体控制服务器还用于将接收到终端的音频流组播或者单播给参加该会议所有媒体处理服务器;所述的媒体控制服务器还用于根据与会终端是否在合成的多画面中显示,来决定是否将接收到终端的视频流组播或者单播转发给参加该会议所有媒体处理服务器;所述的媒体控制服务器还用于将媒体处理服务器处理后音视频流转发给终端;所述的媒体控制服务器还用于指定为会议提供音频处理服务的某个媒体处理服务器负责报告各终端的音量信息,进行语音激励和多画面合成的切换控制。
6.根据权利要求1所述的多点控制单元集群系统,其特征在于:所述媒体处理服务器还用于接收媒体控制服务器的会议信息,根据会议信息,准备好媒体流的接收和发送;所述的媒体处理服务器还用于接收媒体控制服务器传来的终端呼叫信息,根据呼叫信息,准备好相应的编解码类型和参数;所述的媒体处理服务器还用于接收媒体控制服务器的会议控制信息,根据会议控制信息,进行混音或多画面合成的设置;所述的媒体处理服务器还用于接收媒体控制服务器转发的来自终端的音频流,解码后进行混音,并将编码后音频流发给媒体控制服务器;所述的媒体处理服务器还用于接收媒体控制服务器转发的来自终端的视频流,解码后进行多画面合成,并将编码后的视频流发给媒体控制服务器。
7.一种利用权利要求1所述的多点控制单元集群系统进行多点控制单元集群的方法,其特征在于,包括以下步骤:
步骤1:媒体处理服务器向媒体控制服务器注册,发送媒体处理服务器的媒体处理能力信息给媒体控制服务器;
步骤2:媒体控制服务器接收会议管理服务器发送的会议信息,进行会议调度,根据负载均衡原则,分配一个或多个媒体处理服务器给该会议,媒体控制服务器将相关会议信息发送给所分配的媒体处理服务器;
步骤3:终端与媒体控制服务器建立呼叫,媒体控制服务器将呼叫信息通知该会议的所有媒体处理服务器,并指定某个媒体处理服务器负责为该呼叫提供混音和多画面合成服务;
步骤4:媒体控制服务器检查到会议的媒体处理服务器不够用时,根据负载均衡原则,增加分配一个媒体处理服务器给该会议;
步骤5:媒体控制服务器将终端的媒体码流组播或单播给为该会议提供服务的所有媒体处理服务器,媒体处理服务器进行混音或多画面合成,将编码后的媒体流发给媒体控制服务器,再由媒体控制服务器转发给终端。
8.根据权利要求7所述的方法,其特征在于:步骤2中媒体控制服务器根据会议设置信息、终端呼叫情况、媒体处理服务器的处理能力以及媒体处理服务器的负载情况,根据负载均衡原则将媒体处理服务器分配给会议;媒体控制服务器通知媒体处理服务器该会议音视频组播或单播接收地址,媒体处理服务器在该组播地址接收会议中终端的音视频流;一个会议能分配多个媒体处理服务器,一个媒体处理服务器能分配给多个会议。
9.根据权利要求7所述的方法,其特征在于:步骤3中媒体控制服务器给每个呼叫分配一个内部唯一ID;媒体控制服务器根据当前会议使用的媒体处理服务器,从中选择一个负载最小的媒体处理服务器,将此呼叫分配给该媒体处理服务器,并通知该媒体处理服务器为此终端提供媒体服务;媒体控制服务器同时通知参与同一个会议的所有媒体处理服务器,该终端上线。
10.一种多点控制单元集群系统的故障恢复方法,其特征在于,包括以下步骤:
步骤1:媒体处理服务器和媒体控制服务器之间每隔T1毫秒进行心跳检查;
步骤2:媒体控制服务器发现某个媒体处理服务器掉线后或者某个媒体处理服务器需要进行维护时候,媒体控制服务器将该媒体处理服务器上负责编码的呼叫信息保存到一个待处理链表中;
步骤3:媒体控制服务器定时或者当新的媒体处理服务器注册到媒体控制服务器上或者媒体处理服务器软件宕机后重新注册到媒体控制服务器上时候,媒体控制服务器检查待处理的呼叫链表,将会议和呼叫迁移到其它可用的媒体处理服务器上;
步骤4:媒体控制服务器每隔T2毫秒检查待处理的呼叫链表,如果终端呼叫没有分配到媒体处理服务器超过T3毫秒,才将终端挂断。
11.根据权利要求10所述的多点控制单元集群系统的故障恢复方法,其特征在于:步骤3中所述的媒体控制服务器检查待处理的呼叫链表,将会议和呼叫迁移到其它可用的媒体处理服务器上;首先检查该终端呼叫所在会议是否有空闲媒体处理端口的媒体处理服务器,如果没有的话,则先查询媒体控制服务器管理的所有媒体处理服务器链表,是否有空闲媒体处理端口的媒体处理服务器可以分配给该会议;如果会议占用的媒体处理服务器有空闲媒体处理端口,媒体控制服务器将该待处理呼叫分配到该媒体处理服务器上,通知媒体处理服务器并将该终端呼叫信息从待处理链表中去除。
CN201510456113.7A 2015-07-30 2015-07-30 一种多点控制单元集群系统及方法 Active CN105187760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510456113.7A CN105187760B (zh) 2015-07-30 2015-07-30 一种多点控制单元集群系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510456113.7A CN105187760B (zh) 2015-07-30 2015-07-30 一种多点控制单元集群系统及方法

Publications (2)

Publication Number Publication Date
CN105187760A true CN105187760A (zh) 2015-12-23
CN105187760B CN105187760B (zh) 2018-04-20

Family

ID=54909583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510456113.7A Active CN105187760B (zh) 2015-07-30 2015-07-30 一种多点控制单元集群系统及方法

Country Status (1)

Country Link
CN (1) CN105187760B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106559640A (zh) * 2016-11-10 2017-04-05 国网浙江省电力公司金华供电公司 两级mcu异地实时互备装置
CN107124575A (zh) * 2017-04-14 2017-09-01 苏州科达科技股份有限公司 一种媒体处理方法、装置及媒体服务器
CN108289187A (zh) * 2017-07-31 2018-07-17 深圳银澎云计算有限公司 网络直播接入视频会议方法及系统
WO2018196464A1 (zh) * 2017-04-24 2018-11-01 中兴通讯股份有限公司 基于软件媒体服务器的会议级联方法、服务器及存储介质
CN109743530A (zh) * 2019-01-10 2019-05-10 苏州华兴源创科技股份有限公司 多方视频会议方法及系统、服务器、计算机设备及介质
CN110636244A (zh) * 2018-06-25 2019-12-31 中兴通讯股份有限公司 一种视频会议服务器、系统、控制方法及存储介质
CN111669538A (zh) * 2020-06-17 2020-09-15 上海维牛科技有限公司 一种实时音视频动态合流技术
CN112637545A (zh) * 2021-03-08 2021-04-09 浙江华创视讯科技有限公司 统一会议平台系统、网关及会议管理和创建会议的方法
CN115113573A (zh) * 2022-08-16 2022-09-27 广州市保伦电子有限公司 一种数字会议主机及会议控制方法
CN115361361A (zh) * 2022-08-18 2022-11-18 上海赛连信息科技有限公司 视频会议迁会流控方法及其系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101471804A (zh) * 2007-12-28 2009-07-01 华为技术有限公司 一种音频处理方法、系统和控制服务器
CN101483758A (zh) * 2008-01-11 2009-07-15 天地阳光通信科技(北京)有限公司 一种视频监控系统与视频会议系统的融合系统
CN101488977A (zh) * 2009-03-09 2009-07-22 杭州华三通信技术有限公司 多点处理资源的调度方法及多点控制单元

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101471804A (zh) * 2007-12-28 2009-07-01 华为技术有限公司 一种音频处理方法、系统和控制服务器
CN101483758A (zh) * 2008-01-11 2009-07-15 天地阳光通信科技(北京)有限公司 一种视频监控系统与视频会议系统的融合系统
CN101488977A (zh) * 2009-03-09 2009-07-22 杭州华三通信技术有限公司 多点处理资源的调度方法及多点控制单元

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106559640A (zh) * 2016-11-10 2017-04-05 国网浙江省电力公司金华供电公司 两级mcu异地实时互备装置
CN107124575A (zh) * 2017-04-14 2017-09-01 苏州科达科技股份有限公司 一种媒体处理方法、装置及媒体服务器
EP3618349A4 (en) * 2017-04-24 2021-01-13 ZTE Corporation CONFERENCE CASCADE PROCESS BASED ON A SOFTWARE MULTIMEDIA SERVER, AS WELL AS SERVER AND STORAGE MEDIA
WO2018196464A1 (zh) * 2017-04-24 2018-11-01 中兴通讯股份有限公司 基于软件媒体服务器的会议级联方法、服务器及存储介质
CN108737480A (zh) * 2017-04-24 2018-11-02 中兴通讯股份有限公司 基于软件媒体服务器的会议级联方法、服务器及存储介质
CN108737480B (zh) * 2017-04-24 2022-08-16 中兴通讯股份有限公司 基于软件媒体服务器的会议级联方法、服务器及存储介质
CN108289187A (zh) * 2017-07-31 2018-07-17 深圳银澎云计算有限公司 网络直播接入视频会议方法及系统
CN110636244B (zh) * 2018-06-25 2022-03-29 中兴通讯股份有限公司 一种视频会议服务器、系统、控制方法及存储介质
CN110636244A (zh) * 2018-06-25 2019-12-31 中兴通讯股份有限公司 一种视频会议服务器、系统、控制方法及存储介质
CN109743530B (zh) * 2019-01-10 2020-10-20 苏州华兴源创科技股份有限公司 多方视频会议方法及系统、服务器、计算机设备及介质
CN109743530A (zh) * 2019-01-10 2019-05-10 苏州华兴源创科技股份有限公司 多方视频会议方法及系统、服务器、计算机设备及介质
CN111669538A (zh) * 2020-06-17 2020-09-15 上海维牛科技有限公司 一种实时音视频动态合流技术
CN112637545A (zh) * 2021-03-08 2021-04-09 浙江华创视讯科技有限公司 统一会议平台系统、网关及会议管理和创建会议的方法
CN112637545B (zh) * 2021-03-08 2021-06-08 浙江华创视讯科技有限公司 统一会议平台系统、网关及会议管理和创建会议的方法
CN115113573A (zh) * 2022-08-16 2022-09-27 广州市保伦电子有限公司 一种数字会议主机及会议控制方法
CN115113573B (zh) * 2022-08-16 2024-03-08 广东保伦电子股份有限公司 一种数字会议主机的会议控制方法
CN115361361A (zh) * 2022-08-18 2022-11-18 上海赛连信息科技有限公司 视频会议迁会流控方法及其系统
CN115361361B (zh) * 2022-08-18 2023-08-04 上海赛连信息科技有限公司 视频会议迁会流控方法及其系统

Also Published As

Publication number Publication date
CN105187760B (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN105187760A (zh) 一种多点控制单元集群系统及方法
CN101316351B (zh) 多点控制单元级联系统及其通信方法、装置
KR101555855B1 (ko) 다양한 참가 디바이스의 화상회의 방법 및 시스템
CN100454820C (zh) Mcu级联系统和该系统的创建及通信方法
CN101753961B (zh) 视频监控系统中会议的实现方法和视频监控会议系统
CN100568948C (zh) 分布式实时媒体创作器
CN101702722B (zh) 融合多业务的多媒体系统以及控制方法
CN1849824B (zh) 用于执行分布式视频会议的系统和方法
CN110971863B (zh) 一种多点控制单元跨区会议运行方法、装置、设备及系统
US9596433B2 (en) System and method for a hybrid topology media conferencing system
EP1112657A1 (en) A method of switching a call to a multipoint conference call in a h.323 communication compliant environment
CN105340215B (zh) 编码器的动态分配的方法和系统
CN101198008A (zh) 一种实现多屏多画面的方法和系统
CN111131759B (zh) 一种实时多媒体传输系统及其使用方法
CN101227584B (zh) 一种视频会议系统中管理媒体处理器的方法
US9497417B2 (en) Video conferencing with multipoint conferencing units and multimedia transformation units
US9264662B2 (en) Chat preauthorization
CN100454821C (zh) 一种视频会议系统多mcu之间资源共享的方法
US9338402B2 (en) Method and system for using mesh control for video conferencing bridges and cascading conferences
CN101719903A (zh) Ip多媒体子系统的实现多点控制单元级联的方法及装置
CN102006451A (zh) 在级联会议中实现多画面的方法、系统及mcu
CN108243320A (zh) 会议控制方法、装置及系统
CN108156413A (zh) 视频会议的传输方法及装置、mcu
CN103621064A (zh) 用于数据流分布式混合的设备和方法
WO2016086371A1 (zh) 一种会议资源调度的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant