CN111131759B - 一种实时多媒体传输系统及其使用方法 - Google Patents

一种实时多媒体传输系统及其使用方法 Download PDF

Info

Publication number
CN111131759B
CN111131759B CN201911393580.4A CN201911393580A CN111131759B CN 111131759 B CN111131759 B CN 111131759B CN 201911393580 A CN201911393580 A CN 201911393580A CN 111131759 B CN111131759 B CN 111131759B
Authority
CN
China
Prior art keywords
media
media service
unit
client
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911393580.4A
Other languages
English (en)
Other versions
CN111131759A (zh
Inventor
钱晓炯
刘谦
郑建
徐帅
龚宗耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juphoon Corp
Original Assignee
Juphoon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juphoon Corp filed Critical Juphoon Corp
Priority to CN201911393580.4A priority Critical patent/CN111131759B/zh
Publication of CN111131759A publication Critical patent/CN111131759A/zh
Application granted granted Critical
Publication of CN111131759B publication Critical patent/CN111131759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1073—Registration or de-registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1093—In-session procedures by adding participants; by removing participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Abstract

本发明一种实时多媒体传输系统，其特征在于：建立包括如下五个部分的媒体传输构架：媒体发布源、媒体服务单元、媒体订阅端、媒体发布订阅端和群组控制单元；群组控制单元负责实时通信群组的会话管理；群组控制单元负责对媒体发布源进行注册登记或注销，当有媒体发布源注册登记后，为其建立一个实时通信群组，同时还会主动为该实时通信群组生成一个媒体服务管理单元，群组控制单元还能在媒体服务管理单元的请求下生成新的媒体服务单元或删除某一个媒体服务单元。与现有技术相比，本发明的优点在于：建立的媒体传输构架，可以实现小型直连会议和大型网络会议，可以节省网络流量资源，又可动态扩充至多人参与的大型实时互动会议。

Description

一种实时多媒体传输系统及其使用方法
技术领域
本发明涉及一种实时多媒体传输系统及其使用方法。
背景技术
传统的视频会议数据传输方式主要有Mesh方式、基于MCU的媒体服务器方式和基于SFU的媒体服务器方式。Mesh方式在多方音视频交互中，全部采用P2P结构，这种结构比较适用于参与方比较少的情况(2～3方)，对于参与方多的情况，由于终端需要较大的上行带宽，会导致通信效果下降，参见附图1所示。MCU(Multi-point Control Unit)是媒体服务器的一种结构，终端上传媒体到MCU后，MCU会将多个媒体流解码、混屏、编码后再发给各个终端，如果每个终端的订阅不一样，则需要为每个终端“单独”编码，因此MCU通常是计算能力较强的服务器来实现，其好处是混屏、编码后的视频只有一路流，压缩率能够提高，缺点是MCU计算量太大，规模部署成本很高，额外的解码、混屏、编码工作也为引入额外的延迟(几十毫秒到上百毫秒)，参见图2所示。SFU(Selective Forwarding Unit)也是媒体服务器的一种结构，终端上传媒体流(通常是SVC或Simulcast)到SFU后，SFU根据其它不同终端的订阅需求和可用带宽约束选择性的发送媒体流，其好处是服务器负载低，部署成本较低，甚至便于在计算能力较低的终端实现借路，延迟也比MCU要低；但相对MCU，上行SVC或Simulcast压缩效率要低于单路流(估计差10％～50％)；如果终端订阅很多路，下行多路没有合并的流的压缩效率也会降低(估计差10％～100％)。
基于MCU或基于SFU的视频架构，可以实现多人参与的大型视频会议，其传输构架是一种星形结构，MCU媒体服务器或SFU作为媒体服务器处于星形结构的中心节点分发媒体数据给各个终端。如果将多个星形结构连接，则可组合为更加复杂的视频会议结构，可实现分会场及扩容等功能。但是这种结构中间必须有一个媒体服务器，即MCU媒体服务器或SFU媒体服务器，如果视频会议中只有两个人，也经过服务器，无法做到P2P直连，成本较高；而且很多时候(70％的情况)P2P的网络质量是优于服务器中转，服务器中转至少增加了一次转发，因此效果上可能也不如P2P。另外，这种星形结构对于链路优化也比较困难，例如，由于终端可能分布在全球不同地区，某终端上行到媒体服务器的链路质量欠佳，导致其它终端订阅这个终端的媒体质量无法保证。
而基于P2P的视频架构，只适用于小型视频会议系统，比如浏览器的WebRTC通过多方建立点对点连接实现小型的视频会议，不需要媒体服务器；但这种点对点直连的结构不适合较大型的会议(比如超过7人)，因为每个终端都必须向对端传送媒体，导致上行压力过大。
发明内容
本发明所要解决的首要技术问题是针对上述现有技术提供一种能实现小型直连会议、还能实现大型网络会议，同时还能节省网络流量资源的实时多媒体传输系统。
本发明进一步所要解决的技术问题是针对上述现有技术提供一种能实现小型直连会议、还能实现大型网络会议，同时还能节省网络流量资源的实时多媒体传输系统的使用方法。
本发明解决上述技术问题所采用的技术方案为：一种实时多媒体传输系统，其特征在于：建立包括如下五个部分的媒体传输构架：
媒体发布源，能够将自身采集的媒体流发出，媒体流包括以下内容之一或任意组合：音频，视频，及时信息、文件图；
媒体服务单元，能从媒体发布源或其他媒体服务单元订阅媒体流，并能将接收到的媒体流分发出去；媒体服务单元能运行在终端，也能运行在服务器端；媒体服务单元具有传输网络的Qos服务功能，媒体服务单元还具有能对分发的媒体流进行动态管理功能；
媒体订阅端，能从媒体服务单元订阅媒体流；
媒体发布订阅端，能作为媒体发布源，将自身采集的媒体流发送给其他的媒体服务单元；也能从媒体服务单元订阅媒体流，然后对媒体流进行处理，再将处理后的媒体流发送出去，这里的处理包括以下内容之一或任意组合：混屏、编码、解码、选屏、滤波；
群组控制单元，负责实时通信群组的会话管理，实时通信群组为以下任意一种：视频会议、视频直播、视频培训、视频游戏，实时通信群组的用户包括：媒体发布源或媒体发布订阅端、媒体服务单元、媒体订阅端；群组控制单元负责对媒体发布源进行注册登记或注销，当有媒体发布源注册登记后，为其建立一个实时通信群组，同时还会主动为该实时通信群组生成一个媒体服务管理单元；所述媒体服务管理单元同时具有媒体服务单元的所有功能，群组控制单元还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行管理，另外，媒体服务管理单元还会通知群组控制单元当前媒体发布源对应的可订阅的媒体服务单元列表，并且媒体服务管理单元还负责向加入该实时通信群组的媒体订阅端发布能被订阅媒体流的媒体服务单元列表。
客户使用所述媒体传输构架时，采用如下两种模式：
基本模式：
客户端注册媒体发布源，并通过网络连接到群组控制单元，发布自己具有发出媒体流的媒体能力，群组控制单元为其建立一个实时通信群组，同时马上生成一个媒体服务管理单元来负责管理这个实时通信群组，同时群组控制单元还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行资源管理和调度；
混合模式：
客户端作为媒体发布订阅端向群组控制单元注册媒体发布源，并通过网络连接到群组控制单元，发布自己具有发出和订阅媒体流的媒体能力，群组控制单元为其建立一个实时通信群组，同时马上生成一个媒体服务管理单元来负责管理这个实时通信群组，此时客户端作为媒体发布订阅端，既能从媒体服务单元订阅媒体流，还能对媒体流进行处理，再将处理后的媒体流发送出去；同时群组控制单元还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行资源管理和调度；
而媒体服务单元的资源管理和调度策略包括：
(1)、生成就近原则，生成的媒体服务管理单元和媒体服务单元应该尽量离媒体发布源接近，距离由IP地址距离、物理距离和经过实际测量的数据得到；在同样离媒体发布源接近的多个媒体服务单元中，再挑选跟媒体订阅端距离近的媒体服务单元；
(2)、分配就近原则，从已有的媒体服务单元分配，优先选择离媒体订阅端近的媒体服务单元；
(3)、资源预留，当媒体服务单元与媒体订阅端建立直接连接后，需要一定的吞吐资源，因此预留部分存储资源，以便扩展；
(4)、动态扩展，当与媒体服务单元建立直接连接的媒体订阅端数量超过预设值后，生成新的下级媒体服务单元，并将新增的媒体订阅端与新的下级媒体服务单元建立直接连接；
(5)、动态收缩，当与下级媒体服务单元建立直接连接的媒体订阅端数量少于预设值后，将多个与下级媒体服务单元建立直接连接的媒体订阅端均与其上级的媒体服务单元建立直接连接；
(6)、尽量减少切换原则，动态扩展和动态收缩的切换最小周期超过1分钟。
所述群组控制单元对媒体发布源进行注册登记时，通过JMP协议栈或Restful协议栈或SIP协议栈进行管理，将媒体发布源向群组控制单元发起注册请求的原语定义为SrcRegister，SrcRegister的具体内容包括srcID、sessionID、srcAddr、srcPubIP、SDP、capacity、load、defaultMSU；
其中，srcID为媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；srcAddr表示的是媒体发布源的源地址，媒体发布源的源地址为媒体发布源的IP地址或媒体发布源的ARC router地址或媒体发布源提供的URL；srcPubIP表示的是服务器看到的媒体发布源的公网IP地址，用来判断是否需要做网络分流优化；SDP为媒体流的描述语；capacity表示媒体发布源的可用发送带宽；load表示媒体发布源发送当前媒体流所需要的最大码率；defaultMSU表示的是媒体发布源是否默认自带一个媒体服务单元；
所述群组控制单元能对媒体发布源进行注销，将媒体发布源向群组控制单元申请注销的原语定义为SrcUnregister，SrcUnregister的具体内容包括srcID、sessionID、reason，其中srcID为媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；reason表示注销原因；当群组控制单元对媒体发布源注销后，随即释放为其生成的媒体服务管理单元。
所述群组控制单元在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元时，群组控制单元会根据媒体发布源的源地址和媒体服务管理单元的地址根据优先级选项分配新的媒体服务单元；
将媒体服务管理单元向群组控制单元请求新的媒体服务单元的原语定义为NewMSU，NewMSU的具体内容包括srcID、sessionID、subsID、priority；其中srcID表示的是媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；subsID表示的是媒体订阅端的ID；priority表示的是新分配的媒体服务单元位置的优先级，具体包括：离媒体发布源近、离某个媒体订阅端近、成本优先、质量优先；
媒体服务管理单元为媒体发布源向群组控制单元请求新的媒体服务单元时，默认选择离媒体发布源最近的媒体服务单元，如果有subsID，则在距离媒体发布源最近的媒体服务单元集合中选择跟媒体订阅端距离近的；如果priority选择优先离某个媒体订阅端近，则会优先在媒体订阅端所在局域网内查找媒体服务单元；
所述群组控制单元在媒体服务管理单元的请求下为媒体发布源请求删除某一个媒体服务单元时，媒体服务管理单元告诉群组控制单元需要删除的媒体服务单元，媒体服务单元为媒体发布源释放这个媒体服务单元；将媒体服务管理单元向群组控制单元请求删除某一个媒体服务单元的原语定义为DeleteMSU，DeleteMSU的具体内容包括MsuID、sessionID，其中MsuID为请求删除的媒体服务单元的ID，sessionID表示某个实时通信群组的会话ID标识。
所述媒体服务管理单元在通知群组控制单元当前媒体发布源对应的可订阅的媒体服务单元列表时，按优先级排序；将媒体服务管理单元通知群组控制单元当前媒体发布源对应的可订阅的媒体服务单元列表的原语定义为UpdateSrcMSU，UpdateSrcMSU的具体内容包括：srcID、sessionID、msuList，其中srcID表示的是媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；msuList表示当前媒体发布源对应的可订阅的媒体服务单元列表；当媒体订阅端与被订阅的媒体服务管理单元建立连接后，后续的媒体服务单元的资源调度由媒体服务管理单元接管。
所述媒体订阅端需要订阅媒体流时，需要通过向群组控制单元请求一个或多个媒体发布源资源；将媒体订阅端向群组控制单元请求媒体发布源资源的原语定义为resourceList SubsRequest，resourceList SubsRequest的具体内容包括subsID、subsAddr、sessionID、srcList，其中subsID表示的是媒体订阅端的ID；subsAddr表示的是媒体订阅端的源地址，媒体订阅端的源地址为媒体订阅端的IP地址或媒体订阅端的ARCrouter地址或媒体订阅端提供的URL；sessionID表示某个实时通信群组的会话ID标识；srcList表示媒体订阅端请求的媒体发布源列表；如果srcList为空，则返回与当前sessionID关联的所有注册的媒体发布源列表；
当媒体订阅端取消订阅媒体流时，群组控制单元进行相应更新，并通知各个媒体服务管理单元。
所述当有新的媒体发布源加入或有媒体发布源退出时，群组控制单元自动更新媒体发布源列表；群组控制单元还会定期向实时通信群组中的成员更新媒体发布源列表，群组控制单元向媒体订阅端发送的原语为UpdateResource，UpdateResource的具体内容包括：sessionID、resourceList、syncMagic，其中sessionID表示媒体发布源启动的实时通信群组的会话ID标识；resourceList表示更新的媒体发布源列表，包括新增、删除和更新后的媒体发布源列表；syncMagic为一个校验值，通过srcID和媒体服务单元地址进行异或运算得到，如果订阅方运算的值跟syncMagic一致，说明同步成功；如果不一致，则再主动同步一次；srcID为媒体发布源的ID。
所述媒体服务管理单元会主动通知媒体订阅端当前应使用哪些媒体服务单元获取媒体流；当媒体服务管理单元发现当前媒体订阅端需要优化路径时，会通知对应的媒体订阅端获取新的媒体服务单元列表；
媒体服务单元能向媒体服务管理单元发送自身当前状态；
群组控制单元会定时向媒体服务管理单元更新媒体订阅端列表。
本发明解决上述进一步技术问题所采用的技术方案为：一种具有上述结构的实时多媒体传输系统的使用方法，通过如下步骤实现P2P小型会议无缝转换为多人参与的大型网络会议：
步骤1、第一客户端向群组控制单元注册媒体发布源，群组控制单元登记这个媒体发布源；
步骤2、群组控制单元为第一客户端建立一个实时通信群组，并为其分配一个或多个媒体服务单元，其中一个媒体服务单元优先运行在第一客户端上；同时马上根据第一客户端的位置分配一个媒体服务管理单元，由媒体服务管理单元负责对第一客户端发出的媒体流进行管理；
步骤3、第二客户端向群组控制单元请求加入第一客户端所在的实时通信群组，群组控制单元(GCU)向第二客户端返回可被订阅媒体流的媒体服务单元列表；由于运行在第一客户端上的媒体服务单元没有被订阅过，因此运行在第一客户端上的媒体服务单元的优先级排在第一，媒体服务管理单元的优先级排在第二；
步骤4、第二客户端向运行在第一客户端上的媒体服务单元请求媒体流，媒体流即直接从运行在第一客户端上的媒体服务单元发向第二客户端，此时P2P传输就建立起来了；
步骤5、当第三客户端也向群组控制单元请求加入第一客户端所在的实时通信群组，群组控制单元向第三客户端返回可被订阅媒体流的媒体服务单元列表；由于运行在第一客户端上的媒体服务单元已经被订阅过，因此运行在第一客户端上的媒体服务单元的优先级排在第二，媒体服务管理单元的优先级排在第一；
步骤6、第三客户端向媒体服务管理单元请求媒体流；
步骤7、媒体服务管理单元发现有人在向它请求媒体流，媒体服务管理单元立即向第一客户端请求媒体流，然后将第一客户端发来的媒体流数据转发给第三客户端；
步骤8、媒体服务管理单元通过动态计算，如果发现第二客户端比较适合从媒体服务管理单元获取媒体流，于是媒体服务管理单元通知第二客户端更新获取媒体流的源地址；然后第二客户端会向媒体服务管理单元请求媒体流，媒体服务管理单元将收到第一客户端的媒体流转发给第二客户端；
步骤9、当有新的客户端向群组控制单元请求加入第一客户端所在的实时通信群组后，按照步骤3至步骤8的方式同样执行。
再改进，当实时通信群组中有多个媒体订阅端处于同一个局域网内，即这些多个媒体订阅端订阅的媒体流的公网IP相同，此时管理该媒体服务管理单元会通过群组控制单元获取所有这些媒体订阅端的信息，包括媒体订阅端的ID，媒体订阅端的自身地址，以及媒体订阅端的公网IP，然后在这些媒体订阅端中生成一个新的下级媒体服务单元，然后所有处于同一个局域网内的媒体订阅端通过该下级媒体服务单元来获取媒体流。
与现有技术相比，本发明的优点在于：建立的媒体传输构架，可以实现小型直连会议和大型网络会议，可以节省网络流量资源，又可动态扩充至多人参与的大型实时互动会议。
附图说明
图1为现有技术中Mesh传输方式框图；
图2为现有技术中MCU传输方式框图
图3为现有技术中SFU传输方式框图
图4为本发明实施例中基本模式下实时多媒体传输系统的框图实例；
图5为本发明实施例中混合模式下实时多媒体传输系统的框图实例；
图6为本发明实施例中多个基本模式混合下的实时多媒体传输系统的框图；
图7为本发明实施例中实现P2P小型会议无缝转换为多人残垣的大型网络会议的实时多媒体传输系统的框图；
图8为本发明实施例中实现媒体服务单元的海量互动扩展的实时多媒体传输系统的框图。
图9为本发明实施例中媒体服务单元对传输网络进行优化时的实时多媒体传输系统的框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提供了一种实时多媒体传输系统，首先需要建立包括如下五个部分的媒体传输构架：
媒体发布源(在附图中简称为Src)，能够将自身采集的媒体流发出，媒体流包括以下内容之一或任意组合：音频，视频，及时信息、文件图；媒体发布源Src可以是一个手机终端或PC终端，也可以是一个能够混屏的MCU服务端；
媒体服务单元(在附图中简称为MSU)，能从媒体发布源或其他媒体服务单元订阅媒体流，并能将接收到的媒体流分发出去；媒体服务单元能运行在手机终端或PC终端，也能运行在服务器端，如果运行在手机终端或PC终端，则可实现P2P直连能力，运行在服务器端，可实现多人网络会议，其能够将实时媒体流分发给多个不同的媒体订阅端力；媒体服务单元具有传输网络的Qos服务功能，媒体服务单元还具有能对分发的媒体流进行动态管理功能；
媒体订阅端，在附图中简称为Subs，能从媒体服务单元订阅媒体流；媒体订阅端Subs可以是一个手机终端或PC终端，也可以是一个能够混屏的MCU服务端；如果媒体服务单元MSU直接运行在媒体发布源Src上，则实现了实现P2P直连能力；
媒体发布订阅端(在附图中简称为SS)，媒体发布订阅端SS是媒体发布源Src以及媒体订阅端Subs的组合，既能作为媒体发布源，将自身采集的媒体流发送给其他的媒体服务单元；也能作为媒体订阅端Subs，从媒体服务单元订阅媒体流；不同的是媒体发布订阅端SS能对从媒体服务单元MSU订阅的媒体流进行处理，再将处理后的媒体流发送出去，这里的处理包括以下内容之一或任意组合：混屏、编码、解码、选屏、滤波；
群组控制单元(在附图中简称为GCU)，负责实时通信群组的会话管理，实时通信群组为以下任意一种：视频会议、视频直播、视频培训、视频游戏，实时通信群组的用户包括：媒体发布源或媒体发布订阅端、媒体服务单元、媒体订阅端；群组控制单元负责对媒体发布源进行注册登记或注销，当有媒体发布源注册登记后，为其建立一个实时通信群组，同时还会主动为该实时通信群组生成一个媒体服务管理单元(在附图中简称为Main MSU)；所述媒体服务管理单元同时具有媒体服务单元的所有功能，群组控制单元GCU还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行管理，另外，媒体服务管理单元Main MSU还会通知群组控制单元GCU当前媒体发布源对应的可订阅的媒体服务单元列表，并且媒体服务管理单元Main MSU还负责向加入该实时通信群组的媒体订阅端Subs发布能被订阅媒体流的媒体服务单元列表；。
客户在使用上述媒体传输构架进行多媒体实时传输时，一般采用如下两种模式：
基本模式：
客户端注册媒体发布源，并通过网络连接到群组控制单元，发布自己具有发出媒体流的媒体能力，群组控制单元为其建立一个实时通信群组，同时马上生成一个媒体服务管理单元Main MSU来负责管理这个实时通信群组，同时群组控制单元GCU还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行资源管理和调度；由于媒体发布源所在的客户终端一开始就运行有媒体服务单元MSU，同时媒体服务管理单元Main MSU在注册后也存在，如果后续有许多媒体订阅端订阅这个媒体发布源发布的媒体流，则能够很快响应，参见图4所示；
混合模式：
客户端作为媒体发布订阅端向群组控制单元GCU注册媒体发布源，并通过网络连接到群组控制单元，发布自己具有发出和订阅媒体流的媒体能力，群组控制单元为其建立一个实时通信群组，同时马上生成一个媒体服务管理单元来负责管理这个实时通信群组，此时客户端作为媒体发布订阅端，既能从媒体服务单元订阅媒体流，还能对媒体流进行处理，再将处理后的媒体流发送出去；同时群组控制单元GCU还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行资源管理和调度；该模式适用于一些需要混屏的场景中，比如把多方视频通话订阅后合成实时传输消息RTMP推送给分发网络CDN，或者接入第三方标准客户端，参见图如图5，在媒体发布订阅端SS上运行一个媒体服务单元MSU，此时媒体发布订阅端SS既能订阅多路媒体进来，又能发布媒体流给Record录制器，同时它也能发布给第三方SIP终端。
本发明还可以扩展到多个实时多媒体传输系统同时存在的情况，此时，处于一个实时多媒体传输系统内的媒体服务单元还能向另外一个实时多媒体传输系统内的媒体服务单元订阅媒体流，参见图6所示。
媒体服务单元的资源管理和调度策略包括：
(1)、生成就近原则，生成的媒体服务管理单元Main MSU和媒体服务单元MSU应该尽量离媒体发布源接近，距离由IP地址距离、物理距离和经过实际测量的数据得到；在同样离媒体发布源接近的多个媒体服务单元中，再挑选跟媒体订阅端距离近的媒体服务单元；
(2)、分配就近原则，从已有的媒体服务单元MSU分配，优先选择离媒体订阅端近的媒体服务单元MSU；
(3)、资源预留，当媒体服务单元MSU与媒体订阅端Subs建立直接连接后，需要一定的吞吐资源，因此预留部分存储资源，以便扩展；
(4)、动态扩展，当与媒体服务单元建立直接连接的媒体订阅端数量超过预设值后，生成新的下级媒体服务单元，并将新增的媒体订阅端与新的下级媒体服务单元建立直接连接；
(5)、动态收缩，当与下级媒体服务单元建立直接连接的媒体订阅端数量少于预设值后，将多个与下级媒体服务单元建立直接连接的媒体订阅端均与其上级的媒体服务单元建立直接连接；
(6)、尽量减少切换原则，动态扩展和动态收缩的切换最小周期超过1分钟。
所述群组控制单元GCU对媒体发布源Src进行注册登记时，通过JMP协议栈或Restful协议栈或SIP协议栈进行管理，将媒体发布源Src向群组控制单元GCU发起注册请求的原语定义为SrcRegister，SrcRegister的具体内容包括srcID、sessionID、srcAddr、srcPubIP、SDP、capacity、load、defaultMSU；
其中，srcID为媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；srcAddr表示的是媒体发布源的源地址，媒体发布源的源地址为媒体发布源的IP地址或媒体发布源的ARC router地址或媒体发布源提供的URL；srcPubIP表示的是服务器看到的媒体发布源的公网IP地址，用来判断是否需要做网络分流优化；SDP为媒体流的描述语；capacity表示媒体发布源的可用发送带宽；load表示媒体发布源发送当前媒体流所需要的最大码率；defaultMSU表示的是媒体发布源是否默认自带一个媒体服务单元；
所述群组控制单元GCU能对媒体发布源Src进行注销，将媒体发布源向群组控制单元申请注销的原语定义为SrcUnregister，SrcUnregister的具体内容包括srcID、sessionID、reason，其中srcID为媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；eason表示注销原因；当群组控制单元GCU对媒体发布源Src注销后，随即释放为其生成的媒体服务管理单元Main MSU。
群组控制单元GCU在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元时，群组控制单元会根据媒体发布源的源地址和媒体服务管理单元的地址根据优先级选项分配新的媒体服务单元；
将媒体服务管理单元Main MSU向群组控制单元GCU请求新的媒体服务单元MSU的原语定义为NewMSU，NewMSU的具体内容包括srcID、sessionID、subsID、priority；其中srcID表示的是媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；subsID表示的是媒体订阅端的ID；priority表示的是新分配的媒体服务单元位置的优先级，具体包括：离媒体发布源近、离某个媒体订阅端近、成本优先、质量优先；
媒体服务管理单元为媒体发布源向群组控制单元请求新的媒体服务单元时，默认选择离媒体发布源最近的媒体服务单元，如果有subsID，则在距离媒体发布源最近的媒体服务单元集合中选择跟媒体订阅端距离近的；如果priority选择优先离某个媒体订阅端近，则会优先在媒体订阅端所在局域网内查找媒体服务单元；
所述群组控制单元GCU在媒体服务管理单元Main MSU的请求下为媒体发布源请求删除某一个媒体服务单元时，媒体服务管理单元告诉群组控制单元需要删除的媒体服务单元，媒体服务单元为媒体发布源释放这个媒体服务单元；将媒体服务管理单元向群组控制单元请求删除某一个媒体服务单元的原语定义为DeleteMSU，DeleteMSU的具体内容包括MsuID、sessionID，其中MsuID为请求删除的媒体服务单元的ID，sessionID表示某个实时通信群组的会话ID标识。
媒体服务管理单元Main MSU在通知群组控制单元GCU当前媒体发布源对应的可订阅的媒体服务单元列表时，按优先级排序；将媒体服务管理单元Main MSU通知群组控制单元当GCU前媒体发布源对应的可订阅的媒体服务单元列表的原语定义为UpdateSrcMSU，UpdateSrcMSU的具体内容包括：srcID、sessionID、msuList，其中srcID表示的是媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；msuList表示当前媒体发布源对应的可订阅的媒体服务单元列表；当媒体订阅端与被订阅的媒体服务管理单元建立连接后，后续的媒体服务单元的资源调度由媒体服务管理单元接管。
媒体订阅端Subs需要订阅媒体流时，需要通过向群组控制单元GCU请求一个或多个媒体发布源资源；将媒体订阅端向群组控制单元请求媒体发布源资源的原语定义为resourceList SubsRequest，resourceList SubsRequest的具体内容包括subsID、subsAddr、sessionID、srcList，其中subsID表示的是媒体订阅端的ID；subsAddr表示的是媒体订阅端的源地址，媒体订阅端的源地址为媒体订阅端的IP地址或媒体订阅端的ARCrouter地址或媒体订阅端提供的URL；sessionID表示某个实时通信群组的会话ID标识；srcList表示媒体订阅端请求的媒体发布源列表；如果srcList为空，则返回与当前sessionID关联的所有注册的媒体发布源列表；
当媒体订阅端取消订阅媒体流时，群组控制单元进行相应更新，并通知各个媒体服务管理单元。
当有新的媒体发布源加入或有媒体发布源退出时，群组控制单元自动更新媒体发布源列表；群组控制单元还会定期向实时通信群组中的成员更新媒体发布源列表，群组控制单元向媒体订阅端发送的原语为UpdateResource，UpdateResource的具体内容包括：sessionID、resourceList、syncMagic，其中sessionID表示媒体发布源启动的实时通信群组的会话ID标识；resourceList表示更新的媒体发布源列表，包括新增、删除和更新后的媒体发布源列表；syncMagic为一个校验值，通过srcID和媒体服务单元地址进行异或运算得到，如果订阅方运算的值跟syncMagic一致，说明同步成功；如果不一致，则再主动同步一次；srcID为媒体发布源的ID。
媒体服务管理单元会主动通知媒体订阅端当前应使用哪些媒体服务单元获取媒体流；当媒体服务管理单元发现当前媒体订阅端需要优化路径时，会通知对应的媒体订阅端获取新的媒体服务单元列表；
媒体服务单元能向媒体服务管理单元发送自身当前状态；
群组控制单元会定时向媒体服务管理单元更新媒体订阅端列表。
上述实时多媒体传输系统在使用时，通过如下步骤实现P2P小型会议无缝转换为多人参与的大型网络会议，框图参见图7所示：
步骤1、第一客户端向群组控制单元GCU注册媒体发布源Src，群组控制单元GCU登记这个媒体发布源Src；
步骤2、群组控制单元GCU为第一客户端建立一个实时通信群组，并为其分配一个或多个媒体服务单元，其中一个媒体服务单元优先运行在第一客户端上；同时马上根据第一客户端的位置分配一个媒体服务管理单元Main MSU，由媒体服务管理单元Main MSU负责对第一客户端发出的媒体流进行管理；
步骤3、第二客户端向群组控制单元GCU请求加入第一客户端所在的实时通信群组，群组控制单元GCU向第二客户端返回可被订阅媒体流的媒体服务单元列表；由于运行在第一客户端上的媒体服务单元没有被订阅过，因此运行在第一客户端上的媒体服务单元的优先级排在第一，媒体服务管理单元的优先级排在第二；
步骤4、第二客户端向运行在第一客户端上的媒体服务单元请求媒体流，媒体流即直接从运行在第一客户端上的媒体服务单元发向第二客户端，此时P2P传输就建立起来了；
步骤5、当第三客户端也向群组控制单元GCU请求加入第一客户端所在的实时通信群组，群组控制单元GCU向第三客户端返回可被订阅媒体流的媒体服务单元列表；由于运行在第一客户端上的媒体服务单元已经被订阅过，因此运行在第一客户端上的媒体服务单元的优先级排在第二，媒体服务管理单元的优先级排在第一；
步骤6、第三客户端向媒体服务管理单元请求媒体流；
步骤7、媒体服务管理单元发现有人在向它请求媒体流，媒体服务管理单元立即向第一客户端请求媒体流，然后将第一客户端发来的媒体流数据转发给第三客户端；
步骤8、媒体服务管理单元通过动态计算，如果发现第二客户端比较适合从媒体服务管理单元获取媒体流，于是媒体服务管理单元通知第二客户端更新获取媒体流的源地址；然后第二客户端会向媒体服务管理单元请求媒体流，媒体服务管理单元将收到第一客户端的媒体流转发给第二客户端；
步骤9、当有新的客户端向群组控制单元GCU请求加入第一客户端所在的实时通信群组后，按照步骤3至步骤8的方式同样执行。
上述实时多媒体传输系统在使用时，还能实现媒体服务单元的海量互动扩展：
通常海量的媒体服务指的是一个会话中少数(通常只有1～2个，不超过10几个)的媒体发布源Src被许多(可能有几千上万)媒体订阅端Subs订阅，参见图8，一开始媒体订阅端Subs少于50，多数订阅方向由媒体服务管理单元main MSU分发，在后续媒体订阅端不断增加的过程中，媒体服务管理单元会动态向群组控制单元GCU申请分配下级媒体服务单元，通过二级转发实现动态扩容；在媒体服务管理单元main MSU出口达到较高的负载(比如最高容量的80％)时，会需要动态的将直接连接于main MSU的媒体订阅端Subs重新定向于下级媒体服务单元L2 MSU，以便留出位置给新的更多的下级媒体服务单元L2 MSU。
当实时通信群组中有多个媒体订阅端处于同一个局域网内，即这些多个媒体订阅端订阅的媒体流的公网IP相同，此时管理该媒体服务管理单元会通过群组控制单元(GCU)获取所有这些媒体订阅端的信息，包括媒体订阅端的ID，媒体订阅端的自身地址，以及媒体订阅端的公网IP，然后在这些媒体订阅端中生成一个新的下级媒体服务单元，然后所有处于同一个局域网内的媒体订阅端通过该下级媒体服务单元来获取媒体流，参见图9所示。
新架构便于会议资源控制服务对传输网络进行优化，针对不同场景需求实现灵活的分会场。
新架构考虑了不同类型的媒体和信令接入协议，可用统一的架构实现动态多协议接入，确保灵活性的同时，提升资源优化能力、提升可维护性以及提升可扩展性。

Claims (10)

1.一种实时多媒体传输系统，其特征在于：建立包括如下五个部分的媒体传输构架：
媒体发布源(Src)，能够将自身采集的媒体流发出，媒体流包括以下内容之一或任意组合：音频，视频，及时信息、文件图；
媒体服务单元(MSU)，能从媒体发布源或其他媒体服务单元订阅媒体流，并能将接收到的媒体流分发出去；媒体服务单元能运行在终端，也能运行在服务器端；媒体服务单元具有传输网络的Qos服务功能，媒体服务单元还具有能对分发的媒体流进行动态管理功能；
媒体订阅端(Subs)，能从媒体服务单元订阅媒体流；
媒体发布订阅端(SS)，能作为媒体发布源，将自身采集的媒体流发送给其他的媒体服务单元；也能从媒体服务单元订阅媒体流，然后对媒体流进行处理，再将处理后的媒体流发送出去，这里的处理包括以下内容之一或任意组合：混屏、编码、解码、选屏、滤波；
群组控制单元(GCU)，负责实时通信群组的会话管理，实时通信群组为以下任意一种：视频会议、视频直播、视频培训、视频游戏，实时通信群组的用户包括：媒体发布源或媒体发布订阅端、媒体服务单元、媒体订阅端；群组控制单元负责对媒体发布源进行注册登记或注销，当有媒体发布源注册登记后，为其建立一个实时通信群组，同时还会主动为该实时通信群组生成一个媒体服务管理单元(Main MSU)；所述媒体服务管理单元同时具有媒体服务单元的所有功能，群组控制单元(GCU)还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行管理，另外，媒体服务管理单元(Main MSU)还会通知群组控制单元(GCU)当前媒体发布源对应的可订阅的媒体服务单元列表，并且媒体服务管理单元(Main MSU)还负责向加入该实时通信群组的媒体订阅端(Subs)发布能被订阅媒体流的媒体服务单元列表；
当第一客户端向群组控制单元(GCU)注册媒体发布源后，群组控制单元(GCU)为该第一客户端建立一个实时通信群组，并为其分配一个或多个媒体服务单元，其中一个媒体服务单元运行在第一客户端上，同时马上为第一客户端分配一个媒体服务管理单元(MainMSU)，由媒体服务管理单元(Main MSU)负责对第一客户端发出的媒体流进行管理；当第二客户端向群组控制单元(GCU)请求加入第一客户端所在的实时通信群组时，群组控制单元(GCU)向第二客户端返回可被订阅媒体流的媒体服务单元列表，第二客户端向运行在第一客户端上的媒体服务单元请求媒体流，媒体流即直接从运行在第一客户端上的媒体服务单元发向第二客户端，此时即实现了第一客户端和第二客户端之间的小型直连会议；如果有其他客户端向媒体服务管理单元请求媒体流，媒体服务管理单元将向第一客户端请求媒体流，并将第一客户端发来的媒体流数据转发给该其他客户端，从而实现大型网络会议。
2.根据权利要求1所述的实时多媒体传输系统，其特征在于：客户使用所述媒体传输构架时，采用如下两种模式：
基本模式：
客户端注册媒体发布源，并通过网络连接到群组控制单元，发布自己具有发出媒体流的媒体能力，群组控制单元为其建立一个实时通信群组，同时马上生成一个媒体服务管理单元来负责管理这个实时通信群组，同时群组控制单元(GCU)还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行资源管理和调度；
混合模式：
客户端作为媒体发布订阅端向群组控制单元(GCU)注册媒体发布源，并通过网络连接到群组控制单元，发布自己具有发出和订阅媒体流的媒体能力，群组控制单元为其建立一个实时通信群组，同时马上生成一个媒体服务管理单元来负责管理这个实时通信群组，此时客户端作为媒体发布订阅端，既能从媒体服务单元订阅媒体流，还能对媒体流进行处理，再将处理后的媒体流发送出去；同时群组控制单元(GCU)还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行资源管理和调度；
而媒体服务单元的资源管理和调度策略包括：
(1)、生成就近原则，生成的媒体服务管理单元(Main MSU)和媒体服务单元(MSU)应该尽量离媒体发布源接近，距离由IP地址距离、物理距离和经过实际测量的数据得到；在同样离媒体发布源接近的多个媒体服务单元中，再挑选跟媒体订阅端距离近的媒体服务单元；
(2)、分配就近原则，从已有的媒体服务单元(MSU)分配，优先选择离媒体订阅端近的媒体服务单元；
(3)、资源预留，当媒体服务单元与媒体订阅端建立直接连接后，需要一定的吞吐资源，因此预留部分存储资源，以便扩展；
(4)、动态扩展，当与媒体服务单元建立直接连接的媒体订阅端数量超过预设值后，生成新的下级媒体服务单元，并将新增的媒体订阅端与新的下级媒体服务单元建立直接连接；
(5)、动态收缩，当与下级媒体服务单元建立直接连接的媒体订阅端数量少于预设值后，将多个与下级媒体服务单元建立直接连接的媒体订阅端均与其上级的媒体服务单元建立直接连接；
(6)、尽量减少切换原则，动态扩展和动态收缩的切换最小周期超过1分钟。
3.根据权利要求1所述的实时多媒体传输系统，其特征在于：所述群组控制单元(GCU)对媒体发布源(Src)进行注册登记时，通过JMP协议栈或Restful协议栈或SIP协议栈进行管理，将媒体发布源(Src)向群组控制单元(GCU)发起注册请求的原语定义为SrcRegister，SrcRegister的具体内容包括srcID、sessionID、srcAddr、srcPubIP、SDP、capacity、load、defaultMSU；
其中，srcID为媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；srcAddr表示的是媒体发布源的源地址，媒体发布源的源地址为媒体发布源的IP地址或媒体发布源的ARC router地址或媒体发布源提供的URL；srcPubIP表示的是服务器看到的媒体发布源的公网IP地址，用来判断是否需要做网络分流优化；SDP为媒体流的描述语；capacity表示媒体发布源的可用发送带宽；load表示媒体发布源发送当前媒体流所需要的最大码率；defaultMSU表示的是媒体发布源是否默认自带一个媒体服务单元；
所述群组控制单元(GCU)能对媒体发布源进行注销，将媒体发布源向群组控制单元申请注销的原语定义为SrcUnregister，SrcUnregister的具体内容包括srcID、sessionID、reason，其中srcID为媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；reason表示注销原因；当群组控制单元(GCU)对媒体发布源注销后，随即释放为其生成的媒体服务管理单元(Main MSU)。
4.根据权利要求1所述的实时多媒体传输系统，其特征在于：群组控制单元(GCU)在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元时，群组控制单元会根据媒体发布源的源地址和媒体服务管理单元的地址根据优先级选项分配新的媒体服务单元；
将媒体服务管理单元(Main MSU)向群组控制单元(GCU)请求新的媒体服务单元(MSU)的原语定义为NewMSU，NewMSU的具体内容包括srcID、sessionID、subsID、priority；其中srcID表示的是媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；subsID表示的是媒体订阅端的ID；priority表示的是新分配的媒体服务单元位置的优先级，具体包括：离媒体发布源近、离某个媒体订阅端近、成本优先、质量优先；
媒体服务管理单元为媒体发布源向群组控制单元请求新的媒体服务单元时，默认选择离媒体发布源最近的媒体服务单元，如果有subsID，则在距离媒体发布源最近的媒体服务单元集合中选择跟媒体订阅端距离近的；如果priority选择优先离某个媒体订阅端近，则会优先在媒体订阅端所在局域网内查找媒体服务单元；
所述群组控制单元(GCU)在媒体服务管理单元(Main MSU)的请求下为媒体发布源请求删除某一个媒体服务单元时，媒体服务管理单元告诉群组控制单元需要删除的媒体服务单元，媒体服务单元为媒体发布源释放这个媒体服务单元；将媒体服务管理单元向群组控制单元请求删除某一个媒体服务单元的原语定义为DeleteMSU，DeleteMSU的具体内容包括MsuID、sessionID，其中MsuID为请求删除的媒体服务单元的ID，sessionID表示某个实时通信群组的会话ID标识。
5.根据权利要求1所述的实时多媒体传输系统，其特征在于：媒体服务管理单元(MainMSU)在通知群组控制单元(GCU)当前媒体发布源对应的可订阅的媒体服务单元列表时，按优先级排序；将媒体服务管理单元(Main MSU)通知群组控制单元(GCU)当前媒体发布源对应的可订阅的媒体服务单元列表的原语定义为UpdateSrcMSU，UpdateSrcMSU的具体内容包括：srcID、sessionID、msuList，其中srcID表示的是媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；msuList表示当前媒体发布源对应的可订阅的媒体服务单元列表；当媒体订阅端与被订阅的媒体服务管理单元建立连接后，后续的媒体服务单元的资源调度由媒体服务管理单元接管。
6.根据权利要求1所述的实时多媒体传输系统，其特征在于：媒体订阅端需要订阅媒体流时，需要通过向群组控制单元(GCU)请求一个或多个媒体发布源资源；将媒体订阅端向群组控制单元请求媒体发布源资源的原语定义为resourceList SubsRequest，resourceListSubsRequest的具体内容包括subsID、subsAddr、sessionID、srcList ，其中subsID表示的是媒体订阅端的ID；subsAddr表示的是媒体订阅端的源地址，媒体订阅端的源地址为媒体订阅端的IP地址或媒体订阅端的ARC router地址或媒体订阅端提供的URL；sessionID表示某个实时通信群组的会话ID标识；srcList表示媒体订阅端请求的媒体发布源列表；如果srcList为空，则返回与当前sessionID关联的所有注册的媒体发布源列表；
当媒体订阅端取消订阅媒体流时，群组控制单元进行相应更新，并通知各个媒体服务管理单元。
7.根据权利要求1所述的实时多媒体传输系统，其特征在于：当有新的媒体发布源加入或有媒体发布源退出时，群组控制单元自动更新媒体发布源列表；群组控制单元还会定期向实时通信群组中的成员更新媒体发布源列表，群组控制单元向媒体订阅端发送的原语为UpdateResource，UpdateResource的具体内容包括：sessionID、resourceList、syncMagic，其中sessionID表示媒体发布源启动的实时通信群组的会话ID标识；resourceList表示更新的媒体发布源列表，包括新增、删除和更新后的媒体发布源列表；syncMagic为一个校验值，通过srcID和媒体服务单元地址进行异或运算得到，如果订阅方运算的值跟syncMagic一致，说明同步成功；如果不一致，则再主动同步一次；srcID为媒体发布源的ID。
8.根据权利要求1所述的实时多媒体传输系统，其特征在于：媒体服务管理单元会主动通知媒体订阅端当前应使用哪些媒体服务单元获取媒体流；当媒体服务管理单元发现当前媒体订阅端需要优化路径时，会通知对应的媒体订阅端获取新的媒体服务单元列表；
媒体服务单元能向媒体服务管理单元发送自身当前状态；
群组控制单元会定时向媒体服务管理单元更新媒体订阅端列表。
9.一种如权利要求2所述实时多媒体传输系统的使用方法，其特征在于：通过如下步骤实现P2P小型会议无缝转换为多人参与的大型网络会议：
步骤1、第一客户端向群组控制单元(GCU)注册媒体发布源(Src)，群组控制单元(GCU)登记这个媒体发布源(Src)；
步骤2、群组控制单元(GCU)为第一客户端建立一个实时通信群组，并为其分配一个或多个媒体服务单元，其中一个媒体服务单元运行在第一客户端上；同时马上根据第一客户端的位置分配一个媒体服务管理单元(Main MSU)，由媒体服务管理单元(Main MSU)负责对第一客户端发出的媒体流进行管理；
步骤3、第二客户端向群组控制单元(GCU)请求加入第一客户端所在的实时通信群组，群组控制单元(GCU)向第二客户端返回可被订阅媒体流的媒体服务单元列表；由于运行在第一客户端上的媒体服务单元没有被订阅过，因此运行在第一客户端上的媒体服务单元的优先级排在第一，媒体服务管理单元的优先级排在第二；
步骤4、第二客户端向运行在第一客户端上的媒体服务单元请求媒体流，媒体流即直接从运行在第一客户端上的媒体服务单元发向第二客户端，此时P2P传输就建立起来了；
步骤5、当第三客户端也向群组控制单元(GCU)请求加入第一客户端所在的实时通信群组，群组控制单元(GCU)向第三客户端返回可被订阅媒体流的媒体服务单元列表；由于运行在第一客户端上的媒体服务单元已经被订阅过，因此运行在第一客户端上的媒体服务单元的优先级排在第二，媒体服务管理单元的优先级排在第一；
步骤6、第三客户端向媒体服务管理单元请求媒体流；
步骤7、媒体服务管理单元发现有人在向它请求媒体流，媒体服务管理单元立即向第一客户端请求媒体流，然后将第一客户端发来的媒体流数据转发给第三客户端；
步骤8、媒体服务管理单元通过动态计算，如果发现第二客户端比较适合从媒体服务管理单元获取媒体流，于是媒体服务管理单元通知第二客户端更新获取媒体流的源地址；然后第二客户端会向媒体服务管理单元请求媒体流，媒体服务管理单元将收到第一客户端的媒体流转发给第二客户端；
步骤9、当有新的客户端向群组控制单元(GCU)请求加入第一客户端所在的实时通信群组后，按照步骤3至步骤8的方式同样执行。
10.根据权利要求9所述的使用方法，其特征在于：当实时通信群组中有多个媒体订阅端处于同一个局域网内，即这些多个媒体订阅端订阅的媒体流的公网IP相同，此时管理该媒体服务管理单元会通过群组控制单元(GCU)获取所有这些媒体订阅端的信息，包括媒体订阅端的ID，媒体订阅端的自身地址，以及媒体订阅端的公网IP，然后在这些媒体订阅端中生成一个新的下级媒体服务单元，然后所有处于同一个局域网内的媒体订阅端通过该下级媒体服务单元来获取媒体流。
CN201911393580.4A 2019-12-30 2019-12-30 一种实时多媒体传输系统及其使用方法 Active CN111131759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911393580.4A CN111131759B (zh) 2019-12-30 2019-12-30 一种实时多媒体传输系统及其使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911393580.4A CN111131759B (zh) 2019-12-30 2019-12-30 一种实时多媒体传输系统及其使用方法

Publications (2)

Publication Number Publication Date
CN111131759A CN111131759A (zh) 2020-05-08
CN111131759B true CN111131759B (zh) 2021-06-29

Family

ID=70504922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911393580.4A Active CN111131759B (zh) 2019-12-30 2019-12-30 一种实时多媒体传输系统及其使用方法

Country Status (1)

Country Link
CN (1) CN111131759B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291498B (zh) * 2020-10-30 2022-11-04 新东方教育科技集团有限公司 音视频数据传输的方法、装置和存储介质
CN115225754A (zh) * 2022-07-19 2022-10-21 深圳六点作业科技有限公司 一种智能设备局域网直连交互和控制方法及系统
CN115334058A (zh) * 2022-10-13 2022-11-11 北京云中融信网络科技有限公司 一种媒体文件播放系统及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645858A (zh) * 2005-02-24 2005-07-27 广东省电信有限公司研究院 分布式对等流媒体的服务系统及其点播节目的实现方法
CN1849808A (zh) * 2003-09-12 2006-10-18 西门子公司 混合多媒体网络的协议的互通
CN105407125A (zh) * 2014-09-16 2016-03-16 国际商业机器公司 自动加入点对点通信会话的方法及计算机程序产品
CN110336974A (zh) * 2019-06-05 2019-10-15 浙江华创视讯科技有限公司 视频会议处理方法、装置、计算机设备和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100359942C (zh) * 2003-11-05 2008-01-02 华为技术有限公司 视讯会议系统及其管理方法
CN101072319B (zh) * 2004-01-08 2011-05-18 华为技术有限公司 多媒体会议系统、设备
CN1946164A (zh) * 2006-09-30 2007-04-11 华为技术有限公司 多点会议中会议信息备份的系统和方法
CN101335869B (zh) * 2008-03-26 2011-11-09 北京航空航天大学 一种基于Soft-MCU策略的视频会议系统
CN101516019A (zh) * 2009-03-24 2009-08-26 深圳华为通信技术有限公司 终端选择入会或控制终端选择入会的方法、设备及系统
US10356363B2 (en) * 2013-06-26 2019-07-16 Touchcast LLC System and method for interactive video conferencing
CN104980685B (zh) * 2014-04-14 2018-09-14 纬创资通股份有限公司 视频服务提供方法及视频服务提供系统
CN104601931B (zh) * 2015-01-09 2018-02-16 西安融成科技有限公司 一种p2p多媒体会议的控制方法
US10171526B1 (en) * 2017-06-27 2019-01-01 Atlassian Pty Ltd On demand in-band signaling for conferences
US10630739B2 (en) * 2017-06-27 2020-04-21 Atlassian Pty Ltd Parallel peer to peer connection establishment in WebRTC conferencing
CN207560201U (zh) * 2017-12-20 2018-06-29 厦门优数科技有限公司 一种远程视频会议系统
CN110213523B (zh) * 2019-04-25 2021-05-04 浙江华创视讯科技有限公司 视频会议处理方法、系统、装置、计算机设备和存储介质
CN110290345B (zh) * 2019-06-20 2022-01-04 浙江华创视讯科技有限公司 跨级会议点名发言方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1849808A (zh) * 2003-09-12 2006-10-18 西门子公司 混合多媒体网络的协议的互通
CN1645858A (zh) * 2005-02-24 2005-07-27 广东省电信有限公司研究院 分布式对等流媒体的服务系统及其点播节目的实现方法
CN105407125A (zh) * 2014-09-16 2016-03-16 国际商业机器公司 自动加入点对点通信会话的方法及计算机程序产品
CN110336974A (zh) * 2019-06-05 2019-10-15 浙江华创视讯科技有限公司 视频会议处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111131759A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
JP5431570B2 (ja) 遠隔会議用のマルチメディアストリームの効率的な伝送のための方法および装置
CN111131759B (zh) 一种实时多媒体传输系统及其使用方法
CN110971863B (zh) 一种多点控制单元跨区会议运行方法、装置、设备及系统
US20120069133A1 (en) Method and system for video conference control, videoconferencing network equipment, and videoconferencing site
EP1131935B1 (en) Announced session control
JP2004515173A (ja) マルチポイントビデオ会議および双方向ブロードキャストシステムの統合配送アーキテクチャ
CN101702722A (zh) 融合多业务的多媒体系统以及控制方法
EP2209312A1 (en) Video conference method and system, application server and media resource server
JP4700977B2 (ja) 多地点会議システム
CN111541860B (zh) 一种实时音频传输系统及其使用方法
CN112565234B (zh) 基于WebRTC的跨网传输系统及方法
CN108063911B (zh) 一种视频会议扩容方法
JP2018518092A (ja) データ送信方法及びシステム並びに関連装置
KR20110009077A (ko) 멀티웨이 피어 투 피어 매체 스트리밍을 위한 방법, 멀티웨이 매체 스트리밍을 위한 방법 및 컴퓨터 판독 가능한 매체
US20200169695A1 (en) Video conference multi-point control method and device, storage medium and computer apparatus
CN112543301A (zh) 一种基于ims的智能会议系统及其实现方法
KR20140006221A (ko) 회의 처리 장치 선택 방법 및 이를 이용한 화상 회의 시스템
US9264662B2 (en) Chat preauthorization
CN108156413B (zh) 视频会议的传输方法及装置、mcu
CN106941598A (zh) 多画面码流合成方法、多画面码流合成控制方法及装置
WO2016045496A1 (zh) 一种媒体控制方法和设备
CN115499417A (zh) 一种数据分发方法、服务端和电子设备
CN105554515A (zh) 一种基于sip协议的多级媒体分发方法及系统
WO2023005487A1 (zh) 音视频会议实现方法、音视频会议系统及相关装置
CN116886672A (zh) 会议容量自适应处理方法、服务器及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant