CN102957729B - 一种多媒体会议音视频传输方法及设备 - Google Patents

一种多媒体会议音视频传输方法及设备 Download PDF

Info

Publication number
CN102957729B
CN102957729B CN201110249255.8A CN201110249255A CN102957729B CN 102957729 B CN102957729 B CN 102957729B CN 201110249255 A CN201110249255 A CN 201110249255A CN 102957729 B CN102957729 B CN 102957729B
Authority
CN
China
Prior art keywords
conference terminal
video data
conference
audio
subflow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110249255.8A
Other languages
English (en)
Other versions
CN102957729A (zh
Inventor
张剑寅
廖洪銮
李纯喜
张慧
彭晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201110249255.8A priority Critical patent/CN102957729B/zh
Publication of CN102957729A publication Critical patent/CN102957729A/zh
Application granted granted Critical
Publication of CN102957729B publication Critical patent/CN102957729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种多媒体会议音视频传输方法及设备,所述方法包括以下步骤:设定周期到达时,会议服务器根据除当前上传音视频数据的会议终端以外的其它会议终端反馈的上一周期的音视频数据传输性能信息,确定所述其它会议终端的传输性能;所述会议服务器根据所述其它会议终端的传输性能,将从当前上传音视频数据的会议终端接收到的音视频数据划分为子流,并根据所述其它会议终端的传输性能,将划分得到的子流分配给所述其它会议终端;所述会议服务器将分配给所述其它会议终端的音视频数据子流分别发送给相应会议终端,以使相应会议终端将自己接收到的音视频数据子流发送给除当前上传音视频数据的会议终端之外的其他会议终端。

Description

一种多媒体会议音视频传输方法及设备
技术领域
本发明涉及通信技术领域,尤其涉及一种多媒体会议音视频传输优化方法及设备。
背景技术
现有多媒体会议系统大部分基于集中式控制模式实现,音频、视频、数据和信令都通过电路来交换,控制和媒体处理这两个功能独立的模块在物理上合并在一起。集中式控制模式使用简单,维护方便,视频质量较高,同时易于管理。
如图1所示,为现有集中式多媒体会议系统结构图。多媒体会议系统主要是由MCU(MultiControlUnit,多点控制单元)和多个会议终端组成。MCU是多媒体会议系统的关键设备,其角色相当于一个交换机,针对音频、视频、数据、会议控制信息等,完成相应的音频混合或切换、视频混合或切换、数据分发、会议控制等过程,最后将处理后的各种信息流送往各个会议终端。MCU作为会议控制单元,通过配置专有设备和线路来提供会议服务。会议终端是提供单向或双向实时通信的客户端,具有对视频和音频信号的编解码及显示功能,还具有传送静止图像、文件、共享应用程序等数据通信功能。如图1所示,会议终端1发送音视频数据给MCU,MCU进行处理后将整个音视频数据分时发送给其他各会议终端。
在现有的集中式多媒体会议系统中,由于MCU作为中心节点处理信令及数据传输,并完成与各个节点间的数据传输,因此当MCU所处网络带宽有限、容易造成网络拥塞。
发明内容
本发明实施例提供了一种多媒体会议音视频数据传输方法及其设备,用以在会议服务器向会议终端传输音视频数据时减少会议服务器输出带宽的占用。
本发明实施例提供的多媒体会议音视频数据传输方法,包括以下步骤:
设定周期到达时,会议服务器根据除当前上传音视频数据的会议终端以外的其它会议终端反馈的上一周期的音视频数据传输性能信息,确定所述其它会议终端的传输性能;
所述会议服务器根据所述其它会议终端的传输性能,将从当前上传音视频数据的会议终端接收到的音视频数据划分为子流,并根据所述其它会议终端的传输性能,将划分得到的子流分配给所述其它会议终端;
所述会议服务器将分配给所述其它会议终端的音视频数据子流分别发送给相应会议终端,以使相应会议终端将自己接收到的音视频数据子流发送给除当前上传音视频数据的会议终端之外的其他会议终端。
本发明实施例提供的多媒体会议服务器,包括:
性能反馈模块,用于在设定周期到达时,根据除当前上传音视频数据的会议终端以外的其它会议终端反馈的上一周期的音视频数据传输性能信息,确定所述其它会议终端的传输性能;
子流划分模块,用于根据所述其它会议终端的传输性能,将从当前上传音视频数据的会议终端接收到的音视频数据划分为子流;
子流分配模块,用于根据所述其它会议终端的传输性能,将划分得到的子流分配给所述其它会议终端;其中,分配给所述其它会议终端的子流的总和为该会议服务器从当前上传音视频数据的会议终端接收到的音视频数据的总和;
数据传输模块,用于向所述其它会议终端发送分配的音视频数据子流,以使所述其它会议终端将自己接收到的音视频数据子流发送给除当前上传音视频数据的会议终端之外的其他会议终端。
本发明实施例提供的多媒体会议音视频数据传输方法,包括以下步骤:
除当前上传音视频数据的会议终端以外的其它会议终端向会议服务器反馈音视频数据传输性能信息,以使会议服务器确定所述其它会议终端的传输性能;
会议终端接收到所述会议服务器发送的音视频数据后,将接收到的音视频数据发送给除当前上传音视频数据的会议终端之外的其它会议终端;其中,所述会议服务器根据会议终端反馈的传输性能,将从当前上传音视频数据的会议终端接收到的音视频数据划分为子流,并根据会议终端的传输性能,将划分得到的子流分配给相应会议终端;
会议终端接收除当前上传音视频数据的会议终端之外的其它会议终端发送的音视频数据,并与自己接收到的音视频数据进行合并处理后输出。
本发明实施例提供的多媒体会议终端,包括:
反馈模块,用于向会议服务器反馈音视频数据传输性能信息,以使会议服务器确定除当前上传音视频数据的会议终端以外的其它会议终端的传输性能;
第一接收模块,用于接收所述会议服务器发送的音视频数据;其中,所述会议服务器根据所述其它会议终端的传输性能,将从当前上传音视频数据的会议终端接收到的音视频数据划分为子流,并根据会议终端的传输性能,将划分得到的子流分配给相应会议终端;
发送模块,用于将从所述会议服务器接收到的音视频数据发送给除当前上传音视频数据的会议终端之外的其他会议终端;
第二接收模块,用于接收其它会议终端发送的音视频数据;
媒体处理模块,用于将所述第一接收模块和所述第二接收模块接收到的视频数据进行合并处理后输出。
与现有技术相比,本发明的上述实施例具有以下有益技术效果:
本发明实施例提出一种基于负反馈的动态自适应机制,能够根据各会议终端的反馈信息,动态地改变向各个会议终端发送的子流大小,根据网络状态动态进行优化传输控制,以适应实时的网络情况,优化子流配比,保证系统的实时性。本发明实施例中会议服务器无需向每个会议终端发送完整的音视频数据,而是将音视频数据划分成子流,发送给每个会议终端,每个会议终端再将自己接收到的音视频数据发送给其他各会议终端,由此,会议服务器只需输出一份完整的音视频数据,因此,可以有效减少带宽限制,优化会议质量。此外,本方案中考虑利用终端的数据转发能力,由会议终端组成全联通网络,相互传递音视频数据子流,减少了对服务器的带宽需求,各个子流的独立传输,也可以有效减少数据的等待时间。
附图说明
图1为本发明现有技术的集中式多媒体会议系统结构拓扑图;
图2为本发明实施例提供的多媒体会议系统结构拓扑图;
图3为本发明实施例提供的多媒体会议音视频数据传输方法流程图;
图4为本发明实施例提供的多媒体会议服务器结构示意图;
图5为本发明实施例提供的子流划分及分配示意图;
图6为本发明实施例提供的多媒体会议终端结构示意图。
具体实施方式
针对现有多媒体会议系统存在的上述问题,本发明实施例提出了一种基于P2P(对等网络)技术的多媒体会议系统架构及其音视频数据的传输机制。本发明实施例提供的多媒体会议系统中,会议服务器无需向每个会议终端发送完整的音视频数据,而是将音视频数据划分成多个子流,分别将各子流发送给各会议终端,各会议终端再基于P2P机制将自己接收到的音视频数据发送给其他会议终端,由此,会议服务器只需输出一份完整的音视频数据,各会议终端就可以得到完整的音视频数据,从而有效减少了带宽占用,优化了会议质量。此外,本发明实施例还提出一种基于负反馈的动态自适应机制,会议服务器能够根据各会议终端反馈的传输性能信息,动态地改变向各个会议终端发送的子流大小,以适应实时的网络情况,优化子流配比,更好地保证系统的实时性。
P2P打破了传统的Client/Server(客户端/服务器)模式,在P2P网络中,每个节点的地位都是相同的,具备客户端和服务器双重特性,可以同时作为服务使用者和服务提供者。P2P流媒体即基于P2P技术实现的网络流媒体,具有用户越多,播放越流畅、越稳定的特性,能够支持大量用户同时在线的大规模访问。
P2P的本质是整个网络中不存在中心节点或中心服务器。在P2P结构中,每一个节点大都同时具有信息消费者、信息提供者和信息通讯者三方面的功能,在P2P网络中每一个节点所拥有的权利和义务都是对等的。在P2P工作方式中,每一个客户终端既是客户机,又是服务器,它弱化了服务器的作用,将信息数量、成本资源都向互联网各点均匀分布,也就是所谓的“边缘化”的趋势,消除了单个资源带来的瓶颈,可以控制和实现网络上各节点的负荷平衡。P2P技术不仅能利用服务器的资源,同时能合理地使用用户计算机的空闲资源,而且,用户在享受媒体节目的同时,也在利用自身计算机所空闲的资源为其他用户提供着服务,所以,使用P2P技术提供高质量和大容量的流媒体服务系统成为可能。
本发明实施例正是利用了P2P技术,将音视频数据划分成多个子流发送给各会议终端,各会议终端收到的音视频数据再在不同的会议终端之间传播,从而减少会议服务器传输音视频数据是对带宽的占用。
下面结合附图对本发明的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
参见图2,为本发明实施例提供的多媒体会议系统的架构。如图所示,该多媒体会议系统中包括会议服务器,以及与该会议服务器存在通信连接的各会议终端,各会议终端之间可基于P2P机制进行通信。上述系统架构中,与现有集中式MCU类似,会议服务器可对会议过程进行控制,与现有集中式MCU不同的是,会议服务器在向会议终端发送音视频流时,可基于子流划分,将不同子流发送给各会议终端,并可进一步结合各会议终端反馈的传输性能分配子流大小。
基于上述多媒体会议系统架构,本发明实施例提供的多媒体会议音视频数据传输流程可如图3所示,其中,可预先在会议服务器上配置传输周期,传输周期的长度可根据会议服务器的处理能力或网络情况制定,如在会议服务器处理能力较强时,可设置较短的周期,反之设置较长的周期,以减少会议服务器的开销。又例如,在网络状况较好时可设置较长的周期,反之设置较短的周期,从而可以在网络状况较好时减少网络资源的开销,在网络状况较差时及时根据网络情况调整音视频数据流的传输策略,以保证会议质量。
每当传输周期到达时,该流程可包括以下步骤:
步骤301,会议服务器根据各会议终端反馈的上一周期的音视频数据传输性能信息确定各会议终端的传输性能。
步骤302,会议服务器根据各会议终端的传输性能,将从当前传输音视频流的会议终端(通常为当前发言用户所在的会议终端,以下简称发言终端)接收到的音视频数据划分为子流,并根据各会议终端的传输性能,将划分得到的子流分配给除该发言终端以外的其它各会议终端(以下简称非发言终端);其中,会议服务器分配给各非发言终端的子流的总和为该会议服务器从发言终端接收到的音视频数据的总和,即会议服务器仅将一份完整的音视频数据发送出去。
具体实施时,会议服务器可根据各会议终端反馈的传输性能信息确定各非发言终端传输性能的比例,然后根据各非发言终端传输性能的比例,将从发言终端接收到的音视频数据划分为数个子流,并根据各非发言终端传输性能的比例将划分得到的子流分配给相应的非发言终端。其中,在划分子流时,应保证传输性能最差的非发言终端至少分配到一个子流。
为了简化技术实现,在具体实施时,会议服务器所确定出的各非发言终端传输性能的比例为最简整数比。会议终端在确定出该最简整数比之后,计算该最简整数比之和,然后创建与该最简整数比之和相同数量的队列,将从发言终端接收到的音视频数据的UDP(UserDatagramProtocol,用户数据包)均匀的发送到各队列中。其中,为保证各队列中的数据量较为均匀,会议服务器每次向队列发送音视频数据UDP时,可将该UDP发送给各队列中当前数据量最少的队列。
步骤303,会议服务器将分配给各非发言终端的音视频数据子流分别发送给对应会议终端,以使各非发言会议终端基于P2P机制将自己接收到的音视频数据子流发送给其他各非发言终端。
具体实施时,会议服务器可将当前发言终端的标识或地址等能够唯一标识该终端的信息发送给各非发言终端(如随音视频子流一起发送,也可使用单独信令发送),这样各非发言终端就可以知道当前的发言终端,并可以将接收到到音视频子流仅发送给除当前发言终端的其它非发言终端了。
上述流程中,在第一个周期开始时,会议服务器可向出发言终端以外的其它终端较为平均的发送子流。具体实施时,会议服务器在初始周期,根据除当前上传音视频数据的会议终端以外的其它会议终端的数量,将从当前上传音视频数据的会议终端接收到的音视频数据平均划分得到相应数量的子流,并分别分配并发送给所述其它会议终端,优选的,可将划分得到的子流平均分配给会议终端。
上述流程中,各会议终端可根据设定的周期向视频会议服务器反馈传输性能信息,该周期可以与会议服务器的传输周期相同也可以不同,优选的,可在会议服务器的传输周期之前,使会议服务器接收到各会议终端反馈的传输性能信息。
优选的,所述传输性能信息包括会议终端的丢包率或/和会议终端网络时延,其中,会议服务器可在发送的音视频数据包中携带发送该数据包时的时间戳,以便会议终端根据接收到该数据包时的时间计算与该会议服务器的网络时延。
当所述传输性能信息包括会议终端的丢包率和会议终端的网络时延时,会议服务器在接收到各会议终端反馈的上一周期的丢包率和网络时延后,可采用以下公式确定会议终端的传输性能:
F ( i ) = 1 Σ j = 1 n 1 n | L j ( i ) | * P 1 + Σ j = 1 m 1 m | T j ( i ) | * P 2 . . . ( 1 )
其中,F(i)表示第i个会议终端的传输性能参数,Lj(i)表示第i个会议终端的丢包率,Tj(i)表示第i个会议终端与所述会议服务器的网络时延,n表示第i个会议终端与所述会议服务器之间的路径数目,m表示第i个会议终端与所述会议服务器之间以及第i个会议终端与其他会议终端之间直接连接的路径数目,P1和P2分别表示加权系数,P1和P2之和为1。当然,公式(1)仅是一种计算数据传输性能的实例,其它采用类似方法计算数据传输性能的方式都应包含在本发明的保护范围之内。
需要说明的是,以上流程中是以会议服务器根据会议终端反馈的丢包率和网络延时并按照公式(1)计算会议终端的传输性能为例描述的,事实上,会议终端可以基于自己统计的丢包率和网络延时并按照公式(1)计算该会议终端的传输性能,然后将计算出的传输性能参数反馈给会议服务器。
优选的,在本发明的另一实施例中,为保证音视频数据的传输性能,会议服务器确定出会议终端的音视频数据传输性能之后,可根据预设的传输性能要求,如预设的传输性能参数阈值,从反馈传输性能信息的会议终端中选择出传输性能达到设定要求的会议终端,并为选择出的会议终端确定子流分配比例。相应的,会议服务器在划分子流时,根据所述子流分配比例,将从当前上传音视频数据的会议终端接收到的音视频数据划分为数个子流,在分配子流时,根据所述子流分配比例,将划分得到的子流分配给选择出的会议终端。
通过以上流程可以看出,本发明实施例提出的一种基于负反馈的动态自适应机制,能够根据各会议终端的反馈信息,动态地改变向各个会议终端发送的子流大小,根据网络状态动态进行优化传输控制,以适应实时的网络情况,优化子流配比,保证系统的实时性。此外,本发明实施例中会议服务器无需向每个会议终端发送完整的音视频数据,而是将音视频数据划分成子流,发送给每个会议终端,每个会议终端再将自己接收到的音视频数据发送给其他各会议终端,由此,会议服务器只需输出一份完整的音视频数据,因此,可以有效减少带宽限制,优化会议质量。此外,本方案中考虑利用终端的数据转发能力,由会议终端组成全联通网络,相互传递音视频数据子流,减少了对服务器的带宽需求,各个子流的独立传输,也可以有效减少数据的等待时间。
上述多媒体系统中的会议服务器的结构可如图4所示,包括:
性能反馈模块411,用于在设定周期到达时,根据非发言终端反馈的上一周期的音视频数据传输性能信息,确定其传输性能。
子流划分模块412,用于根据非发言终端的传输性能,将从发言终端接收到的音视频数据划分为子流。
子流分配模块413,用于根据非发言终端的传输性能,将划分得到的子流分配给非发言终端。其中,分配给非发言终端的子流的总和为该会议服务器从发言终端接收到的音视频数据的总和。
数据传输模块414,用于向非发言终端发送分配的音视频数据子流,以使非发言终端将自己接收到的音视频数据子流发送给其他非发言终端。
优选的,子流划分模块根据非发言终端传输性能的比例,将从发言终端接收到的音视频数据划分子流,所述非发言终端传输性能的比例为最简整数比。相应的,子流划分模块412将音视频数据划分为与最简整数比之和相同数量的子流,并创建相应数量的队列,将音视频数据UDP发送到队列中。子流分配模块413根据最简整数比将划分得到的子流分配给非发言终端。这样,在将划分得到的子流分配给非发言终端时,可以保证传输性能最差的非发言终端至少分配到一个子流。
下面结合图4所示的会议服务器结构以及图5所示的具体应用场景,对本发明实施例进行详细描述。
本发明实施例应用场景中的多媒体会议系统包括会议服务器41和五个会议终端32-36。当前,会议终端32为发言终端,其他会议终端33-36为非发言终端。
当传输周期到达时,会议服务器41的性能反馈模块411根据非发言终端33-36反馈的上一周期的音视频数据的丢包率和到会议服务器41的网络时延,采用公式(1)分别确定非发言终端33-36的传输性能,然后确定非发言终端33-36的传输性能比例的最简整数比P(33)∶P(34)∶P(35)∶P(36)=1∶2∶2∶1。
子流划分模块412根据性能反馈模块411确定出的最简整数比1∶2∶2∶1,创建6个队列。在本传输周期内,子流划分模块412将从发言终端32接收到的音视频数据UDP发送到各队列中。其中,每当会议服务器41接收到发言终端32的音视频数据UDP时,将该UDP发送给各队列中当前数据量最少的队列,以保证将从发言终端32接收到的音视频数据做均匀子流划分,保证各子流字节数的统计平均,即每个队列中的数据量基本一致。具体的,可在每个队列各自维护一个计数器,每当音视频数据UDP进入队列时,计数器根据UDP的字节数累加计数器的值,当为UDP选择进入哪个队列时,可根据每个队列计数器当前数据量的大小选择数据量最小的队列进入,以维护队列统计平均。计数器数据量最大值设为FFFFFFFFFFFFFFFF大小,从而保证单次会议中UDP计数器不溢出。
子流分配模块413根据非发言终端33-36的传输性能比例1∶2∶2∶1,为各非发言终端分配的子流数量为:分别为终端33、36分配1个子流,分别为终端34、25分配2个子流。具体的,可将队列1中的数据发送给终端33,将队列2和3中的数据发送给终端34,将队列4、5中的数据发送给终端35,将队列6中的数据发送给终端36。这样,会议服务器41分配给非发言终端33-36的子流的总和为该会议服务器41从发言终端32接收到的音视频数据的总和,即会议服务器41只分配给非发言议终端33-36一份完整的音视频数据。
具体的,子流分配模块413可以通过交叉矩阵、总线型交换单元、Banyan网络等方式将划分得到的子流分配给非发言终端33-36。
将子流划分模块412输出的UDP按字节大小排序,可以得出一个入交换矩阵的排序;根据分配给各终端分组数量排序值给出出交换矩阵的排序。根据上述两个排序得出交换表,交换表上的对应终端是根据排序值的一致性给出的,即排序相同的出入节点对应交换。交换表用于为数据传输模块314提供交换信息。数据传输模块414可以根据交换表执行交换过程。
非发言终端33-36将自己接收到的音视频数据发送给其他非发言终端,在非发言终端之间互传子流。各会议终端连接成全联通网络,源音视频流采用分布式传输,非发言终端33-36收到完整的音视频流后,完成播放过程。
需要说明的是,性能反馈模块411可以在一个传输周期开始之前就确定出各非发言终端的性能比例,这样子流划分模块412可以在一个传输周期开始之前就确定出下一个传输周期所用的队列数目,或进一步创建相应数量的队列以便下一个传输周期使用,从而减少会议服务器的处理时延对多媒体会议的影响。
基于相同的技术构思,本发明实施例还提供了一种多媒体会议终端。
如图6所示,为本发明实施例提供的多媒体会议终端结构示意图,如图所示,该终端可包括:
反馈模块601,用于向会议服务器41反馈音视频数据传输性能信息,以使会议服务器41确定非发言终端的传输性能。
具体的,该音视频数据传输性能信息包括非发言终端的丢包率或/和非发言终端与会议服务器之间的网络时延的音视频数据传输性能信息,反馈模块601具体用于,统计丢包率和其与会议服务器41之间的网络时延时,并采用公式(1)确定传输性能参数,并将该传输性能参数发送给所述会议服务器41。当然,公式(1)仅是一种计算数据传输性能的实例,其它采用类似方法计算数据传输性能的方式都应包含在本发明的保护范围之内。
第一接收模块602,用于接收会议服务器发送的音视频数据。其中,会议服务器根据所述其它会议终端的传输性能,将从发言终端接收到的音视频数据划分为子流,并根据非发言终端的传输性能,将划分得到的子流分配给非发言终端;会议服务器分配给非发言终端的子流的总和为该会议服务器从发言终端接收到的音视频数据的总和。
发送模块603,用于将从会议服务器接收到的音视频数据发送给其他非发言终端。
第二接收模块604,用于接收其它非发言终端发送的音视频数据。
媒体处理模块605,用于将第一接收模块602和第二接收模块603接收到的视频数据进行合并处理后输出。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端设备(可以是手机,个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
本领域技术人员可以理解,实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。

Claims (12)

1.一种多媒体会议音视频数据传输方法,其特征在于,包括以下步骤:
设定周期到达时,会议服务器根据除当前上传音视频数据的会议终端以外的其它会议终端反馈的上一周期的音视频数据传输性能信息,确定所述其它会议终端的传输性能;
所述会议服务器根据所述其它会议终端的传输性能,将从当前上传音视频数据的会议终端接收到的音视频数据划分为子流,并根据所述其它会议终端的传输性能,将划分得到的子流分配给所述其它会议终端;
所述会议服务器将分配给所述其它会议终端的音视频数据子流分别发送给相应会议终端,以使相应会议终端将自己接收到的音视频数据子流发送给除当前上传音视频数据的会议终端之外的其他会议终端;
其中,所述传输性能信息包括丢包率或/和网络时延;
其中,当所述传输性能信息包括丢包率和网络时延时,所述会议服务器采用以下公式确定会议终端的传输性能:
F ( i ) = 1 Σ j = 1 n 1 n | L j ( i ) | * P 1 + Σ j = 1 m 1 m | T j ( i ) | * P 2
其中,F(i)表示第i个会议终端的传输性能参数,Lj(i)表示第i个会议终端的丢包率,Tj(i)表示第i个会议终端的网络时延,n表示第i个会议终端与所述会议服务器之间的路径数目,m表示第i个会议终端与所述会议服务器之间以及第i个会议终端与其他会议终端之间直接连接的路径数目,P1和P2分别表示加权系数,P1与P2之和为1。
2.如权利要求1所述的方法,其特征在于,在初始周期,所述会议服务器根据除当前上传音视频数据的会议终端以外的其它会议终端的数量,将从当前上传音视频数据的会议终端接收到的音视频数据平均划分得到相应数量的子流,并平均分配并发送给所述其它会议终端。
3.如权利要求1所述的方法,其特征在于,所述会议服务器根据所述其它会议终端的音视频数据传输性能,将从当前上传音视频数据的会议终端接收到的音视频数据划分为子流,并根据所述其它会议终端的传输性能,将划分得到的子流分配给所述其它会议终端,包括:
所述会议服务器根据所述其它会议终端的音视频数据传输性能,选择出传输性能达到设定要求的会议终端,并为选择出的会议终端确定子流分配比例;所述会议服务器根据所述子流分配比例,将从当前上传音视频数据的会议终端接收到的音视频数据划分为数个子流,并根据所述子流分配比例,将划分得到的子流分配给选择出的会议终端。
4.如权利要求3所述的方法,其特征在于,所述会议服务器确定出的子流分配比例为最简整数比,所划分得到的子流数目为所述最简整数比之和。
5.如权利要求3所述的方法,其特征在于,所述会议服务器将从当前上传音视频数据的会议终端接收到的音视频数据划分为数个子流,包括:
所述会议服务器创建数个队列,将从当前上传音视频数据的会议终端接收到的音视频数据UDP发送到所述队列中;其中,所述会议服务器每次向队列发送音视频数据UDP时,将该UDP发送给各队列中当前数据量最少的队列。
6.一种多媒体会议服务器,其特征在于,包括:
性能反馈模块,用于在设定周期到达时,根据除当前上传音视频数据的会议终端以外的其它会议终端反馈的上一周期的音视频数据传输性能信息,确定所述其它会议终端的传输性能;
子流划分模块,用于根据所述其它会议终端的传输性能,将从当前上传音视频数据的会议终端接收到的音视频数据划分为子流;
子流分配模块,用于根据所述其它会议终端的传输性能,将划分得到的子流分配给所述其它会议终端;其中,分配给所述其它会议终端的子流的总和为该会议服务器从当前上传音视频数据的会议终端接收到的音视频数据的总和;
数据传输模块,用于向所述其它会议终端发送分配的音视频数据子流,以使所述其它会议终端将自己接收到的音视频数据子流发送给除当前上传音视频数据的会议终端之外的其他会议终端;
其中,所述传输性能信息包括丢包率或/和网络时延;
其中,所述性能反馈模块具体用于,采用以下公式确定所述其它会议终端的传输性能:
F ( i ) = 1 Σ j = 1 n 1 n | L j ( i ) | * P 1 + Σ j = 1 m 1 m | T j ( i ) | * P 2
其中,F(i)表示第i个会议终端的传输性能参数,Lj(i)表示第i个会议终端的丢包率,Tj(i)表示第i个会议终端与所述会议服务器的网络时延,n表示第i个会议终端与所述会议服务器之间的路径数目,m表示第i个会议终端与所述会议服务器之间以及第i个会议终端与其他会议终端之间直接连接的路径数目,P1和P2分别表示加权系数,P1与P2之和为1。
7.如权利要求6所述的多媒体会议服务器,其特征在于,所述子流划分模块还用于,在初始周期,根据除当前上传音视频数据的会议终端以外的其它会议终端的数量,将从当前上传音视频数据的会议终端接收到的音视频数据平均划分得到相应数量的子流;
所述子流分配模块还用于,在初始周期,将所述子流划分模块划分得到的子流平均分配并发送给所述其它会议终端。
8.如权利要求6所述的多媒体会议服务器,其特征在于,所述性能反馈模块具体用于,根据所述其它会议终端的音视频数据传输性能,选择出传输性能达到设定要求的会议终端,并为选择出的会议终端确定子流分配比例;
所述子流划分模块具体用于,根据所述子流分配比例,将从当前上传音视频数据的会议终端接收到的音视频数据划分为数个子流;
所述子流分配模块具体用于,根据所述子流分配比例,将划分得到的子流分配给选择出的会议终端。
9.如权利要求8所述的多媒体会议服务器,其特征在于,所述性能模块所确定出的子流分配比例为最简整数比;
所述子流划分子模块所划分得到的子流数目为所述最简整数比之和。
10.如权利要求8所述的多媒体会议服务器,其特征在于,所述子流划分模块具体用于,创建数个队列,将从当前上传音视频数据的会议终端接收到的音视频数据UDP发送到所述队列中;其中,当所述的会议服务器每次向队列发送音视频数据UDP时,将该UDP发送给各队列中当前数据量最少的队列。
11.一种多媒体会议音视频数据传输方法,其特征在于,包括以下步骤:
除当前上传音视频数据的会议终端以外的其它会议终端向会议服务器反馈音视频数据传输性能信息,以使会议服务器确定所述其它会议终端的传输性能;
会议终端接收到所述会议服务器发送的音视频数据后,将接收到的音视频数据发送给除当前上传音视频数据的会议终端之外的其它会议终端;其中,所述会议服务器根据会议终端反馈的传输性能,将从当前上传音视频数据的会议终端接收到的音视频数据划分为子流,并根据会议终端的传输性能,将划分得到的子流分配给相应会议终端;
会议终端接收除当前上传音视频数据的会议终端之外的其它会议终端发送的音视频数据,并与自己接收到的音视频数据进行合并处理后输出;
其中,所述传输性能信息包括丢包率或/和网络时延;
其中,所述会议终端向会议服务器反馈音视频数据传输性能信息,具体为:
会议终端统计丢包率和网络时延,并采用以下公式确定传输性能参数,并将确定出的传输性能参数发送给所述会议服务器:
F ( i ) = 1 Σ j = 1 n 1 n | L j ( i ) | * P 1 + Σ j = 1 m 1 m | T j ( i ) | * P 2
其中,F(i)表示第i个会议终端的传输性能参数,Lj(i)表示第i个会议终端的丢包率,Tj(i)表示第i个会议终端与所述会议服务器的网络时延,n表示第i个会议终端与所述会议服务器之间的路径数目,m表示第i个会议终端与所述会议服务器之间以及第i个会议终端与所述其他会议终端之间直接连接的路径数目,P1和P2分别表示加权系数,P1与P2之和为1。
12.一种多媒体会议终端,其特征在于,包括:
反馈模块,用于向会议服务器反馈音视频数据传输性能信息,以使会议服务器确定除当前上传音视频数据的会议终端以外的其它会议终端的传输性能;
第一接收模块,用于接收所述会议服务器发送的音视频数据;其中,所述会议服务器根据所述其它会议终端的传输性能,将从当前上传音视频数据的会议终端接收到的音视频数据划分为子流,并根据会议终端的传输性能,将划分得到的子流分配给相应会议终端;
发送模块,用于将从所述会议服务器接收到的音视频数据发送给除当前上传音视频数据的会议终端之外的其他会议终端;
第二接收模块,用于接收其它会议终端发送的音视频数据;
媒体处理模块,用于将所述第一接收模块和所述第二接收模块接收到的视频数据进行合并处理后输出;
其中,所述反馈模块反馈的传输性能信息包括丢包率或/和网络时延;
其中,所述反馈模块具体用于,统计丢包率和网络时延,并采用以下公式确定传输性能参数,并将该传输性能参数发送给所述会议服务器:
F ( i ) = 1 Σ j = 1 n 1 n | L j ( i ) | * P 1 + Σ j = 1 m 1 m | T j ( i ) | * P 2
其中,F(i)表示第i个会议终端的传输性能参数,Lj(i)表示第i个会议终端的丢包率,Tj(i)表示第i个会议终端与所述会议服务器的网络时延,n表示第i个会议终端与所述会议服务器之间的路径数目,m表示第i个会议终端与所述会议服务器之间以及第i个会议终端与所述其他会议终端之间直接连接的路径数目,P1和P2分别表示加权系数,P1与P2之和为1。
CN201110249255.8A 2011-08-26 2011-08-26 一种多媒体会议音视频传输方法及设备 Active CN102957729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110249255.8A CN102957729B (zh) 2011-08-26 2011-08-26 一种多媒体会议音视频传输方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110249255.8A CN102957729B (zh) 2011-08-26 2011-08-26 一种多媒体会议音视频传输方法及设备

Publications (2)

Publication Number Publication Date
CN102957729A CN102957729A (zh) 2013-03-06
CN102957729B true CN102957729B (zh) 2015-11-25

Family

ID=47765949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110249255.8A Active CN102957729B (zh) 2011-08-26 2011-08-26 一种多媒体会议音视频传输方法及设备

Country Status (1)

Country Link
CN (1) CN102957729B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065914B (zh) * 2013-03-18 2017-11-21 中国移动通信集团公司 一种无线终端视频会议系统、实现方法和装置
CN103873812B (zh) * 2014-04-03 2017-02-15 哈尔滨工业大学 宽带多媒体集群系统调度台的自适应分辨率h.264视频编码方法
CN104394095B (zh) * 2014-11-07 2018-05-25 北京奇虎科技有限公司 数据传输方法、系统及源服务器
CN104320627B (zh) * 2014-11-10 2017-12-12 武汉市中心医院 一种医院病房视频监视的方法以及相关应用服务系统
CN114071063A (zh) * 2021-11-15 2022-02-18 深圳市健成云视科技有限公司 基于双向选择权的信息分享方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543123A (zh) * 2003-04-28 2004-11-03 基于ip网络的分布式多媒体会议系统
CN1889676A (zh) * 2006-06-01 2007-01-03 上海交通大学 基于p2p和sip的视频会议系统及其实现方法
CN101662496A (zh) * 2009-09-21 2010-03-03 中兴通讯股份有限公司 一种利用点对点技术实现文件共享的系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543123A (zh) * 2003-04-28 2004-11-03 基于ip网络的分布式多媒体会议系统
CN1889676A (zh) * 2006-06-01 2007-01-03 上海交通大学 基于p2p和sip的视频会议系统及其实现方法
CN101662496A (zh) * 2009-09-21 2010-03-03 中兴通讯股份有限公司 一种利用点对点技术实现文件共享的系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Peer-to-peer Multipoint Videoconferencing on The Internet";M.Reha Civanlar等;《Image Communication》;20050930;第743-754页 *
"基于P2P的视频会议媒体传输模式的研究";杨磊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20070515;正文第2-4章 *

Also Published As

Publication number Publication date
CN102957729A (zh) 2013-03-06

Similar Documents

Publication Publication Date Title
CA2419151C (en) Audio data processing
US8441517B2 (en) Data processing apparatus and method, and network system
US9338096B2 (en) Multicast tree packing for multi-party video conferencing under SDN environment
US20110299427A1 (en) Method and apparatus for distributed media conferencing
CN102957729B (zh) 一种多媒体会议音视频传输方法及设备
CN101889422A (zh) 用于使终端的输出同步的方法及系统
JPH09214488A (ja) 広帯域マルチポイントブリッジ用リソース管理システム
AU2020257112B2 (en) Distribution of bandwidth in a network
CN102469409A (zh) 一种多媒体会议实现方法和装置
CN110445723A (zh) 一种网络数据调度方法及边缘节点
CN100425033C (zh) 多速率网络视频流媒体承载方法及系统
CN102025973B (zh) 视频合成方法及视频合成系统
CN103414868A (zh) 一种基于h323协议的视频会议单会议终端数扩容方法
WO2012046358A1 (ja) 経路構築装置及び経路構築方法
CN108156413A (zh) 视频会议的传输方法及装置、mcu
WO2012024970A1 (zh) 用于多点控制单元的流量处理方法和装置
CN105392025A (zh) 用户侧带宽聚合的方法、设备和内容分发系统
US20140176666A1 (en) Method, computer program and device for managing media stream in video conferencing
CN103152545B (zh) 一种处理纠错请求的方法、视频服务器和视频会议系统
RU205445U1 (ru) Видеостена с распределенным контроллером
CN114978935B (zh) 服务质量资源申请方法、设备及存储介质
Kang et al. Dynamic rate control mechanism for large scale sessions
Geng et al. Bitrate adaptive scheme in real-time video conference system
KR100857585B1 (ko) 다수의 대표 단말을 가지는 다자간 분산식 회의시스템
AU2001282272B8 (en) Audio data processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant