CN101026545A - 一种实时多媒体传输系统和方法 - Google Patents

Abstract

本发明公开了一种实时多媒体传输系统和方法，所述系统包括至少一个定位服务器、多个存取点、多个用户设备、至少一个组包服务器、以及分别与每个用户设备对应的多个代理客户端模块。其中，用户设备通过对应的代理客户端模块发送/接收控制信令以及媒体数据；代理客户端模块通过存取点和定位服务器，向用户设备发送控制信令并接收用户设备反馈的控制信令，以及，通过存取点将从用户设备接收的媒体数据发送至组包服务器，并将从组包服务器接收的媒体数据发送到对应的用户设备；组包服务器对收到的媒体数据进行重组，并通过存取点将重组后的数据发送到代理客户端模块。通过本发明可以提升WIFI网络下的多媒体传输的实时性。

Description

一种实时多媒体传输系统和方法

技术领域

本发明涉及多媒体传输领域，特别是涉及一种实时多媒体传输系统和方法。

背景技术

WIFI(Wireless Fidelity)是基于802.11系列的无线局域网技术，在WIFI网络环境下，支持两种信道访问方式：基于CSMA/CA(载波侦听/冲突避免)的分布式访问方式(DCF)和在此之上的集中控制方式(PCF)。

无线设备工作在基于存取点的模式下时，多个无线设备一般采用CSMA/CA信道访问方式共享无线信道。在此种机制下，无线设备首先通过竞争获得无线链路使用权，然后将数据包上传至存取点，存取点将无线设备发来的数据包进行缓存，并在获得无线网络的控制权之后，将该数据包传送至目标设备。但是，在此种机制下，由于连接存取点的无线设备较多，当网络流量较大时，数据会在存取点处聚集，造成无线传输的上下行速率不对称。下行速率由于存取点无法得到网络使用权而显著下降，这对于普通数据业务影响不大，但是对于实时语音/视频传输任务将产生较大影响。

现有的实时多媒体传输系统的示意如图1所示，该实时多媒体传输系统包括多个用户设备、多个存取点和至少一个定位服务器，定位服务器用于实现用户身份管理，用户计费，用户地址查找等。目前，实现这些功能的服务器有：VOIP应用中基于SIP协议的SIP代理服务器和定位服务器、以及基于H.323协议的网守。

以下将结合图1说明该实时多媒体传输系统中媒体数据(包括语音和视频)传输的具体传输过程。图1中，实线表示控制信令的传输过程，虚线表示媒体数据的传输过程。

首先，源用户设备向定位服务器注册本地的用户信息；

当呼叫开始时，源用户设备向定位服务器发起连接请求，定位服务器向目的用户设备发送媒体信道协商、流量控制、认证和计费等控制信令，并将目的用户设备反馈的控制信令传回到源用户设备。

源用户设备收到目的用户设备反馈的控制信令后，直接与目的用户设备建立连接；

然后，源用户设备与目的用户设备进行多媒体数据传输。

其中，源用户设备是指数据的发送方，目的用户设备是指数据的接收方。同一用户设备既可以作为源用户设备，也可以作为目的用户设备。该方案中由于存取点无法得到网络使用权，存取点数据下行速率将受限制，因此不能解决无线传输的上下行速率不对称的问题。

在现有方案的基础上，为了提升实时语音/视频的传输效率，目前有很多标准，比如802.11e。该标准是由IEEE定义的用于改善无线局域网上音频及视频质量的技术标准，并定义了语音、视频、尽力而为的服务和后台服务四种流量类型，这四种类型每种都有自己的队列，这就使得数据包获得了不同的优先级别。这四种类型的定义是可以改变的。为了分辨出每个数据包属于哪一种类型，该标准使用了与以太网类似的标识符。在传输过程中，当接入点检测到这些标识符后，赋予语音数据包最高的优先级，接下来是视频数据包。

802.11e虽然可以和其它机制相结合，防止数据包之间发生冲撞，但是，它存在的问题是，该标准将优先级排序的权力交给了客户端。然而，在规模更大的部署环境中，为了提高语音/视频传输的实时性，应当将控制权力交给集中管理的服务器或网络机制，提升存取点的网络使用效率。

另外，基于该标准的机制需要对网络设备进行全面的升级，无法提高不支持新标准的设备的无线工作效率。在新设备和老设备混合使用的情况下也会使整个网络的无线工作效率显著下降。

发明内容

为了解决上述问题，本发明的一个目的就是提供一种实时多媒体传输系统，将无线网络的控制权力交给集中管理的服务器或网络机制，提高无线传输的下行速率。

本发明的另一目的在于，提供一种实时多媒体传输方法，提升实时语音/视频媒体数据的传输质量。

本发明的实时多媒体传输系统，包括至少一个定位服务器、多个存取点、多个用户设备、至少一个组包服务器、以及分别与每个用户设备对应的多个代理客户端模块。其中，用户设备通过对应的代理客户端模块发送/接收控制信令以及媒体数据；代理客户端模块通过存取点和定位服务器，向用户设备发送控制信令并接收用户设备反馈的控制信令，以及，通过存取点将从用户设备接收的媒体数据发送至组包服务器，并将从组包服务器接收的媒体数据发送到对应的用户设备；组包服务器对收到的媒体数据进行重组，并通过存取点将重组后的数据发送到代理客户端模块。通过本发明可以提升WIFI网络下的多媒体传输的实时性。

本发明的实时多媒体传输方法，包括至少以下步骤：

步骤A，源用户设备通过代理客户端模块向目的用户设备和定位服务器发送控制信令以及接收反馈的控制信令，注册到组包服务器；

步骤B，源用户设备将媒体数据通过代理客户端模块发送至组包服务器；

步骤C，组包服务器对收到的数据进行排队重组，并将重组后的数据从组包服务器发送到目的用户设备。

本发明的有益效果是：

1.通过组包服务器对代理客户端发送的媒体数据包进行排队重组，将多个小包组成一个大包并进行包头压缩处理，从而提高了净菏比，并且通过直接发送大包，可以提升带宽利用率以及数据传输效率；以及

2.通过对整个网络的媒体数据集中管理，并根据数据流量进行包的排队和重组，显著提升全网条件下WiFI网络的信道利用率，使得存取点的下行带宽显著提升。

附图说明

图1为现有的实时语音/视频传输方案的示意图；

图2为本发明实时多媒体传输系统的实施例1的架构图；

图3为代理客户端模块的示意图；

图4为组包服务器的示意图。

图5为本发明实时多媒体传输方法的实施例1的流程图；

图6为本发明实时多媒体传输系统的实施例2的架构图；

图7为本发明实时多媒体传输方法的实施例2的流程图；

图8为组包服务器的工作流程图。

具体实施方式

实施例1

图2为本发明实时多媒体传输系统的实施例1的架构图，其中，该实时多媒体传输系统包括多个用户设备、多个代理客户端模块、多个存取点、一个组包服务器、以及至少一个定位服务器，其中，多个存取点与该组包服务器连接。

与现有的实时语音/视频传输方案不同之处在于，本发明的实时多媒体传输系统增加了组包服务器和代理客户端模块。其中，组包服务器用于对媒体数据进行重组；代理客户端模块用于执行源用户设备和目的用户设备之间的连接、注册和通话请求。代理客户端模块与用户设备一一对应，可以位于用户设备内部，也可以位于用户设备外部。

图3为代理客户端模块的示意图。如图3所示，代理客户端模块包括信令处理单元、注册请求单元和数据组包/解包单元。

其中，信令处理单元解析用户设备发送的控制信令，将控制信令转发到正确的定位服务器，并且，在收到定位服务器反馈的控制信令后，对其进行解析，并发给相应的用户设备。

注册请求单元用于将用户设备的注册请求发送到组包服务器。

数据组包/解包单元将用户设备发送的数据中需要发送到同一存取点的多个小包组成一个大包，发送到组包服务器，并对组包服务器传来的数据进行解包，找出属于该用户设备的数据包，丢弃不属于该用户设备的数据包，并将属于该用户设备的数据包还原成用户识别的格式。

图4为组包服务器的示意图。如图4所示，该组包服务器包括注册单元、验证单元、数据缓冲单元、组包单元、和网络状况存储单元。

其中，注册单元接收代理客户端模块的注册请求，并将与该代理客户端模块连接的存取点的地址等网络情况描述信息、以及用户设备信息保存到网络状况存储单元中。

组包服务器收到用户设备通过存取点发送来的媒体数据后，首先，由验证单元验证根据网络状况存储单元中存储的存取点的网络状况来判断用户设备是否已经注册到组包服务器。如果用户设备已注册，将媒体数据送到数据缓冲单元对数据进行排队，数据缓冲单元将数据发送至数据组包单元，由数据组包单元对收到的数据进行重组。否则，通知用户设备进行注册。

由于增加了组包服务器和代理客户端模块，本发明实时多媒体传输系统的媒体数据传输过程包括控制信令传输过程S、用户设备与组包服务器注册过程R、媒体数据传输过程D。

以下将结合图2和5说明本发明实时多媒体传输系统的媒体数据传输过程。在图2中，实线表示控制信令的传输过程，虚线表示注册过程和数据传输过程。

首先，源用户设备通过代理客户端模块、存取点和定位服务器与目的用户设备发送并反馈控制信令，该过程在图2中表示为控制信令传输过程S；

代理客户端模块向组包服务器注册用户信息，该过程在图2中表示为组包服务器注册过程R；

然后，源用户设备向代理客户端模块发送媒体数据，代理客户端模块通过存取点将媒体数据发送至组包服务器，组包服务器对于接收到的所有数据包进行排队，将发送到不同存取点的数据包进行区分和重组，使得每个重组的数据包中仅包含发往相同存取点的媒体数据，并将重组后的数据通过存取点发送到目的用户设备的代理客户端模块，由代理客户端模块进行解包处理后发送给目的用户设备，该过程在图2中表示为媒体数据传输过程D。

具体的，本发明实时多媒体传输方法包括如下步骤：

步骤一，用户设备向其对应的代理客户端模块发送数据包，该数据包中包括控制信令和语音/视频数据。代理客户端模块的信令处理单元解析用户设备发送的信令请求，并将控制信令发送到定位服务器。由定位服务器将该控制信令发送到目的用户设备。目的用户设备收到该控制信令后，对控制信令进行响应，并反馈相应的控制信令到定位服务器。

步骤二，定位服务器将目的用户设备反馈的控制信令发送给代理客户端模块，然后，由代理客户端模块将控制信令提交源用户设备。

所述的控制信令包括媒体信道协商、流量控制、认证和计费等。

步骤三，代理客户端模块的注册请求单元向组包服务器上传与代理客户端模块对应的用户设备的无线网络标识和与用户设备相连的存取点的地址，将用户设备注册到组包服务器，建立媒体信道。

所述步骤三也可以在步骤一之前进行。

步骤四，代理客户端模块判断用户设备发送的数据包中是否包括语音/视频数据，如果包括这些数据，由代理客户端模块将语音/视频数据通过存取点提交到已注册的组包服务器。

步骤五，组包服务器接收该数据，并将该数据提交到数据缓冲单元，数据缓冲单元将收到的数据按照到达的先后顺序进行排队后提交到数据组包单元。

数据组包单元根据各数据包的包头中的目的存取点信息，解析出发给同一目的存取点的数据包，将发送到同一存取点的多个小包组成一个大包。重组后的数据包增加一个包头，该包头包含原有的数据包所要发送的目的用户设备的IP地址。

然后，组包服务器将重组后的大包发送至所要发送的存取点，由存取点将该数据包下发到与其相连的所有用户设备对应的代理客户端模块。

步骤六，代理客户端模块接收从存取点发送来的媒体数据，由数据组包/解包单元对接收到的数据按照包头中的用户设备IP地址信息进行本地解包，解析出与其对应的用户设备的数据包，由代理客户端模块的数据组包/解包单元数据包还原成用户设备可以接收的格式，并将其传回用户设备。

在上述步骤五中，数据缓冲单元可以进一步判断接收数据缓冲值是否已经达到最大值T2。如果接收数据缓冲值已经达到最大值T2，则对数据按照重要性进行排队，丢弃重要性较差的数据，将数据队列提交到数据组包单元。

如果接收数据缓冲值没有达到最大值，则判断数据量是否超过某一设定值T1，以控制重组后的数据包的大小，防止重组后的数据包过小，达不到将小包组成大包，提高宽带利用率的效果；或是重组后的数据包过大，造成数据丢失。如果数据量已经超过该设定值，则将数据队列提交到数据组包单元。

如果数据缓冲值没有达到最大值T2(T2＞T1)，而且数据量没有超过该设定值T1，则由定时发送单元根据时间确定发送数据量，在预定的时间内将数据队列提交到数据组包单元。

另外，在步骤五中数据组包单元进行组包时，可以将多个连续的包进行包头压缩处理，以提高净菏比。

实施例2

图6为本发明实时多媒体传输系统的实施例2的架构图，该系统相对于实施例1中的系统增加了一个缺省组包服务器，并且，组包服务器的个数至少为两个。缺省组包服务器和所有存取点以及组包服务器分别相连。

缺省组包服务器与组包服务器的不同之处在于：缺省组包服务器的网络状况存储单元中保存了网络中部署的所有组包服务器的地址，以及网络中所有各存取点与组包服务器的对应关系。它根据用户设备连接的存取点查询网络状况存储单元中保存的各存取点与组包服务器的对应关系，向用户设备反馈其对应的组包服务器地址。

实施例2的实时多媒体传输系统的媒体数据传输过程与实施例1相同，也包括控制信令传输过程S、用户设备与组包服务器注册过程R、媒体数据传输过程D。

以下将结合图6和7说明本发明实时多媒体传输系统的媒体数据传输过程。在图6中，实线表示控制信令的传输过程，虚线表示注册过程和数据传输过程。

首先，源用户设备通过代理客户端模块、存取点和定位服务器与目的用户设备发送控制信令以及接收反馈的控制信令，该过程在图6中表示为控制信令传输过程S；

代理客户端模块向缺省组包服务器上传用户设备所连接的无线网络标识和存取点地址，缺省组包服务器根据代理客户端连接的存取点，向用户设备反馈其对应的组包服务器地址，代理客户端模块向组包服务器注册用户信息，该过程在图6中表示为组包服务器1注册过程R1和组包服务器2注册过程R2；

然后，源用户设备向代理客户端模块发送媒体数据，代理客户端模块通过存取点将媒体数据发送至组包服务器，组包服务器对接收到的所有数据包进行排队，将发送到相同存取点的媒体数据进行重组，并将重组后的数据通过存取点发送到目的用户设备的代理客户端模块，由代理客户端模块进行解包处理后发送给目的用户设备，该过程在图6中表示为媒体数据传输过程D。

本发明实时多媒体传输方法的流程图如图7所示，具体如下：

步骤一，用户设备向其对应的代理客户端模块发送数据包，该数据包中包括控制信令和语音/视频数据。代理客户端模块的信令处理单元解析用户设备发送的信令请求，并将控制信令发送到定位服务器。由定位服务器将该控制信令发送到目的用户设备。目的用户设备收到该控制信令后，对控制信令进行响应，并反馈相应的控制信令到定位服务器。

步骤二，定位服务器将目的用户设备反馈的控制信令发送给代理客户端模块，然后，由代理客户端模块将控制信令提交源用户设备。

步骤三，代理客户端模块连接缺省的组包服务器，上传与该代理客户端模块对应的用户设备的无线网络标识和存取点地址；缺省组包服务器根据用户设备连接的存取点查询网络状况存储单元中保存的各存取点与组包服务器的对应关系，向用户设备反馈其对应的组包服务器地址。用户设备的代理客户端模块接收组包服务器地址，与该组包服务器注册。

步骤四，代理客户端模块判断用户设备发送的数据包中是否包括语音/视频数据，如果包括这些数据，由代理客户端模块将语音/视频数据通过存取点提交到已注册的组包服务器。

步骤五，组包服务器对接收到的媒体数据进行组包，然后，将重组后的媒体数据包发送至目的用户设备连接的存取点，由该存取点将媒体数据包下发到与其相连的所有用户设备对应的代理客户端模块。

步骤六，代理客户端模块接收从存取点发送来的媒体数据，由代理客户端模块的数据组包/解包单元对接收到的数据按照包头中的用户设备IP地址信息进行本地解包，解析出属于该代理客户端所属的用户设备的数据包；判断用户设备是否接收，如果用户设备接收，则由代理客户端模块的数据组包/解包单元丢弃无关数据并还原正确的接收数据格式传回用户设备；如果用户设备拒绝接收，则直接丢弃该数据。

在上述步骤三中，当用户设备注册成功后，其随时都可能会发生漫游。这时，需要重新进行注册，具体过程为：

当用户设备发生漫游时，由于用户设备连接的存取点发生了改变，用户设备的代理客户端模块向缺省组包服务器发送漫游请求，缺省组包服务器处理该漫游请求后，向用户设备发送位置改变命令以及新的组包服务器地址，并更改网络状况存储单元中保存的该用户的组包服务器地址。用户设备接收并保存新的服务器地址，首先将新的组包服务器地址发送到原来连接的组包服务器；原组包服务器保存用户设备的新组包服务器地址，然后解除与该用户设备的注册；用户设备与新组包服务器注册。

在上述步骤五中，如图8所示，具体工作流程如下：

组包服务器的客户端验证单元首先判断接收该数据的目的用户设备是否注册到该组包服务器。

如果没有注册，首先查询该组包服务器中是否保存了该目的用户设备新的组包服务器地址，如果保存了该地址，则直接将数据转发至新的组包服务器；否则将该数据包发回缺省组包服务器，由缺省组包服务器解析收到的数据包，并根据数据包的目的地址将数据包转发至正确的组包服务器。

如果已注册，组包服务器接收数据，并提交到数据缓冲单元，数据缓冲单元对收到的数据按照到达的先后顺序进行排队，并判断接收数据缓冲值是否已经达到最大值T2。

如果接收数据缓冲值已经达到最大值T2，则对数据按照重要性进行排队，丢弃重要性较差的数据，将该数据队列提交到数据组包单元。

如果接收数据缓冲值没有达到最大值，则判断数据量是否超过某一设定值T3(T2＞T3)，以控制重组后的数据包的大小，防止重组后的数据包过小，达不到将小包组成大包，提高宽带利用率的效果；或是重组后的数据包过大，造成数据丢失。如果数据量已经超过该设定值T3，则将该数据队列提交到数据组包单元。

如果数据缓冲值没有达到最大值T2，而且数据量没有超过该设定值T3，则由定时发送单元根据时间确定发送数据量，在预定的时间内将该数据队列提交到数据组包单元。

数据组包单元根据各数据包的包头中的目的存取点信息解析出需要发给同一目的存取点的数据包，将发送到同一存取点的多个小包组成一个大包，将多个连续的包进行包头压缩处理，以提高净菏比。重组后的数据包增加一个包头，该包头包含原有的数据包所要发送的目的用户设备的IP地址。

然后，组包服务器将重组后的大包发送至所要发送的存取点。由存取点将该数据包下发到相连的所有代理客户端模块。

实施例3

实施例3的实时多媒体传输系统与实时例1相同。

本实施例的实时多媒体传输方法与实施例1的不同之处在于步骤四不同。在本实施例的步骤四中，代理客户端模块判断用户设备发送的数据包中是否包括语音/视频数据，如果包括语音/视频数据，则由代理客户端模块的数据组包单元对这些数据进行本地重组，将多个小包组成一个大包，将多个连续的包进行包头压缩处理，以提高数据包的净荷量，减轻组包服务器的工作量。然后，由代理客户端模块将重组后的语音/视频数据通过存取点将该数据提交到已注册的组包服务器。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种实时多媒体传输系统，包括至少一个定位服务器、多个存取点以及多个用户设备，其特征在于，其进一步包括至少一个组包服务器、以及分别与每个用户设备对应的多个代理客户端模块，其中，

用户设备通过对应的代理客户端模块发送/接收控制信令以及媒体数据；

代理客户端模块通过存取点和定位服务器，向用户设备发送控制信令并接收用户设备反馈的控制信令，以及，通过存取点将从用户设备接收的媒体数据发送至组包服务器，并将从组包服务器接收的媒体数据发送到对应的用户设备；

组包服务器对收到的媒体数据进行重组，并通过存取点将重组后的数据发送到代理客户端模块。

2.如权利要求1所述的实时多媒体传输系统，其特征在于，进一步包括一缺省组包服务器，所述缺省组包服务器分别与所有存取点和组包服务器相连，根据代理客户端连接的存取点，向用户设备反馈组包服务器地址。

3.如权利要求1或2所述的实时多媒体传输系统，其特征在于，所述代理客户端模块包括注册请求单元、数据组包/解包单元和信令处理单元，其中，

信令处理单元处理用户设备发送的控制信令，将其转发到正确的定位服务器，并处理从定位服务器反馈的控制信令，将其发给用户设备；

注册请求单元将用户设备注册到组包服务器；

数据组包/解包单元将用户设备发送的数据进行重组后发送到组包服务器，并将从组包服务器接收的数据进行解包。

4.如权利要求1或2或3所述的实时多媒体传输系统，其特征在于，所述组包服务器包括注册单元、验证单元、数据缓冲单元、数据组包单元和网络状况存储单元，其中，

注册单元用于接收代理客户端模块的注册请求，并将网络情况描述信息以及用户设备信息保存到网络状况存储单元中；

验证单元用于根据网络状况存储单元中保存的用户设备信息验证发送媒体数据的用户设备是否已经注册，并在用户设备已经注册的情况下将媒体数据发送到数据缓冲单元进行缓存；

数据缓存单元用于缓存媒体数据，并将排队后的媒体数据发送到数据组包单元；

数据组包单元用于对收到的数据进行重组，并发送重组形成的数据包。

5.一种实时多媒体传输方法，包括以下步骤：

步骤A，源用户设备通过代理客户端模块向目的用户设备和定位服务器发送控制信令以及接收反馈的控制信令，注册到组包服务器；

步骤B，源用户设备将媒体数据通过代理客户端模块发送至组包服务器；

步骤C，组包服务器对收到的数据进行排队重组，并将重组后的数据从组包服务器发送到目的用户设备。

6.如权利要求5所述的方法，其特征在于，所述步骤A将用户设备注册到组包服务器之前，进一步包括以下步骤：

用户设备通过代理客户端模块向缺省组包服务器上传其无线网络标识和存取点地址；

缺省组包服务器根据用户设备的无线网络标识和存取点地址向用户设备反馈组包服务器地址。

7.如权利要求5或6所述的方法，其特征在于，所述步骤B包括：

步骤B1，源用户设备将媒体数据发送到代理客户端模块；

步骤B2，代理客户端模块将媒体数据进行本地重组后发送至组包服务器。

8.如权利要求5或6所述的方法，其特征在于，所述步骤C中，组包服务器根据媒体数据的重要性进行排队，丢弃重要性较低的媒体数据。

Images