CN102665142B

CN102665142B - 一种终端均衡速率的无线音视频并行传输方法

Info

Publication number: CN102665142B
Application number: CN201210096448.9A
Authority: CN
Inventors: 陈惠芳; 谢磊; 洪钧煌
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2012-04-05
Filing date: 2012-04-05
Publication date: 2014-05-14
Anticipated expiration: 2032-04-05
Also published as: CN102665142A

Abstract

本发明涉及一种终端均衡速率的无线音视频并行传输方法。现有的方法在通过多个网络并行传输时，无法根据不同网络的特性，将音视频码以合适的速率通过不同网络并行传输，造成不同网络间的负载不均衡，降低了QoS质量。本发明提出的音视频数据实时传输方法基于多网络接口的多模终端，多模终端估计网络延时和丢包率等参数，智能地将音视频数据分配至多个无线网络，在各网络上以不同的速率并发地传输音视频码流。本发明通过多模终端收集的信息，估计网络的参数，将音视频码流以适合的速率分配到不同网络传输，充分利用多个网络提高传输能力，均衡各个网络的负载，防止网络拥塞，提高QoS质量。

Description

一种终端均衡速率的无线音视频并行传输方法

技术领域

本发明属于信号传输技术领域，涉及一种无线音视频传输方法，具体涉及一种基于多模终端均衡速率的无线音视频并行传输方法。

背景技术

视频编码技术和无线通信网络结合，是当前移动通信技术研究的一个热点。在网络视频传输领域，目前普遍采用H.264视频编码技术进行视频编码。H.264采用多参考帧、多块类型、整数变换、帧内预测等新的压缩技术，并使用更精细的分像素运动矢量和新一代的环路滤波器，进一步提高视频压缩比，使系统更加完善；H.264具有较强的抗误码特性，还提供了错误恢复机制，使视频数据能在丢包率较高、无线干扰严重的无线信道中传输。H.264编码技术引入了面向IP包的编码机制，适于在网络中分组传输。H.264编码技术中定义了三种视频帧类型，分别为I帧、P帧和B帧。I帧采用帧内编码方式编码，在接收端可独立解码；P帧和B帧则采用帧间编码方式编码，必须在其所依赖的全部参考帧被正确接收后方可正确解码。可独立解码的I帧作为P帧和B帧的参考帧，重要性最高；P帧和B帧的重要性次之。

802.11n、WCDMA、CDMA2000等是当前热门的无线接入技术。802.11n是802.11系列中继802.11a/b/g后最新的无线局域网传输协议，其目标是在无线局域网中提供更高带宽和更高质量的数据传输服务。得益于MIMO(Multiple Input Multiple Output, 多入多出)与OFDM(Orthogonal Frequency Division Multiplexing, 正交频分复用)技术的结合，802.11n极大地提升了传输质量和传输速率。基于802.11n技术建立的无线热点，可在较小的覆盖范围内为用户提供较高速率的无线数据传输服务。WCDMA和CDMA2000是第三代移动通信标准，相比第二代移动通信标准，3G标准能支持更高的无线数据传输速率。与无线局域网传输标准相比，移动通信标准提供更广的覆盖范围和更优的移动性支持。

发明内容

本发明提出一种基于多模终端的并发接入功能，利用并发接入的多条无线链路实时传输音视频数据的方法。

本发明提出的音视频数据实时传输方法基于多网络接口的多模终端，多模终端估计网络延时和丢包率等参数，智能地将音视频数据分配至多个无线网络，在各网络上以不同的速率并发地传输音视频码流。

本发明所述的多模终端包含以下功能模块：

(a).接入适配模块：所述的接入适配模块负责汇集各个网络接口的信息，包括可用网络标识、信号强度、网络接口状态等；负责接收连接管理模块的指令，根据指令在多个网络接口上建立连接，并返回连接结果；负责在建立连接的网络接口上接收接收端返回的ACK包；此外，接入适配模块需响应终端信息收集模块要求，将信息发送给终端信息收集模块。

(b).信息收集模块：所述的信息收集模块负责接收接入适配模块采集的可用网络标识、信号强度、网络接口状态等信息，通过查询终端上的数据库，获取不同网络标识符所对应的网络运营商、技术类型和资费等信息；建立可用网络的信息列表，供终端连接管理模块决策使用。

(c).连接管理模块：所述的连接管理模块的功能是综合用户配置、应用程序QoS需求及终端信息收集模块收集的信息，选择接入合适的多路网络。将选择接入的网络发送给接入适配模块，接收接入适配模块返回的连接结果信息；根据连接状态，触发速率均衡模块决策，根据速率均衡模块的决策结果，将业务流动态的分配到不同网络中去；根据信息收集模块中网络状态的变化或用户配置和业务要求的变化，执行网络切换。

(d).速率均衡模块：所述的速率均衡模块的功能是根据连接管理模块的指令进行速率均衡决策，并将网络速率分配的结果返回给连接管理模块；在连接维持期间，速率均衡模块根据动态更新的信息，动态调节速率分配结果。

本发明的具体步骤是：

步骤（1）将输入多模终端的H.264编码的音视频码流分割及重组成具有不同传输优先级的码流，分割与重组的具体方法是：

a)将音视频码流中的音频帧单独重组成音频码流，将视频帧中的I帧重组成高优先级视频码流，将视频中的其他帧重组为低优先级视频码流。

b)将重组后的音频码流和高优先级的视频码流进行封包处理，放入高优先级传输队列；将重组后的低优先级视频码流进行封包处理，放入低优先级传输队列。

步骤（2）在多模终端侧建立多条无线传输链路，具体方法是：

c) 多模终端接入适配模块监听多个网络接口，将网络接口状态、可接入网络标示符、信号强度信息发送到终端信息收集模块。

d)信息收集模块根据网络标示符查询数据库，获取不同网络相应的资费信息，建立当前可接入网络列表。

所述的可接入网络列表包含每个可接入网络的平均速率、资费等信息。

e) 连接管理模块根据用户配置信息和上层应用QoS要求，在可接入网络列表中选择多路接入网络进行接入，并将选择的结果发送到接入适配模块。

所述的用户配置信息包括用户对网络资费的承受范围，用户设定的拒绝连接网络的黑名单。所述的上层应用QoS要求是指应用程序为保证服务质量需要的最低传输速率。

f)接入适配模块接收到连接管理模块的接入网络选择结果后，在相应的网络接口上初始化连接，在连接建立后，将连接结果返回至连接管理模块。

g)连接管理模块根据收到的连接结果建立已连接网络列表，根据信息收集模块反馈的网络状态、用户配置或业务需求的变化信息执行网络切换，并更新连接网络列表。

步骤（3）音视频码流通过步骤（2）中建立的多个网络进行传输，具体是：

h)在传输初始阶段时，高优先级传输队列的数据选择已连接网络中的第一个网络进行传输，每个网络都以设定的初始速率R ₀传输低优先级发送队列的数据。

所述的传输初始阶段，是指音视频码流在通过已连接网络进行传输时，传输速率采用设定的默认值的阶段。

步骤（4）音视频数据包在经不同的网络接口发送之前加入包序号和时间戳，并加入相应网络接口的移动IP信息。接收端根据包序号和时间戳将数据包重组为音视频码流，并通过数据包中的移动IP信息向发送该数据包的终端网络接口返回ACK包。

步骤（5）接入适配模块收集各个已建立连接的网络接口接收到的ACK包。根据接收到的ACK包，对每个网络链路进行延时估计和丢包率计算，具体是：

k)当从一个网络链路上接收到第n个ACK包时，根据从发送数据包到接收该数据包的ACK包之间所经历的时间

Figure 2012100964489100002DEST_PATH_IMAGE002

，接收第n-1个ACK包时估计的往返时间，估计第n个ACK包的往返时间

Figure 2012100964489100002DEST_PATH_IMAGE004

如下：

估计该链路的延时时间t _out如下:

Figure 2012100964489100002DEST_PATH_IMAGE008

其中α为往返时间估计值t _rtt的平滑因子，d _rtt为往返时间和链路延时的估计偏差，β为估计偏差d _rtt的平滑因子。

l)接入适配模块周期性地统计各条网络链路发送的包数和收到确认的包数，并估计链路的丢包率

Figure 2012100964489100002DEST_PATH_IMAGE012

估计如下：

Figure 2012100964489100002DEST_PATH_IMAGE014

对丢包率进行平滑处理：

Figure 2012100964489100002DEST_PATH_IMAGE016

Figure 2012100964489100002DEST_PATH_IMAGE018

Figure 2012100964489100002DEST_PATH_IMAGE020

Figure 2012100964489100002DEST_PATH_IMAGE022

表示估计值为第

个统计周期的估计值，λ为平滑因子。用平滑后的

做丢包率的估计值；

所述的发送的包数是指在一个周期内，通过该网络链路发送的数据包数。所述的收到确认的包数是指在一个周期内，通过该网络链路收到的ACK包数。

步骤（6）接入适配模块将各个连接网络的估计延时和丢包率发送到连接管理模块，连接管理模块以周期T启动速率均衡模块进行速率均衡。根据步骤（5）所估计的延时和丢包率，均衡的步骤如下：

m)将已连接网络按步骤（4）计算得到的估计延时按低到高的顺序排列，依次分配速率。

n)设定阈值

Figure 2012100964489100002DEST_PATH_IMAGE026

，第个网络的速率分配如下：

Figure 2012100964489100002DEST_PATH_IMAGE030

Figure 2012100964489100002DEST_PATH_IMAGE032

Figure 2012100964489100002DEST_PATH_IMAGE034

Figure 2012100964489100002DEST_PATH_IMAGE038

其他

表示分配结果为第

个均衡周期的分配结果。其中

Figure 2012100964489100002DEST_PATH_IMAGE042

为设定的第

个网络的最小传输速率，支持高优先级码流传输。

Figure 2012100964489100002DEST_PATH_IMAGE044

为设定的第i个网络的最大传输速率。

Figure 2012100964489100002DEST_PATH_IMAGE046

为设定的最大传输速率和，支持传输所有码流。AIR为速率线性增加的部分，μ为速率降低系数。

Figure 2012100964489100002DEST_PATH_IMAGE048

为第i个网络的丢包率估计值。

步骤（7）速率均衡模块将速率分配结果发送到连接管理模块，连接管理模块检测发送速率

Figure 2012100964489100002DEST_PATH_IMAGE050

是否能承载源端视频码率

Figure 2012100964489100002DEST_PATH_IMAGE052

。若R _T≥R _s，表明发送速率能承载源端视频码率；若R _T<R _s，表明发送速率不能承载源端视频码率。当发送速率不能承载源端视频码率时，丢弃低优先级发送队列前端

Figure 2012100964489100002DEST_PATH_IMAGE054

大小的数据，T为步骤（6）所述周期。连接管理模块根据步骤（6）中的分配结果，分配音视频码流通过已连接的多个网络传输。

步骤（8）接收端从各个链路接收数据，根据数据包中的包序号和时间戳，重组恢复码流。根据数据包中的移动IP信息，向相应链路的网络接口返回ACK包。

本发明通过多模终端收集的信息，估计网络的参数，将音视频码流以适合的速率分配到不同网络传输，充分利用多个网络提高传输能力，均衡各个网络的负载，防止网络拥塞，提高QoS质量。

附图说明

图1为终端各模块框图

图2为速率均衡模块功能框图

图3为本发明传输过程的流程图

图4为本发明实例框图。

具体实施方式

以下结合附图对本发明作进一步说明。

本发明适用于无线环境下的音视频传输场景。在异构的无线网络的应用场景下，采用本发明中所提供的方法，对音视频进行并行传输，实时将音视频码流输送到接收端。

所述的异构的无线网络是指不同类型的无线网络。在本实施例中，如图4所示，以WiFi，WCDMA，CDMA2000三个网络为例说明。用户通过这三个网络同时接入Internet，实现音视频码流的并行传输。本实施例中的多模终端同时具有接入WiFi，WCDMA,CDMA2000网络的接口。本实施例的流程图如图3所示。

本实施例的具体步骤：

(1)本实施例中输入多模终端H.264编码的音视频码流，码流码率为2000 bits/s。音视频码流中的音频帧和I帧重组后输入高优先级传输队列，其他帧重组后输入低优先级传输队列。高优先级队列中码流速率为500 bits/s,低优先级队列中码流速率为1500 bits/s。

(2)多模终端各个模块的组成如图1所示。多模终端接入适配模块监听多个网络接口，将网络接口状态、可接入网络标示符、信号强度信息发送到终端信息收集模块。信息收集模块根据网络标示符查询数据库，获取不同网络相应的资费信息，建立当前可接入网络列表。本实施例中，当前可接入网络有WiFi，WCDMA,CDMA2000三个网络。终端连接管理模块根据用户配置信息和上层应用QoS要求，同时选择这三个网络进行传输。连接管理模块将选择结果发送到接入适配模块，接入适配模块在相应的网络接口上初始化连接。连接建立后，接入适配模块向连接管理模块返回连接结果，连接管理模块建立已连接网络列表。已连接网络列表中包含WiFi，WCDMA,CDMA2000三个网络。

(3)音视频码流通过步骤(2)中的多路连接传输。传输初始阶段，高优先级队列中的码流选择第一个已连接网络进行传输。每个网络都以设定的初始速率500 bits/s传输低优先级发送队列的数据。

(4)数据包在发送前加入包序号和时间戳。数据包在经过WiFi，WCDMA或者CDMA2000网络发送前，加入相应网络接口的移动IP信息。接收端根据包序号和时间戳将数据包重组为音视频码流，并通过数据包中的移动IP信息向发送该数据包的终端网络接口返回ACK包。

(5)接入适配模块收集WiFi，WCDMA,CDMA2000网络的网络接口接收到的ACK包，根据接收到的ACK包，对每个网络链路估计延时和计算丢包率。

(a)当从一个网络链路上接收到第n个ACK包时，根据从发送数据包到接收该数据包的ACK包之间所经历的时间τ _n，接收第n-1个ACK包时估计的往返时间，估计第n个ACK包的往返时间t _rtt如下：

估计该链路的延时时间t _out如下:

(b)接入适配模块周期性地统计各条网络链路发送的包数和收到确认的包数，并估计链路的丢包率

估计如下：

对丢包率进行平滑处理：

Figure 2012100964489100002DEST_PATH_IMAGE056

Figure 2012100964489100002DEST_PATH_IMAGE058

λ为平滑因子。用平滑后的

做丢包率的估计值；

(6)接入适配模块将各个已连接网络的估计延时和丢包率发送到连接管理模块，连接管理模块以周期T启动速率均衡模块进行速率均衡。速率均衡模块的功能如图3所示。根据步骤(5)估计的延时和丢包率，均衡的步骤如下：

(a)根据步骤(4)估计出的延时，将已连接网络按延时增大的顺序排列。假定步骤(4)中三个已连接网络的延时排序为WiFi < WCDMA < CDMA2000。

(b)根据公式

其他

依次分配通过WiFi，WCDMA，CDMA2000网络发送数据的速率。本实施例设定

Figure 2012100964489100002DEST_PATH_IMAGE060

，。速率线性增加的部分AIR设定为0.1倍系统输入速率，即200 bits/s。速率降低系数设定为0.25。设定WiFi，WCDMA，CDMA2000网络的最小传输速率分别为500bits/s，200bits/s，100bits/s，最大传输速率分别为2000bits/s，2000bits/s，2000bits/s；最大传输速率和为2000bits/s。

(7)假定速率均衡模块均衡的结果为，分别通过WiFi，WCDMA，CDMA2000网络以1000bits/s, 600bits/s, 400bits/s的速率发送数据。连接管理模块检测到总发送速率可以承载源端码流速率，分配音视频码流通过三个网络传输。高优先级队列的数据通过WiFi以500bits/s的速率传输，低优先级队列的数据分别以500bits/s,600 bits/s, 400 bits/s的速率通过WiFi，WCDMA，CDMA2000网络传输。

(8)接收端从各个链路接收数据，根据数据包中的包序号和时间戳，重组恢复码流。根据数据包中的移动IP信息，向相应链路的网络接口返回。

Claims

1.一种终端均衡速率的无线音视频并行传输方法，其特征在于该方法包括如下步骤：

a)将音视频码流中的音频帧单独重组成音频码流，将视频帧中的I帧重组成高优先级视频码流，将视频中的其他帧重组为低优先级视频码流；

b)将重组后的音频码流和高优先级的视频码流进行封包处理，放入高优先级传输队列；将重组后的低优先级视频码流进行封包处理，放入低优先级传输队列；

c)多模终端接入适配模块监听多个网络接口，将网络接口状态、可接入网络标示符、信号强度信息发送到终端信息收集模块；

d)终端信息收集模块根据网络标示符查询数据库，获取不同网络相应的资费信息，建立当前可接入网络列表；

所述的可接入网络列表包含每个可接入网络的平均速率和资费信息；

e)连接管理模块根据用户配置信息和上层应用QoS要求，在可接入网络列表中选择多路接入网络进行接入，并将选择的结果发送到接入适配模块；

所述的用户配置信息包括用户对网络资费的承受范围，用户设定的拒绝连接网络的黑名单；所述的上层应用QoS要求是指应用程序为保证服务质量需要的最低传输速率；

f)接入适配模块接收到连接管理模块的接入网络选择结果后，在相应的网络接口上初始化连接，在连接建立后，将连接结果返回至连接管理模块；

g)连接管理模块根据收到的连接结果建立已连接网络列表，根据信息收集模块反馈的网络状态、用户配置或业务需求的变化信息执行网络切换，并更新连接网络列表；

h)在传输初始阶段时，高优先级传输队列的数据选择已连接网络中的第一个网络进行传输，每个网络都以设定的初始速率R₀传输低优先级发送队列的数据；

所述的传输初始阶段，是指音视频码流在通过已连接网络进行传输时，传输速率采用设定的默认值的阶段；

步骤（4）音视频数据包在经不同的网络接口发送之前加入包序号和时间戳，并加入相应网络接口的移动IP信息；接收端根据包序号和时间戳将数据包重组为音视频码流，并通过数据包中的移动IP信息向发送该数据包的终端网络接口返回ACK包；

步骤（5）接入适配模块收集各个已建立连接的网络接口接收到的ACK包；根据接收到的ACK包，对每个网络链路进行延时估计和丢包率计算，具体是：

k)当从一个网络链路上接收到第n个ACK包时，根据从发送数据包到接收该数据包的ACK包之间所经历的时间τ_n，接收第n-1个ACK包时估计的往返时间，估计第n个ACK包的往返时间t_rtt(n)如下：

t_rtt(n)=αt_rtt(n-1)+(1-α)τ_n

估计该链路的延时时间t_out如下：

d_rtt(n)=βd_rtt(n-1)+(1-β)|τ_n-t_rtt|

t_out=t_rtt+4d_rtt

其中α为往返时间估计值t_rtt的平滑因子，d_rtt为往返时间和链路延时的估计偏差，β为估计偏差d_rtt的平滑因子；

l)接入适配模块周期性地统计各条网络链路发送的包数和收到确认的包数，并估计链路的丢包率P(m)估计如下：

P'(m)=（发送的包数-收到确认的包数）/发送的包数

对丢包率进行平滑处理：

P(m)=P'(m) m=0

P(m)=λP(m-1)+(1-λ)P'(m) m>0

m表示估计值为第m个统计周期的估计值，λ为平滑因子；用平滑后的P(m)做丢包率的估计值；

所述的发送的包数是指在一个周期内，通过该网络链路发送的数据包数；所述的收到确认的包数是指在一个周期内，通过该网络链路收到的ACK包数；

步骤（6）接入适配模块将各个连接网络的估计延时和丢包率发送到连接管理模块，连接管理模块以周期T启动速率均衡模块进行速率均衡；根据步骤（5）所估计的延时和丢包率，均衡的步骤如下：

m)将已连接网络按步骤（5）计算得到的估计延时按低到高的顺序排列，依次分配速率；

n)设定阈值0<K₁<K₂，第i个网络的速率分配如下：

R_{i} (k) = \min {R_{i} (k - 1) + AIR, R_{i}^{\max}, R_{\max} - Σ_{j = 1}^{i - 1} R_{j} (k - 1)}, P_{i} (k) < K_{1}

R (k) = \max {μR (k - 1), R_{i}^{\min}}, P_{i} (k) > K_{2}

R_i(k)=R_i(k-1) 其他

k表示分配结果为第k个均衡周期的分配结果；其中

为设定的第i个网络的最小传输速率，支持高优先级码流传输；

为设定的第i个网络的最大传输速率；R_max为设定的最大传输速率和，支持传输所有码流；AIR为速率线性增加的部分，μ为速率降低系数；P_i(n)为第i个网络的丢包率估计值；

是否能承载源端视频码率R_s；若R_T≥R_s，表明发送速率能承载源端视频码率；若R_T<R_s，表明发送速率不能承载源端视频码率；当发送速率不能承载源端视频码率时，丢弃低优先级发送队列前端(R_S-R_T)T大小的数据；连接管理模块根据步骤（6）中的分配结果，分配音视频码流通过已连接的多个网络传输；

步骤（8）接收端从各个链路接收数据，根据数据包中的包序号和时间戳，重组恢复码流；根据数据包中的移动IP信息，向相应链路的网络接口返回ACK包。