CN101969372B - 基于帧丢失预测的蜂窝网络上行视频通信QoS优化方法 - Google Patents

Abstract

一种通信技术领域的基于帧丢失预测的蜂窝网络上行视频通信QoS优化方法，基于基站链路层自身的ARQ功能，通过在发送端链路层设计链路层代理，实现基于ARQ重传次数统计的帧丢失预测以及超时帧丢失，并将链路层的帧丢失信息反馈到应用层的编码器；同时，通过在接收端的应用层设计应用层代理，统计每一帧的接收情况，并将正确接收的信息，端到端的反馈到发送端的编码器；发送端的编码器，根据接收到的跨层反馈和端到端反馈，对每一个编码过的图像帧的传送状态进行标记，正确传送的标记为G，并把编码时的参考帧限定在标记为G的帧内进行，以提升视频重建时对误码的鲁棒性。

Description

基于帧丢失预测的蜂窝网络上行视频通信QoS优化方法

技术领域

本发明涉及的是一种通信技术领域的方法，具体是一种基于帧丢失预测的蜂窝网络上行视频通信QoS优化方法。

背景技术

目前绝大多数的移动基站都采用FEC(Forward Error Correction，前向纠错)和ARQ(Auto Retransmission Request，自动重传请求)相结合的方案来为无线信道上的数据传输提供服务质量(QoS)保证。FEC主要用来进行比特级的错误校正；不能纠正的错误则通过ARQ进行重传。具体到上行蜂窝视频通信系统，基站在遇到不可纠正的传输错误时，将向移动终端发送重传请求ARQ，发送端则根据接收到的请求对当前出错的链路帧单元进行重传。显然，重传将引入额外的时延。这种不确定的时延抖动，使得基于ARQ的重传在实时视频通信中难以普遍推广。为了保证视频通信的实时性，基站往往采用一个最大重传次数门限来约束可能引入的时延。如果发送端能够根据应用层的反馈计算出重传时延并针对性地将其限制在约束的时延范围内，则可以进一步提升系统的传输效率。目前大多数基站都采用对等的重传次数限制，即每一个链路帧都具有同样的重传次数限制“η”(η≥0)。因为没有考虑到不同视频帧之间的不对等重要性，这种对等重传策略往往达不到最优的系统性能。

经过对现有技术的检索发现，文献H.Liu，W.J.Zhang，S.Y.Yu，and X.K.Yang，″Channel-aware frame dropping for cellular video streaming，″in proc.Int.Conf.Acoust.，Speech，Signal Processing Thulouse，France，May.2006.根据视频帧间的重要性不同，提出了一种更为有效的不对等重传方案。但是，这种方案需要在现有的2.5G基站上设置视频代理或射频链路层代理，这将因增加大量的设备投入成本而难以在实际应用中实现。

当前的端到端视频通信应用中，RPS的性能主要依赖于反馈信息的回程时延RTT。专利号为200810033293.8的发明专利，针对蜂窝视频通信中信号衰减等信道误码原因造成的突发丢包，提出了一种上行蜂窝视频通信的自适应传输方法及系统，使其能在动态感知无线信道误码状况及有效传输带宽基础上，通过采用新的信道自适应传输方法和系统，以相对较小的系统复杂度实现有效的抗误码性丢包效果。但专利提出的方法是基于端到端的信道反馈来感知、估算信道的有效传输带宽变化，用以控制编码端的发送码率使其与信道带宽的波动相适应。由于有线网络(如Internet)的RTT时延往往为数百毫秒甚至更多，此时发送端的编码器难以根据反馈信息做出及时的响应，从而导致服务质量的严重下降。在上行蜂窝网络中，基站和移动终端之间的反馈时延，由于物理距离较短而只有数十毫秒，远小于有线骨干网络的RTT时延。这类快速的短时延的反馈可被用来提升系统的性能。但是，作为代价，视频服务器被引入到基站中以提供射频链路层的实时反馈。考虑到在现存基站上进行任何改变或投资都将带来巨大的成本投入，这种以设置代理服务器来进行实时反馈的方案很难得到实用。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于帧丢失预测的蜂窝网络上行视频通信QoS优化方法，通过开发利用基站自身的ARQ功能，提出了一个无需设置视频代理的基于跨层反馈的视频编码方案，为解决此类问题提供了一种有效的方法。

本发明是通过以下技术方案实现的，本发明包括如下步骤：

步骤一，在射频链路层(Radio Link)设置射频链路层代理，进行射频链路层到应用层(Application)的跨层帧丢失处理与帧丢失信息反馈。

所述的帧丢失信息反馈是指：判断帧丢失处理的结果，当一个视频帧被预测到可能丢失或因超时被主动丢弃，则射频链路层代理向应用层发送一个NACK(Negative Acknowledgment)信息，以表明该帧将不能成功传送；否则，发送ACK(Acknowledgment)信息表明该帧将成功传送。

所述的帧丢失处理包括：(1)帧丢失预测，即根据接收到的来自基站的ARQ信息，对可能发生的帧丢失进行预测；(2)超时帧丢弃，即主动地丢弃超时帧。

所述的帧丢失预测是指：发送端的射频链路层代理将对每一个射频链路层帧的重传ARQ次数C_i进行累计：当C_i达到η时，无论最后一次重传是否成功，发送端都将因为重传次数用尽而收不到来自基站的ARQ请求，因此发送端射频链路层代理将把包含该链路帧的SDU发送预测为不成功，并产生一个NACK信息给应用层的编码器；如果一个SDU在其所有的链路帧在发送完后收到的累计ARQ次数C_i都小于最大重传次数η，则认为该SDU传输成功，射频链路层代理发送ACK到编码器；当收到射频链路层代理发来的NACK信息，编码器将把对应帧的状态标记为B，表明该帧将不能用于后续帧的预测参考。

所述的超时帧丢弃是指：射频链路层代理实现主动的超时帧检测、丢弃功能；当当前帧被判断为解码或显示时间超时，射频链路层代理将丢弃该帧以平衡因重传造成的网络带宽和时延抖动，其中解码或显示时间超时通过以下公式进行判断：

$T_{\mathrm{curr}}+\stackrel{\‾}{\mathrm{TTI}}+t_s>T_{\mathrm{play}}---\left(1\right)$

$\stackrel{\‾}{\mathrm{TTI}}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{TTI}}_i---\left(2\right)$

其中：T_play是表示当前将发送帧的回放时限，

表示平均的从发送端到接收端的传输时间间隔，TTI_i为第i帧数据的传输时延，t_s为一个紧缩时间变量，当

大于回放时限T_play时，射频链路层代理将判断当前帧超时，发送一帧数据的传输时延TTI可以在接收端进行实际时延计算并通过下行信道反馈给编码端，发送端的编码器可以根据公式(2)从接收到的端到端ACK反馈中得到平均的传输间隔

步骤二，在接收端设置应用层代理，进行端到端的帧接收信息反馈。具体是指，在接收端解码器中设置应用层代理，对每个视频帧的接收情况进行端到端的ACK反馈，发送端基于ACK反馈信息以及传输间隔TTI信息进行端到端的差错控制编码。

所述的端到端的ACK反馈是指：当接收端应用层正确地接收到一个视频帧，应用层代理将产生一个ACK信息并经过下行信道发送至发送端，表明该帧被接收端正确接收。

所述的端到端差错控制编码是指：发送端的应用层代理收到一个视频帧的ACK信息后，将通知编码器将对应帧的发送状态设置为G。

步骤三，基于步骤一的跨层帧丢失处理与帧丢失信息反馈和步骤二的ACK反馈信息以及传输间隔TTI信息进行自适应编码。具体是指：编码器在对当前的第i帧编码前，将判断是否收到第i-2帧的射频链路层反馈信息，亦即要得到i-2帧的发送成功与否的反馈。如果第i-2帧的反馈为NACK，则表明i-2帧可能发送失败，需要将其状态设为B，然后对i-1帧进行重新编码；当第i-2帧的反馈为ACK反馈信息，则正常编码第i帧，同时编码时采用的参考帧，限定为参考队列里状态为G的帧。

与现有技术相比，本发明的优点包括：一是在不对移动基站做任何改变的情况下实现容错性的蜂窝视频编码。在发送端和接收端实现的两类反馈：(i)发送端编码器和射频链路层代理之间的跨层反馈；(ii)发送端和接收端之间的端到端反馈。这两个反馈都是在发送或接收终端上，基于基站已有的ARQ机制实现的，无需对蜂窝系统的基站进行任何升级或更新。二是通过对反馈信息尽可能有效的利用，以尽可能少的编码效率降低换来容错性能的大幅提升。作为代价，编码端需要增加额外的缓存空间(用来缓存捕获的等待编码的视频帧)和运算复杂度(可能的前一帧重新编码)。随着现代半导体技术的飞速发展，仅仅几帧图像大小的额外缓存和个别帧的重新编码很容易实现，因此这些代价对大多数编码设备都是可以接受的。基于实施例的实验仿真表明，采用本专利提出的基于帧丢失预测的蜂窝网络上行视频通信QoS方法，在信道出现误码时，能取得比传统的未采用本方法的方案更高的图像重建质量增益。

附图说明

图1实施例用于上行蜂窝视频通信的两级反馈架构。

图2为自适应编码示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

在本实例中，为了评估射频链路层代理的帧丢失预测精度(一个视频序列中真实的SDU丢帧个数与预测的丢失个数之比值)，利用H.264/AVC参考代码JM10.2和3GPP/3GPP2离线仿真器，进行了一组实施例仿真。试验中采用3GPP/3GPP2推荐的标准误码样本来模拟真实的3G无线信道，其详细参数见表1。为不失一般性，选择大多数移动基站都采用的重传次数限制η＝3作为实施例的门限。

表1实施例所采用信道条件

本实施例根据本方法的技术方案进行实施，具体包括如下具体步骤：

步骤一，在RL层设置代理，进行射频链路层到APP层的跨层帧丢失信息反馈。在发送端射频链路层设置了一个射频链路层代理，用来完成以帧丢失处理与信息反馈功能。所述的帧丢失处理，包括：(1)帧丢失预测，即根据接收到的来自基站的ARQ信息，对可能发生的帧丢失进行预测；(2)超时帧丢弃，即主动地丢弃超时帧。所述的帧丢失信息反馈，是指根据帧丢失处理的结果，如果一个视频帧被预测到可能丢失，或因超时被主动丢弃，则射频链路层代理向APP层的编码器发送一个NACK信息，以表明该帧将不能成功传送；否则，发送ACK信息表明该帧将成功传送。

所述的帧丢失预测，是指：发送端的射频链路层代理，对每一个射频链路层帧的重传ARQ次数C_i进行累计。当C_i达到η时，无论最后一次重传是否成功，发送端射频链路层代理都将判断包含该链路帧的SDU发送不成功，产生一个NACK信息给APP层的编码器；如果一个SDU在其所有的链路帧在发送完后收到的累计ARQ次数C_i都小于最大重传次数η，则认为该SDU传输成功，射频链路层代理发送ACK到编码器。一旦收到射频链路层代理发来的NACK信息，编码器将把对应帧的状态标记为B(Bad)，表明该帧将不能用于后续帧的预测参考。

所述的超时帧丢弃，是指：利用射频链路层代理，实现主动的超时帧检测、丢弃功能。一旦当前帧被判断为解码或显示时间超时，射频链路层代理将丢弃该帧以平衡因重传造成的网络带宽和时延抖动。超时帧的判断基于公式(3)和(4)。

$T_{\mathrm{curr}}+\stackrel{\‾}{\mathrm{TTI}}+t_s>T_{\mathrm{play}}---\left(3\right)$

$\stackrel{\‾}{\mathrm{TTI}}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{TTI}}_i---\left(4\right)$

在公式(3)中，T_play是表示当前将发送帧的回放时限，

表示平均的从发送端到接收端的传输时间间隔(TTI_i为第i帧数据的传输时延)，t_s为一个紧缩时间变量。当

大于回放时限T_play时，射频链路层代理将判断当前帧超时。发送一帧数据的传输时延TTI可以在接收端进行实际时延计算并通过下行信道反馈给编码端。因此，发送端的编码器可以根据公式(4)从接收到的端到端ACK反馈中得到平均的传输间隔

步骤二，在接收端设置应用层代理，进行端到端的帧接收信息反馈。具体是指，在接收端解码器中设置应用层代理，对每个视频帧的接收情况进行端到端的ACK反馈。发送端基于该反馈信息，进行端到端的差错控制编码。

所述的端到端的ACK反馈，是指：一旦接收端应用层正确地接收到一个视频帧，应用层代理将产生一个ACK信息，经过下行信道发送至发送端(见图1所示)，表明该帧被接收端正确接收。

所述的端到端差错控制编码，是指：发送端的应用层代理收到一个视频帧的ACK信息后，将通知编码器将对应帧的发送状态设置为G(Good)。这样，那些被误判为发送失败而实际成功发送的帧，其状态将由B纠正为G，重新加入参考队列以阻止可能的编码效率下降。此外，端到端的ACK包还包括当前接收帧的传输间隔TTI信息，以便使编码器能由此进行超时帧的判断和检测。

步骤三，基于步骤一和步骤二的反馈信息，进行自适应编码。如图2所示，具体是指：编码器在对当前的第i帧编码前，将判断是否收到第i-2帧的射频链路层反馈信息(步骤一产生)，亦即要得到i-2帧的发送成功与否的反馈。如果第i-2帧的反馈为NACK，则表明i-2帧可能发送失败，需要将其状态设为B，然后对i-1帧进行重新编码(此时i-2帧将不能作为i-1帧的参考帧，目的是阻止可能的误差传播)。如果第i-2帧的反馈为ACK反馈信息，则正常编码第i帧。同时，编码时采用的参考帧，限定为参考队列里状态为G的帧。

实施例序列为典型的QCIF(176x144分辨率)视频Foreman和Hall序列(编码帧率为10帧/秒以适应3G网络的低带宽特点)。实施例中将采用本方法的技术方案与如下两个方案进行了比较：1)传统方案：该方案只采用端到端的反馈，无基于帧丢失处理的RL层到APP层的跨层反馈。这类方案是目前多数端到端视频传输方案所采用。2)代理方案：既有端到端的反馈，也有发送端和基站之间无线接口部分的反馈。值得注意的是，该类方案需要在移动基站上设置额外的视频代理来实现无线接口部分的反馈。实施例结果示于表2和表3。

表2不同信道条件下的射频链路层帧丢失预测精度统计结果

表3不同方案的整体编码效率比较

从表2可以看到，该方案对射频链路层帧丢失的预测准确率在绝大多数情况下都在90％以上。因此，本文所采用的帧丢失预测方案是比较准确的。同时，整体编码效率上，由表3的三种方案平均亮度信号峰值信躁比(PSNR-Y)比较可以看出，在信道出现丢包误码时，采用本方法的方案比传统方案和代理方案，均能取得更高的PSNR增益。在丢包率为10％时，这种PSNR增益的提升可达到2dB。尽管采用本方法的方案和代理方案相比图像重建质量增益相近，但考虑到后者需要在移动基站上增设视频代理，而前者将这个代理转移到了发送端(移动终端)从而避免了对基站的额外投入，故采用本方法的方案将更具有实际应用价值。

Claims (4)

1.一种基于帧丢失预测的蜂窝网络上行视频通信QoS优化方法，其特征在于，包括如下步骤：

步骤一，在射频链路层设置射频链路层代理，进行射频链路层到应用层的跨层帧丢失处理与帧丢失信息反馈；

步骤二，在接收端设置应用层代理，进行端到端的帧接收信息反馈，具体是指，在接收端解码器中设置应用层代理，对每个视频帧的接收情况进行端到端的ACK反馈，发送端基于ACK反馈信息以及传输间隔TTI信息进行端到端的差错控制编码；

步骤三，基于步骤一的跨层帧丢失处理与帧丢失信息反馈和步骤二的ACK反馈信息以及传输间隔TTI信息进行自适应编码，具体是指：编码器在对当前的第i帧编码前，将判断是否收到第i-2帧的射频链路层反馈信息，亦即要得到i-2帧的发送成功与否的反馈，当第i-2帧的反馈为NACK，则表明i-2帧可能发送失败，需要将其状态设为B，然后对i-1帧进行重新编码；当第i-2帧的反馈为ACK反馈信息，则正常编码第i帧，同时编码时采用的参考帧，限定为参考队列里状态为G的帧；

所述的帧丢失信息反馈是指：判断帧丢失处理的结果，当一个视频帧被预测到可能丢失或因超时被主动丢弃，则射频链路层代理向应用层发送一个NACK信息，以表明该帧将不能成功传送；否则，发送ACK信息表明该帧将成功传送；

所述的帧丢失处理包括：帧丢失预测，即根据接收到的来自基站的ARQ信息，对可能发生的帧丢失进行预测；超时帧丢弃，即主动地丢弃超时帧；

所述的端到端差错控制编码是指：发送端的应用层代理收到一个视频帧的ACK信息后，将通知编码器将对应帧的发送状态设置为G。

2.根据权利要求1所述的基于帧丢失预测的蜂窝网络上行视频通信QoS优化方法，其特征是，所述的帧丢失预测是指：发送端的射频链路层代理将对每一个射频链路层帧的重传ARQ次数C_i进行累计：当C_i达到η时，η为最大重传次数，无论最后一次重传是否成功，发送端都将因为重传次数用尽而收不到来自基站的ARQ请求，因此发送端射频链路层代理将把包含该链路帧的SDU发送预测为不成功，并产生一个NACK信息给应用层的编码器；当一个SDU在其所有的链路帧在发送完后收到的累计ARQ次数C_i都小于最大重传次数η，则认为该SDU传输成功，射频链路层代理发送ACK到编码器；当收到射频链路层代理发来的NACK信息，编码器将把对应帧的状态标记为B，表明该帧将不能用于后续帧的预测参考。

3.根据权利要求1所述的基于帧丢失预测的蜂窝网络上行视频通信QoS优化方法，其特征是，所述的超时帧丢弃是指：射频链路层代理实现主动的超时帧检测、丢弃功能；当当前帧被判断为解码或显示时间超时，射频链路层代理将丢弃该帧以平衡因重传造成的网络带宽和时延抖动，其中解码或显示时间超时通过以下公式进行判断：

$T_{\mathrm{curr}}+\stackrel{\‾}{\mathrm{TTI}}+t_s>T_{\mathrm{play}},$ $\stackrel{\‾}{\mathrm{TTI}}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{TT}{I}_i,$

其中：T_play是表示当前将发送帧的回放时限，

表示平均的从发送端到接收端的传输时间间隔，TTI_i为第i帧数据的传输时延，t_s为一个紧缩时间变量，当大于回放时限T_play时，射频链路层代理将判断当前帧超时，发送一帧数据的传输时延TTI在接收端进行实际时延计算并通过下行信道反馈给编码端，发送端的编码器从接收到的端到端ACK反馈中得到平均的传输间隔

4.根据权利要求1所述的基于帧丢失预测的蜂窝网络上行视频通信QoS优化方法，其特征是，所述的端到端的ACK反馈是指：当接收端应用层正确地接收到一个视频帧，应用层代理将产生一个ACK信息并经过下行信道发送至发送端，表明该帧被接收端正确接收。

Images