CN103269457B - 基于失真估计的h.264/avc视频包优先级调度方法 - Google Patents

Abstract

本发明提供一种基于失真估计的H.264/AVC视频包优先级调度方法：（1）对每个待发送的H.264/AVC视频包计算其包优先级指数PPI，其中，PPI由两类失真计算得到，每类失真包括两部分：视频包对当前帧造成的失真和视频包对后续帧的造成的失真；（2）计算视频包对当前帧造成的失真时，采用了一种基于失真估计模型的预测方法；（3）计算视频包对后续帧的造成的失真时，采用了利用扩散失真因子对失真估计模型所得失真进行加权的方法来求解；（4）在调度时，按照PPI的大小对待发送视频包进行排序调度后进行视频包的发送，本发明提高了接收端解码后的视频质量，提升了无线网络中视频传输的性能。

Description

基于失真估计的H.264/AVC视频包优先级调度方法

技术领域

本发明属于在无线网络中进行视频传输的方案，涉及一种无线网络中H.264/AVC视频传输的优先级调度方法，特别涉及一种基于失真估计模型的H.264/AVC视频包优先级调度方法。

背景技术

随着无线传输技术的普及和发展，利用无线网络进行数据传输以实现信息交互成为目前研究的热点问题。这其中利用手机等无线终端作为视频、音频等多媒体的体验设备已经成为日益增长的应用趋势，具有良好的应用前景。但是由于诸多原因，在无线网络中进行视频传输始终面临着许多挑战，原因如下：（1）无线网络自身的不稳定性和时变特征，例如时变的传输速率，存在较多的时延抖动和时延等。（2）实时的视频数据对传输速率要求较高且对时延敏感。以上的这些因素将会导致在利用无线网络进行视频传输时难以保障请求视频资源的用户在接收端得到理想的视频信息。

针对以上问题，目前的许多研究都集中于通过设计合理的视频包调度算法来提高网络传输的效率，进而改善接收端的视频质量。然而，目前的调度方案在进行优先级的度量时并未考虑视频包对后续帧解码所产生的影响，且在设计中需要依赖当前网络状态，这导致在进行具体的视频包调度时，难以准确衡量视频包的优先级且实现较复杂，从而难以在较大程度上使接收端的视频质量得到提升。因此，如何设计一种合理简单的度量视频包优先级的调度方法显得尤为重要。

发明内容

本发明的目的在于提供一种基于失真估计的H.264/AVC视频包优先级调度方法，该调度方法利用失真估计模型对视频包的优先级进行估计以提高调度的可靠性，并最终改善接收端的用户体验。

为达到上述目的，本发明采用了以下技术方案：

1）逐帧计算每路H.264/AVC视频的视频包质量贡献指数（PPI），视频包质量贡献指数是单位比特数所产生的失真贡献，失真贡献由两类失真之差确定，该差值表明了某个视频包的成功接收对视频质量的提升产生的影响大小，一类失真为视频包被丢弃并进行错误消隐而产生的丢包失真，另一类失真为视频包被成功发送并解码产生的发包失真，每类失真由两部分组成：第一部分为视频包对当前帧造成的失真，第二部分为视频包对后续帧造成的失真；

2）计算视频包对当前帧造成的失真时，采用了失真估计模型对待求失真进行估计，所述失真估计模型考虑由错误消隐带来的两帧之间的关联性并利用该关联性实现失真值的递推估计；计算视频包对后续帧造成的失真时，采用了利用扩散失真因子对所述视频包对当前帧造成的失真进行加权的方法来求解；

3）按照视频包质量贡献指数的大小对待发送视频包进行排序，然后按照视频包质量贡献指数从大至小的顺序进行视频包的发送。

所述视频包质量贡献指数的计算方法如下式所示：

${\mathrm{\σ}}_m=\frac{D_L-D_R}{b_m}$

$D_L=D_L^{\mathrm{cur}}+D_L^{\mathrm{ref}}$

$D_R=D_R^{\mathrm{cur}}+D_R^{\mathrm{ref}}$

，其中，σ_m为当前视频包的视频包质量贡献指数，b_m为当前视频包的大小，D_L为当前视频包被丢弃并进行错误消隐而产生的丢包失真，为当前视频包丢失对当前帧造成的失真，为当前视频包丢失对下一帧造成的失真，D_R为当前视频包被成功发送并解码产生的发包失真，为当前视频包成功发送时对当前帧造成的失真，为当前视频包成功发送时对下一帧造成的失真。

所述视频包对当前帧造成的失真采用以下方法进行计算：

或者

，其中，为当前视频包丢失对当前帧造成的失真，为当前视频包成功发送时对当前帧造成的失真，为前一帧中与当前宏块同位置的宏块的丢包失真值，为前一帧中与当前宏块同位置的宏块的发包失真值，K₁，K₂，K表示比例系数，为宏块t的丢包失真值，D^real(t)为宏块t实际解码产生的失真值，为宏块t的发包失真值，所述宏块t为当前宏块相邻的三个宏块中运动矢量和当前宏块的预测运动矢量或运动矢量最接近的宏块，为当前帧原始图像中宏块t的第i个像素值，为当前帧解码重建图像中宏块t的第i个像素值，为前一帧解码重建图像中与宏块t相同位置处的宏块的第i个像素值，为前一帧原始图像中与宏块t相同位置处的宏块的第i个像素值，MB表示宏块，pmv表示错误消隐计算得到的预测运动矢量。

所述视频包对后续帧造成的失真采用以下方法进行计算：

$D_L^{\mathrm{ref}}={\mathrm{\μ}}_L\·D_L^{\mathrm{cur}}$

或者

$D_R^{\mathrm{ref}}={\mathrm{\μ}}_R\·D_R^{\mathrm{cur}}$

μ_R=β·μ_L

，其中， 为当前视频包丢失对下一帧造成的失真，为当前视频包成功发送时对下一帧造成的失真，为当前视频包丢失对当前帧造成的失真，为当前视频包成功发送时对当前帧造成的失真，N_ref表示当前宏块被参考像素个数，W(i)表示像素i所用的编码预测模式的权值，β表示加权因子，0<β<1。

本发明在发送前合理地估计各个视频包对解码后视频质量的影响程度，是一种离线的估计方法，且估计所用到的信息仅来自于一次解码重建过程，复杂度低，实现简单；失真估计模型在进行失真的估计时无需网络参数的反馈，从而保证了该模型对网络的独立性，进而提高了对网络的鲁棒性。

与现有的视频包调度算法相比，本发明具有以下有益效果：

1）通过设计一种基于失真估计的视频包优先级的度量方法，本发明可以在发送前完成对待发送的视频包进行合理的排序调度，从而有效提高接收端的视频质量。

2）本发明充分考虑到了错误消隐引起的两帧之间视频内容的相关性，有效提高了调度算法的可靠性，从而使解码后的视频质量有较大幅度的提升。

3）本发明在实现时无需考虑网络状态，且仅用一次解码就可得到相应的信息，从而在应用时具有较广泛的应用范围和较低的复杂度。

附图说明

图1为本发明中调度系统示意图；

图2为本发明中调度流程图；

图3为本发明中错误消隐位置示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

参见图1以及图2。

一、引入视频包质量贡献指数（PPI）来准确衡量每个视频包的优先级，其定义式如下：

${\mathrm{\&sigma;}}_m=\frac{D_L-D_R}{b_m}$

，其中，σ_m为视频包m的PPI值，b_m为视频包m的大小，D_L为视频包m被丢弃并进行错误消隐而产生的丢包失真，D_R为视频包m被成功发送并解码产生的发包失真，视频包m为当前视频包。

上述两种失真可进一步分为两部分D^cur和D^ref，具体如下所示。

由视频包被丢弃并进行错误消隐而产生的丢包失真D_L，即：

$D_L=D_L^{\mathrm{cur}}+D_L^{\mathrm{ref}}$

，其中，为当前视频包丢失对当前帧造成的失真，为当前视频包丢失对下一帧造成的失真。其定义式分别为：

$D_L^{\mathrm{cur}}=\left\{\begin{array}{cc}{D}_{L1}^{\mathrm{cur}}& (\mathrm{pmv}\&NotEqual;0)\\ D_{L2}^{\mathrm{cur}}& (\mathrm{pmv}=0)\end{array}\right.$

，其中，为pmv不为0的情况下对当前帧的失真值。为pmv为0时对当前帧的失真值。pmv表示错误消隐所得预测运动矢量。

$D_L^{\mathrm{ref}}=\left\{\begin{array}{c}{D}_{L1}^{\mathrm{ref}}={\mathrm{\&mu;}}_L\&CenterDot;D_{L1}^{\mathrm{cur}}(\mathrm{pmv}\&NotEqual;0)\\ D_{L2}^{\mathrm{ref}}={\mathrm{\&mu;}}_L\&CenterDot;D_{L2}^{\mathrm{cur}}(\mathrm{pmv}=0)\end{array}\right.$

，其中，为pmv不为0情况下对下一帧的失真。为pmv为0情况下对下一帧的失真。μ_L为待求系数。

其中，本发明用到的错误消隐方法如下所示，本发明亦可采用其他已知的错误消隐方法，但下述消隐方法复杂度低，且消隐效果好，具有较高的实用价值：

1.对当前丢失MB（E）寻找其相邻的三个MB（A,B,C）的MV信息，MV表示运动矢量，相邻MB的位置如图3所示，对找到的MV取其水平和垂直坐标的中值作为丢失MB的预测运动矢量pmv的水平和垂直坐标，并在前一帧中按pmv来寻找丢失MB的参考像素值并将其作为丢失MB的像素值。MB表示宏块。

2.如果邻近的MB不存在MV（帧内编码MB）或不存在邻近MB，则直接复制前一帧同一位置MB的像素值作为当前丢失MB的像素值。

由视频包被成功发送并解码产生的发包失真D_R，即：

$D_R=D_R^{\mathrm{cur}}+D_R^{\mathrm{ref}}$

其中，为当前视频包成功发送时对当前帧造成的失真，为当前视频包成功发送时对下一帧造成的失真。

其定义式分别如下所示：

其中，和为当前视频包为I和P宏块时的失真。

其中，μ_R为待求系数。

二、利用失真估计模型估计失真

在发送端，先对码流进行一次解码，并利用得到的信息来进行失真估计，具体步骤如下：

1.对视频包丢包失真（视频包被丢弃并进行错误消隐而产生的丢包失真D_L）的求解

(1)计算具体方法如下：

对每个MB按前述的错误消隐方法计算其所用的pmv坐标(pmv_x,pmv_y)，若pmv横纵坐标至少有一个非零，则若pmv横纵坐标都为零，

的计算步骤如下：

a.比较pmv和邻近三个MB的MV近似程度，步骤如下：

首先，计算系数H_A，H_B和H_C，公式如下：

$H_A=\sqrt{{({\mathrm{mv}}_x^A-{\mathrm{pmv}}_x)}^2+{({\mathrm{mv}}_y^A-{\mathrm{pmv}}_y)}^2}$

$H_B=\sqrt{{({\mathrm{mv}}_x^B-{\mathrm{pmv}}_x)}^2+{({\mathrm{mv}}_y^B-{\mathrm{pmv}}_y)}^2}$

$H_C=\sqrt{{({\mathrm{mv}}_x^c-{\mathrm{pmv}}_x)}^2+{({\mathrm{mv}}_y^c-{\mathrm{pmv}}_y)}^2}$

其次，取H_A，H_B和H_C中的最小者，例如为B，取其对丢失宏块进行失真估计。

b.计算比例系数K₁如下所示：

$K_1=\frac{D_l^{\mathrm{est}}\left(B\right)}{D^{\mathrm{real}}\left(B\right)}$

其中，为宏块B的丢包失真值，该值已经由相同的方法求得。D^real(B)为宏块B实际解码产生的失真值，即：

$D^{\mathrm{real}}\left(B\right)=\underset{i\&Element;\mathrm{MB}}{\mathrm{\&Sigma;}}{(f_n^i-{\hat{f}}_n^i)}^2$

其中，为当前第n帧原始图像中宏块B的第i个像素值，为第n帧解码重建图像中宏块B的第i个像素值。

c.计算

$D_{L1}^{\mathrm{cur}}=K_1\&CenterDot;D_{L1}^{\mathrm{cur}}(n-1)$

其中，为前一帧中与当前宏块同位置的宏块的丢包失真值。

的计算步骤如下：

a.计算比例系数K₂，即：

$K_2=\underset{i\&Element;\mathrm{MB}}{\mathrm{\&Sigma;}}\frac{{\hat{f}}_{n-1}^i{\hat{f}}_n^i}{f_{n-1}^i-f_n^i}$

其中，为当前第n帧原始图像中宏块B的第i个像素值，为第n帧解码重建图像中宏块B的第i个像素值，为前一帧解码重建图像中与宏块B位置相同的宏块的第i个像素值，为前一帧原始图像中与宏块B位置相同的宏块的第i个像素值。

b.计算

$D_{L2}^{\mathrm{cur}}=K_2\&CenterDot;D_{L2}^{\mathrm{cur}}(n-1)$

其中，为前一帧中与当前宏块同位置的宏块的丢包失真值。

(2)计算具体步骤如下：

a.计算μ_L，具体方法如下所示：

对μ_L利用当前MB被参考像素个数N_ref及其预测模式对应的权值W(i)来计算：

${\mathrm{\&mu;}}_L=\underset{i=1}{\overset{N_{\mathrm{ref}}}{\mathrm{\&Sigma;}}}W\left(i\right)$

其中，预测模式权值W，设I4x4,I16x16,P16X16,P16X8,P8X16,P8X8,P8X4,P4X8,P4X4九种预测模式的权值为W_j,j=1…9，对其权值进行设置：P4X4为775，P4X8和P8X4为6150，P8X8为5125，P8X16和P16X8为4250，P16X16为3375，I4X4为215，I16X16为130。

b.计算

$D_L^{\mathrm{ref}}={\mathrm{\&mu;}}_L\&CenterDot;D_L^{\mathrm{cur}}$

(3)计算D_L

$D_L=D_L^{\mathrm{cur}}+D_L^{\mathrm{ref}}=\left\{\begin{array}{c}{D}_{L1}^{\mathrm{cur}}+{\mathrm{\&mu;}}_L\&CenterDot;D_{L1}^{\mathrm{cur}}(\mathrm{pmv}\&NotEqual;0)\\ D_{L2}^{\mathrm{cur}}+{\mathrm{\&mu;}}_L\&CenterDot;D_{L2}^{\mathrm{cur}}(\mathrm{pmv}=0)\end{array}\right.$

2.对视频包发包失真（视频包被成功发送并解码产生的发包失真D_R）的求解

(1)计算具体步骤如下：

对解码后得到的宏块类型做判断，若为I宏块则若为P宏块，则

计算的方法如下：

$D_R^{\mathrm{cur}}\left(I\right)=\underset{i\&Element;\mathrm{MB}}{\mathrm{\&Sigma;}}{(f_n^i-{\hat{f}}_n^i)}^2$

其中，是当前宏块的原始图像第i个像素值，是当前宏块的编码重建图像的第i个像素值。该值很小且对最终效果并无影响，可以忽略，故取为0。所以有：

$D_R^{\mathrm{cur}}\left(I\right)=0$

计算的步骤如下：

a.将当前宏块的MV和邻近宏块的MV作比较：

首先，计算系数H_A，H_B和H_C，公式如下：

$H_A=\sqrt{{({\mathrm{mv}}_x^A-{\mathrm{mv}}_x)}^2+{({\mathrm{mv}}_y^A-{\mathrm{mv}}_y)}^2}$

$H_B=\sqrt{{({\mathrm{mv}}_x^B-{\mathrm{mv}}_x)}^2+{({\mathrm{mv}}_y^B-{\mathrm{mv}}_y)}^2}$

$H_C=\sqrt{{({\mathrm{mv}}_x^c-{\mathrm{mv}}_x)}^2+{({\mathrm{mv}}_y^c-{\mathrm{mv}}_y)}^2}$

其次，取H_A，H_B和H_C中的最小者，例如为B，取其对当前宏块进行失真估计。

b.计算系数K

$K=\frac{D_r^{\mathrm{est}}\left(B\right)}{D^{\mathrm{real}}\left(B\right)}$

，其中，为宏块B的发包失真值，该值已经由相同的方法求得。D^real(B)为宏块B实际解码产生的失真值，即：

$D^{\mathrm{real}}\left(B\right)=\underset{i\&Element;\mathrm{MB}}{\mathrm{\&Sigma;}}{(f_n^i-{\hat{f}}_n^i)}^2$

，其中，为当前第n帧原始图像中宏块B的第i个像素值，为第n帧解码重建图像中宏块B的第i个像素值。

c.计算

$D_R^{\mathrm{cur}}\left(P\right)=K\&CenterDot;D_R^{\mathrm{cur}}(n-1)$

其中，为前一帧中与当前宏块同位置的宏块的发包失真值。

(2)计算

a.对MB类型做判断，若为I宏块，则若为P宏块，则 $D_R^{\mathrm{ref}}={\mathrm{\&mu;}}_R\&CenterDot;D_R^{\mathrm{cur}}\left(P\right).$

b.计算μ_R，μ_R由以下公式得到：

μ_R=β·μ_L

其中，β=0.7

c.计算

$D_R^{\mathrm{ref}}={\mathrm{\&mu;}}_R\&CenterDot;D_R^{\mathrm{cur}}$

(3)计算D_R

三、按PPI值设置优先级并进行调度。

调度时，每个视频流都缓存在各自的队列中。将队列中超过延迟要求的视频包进行主动丢弃。然后取PPI值作为优先级的度量指标，对每个视频包进行排序，使优先级高（对应PPI值大）的视频包被优先调度；最后，按排序后的发送顺序发送视频，从而实现优化调度传输。

本发明的仿真对比实验以及结果统计和说明如下：

实验参数：

实验结果：进行了六组标准测试序列的测试，分别为：bridge_far_qcif,bridge_close_qcif,coastguard_qcif,container_qcif,football_qcif,foreman_qcif.将100帧的平均psnr值进行比较，比较的方案是：

本发明的算法和采用视频包比特数作为调度指标的算法，结果如下：

FSNR	1	2	3	4	5	6
							失真估计调度	33.14	34.12	26.47	31.42	17.5	22.15
比特数调度	29.32	32.85	21.78	26.28	14.84	20.45

结论：从上表可以看出，本发明的算法能够取得较好的效果，提升视频质量。

Claims (3)

1.一种基于失真估计的H.264/AVC视频包优先级调度方法，其特征在于，包括以下步骤：

1)逐帧计算每路H.264/AVC视频的视频包质量贡献指数，视频包质量贡献指数是单位比特数所产生的失真贡献，失真贡献由两类失真之差确定，一类失真为视频包被丢弃并进行错误消隐而产生的丢包失真，另一类失真为视频包被成功发送并解码产生的发包失真，每类失真由两部分组成：第一部分为视频包对当前帧造成的失真，第二部分为视频包对后续帧造成的失真；

2)计算视频包对当前帧造成的失真时，采用了失真估计模型对待求失真进行估计，所述失真估计模型考虑由错误消隐带来的两帧之间的关联性并利用该关联性实现失真值的递推估计；计算视频包对后续帧造成的失真时，采用了利用扩散失真因子对所述视频包对当前帧造成的失真进行加权的方法来求解；

所述视频包对后续帧造成的失真采用以下方法进行计算：

$D_L^{ref}={\mathrm{\&mu;}}_L\&CenterDot;D_L^{cur}$

或者

$D_R^{ref}={\mathrm{\&mu;}}_R\&CenterDot;D_R^{cur}$

μ_R＝β·μ_L

其中， 为当前视频包丢失对下一帧造成的失真，为当前视频包成功发送时对下一帧造成的失真，为当前视频包丢失对当前帧造成的失真，为当前视频包成功发送时对当前帧造成的失真，N_ref表示当前宏块被参考像素个数，W(i)表示像素i所用的编码预测模式的权值，β表示加权因子，0<β<1；

3)按照视频包质量贡献指数的大小对待发送视频包进行排序，然后按照视频包质量贡献指数从大至小的顺序进行视频包的发送。

2.根据权利要求1所述一种基于失真估计的H.264/AVC视频包优先级调度方法，其特征在于：

所述视频包质量贡献指数的计算方法如下式所示：

${\mathrm{\&sigma;}}_m=\frac{D_L-D_R}{b_m}$

$D_L=D_L^{cur}+D_L^{ref}$

$D_R=D_R^{cur}+D_R^{ref}$

其中，σ_m为当前视频包的视频包质量贡献指数，b_m为当前视频包的大小，D_L为当前视频包被丢弃并进行错误消隐而产生的丢包失真，为当前视频包丢失对当前帧造成的失真，为当前视频包丢失对下一帧造成的失真，D_R为当前视频包被成功发送并解码产生的发包失真，为当前视频包成功发送时对当前帧造成的失真，为当前视频包成功发送时对下一帧造成的失真。

3.根据权利要求1所述一种基于失真估计的H.264/AVC视频包优先级调度方法，其特征在于：所述视频包对当前帧造成的失真采用以下方法进行计算：

或者

其中，为当前视频包丢失对当前帧造成的失真，为当前视频包成功发送时对当前帧造成的失真，为前一帧中与当前宏块同位置的宏块的丢包失真值，为前一帧中与当前宏块同位置的宏块的发包失真值，K₁，K₂，K表示比例系数，为宏块t的丢包失真值，D^real(t)为宏块t实际解码产生的失真值，为宏块t的发包失真值，所述宏块t为当前宏块相邻的三个宏块中运动矢量和当前宏块的预测运动矢量或运动矢量最接近的宏块，为当前帧原始图像中宏块t的第i个像素值，为当前帧解码重建图像中宏块t的第i个像素值，为前一帧解码重建图像中与宏块t相同位置处的宏块的第i个像素值，为前一帧原始图像中与宏块t相同位置处的宏块的第i个像素值，MB表示宏块，pmv表示错误消隐计算得到的预测运动矢量。