CN103313063B - 一种基于双解码模拟的h.264/avc视频调度方法 - Google Patents

Abstract

本发明公开了一种基于双解码模拟的H.264/AVC视频调度方法：（1）对每个待发送的H.264/AVC视频包计算其包质量贡献指数PQCI，PQCI由两类失真计算得到，每类失真包括两部分：视频包对当前帧的质量贡献和视频包对后续帧的质量贡献。（2）计算视频包对自身的质量贡献时，采用基于双解码模拟的方法，在发送端纳入两个解码器进行失真估计，并求得质量贡献。（3）计算视频包对后续帧的质量贡献时，采用扩散因子加权的方法进行求解。（4）按照PQCI的大小对待发送视频包进行排序调度后进行视频包的发送。本发明提高了接收端解码后的视频质量，提升了无线网络中视频传输的性能，并最终改善接收端的用户体验。

Description

一种基于双解码模拟的H.264/AVC视频调度方法

技术领域

本发明属于无线网络中的H.264/AVC视频调度方案，涉及一种无线网络中H.264/AVC视频传输的优先级调度方法，特别是一种基于双解码模拟的H.264/AVC视频优先级调度方法。

背景技术

随着无线传输技术的普及和发展，利用无线网络进行数据传输以实现信息交互成为目前研究的热点问题。其中，利用手机等无线终端作为视频、音频等多媒体的体验设备已经成为日益增长的应用趋势，具有良好的应用前景。但是由于诸多原因，在无线网络中进行视频传输始终面临着许多挑战，原因如下：(1)无线网络自身的不稳定性和时变特征，例如时变的传输速率，存在较多的时延抖动和时延等。(2)实时的视频数据对传输速率要求较高且对时延敏感。以上的这些因素将会导致在利用无线网络进行视频传输时难以保障请求视频资源的用户在接收端得到理想的视频信息。

针对以上问题，目前的许多研究都集中于通过在发送端设计合理的视频包调度算法来提高网络传输的有效性，进而改善接收端的视频质量。其中的一些方案基于网络特征如丢包率、时延大小来衡量视频包的优先级，另外一些则将视频包大小、缓存队列长度等作为调度指标。

虽然以上方案都对上述问题进行了不同角度的分析和解决并在一定程度上实现了改善视频质量的目标，但是由于忽视了视频包内容的重要性且无法准确的对接收端的解码状况进行估计或模拟，导致难以准确的估计每个视频包的优先级，从而导致调度顺序的不合理，进而影响视频质量的大幅提升。因此，如何设计一种考虑视频包重要性并对接收端解码状况进行模拟的调度方法显得十分重要。

发明内容

本发明的目的在于提供一种基于双解码模拟的H.264/AVC视频调度方法，该调度方法是在充分考虑视频包重要性的前提下，通过在发送端设置两个解码器模拟接收端解码状况来准确衡量视频包重要性，进而提高调度的可靠性并最终提升接收端的用户体验。

为达到上述目的，本发明采用了以下技术方案：

1)逐帧计算每路H.264/AVC视频的视频包质量贡献指数(PQCI)，视频包质量贡献指数是单位比特数所产生的失真贡献，失真贡献由两类失真之差确定，该差值表明了某个视频包的成功接收对视频质量的提升产生的影响大小，一类失真为视频包被丢弃并进行错误消隐而产生的丢包失真，另一类失真为视频包被成功发送并解码产生的发包失真，每类失真由两部分组成：第一部分为视频包对当前帧造成的失真，第二部分为视频包对后续帧造成的失真；

2)计算视频包对当前帧造成的失真时，利用在发送端设置的双解码模拟器对接收端的解码情况进行模拟，根据模拟结果对待求失真进行估计；计算视频包对后续帧造成的失真时，采用了利用扩散失真因子对所述视频包对当前帧造成的失真进行加权的方法来求解；

3)按照视频包质量贡献指数的大小对待发送视频包进行排序，然后按照视频包质量贡献指数从大至小的顺序进行视频包的发送；

4)在完成一次调度后对下一次调度所用的双解码模拟器的参考帧进行更新。

所述视频包质量贡献指数的计算方法如下式所示：

$PQCI\left(m\right)=\frac{D_l\left(m\right)-D_r\left(m\right)}{bit\left(m\right)}$

D_l(m)＝γ_l+α_l

D_r(m)＝γ_r+α_r

，其中，PQCI(m)为当前帧的第m个视频包的视频包质量贡献指数，bit(m)为当前帧的第m个视频包的大小，D_l(m)为当前帧的第m个视频包被丢弃并进行错误消隐而产生的丢包失真，γ_l为当前帧的第m个视频包丢失对当前帧造成的失真，α_l为当前帧的第m个视频包丢失对下一帧造成的失真，D_r(m)为当前帧的第m个视频包被成功发送并解码产生的发包失真，γ_r为当前帧的第m个视频包成功发送时对当前帧造成的失真，α_r为当前帧的第m个视频包成功发送时对下一帧造成的失真。

所述视频包对当前帧造成的失真采用以下方法进行计算：在发送端设置双解码模拟器对接收端的解码情况进行模拟，双解码模拟器中设置了两个模拟模块，分别为包丢失模拟模块和包发送模拟模块，包丢失模拟模块实现对输入码流进行完全丢包和对丢失的视频包进行错误消隐解码的功能，输出值即为当前视频包丢失对当前帧造成的失真γ_l，包发送模拟模块实现对输入码流进行完全正确无丢包解码的功能，输出值即为当前视频包成功发送时对当前帧造成的失真γ_r。

所述视频包对后续帧造成的失真采用以下方法进行计算：

α_l＝μ·γ_l

或者

α_r＝μ·γ_r

，其中，γ_l为当前视频包丢失对当前帧造成的失真，α_l为当前视频包丢失对下一帧造成的失真，γ_r为当前视频包成功发送时对当前帧造成的失真，α_r为当前视频包成功发送时对下一帧造成的失真，N_ref为当前宏块被下一帧参考的像素个数，W(i)为像素i的编码预测模式的权值。

所述调度中，采用TDMA(时分多址)的方式为多个用户的码流进行时隙分配，在每个调度周期开始时，从无线信道中获得每个用户当时的信道状态并应用自适应调制编码(AMC)来估计出在一定的误包率条件下可用的最佳传输模式。

所述更新的具体方法为：

1)如果一帧的某个宏块在上一调度时刻并未成功调度，则认为该宏块丢失并对其进行错误消隐，将错误消隐后该宏块的像素值作为参考帧中与该宏块同位置宏块的像素值；如果一帧的某个宏块在上一调度时刻成功调度，则将该成功调度宏块的像素值作为参考帧中与该宏块同位置宏块的像素值；

2)然后按照下式对参考帧进行修正：

θ(m)＝p*D_r(m)+(1-p)*D_l(m)

，其中，θ(m)为第m个未调度宏块在参考帧中的修正后的像素值，p为上一帧的未调度宏块在下一调度时刻被成功调度的概率，D_l(m)为当前帧的第m个视频包被丢弃并进行错误消隐而产生的丢包失真，D_r(m)为当前帧的第m个视频包被成功发送并解码产生的发包失真。

所述p＝p_t*p_t，其中，p_t表示信道状态转移为状态t的概率，p_t表示信道状态为t时某个视频包被成功调度的概率。

本发明使用H.264/AVC，利用Base-lineProfile编码，采用单参考帧预测。视频码流的第一帧为I帧，其余为P帧。为了增强视频流的错误抵抗性能，每一个P帧中随机选择15个宏块做强制帧内编码。无线网络中采用TDMA方式，为视频流分配时隙进行传输。在发送端纳入两个解码器，采用基于解码模拟的方法计算视频包的丢失对所属帧的质量的影响。利用参考像素所占比例和像素的编码模式权重计算扩散系数，以此计算视频包的丢失对以其为参考的帧的质量的影响。跨层调度算法包括语义队列管理。利用历史调度信息对下一帧解码前的参考帧进行更新和修正。其中，参考帧的修正利用了对网络状态进行估计的方法来求解。

与现有的视频包调度算法相比，本发明具有以下有益效果：

1.通过设计一种合理准确的视频包重要性的度量参数即PQCI，本发明在进行视频包调度时能够充分考虑视频包内容对视频序列解码质量提高的重要性，进而有效保证了调度优先级设计的合理性。

2.本发明采用双解码模拟机制不仅可以有效实现对优先级指标的求解，而且实现了在发送端对解码端解码情形的模拟，从而保证了参数值的精确性和合理性。

3.本发明在设计PQCI时，不仅考虑了视频包丢失对其所在帧的影响，还考虑到了对后续帧的影响，从而有效提高了度量的准确性，进而有利于获得理想的解码质量提升。

4.本发明的调度方式是基于跨层的调度方法，其中包含了应用层，物理层和网络层的信息，有效保证了算法对无线网络的自适应性，提升了算法的鲁棒性。

5.从整体上说，本发明的调度方案在性能上有较为理想的提升，且易于实现，具有良好应用价值。

附图说明

图1为本发明中调度系统示意图；

图2为本发明中整体调度流程图；

图3为本发明中错误消隐MB位置示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细阐述：

对如图1所示调度系统，整体的调度过程如下：

1.对每路H.264/AVC视频流逐帧计算视频包质量贡献指数PQCI。该指数的定义式如下：

$PQCI\left(m\right)=\frac{D_l\left(m\right)-D_r\left(m\right)}{bit\left(m\right)}$

其中，PQCI(m)为视频包m的PQCI，bit(m)为视频包大小，D_l(m)为视频包m被丢弃并进行错误消隐而产生的丢包失真，D_r(m)视频包m被成功发送并解码产生的发包失真。视频包m为当前视频包。

其中，丢包失真(D_l(m))和发包失真(D_r(m))由下式计算：

D_l(m)＝γ_l+α_l

D_r(m)＝γ_r+α_r

其中，MB对当前帧造成的失真γ由双解码模拟机制求得，对下一帧造成的扩散失真α由计算推导得到。MB表示宏块。

实现双解码模拟机制求解失真γ的具体步骤如下：

在发送端设置双解码模拟器对接收端的解码情况进行模拟。模拟器中设置了两个模拟模块，分别为包丢失模拟模块和包发送模拟模块。包丢失模拟模块实现对输入码流进行完全丢包和对丢失的包进行错误消隐解码的功能，包发送模拟模块实现对输入码流进行完全正确无丢包解码的功能，二者的输出值即为视频包m丢失对当前帧造成的失真γ_l和视频包m成功发送时对当前帧造成的失真γ_r。

其中，包丢失模拟模块所用的错误消隐方法如下，本发明亦可采用其他已知的错误消隐方法，但下述消隐方法复杂度低，且消隐效果好，具有较高的实用价值：

(1)对当前丢失的MB(E)寻找其相邻的三个MB(A,B,C)的MV(运动矢量)信息，位置如图3所示，并取其中的水平和垂直坐标的中值作为丢失MB的预测运动矢量pmv，并在前一帧中按pmv来寻找丢失MB的参考像素值并将其作为丢失MB的像素值。

(2)如果邻近的MB不存在MV(帧内编码MB)或不存在邻近MB，则直接复制前一帧同一位置MB的像素值作为当前丢失MB的像素值。

计算扩散失真α的具体方法如下：

A.计算扩散因子μ

$\mathrm{\μ}={\mathrm{\Σ}}_{i=1}^{N_{ref}}W\left(i\right)$

其中，N_ref为当前宏块被下一帧参考的像素个数，W(i)为被参考像素编码时采用的预测模式的权值。设I4x4,I16x16,P16X16,P16X8,P8X16,P8X8,P8X4,P4X8,P4X4九种预测模式的权值为W_j,j＝1...9，将其权值依次设置为：P4X4为7，P4X8和P8X4为6，P8X8为5，P8X16和P16X8为4，P16X16为3，I4X4为2，I16X16为1。

B.扩散失真α为：

$\mathrm{\α}=\left\{\begin{array}{c}{\mathrm{\α}}_l=\mathrm{\μ}\·{\mathrm{\γ}}_l\\ {\mathrm{\α}}_r=\mathrm{\μ}\·{\mathrm{\γ}}_r\end{array}\right.$

2.按照PQCI值对缓存中的视频包由高到低进行排序并将超出时延限的包进行丢弃。

每个视频流都缓存在各自的队列中。将各视频流队列中的视频包按照PQCI的大小由大到小排列，使重要性高(对应PQCI值大)的视频包得到优先的调度；同时，将队列中超过延迟要求的视频包进行主动丢弃。

3.调度时，采用TDMA的方式来为多个用户的码流进行时隙分配。在每个调度周期开始时，从无线信道中获得每个用户当时的信道状态并应用自适应调制编码(AMC)来估计出在一定的误包率条件下可用的最佳传输模式。具体步骤如下：

(1)计算SNR的区间边界点γ_n。

γ₀＝0

${\mathrm{\γ}}_n=\frac{1}{g_n}*ln\left(\frac{a_n}{p_0}\right),n=\{1,...,N\}$

γ_N+1＝+∞

其中，N表示自适应调制编码的传输模式(Mode)种类数，p₀为测得的PER(误包率)，g_n和a_n的值由表1给定：

表1AMC参数表

Mode	1	2	3	4	5	6	7
								αn	67.7328	73.8279	58.7332	55.9137	50.0552	42.5594	40.2559
gn	0.9819	0.4945	0.1641	0.0989	0.0381	0.0235	0.0094

(2)由估计的SNR值确定当前信道状态及传输速率。方法如下：

当该SNR值落入区间[γ_n,γ_n+1)时，根据表1确定发送视频包时采取的自适应调制编码方案。

4.在完成一次调度后对解码所用的参考帧进行更新。方法如下：

如果上一帧的某个MB在上一调度时刻并未成功调度，则认为该宏块丢失并对其进行错误消隐，错误消隐后该宏块的像素值即为包丢失模拟模块中同位置MB在参考帧中的像素值；反之，则取包发送模拟模块中同位置的MB的像素值来作为参考帧中的像素值；在完成更新后，对参考帧进行修正，具体方法如下：

(1)估计上一帧的未调度MB在下一调度时刻被成功调度的概率p。方法如下：

A.由信道估计模块中的FSMC模块和由上一调度时刻的信道状态及状态转移矩阵，可以得到下一调度时刻的信道状态t出现的概率p_t，并进而得到其传输速率K_t。

B.由下一调度时刻的网络传输速率K_t、MB大小B_i(t)以及调度周期T_sch(t)，计算下一调度时刻实际传输的MB的个数N(t)。方法如下：

计算第i个未调度MB的传输时间T_i(t)

$T_i\left(t\right)=\frac{B_i\left(t\right)}{K_t}$

将未调度MB按PQCI值降序排列并计算前N_s(t)个MB总共所需传输时间T_s(t)，使T_s(t)≤T_sch(t)，最大的N_s(t)值即为最终的个数N(t)。

C.设总共有M个未调度MB，下一调度时刻信道状态为t，若M≥N(t)则取p_t＝1；

反之， $p\_t=\frac{N\left(t\right)}{M}.$

D.设下一调度时刻的信道状态t对应的转移概率(信道状态转移为状态t的概率)为p_t，相应的信道状态为t时成功调度的概率为p_t，则未调度MB在下一调度时刻被成功调度的概率p为：

p＝p_t*p_t

(2)由以下公式计算第m个未调度MB在参考帧中的修正后的像素值θ(m)，完成参考帧修正。

θ(m)＝p*D_r(m)+(1-p)*D_l(m)

本发明的有益效果的仿真对比实验以及结果统计和说明：

实验参数：

实验结果：进行了六组标准测试序列的测试，分别为：bridge_far_qcif,bridge_close_qcif,coastguard_qcif,container_qcif,football_qcif,foreman_qcif.将100帧的平均psnr值进行比较，比较的方案是：本发明的算法和采用视频包比特数作为调度指标的算法，结果如下：

PSNR	1	2	3	4	5	6
							双解码调度	30.42	34.85	25.78	31.55	15.56	25.3
比特数调度	29.32	32.85	21.78	26.28	14.84	20.45

结论：从上表可以看出，本发明的算法能够取得较好的效果，提升视频质量。

Claims (6)

1.一种基于双解码模拟的H.264/AVC视频调度方法，其特征在于，包括以下步骤：

1)逐帧计算每路H.264/AVC视频的视频包质量贡献指数，视频包质量贡献指数是单位比特数所产生的失真贡献，失真贡献由两类失真之差确定，一类失真为视频包被丢弃并进行错误消隐而产生的丢包失真，另一类失真为视频包被成功发送并解码产生的发包失真，每类失真由两部分组成：第一部分为视频包对当前帧造成的失真，第二部分为视频包对后续帧造成的失真；

2)计算视频包对当前帧造成的失真时，利用在发送端设置的双解码模拟器对接收端的解码情况进行模拟，根据模拟结果对待求失真进行估计；计算视频包对后续帧造成的失真时，采用了利用扩散失真因子对所述视频包对当前帧造成的失真进行加权的方法来求解；

所述视频包对后续帧造成的失真采用以下方法进行计算：

α_l＝μ·γ_l

或者

α_r＝μ·γ_r

其中，γ_l为当前视频包丢失对当前帧造成的失真，α_l为当前视频包丢失对下一帧造成的失真，γ_r为当前视频包成功发送时对当前帧造成的失真，α_r为当前视频包成功发送时对下一帧造成的失真，N_ref为当前宏块被下一帧参考的像素个数，W(i)为像素i的编码预测模式的权值；

3)按照视频包质量贡献指数的大小对待发送视频包进行排序，然后按照视频包质量贡献指数从大至小的顺序进行视频包的发送；

4)在完成一次调度后对下一次调度所用的双解码模拟器的参考帧进行更新。

2.根据权利要求1所述一种基于双解码模拟的H.264/AVC视频调度方法，其特征在于：所述视频包质量贡献指数的计算方法如下式所示：

$PQCI\left(m\right)=\frac{D_1\left(m\right)-D_r\left(m\right)}{bit\left(m\right)}$

D_l(m)＝γ_l+α_l

D_r(m)＝γ_r+α_r

其中，PQCI(m)为当前帧的第m个视频包的视频包质量贡献指数，bit(m)为当前帧的第m个视频包的大小，D_l(m)为当前帧的第m个视频包被丢弃并进行错误消隐而产生的丢包失真，γ_l为当前帧的第m个视频包丢失对当前帧造成的失真，α_l为当前帧的第m个视频包丢失对下一帧造成的失真，D_r(m)为当前帧的第m个视频包被成功发送并解码产生的发包失真，γ_r为当前帧的第m个视频包成功发送时对当前帧造成的失真，α_r为当前帧的第m个视频包成功发送时对下一帧造成的失真。

3.根据权利要求1所述一种基于双解码模拟的H.264/AVC视频调度方法，其特征在于：所述视频包对当前帧造成的失真采用以下方法进行计算：在发送端设置双解码模拟器对接收端的解码情况进行模拟，双解码模拟器中设置了两个模拟模块，分别为包丢失模拟模块和包发送模拟模块，包丢失模拟模块实现对输入码流进行完全丢包和对丢失的视频包进行错误消隐解码的功能，输出值即为当前视频包丢失对当前帧造成的失真γ_l，包发送模拟模块实现对输入码流进行完全正确无丢包解码的功能，输出值即为当前视频包成功发送时对当前帧造成的失真γ_r。

4.根据权利要求1所述一种基于双解码模拟的H.264/AVC视频调度方法，其特征在于：所述调度中，采用TDMA的方式为多个用户的码流进行时隙分配，在每个调度周期开始时，从无线信道中获得每个用户当时的信道状态并应用自适应调制编码来估计出在一定的误包率条件下可用的最佳传输模式。

5.根据权利要求1所述一种基于双解码模拟的H.264/AVC视频调度方法，其特征在于：所述更新的具体方法为：

1)如果一帧的某个宏块在上一调度时刻并未成功调度，则认为该宏块丢失并对其进行错误消隐，将错误消隐后该宏块的像素值作为参考帧中与该宏块同位置宏块的像素值；如果一帧的某个宏块在上一调度时刻成功调度，则将该成功调度宏块的像素值作为参考帧中与该宏块同位置宏块的像素值；

2)然后按照下式对参考帧进行修正：

θ(m)＝p*D_r(m)+(1-p)*D_l(m)

其中，θ(m)为第m个未调度宏块在参考帧中的修正后的像素值，p为上一帧的未调度宏块在下一调度时刻被成功调度的概率，D_l(m)为当前帧的第m个视频包被丢弃并进行错误消隐而产生的丢包失真，D_r(m)为当前帧的第m个视频包被成功发送并解码产生的发包失真。

6.根据权利要求5所述一种基于双解码模拟的H.264/AVC视频调度方法，其特征在于：所述p＝p_t*p_t，其中，p_t表示信道状态转移为状态t的概率，p_t表示信道状态为t时某个视频包被成功调度的概率。