CN105872544A - 低延迟视频编码中时域率失真优化方法 - Google Patents

Abstract

本发明属于视频编码技术领域，尤其涉及低延迟视频编码中基于时域依赖性的率失真优化方法。本发明采用循环的图像组(group of picture，GOP)结构，每4帧为一个GOP，将所述GOP内的帧分别分配到不同的层，相同层的帧遵循相似的参考帧及QP分配规则。分析低延迟编码中层次结构的时域依赖性，并根据低延迟编码中时域依赖性建立时域传播链，如图2所示，进而进行时域依赖性的率失真优化建模。求取传播因子ω_a和全局拉格朗日乘子λ_g。最后，本发明根据传播因子ω_a，仅通过对全局拉格朗日乘子λ_g的调整实现时域率失真优化。

Description

低延迟视频编码中时域率失真优化方法

技术领域

本发明属于视频编码技术领域，尤其涉及低延迟视频编码中基于时域依赖性的率失真优化方法。

背景技术

为了顺应视频高清化的趋势，新一代视频编码标准HEVC于2013年初制定完成，较前一代标准H.264/AVC性能提升了近1倍。许多新的技术被HEVC接受，其中包括四叉树块分割，更多的帧内模式，合并模式，层次编码结构。其中，层次编码结构是一种配合编码质量调整的参考帧管理方法，以实时编解码为目标，尽可能的降低时延。

率失真优化技术致力于在目标码率限制下最小化编码失真，在传统视频编解码框架下通常采用拉格朗日乘子法解上述问题，即min{J},where J＝D_i+λR_i，其中，R_i表示一个当前编码单元的码率，D_i表示当前编码单元的失真。该方法对每一个编码单元进行独立编码优化，将各个单元最优编码结果作为整个视频序列的最优结果，忽视了各编码单元之间的相关性。文献“E.H.Yang and X.Yu,“Rate Distortion Optimization forH.264Interframe Coding:A General Framework and Algorithms”,IEEE Trans.ImageProcessing,vol.16,no.7,pp.1774-1784,July.2007”考虑各编码单元相关性，采用动态规划方法联合所有编码单元进行全局率失真优化，复杂度高，无法实时实现，但该方法从侧面证明全局率失真优化可以提升编码性能。

文献“T.W.Yang,C.Zhu and X.J.Fan,Q.Peng,“Source distortion temporalpropagation model for motion compensated video coding optimization,”IEEEInternational Conference on Multimedia and Expo(ICME 2012),Melbourne,Australia,Jul.2012,pp.85-90.”，考虑非层次编码中时域依赖关系，如H.264/AVC中编码结构，其中单参考帧的使用具有绝对优势，探索全局率失真优化实现方法。具体来说，获得一组视频编码参数，使得在一定的码率限制下最小化整个序列的编码失真，归纳为其中，o_i表示第i个编码单元的编码参数，如编码模式，运动矢量，参考帧索引，量化参数，量化后的变换系数等，N代表在整个序列中具有时域依赖性的编码单元个数(假设每帧一个)，λ_g为全局拉格朗日乘子，并简化为 ^*代表该编码模式为假设可以得到最优编码参数。在新一代标准HEVC中，采用层次编码结构，如在低延迟编码中的编码结构，极大的提升了编码效率，其中多参考帧的使用占绝对优势，使得时域中多个编码单元之间存在依赖关系，因此相对非层次编码结构，层次编码结构的依赖关系更复杂。而且低延迟编码结构仅仅给出了固定的层次编码结构，并没有根据动态变化的时域依赖性进行率失真优化，需要重新探索适用于新一代标准HEVC，在低延迟视频编码中基于时域依赖性的率失真优化方法。

发明内容

本发明根据时域依赖性的动态变化特性，提出了一种在低延迟视频编码中时域率失真优化方法。

本发明的技术方案为：

在HEVC延迟视频编码默认配置中，采用循环的图像组(group of picture，GOP)结构，每4帧为一个GOP，将所述GOP内的帧分别分配到不同的层，相同层的帧遵循相似的参考帧及QP分配规则。分析低延迟编码中层次结构的时域依赖性，并根据低延迟编码中时域依赖性建立时域传播链，如图2所示，进而进行时域依赖性的率失真优化建模。求取传播因子ω_a和全局拉格朗日乘子λ_g。最后，本发明根据传播因子ω_a，仅通过对全局拉格朗日乘子λ_g的调整实现时域率失真优化。

为了方便对本发明进行描述，现在对HEVC中低延迟视频编码结构进行介绍：

HEVC中低延迟视频编码结构为：

每4帧为一个GOP，将所述GOP内的帧分别分配到不同的层，相同层的帧遵循一定的参考帧管理规则及QP分配规则，每帧的POC代表该帧在整个编码序列中的绝对播放顺序号，每帧的rPOC代表该帧在所属GOP中的相对播放顺序号，如图1，每个GOP的第一帧的rPOC＝1，具有相同rPOC的帧具有相同的参考帧管理方法及QP分配规则，如表1所示，Ref 1/2/3/4代表第一/二/三/四个参考帧，所述量化参数(quantization parameter，QP)分配规则具体为：分配给第1层中的编码单元最小的QP补偿值，因此拥有最低的QP，随着层数增加QP也增加，第1层的视频帧称作关键帧，即key帧，获得相对较高的视频质量，为在其他层中的视频帧提供更好的参考帧，在整个视频范围内获得更好的编码质量，所述一定的参考帧管理规则为：每帧有四个参考帧，所述四个参考帧分别为前一帧和前向最近的三个key帧(在低延迟视频编码中编码顺序和解码顺序一致,只考虑前向参考,所述前向参考为前向参考帧的图像播放顺序(picture order count,POC)小于当前帧的POC，本发明通过统计实验得到各参考帧被参考比例，如表2所示：rPOC＝1的帧以前一帧为参考帧的比例最大，rPOC＝2、3、4的帧以前一帧及前向最近的key帧为参考帧的参考比例相对最大。

低延迟视频编码中时域率失真优化方法，具体步骤如下：

S1、根据低延迟视频编码中时域依赖性，建立时域传播链，其中，所述时域传播链具有如下特性：低延迟视频编码中每个GOP中第一帧，即rPOC＝1的帧仅考虑前一帧对其的影响，每个GOP内的其他三帧，即rPOC＝2、3、4的帧仅考虑前一帧及前向最近的key帧对其的影响，如图2所示；

S2、建立当前编码单元U_i的时域率失真优化目标方程其中，i＝1,2,3,...,N，N表示低延迟视频编码的总帧数，A代表一帧中所有的编码单元，为U_j的期望失真，o_i表示第i个编码单元的编码参数，R_i(o_i)表示第i个编码单元的码率，D_i为当前编码单元的失真，表示第j个受到当前编码单元U_i影响的后续编码单元的失真，λ_g为全局拉格朗日乘子，^*代表编码模式为可以得到的最优编码参数，定义当前编码单元U_i为帧f_i中第a个编码单元，j＝i+1,...,N，a＝1,2,3,...,A；

S3、根据S2所述时域率失真优化目标方程，求受到当前编码单元U_i影响的后续编码单元的期望失真具体为：rPOC＝1的帧中的编码单元U_i＋4m＋1的期望失真为E(D_i＋4m＋1)，rPOC＝2的帧中的编码单元U_i＋4m＋2的期望失真为E(D_i＋4m＋2)，rPOC＝3的帧中的编码单元U_i＋4m＋3的期望失真为E(D_i＋4m＋3)，rPOC＝4的帧中的编码单元U_i＋4m＋4的期望失真为E(D_i＋4m＋4)，其中，K_i＋4m＋1为常数，P_{i＋4m,i＋4m＋1}代表在帧f_i＋4m＋1中以f_i+4m为参考帧的块的比例， $E\left(D_{i+4m+2}\right)=P_{i+4m+1,i+4m+2}\·D_{i+4m+2}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4m+1}^{*},o_{i+4m+2}^1)+P_{i+4m,i+4m+2}\·D_{i+4m+2}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4m}^{*},o_{i+4m+2}^2)+K_{i+4m+2},$ 其中，K_i+4m+2为常数，P_{i+4m+1,i+4m+2}代表在帧f_i+4m+2中以f_i+4m+1为参考帧的块的比例，P_i+4m,i+4m+2代表在帧f_i+4m+2中以f_i+4m为参考帧的块的比例， $E\left(D_{i+4m+3}\right)=P_{i+4m+2,i+4m+3}\·D_{i+4m+3}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4m+2}^{*},o_{i+4m+3}^1)+P_{i+4m,i+4m+3}\·D_{i+4m+3}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4m}^{*},o_{i+4m+3}^2)+K_{i+4m+3},$ 其中，K_i+4m+3为常数，P_{i+4m+2,i+4m+3}代表在帧f_i+4m+3中以f_i+4m+2为参考帧的块的比例，Px_+4m,i+4m+3代表在帧f_i+4m+3中以f_i+4m为参考帧的块的比例， $E\left(D_{i+4m+4}\right)=P_{i+4m+3,i+4m+4}\·D_{i+4m+4}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4m+3}^{*},o_{i+4m+4}^1)+P_{i+4m,i+4m+4}\·D_{i+4m+4}(o_i,o_{i+1}^{*},...,o_{i+4m}^{*},o_{i+4m+4}^2)+K_{i+4m+4},$ K_i+4m+4为常数，P_{i+4m+3,i+4m+4}代表在帧f_i+4m+4中以f_i+4m＋3为参考帧的块的比例，P_{i＋4m,i＋4m＋4}代表在帧f_i＋4m＋4中以f_i＋4m为参考帧的块的比例，m＝0,1,2,...,M表示第m个GOP，共有M个GOP，o¹上标“1”表示前一帧为参考帧，o²上标“2”表示前向最近key帧为参考帧；

S4、将所述S3中的受到当前编码单元U_i影响的后续编码单元的期望失真代入S2所述当前编码单元U_i的时域率失真优化目标方程，并删除所有常数项K_*，进行简化，具体简化为：

当前编码单元U_i属于key帧(rPOC＝4)时，则简化为：

$\underset{o_i}{\min }\left(\begin{array}{c}{D}_i\left(o_i\right)+{\mathrm{\λ}}_g{R}_i\left(o_i\right)+\underset{j=i}{\overset{N}{\Σ}}{P}_{j,j+1}\·D_{j+1}(o_i,o_{i+1}^{*},\mathrm{...},o_{j+1}^1)\\ +\underset{m=0}{\overset{M-1}{\Σ}}\underset{s=2}{\overset{4}{\Σ}}{P}_{i+4m,i+4m+s}\·D_{i+4m+s}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4m}^{*},o_{i+4m+s}^2)\end{array}\right),$

当前编码单元U_i所在非key帧的rPOC分别为1、2、3时，则简化为：

$\underset{o_i}{\min }\left(\begin{array}{c}{D}_i\left(o_i\right)+{\mathrm{\λ}}_g{R}_i\left(o_i\right)+\underset{j=i}{\overset{N}{\Σ}}{P}_{j,j}\·D_{j+1}(o_i,o_{i+1}^{*},\mathrm{...},o_{j+1}^1)\\ +\underset{t=0}{\overset{M-1}{\Σ}}\underset{s=2}{\overset{4}{\Σ}}{P}_{i+4t+4-rPOC,i+4t+4-rPOC+s}\·D_{i+4t+4-rPOC+s}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4t+4-rPOC}^{*},o_{i+4t+4-rPOC+s}^2)\end{array}\right);$

S5、求S4中所述目标方程中的当前编码单元U_i及后续编码单元的失真，具体步骤为：

β_{i＋4m,i＋4m＋1}表示编码单元U_i＋4m对U_i＋4m＋1的影响程度的经验值，β_{i＋4m,i＋4m＋1}＝α·F(θ_i+4m,i+4m+1)，且F(θ)为经验值，原始编码单元U_i+4m与U_i+4m+1的运动补偿误差，α为常数，

β_{i+4m＋1,i＋4m＋2}表示编码单元U_i＋4m+1对U_i+4m+2的影响程度的经验值，β_{i+4m+1,i＋4m＋2}＝α·F(θ_{i＋4m＋1,i＋4m＋2})，且 原始编码单元U_i＋4m＋1与U_i＋4m＋2的运动补偿误差，

β_{i＋4m,i＋4m＋2}表示编码单元U_i＋4m对U_i＋4m＋2的影响程度的经验值，β_{i＋4m,i＋4m＋2}＝α·F(θ_{i＋4m,i＋4m＋2})，且 原始编码单元U_i＋4m与U_i＋4m＋2的运动补偿误差，

β_{i＋4m＋2,i＋4m＋3}表示编码单元U_i＋4m＋2对U_i＋4m＋3的影响程度的经验值，β_{i＋4m+2,i＋4m＋3}＝α·F(θ_i＋4m+2,_i+4m+3)，且 原始编码单元U_i+4m+2与U_i+4m+3的运动补偿误差，

β_i+4m,i+4m+3表示编码单元U_i+4m对U_i+4m+3的影响程度的经验值，β_i+4m,i+4m+3＝α·F(θ_i+4m,i+4m+3)，且 原始编码单元U_i+4m与U_i+4m+3的运动补偿误差，

β_{i+4m+3,i+4m+4}表示编码单元U_i+4m+3对U_i+4m+4的影响程度的经验值，β_{i+4m+3,i+4m+4}＝α·F(θ_{i+4m+3,i+4m+4})，且 原始编码单元U_i+4m+3与U_i+4m+4的运动补偿误差，

β_i+4m,i+4m+4表示编码单元U_i+4m对U_i+4m+4的影响程度的经验值，β_i+4m,i+4m+4＝α·F(θ_i+4m,i+4m+4)，且 原始编码单元U_i+4m与U_i+4m+4的运动补偿误差；

S6、将S5中所述当前编码单元U_i及后续编码单元的失真代入S4中所述当前编码单元U_i的时域率失真优化目标方程，得到所述ω_a为传播因子，具体为：

当前编码单元U_i属于key帧时，

${\mathrm{\ω}}_a=\underset{m=0}{\overset{M}{\Σ}}\left\{\begin{array}{c}\underset{k=0}{\overset{3}{\Σ}}(\underset{t=0}{\overset{k}{\Σ}}{P}_{i+4m,i+4m+k+1-t}{\mathrm{\β}}_{i+4m,i+4m+k+1-t}\·\underset{j=i+4m+k+1-t}{\overset{i+4m+k}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1})\\ \·\underset{s=0}{\overset{m-1}{\Σ}}(\underset{t=0}{\overset{3}{\Σ}}{P}_{i+4s,i+4s+4-t}{\mathrm{\β}}_{i+4s,i+4s+4-t}\·\underset{j=i+4s+4-t}{\overset{j+4s+3}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1})\end{array}\right\},$

当前编码单元U_i属于非key帧时，

$\begin{array}{c}{\mathrm{\ω}}_a=\underset{t=i}{\overset{i+3-rPOC}{\Σ}}\underset{j=i}{\overset{t}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1}\\ +\underset{m=1}{\overset{M}{\Σ}}\left[\begin{array}{c}\underset{k=0}{\overset{3}{\Σ}}(\underset{t=0}{\overset{k}{\Σ}}{P}_{i+4-rPOC+4m,i+4-rPOC+4m+k+1-t}{\mathrm{\β}}_{i+4-rPOC+4m,i+4-rPOC+4m+k+1-t}\·\underset{j=i+4-rPOC+4m+k+1-t}{\overset{i+4-rPOC+4m+k}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1})\\ \·\underset{s=1}{\overset{m-1}{\Π}}(\underset{t=0}{\overset{3}{\Σ}}{P}_{i+4s+4-rPOC,i+4s+8-rPOC-t}{\mathrm{\β}}_{i+4s+4-rPOC,i+4s+8-rPOC-t}\·\underset{j=i+4s+8-rPOC-t}{\overset{i+4s+7-rPOC}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1})\·\left(\underset{j=i}{\overset{i+3-rPOC}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1}\right)\end{array}\right]\end{array}$

，其中，β＝α·F(θ)，且m＝1,2,3,...,M，M为一个测试序列的GOP总数；

S7、将全局拉格朗日乘子λ_g和S6所述传播因子ω_a代入进行时域率失真优化，初始化当前帧的λ_g为λ_HM，λ_HM为标准HEVC中设定的当前帧的拉格朗日乘子；

S8、依次对当前帧中A个编码单元，进行步骤S2-S7的所述的率失真优化处理；

S9、对S7所述全局拉格朗日乘子λ_g进行更新，更新得到其中，A代表一帧中所有的编码单元，为U_i的时域累积失真；

S10、对S1所述低延迟视频编码中其他帧进行步骤S2-S9的所述率失真优化处理。

进一步地，S5所述α为0.94±0.3。

进一步地，S5所述F(θ)的取值范围为(0,1]。

本发明的有益效果是：

与高复杂度的全局率失真优化方案不同，本发明提出了一种可操作的、高效的时域率失真优化方案，并在新一代视频编码标准HEVC中低延迟层次结构下实现，在HEVC的低延迟P帧及B帧测试条件下，包括16个测试序列，4种不同分辨率(1080p,720p,WVGA,WQVGA)，分别获得平均增益2.9％、2.8％，其中背景不变序列“FourPeople”获得编码增益为7.2％，本方案适用于背景不变或者运动缓慢的序列，如新闻、视频会议、监控视频等。

附图说明

图1低延迟层次编码结构。

图2低延迟视频编码中时域传播链。

图3在时域中具有依赖性的编码块的确定。

图4序列FourPeople在Low-delay P下率失真曲线图。

图5为本发明的流程图。

具体实施方式

下面结合实施例和附图，详细说明本发明的技术方案。

实施例采用开发环境为Visual Studio2008,实施例基于HEVC的参考软件HM13.0进行实现。

如图5所示：

S1、分析低延迟编码中层次结构的时域依赖性，并根据低延迟编码中时域依赖性建立时域传播链，即第i个编码单元U_i在key帧f_i中，所述U_i的后向受影响编码单元为U_i+1,U_i+2,...，考虑第第i个编码单元U_i在非key帧f_i′中，所述U_i的后向受影响编码单元为U_i+1,U_i+2,…。

U_i+1的确定：以U_i为起点，在下一帧f_i+1中进行运动估计搜索得到U_i+1。

U_i+2的确定：以U_i为起点，在下一帧f_i+2中进行运动估计搜索得到U"_i+2，以U_i+1为起点，在下一帧f_i+2中进行运动估计搜索得到U′_i+2，U′_i+2与U′_i+2的中间位置为U_i+2，

其中，i＝1,2,3,...,N，N代表在整个编码序列中的帧数，U_i为当前编码单元，所述U_i的后向受影响编码单元的确定具体方式如图3所示，其中，所述层次结构具体为：每4帧为一个GOP，将所述GOP内的帧分别分配到不同的层，相同层的帧遵循一定的参考帧管理规则及QP分配规则，每帧的POC代表该帧在整个编码序列中的绝对播放顺序号，每帧的rPOC代表该帧在所属GOP中的相对播放顺序号，如图1所示，每个GOP的第一帧的rPOC＝1，具有相同rPOC的帧具有相同的参考帧管理方法及QP分配规则，如表1所示，Ref 1/2/3/4代表第一/二/三/四个参考帧，所述量化参数(quantization parameter，QP)分配规则具体为：分配给第1层中的编码单元最小的QP补偿值，因此拥有最低的QP，随着层数增加QP也增加，第1层的视频帧称作关键帧，即key帧，获得相对较高的视频质量，为在其他层中的视频帧提供更好的参考帧，在整个视频范围内获得更好的编码质量，所述一定的参考帧管理规则为：每帧有四个参考帧，所述四个参考帧分别为前一帧和前向最近的三个key帧(在低延迟视频编码中编码顺序和解码顺序一致,只考虑前向参考,所述前向参考为前向参考帧的图像播放顺序(picture order count,POC)小于当前帧的POC)。

表1低延迟视频编码中参考帧集合及量化参数设置

通过统计实验可以得到各参考帧被参考比例，如表2所示，rPOC＝1的帧仅考虑前一帧对其的影响，rPOC＝2、3、4的帧仅考虑前一帧及前向最近key帧对其的影响，连接时域传播链，如图2所示。

表2参考比例表

S2、建立第i个编码单元U_i在key帧f_i中时域率失真优化目标方程其中，i＝1,2,3,...,N，N表示低延迟视频编码的总帧数，A代表一帧中所有的编码单元，为U_j的期望失真，o_i表示第i个编码单元的编码参数，R_i(o_i)表示第i个编码单元的码率，D_i为当前编码单元的失真，表示第j个受到当前编码单元U_i影响的后续编码单元的失真，λ_g为全局拉格朗日乘子，^*代表编码模式为可以得到的最优编码参数，定义当前编码单元U_i为帧f_i中第a个编码单元，j＝i+1,...,N，a＝1,2,3,...,A，^*代表编码模式为可以得到的最优编码参数，所述编码参数包括编码模式，运动矢量，参考帧索引，量化参数和量化后的变换系数；

S3、根据S2所述时域率失真优化目标方程，求受到当前编码单元U_i影响的后续编码单元的期望失真

具体为：

rPOC＝1的帧中的编码单元U_i+4m+1的期望失真为E(D_i+4m+1)，rPOC＝2的帧中的编码单元U_i+4m+2的期望失真为E(D_i+4m+2)，rPOC＝3的帧中的编码单元U_i+4m+3的期望失真为E(D_i+4m+3)，rPOC＝4的帧中的编码单元U_i+4m+4的期望失真为E(D_i+4m+4)，其中，K_i+4m+1为常数，P_i+4m,i+4m+1代表在帧f_i+4m+1中以f_i+4m为参考帧的块的比例， $E\left(D_{i+4m+2}\right)=P_{i+4m+1,i+4m+2}\·D_{i+4m+2}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4m+1}^{*},o_{i+4m+2}^1)+P_{i+4m,i+4m+2}\·D_{i+4m+2}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4m}^{*},o_{i+4m+2}^2)+K_{i+4m+2},$ 其中，K_i+4m+2为常数，P_{i+4m+1,i+4m+2}代表在帧f_i＋4m＋2中以f_i＋4m＋1为参考帧的块的比例，P_{i＋4m,i＋4m＋2}代表在帧f_i＋4m＋2中以f_i＋4m为参考帧的块的比例， $E\left(D_{i+4m+3}\right)=P_{i+4m+2,i+4m+3}\·D_{i+4m+3}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4m+2}^{*},o_{i+4m+3}^1)+P_{i+4m,i+4m+3}\·D_{i+4m+3}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4m}^{*},o_{i+4m+3}^2)+K_{i+4m+3},$ 其中，K_i＋4m＋3为常数，P_{i＋4m＋2,i＋4m＋3}代表在帧f_i＋4m＋3中以f_i＋4m+2为参考帧的块的比例，P_{i+4m,i＋4m＋3}代表在帧f_i+4m+3中以f_i＋4m为参考帧的块的比例， $E\left(D_{i+4m+4}\right)=P_{i+4m+3,i+4m+4}\·D_{i+4m+4}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4m+3}^{*},o_{i+4m+4}^1)+P_{i+4m,i+4m+4}\·D_{i+4m+4}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4m}^{*},o_{i+4m+4}^2)+K_{i+4m+4},$ K_i＋4m＋4为常数，P_{i＋4m＋3,i＋4m＋4}代表在帧f_i＋4m＋4中以f_i＋4m＋3为参考帧的块的比例，P_{i＋4m,i＋4m＋4}代表在帧f_i+4m+4中以f_i+4m为参考帧的块的比例，m＝0,1,2,...,M表示第m个GOP，共有M个GOP，o¹上标“1”表示前一帧为参考帧，o²上标“2”表示前向最近key帧为参考帧；

S4、将所述S3中的受到当前编码单元U_i影响的后续编码单元的期望失真代入S2所述当前编码单元U_i的时域率失真优化目标方程，并删除所有常数项K_*，进行简化，具体简化为：

当前编码单元U_i属于key帧(rPOC＝4)时，则简化为：

$\underset{o_i}{\min }\left(\begin{array}{c}{D}_i\left(o_i\right)+{\mathrm{\λ}}_g{R}_i\left(o_i\right)+\underset{j=i}{\overset{N}{\Σ}}{P}_{j,j+1}\·D_{j+1}(o_i,o_{i+1}^{*},\mathrm{...},o_{j+1}^1)\\ +\underset{m=0}{\overset{M-1}{\Σ}}\underset{s=2}{\overset{4}{\Σ}}{P}_{i+4m,i+4m+s}\·D_{i+4m+s}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4m}^{*},o_{i+4m+s}^2)\end{array}\right),$

当前编码单元U_i所在非key帧的rPOC分别为1、2、3时，则简化为：

$\underset{o_i}{\min }\left(\begin{array}{c}{D}_i\left(o_i\right)+{\mathrm{\λ}}_g{R}_i\left(o_i\right)+\underset{j=i}{\overset{N}{\Σ}}{P}_{j,j}\·D_{j+1}(o_i,o_{i+1}^{*},\mathrm{...},o_{j+1}^1)\\ +\underset{t=0}{\overset{M-1}{\Σ}}\underset{s=2}{\overset{4}{\Σ}}{P}_{i+4t+4-rPOC,i+4t+4-rPOC+s}\·D_{i+4t+4-rPOC+s}(o_i,o_{i+1}^{*},\mathrm{...},o_{i+4t+4-rPOC}^{*},o_{i+4t+4-rPOC+s}^2)\end{array}\right);$

S5、求S4中所述目标方程中的当前编码单元U_i及后续编码单元的失真，具体步骤为：

β_i+4m,i+4m+1表示编码单元U_i+4m对U_i+4m+1的影响程度的经验值，β_i+4m,i+4m+1＝α·F(θ_i+4m,i+4m+1)，且F(θ)为经验值，原始编码单元U_i+4m与U_i+4m+1的运动补偿误差，α为常数，

β_{i+4m+1,i+4m+2}表示编码单元U_i+4m+1对U_i+4m+2的影响程度的经验值，β_{i+4m+1,i+4m+2}＝α·F(θ_{i+4m+1,i+4m+2})，且 原始编码单元U_i+4m+1与U_i+4m+2的运动补偿误差，

β_i+4m,i+4m+2表示编码单元U_i+4m对U_i+4m+2的影响程度的经验值，β_i+4m,i+4m+2＝α·F(θ_i+4m,i+4m+2)，且 原始编码单元U_i+4m与U_i+4m+2的运动补偿误差，

β_{i+4m+2,i+4m+3}表示编码单元U_i+4m+2对U_i+4m+3的影响程度的经验值，β_{i+4m+2,i+4m+3}＝α·F(θ_{i+4m+2,i+4m+3})，且 原始编码单元U_i+4m+2与U_i+4m+3的运动补偿误差，

β_i+4m,i+4m+3表示编码单元U_i+4m对U_i+4m+3的影响程度的经验值，β_i+4m,i+4m+3＝α·F(θ_i+4m,i+4m+3)，且 原始编码单元U_i+4m与U_i+4m+3的运动补偿误差，

β_{i+4m+3,i+4m+4}表示编码单元U_i+4m+3对U_i+4m+4的影响程度的经验值，β_{i+4m+3,i+4m+4}＝α·F(θ_{i+4m+3,i+4m+4})，且 原始编码单元U_i+4m+3与U_i+4m+4的运动补偿误差，

β_i+4m,i+4m+4表示编码单元U_i+4m对U_i+4m+4的影响程度的经验值，β_i+4m,i+4m+4＝α·F(θ_i+4m,i+4m+4)，且 原始编码单元U_i+4m与U_i+4m+4的运动补偿误差。

S6、将S5中所述当前编码单元U_i及后续编码单元的失真代入S4中所述当前编码单元U_i的时域率失真优化目标方程，得到所述ω_a为传播因子，具体为：

当前编码单元U_i属于key帧时，

${\mathrm{\ω}}_a=\underset{m=0}{\overset{M}{\Σ}}\left\{\begin{array}{c}\underset{k=0}{\overset{3}{\Σ}}(\underset{t=0}{\overset{k}{\Σ}}{P}_{i+4m,i+4m+k+1-t}{\mathrm{\β}}_{i+4m,i+4m+k+1-t}\·\underset{j=i+4m+k+1-t}{\overset{i+4m+k}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1})\\ \·\underset{s=0}{\overset{m-1}{\Σ}}(\underset{t=0}{\overset{3}{\Σ}}{P}_{i+4s,i+4s+4-t}{\mathrm{\β}}_{i+4s,i+4s+4-t}\·\underset{j=i+4s+4-t}{\overset{j+4s+3}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1})\end{array}\right\},$

当前编码单元U属于非key帧时，

$\begin{array}{c}{\mathrm{\ω}}_a=\underset{t=i}{\overset{i+3-rPOC}{\Σ}}\underset{j=i}{\overset{t}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1}\\ +\underset{m=1}{\overset{M}{\Σ}}\left[\begin{array}{c}\underset{k=0}{\overset{3}{\Σ}}(\underset{t=0}{\overset{k}{\Σ}}{P}_{i+4-rPOC+4m,i+4-rPOC+4m+k+1-t}{\mathrm{\β}}_{i+4-rPOC+4m,i+4-rPOC+4m+k+1-t}\·\underset{j=i+4-rPOC+4m+k+1-t}{\overset{i+4-rPOC+4m+k}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1})\\ \·\underset{s=1}{\overset{m-1}{\Π}}(\underset{t=0}{\overset{3}{\Σ}}{P}_{i+4s+4-rPOC,i+4s+8-rPOC-t}{\mathrm{\β}}_{i+4s+4-rPOC,i+4s+8-rPOC-t}\·\underset{j=i+4s+8-rPOC-t}{\overset{i+4s+7-rPOC}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1})\·\left(\underset{j=i}{\overset{i+3-rPOC}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1}\right)\end{array}\right]\end{array}$

，其中，β＝α·F(θ)，且m＝1,2,3,...,M，M为一个测试序列的GOP总数。

S7、将全局拉格朗日乘子λ_g和S6所述传播因子ω_a代入进行时域率失真优化，初始化当前帧的λ_g为λ_HM，λ_HM为标准HEVC中设定的当前帧的拉格朗日乘子。

S8、依次对当前帧中A个编码单元，进行步骤S2-S7的所述的率失真优化处理。

S9、对S7所述全局拉格朗日乘子λ_g进行更新，更新得到其中，A代表一帧中所有的编码单元，为U_i的时域累积失真。

S10、对S1所述低延迟视频编码中其他帧进行步骤S2-S9的所述率失真优化处理。

例1、

如图2所示，将当前原始帧分成不重叠的16x16大小的编码单元，每个编码单元在下一原始帧中进行运动估计，得到最佳匹配单元，差值记作原始帧的运动补偿误差D^OMCP。依次得到每个编码单元的D^OMCP，具体的如同理获得整个序列所有帧中各个编码单元的D^OMCP。同时，对key帧中的编码单元，仍需要在下一GOP中的三帧(rPOC为2、3、4)中寻找最佳匹配单元，并获得原始帧的运动补偿误差，如

如图3所示，在帧f_i中实线框代表当前编码单元U_i，根据上述原始帧域运动估计，得到与其相关性最强的编码单元U_i+1，也即受编码U_i影响最大的块。以U_i+1为起点，使用与其重合最大的块(如虚线块)的运动矢量，在帧f_i+2中寻找最匹配的块U′_i+2(如实线块)。同时，当前编码单元U_i，可以直接在帧f_i+2中寻找最佳匹配块U″_i+2(如斜线块)。取块U′_i+2和块U″_i+2坐标平均值得到全黑块U_i+2。以此类推，可以确定时域中具有依赖关系的后续编码单元。

根据S6可知，为了求得传播因子ω_a，需要获得参考比例P及β。低延迟编码中层次编码结构的定义如表1所示，具有相同rPOC的帧遵循相同的规律，如每个测试序列以I帧(帧内编码)开始，四帧组成一个GOP，每个GOP中第一帧的rPOC为1，其参考帧集合中有4个参考帧，表2列出了参考帧与该帧的POC之差，以及该帧所使用的QP偏移值，并将该QP偏移值与I帧的QP之和作为该帧的QP。相应的通过大量实验，求得平均参考比列，也即当前帧中编码单元将参考帧集合中某帧选为最佳参考帧的平均比例。如rPOC为1的当前帧中选择第一个参考帧(即前一帧，因为当前帧与第一个参考帧POC差值为-1)的编码单元比例为0.89。

如前所述，β＝α·D/D^MCP，且D＝D^MCP·F(θ)，因此β＝α·F(θ),

首先考虑当前编码单元U_i在key帧中，估计D_i(o_i)。先根据在当前帧的前一帧找到影响编码U_i的单元U_i-1，进而得到D_i-1和其中α＝0.94，求得和其中量化步长Q与量化参数QP的关系是通过θ_i查表F(θ)得到

估计β_i,i+1＝α·F(θ_i,i＋1)，其中前一步中已经求出D_i(o_i)，可根据时域传播链获得。由于计算量大，单元U_i＋1所在帧的rPOC为1，根据表2及所建时域传播链，其期望失真仅与第一项具有较强相关性，因此使用经验值代替E(D_i＋1)。

估计β_i＋1i＋2＝α·F(θ_i+1i+2)，且进而得到其中E(D_i+1)使用经验值同理β_i,i+2＝α·F(θ_i,i＋2)，且进而得到对于编码单元所在帧rPOC为2、3、4时，其期望失真仅与前一帧及最近的key帧具有强相关性，因此E(D_i＋2)的经验值为 $\tilde{E}\left(D_{i+2}\right)=\frac{P_{i+1,i+2}}{P_{i+1,i+2}+P_{i,i+2}}\·D_{i+2}(o_i,o_{i+1}^{*},o_{i+2}^1)+\frac{P_{i,i+2}}{P_{i+1,i+2}+P_{i,i+2}}\·D_{i+2}(o_i,o_{i+2}^2).$

同理，可以迭代求取β，最终求得传播因子ω_a，求得

通过求U_i的最佳编码参数o_i。

HEVC中基本编码单元CU尺寸为64x64，根据本发明求出每个CU的16个16x16块的传播因子ω_i，求均值结合所求的λ_g，对该CU进行编码。

实验低延迟P/B测试条件,其中标准测试序列如表3所示，标准测试条件为使用低延迟下推荐测试结构，QP采用27,32,37,42，16个测试序列，四种分别率(1080P，720P，WVGA，WQVGA)，相对比较结果为HEVC的参考软件HM13.0。

表3在低延迟测试条件下亮度码率节省

测试结果如表3所示。从表3中可以看出采用该方法后可获得BD平均码率节省分别为2.9％、2.8％，且对于部分测试序列，可节省BD码率达7.2％。其中测试序列FourPeople在Low-delay P下率失真曲线图如图4所示。由图4可以看出本方法的性能表现优于原始的HEVC参考软件HM13.0的性能。表4给出了本发明测试时间比较，与HM13.0相比编码时间仅平均增长了0.6％。

表4低延迟B帧测试条件下本发明测试时间比较(单位为秒)

Claims (3)

1.低延迟视频编码中时域率失真优化方法，其特征在于，包括如下步骤：

S1、根据低延迟视频编码中时域依赖性，建立时域传播链，其中，所述时域传播链具有如下特性：低延迟视频编码中每个GOP中第一帧，即rPOC＝1的帧仅考虑前一帧对其的影响，每个GOP内的其他三帧，即rPOC＝2、3、4的帧仅考虑前一帧及前向最近的key帧对其的影响，如图2所示；

S2、建立当前编码单元U_i的时域率失真优化目标方程其中，i＝1,2,3,...,N，N表示低延迟视频编码的总帧数，A代表一帧中所有的编码单元，为U_j的期望失真，o_i表示第i个编码单元的编码参数，R_i(o_i)表示第i个编码单元的码率，D_i为当前编码单元的失真，表示第j个受到当前编码单元U_i影响的后续编码单元的失真，λ_g为全局拉格朗日乘子，^*代表编码模式为可以得到的最优编码参数，定义当前编码单元U_i为帧f_i中第a个编码单元，j＝i+1,...,N，a＝1,2,3,...,A；

S3、根据S2所述时域率失真优化目标方程，求受到当前编码单元U_i影响的后续编码单元的期望失真具体为：rPOC＝1的帧中的编码单元U_i+4m+1的期望失真为E(D_i+4m+1)，rPOC＝2的帧中的编码单元U_i+4m+2的期望失真为E(D_i+4m+2)，rPOC＝3的帧中的编码单元U_i+4m+3的期望失真为E(D_i+4m+3)，rPOC＝4的帧中的编码单元U_i+4m+4的期望失真为E(D_i+4m+4)，其中，K_i+4m+1为常数，P_i+4m,i+4m+1代表在帧f_i+4m+1中以f_i+4m为参考帧的块的比例，其中，K_i+4m+2为常数，P_{i+4m+1,i+4m+2}代表在帧f_i+4m+2中以f_i+4m+1为参考帧的块的比例，P_i+4m,i+4m+2代表在帧f_i+4m+2中以f_i+4m为参考帧的块的比例，其中，K_i+4m+3为常数，P_{i+4m+2,i+4m+3}代表在帧f_i+4m+3中以f_i+4m+2为参考帧的块的比例，P_i+4m,i+4m+3代表在帧f_i+4m+3中以f_i+4m为参考帧的块的比例，K_i+4m+4为常数，P_{i+4m+3,i+4m+4}代表在帧f_i+4m+4中以f_i+4m+3为参考帧的块的比例，P_i+4m,i+4m+4代表在帧f_i+4m+4中以f_i+4m为参考帧的块的比例，m＝0,1,2,...,M表示第m个GOP，共有M个GOP，o¹上标“1”表示前一帧为参考帧，o²上标“2”表示前向最近key帧为参考帧；

S4、将所述S3中的受到当前编码单元U_i影响的后续编码单元的期望失真代入S2所述当前编码单元U_i的时域率失真优化目标方程，并删除所有常数项K_*，进行简化，具体简化为：

当前编码单元U_i属于key帧(rPOC＝4)时，则简化为：

$\underset{o_i}{min}\left(\begin{array}{c}{D}_i\left(o_i\right)+{\mathrm{\λ}}_g{R}_i\left(o_i\right)+\underset{j=i}{\overset{N}{\Σ}}{P}_{j,j+1}\·D_{j+1}(o_i,o_{i+1}^{*},...,o_{j+1}^1)\\ +\underset{m=0}{\overset{M-1}{\Σ}}\underset{s=2}{\overset{4}{\Σ}}{P}_{i+4m,i+4m+s}\·D_{i+4m+s}(o_i,o_{i+1}^{*},...,o_{i+4m}^{*},o_{i+4m+s}^2)\end{array}\right),$

当前编码单元U_i所在非key帧的rPOC分别为1、2、3时，则简化为：

$\underset{o_i}{min}\left(\begin{array}{c}{D}_i\left(o_i\right)+{\mathrm{\λ}}_g{R}_i\left(o_i\right)+\underset{j=i}{\overset{N}{\Σ}}{P}_{j,j+1}\·D_{j+1}(o_i,o_{i+1}^{*},...,o_{j+1}^1)\\ +\underset{m=0}{\overset{M-1}{\Σ}}\underset{s=2}{\overset{4}{\Σ}}{P}_{i+4t+4-rPOC,i+4t+4-rPOC+s}\·D_{i+4t+4-rPOC+s}(o_i,o_{i+1}^{*},...,o_{i+4t+4-rPOC}^{*},o_{i+4t+4-rPOC+s}^2)\end{array}\right);$

S5、求S4中所述目标方程中的当前编码单元U_i及后续编码单元的失真，具体步骤为：

β_i+4m,i+4m+1表示编码单元U_i+4m对U_i+4m+1的影响程度的经验值，β_i+4m,i+4m+1＝α·F(θ_i+4m,i+4m+1)，且F(θ)为经验值，原始编码单元U_i+4m与U_i+4m+1的运动补偿误差，α为常数，

β_{i+4m+1,i+4m+2}表示编码单元U_i+4m+1对U_i+4m+2的影响程度的经验值，β_{i+4m+1,i+4m+2}＝α·F(θ_{i+4m+1,i+4m+2})，且 原始编码单元U_i+4m+1与U_i+4m+2的运动补偿误差，

β_i+4m,i+4m+2表示编码单元U_i+4m对U_i+4m+2的影响程度的经验值，β_i+4m,i+4m+2＝α·F(θ_i+4m,i+4m+2)，且 原始编码单元U_i+4m与U_i+4m+2的运动补偿误差，

β_{i+4m+2,i+4m+3}表示编码单元U_i+4m+2对U_i+4m+3的影响程度的经验值，β_{i+4m+2,i+4m+3}＝α·F(θ_{i+4m+2,i+4m+3})，且 原始编码单元U_i+4m+2与U_i+4m+3的运动补偿误差，

β_i+4m,i+4m+3表示编码单元U_i+4m对U_i+4m+3的影响程度的经验值，β_i+4m,i+4m+3＝α·F(θ_i+4m,i+4m+3)，且 原始编码单元U_i+4m与U_i+4m+3的运动补偿误差，

β_{i+4m+3,i+4m+4}表示编码单元U_i+4m+3对U_i+4m+4的影响程度的经验值，β_{i+4m+3,i+4m+4}＝α·F(θ_{i+4m+3,i+4m+4})，且 原始编码单元U_i+4m+3与U_i+4m+4的运动补偿误差，

β_i+4m,i+4m+4表示编码单元U_i+4m对U_i+4m+4的影响程度的经验值，β_i+4m,i+4m+4＝α·F(θ_i+4m,i+4m+4)，且 原始编码单元U_i+4m与U_i+4m+4的运动补偿误差；

S6、将S5中所述当前编码单元U_i及后续编码单元的失真代入S4中所述当前编码单元U_i的时域率失真优化目标方程，得到所述ω_a为传播因子，具体为：

当前编码单元U_i属于key帧时，

${\mathrm{\ω}}_a=\underset{m=0}{\overset{M}{\Σ}}\left\{\begin{array}{c}\underset{k=0}{\overset{3}{\Σ}}(\underset{t=0}{\overset{k}{\Σ}}{P}_{i+4m,i+4m+k+1-t}{\mathrm{\β}}_{i+4m,i+4m+k+1-t}\·\underset{j=i+4m+k+1-t}{\overset{i+4m+k}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1})\\ \·\underset{s=0}{\overset{m-1}{\Π}}(\underset{t=0}{\overset{3}{\Σ}}{P}_{i+4s,i+4s+4-t}{\mathrm{\β}}_{i+4s,i+4s+4-t}\·\underset{j=i+4s+4-t}{\overset{i+4s+3}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1})\end{array}\right\},$

当前编码单元U_i属于非key帧时，

$\begin{array}{c}{\mathrm{\ω}}_a=\underset{t=i}{\overset{i+3-rPOC}{\Σ}}\underset{j=i}{\overset{t}{\mathrm{\Π}}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1}\\ +\underset{m=1}{\overset{M}{\Σ}}\left\{\begin{array}{c}\underset{k=0}{\overset{3}{\Σ}}(\underset{t=0}{\overset{k}{\Σ}}{P}_{i+4-rPOC+4m,i+4-rPOC+4m+k+1-t}{\mathrm{\β}}_{i+4-rPOC+4m,i+4-rPOC+4m+k+1-t}\·\underset{j=i+4-rPOC+4m+k+1-t}{\overset{i+4-rPOC+4m+k}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1})\\ \·\underset{s=0}{\overset{m-1}{\Π}}(\underset{t=0}{\overset{3}{\Σ}}{P}_{i+4s+4-rPOC,i+4s+8-rPOC-t}{\mathrm{\β}}_{i+4s+4-rPOC,i+4s+8-rPOC-t}\·\underset{j=i+4s+8-rPOC-t}{\overset{i+4s+7-rPOC}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1})\·\left(\underset{j=i}{\overset{i+3-rPOC}{\Π}}{P}_{j,j+1}{\mathrm{\β}}_{j,j+1}\right)\end{array}\right\}\end{array}$ ，

其中，β＝α·F(θ)，且m＝1,2,3,...,M，M为一个测试序列的GOP总数；

S7、将全局拉格朗日乘子λ_g和S6所述传播因子ω_a代入进行时域率失真优化，初始化当前帧的λ_g为λ_HM，λ_HM为标准HEVC中设定的当前帧的拉格朗日乘子；

S8、依次对当前帧中A个编码单元，进行步骤S2-S7的所述的率失真优化处理；

S9、对S7所述全局拉格朗日乘子λ_g进行更新，更新得到其中，A代表一帧中所有的编码单元，为U_i的时域累积失真；

S10、对S1所述低延迟视频编码中其他帧进行步骤S2-S9的所述率失真优化处理。

2.根据权利要求1所述低延迟视频编码中时域率失真优化方法，其特征在于：S5所述α为0.94±0.3。

3.根据权利要求1所述低延迟视频编码中时域率失真优化方法，其特征在于：S5所述F(θ)的取值范围为(0,1]。