CN103888762A - 一种基于hevc标准的视频编码框架 - Google Patents

Abstract

本发明公开了一种基于HEVC标准的视频编码框架。在满足HEVC标准的前提下，先采用模型（编码复杂度代价模型和编码率失真代价模型）定量计算候选编码模式和编码参数，再遍历择优，既避免了大量复杂的遍历择优过程又提高了编码的率失真性能。本发明方法可兼容现有提高HEVC视频编码性能的研究成果，并在其基础上进一步改善视频编码的性能与效率，实现更为高效的HEVC视频编码策略。

Description

一种基于HEVC标准的视频编码框架

技术领域：

本发明属于视频编码和处理领域，具体涉及基于HEVC标准的一种视频编码实现框架。

背景技术：

传统视频编码技术，如H.264等在高清（1080P）及超高清（2K、4K）视频编码需求下，其编码生成的数据率急剧增长，这给视频数据的存储、网络传输带来了巨大冲击，现有的编码技术已经难以适应。因此具有更好压缩率的编码技术的提出势在必行。为解决这一问题，JCT-VC（Joint Collaborative Team onVideo Coding）工作组制定了具有更高的压缩效率的新一代视频压缩标准HEVC（High Efficiency Video Coding）。与现有编码标准H.264/AVC相比，在重建图像客观质量相同的情况下，HEVC的编码码率可以节省50%左右。

HEVC标准提供了更好的压缩效率，但其代价是必须在更多的编码参数中进行优化选择，才能充分发挥HEVC的压缩效率。这使得基于HEVC标准的编码器可能因编码复杂度的大幅提高而阻碍其实际应用与推广。

另一方面，虽然HEVC与H.264/AVC相比可以节省50%左右的码率，但高清视频图像的数据量仍是普通视频的2倍以上，且视频的数据量是随着图像分辨率的提高而增加的。然而，根据人眼视觉感知特性，当图像质量或分辨率达到增加到一定程度时，人眼能接收的视觉信息会逐渐趋于饱和。

对此，从编码复杂度与率失真性能优化的角度设计一种基于HEVC标准的视频编码框架，可以最大限度降低HEVC编码的复杂度；提高HEVC编码的率失真性能，从而满足实用化需求。同时，此框架可以结合人眼视觉感知特性，在相同编码条件下进一步优化高清视频的主观质量。因此，相关研究有着广阔的应用前景和巨大的经济价值。

发明内容

本发明要解决的技术问题是提供一种编码复杂度与率失真性能联合优化的基于HEVC标准的视频编码框架。

本发明采用的技术方案如下：

A.建立内容自适应的编码复杂度、编码失真度和编码码率的估计模型，及编码复杂度代价模型和编码率失真代价模型。

B.利用步骤A的估计模型，对当前视频帧中每个编码树单元（CTU），进行编码复杂度与率失真性能联合优化的空时域预测；

C.利用步骤A的估计模型，对步骤B中编码树单元（CTU）的预测残差，进行编码复杂度与率失真性能联合优化的变换与量化；

D.利用步骤A的估计模型，以最小化编码率失真代价为准则，从步骤B和C的编码结果中选择当前CTU的最佳编码结果；

E.对步骤D的最佳编码结果，进行解码重建和熵编码输出；

F.根据步骤B和C的编码结果，更新步骤A的估计模型。

所述步骤A的具体方法为：根据当前编码图像的空时域特征及编码参数，建立内容自适应的编码复杂度T估计模型、编码失真度D估计模型和编码码率R估计模型。并根据编码复杂度-编码失真度建立编码复杂度代价模型J_D&T(D,T)；根据编码失真度-编码码率建立编码率失真代价模型J_D&R(D,R)。其中，编码参数包括：预测单元（PU）尺寸、变化单元（TU）尺寸、帧内/帧间预测模式、参考帧数、运动搜索范围、量化参数；编码失真估计模型既可采用常见的MSE、SAD等失真度量模型，也可采用基于人眼视觉感知特性的失真估计模型，如恰可感知失真模型（JND），结构相似模型（SSIM）等。

所述步骤B的具体步骤为：1）根据编码配置参数，得到当前CTU允许的四叉树编码单元（CU）划分层次和空时域预测模式；2）采用模型定量计算的方法，以最小化编码复杂度代价为准则，计算当前CTU不同CU划分条件下的候选空时域预测模式；其中，对于帧间非Skip预测，计算其运动搜索的参考帧数和搜索范围；3）按照遍历择优选择的方法，以最小化编码率失真代价为准则，遍历步骤2）的候选空时域预测模式，得到当前CTU不同CU划分条件下的最佳空时域预测结果。其中，空时域预测模式包括：帧内预测模式和帧间预测模式、预测单元（PU）划分；帧间预测包括：帧间Skip模式和帧间非Skip模式。

所述步骤C的具体步骤为：a）根据编码配置参数，得到当前CTU允许的变换模式；b）采用模型定量计算的方法，以最小化编码复杂度代价准则，计算当前CTU不同CU划分条件下的候选变换模式；并以最小化编码率失真代价为准，计算候选变换模式的量化参数；c）按照遍历择优选择的方法，以最小化编码率失真代价为准，遍历步骤b）的候选变换模式，得到当前CTU不同CU划分条件下的最佳变换量化结果；其中，变换模式包括：正弦变换和余弦变换、变换单元（TU）划分；变换模式选择和参数计算时，是基于步骤3）中各CU划分条件下的最佳空时域预测图像。

所述步骤2）的具体方法为：分别计算每个编码单元（CU）在不同预测模式条件下的编码复杂度代价J_D&T(D,T)，选择编码复杂度代价小于

的预测模式为当前CU的候选模式。其中，κ为大于1的经验阈值；

为候选模式中的最小编码复杂度代价。对于帧间非Skip预测，根据最小化编码复杂度代价J_D&T(D,T)，计算运动搜索的参考帧数和搜索范围。

所述步骤b）的具体方法为：分别计算每个编码单元（CU）在不同变换模式条件下的编码复杂度代价J_D&T(D,T)，选择编码复杂度代价小于

的变换测模式为当前CU的候选模式。其中，κ为大于1的经验阈值；为候选模式中的最小编码复杂度代价。根据最小化编码率失真代价J_D&R(D,R)，计算候选变换模式的量化参数。

所述的一种基于HEVC标准的视频编码框架，采用编码复杂度代价模型和编码率失真代价模型，可以提供基于图像内容和人眼视觉感知特性的编码复杂度/率失真性能的联合优化，从而达到更好的视频编码性能。

所述的一种基于HEVC标准的视频编码框架，在遍历择优选择之前，采用模型定量计算候选编码模式、运动搜索参数和量化参数，既避免了大量复杂的遍历择优过程又提高了编码的率失真性能。

与现有技术相比，本发明的有益效果是：采用基于模型的编码模式选择和编码参数定量计算既可以避免大量复杂的遍历择优过程又可以提高视频编码的率失真性能；编码失真计算可选择与人眼视觉感知一致性好的度量模型，在相同编码条件下，改善视频图像的主观质量。同时本发明方法可兼容现有提高HEVC视频编码性能的研究成果，并在其基础上进一步改善视频编码的性能与效率，实现更为高效的HEVC视频编码策略。

附图说明：

图1为本发明的一种基于HEVC标准的视频编码框架。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本说明书公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1所示，一种基于HEVC标准的视频编码框架，具体方法为：

A.建立内容自适应的编码复杂度、编码失真度和编码码率的估计模型，及编码复杂度代价模型和编码率失真代价模型。

B.利用步骤A的估计模型，对当前视频帧中每个编码树单元（CTU），进行编码复杂度与率失真性能联合优化的空时域预测；

C.利用步骤A的估计模型，对步骤B中编码树单元（CTU）的预测残差，进行编码复杂度与率失真性能联合优化的变换与量化；

D.利用步骤A的估计模型，以最小化编码率失真代价为准则，从步骤B和C的编码结果中选择当前CTU的最佳编码结果；

E.对步骤D的最佳编码结果，进行解码重建和熵编码输出；

F.根据步骤B和C的编码结果，更新步骤A的估计模型。

所述步骤A的具体方法为：根据当前编码图像的空时域特征及编码参数，建立内容自适应的编码复杂度T估计模型、编码失真度D估计模型和编码码率R估计模型。并根据编码复杂度-编码失真度建立编码复杂度代价模型J_D&T(D,T)；根据编码失真度-编码码率建立编码率失真代价模型J_D&R(D,R)。

本实施例中，根据当前编码图像的空时域相关性，综合考虑PU和TU的尺寸、帧内/帧间编码模式及编码参数，建立基于图像内容的编码复杂度T的估计模型：

a.空时域预测阶段的计算复杂度模式为：

$T_{\mathrm{PU}}=\underset{m_{\mathrm{Intra}}}{\mathrm{\Σ}}{\mathrm{\σ}}_{\mathrm{Intra}}\·F_{\mathrm{Intra}}(m_{\mathrm{Intra}},S_{\mathrm{PU}})+\underset{m_{\mathrm{Inter}}}{\mathrm{\Σ}}{\mathrm{\σ}}_{\mathrm{Inter}}\·F_{\mathrm{Inter}}(m_{\mathrm{Inter}},S_{\mathrm{PU}},\mathrm{ref},\mathrm{ms})$

其中，T_PU表示给定PU的计算复杂度，计算复杂度以单个像素点进行一次预测失真计算为基本单位。m_Intra和m_Inter表示给定编码配置时的所有可能的帧内预测模式集和帧间预测模式集；S_PU是给定PU的面积；ref，ms分别表示帧内预测的参考帧个数和运动搜索范围；F_Intra和F_Inter分别表示给定PU、模式和编码参数的条件下，帧内和帧间的计算复杂度，其值是定值可直接测量；σ_Intra和σ_Inter是基于空时域相关性的经验修正值，分别用于表示帧内和帧间预测快速算法对编码复杂度的影响。注，T_CTU或T_CU的计算复杂度是累加其所有PU的计算复杂度

$T_{\mathrm{CTU}/\mathrm{CU}}=\underset{\mathrm{PU}\⋐\mathrm{CTU}/\mathrm{CU}}{\mathrm{\Σ}}{T}_{\mathrm{PU}}$

b.变换量化阶段的计算复杂度模型为：

T_TU＝F_TU(Flag_TU,S_TU)

其中，T_TU表示给定TU的计算复杂度，计算复杂度以单个像素点进行一次变换量化为基本单位。Flag_TU变换方式，可以为正弦变换或余弦变换；S_TU是给定TU的面积；

编码失真估计模型既可采用常见的MSE、SAD等失真度量模型，也可采用基于人眼视觉感知特性的失真估计模型，如恰可感知失真模型（JND），结构相似模型（SSIM）等。本实施例中，以JND模型为基础，建立编码失真度D的估计模型：

$\mathrm{\ω}(i,j)=a+b\·\frac{1+d\·\exp (-c\frac{\mathrm{JDN}(i,j)-\stackrel{\‾}{\mathrm{JND}}}{\stackrel{\‾}{\mathrm{JND}}})}{1+e\·\exp (-c\frac{\mathrm{JND}(i,j)-\stackrel{\‾}{\mathrm{JND}}}{\stackrel{\‾}{\mathrm{JND}}})}$

D(i,j)＝P(I(i,j)-I'(i,j)|ω(i,j))

其中，(i,j)表示像素点的坐标；ω表示当前像素点的视觉敏感度；JND和

分别表示当前像素点的JND值和当前图像的平均JND值；I表示当前像素点的原始值；I'表示当前像素点的编码预测值或解码重建值；a，b，c，d，e是经验常数；

给定PU的编码失真度计算模型为

$D_{\mathrm{PU}}=\underset{(i,j)\∈\mathrm{PU}}{\mathrm{\Σ}}D(i,j)$

由于在编码前不能得到准确的I'，本实施例中采用基于块的误差ΔI估计实现失真度计算：

a.空时域预测阶段的编码失真度计算模型为

$\begin{array}{c}{D}_{\mathrm{PU}}=\underset{(i,j)\∈\mathrm{PU}}{\mathrm{\Σ}}D(i,j)\\ =P({\stackrel{\‾}{I}}_{\mathrm{PU}}-{\stackrel{\‾}{I}}_{\mathrm{PU}}^{\mathrm{Pre}}|{\stackrel{\‾}{\mathrm{\ω}}}_{\mathrm{PU}})\\ =P\left({\mathrm{\ΔI}}_{\mathrm{PU}}^{\mathrm{Pre}}\right|{\stackrel{\‾}{\mathrm{\ω}}}_{\mathrm{PU}})\end{array}$

其中，

和

分别表示当前PU原始图像的像素均值和预测图像的像素均值；表示原始图像与预测图像的误差值；

表示当前PU的视觉敏感度均值。注，D_CTU或D_CU的编码失真度是累加其所有PU的失真度

$D_{\mathrm{CTU}/\mathrm{CU}}=\underset{\mathrm{PU}\⋐\mathrm{CTU}/\mathrm{CU}}{\mathrm{\Σ}}{D}_{\mathrm{PU}}$

b.变换量化阶段的编码失真度计算模型为

$\begin{array}{c}{D}_{\mathrm{TU}}=\underset{(i,j)\∈\mathrm{TU}}{\mathrm{\Σ}}D(i,j)\\ =P({\stackrel{\‾}{I}}_{\mathrm{TU}}-{\stackrel{\‾}{I}}_{\mathrm{TU}}^{\mathrm{Rec}}|{\stackrel{\‾}{\mathrm{\ω}}}_{\mathrm{TU}})\\ =P\left({\mathrm{\ΔI}}_{\mathrm{TU}}^{\mathrm{Rec}}\right|{\stackrel{\‾}{\mathrm{\ω}}}_{\mathrm{TU}})\end{array}$

其中，

和

分别表示当前PU原始图像的像素均值和解码重建图像的像素均值；

表示原始图像与解码重建图像的误差值；

表示当前TU的视觉敏感度均值。

本实施例中，采用传统的编码码率估计模型。编码复杂度-编码失真度建立编码复杂度代价和编码失真度-编码码率建立编码率失真代价模型分别为：

J_D&T(D,T)＝D+λ_D&T·T

J_D&R(D,R)＝D+λ_D&R·R

所述步骤B的具体步骤为：

1）根据编码配置参数，得到当前CTU允许的四叉树编码单元（CU）划分层次和空时域预测模式；

本实施例中，CTU的参数为64x64，最大划分深度为4。此时CTU的可依次划分为32x32、16x16、8x8大小的CU。每个CU需依次进行帧内/帧间预测，其中帧间预测的PU包括2Nx2N，2NxN，Nx2N，2NxnU，2NxnD，nLx2N，nRx2N，NxN多种尺寸。

2）采用模型定量计算的方法，以最小化编码复杂度代价为准则，计算当前CTU不同CU划分条件下的候选空时域预测模式。其中，预测模式包括：帧内预测模式和帧间预测模式、预测单元（PU）划分；帧间预测包括：帧间Skip模式和帧间非Skip模式。

根据步骤A的模型，分别计算每个编码单元（CU）在不同预测模式条件下的编码复杂度代价J_D&T(D,T)

${\mathrm{SET}}_D^{\mathrm{CU}}=\{D_{{\mathrm{PU}}_1},D_{{\mathrm{PU}}_2},...,D_{{\mathrm{PU}}_X}\}$

${\mathrm{SET}}_T^{\mathrm{CU}}=\{T_{{\mathrm{PU}}_1},T_{{\mathrm{PU}}_2},...,T_{{\mathrm{PU}}_X}\}$

其中，每个CU可允许多种PU划分方式，记为PU_x，x∈{1,2,…,n}。n_PU表示允许的PU划分个数，当CU为8x8，n_PU=4；否则，n_PU=8。每种PU划分方式的编码感知失真度D与计算复杂度T，分别对应于

和

中的一个元素。选择编码复杂度代价小于

的预测模式为当前CU的候选模式。其中，κ为大于1的经验阈值；对于帧间非Skip预测，根据最小化编码复杂度代价J_D&T(D,T)，计算运动搜索的参考帧数ref和搜索范围sr

3）按照遍历择优选择的方法，以最小化编码率失真代价为准则，遍历步骤2）的候选空时域预测模式，得到当前CTU不同CU划分条件下的最佳空时域预测结果。

其最优化过程依次是：从帧间Skip和非Skip模式及PU划分中选择最优；从帧内候选预测模式及PU划分中选择最优；从帧内和帧间模式中选择最优。

最终，得到当前CTU的各CU的最佳预测模式、编码参数及预测图像。

所述步骤C的具体步骤为：

a）根据编码配置参数，得到当前CTU允许的变换模式；

本实施例中CTU的参数为64x64，CTU和TU最大划分深度均为4，TU仅允许正方形变换：32x32、16x16、8x8和4x4。

b）采用模型定量计算的方法，以最小化编码复杂度代价准则，计算当前CTU不同CU划分条件下的候选变换模式；并以最小化编码率失真代价为准，计算候选变换模式的量化参数；

分别计算每个编码单元（CU）在不同变换模式条件下的编码复杂度代价J_D&T(D,T)

选择编码复杂度代价小于

的变换测模式为当前CU的候选模式。其中，κ为大于1的经验阈值；根据最小化编码率失真代价J_D&R(D,R)，计算候选变换模式的量化参数Q

$\begin{array}{c}{D}_Q^{\mathrm{TU}}=\underset{(i,j)\∈\mathrm{TU}}{\mathrm{\Σ}}D(i,j)\\ =P\left({\mathrm{\ΔI}}_{\mathrm{TU}}^{\mathrm{Rec}}\right|{\stackrel{\‾}{\mathrm{\ω}}}_{\mathrm{TU}})\\ =P\left(F_{\mathrm{Rec}}({\mathrm{\ΔI}}_{\mathrm{TU}}^{\mathrm{Pre}},Q)\right|{\stackrel{\‾}{\mathrm{\ω}}}_{\mathrm{TU}})\end{array}$

$\begin{array}{c}{R}_Q^{\mathrm{TU}}=\underset{(i,j)\∈\mathrm{TU}}{\mathrm{\Σ}}R(i,j)\\ =F_R({\mathrm{\ΔI}}_{\mathrm{TU}}^{\mathrm{Pre}},{\mathrm{\ΔI}}_{\mathrm{TU}}^{\mathrm{Rec}})\\ =F_R({\mathrm{\ΔI}}_{\mathrm{TU}}^{\mathrm{Pre}},F_{\mathrm{Rec}}({\mathrm{\ΔI}}_{\mathrm{TU}}^{\mathrm{Pre}},Q))\end{array}$

其中，F_Rec和F_R分别表示视频编码中通用的误差计算模型和码率计算模型。

c）按照遍历择优选择的方法，以最小化编码率失真代价为准，遍历步骤b）的候选变换模式，得到当前CTU不同CU划分条件下的最佳变换量化结果；其中，变换模式包括：正弦变换和余弦变换、变换单元（TU）划分；变换模式选择和参数计算时，是基于步骤3）中各CU划分条件下的最佳空时域预测图像。

所述步骤D的具体步骤为：以最小化编码率失真代价为准，从步骤B和C的编码结果中选择当前CTU的最佳编码结果

所述步骤E的具体步骤为：按照标准HEVC标准，对步骤D的最佳编码结果进行解码重建和熵编码输出。

所述步骤F的具体步骤为：根据步骤B和C的编码结果，更新步骤A编码复杂度估计模型中σ_Intra和σ_Inter的计算参数；编码失真估计模型中ΔI和P(·)的计算参数。

Claims (10)

1.一种基于HEVC标准的视频编码框架，其特征在于，包括如下步骤：

A.建立内容自适应的编码复杂度、编码失真度和编码码率的估计模型，以及编码复杂度代价模型和编码率失真代价模型；

B.利用步骤A的估计模型，对当前视频帧中每个编码树单元CTU，进行编码复杂度与率失真性能联合优化的空时域预测；

C.利用步骤A的估计模型，对步骤B中编码树单元的预测残差，进行编码复杂度与率失真性能联合优化的变换与量化；

D.利用步骤A的估计模型，以最小化编码率失真代价为准则，从步骤B和C的编码结果中选择当前CTU的最佳编码结果；

E.对步骤D的最佳编码结果，进行解码重建和熵编码输出；

F.根据步骤B和C的编码结果，更新步骤A的估计模型。

2.根据权利要求1所述的一种基于HEVC标准的视频编码框架，其特征在于，所述步骤A的具体方法为：根据当前编码图像的空时域特征及编码参数，建立内容自适应的编码复杂度T估计模型、编码失真度D估计模型和编码码率R估计模型；并根据编码复杂度-编码失真度建立编码复杂度代价模型J_D&T(D,T)；根据编码失真度-编码码率建立编码率失真代价模型J_D&R(D,R)；其中，编码参数包括：预测单元PU尺寸、变化单元TU尺寸、帧内/帧间预测模式、参考帧数、运动搜索范围、量化参数。

3.根据权利要求2所述的一种基于HEVC标准的视频编码框架，其特征在于：编码失真度估计模型既可采用常见的MSE、SAD等失真度量模型，也可采用基于人眼视觉感知特性的失真估计模型，如恰可感知失真模型JND，结构相似模型SSIM。

4.根据权利要求2或3所述的一种基于HEVC标准的视频编码框架，其特征在于：采用编码复杂度代价模型和编码率失真代价模型，可以提供基于图像内容和人眼视觉感知特性的编码复杂度/率失真性能的联合优化，从而达到更好的视频编码性能。

5.根据权利要求1所述的一种基于HEVC标准的视频编码框架，其特征在于，所述步骤B的具体方法为：1）根据编码配置参数，得到当前CTU允许的四叉树编码单元CU划分层次和空时域预测模式；2）采用模型定量计算的方法，以最小化编码复杂度代价为准则，计算当前CTU不同CU划分条件下的候选空时域预测模式；其中，对于帧间非Skip预测，计算其运动搜索的参考帧数和搜索范围；3）按照遍历择优选择的方法，以最小化编码率失真代价为准则，遍历步骤2）的候选空时域预测模式，得到当前CTU不同CU划分条件下的最佳空时域预测结果。

6.根据权利要求5所述的一种基于HEVC标准的视频编码框架，其特征在于：空时域预测模式包括：帧内预测模式和帧间预测模式、预测单元PU划分；帧间预测包括：帧间Skip模式和帧间非Skip模式。

7.根据权利要求5所述的一种基于HEVC标准的视频编码框架，其特征在于，所述步骤2）的具体方法为：分别计算每个编码单元CU在不同预测模式条件下的编码复杂度代价J_D&T(D,T)，选择编码复杂度代价小于

的预测模式为当前CU的候选模式；其中，κ为大于1的经验阈值；

为候选模式中的最小编码复杂度代价；对于帧间非Skip预测，根据最小化编码复杂度代价J_D&T(D,T)，计算其运动搜索的参考帧数和搜索范围。

8.根据权利要求1所述的一种基于HEVC标准的视频编码框架，其特征在于，所述步骤C的具体方法为：a）根据编码配置参数，得到当前CTU允许的变换模式；b）采用模型定量计算的方法，以最小化编码复杂度代价准则，计算当前CTU不同CU划分条件下的候选变换模式；并以最小化编码率失真代价为准，计算候选变换模式的量化参数；c）按照遍历择优选择的方法，以最小化编码率失真代价为准，遍历步骤b）的候选变换模式，得到当前CTU不同CU划分条件下的最佳变换量化结果。

9.根据权利要求8所述的一种基于HEVC标准的视频编码框架，其特征在于，所述步骤C的特征在于：变换模式包括：正弦变换和余弦变换、变换单元（TU）划分；变换模式选择和参数计算时，是基于步骤3）中各CU划分条件下的最佳空时域预测图像。

10.根据权利要求8所述的一种基于HEVC标准的视频编码框架，其特征在于，所述步骤b）的具体方法为：分别计算每个编码单元CU在不同变换模式条件下的编码复杂度代价J_D&T(D,T)，选择编码复杂度代价小于

的变换模式为当前CU的候选模式。其中，κ为大于1的经验阈值；

为候选模式中的最小编码复杂度代价;根据最小化编码率失真代价J_D&R(D,R)，计算候选变换模式的量化参数。

Images