CN104202599B - 一种应用于hevc帧间编码的全零块检测方法 - Google Patents

Abstract

本发明涉及视频图像处理领域，特别涉及一种应用于HEVC帧间编码的全零块检测方法，包括：(1)根据编码块在帧间预测和补偿后的残差数据经过DCT变换后各个频率位置的DCT系数的分布特性，以及位于背景区域的块经过后续的基于运动检测的去噪滤波后其块内预测误差的绝对值之和将有所减小的特性，在变换块进行实际的DCT变换和量化之前，预判变换块是否是一个全零块；(2)在编码器中嵌入了一个基于运动检测的时间域滤波器，在避免去噪滤波引入运动模糊的前提下，通过在判断全零块的阈值中增加一个大于1的放大因子，减少噪声信号对视频编码的影响，将尽可能多的位于背景区域的块判定为全零块，从而有利于减少编码过程的计算代价、提高编码压缩率。

Description

一种应用于HEVC帧间编码的全零块检测方法

技术领域

本发明涉及视频图像处理领域，特别涉及一种应用于HEVC帧间编码的全零块检测方法。

背景技术

作为新一代视频编码标准，高效率视频编码(High Efficiency Video Coding，HEVC)沿用了H.264等前一代编码标准所使用的基于块的混合编码框架，利用帧内和帧间预测去除空间和时间冗余，利用离散余弦变换(Discrete Cosine Transform，DCT)和熵编码去除统计冗余。

在HEVC中，编码树单元(Coding Tree Unit，CTU)是基本的处理单元，每个CTU包含了一个亮度分量编码树块(Coding Tree Block，CTB)和两个色度分量CTB。HEVC支持将CTB以四叉树的形式划分成更小的块，树型划分结构的叶子节点形成编码单元(Coding Unit，CU)，包含了亮度和色度分量的编码块(Coding Block，CB)以及相应的句法元素。虽然HEVC在CU的层面确定是采用帧内预测或帧间预测，但每个编码单元可进一步向下划分成两个或四个预测单元(Prediction Unit，PU)，且每个PU可独立地进行预测和补偿，从而形成残差块。与PU类似，HEVC允许以CU为根节点，对残差块进行四叉树形式的递归划分，形成变换单元(Transform Unit，TU)，且以TU为单位进行变换和量化，相应地，每个TU包括亮度和色度分量的变换块(Transform Block，TB)以及句法元素。

HEVC编码中的全零块提早检测是指针对经预测和补偿后的残差TB，在实际的变换和量化之前，采用某种算法预判该TB经变换后，所有的DCT系数将被量化为零。由于被预判为全零块的编码块将跳过后续的变换和量化过程，所以全零块数目的增加，将有利于减少编码的计算代价。另外，由于全零块不会在码流中产生与残差数据相关的比特，所以，增加全零块的数目有利于提高编码压缩率。

视频监控等应用以固定摄像机观察场景，所记录的视频图像通常存在大量的背景区域。理论上，经过帧间运动估计和补偿，位于这些区域的CB块的残差数据经过DCT变换和量化，其变换系数将全部为零。与理想状态背道而驰的是，由CCD、CMOS等图像传感器获取的视频信号，不可避免地会引入各种类型的噪声，使得那些位于背景区域的CB在变换量化之后仍然存在较多的不为零系数，在固定量化参数(Quantization Parameter，QP)的情况下，编码器将较多的码流分配给不产生真实信息的噪声信号，导致码率的上升，从而不利于后续的网络传输和存储；在固定码率的情况下，因为噪声信号占用了部分码流而使得视频图像中运动对象所在的区域分配得到的码流有所减少，从而导致编码图像视觉质量的下降。

发明内容

本发明所要解决的技术问题在于以视频监控中的HEVC编码器为应用背景，提出一种全零块提前检测方法，利用时间域去噪滤波能有效减小由于噪声信号引起的帧差值的特性，在全零块判断过程中引入一个大于1的放大系数，从而补偿噪声信号对全零块判断的影响。

为达到上述目的，本发明采用的技术方案是：

一种应用于HEVC帧间编码的全零块检测方法，包括如下步骤：

步骤一，依次取当前编码块CB中的每个变换块TB，若TB内残差数据符合下式，则判定当前TB为全零块，无需进行后续的DCT变换和量化过程，转步骤五，否则转步骤二；

并且

其中，SND和SAD分别按下式计算

其中N是TB块的大小，e(x，y)代表帧间预测的残差数据，qstep是由量化参数QP确定的量化步长，M＝N×N，α₁＝Z(0，1)，Z是一个由TB内数据相关程度决定的矩阵，Z(0，1)是Z矩阵(0，1)位置的元素，α₂是一个大于1的放大系数，以适应经后续的时间域去噪滤波，TB块的SAD值将有所减小；

步骤二，对TB内的残差数据作基于运动检测的时间域去噪滤波，按下式计算TB内每个像素的残差滤波值：

e′(x，y)＝a(x，y)e(x，y)

其中e′(x，y)为滤波之后的残差值，滤波系数a(x，y)按下式确定

其中b取常数4，m_e是TB内(x，y)像素的邻域范围内残差绝对值的均值，T_m是一个常数；

步骤三，由滤波以后的残差数据计算SAD和SND，若下式的条件成立，则判定当前TB为全零块，无需进行后续的DCT变换和量化过程，否则转步骤四，

并且

其中α₁值的计算方式与步骤一相同；

步骤四，按HEVC标准进行整数形式的二维DCT变换、量化处理；

步骤五，按HEVC标准进行基于上下文的自适应二进制算术编码等。

进一步，所述步骤一的Z矩阵的计算方法如下：

(1)取q值等于0.6，按下式计算矩阵R；

(2)按下式计算矩阵S，

S＝ARA^T

其中A矩阵中的各个元素为

(3)计算矩阵Z，其中的各个元素为

Z(u，v)＝S(u，u)S(v，v)

进一步，所述步骤一中的放大系数α₂在去噪滤波的过程中动态地更新，具体地，设更新前的值为α₂(t-1)，若当前TB块在去噪滤波前的SND值满足条件：

SND≤2N×qstep

则按下式更新α₂的值：

其中更新系数η∈(0，1)，SAD_p和SAD_n分别为TB块去噪滤波之前和之后的SAD值；若SND不符合上述条件，则不更新α₂的值。

本发明的有益技术效果是：通过在变换量化前进行全零块判别，可以提前检测出残差数据经变换量化后全部为零的TB块，从而省去对TB块的变换量化过程；本发明对于应用于视频监控的HEVC编码系统意义尤为突出，因为这些系统的视频信号或多或少会存在噪声信号，将去噪滤波器嵌入在编码过程中，针对残差作降噪滤波，能有效地抑制噪声对全零块检测的影响，与不考虑噪声的情况相比，能有效地提高全零块的比率，从而降低计算复杂度、提高编码效率，同时，基于运动检测的去噪滤波能很好地避免由于滤波计算可能引入的运动模糊和视觉质量下降。

附图说明

图1 N＝8，q值为0.6时的Z矩阵；

图2 本发明应用于HEVC帧间编码的全零块检测方法具体实施方式流程图。

具体实施方式

帧间预测和补偿后的变换块TB，每个像素的预测误差值为

e(x，y)＝I(x，y)-B(x，y) (1)

(x，y)代表了TB内的像素位置，I为待编码图像，B为参考图像中与I对应的匹配块。若TB所在的区域不包含运动物体，理想状态下，经帧间预测和补偿，该TB应编码为全零块，然而，实际记录的视频信号难以避免地存在噪声影响，当噪声的强度较大或量化参数QP较小时，上述全零块预期往往难以实现。

将TB残差数据看成一个N×N的矩阵E，二维DCT变换可写成如下矩阵相乘的形式

F＝AEA^T (2)

其中A是DCT变换矩阵，其元素按下式计算

HEVC采用整数DCT变换，其变换矩阵中的每个系数等于(3)式乘上一个缩放系数，使得变换矩阵中的每个元素是个整数，为了避免溢出且保证具有一定的计算精度，HEVC通过在变换过程中作两次右移运算，在量化过程中使用如下式(4)所示的运算，使得整个变换过程与二维DCT变换基本一致。

w(u，v)＝(F(u，v)·Q_QP％6+offset)＞＞shift (4)

其中F(u，v)是残差数据经DCT变换后的系数，Q是由QP决定的放大倍数，shift是右移的位数，用于替代量化过程的除运算，offset用于补偿由于取整运算引入的误差。当TB所有的DCT系数经上式量化后都为0，该TB是一个全零块。

由于HEVC的整数变换与(2)和(3)式给出的浮点形式的变换只有计算精度的差异，为分析方便，本发明采用(2)和(3)式的变换，将TB残差块经DCT变换后，频率坐标为(u，v)的系数写成如下的形式：

将A(x，u)A(y，v)视作一个权值，由中心极限定理：符合独立同分布的随机变量之和所形成的变量，可近似地认为具有正态分布。所以，所有位于背景区域的编码块的TB残差块作DCT变换后，具有相同频率坐标的变换系数，近似地具有正态分布。并且，由于DCT的变换矩阵是一个酉矩阵，所以各个变换系数的正态分布的均值为μ_u，v＝0，方差等于TB残差块变换之前数据的方差乘以一个系数，具体地，

其中，R是如下形式的矩阵

其中元素R(m，n)＝q^|m-n|，q是TB水平或垂直方向相隔一个像素的那些数据所具有的相关系数，对于一般的图像，该值介于0.4到0.75之间，本发明的一个实施例取中间值0.6。

当q值确定以后，将R矩阵和A矩阵的值代入(6)式可计算DCT变换后各个变换系数的方差与之间的关系，具体地，记Z(u，v)＝[ARA^T]_u，u[ARA^T]_v，v，图1给出了N＝8，q值为0.6时的Z矩阵。

将频率坐标为(u，v)的DCT系数视作随机变量，由于它们符合均值为0，方差为的正态分布，由正态分布的性质，该DCT系数落在区间(-3σ_F(u，v)，3σ_F(u，v))的概率约为99％。虽然HEVC采用如式(4)所示的量化步骤，但这种计算形式很大程度上是为了除去由于整数变换所引入的放大因子，量化的本质是DCT系数除以由量化参数QP确定的量化步长qstep。取该区间范围内绝对值的最大值3σ_F(u，v)，若下式成立，则频率坐标为(u，v)的DCT系数经量化后为0

3σ_F(u，v)＜qstep (8)

与H.264标准一样，HEVC中的QP范围为0～51，前六个QP对应的qstep如表1所示，后续的值，QP每增加6，qstep的值增大1倍。

表1.与前六个QP对应的量化步长

由式(6)，DCT系数的方差与块内残差数据的方差存在着联系，进一步地，可由残差的SAD值估计残差数据的方差。

CCD、CMOS等图像传感器获取的视频图像可建模成理想视频叠加了噪声信号，即

I(x，y)＝f(x，y)+n(x，y) (9)

其中f(x，y)是理想视频信号，n(x，y)是噪声信号，对监控视频，通常可假设为独立于信号、均值为零、方差为σ²的高斯白噪声。在视频图像的背景区域，帧间预测的残差信号主要来自于噪声信号，对帧间预测残差e取绝对值后，|e|的概率密度函数为

其中和σ²可能存在较小差异，按下式计算|e|的期望值

对于一个TB的残差数据，

E(|e|)≈SAD/M (12)

其中

M为TB块中的像素数目。结合式(11)和(12)可得如下关系式

注意到下式的(0，0)位置的DCT系数容易在全零块检测中计算，

并且，除(0，0)位置外，最大的Z值出现在(0，1)和(1，0)位置，结合式(6)、(8)和(14)，若以下条件成立，则可预判TB经DCT变换和量化后，其DCT系数全为0，

F(0，0)＜qstep并且

其中，α₁＝Z(0，1)。

对于不符合式(16)条件的TB，若其残差数据主要来源于视频噪声，则使用一个嵌入在编码器中的基于运动检测的去噪滤波器，将有助于减小TB块的SAD。本发明在(16)式的条件的基础上，在关于SAD的条件中增加一个大于1的放大系数α₂，将式(16)的条件修正为

F(0，0)＜qstep并且

根据上述思想，本发明提出一种应用于HEVC编码的全零块检测方法，图2示出了本发明具体实施方式的流程图，包括以下几个步骤：

步骤101，以递归四叉树划分的方式将编码块CB划分成变换块TB，以循环的形式依次取CB中的所有TB进行处理。在高效视频编码HEVC标准中，TB的最大尺寸等于CB的尺寸，最小尺寸为4×4，为简单起见，本发明的一个实施例统一设定亮度分量的TB尺寸为8×8，色度分量的TB尺寸为4×4。

步骤102，按式(15)计算当前TB残差数据的和，按式(13)计算绝对值之和SAD。

步骤103，按式(17)判断TB是否是全零块，若是，转步骤107，否则顺序执行步骤104，其中，SND＝N×F(0，0)。

步骤104，对TB内的残差数据作去噪滤波，并且更新式(17)中使用的系数α₂。具体地，本发明的一个优选实施例采用时间域滤波，设I(x，y)为当前图像，B(x，y)为经运动估计后的参考图像，滤波后的图像为：

I′(x，y)＝a(x，y)I(x，y)+(1-a(x，y))B(x，y) (18)

其中滤波系数a(x，y)按下式确定

其中b取常数4，T_m是一个阈值，本发明的一个实施例取T_m＝6，m_e是TB内(x，y)像素的邻域范围内残差绝对值的均值，按下式计算

结合(1)式和(18)式，上述时间域滤波反映到残差数据为

e′(x，y)＝a(x，y)e(x，y) (21)

由于a(x，y)是一个不大于1的实数，所以上述时间域滤波将使得TB的SAD数据有所减小，有更多的块将满足步骤103的条件判断，被判定为全零块，从而免除后续的DCT变换和量化，以降低计算代价。

系数α₂采用动态自适应的方式持续更新，具体地，设更新前的值为α₂(t-1)，若当前TB块在去噪滤波前的残差和值SND，满足条件：

SND≤2N×qstep (22)

则按下式更新α₂的值：

其中更新系数η∈(0，1)，本发明的一个实施例取0.75。SAD_p和SAD_n分别为TB块去噪滤波之前和之后的SAD值，由于(21)式的去噪滤波将使得SAD的值有所减小，所以α₂是一个大于1的系数。

步骤105，判断经过去噪滤波，TB是否满足全零块条件，若是，转步骤107，否则顺序执行步骤106，其中的阈值T₃为：

步骤106，滤波后的TB块作DCT变换和量化。

步骤107，对于被判定为全零块的TB，直接判定TB经量化后的DCT系数全为0。

步骤108，按HEVC标准作后续的CABAC编码等。

以上所述仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，凡在本发明的精神和原则之内，所做的任何修改或替换等，都应涵盖在本发明的保护范围内。

Claims (3)

1.一种应用于HEVC帧间编码的全零块检测方法，其特征在于，所述方法是针对编码块CB中的各个变换块TB实施的，对于每个变换块，包括以下步骤：

(1)判断当前TB内残差数据是否符合以下条件，若是，则判定当前TB为全零块，无需进行后续的DCT变换和量化过程，转步骤(5)，否则转步骤(2)；

并且

其中，N是TB块X和Y方向的尺寸，M＝N×N，qstep是由量化参数QP确定的量化步长，α₁是一个与TB内数据有关的系数，α₂是一个大于1的放大系数，SND和SAD分别按下式计算：

$SND=\underset{x=0}{\overset{N-1}{\Σ}}\underset{y=0}{\overset{N-1}{\Σ}}e(x,y)$

$SAD=\underset{x=0}{\overset{N-1}{\Σ}}\underset{y=0}{\overset{N-1}{\Σ}}\left|e(x,y)\right|$

其中，e(x，y)代表帧间预测补偿后(x，y)像素位置的残差数据，x和y分别代表图像宽度和高度方向的坐标；

(2)对TB内的残差数据作时间域去噪滤波，按下式计算TB内每个像素的残差滤波值e′(x，y)＝a(x，y)e(x，y)

其中e′(x，y)为滤波之后的残差值，滤波系数a(x，y)按下式确定：

$a(x,y)=\left\{\begin{array}{cc}1& if\left|m_e(x,y)\right|\≥T_m\\ 1-\exp (-{\left(\frac{m_e(x,y)}{b}\right)}^2)& otherwise\end{array}\right.$

其中b取常数4，阈值T_m＝6，m_e是TB内(x，y)像素的邻域范围内残差绝对值的均值；

(3)由滤波以后的残差数据计算SAD和SND，若下式条件成立，则判定当前TB为全零块，无需进行后续的DCT变换和量化过程，否则转步骤(4)；

并且

(4)按HEVC标准进行整数形式的二维DCT变换、量化处理；

(5)按HEVC标准进行基于上下文的自适应二进制算术编码。

2.根据权利要求1所述的一种应用于HEVC帧间编码的全零块检测方法，其特征在于，所述步骤(1)的放大系数α₂在滤波过程中自适应地动态更新，设更新前的值为α₂(t-1)，若当前TB块在去噪滤波前的SND值满足条件：

SND≤2N×qstep

则更新后的放大系数为按下式计算的α₂(t)：

${\mathrm{\α}}_2\left(t\right)={\mathrm{\η\α}}_2(t-1)+(1-\mathrm{\η})\frac{{\mathrm{SAD}}_p}{{\mathrm{SAD}}_n}$

其中更新系数η∈(0，1)，SAD_p和SAD_n分别为TB块去噪滤波之前和之后的SAD值；若SND不符合上述条件，则不更新α₂的值。

3.根据权利要求1所述的一种应用于HEVC帧间编码的全零块检测方法，其特征在于，所述参数α₁的计算方法如下：首先按下式计算矩阵R，

其中q是一个取决于TB内相邻数据相关程度的常数，设置为介于0.4到0.75之间的实数，其次，按下式计算矩阵S，

S＝ARA^T

其中矩阵A的各个元素按下式确定，

$A(i,j)=\left\{\begin{array}{cc}\frac{1}{\sqrt{N}}& j=0,i=0,1,...,N-1\\ \sqrt{\frac{2}{N}}cos\left(\frac{\mathrm{\π}(2i+1)j}{2N}\right)& j=1,2,...N-1,i=0,1,...,N-1\end{array}\right.$

最后，确定α₁＝S(0，0)S(1，1)。