CN104811728A - 一种视频内容自适应的运动搜索方法 - Google Patents

Abstract

本发明公开了视频内容自适应的运动搜索方法，包括：计算当前图像内所有像素点的梯度的平均值，并根据平均值设定两个阈值；根据阈值确定当前CU的区域类型；为当前PU建立候选预测MV列表，选择率失真代价最小的MV作为预测MV，并用预测MV所指向的位置作为搜索起点；在给定的搜索范围内进行搜索，选出率失真代价最小的点作为整数像素运动搜索下的最佳匹配点；根据CU类型确定最终结果。本发明的运动搜索自适应选择算法不改变码流结构，生成的码流可兼容任意标准解码，应用方便。

Description

一种视频内容自适应的运动搜索方法

技术领域

本发明涉及一种视频内容自适应的运动搜索方法。

背景技术

视频编码标准H.264以其高效的压缩效率、良好的网络亲和性以及优越的稳健性等优点得到了广泛的应用。然而，随着终端处理能力以及人们对多媒体体验要求的不断提高，高清、超高清、无线移动已经成为目前视频应用的主流趋势。而H.264编码标准的压缩效率不能满足高清、超高清视频应用，需要更高效的编码压缩方案。因此，由ISO/IEC MovingPicture Experts Group(MPEG)和ITU-T Video Coding Experts Group(VCEG)联合成立的Joint Collaborative Team on Video Coding(JCT-VC)制定了高效率的下一代视频编码标准HEVC(High Efficiency Video Coding)，HEVC不仅提升了图像质量，同时也能达到H.264/MPEG-4AVC压缩效率的两倍，等同于同样画面质量下比特率减少了50％，可支持4K甚至到8k视频。

HEVC依然沿用以往视频编码标准所采用的预测、变换、量化、熵编码的混合编码框架。

为了提高视频的编码效率，HEVC采用了更加灵活的大尺寸四叉树编码结构来提高压缩效率，如图1所示，其定义了3种不同的结构单元，包括编码单元CU(Coding Unit)、预测单元PU(Prediction Unit)、变换单元TU(Transform Unit)来描述整个编码过程。其中最大的CU称为CTB，每个CU可以继续分为4个更小的CU。PU、TU都是基于CU进行划分的，其中TU可以跨越不同PU。采用较大的CU可以更好地压缩平坦区域，而采用较小的CU可以更好压缩细节较多的区域。

HEVC中引进运动估计融合和高精度运动补偿等技术来提高帧间运动估计的准确性。运动估计的目的是为了在参考帧图像中寻找当前预测单元的最佳匹配块，即在指定的搜索范围内寻找最匹配的运动矢量。HEVC中除了整像素搜索外，还有采用插值方法的亚像素运动搜索，这是由于自然界物体运动具有连续性，因此相邻两帧图像之间物体的运动不一定是以整像素为基本单位的，而有可能是半个像素、四分之一个像素甚至是八分之一个像素为单位的，如图2所示HEVC中运动搜索流程图。若仅使用整像素运动估计会出现匹配不准确的问题，导致运动补偿残差幅度过大，影响编码效率。此时，应将运动估计的精度提升到亚像素级别，这可以通过对参考图像的像素进行插值来实现。

在运动补偿和亚像素搜索中，插值滤波器起着关键的作用。目前，HEVC编码标准中，为像素每个位置的插值都设计了单独的插值滤波器，直接对所需位置的像素进行插值，而非像H.264/AVC中先进行维纳滤波，而后再做双向滤波。由于只需进行一次滤波计算，插值过程简单高效。HEVC在进行图像的亮度插值滤波时，其DCT的插值滤波器采用8个抽头的滤波器，如表1所示。

表1亮度1/4和色度1/8插值滤波系数

亮度插值分为两个步骤：

1.位于整像素之间的亚像素的插值，如图3中点a_0，0，b_0，0，c_0，0，d_0，0，h_0，0和n_0，0′。插值过程中，相邻8个像素选用空间位置相邻的8个整数像素，不同位置的点采用表1中不同的插值滤波参数做插值。计算方式如下：

a_0，0＝-A_-3，0+4×A_-2，0-10×A_-1，0+58×A_0，0+17×A_1，0-5×A_2，0+A_3，0

$\begin{array}{c}{h}_{\mathrm{0,0}}=-A_{0,-3}+4\×A_{0,-2}-11\×A_{0,-1}+40\×A_{\mathrm{0,0}}+40\×A_{\mathrm{0,1}}-11\×A_{\mathrm{0,2}}\\ +4\×A_{\mathrm{0,3}}-A_{\mathrm{0,4}}\end{array}$

其余位置像素可用相应的滤波器计算得出。

2.位于亚像素之间的亚像素点的插值，如图3中点e_0，0，i_0，0，p_0，0，f_0，0，j_0，0，q_0，0，g_0，0，k_0，0和r_0，0′。插值过程中，相邻8个像素选用整像素插值得出和8个空间相邻的亚像素点，不同位置的点采用表1中不同的插值滤波参数做插值。计算方式如下：

$\begin{array}{c}{e}_{\mathrm{0,0}}=(-a_{0,-3}+4\×a_{0,-2}-10\×a_{0,-1}+58\×a_{\mathrm{0,0}}+17\×a_{\mathrm{0,1}}-5\×a_{\mathrm{0,2}}+a_{\mathrm{0,3}})\\ >>6\end{array}$

$\begin{array}{c}{j}_{\mathrm{0,0}}=(-b_{0,-3}+4\×b_{0,-2}-11\×b_{0,-1}+40\×b_{\mathrm{0,0}}+40\×b_{\mathrm{0,1}}-11\×b_{\mathrm{0,2}}\\ +4\×b_{\mathrm{0,3}}->b_{\mathrm{0,4}})>6\end{array}$

r_0，0＝(c_0，-2-5×c_0，-1+17×c_0，0+58×c_0，1-10×c_0，2+4×c_0，3-c_0，4)＞＞6

其余位置像素可用相应的滤波器计算得出。

实际的编码时，运动搜索过程分为运动矢量预测、整像素运动搜索以及亚像素运动搜索三部分。运动矢量预测耗时很少，整像素运动搜索如果采用快速算法，如钻石搜索，耗时也不大，但是，亚像素搜索由于对每个点的搜索都要做插值，复杂度比较高。经过测试，发现获取最佳预测块的模块中，亚像素搜索耗时50％以上，所以只有减少亚像素搜索的复杂度才能大幅度地提升运动搜索模块的计算速度。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种视频内容自适应的运动搜索方法。

为解决上述技术问题，本发明所采用的技术方案是：一种视频内容自适应的运动搜索方法，包括以下步骤：

1)计算当前图像内所有像素点的梯度的平均值，并根据所述平均值设定两个阈值；

2)根据上述阈值确定当前CU的区域类型；

3)利用空域、时域上运动向量的相关性，为当前PU建立候选预测MV列表，从所述MV列表中选择率失真代价最小的MV作为预测MV，并用所述预测MV所指向的位置作为搜索起点；

4)根据HEVC选定的运动搜索方法，在编码预设的搜索范围内进行搜索，选出率失真代价最小的点作为整数像素运动搜索下的最佳匹配点；

5)如果当前CU为平坦区域，则将步骤4)得到的最佳匹配点作为最终结果；如果当前CU为纹理区域，以步骤4)得到的最佳匹配点作为1/2像素运动搜索的起始点，在编码预设的搜索范围内进行搜索，选择率失真代价最小的点作为1/2像素运动搜索的最佳搜索点，并且将该最佳搜索点作为最终结果；如果当前CU为边缘区域，以步骤4)得到的最佳匹配点作为1/4像素运动搜索的起始点，在一定的范围内进行搜索，选择率失真代价最小的点作为1/4像素运动搜索的最佳搜索点，并且将该点作为最终结果；

6)结束。

两个阈值的设定过程如下：

1)将当前帧图像中位置为(x，y)的像素点的梯度标记为G_x，y，G_x，y计算公式如下：

|G_x，y|＝|G_x|+|G_y|；

其中，G_x，G_y′分别代表水平、垂直方向边缘检测得到的梯度值：

$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ 1& 0& 1\end{array}\right]\⊗A,G_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]\⊗A$

其中，A表示原始图像，为卷积符号；

2)计算当前图像内所有像素点的梯度的平均值G_a：

$G_a=\frac{{\mathrm{\Σ}}_{x=0}^w{\mathrm{\Σ}}_{y=0}^h{G}_{x,y}}{w\×h};$

其中，w、h分别为当前图像的宽和高；

3)根据G_a设定两个阈值T₁、T₂，计算公式如下：

T₁＝α×G_a

T₂＝β×G_a

其中，α、β分别取值为0.1、0.05。

确定当前CU的区域类型方法步骤如下：

1)计算当前CU单元内所有像素点的梯度值的平均值，记为G_cu，G_cu计算公式如下：

$G_{\mathrm{cu}}=\frac{{\mathrm{\Σ}}_{i=0}^N{\mathrm{\Σ}}_{i=0}^N{G}_{i,j}}{N\×N};$

其中，”N”表示当前CU大小为N×N，G_i，j为当前CU中位置为(i，j)像素点的梯度；

2)判断是否满足条件G_cu＜T₂，若满足，当前CU被划分为平坦区域；否则，判断是否满足条件G_cu＜T₁，若满足，当前CU被划分为纹理区域；否则，当前CU被划分为边缘区域。

与现有技术相比，本发明所具有的有益效果为：本发明在帧间预测过程中的运动搜索时充分利用了图像编码块自身的纹理特性，通过对编码单元分类，对纹理细节不同的单元，自适应地选择不同的亚像素搜索算法。该算法有效地降低运动搜索的计算复杂度，提高了编码速度，同时又保证了编码效率损失在可接受的范围内；本发明的运动搜索自适应选择算法可以通过调节参数、判断条件，控制算法复杂度和编码效率损失，适应不同计算复杂度的应用需求；本发明的运动搜索自适应选择算法不改变码流结构，生成的码流可兼容任意标准解码，因此不需要对解码视频的播放客户端做修改，应用方便。

附图说明

图1(a)为HEVC编码单元四叉树结构示意图；图1(b)为变换单元四叉树结构；

图2为HEVC中运动搜索流程图；

图3为亮度插值示意图；

图4为本发明控制框图；

图5为本发明方法流程图。

具体实施方式

本发明的控制框图如图4所示，在HEVC视频编解码器的帧间预测的运动搜索阶段加入一个控制模块，该模块按照一定的方法对当前的编码单元CU进行分类，并自适应地选择每个PU亚像素运动搜索算法，并记录最优搜索点和相应的编码后数据，再经码流组织模块写入码流数据并输出。

本发明的方法流程图如图5所示，在HEVC视频编解码标准的运动搜索过程中，加入一个加入运动搜索控制算法。以下将详细描述本文提出的HEVC亚像素搜索自适应选择算法的实现流程。

(1)计算当前图像的梯度，按照以下步骤进行：

a.可选用Sobel边缘检测方法，当前帧图像中位置为(x，y)的像素点的梯度标记为G_xy，其计算公式如下：

|G_x，y|＝|G_x|+|G_y|

其中，G_x、G_y分别代表水平、垂直方向边缘检测得到的梯度值，其公式如下：

$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ 1& 0& 1\end{array}\right]\⊗A,G_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]\⊗A$

其中，”A”表示原始图像，为卷积符号。

b.计算当前图像内所有像素点的梯度的平均值G_a，其计算公式如下：

$G_a=\frac{{\mathrm{\Σ}}_{x=0}^w{\mathrm{\Σ}}_{y=0}^h{G}_{x,y}}{w\×h}$

其中，w、h分别为当前图像的宽、高。

c.根据得到的图像梯度均值G_a设定两个阈值T₁、T₂，计算公式如下：

T₁＝α×G_a

T₂＝β×G_a

其中，α、β是由大量统计实验得到的常量值，T₁＞T₂。

(2)确定当前CU的区域类型，按照以下步骤进行：

a.计算当前CU单元内所有像素点的梯度值的平均值，记为G_cu，其计算公式如下：

$G_{\mathrm{cu}}=\frac{{\mathrm{\Σ}}_{i=0}^N{\mathrm{\Σ}}_{i=0}^N{G}_{i,j}}{N\×N}$

其中，“N”表示当前CU大小为N×N，G_i，j为当前CU中位置为(i，j)像素点的梯度。

b.判断是否满足条件G_cu＜T₂，若满足，当前CU被划分为平坦区域；否则，判断是否满足条件G_cu＜T₂，若满足，当前CU被划分为纹理区域；否则，当前CU被划分为边缘区域；

(3)利用空域、时域上运动向量的相关性，为当前PU建立候选预测MV列表，编码器从中选择率失真代价最小的作为预测MV，并用其所指向的位置作为起始搜索点；

(4)以步骤(3)中预测到的点为搜索起点，根据HEVC选定的运动搜索算法，在给定的搜索范围内进行搜索，选出率失真代价最小的点作为整数像素运动搜索下的最佳匹配点；

(5)如果当前CU为平坦区域，则将步骤(4)得到的最佳搜索点作为最终结果，跳至步骤(8)；否则，继续执行步骤(6)；

(6)如果当前CU为纹理区域，以步骤(4)中得到的最佳匹配点作为1/2像素运动搜索的起始点，在一定的范围内进行搜索，选择率失真代价最小的点作为1/2像素运动搜索的最佳搜索点，并且将该点作为最终结果，跳至步骤(8)；

(7)如果当前CU为边缘区域，以步骤(4)中得到的最佳匹配点作为1/4像素运动搜索的起始点，在一定的范围内进行搜索，选择率失真代价最小的点作为1/4像素运动搜索的最佳搜索点，并且将该点作为最终结果，跳至步骤(8)；

(8)结束。

在HEVC参考软件HM上测试结果表明，对HEVC标准测试序列采用本发明的运动搜索方法自适应选择算法可使编码时间平均减少30％左右，编码效率损失控制在1％以内。

Claims (3)

1.一种视频内容自适应的运动搜索方法，其特征在于，包括以下步骤：

1)计算当前图像内所有像素点的梯度的平均值，并根据所述平均值设定两个阈值；

2)根据上述阈值确定当前CU的区域类型；

3)利用空域、时域上运动向量的相关性，为当前PU建立候选预测MV列表，从所述MV列表中选择率失真代价最小的MV作为预测MV，并用所述预测MV所指向的位置作为搜索起点；

4)根据HEVC选定的运动搜索方法，在编码预设的搜索范围内进行搜索，选出率失真代价最小的点作为整数像素运动搜索下的最佳匹配点；

5)如果当前CU为平坦区域，则将步骤4)得到的最佳匹配点作为最终结果；如果当前CU为纹理区域，以步骤4)得到的最佳匹配点作为1/2像素运动搜索的起始点，在编码预设的搜索范围进行搜索，选择率失真代价最小的点作为1/2像素运动搜索的最佳搜索点，并且将该最佳搜索点作为最终结果；如果当前CU为边缘区域，以步骤4)得到的最佳匹配点作为1/4像素运动搜索的起始点，在一定的范围内进行搜索，选择率失真代价最小的点作为1/4像素运动搜索的最佳搜索点，并且将该点作为最终结果；

6)结束。

2.根据权利要求1所述的视频内容自适应的运动搜索方法，其特征在于，两个阈值的设定过程如下：

1)将当前帧图像中位置为(x，y)的像素点的梯度标记为G_x，y，G_x，y计算公式如下：

|G_x，y|＝|G_x|+|G_y| 

其中，G_x、G_y分别代表水平、垂直方向边缘检测得到的梯度值：

其中，A表示原始图像，为卷积符号；

2)计算当前图像内所有像素点的梯度的平均值G_a：

其中，w、h分别为当前图像的宽和高；

3)根据G_a设定两个阈值T₁、T₂，计算公式如下：

T₁＝α×G_a

T₂＝β×G_a

其中，α、β取值分别为0.1、0.05。

3.根据权利要求2所述的视频内容自适应的运动搜索方法，其特征在于，确定当前CU的区域类型方法步骤如下：

1)计算当前CU单元内所有像素点的梯度值的平均值，记为G_cu，G_cu计算公式如下：

其中，”N”表示当前CU大小为N×N，G_i，j为当前CU中位置为(i，j)像素点的梯度；

2)判断是否满足条件G_cu＜T₂，若满足，当前CU被划分为平坦区域；否则，判断是否满足条件G_cu＜T₁，若满足，当前CU被划分为纹理区域；否则，当前CU被划分为边缘区域。