CN101867815B - 快速小数像素分级搜索方法 - Google Patents

Abstract

本发明公开了一种快速小数像素分级搜索方法，用抛物线分别从水平像素方向和垂直像素方向模拟误差SAD曲面的剖线，计算位于同一水平线的整数像素搜索最佳匹配点和水平方向两侧相邻的两个整像素点的SAD值，根据水平抛物线的顶点坐标的位置选择下一步搜索的参考点；计算位于同一垂直线的整数像素搜索最佳匹配点和垂直方向两侧相邻的两个整像素点的SAD值，根据垂直抛物线的顶点坐标的位置选择下一步搜索的参考点；最终寻找最佳1/4像素匹配点。本发明亮度信号的PSNR损失较小，对视频重建质量的影响基本可以忽略；保持了较好的码率失真特性；提高了编码的速度。

Description

快速小数像素分级搜索方法

技术领域

本发明属于视频处理技术领域，尤其是一种小数像素搜索方法。

背景技术

新一代视频压缩标准H.264的运动估计模块是由整数像素和小数像素两部分组成，小数像素精度的运动估计可以更有效地减少预测残差，提高图像质量。因为运动矢量位移不一定恰好在整数像素位置上，而是可能在小数像素上，因此采用1/4像素的运动矢量搜索。在H.264标准推出以前，关于快速块匹配算法的研究主要集中在整像素搜索算法上，因为以前标准(H.263、MPEG-2)中小数像素搜索采用1/2像素精度，它的计算量只占整个运动估计单元中很小一部分。随着许多高效的快速整数像素搜索算法的推出，整数像素搜索的计算量大大降低。但整数像素搜索算法不适合用于小数像素搜索，因为小数像素搜索的主要运算是像素内插和相邻八点匹配计算，H.264/AVC参考程序中采用分级搜索算法HFPS(Hierarchical Fractional Pel Search algorithm)来完成小数像素运动预测，采用HFPS算法，1/4像素需要搜索16个点，1/8像素需要搜索24个点。小数像素搜索计算量瓶颈愈显突出，因此需要寻找根据小数像素特征相关的快速搜索算法。整数像素快速搜索算法都是以块匹配失真绝对误差和SAD(Sum of AbsoluteDifference)梯度下降为基本思想的，即按照SAD值的逐步减小由粗到精对最优匹配点进行定位。在经过整像素搜索后，小数像素搜索被限制在3×3像素大小的窗内进行，相邻1/4或1/8像素点对应的块匹配误差SAD的相关性大大增加。大多数情况下，SAD在小数像素搜索窗中的分布曲面呈较规则的单峰分布。小数像素范围内的误差函数是一个二次曲面，一般使用抛物面可以很好的进行描述，因此使用抛物面可以更好、更准确的满足误差曲面存在全局最小点、误差曲面呈单峰分布、误差曲面不存在零梯度区域三个假设条件。

基于小数像素搜索窗SAD的单峰分布特性，清华大学视频通信研究组的研究人员提出了一种基于抛物面预测的快速小数像素搜索算法PPFPS。该算法采用抛物曲面来模拟SAD曲面，通过解析二次曲面方程求解抛物曲面顶点坐标，再根据顶点坐标在小范围内进行局部搜索得到最优匹配块位置。对于1/4像素和1/8像素精度，该算法分别只需要搜索6个和9个点，并解析一遍曲面方程即可，在一定程度上减少了小数像素搜索的运算量。然而解析二次曲面方程的过程涉及到较多的除法运算，比较复杂，还有进一步优化的余地。

发明内容

为了克服现有技术解析二次曲面方程的过程涉及到较多的除法运算，比较复杂的不足，本发明根据在小数像素搜索窗中的误差分布曲面呈较规则的单峰分布特点，提出了一种快速小数像素分级搜索算法FHFPS(Fast Hierarchical Fractional Pel Searchalgorithm)，基于误差曲面的可分离单峰特性，将PPFPS算法中的二维运算拆为两个一维运算，分别在水平象素方向和垂直象素方向用抛物线模型来模拟误差曲面剖线，通过求解抛物线方程来确定半像素最优匹配点的位置，并根据搜索窗中心点、水平方向和垂直方向半像素最优匹配点的大小关系来决定1/4像素的搜索范围，预测最佳1/4像素最优匹配点，有效地降低了小数像素运动估计复杂度，同时保证必要的编码效率。

本发明解决其技术问题所采用的技术方案包括以下步骤：

第一步：用抛物线分别从水平象素方向和垂直象素方向模拟误差SAD曲面的剖线，用来进行抛物曲线建模的二次方程如下：

F(p)＝αx²+βx+γ(1)

其中，α、β、γ为三个未知系数。

第二步：设点C为整数像素搜索最佳匹配点，点H1、点H2为点C水平方向两侧相邻的两个整像素点，计算位于同一水平线的三个整像素点C、点H1、点H2的SAD值F_C、F_H1和F_H2，通过这三个值建立水平抛物线模型F_p。设点C、点H1、点H2对应SAD空间的坐标为(0，F_C)，(-1，F_H1)，(1，F_H2)，这三个点落在式(1)所定义的抛物线上，可求解出三个未知参数α、β、γ如下：

$\left\{\begin{array}{c}\mathrm{\α}=(F_{H1}+F_{H2})/2-F_C\\ \mathrm{\β}=(F_{H2}-F_{H1})/2\\ \mathrm{\γ}=F_C\end{array}\right.---\left(2\right)$

根据α、β、γ三个系数，计算出水平抛物线F_p的顶点坐标为：

$(x_m,y_m)=(-\frac{\mathrm{\β}}{2\mathrm{\α}},\min \left(F_p\right))=(\frac{F_{H1}-F_{H2}}{2[F_{H1}+F_{H2}-2F_C]},\min \left(F_p\right))---\left(3\right)$

其中，min(F_p)是水平抛物线模型F_p的最小值。

为了得到更精确的匹配，在小数像素运动估计中，块失真度量参数不直接采用SAD，而采用块残差系数的绝对误差哈达码变换系数和SATD(Sum of AbsoluteTransformed Difference)，如下式：

$\mathrm{SATD}(s,c\left(m\right))=\underset{x=1}{\overset{B}{\mathrm{\Σ}}}\underset{y=1}{\overset{B}{\mathrm{\Σ}}}{D}_{x,y}---\left(4\right)$

其中，D_x，y为d_x，y的哈达码变换，d_x，y＝|s[x，y]-c[x-m_x，y-m_y]|，s[x，y]是编码块的原始采样点，c[x-m_x，y-m_y]是预测样点。

根据水平抛物线F_p的顶点坐标的位置在整数像素搜索最佳匹配点C的水平方向两侧的半像素点h1(点H1方向)和h2(点H2方向)中选择下一步搜索的参考点，如果|x_m-x_h1|＜|x_m-x_h2|，选择半像素点h1作为第四步搜索的参考点之一——水平半像素点；否则，选择半像素点h2作为第四步搜索的水平半像素点，并计算该点的SATD，记为SATDh。

第三步：设点V1、点V2为点C垂直方向两侧相邻的两个整数像素点，采用位于同一垂直线的三个整像素点C、点V1、点V2的SAD值F_C、F_V1、F_V2建立垂直抛物线模型F_p’。假设点C、点V1、点V2对应SAD空间的坐标为(0，F_C)，(1，F_V1)，(-1，F_V2)，这三个点落在式(1)所定义的抛物线上，可求解出三个未知参数α’、β’、γ’，如下：

$\left\{\begin{array}{c}{\mathrm{\α}}^{\′}=(F_{V1}+F_{V2})/2-F_C\\ {\mathrm{\β}}^{\′}=(F_{V2}-F_{V1})/2\\ {\mathrm{\γ}}^{\′}=F_C\end{array}\right.---\left(5\right)$

根据α’，β’，γ’三个系数，可以计算出垂直抛物线F_p’的顶点坐标为：

$(x_m,y_m)=(-\frac{\mathrm{\β}}{2\mathrm{\α}},\min \left({F_p}^{\′}\right))=(\frac{F_{V1}-F_{V2}}{2[F_{V1}+F_{V2}-2F_C]},\min \left({F_p}^{\′}\right))---\left(6\right)$

其中，min(F_p’)是垂直抛物线模型F_p’的最小值。

根据垂直抛物线F_p’的顶点坐标的位置在垂直方向两侧的的半像素点v1(点V1方向)和v2(点V2方向)中选择下一步搜索的参考点，如果|y_m-y_v1|＜|y_m-y_v2|，选择半像素点v1作为第四步搜索的参考点之一——垂直半像素点；否则，选择半像素点v2作为第四步搜索的垂直半像素点；计算该参考点的SATD，记为SATDv；

第四步：设点D1、点D2、点D3、点D4为点C周边对角线相邻的四个整数像素点。计算整像素搜索最佳匹配点C的SATDc，并根据SATDh、SATDv和SATDc的大小关系来决定1/4像素的搜索范围，寻找最佳1/4像素匹配点：

①如果SATDc＜SATDh＜SATDv或SATDc＜SATDv＜SATDh，根据水平半像素点和垂直半像素点的位置进行搜索，计算整数象素点C与水平半象素点之间、整数象素点C与垂直半象素点之间、水平半象素点与垂直半象素点之间的三个1/4像素点的SATD，并选择块失真最小的点作为1/4像素最优匹配点。

②如果SATDh＜SATDc＜SATDv，计算整数象素点C与水平半象素点之间的1/4像素点以及该1/4像素点垂直方向两侧两个1/4像素点的SATD，并选择块失真最小的点作为1/4像素最优匹配点。

③如果SATDv＜SATDc＜SATDh，计算整数象素C与垂直半象素点之间的1/4像素点以及该点水平方向两侧两个1/4像素点的SATD，并选择块失真最小的点作为1/4像素最优匹配点。

④如果SATDv＜SATDh＜SATDc或SATDh＜SATDv＜SATDc，根据水平和垂直半像素点的位置进行搜索，计算以整数象素C、水平半象素点和垂直半象素点为三个顶点的正方形中远离整数象素C的三个1/4像素点的SATD，并选择块失真最小的点作为1/4像素最优匹配点。

本发明的有益效果是：与PPFPS算法和HFPS算法相比，尽管由于在半像素点搜索时由于候选点数的减少而导致PSNR(Peak Signal-to-Noise Ratio峰值信噪比)的下降，但是在保证近似的编码效率的条件下，FHFPS算法比PPFPS算法具有更快的收敛速度，具有以下特点：

1)亮度信号的PSNR损失较小，对视频重建质量的影响基本可以忽略；

2)引入的码率增益很小，保持了较好的码率失真特性；

3)小数像素运动估计的耗时下降明显，提高了编码的速度。

下面结合附图和实施例对本发明进一步说明。

附图说明

图1是小数像素搜索模板示意图。

图2是1/4像素内“L”型搜索模板的搜索步骤示意图。

图3是1/4像素垂直“1”型搜索模板的搜索步骤示意图。

图4是1/4像素水平“1”型搜索模板的搜索步骤示意图。

图5是1/4像素外“L”型搜索模板的搜索步骤示意图。

具体实施方式

方法实施例：

在H.264测试程序JM11.0中测试FHFPS算法，并与小数像素分级搜索算法HFPS和快速小数像素搜索算法PPFPS相对比以比较算法的性能。选取四个QCIF格式图像Container，Silent，Carphone，foreman，及一个CIF格式图像mobile序列作为测试序列，编码100帧进行测试。其中仅首帧作为I帧编码，其余帧均作P帧编码。量化参数QP取为固定值28。为了不影响小数像素的搜索精度，采用全搜索算法获取整像素预测最佳匹配位置，参考帧取5帧，帧内预测采用穷尽搜索模式。对三种算法编码得到的码率、PSNR和ME编码时间进行统计。

本发明包括以下步骤：

第一步：用抛物线分别从水平象素方向和垂直象素方向模拟误差SAD曲面的剖线，用来进行抛物曲线建模的二次方程如下：

F(p)＝αx²+βx+γ(1)

其中，α、β、γ为三个未知系数。

第二步：设点C为整数像素搜索最佳匹配点，点H1、点H2为点C水平方向两侧相邻的两个整像素点，计算位于同一水平线的三个整像素点C、点H1、点H2的SAD值F_C、F_H1和F_H2，通过这三个值建立水平抛物线模型F_p。设点C、点H1、点H2对应SAD空间的坐标为(0，F_C)，(-1，F_H1)，(1，F_H2)，这三个点落在式(1)所定义的抛物线上，可求解出三个未知参数α、β、γ如下：

$\left\{\begin{array}{c}\mathrm{\α}=(F_{H1}+F_{H2})/2-F_C\\ \mathrm{\β}=(F_{H2}-F_{H1})/2\\ \mathrm{\γ}=F_C\end{array}\right.---\left(2\right)$

根据α、β、γ三个系数，计算出水平抛物线F_p的顶点坐标为：

$(x_m,y_m)=(-\frac{\mathrm{\β}}{2\mathrm{\α}},\min \left(F_p\right))=(\frac{F_{H1}-F_{H2}}{2[F_{H1}+F_{H2}-2F_C]},\min \left(F_p\right))---\left(3\right)$

其中，min(F_p)是水平抛物线模型F_p的最小值。

为了得到更精确的匹配，在小数像素运动估计中，块失真度量参数不直接采用SAD，而采用块残差系数的绝对误差哈达码变换系数和SATD(Sum of AbsoluteTransformed Difference)，如下式：

$\mathrm{SATD}(s,c\left(m\right))=\underset{x=1}{\overset{B}{\mathrm{\Σ}}}\underset{y=1}{\overset{B}{\mathrm{\Σ}}}{D}_{x,y}---\left(4\right)$

其中，D_x，y为d_x，y的哈达码变换，d_x，y＝|s[x，y]-c[x-m_x，y-m_y]|，s[x，y]是编码块的原始采样点，c[x-m_x，y-m_y]是预测样点。

根据水平抛物线F_p的顶点坐标的位置在整数像素搜索最佳匹配点C的水平方向两侧的半像素点h1(点H1方向)和h2(点H2方向)中选择下一步搜索的参考点，如果|x_m-x_h1|＜|x_m-x_h2|，选择半像素点h1作为第四步搜索的参考点之一——水平半像素点；否则，选择半像素点h2作为第四步搜索的水平半像素点，并计算该点的SATD，记为SATDh。

第三步：设点V1、点V2为点C垂直方向两侧相邻的两个整数像素点，采用位于同一垂直线的三个整像素点C、点V1、点V2的SAD值F_C、F_V1、F_V2建立垂直抛物线模型F_p’。假设点C、点V1、点V2对应SAD空间的坐标为(0，F_C)，(1，F_V1)，(-1，F_V2)，这三个点落在式(1)所定义的抛物线上，可求解出三个未知参数α’、β’、γ’，如下：

$\left\{\begin{array}{c}{\mathrm{\α}}^{\′}=(F_{V1}+F_{V2})/2-F_C\\ {\mathrm{\β}}^{\′}=(F_{V2}-F_{V1})/2\\ {\mathrm{\γ}}^{\′}=F_C\end{array}\right.---\left(5\right)$

根据α’，β’，γ’三个系数，可以计算出垂直抛物线F_p’的顶点坐标为：

$(x_m,y_m)=(-\frac{\mathrm{\β}}{2\mathrm{\α}},\min \left({F_p}^{\′}\right))=(\frac{F_{V1}-F_{V2}}{2[F_{V1}+F_{V2}-2F_C]},\min \left({F_p}^{\′}\right))---\left(6\right)$

其中，min(F_p’)是垂直抛物线模型F_p’的最小值。

根据垂直抛物线F_p’的顶点坐标的位置在垂直方向两侧的的半像素点v1(点V1方向)和v2(点V2方向)中选择下一步搜索的参考点，如果|y_m-y_v1|＜|y_m-y_v2|，选择半像素点v1作为第四步搜索的参考点之一——垂直半像素点；否则，选择半像素点v2作为第四步搜索的垂直半像素点；计算该参考点的SATD，记为SATDv；

第四步：设点D1、点D2、点D3、点D4为点C周边对角线相邻的四个整数像素点。计算整像素搜索最佳匹配点C的SATDc，并根据SATDh、SATDv和SATDc的大小关系来决定1/4像素的搜索范围，寻找最佳1/4像素匹配点：

①如果SATDc＜SATDh＜SATDv或SATDc＜SATDv＜SATDh，根据水平半像素点和垂直半像素点的位置按照内“L”型搜索模板进行搜索，计算整数象素点C与水平半象素点之间、整数象素点C与垂直半象素点之间、水平半象素点与垂直半象素点之间的三个1/4像素点的SATD，并选择块失真最小的点作为1/4像素最优匹配点。

②如果SATDh＜SATDc＜SATDv，按照垂直“1”型搜索模板进行搜索，计算整数象素点C与水平半象素点之间的1/4像素点以及该1/4像素点垂直方向两侧两个1/4像素点的SATD，并选择块失真最小的点作为1/4像素最优匹配点。

③如果SATDv＜SATDc＜SATDh，按照水平“1”型搜索模板进行搜索，计算整数象素C与垂直半象素点之间的1/4像素点以及该点水平方向两侧两个1/4像素点的SATD，并选择块失真最小的点作为1/4像素最优匹配点。

④如果SATDv＜SATDh＜SATDc或SATDh＜SATDv＜SATDc，根据水平和垂直半像素点的位置按照外“L”型搜索模板进行搜索，计算以整数象素C、水平半象素点和垂直半象素点为三个顶点的正方形中远离整数象素C的三个1/4像素点的SATD，并选择块失真最小的点作为1/4像素最优匹配点。

表1小数像素搜索算法性能比较

从表1可以看出，与HFPS算法相比，FHFPS算法对各测试序列编码引起的PSNR下降很小，平均只有0.095dB，最差的情况为0.12dB。同时FHFPS算法只引入很小的码率增益，平均只有6.56％，因此FHFPS算法保持了较好的码率失真特性。由于FHFPS算法所采用搜索像素点数的减少，所以从ME编码时间来看，比HFPS算法平均减少64.82％的运算量。与PPFPS算法相比，尽管由于在半像素点搜索时由于候选点数的减少而导致PSNR的下降，在保证近似的编码效率的条件下，FHFPS算法比PPFPS算法具有更快的收敛速度。

Claims (1)

1.快速小数像素分级搜索方法，其特征在于包括下述步骤：

第一步：用抛物线分别从水平像素方向和垂直像素方向模拟误差SAD曲面的剖线，用来进行抛物曲线建模的二次方程如下：

F(p)＝αx²+βx+γ        (1)

其中，α、β、γ为三个未知系数；

第二步：设点C为整数像素搜索最佳匹配点，点H1、点H2为点C水平方向两侧相邻的两个整像素点，计算位于同一水平线的三个整像素点C、点H1、点H2的SAD值F_C、F_H1和F_H2，设点C、点H1、点H2对应SAD空间的坐标为(0，F_C)，(-1，F_H1)，(1，F_H2)，这三个点落在式(1)所定义的抛物线上，求解出三个未知参数α、β、γ如下：

$\left\{\begin{array}{c}\mathrm{\α}=(F_{H1}+F_{H2})/2-F_C\\ \mathrm{\β}=(F_{H2}-F_{H1})/2\\ \mathrm{\γ}=F_C\end{array}\right.---\left(2\right)$

根据α、β、γ三个系数，计算出水平抛物线F_p的顶点坐标为：

$(x_m,y_m)=(-\frac{\mathrm{\β}}{2\mathrm{\α}},\min \left(F_p\right))=(\frac{F_{H1}-F_{H2}}{2[F_{H1}+F_{H2}-2F_C]},\min \left(F_p\right))---\left(3\right)$

其中，min(F_p)是水平抛物线模型F_p的最小值；

另外，设定块残差系数的绝对误差哈达码变换系数和

其中，D_x，y为d_x，y的哈达码变换，d_x，y＝|s[x，y]-c[x-m_x，y-m_y]|，s[x，y]是编码块的原始采样点，c[x-m_x，y-m_y]是预测样点；

根据水平抛物线F_p的顶点坐标的位置在整数像素搜索最佳匹配点C的水平方向两侧的半像素点h1和h2中选择下一步搜索的参考点，如果|x_m-x_h1|＜|x_m-x_h2|，选择半像素点h1作为第四步搜索的水平半像素点；否则，选择半像素点h2作为第四步搜索的水平半像素点，并计算该点的SATD，记为SATDh；

第三步：设点V1、点V2为点C垂直方向两侧相邻的两个整数像素点，采用位于同一垂直线的三个整像素点C、点V1、点V2的SAD值F_C、F_V1、F_V2建立垂直抛物线模型F_p’，假设点C、点V1、点V2对应SAD空间的坐标为(0，F_C)，(-1，F_V1)，(1，F_V2)，这三个点落在式(1)所定义的抛物线上，求解出三个未知参数α’、β’、γ’，如下：

$\left\{\begin{array}{c}{\mathrm{\α}}^{\′}=(F_{V1}+F_{V2})/2-F_C\\ {\mathrm{\β}}^{\′}=(F_{V2}-F_{V1})/2\\ {\mathrm{\γ}}^{\′}=F_C\end{array}\right.---\left(5\right)$

根据α’，β’，γ’三个系数，可以计算出垂直抛物线F_p’的顶点坐标为：

$(x_m^{\′},y_m^{\′})=(-\frac{{\mathrm{\β}}^{\′}}{2{\mathrm{\α}}^{\′}},\min \left({F_p}^{\′}\right))=(\frac{F_{V1}-F_{V2}}{2[F_{V1}+F_{V2}-2F_C]},\min \left({F_p}^{\′}\right))---\left(6\right)$

其中，min(F_p’)是垂直抛物线模型F_p’的最小值；

根据垂直抛物线F_p’的顶点坐标的位置在整数像素搜索最佳匹配点C的垂直方向两侧的的半像素点v1和v2中选择下一步搜索的参考点，如果|y′_m-y_v1|＜|y′_m-y_v2|，选择半像素点v1作为第四步搜索的垂直半像素点；否则，选择半像素点v2作为第四步搜索的垂直半像素点；计算该参考点的SATD，记为SATDv；

第四步：计算整像素搜索最佳匹配点C的SATDc，并根据SATDh、SATDv和SATDc的大小关系来决定1/4像素的搜索范围，寻找最佳1/4像素匹配点：

①如果SATDc＜SATDh＜SATDv或SATDc＜SATDv＜SATDh，根据水平半像素点和垂直半像素点的位置进行搜索，计算整数像素点C与水平半像素点之间、整数像素点C与垂直半像素点之间、水平半像素点与垂直半像素点之间的三个1/4像素点的SATD，并选择块失真最小的点作为1/4像素最优匹配点；

②如果SATDh＜SATDc＜SATDv，计算整数像素点C与水平半像素点之间的1/4像素点以及该1/4像素点垂直方向两侧两个1/4像素点的SATD，并选择块失真最小的点作为1/4像素最优匹配点；

③如果SATDv＜SATDc＜SATDh，计算整数像素C与垂直半像素点之间的1/4像素点以及该点水平方向两侧两个1/4像素点的SATD，并选择块失真最小的点作为1/4像素最优匹配点；

④如果SATDv＜SATDh＜SATDc或SATDh＜SATDv＜SATDc，根据水平和垂直半像素点的位置进行搜索，计算以整数像素C、水平半像素点和垂直半像素点为三个顶点的正方形中远离整数像素C的三个1/4像素点的SATD，并选择块失真最小的点作为1/4像素最优匹配点。

Images