CN102238378A - 一种3d视频图像编码中的快速运动搜索方案 - Google Patents

Abstract

提出了一种3D视频图像编码中的快速运动搜索方案。该方案分别设置帧内预测方式和帧间预测方式阈值，判定视频图像的宏块是否为有效宏块，并根据已编码宏块的有效性确定当前视频宏块的搜索级别，根据不同搜索级别自适应调整运动搜索区域。此外，对于不同的搜索级别，设计了不同的提前终止搜索阈值，并设置准则判断是否提前终止搜索。本方案编码后的3D视频图像具有良好的视觉效果，相对于传统的3D视频图像编码方案的运动搜索计算量有了很大降低，并且具有易于实现的优点，对于各种视频编码制式有较好的兼容性。

Description

一种3D视频图像编码中的快速运动搜索方案

技术领域

本发明涉及数字视频编码领域，具体来说，涉及一种3D视频图像编码中的快速运动搜索方案，主要应用于3D视频图像监测、传输、显示中需要对视频图像进行编码的场合。 

背景技术

近年来，随着信息和通信技术的发展，3D视频在许多通信场合中得到了广泛的应用，例如电话会议、网络视频、视频点播等。3D视频的基础和核心是运动图像编码，即将原始的图像信号(例如RGB等)按照一定的视频编码标准编码为一定格式的码流，该码流复原后相对于原始图像信号必须有一定的复原度。由于大多数3D视频通信具有较高的实时性要求，3D视频的广泛应用对视频编码的快速性提出了更高的要求。 

目前的主流视频编码标准多采用帧内、帧间多模式混合编码方式，需要对每种模式进行运动搜索，运动搜索过程即视频图像的宏块在参考帧内进行块匹配的过程。随着视频编码器的编码图像尺寸和目标分辨率逐渐扩大，搜索适宜的运动向量成为视频编码中最占计算量(最多可占50％以上)的过程，这给实时编码带来了很大困难。因此，研究如何减少运动搜索是十分必要的。 

针对这一问题，已有论文和专利中提出了一些快速运动搜索方案，典型的有三步法、新三步法、非对称六边形搜索法(H.264标准中建议搜索方案)等。为了减少计算量，大多数快速运动搜索都加入了提前终止条件。这些快速运动搜索方法相对于传统的全搜索方法需要的计算量有了很大降低。但是，实际应用表明，这些算法对于大尺寸视频图像和大运动向量的搜索速度和效果都不很理想。 

由上面的介绍和分析可以看出，如何利用视频图像中的运动特性，设计实用的快速运动搜索方案，确定各宏块需要分配多少的搜索资源，以及搜索到何等程度可以结束搜索，避免全搜索的巨大计算量，同时改善现有方案的搜索效果，这些是3D视频编码需要解决的关键技术问题。 

发明内容

本发明提供一种3D视频图像编码中的快速运动搜索方案，主要应用于3D数字视频图像监测、传输、显示中需要对视频图像进行编码的场合，其包括以下步骤： 

步骤1：设置阈值SAD_TA，SAD_TI，MV_T，每个视频宏块对应一个EFF_IDEX，表示其有 效性； 

步骤2：若视频宏块采用帧间预测编码，则通过比较帧间SAD数值和阈值SAD_TI以及比较运动矢量数值与阈值MV_T的大小关系确定该宏块的EFF_IDEX值； 

步骤3：若视频宏块采用帧内预测编码，则通过比较帧内SAD数值和阈值SAD_TA的大小关系确定该宏块的EFF_IDEX的值； 

步骤4：根据待检测宏块在前一帧中同一位置对应宏块的EFF_IDEX及周围已完成运动搜索宏块的EFF_IDEX来设置当前宏块的搜索级别； 

步骤5：根据步骤4中确定的搜索级别选择相应的搜索模式； 

步骤6：根据步骤4中确定的搜索级别选择相应的系数，并根据SAD_TI和此系数计算提前终止搜索阈值ES_T； 

步骤7：对该宏块进行运动搜索，若搜索得到的TOT_SAD_I结果小于步骤6计算的ES_T或者达到步骤4中设置的搜索级别，则退出搜索，记录运动搜索得到的TOT_SAD_I数值。 

效果说明 

本发明提出了一种3D视频图像编码中的快速运动搜索方案，该方案分别设置帧内预测方式和帧间预测方式阈值，判定视频图像的每个宏块是否为有效宏块，并提供了一种根据已编码宏块的有效性来确定当前宏块的搜索级别的方法。 

本发明提供了一种根据宏块不同的搜索级别确定运动搜索范围的方法，提供了一种根据宏块不同的搜索级别设计提前终止搜索阈值，并判断是否可以提前终止运动搜索的方法。 

本发明可实现对3D视频图像快速编码，编码后的3D视频图像具有良好的视觉效果，相对于传统的编码方案的搜索计算量有了很大降低，并具有易于软件和硬件实现的优点。此外，本发明对于目前的各种视频编码制式有良好的兼容性。 

附图说明

图1：3D视频图像编码的一般流程图； 

图2：帧间预测运动搜索示意图； 

图3：判断宏块的有效性流程图； 

图4：依据宏块有效性进行快速搜索流程图； 

图5：搜索级别1的搜索范围示意图； 

图6：搜索级别2的搜索范围示意图； 

图7：搜索级别3的搜索范围示意图； 

图8：各搜索级别求取提前终止搜索阈值的系数。 

具体实施方式

为使本发明的目的、具体方案和优点更加清晰，以下结合具体实施例，并参照附图，对本发明进一步详细说明。 

图1是3D视频图像编码的一般流程图。从该流程图中可以看出，3D视频图像编码按照如下步骤进行： 

从视频序列中输入待编码的当前帧，将其划分为若干个大小为L×L的宏块(Macro block，MB)，每个宏块为运动搜索的基本单位。 

帧间预测运动搜索如图2所示。假设宏块左上角的坐标为(x，y)，宏块中每一点的像素为f(x，y)。宏块像素范围自(x，y)到(x+L，y+L)。假定搜索窗的大小为M×N，对于参考帧中左上角坐标位于(x-M/2，y-N/2)到(x+M/2，y+N/2)之间的宏块，设其坐标为(x’，y’)，则其运动矢量为(x’-x，y’-y)。设该运动矢量编码为m比特，其预测误差SAD为 

$\mathrm{SAD}=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}|f(x^{\′}+i,y^{\′}+j)-f(x+i,y+j)|---\left(1\right)$

定义 

TOT_SAD_I＝SAD+λ×m            (2) 

其中参数λ用于兼顾预测误差和编码比特数。TOT_SAD_I表示帧间预测编码的总代价，在帧间预测时，根据TOT_SAD_I值决定最后选用的预测运动向量。 

同样地，编码器进行帧内预测(是否进行帧内预测根据具体标准而定)，计算帧内预测的TOT_SAD_A，表示帧内预测编码的总代价，其具体过程与帧间预测类似，在此不再进行详述。 

之后，选择TOT_SAD_A和TOT_SAD_I中值小的方式作为编码方式。通常情况下，帧间预测编码的效率比帧内预测编码的效率要高。但是，对于运动十分剧烈的物体采用帧内预测编码会优于帧间预测编码。 

接下来，运动预测的结果送入后续编码流程(例如排序、量化、熵编码等)，其具体过程本领域内熟知人员都应了解，在此不再赘述。 

从上面的分析可以看出，运动搜索占视频编码计算量的很大部分。因此，如何利用视频图像中的运动特性，设计实用的快速运动搜索方案，避免全搜索的巨大计算量是十分必要的。 

本发明针对上述问题，提供了一种3D视频图像编码中的快速运动搜索方案，对应于图1中的虚线框部分。该方案首先确定每个宏块是否为有效宏块，并根据已编码宏块的有效性来确定当前视频宏块的搜索级别，根据不同级别自适应调整运动搜索范围。此外，对于不同的 搜索级别，设计了不同的提前终止搜索阈值，并设置准则判断是否可以提前终止。 

本方案包括7个步骤，步骤1到步骤3用于判定宏块的EFF_IDEX值，流程如图3所示。步骤4到步骤7根据已编码宏块的EFF_IDEX来确定当前视频宏块的搜索级别，根据不同级别自适应调整运动搜索范围并计算提前终止搜索阈值，并设置准则判断是否可以提前终止搜索，流程如图4所示。 

下面按各步骤对本方案的具体实施作进一步说明。 

步骤1：设置阈值SAD_TA，SAD_TI，MV_T，每个视频宏块对应一个EFF_IDEX，表示其有效性 

SAD_TA是帧内SAD阈值，SAD_TI是帧间SAD阈值，MV_T是运动矢量阈值。每个宏块对应一个EFF_IDEX，表示其有效性。假定EFF_IDEX＝0表示该宏块为无效宏块，EFF_IDEX＝1表示该宏块为有效宏块。 

步骤2：若视频宏块采用帧间预测编码，则通过比较帧间SAD数值和阈值SAD_TI以及比较运动矢量数值与阈值MV_T的大小关系确定该宏块的EFF_IDEX值 

帧间SAD数值按照(1)式计算得出，运动矢量的数值计算如下： 

            MV＝|MV|_x+|MV|_y          (3) 

其中，|MV|_x和|MV|_y分别为运动矢量在x和y方向的数值。 

EFF_IDEX的值按下面(4)式确定： 

从(4)式可以看出，在帧间预测时，当SAD大于帧间SAD阈值且MV大于MV阈值时，认为该宏块为有效宏块(即运动较大)，该判定条件与大量实验的结果符合很好。 

步骤3：若视频宏块采用帧内预测编码，则通过比较帧内SAD数值和阈值SAD_TA的大小关系确定该宏块的EFF_IDEX的值 

EFF_IDEX的值按照(5)式确定： 

从(5)式可以看出，在帧内预测时，当SAD大于帧内SAD阈值时，认为该宏块为有效宏块(即运动较大)，该判定条件与大量实验的结果符合很好。 

步骤4：根据待检测宏块在前一帧中同一位置对应宏块的EFF_IDEX及周围已完成运动搜索宏块的EFF_IDEX来设置当前宏块的搜索级别 

每个待编码宏块的搜索级别为1-3级中的某一级，其中1级最低，3级最高，搜索级别 按照如下关系设置： 

若前一帧中同一位置的对应宏块的EFF_IDEX值等于1，则此宏块的搜索级别设置为3级； 

若前一帧中同一位置的对应宏块的EFF_IDEX值等于0，该宏块周围已完成搜索的宏块(按照编码顺序，是该宏块的左上、上、右上和左这四个宏块)中至少有两个宏块的EFF_IDEX＝1，则此宏块的搜索级别设置为2级； 

若前一帧中同一位置的对应宏块的EFF_IDEX值等于0，该宏块周围已完成搜索的宏块中EFF_IDEX＝1的宏块少于2个，则此宏块的搜索级别设置为1级。 

步骤5：根据步骤4中确定的搜索级别选择相应的搜索模式 

根据步骤4中设置的宏块搜索级别，选择图5-图7中相对应的搜索区域。图5为级别1的搜索区域，图6为级别2的搜索区域，图7为级别3的搜索区域。 

从图5-图7中可以看出，随着搜索级别的提高，搜索区域范围逐步扩大。这样设定搜索区域是因为，实验结果表明，相邻帧对应位置的宏块运动具有较高的相关性，同一帧中相邻宏块运动具有较高的相关性。若前一帧中同一位置的对应宏块的EFF_IDEX值为1，给予当前宏块最大的搜索范围；若前一帧中同一位置的对应宏块的EFF_IDEX值为0，该宏块周围已完成搜索的宏块中至少有一半宏块EFF_IDEX值为1时，给予当前宏块较大的搜索范围；否则给予较小的搜索范围。这样，以获得更精确的搜索结果。 

步骤6：根据步骤4中确定的搜索级别选择相应的系数，并根据SAD_TA和此系数计算提前终止搜索阈值ES_T 

对于步骤4中设置的宏块搜索级别，计算提前终止搜索阈值ES_T。本发明假定ES_T和阈值SAD_TI成正比例关系，具体计算公式如下： 

          ES_T＝w×SAD_TI    (6) 

系数w的值通过大量实验得出，参见图8。 

步骤7：对该宏块进行运动搜索，若搜索得到的TOT_SAD_I结果小于步骤6计算的ES_T或者达到步骤4中设置的搜索级别，则退出搜索，记录运动搜索得到的TOT_SAD_I数值 

从图5-图7中可以看出，从级别1到级别3的搜索范围是逐步扩大的，因此本发明的运动搜索也是逐步递进的，即从级别1开始搜索，若搜索到某个级别满足提前终止搜索条件，则停止搜索，记录TOT_SAD_I数值，否则继续搜索到该宏块的搜索级别。在图5-图7中，●代表已经完成的搜索点，○代表未完成搜索的搜索点，其中的数字表示搜索点顺序。 

下面通过具体例子进一步说明逐级递进运动搜索过程。 

例如，当前宏块的搜索级别为2，则首先进行级别1的搜索，若满足提前终止搜索条件，则结束搜索，记录TOT_SAD_I数值。若不满足提前终止搜索条件，则继续进行第2级别的搜 索。 

再如，若当前宏块的搜索级别为3，则依次进行前两个级别的搜索，若都不满足提前终止搜索条件，则继续级别3的搜索。反之，若前两个级别的搜索中某个级别满足提前终止搜索条件，则就搜索到该级别为止，记录TOT_SAD_I数值。 

尽管上面对本发明的具体实施方式进行了描述，但很明显，本发明不限于具体实施方式的范围。对于本领域熟练人员来讲，在不偏移权利要求书所限定的发明范围和精神的情况下，可以对这些实施例作各种修改和变更。因此，本发明的说明书和附图是描述性的，而不是限定性的，一切利用本发明思路的发明创造均应在本发明的保护之列。 

Claims (8)

1.一种3D视频图像编码中的快速运动搜索方案，其特征在于，包括以下步骤：

步骤1：设置阈值SAD_TA，SAD_TI，MV_T，每个视频宏块对应一个EFF_IDEX，表示其有效性；

步骤2：若视频宏块采用帧间预测编码，则通过比较帧间SAD数值和阈值SAD_TI以及比较运动矢量数值与阈值MV_T的大小关系确定该宏块的EFF_IDEX值；

步骤3：若视频宏块采用帧内预测编码，则通过比较帧内SAD数值和阈值SAD_TA的大小关系确定该宏块的EFF_IDEX值；

步骤4：根据待检测宏块在前一帧中同一位置对应宏块的EFF_IDEX及周围已完成运动搜索宏块的EFF_IDEX来设置当前宏块的搜索级别；

步骤5：根据步骤4中确定的搜索级别选择相应的搜索模式；

步骤6：根据步骤4中确定的搜索级别选择相应的系数，并根据SAD_TI和此系数计算提前终止搜索阈值ES_T；

步骤7：对该宏块进行运动搜索，若搜索得到的TOT_SAD_I结果小于步骤6计算的ES_T或者达到步骤4中设置的搜索级别，则退出搜索，记录运动搜索得到的TOT_SAD_I数值。

2.如权利1所述的方法，其特征在于，步骤1中设置帧内绝对误差和(sum of absolutedifference，SAD)阈值SAD_TA，帧间SAD阈值SAD_TI，运动矢量阈值MV_T。每个宏块对应一个EFF_IDEX，表示其有效性。本发明中假定EFF_IDEX＝0表示该宏块为无效宏块，EFF_IDEX＝1表示该宏块为有效宏块。

3.如权利1所述的方法，其特征在于，若视频宏块采用帧间预测编码，则进行帧间SAD数值和阈值SAD_TI的比较以及运动矢量(Motion Vector，MV)数值与阈值MV_T的比较以确定EFF_IDEX的值(步骤2)，具体关系如下式：

4.如权利1所述的方法，其特征在于，若视频宏块采用帧内预测编码，则进行帧内SAD数值和阈值SAD_TA的比较以确定EFF_IDEX的值(步骤3)，具体关系如下式：

5.如权利1所述的方法，其特征在于，在进行步骤4时，每个待编码宏块的搜索级别为1-3级中的某一级。搜索级别按照如下关系设置：

若前一帧中同一位置的对应宏块的EFF_IDEX值等于1，则此宏块的搜索级别设置为3级；

若前一帧中同一位置的对应宏块的EFF_IDEX值等于0，该宏块周围已完成搜索的宏块(按照编码顺序，是该宏块的左上、上、右上和左这四个宏块)中至少有两个宏块的EFF_IDEX值等于1，则此宏块的搜索级别设置为2级；

若前一帧中同一位置的对应宏块的EFF_IDEX值等于0，该宏块周围已完成搜索的宏块中EFF_IDEX值等于1的宏块个数少于2个，则此宏块的搜索级别设置为1级。

6.如权利1所述的方法，其特征在于，在进行步骤5时，根据步骤4中设置的宏块搜索级别，选择图5-图7中相对应的搜索区域。图5为级别1的搜索区域，图6为级别2的搜索区域，图7为级别3的搜索区域。

7.如权利1所述的方法，其特征在于，在进行步骤6时，根据步骤4中设置的宏块搜索级别，选择相应的系数w，计算提前终止搜索阈值ES_T，具体公式如下：

ES_T＝w×SAD_TI

不同搜索级别对应的系数w的值参见表1。

8.如权利1所述的方法，其特征在于，在进行步骤7时，宏块的运动搜索区域是根据步骤4确定的。

从图5-图7可以看出，级别1到级别3的搜索区域范围是逐步扩大的，因此本发明的运动搜索也是逐步进行的，即从级别1开始搜索，若搜索到某个级别满足TOT_SAD_I的计算结果小于步骤6计算出的阈值ES_T(称为提前终止搜索条件)，则停止搜索，记录TOT_SAD_I数值，否则继续搜索到该宏块的搜索级别为止。

例如，若当前宏块的搜索级别为2，则首先进行级别1的搜索，若满足提前终止搜索条件，则结束搜索，记录TOT_SAD_I数值。若不满足提前终止搜索条件，则继续进行级别2的搜索。

同理，若当前宏块的搜索级别为3，则依次进行前两个级别的搜索，若都不满足提前终止搜索条件，则继续级别3的搜索。反之，若前两个级别中的某个级别满足提前终止搜索条件，则就搜索到该级别为止，记录TOT_SAD_I数值。

Images