CN102547264A - 一种帧间编码的运动预测方法和系统 - Google Patents

Abstract

本发明提出一种帧间编码的运动预测方法，先根据当前帧的相对变化复杂度信息所在的阈值范围，判断是否进入全局运动预测；如果是进入全局运动预测，判断选定的判定区域是否为强一致性水平运动趋势，如果是强一致水平运动趋势，则获取当前帧为水平全局运动，获取相应的方向判定，结束；如果不是强一致水平运动趋势，则选取垂直运动判定区域，判断所述垂直运动判定区域是否为强一致性垂直运动趋势，如果是强一致性垂直运动趋势，则获取当前帧为垂直全局运动，获取相应的方向判定，结束；如果不是强一致性垂直运动趋势，则进行水平、垂直运动全局运动判定。利用本发明方法，一方面可以提升压缩率，另一方面可以提升压缩速度。

Description

一种帧间编码的运动预测方法和系统

技术领域

本发明涉及视频编码领域，尤其涉及一种帧间编码的运动预测方法和系统。

背景技术

视频编码中视频源的帧间信息冗余度极大，从而使得帧间编码方法在视频编码中显得尤为重要。目前主流的基于宏块、子块的运动补偿方法，在常规运动时，可以达到较好的效果，但当出现全局运动时，相应的压缩难度提升，这个问题在低码率压缩时更为严重。出现此问题，固然是由于编码源本身的复杂度引起的，但另一方面却也是现有基于宏块、子块的运动补偿的方法存在缺陷的原因。基于宏块、子块的运动补偿的方法割裂了区域及全局相关性，从而当存在全局运动时，仅使用该方法不能很好的消除帧间信息的冗余度，从而使得低码率下的压缩质与量的矛盾尤为突出。此外，逐个判定的模式也浪费了计算资源。

发明内容

本发明实施例的目的在于提出一种帧间编码的运动预测方法，旨在解决现有技术基于宏块、子块的运动补偿的方法割裂了区域及全局相关性，从而当存在全局运动时，不能很好的消除帧间信息的冗余度，从而使得低码率下的压缩质与量的矛盾尤为突出的问题。

本发明实施例方法是这样实现的，一种帧间编码的运动预测方法，所述方法包括：

根据当前帧的相对变化复杂度信息所在的阈值范围，判断是否进入全局运动预测，如果是，则

判断选定的判定区域是否为强一致性水平运动趋势，如果是，则

获取当前帧为水平全局运动，获取相应的方向判定，结束。

优选地，所述步骤“判断选定的判定区域是否为强一致性水平运动趋势”还包括：

如果选定的区域不是强一致水平运动趋势，则选取垂直运动判定区域，判断所述垂直运动判定区域是否为强一致性垂直运动趋势，如果是，则获取当前帧为垂直全局运动，获取相应的方向判定，结束。

优选地，所述步骤“判断所述垂直运动判定区域是否为强一致性垂直运动趋势”还包括：

如果选定的区域不是强一致垂直运动趋势，则进行水平、垂直运动全局运动判定。

本发明实施例的另一目的在于提出一种帧间编码的运动预测系统，所述系统包括：

进入全局运动预测判断模块：用于根据当前帧的相对变化复杂度信息所在的阈值范围，判断是否进入全局运动预测；

强一致性水平运动趋势判断模块：判断选定的判定区域是否为强一致性水平运动趋势，如果是则获取当前帧为水平全局运动，获取相应的方向判定，结束；如果否则进入强一致性垂直运动趋势判断模块；

强一致性垂直运动趋势判断模块，选取垂直运动判定区域，判断所述垂直运动判定区域是否为强一致性垂直运动趋势，如果是则获取当前帧为垂直全局运动，获取相应的方向判定，结束，如果否则进入水平、垂直运动全局运动判定模块。

水平、垂直运动全局运动判定模块，用于根据水平、垂直区域的运动，进行全局运动方向的判定。

本发明的有益效果

本发明提出一种帧间编码的运动预测方法，先根据当前帧的相对变化复杂度信息所在的阈值范围，判断是否进入全局运动预测；如果是进入全局运动预测，判断选定的判定区域是否为强一致性水平运动趋势，如果是强一致水平运动趋势，则获取当前帧为水平全局运动，获取相应的方向判定，结束；如果不是强一致水平运动趋势，则选取垂直运动判定区域，判断所述垂直运动判定区域是否为强一致性垂直运动趋势，如果是强一致性垂直运动趋势，则获取当前帧为垂直全局运动，获取相应的方向判定，结束；如果不是强一致性垂直运动趋势，则进行水平、垂直运动全局运动判定。利用本发明方法，一方面可以提升压缩率，另一方面可以提升压缩速度，即对存在全局运动的视频源进行压缩时，可通过统一判断的方式确定运动预测，而无需像仅依赖基于宏块、子块的运动预测方法对每个宏块子块依次作判断。

附图说明

图1是本发明实施例的一种帧间编码的运动预测方法流程图；

图2是本发明实施例的一种帧间编码的运动预测系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。

本发明提出一种帧间编码的运动预测方法，先根据当前帧的相对变化复杂度信息所在的阈值范围，判断是否进入全局运动预测；如果是进入全局运动预测，判断选定的判定区域是否为强一致性水平运动趋势，如果是强一致水平运动趋势，则获取当前帧为水平全局运动，获取相应的方向判定，结束；如果不是强一致水平运动趋势，则选取垂直运动判定区域，判断所述垂直运动判定区域是否为强一致性垂直运动趋势，如果是强一致性垂直运动趋势，则获取当前帧为垂直全局运动，获取相应的方向判定，结束；如果不是强一致性垂直运动趋势，则进行水平、垂直运动全局运动判定。

图1所示为本发明实施例一种帧间编码的运动预测方法流程图，所述方法包括以下步骤：

S11，根据当前帧的相对变化复杂度信息所在的阈值范围，判断是否进入全局运动预测；

具体为：如果当前帧的相对变化复杂度信息大于第一阈值，则认为当前帧与前一帧极度近似，判定当前帧为Skip帧(前后两帧近乎无运动，可直接复制前一帧图像)；如果当前帧它的相对变化复杂度信息在第一阈值和第二阈值之间，则不进入全局运动预测；如果当前帧的相对变化复杂度信息小于第二阈值，则进入全局运动预测，即进入步骤S12。其中第一阈值大于第二阈值。

所述是否进入全局运动预测方法的程序描述如下：

if(tis_frames_t＞Thres1)

则第t帧与第t-1帧极度近似，判定第t帧为Skip帧

if(tis_frames_t＜Thres2)

则运用全局运动预测方法进行预测

if(Thres2≤tis_frames_t≤Thres1)

则无全局运动趋势，进入基于宏块、块的运动预测

其中：Thres1、Thres2为相应的第一阈值和第二阈值判定阈值tis_frames_t表示：第t帧的相对变化复杂度信息；

所述当前帧的相对变化复杂度信息求取方法如下：

A)：根据宏块运动信息、宏块纹理信息提取各宏块相对变化复杂度信息；

a)宏块运动信息：当前宏块内像素与前一帧相应宏块内的像素值差值的均方差。

ti_Mb_t，m，n＝std[f_t(i，j|(i，j)∈Mb_t，m，n)-f_t-1(i，j|(i，j)∈Mb_t-1，m，n)]

b)宏块纹理信息：当前宏块内像素值的均方差。

si_Mb_t，m，n＝std[f_t(i，j|(i，j)∈Mb_t，m，n)]，

if(si_Mb_t，m，n＝0)

则，判定当前宏块为单点宏块，即整个宏块所有像素值即为相同的一个像素值；

c)宏块相对变化复杂度信息：

${\mathrm{tis}\_\mathrm{Mb}}_{t,m,n}=\left\{\begin{array}{cc}{\mathrm{ti}\_\mathrm{Mb}}_{t,m,n}/{\mathrm{si}\_\mathrm{Mb}}_{t,m,n},& {\mathrm{si}\_\mathrm{Mb}}_{t,m,n}\≠0\\ 0,& {\mathrm{si}\_\mathrm{Mb}}_{t,m,n}=0\end{array}\right.$

其中：Mb_t，m，n表示第t帧第m行n列的宏块；

Mb_t-1，m，n表示；第t-1帧第m行n列的宏块；

f_t(i，j)表示第t帧第i行j列的像素值；

f_t(i，j|(i，j)∈Mb_t，m，n)表示；表示第t帧中属于Mb_t，m，n的第i行j列的像素值；

f_t-1(i，j|(i，j)∈Mb_t-1，m，n)表示；表示第t-1帧中属于Mb_t-1，m，n的第i行j列的像素值；

std表示均方差；

ti_Mb_t，m，n表示：Mb_t，m，n的宏块运动信息；

si_Mb_t，m，n表示：Mb_t，m，n的宏块纹理信息；

B)：基于宏块相对变化复杂度信息，获取当前帧的相对变化复杂度信息；

${\mathrm{tis}\_\mathrm{frames}}_t=\left\{\begin{array}{cc}{\mathrm{count}}_t++,& {\mathrm{tis}\_\mathrm{Mb}}_{t,m,n}<\mathrm{Thres}0\\ {\mathrm{count}}_t,& \mathrm{else}\end{array}\right.$

其中：Thres0为相应的第零判定阈值；

tis_frames_t表示：第t帧的相对变化复杂度信息；

tis_Mb_t，m，n表示：Mb_t，m，n的宏块相对变化复杂度信息

S12，判断选定的判定区域是否为强一致性水平运动趋势，如果是则获取当前帧为水平全局运动，获取相应的方向判定，结束；如果否则进入步骤S13；

所述判定区域需同时满足以下条件：

条件1：判定区域为背景区域

当存在全局运动时，一般具有背景运动趋势一致，而前景则一般存在相对运动的特点；

条件2：选取两类判定区域即水平区域和垂直区域，每类区域至少选取两个区域

条件3：水平区域只作两个方向检测、垂直区域只作两个方向检测本发明实施例选定两个区域Region₁，Region₂为两个水平区域，在其中只作水平运动判定；

本发明实施例选定两个区域设Region₃，Region₄为两个垂直区域，在其中只作垂直运动判定；

所述“判断选定的判定区域是否为强一致性水平运动趋势”具体方法为

S121：以宏块为单位，求取判定区域内的宏块预测方向；即对水平区域Region₁，Region₂作水平运动预测；

对水平区域Region₁，Region₂内的宏块，分别具体做如下计算：

计算左侧运动预测值和当前编码值差值的均方差，获取左侧运动预测残差；

计算右侧运动预测值和当前编码值差值的均方差，获取右侧运动预测残差；

计算静止预测值和当前编码值差值的均方差，获取静止运动预测残差；

具体计算公式如下：

diff_Left＝std[f_t，m，n(i，j)-predL_f_{t-1，m′，n′}(i，j)|Mb_t，m，n∈Re gion₁∪Re gion₂]

diff_Right＝std[f_t，m，n(i，j)-predR_f_{t-1，m′，n′}(i，j)|Mb_t，m，n∈Re gion₁∪Re gion₂]

diff_Static＝std[f_t，m，n(i，j)-predS_f_t-1，m，n(i，j)|Mb_t，m，n∈Re gion₁∪Re gion₂]

其中：Mb_t，m，n表示第t帧第m行n列的宏块；

Mb_t，m，n：为当前编码第t帧第m行n列的宏块；

f_t，m，n(i，j)：为Mb_t，m，n中第i行第j列的像素值；

f_t(i，j)表示第t帧第i行j列的像素值；

std表示均方差；

diff_Left为左侧运动预测残差、predL_f_{t-1，m′，n′}(i，j)为利用前一帧图像对当前宏块作左侧运动估计的预测值；

diff_Right为右侧运动预测残差、predR_f_{t-1，m′，n′}(i，j)为利用前一帧图像对当前宏块作右侧运动估计的预测值；

diff_Static为静止运动预测残差、predS_f_t-1，m，n(i，j)为利用前一帧图像对当前宏块作静止运动估计的预测值；

S122：统计各水平区域中相应方向的运动宏块数；即在水平区域内，宏块预测残差最小的方向上运动宏块数加一；所述水平区域中相应方向为左侧运动、右侧运动、静止方向；

水平区域内，运动宏块数统计方法的具体程序如下：

if(min(diff_Left，diff_Right，diff_Static)＝diff_Left)

       Count_Left，j++

else if(min(diff_Left，diff_Right，diff_Static)＝diff_Right)

        Count_Right，j++

else

        Count_Static，j++

其中，Count_Left，j，Count_Right，j，Count_Static，j分别表示水平区域Region_j左侧运动、右侧运动、静止宏块的数量，(j＝1，2)，当j等于1或2时，Region_j表示水平区域；

min(a，b，c)表示求三个值中的最小值；

S123：基于各水平区域中相应方向的运动宏块数的统计信息，判定该区域的信息是否可用；

即一个水平区域内如果相反运动方向的宏块数的差值小于第一水平判定阈值Thres_h1或者该水平区域内三个运动方向(左侧运动、右侧运动、静止)宏块数的最大值与次大值的差值小于第二水平判定阈值Thres_h2，则认为该区域的信息不可用。

详细程序如下：

if(abs(Count_Left，j-Count_Right，j)＜Thres_h1‖max(Count_Left，j，Count_Right，j，Count_Static，j)-lessmax(Count_Left，j，Count_Right，j，Count_Static，j)＜Thres_h2)

则，该区域信息不可用

其中，Count_Left，j，Count_Right，j，Count_Static，j分别表示水平区域Region_j左侧运动、右侧运动、静止宏块的数量，(j＝1，2)，当j等于1或2时，Region_j表示水平区域；max(a，b，c)，lessmax(a，b，c)分别为求三个值中的最大值和次大值，Thres_h1为第一水平判定阈值，Thres_h2为第二水平判定阈值；

S124：针对选定的水平区域的运动趋势作水平运动的判定，

即一个水平区域内宏块数最多的运动方向，则判定为该区域的运动方向；

if(Region_j有效)则获取其水平运动方向判定

${\mathrm{direction}}_j=\left\{\begin{array}{cc}\mathrm{Left},& \max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j})={\mathrm{Count}}_{\mathrm{Left},j}\\ \mathrm{Right},& \max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j})={\mathrm{Count}}_{\mathrm{Right},j}\\ \mathrm{static},& \max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j})={\mathrm{Count}}_{\mathrm{Static},j}\end{array}\right.$

其中direction_j为Region_j的运动方向，其分为左侧运动方向Left、右侧运动方向Right、静止Static；Count_Left，j，Count_Right，j，Count_Static，j分别表示水平区域Region_j左侧运动、右侧运动、静止宏块的数量，(j＝1，2)，当j等于1或2时，Region_j表示水平区域；max(a，b，c)表示求三个值中的最大值；

S125：根据水平区域的运动，进行全局运动方向判定；

即两个水平区域的运动方向一致且都不属于静止方向，并且每个区域相应运动方向上的宏块数大于相应第三判定阈值Thres3；或者两个水平区域的运动方向不一致但其中一个区域运动方向为静止并且另一非静止方向的区域其相应运动方向的宏块数大于相应第四判定阈值Thres4；那么即可获取全局运动方向，结束全局运动预测判断，否则，进入S13。

则

获取方向结束全局运动预测判断

else

则

获取方向结束全局运动预测判断

否则，进入S13

其中

为第t帧的运动方向，Thres3、Thres4分别为第三判定阈值和第四判定阈值；

mbheight，mbwidth，分别表示以宏块为单位时，一帧图像的行数与列数

direction₁：水平区域Region₁的运动方向

direction₂：水平区域Region₂的运动方向

水平区域Region₁的运动方向上的宏块数

水平区域Region₂的运动方向上的宏块数

S13，选取垂直运动判定区域，判断所述垂直运动判定区域是否为强一致性垂直运动趋势，如果是则获取当前帧为垂直全局运动，获取相应的方向判定，结束，如果否则进入步骤S14。

所述“判断所述垂直运动判定区域是否为强一致性垂直运动趋势”具体方法为：

S131，对选定的垂直区域作垂直运动预测；

在垂直区域Region₃，Region₄内的宏块，分别具体做如下计算：

计算上侧运动预测值和当前编码值差值的均方差，获取上侧运动预测残差；

计算下侧运动预测值和当前编码值差值的均方差，获取下侧运动预测残差；

计算静止预测值和当前编码值差值的均方差，获取静止运动预测残差；

具体计算公式如下：

diff_Up＝std[f_t，m，n(i，j)-predU_f_{t-1，m′，n′}(i，j)|Mb_t，m，n∈Re gion₃∪Re gion₄]

diff_Down＝std[f_t，m，n(i，j)-predD_f_{t-1，m′，n′}(i，j)|Mb_t，m，n∈Re gion₃∪Re gion₄]

diff_Static＝std[f_t，m，n(i，j)-predS_f_t-1，m，n(i，j)|Mb_t，m，n∈Re gion₃∪Re gion₄]

其中：Mb_t，m，n表示第t帧第m行n列的宏块；

Mb_t，m，n：为当前编码第t帧第m行n列的宏块；

f_t，m，n(i，j)：为Mb_t，m，n中第i行第j列的像素值；

f_t(i，j)表示第t帧第i行j列的像素值；

std表示均方差；

diff_up为上侧运动预测残差、predU_f_{t-1，m′，n′}(i，j)为利用前一帧图像对当前宏块作上侧运动估计的预测值；

diff_down为下侧运动预测残差、predD_f_{t-1，m′，n′}(i，j)为利用前一帧图像对当前宏块作下侧运动估计的预测值；

diff_Static为静止运动预测残差、predS_f_t-1，m，n(i，j)为利用前一帧图像对当前宏块作静止运动估计的预测值；

Region₃，Region₄为垂直区域；

S132：统计各垂直区域中相应方向的运动宏块数；即在垂直区域内，宏块预测残差最小的方向上运动宏块数加一；所述垂直区域中相应方向包括上侧运动、下侧运动、静止方向。

垂直区域内，运动宏块数统计方法的具体程序如下：

if(min(diff_Up，diff_Downt，diff_Static)＝diff_Up)

       Count_Up，j++

else if(min(diff_Up，diff_Down，diff_Static)＝diff_Down)

       Count_Down，j++

else

Count_Static，j++

其中Count_Up，j，Count_Down，j，Count_Static，j分别表示垂直区域Region_j上侧运动、下侧运动、静止宏块的数量，(j＝3，4)，当j等于3或者4，Region_j则表示垂直区域；

min(a，b，c)表示求三个值中的最小值；

S133：基于各垂直区域中相应方向的运动宏块数的统计信息，判定该区域的信息是否可用；

即一个垂直区域内如果相反运动方向的宏块数的差值小于第一垂直判定阈值Thresv₁或者该区域内三个运动方向宏块数的最大值与次大值的差值小于第二垂直判定阈值Thres_v2，则认为该区域的信息不可用。

详细程序如下：

if(abs(Count_Up，j-Count_Down，j)＜Thres_v1‖

max(Count_Up，j，Count_Down，j，Count_Static，j)-lessmax(Count_Upt，j，Count_Down，j，Count_Static，j)＜Thres_v2)

则，该区域信息不可用

其中，Count_Up，j，Count_Down，j，Count_Static，j分别表示水平区域Region_j上侧运动、下侧运动、静止宏块的数量，(j＝3，4)，当j等于3或4时，Region_j表示垂直区域；max(a，b，c)，lessmax(a，b，c)分别为求三个值中的最大值和次大值，Thres_v1、Thres_v2分别为第一垂直判定阈值、第二垂直判定阈值；

S134：针对选定的垂直区域的运动趋势作垂直运动的判定，

即一个垂直区域内宏块数最多的运动方向，则判定为该区域的运动方向；

if(Region_j有效)则获取其水平运动方向判定

${\mathrm{direction}}_j=\left\{\begin{array}{cc}\mathrm{Up},& \max ({\mathrm{Count}}_{\mathrm{Up},j},{\mathrm{Count}}_{\mathrm{Down},j},{\mathrm{Count}}_{\mathrm{Static},j})={\mathrm{Count}}_{\mathrm{Up},j}\\ \mathrm{Down},& \max ({\mathrm{Count}}_{\mathrm{Up},j},{\mathrm{Count}}_{\mathrm{down},j},{\mathrm{Count}}_{\mathrm{Static},j})={\mathrm{Count}}_{\mathrm{Down},j}\\ \mathrm{Static},& \max ({\mathrm{Count}}_{\mathrm{Up},j},{\mathrm{Count}}_{\mathrm{Down},j},{\mathrm{Count}}_{\mathrm{Static},j})={\mathrm{Count}}_{\mathrm{Static},j}\end{array}\right.$

其中direction_j为Region_j的运动方向，其分为上侧运动方向Up、下侧运动方向Down、静止Static；

Region_j表示垂直区域(j＝3，4)

其中Count_Upt，j，Count_Down，j，Count_Static，j分别表示垂直区域Re gion_j上侧运动、下侧运动、静止宏块的数量，(j＝3，4)

max(a，b，c)表示求三个值中的最大值；

S135：根据垂直区域的运动，进行全局运动方向判定；

即两个垂直区域的运动方向一致且都不属于静止方向，并且每个区域相应运动方向上的宏块数大于相应的第三判定阈值Thres3，或者两个垂直区域的运动方向不一致但其中一个区域运动方向为静止并且另一非静止方向的区域其相应运动方向的宏块数大于相应的第四判定阈值Thres4，那么即可获取全局运动方向，结束全局运动预测判断，否则，进入S14；

则

获取方向结束全局运动预测判断

else

则

获取方向结束全局运动预测判断

否则，进入S 14

direction₃表示垂直区域Region₃的运动方向

direction₄表示垂直区域Region₄的运动方向

表示垂直区域Region₃的运动方向上的宏块数

表示垂直区域Region₄的运动方向上的宏块数

S14：根据水平、垂直区域的运动，进行全局运动方向的判定；

具体方法步骤如下：

S141：计算各类区域(水平区域、垂直区域)的方向差值m和n，即计算水平、垂直区域最大运动方向宏块数与次大运动方向宏块数的差值，同类区域的最小值即为该类区域的方向差值；

m用于统计水平区域，即水平区域的方向差值

n用于统计垂直区域，即垂直区域的方向差值

初始值m＝n＝0

if(Region₁，Region₂均有效)

$m=\underset{j=\mathrm{1,2}}{\min }(\max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j})-\mathrm{less}\max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j}))$

if(只Region₁有效)

$m=\underset{j=1}{\min }(\max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j})-\mathrm{less}\max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j}))$

if(只Region₂有效)

$m=\underset{j=\mathrm{1,2}}{\min }(\max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j})-\mathrm{less}\max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j}))$

if(Region₃，Region₄均有效)

$n=\underset{j=\mathrm{3,4}}{\min }(\max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j})-\mathrm{less}\max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j}))$

if(只Region₃有效)

$n=\underset{j=3}{\min }(\max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j}{\mathrm{Count}}_{\mathrm{static},j})-\mathrm{less}\max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j}))$

if(只Region₄有效)

$n=\underset{j=4}{\min }(\max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j})-\mathrm{less}\max ({\mathrm{Count}}_{\mathrm{Left},j},{\mathrm{Count}}_{\mathrm{Right},j},{\mathrm{Count}}_{\mathrm{Static},j}))$

S142：即根据水平区域、垂直区域的各类情况择优选取，确定全局运动方向；

情况1：当两个同类区域的运动方向都一致时，

如果满足一类区域运动方向差值与另一类运动方向差值大于相应的第九判定阈值(mbheight/mbwidth)并且一类区域运动方向差值大于相应的第五判定阈值Thres5，则运动方向差值大的区域类的运动方向即为全局运动方向；

情况2：当两个水平区域的运动方向一致而两个垂直区域的运动方向不一致时，

情况21：如果两个垂直区域信息均判定为有效或者一个垂直区域有效，而且该垂直区域运动方向的宏块数小于相应的第六判定阈值Thres6，

则当水平区域的方向差值满足相应的第五判定阈值Thres5，全局运动方向即为水平区域的运动方向；

情况22：如果只有一个垂直区域有效、

如果垂直区域的方向差值大于相应第五判定阈值Thres5并且垂直区域的方向差值与水平区域的方向差值的比值大于相应的第七判定阈值Thres7并且水平区域的运动方向为静止，

则，有效垂直区域的运动方向即为全局运动方向；

如果水平区域的方向差值大于相应的第五判定阈值Thres5并且水平区域的方向差值与垂直区域的方向差值的比值大于相应的第七判定阈值Thres7，

则，全局运动方向即为水平区域的运动方向；

情况3：当两个垂直区域的运动方向一致而两个水平区域的运动方向不一致时，

情况31：如果两个水平区域信息均判定为有效或者一个水平区域有效而且该水平区域运动方向的宏块数小于相应的第六判定阈值Thres6

则当垂直区域的方向差值满足相应的第五判定阈值Thres5，全局运动方向即为垂直区域的运动方向；

情况32：如果只有一个水平区域有效、

如果水平区域的方向差值大于相应的第五判定阈值Thres5并且水平区域的方向差值与垂直区域的方向差值的比值大于相应的第八判定阈值Thres8并且垂直区域的运动方向为静止，

则，有效水平区域的运动方向即为全局运动方向；

如果垂直区域的方向差值大于相应的第五判定阈值Thres5并且垂直区域的方向差值与水平区域的方向差值的比值大于相应的第八判定阈值Thres8

则，全局运动方向即为垂直区域的运动方向

情况4：当两个水平区域的运动方向不一致、两个垂直区域的运动方向也不一致时，则，不存在全局运动；

详细程序描述如下：

  if(direction₁＝direction ₂&&direction₃＝direction ₄)

    {

${\mathrm{direction}}_t^{\mathrm{frame}}={\mathrm{direction}}_1$

    else if(n＞m*mbheight/mbwidth&&n＞Thres 5*mbheight/mbwidth)

${\mathrm{direction}}_t^{\mathrm{frame}}={\mathrm{direction}}_4$

    else

                 无全局运动

  }

 else if(direction₁＝direction ₂&&direction₃≠direction ₄)

{

    if((Region₃，Region₄均有效)‖(只Region₃有效&&Count_direction3，3≤Thres6)‖

    (只Region₄有效&&Count_direction4，4≤Thres6))

         {

${\mathrm{direction}}_t^{\mathrm{frame}}={\mathrm{direction}}_1$

    else

                  无全局运动

          }

        else if(只Region₃有效‖只Region₄有效)

          {

                 (((只Region₃有效&&Count _{direction3，3}＞Thres7)‖

                 (只Region₄有效&&Count_{direction4，4}＞Thres7))&&direction₁＝Static)))

        {

${\mathrm{direction}}_t^{\mathrm{frame}}={\mathrm{direction}}_j,{\mathrm{Region}}_j$ 有效

                  }

               else

${\mathrm{direction}}_t^{\mathrm{frame}}={\mathrm{direction}}_1$

               else  无全局运动

               }

               else  无全局运动

}

else if(direction₁≠direction₂&&direction₃＝direction₄)

{

     if((Region₁，Region₂均有效)‖(只Region₁有效&&Count_direction1，1≤Thres6*mbwidth/mbheight)‖

     (只Region₂有效&&Count_direction2，2≤Thres6*mbwidth/mbheight))

     {

${\mathrm{direction}}_t^{\mathrm{frame}}={\mathrm{direction}}_3$

  else

               无全局运动

        }

     else if(只Region₁有效‖只Region₂有效)

        {

          (((只Region₁有效&&Count_{direction1，1}＞Thres8)‖

          (只Region₂有效&&Count_{direction2，2}＞Thres8))&&direction₃＝Static)))

     {

           }

        else

           else  无全局运动

          }

          else  无全局运动

}

else

     不存在全局运动(水平、垂直)

其中，mbheight：一帧图像的宏块行数

mbwidth：一帧图像的宏块列数

本发明实施例根据当前帧的相对变化复杂度信息所在的阈值范围，判断是否进入全局运动预测；如果是进入全局运动预测，判断选定的判定区域是否为强一致性水平运动趋势，如果是强一致水平运动趋势，则获取当前帧为水平全局运动，获取相应的方向判定，结束；如果不是强一致水平运动趋势，则选取垂直运动判定区域，判断所述垂直运动判定区域是否为强一致性垂直运动趋势，如果是强一致性垂直运动趋势，则获取当前帧为垂直全局运动，获取相应的方向判定，结束；如果不是强一致性垂直运动趋势，则进行水平、垂直运动全局运动判定。利用本发明方法，一方面可以提升压缩率，另一方面可以提升压缩速度，即对存在全局运动的视频源进行压缩时，可通过统一判断的方式确定运动预测，而无需像仅依赖基于宏块、子块的运动预测方法对每个宏块子块依次作判断。

如图2所示为本发明实施例一种帧间编码的运动预测系统结构示意图，所述系统包括：

进入全局运动预测判断模块：用于根据当前帧的相对变化复杂度信息所在的阈值范围，判断是否进入全局运动预测；即如果当前帧的相对变化复杂度信息大于第一阈值，则认为当前帧与前一帧极度近似，判定当前帧为Skip帧(前后两帧近乎无运动，可直接复制前一帧图像)；如果当前帧它的相对变化复杂度信息在第一阈值和第二阈值之间，则不进入全局运动预测；如果当前帧的相对变化复杂度信息小于第二阈值，则进入全局运动预测，即进入强一致性水平运动趋势判断模块，其中第一阈值大于第二阈值。

强一致性水平运动趋势判断模块：判断选定的判定区域是否为强一致性水平运动趋势，如果是则获取当前帧为水平全局运动，获取相应的方向判定，结束；如果否则进入强一致性垂直运动趋势判断模块；即两个水平区域的运动方向一致且都不属于静止方向，并且每个区域相应运动方向上的宏块数大于相应第三判定阈值Thres3；或者两个水平区域的运动方向不一致但其中一个区域运动方向为静止并且另一非静止方向的区域其相应运动方向的宏块数大于相应第四判定阈值Thres4；那么即可获取全局运动方向，结束全局运动预测判断，否则，进入强一致性垂直运动趋势判断模块。

强一致性垂直运动趋势判断模块，选取垂直运动判定区域，判断所述垂直运动判定区域是否为强一致性垂直运动趋势，如果是则获取当前帧为垂直全局运动，获取相应的方向判定，结束，如果否则进入水平、垂直运动全局运动判定模块。即两个垂直区域的运动方向一致且都不属于静止方向，并且每个区域相应运动方向上的宏块数大于相应的第三判定阈值Thres3，或者两个垂直区域的运动方向不一致但其中一个区域运动方向为静止并且另一非静止方向的区域其相应运动方向的宏块数大于相应的第四判定阈值Thres4，那么即可获取全局运动方向，结束全局运动预测判断，否则，进入水平、垂直运动全局运动判定模块；

水平、垂直运动全局运动判定模块，用于根据水平、垂直区域的运动，进行全局运动方向的判定。

本发明实施例根据当前帧的相对变化复杂度信息所在的阈值范围，判断是否进入全局运动预测；如果是进入全局运动预测，判断选定的判定区域是否为强一致性水平运动趋势，如果是强一致水平运动趋势，则获取当前帧为水平全局运动，获取相应的方向判定，结束；如果不是强一致水平运动趋势，则选取垂直运动判定区域，判断所述垂直运动判定区域是否为强一致性垂直运动趋势，如果是强一致性垂直运动趋势，则获取当前帧为垂直全局运动，获取相应的方向判定，结束；如果不是强一致性垂直运动趋势，则进行水平、垂直运动全局运动判定。利用本发明方法，一方面可以提升压缩率，另一方面可以提升压缩速度，即对存在全局运动的视频源进行压缩时，可通过统一判断的方式确定运动预测，而无需像仅依赖基于宏块、子块的运动预测方法对每个宏块子块依次作判断。

本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (21)

1.一种帧间编码的运动预测方法，其特征在于，所述方法包括：

根据当前帧的相对变化复杂度信息所在的阈值范围，判断是否进入全局运动预测，如果是，则

判断选定的判定区域是否为强一致性水平运动趋势，如果是，则

获取当前帧为水平全局运动，获取相应的方向判定，结束。

2.如权利要求1所述的帧间编码的运动预测方法，其特征在于，所述步骤“判断选定的判定区域是否为强一致性水平运动趋势”还包括：

如果选定的判定区域不是强一致水平运动趋势，则选取垂直运动判定区域，判断所述垂直运动判定区域是否为强一致性垂直运动趋势，如果是，则获取当前帧为垂直全局运动，获取相应的方向判定，结束。

3.如权利要求1所述的帧间编码的运动预测方法，其特征在于，所述步骤“判断所述垂直运动判定区域是否为强一致性垂直运动趋势”还包括：

如果选定的区域不是强一致垂直运动趋势，则进行水平、垂直运动全局运动判定。

4.如权利要求1所述的帧间编码的运动预测方法，其特征在于，所述“根据当前帧的相对变化复杂度信息所在的阈值范围，判断是否进入全局运动预测。”具体为：

如果当前帧的相对变化复杂度信息大于第一阈值，则认为当前帧与前一帧极度近似，判定当前帧为Skip帧；如果当前帧它的相对变化复杂度信息在第一阈值和第二阈值之间，则不进入全局运动预测；如果当前帧的相对变化复杂度信息小于第二阈值，则进入全局运动预测，即进入权利要求1所述的步骤“判断选定的判定区域是否为强一致性水平运动趋势”，其中第一阈值大于第二阈值。

5.如权利要求1所述的帧间编码的运动预测方法，其特征在于，所述的当前帧的相对变化复杂度信息求取方法如下：

根据宏块运动信息、宏块纹理信息提取各宏块相对变化复杂度信息；

基于宏块相对变化复杂度信息，获取当前帧的相对变化复杂度信息。

6.如权利要求5所述的帧间编码的运动预测方法，其特征在于，所述“根据宏块运动信息、宏块纹理信息提取各宏块相对变化复杂度信息”具体为：

求取宏块运动信息：即当前宏块内像素与前一帧相应宏块内的像素值差值的均方差；

ti_Mb_t，m，n＝std[f_t(i，j|(i，j)∈Mb_t，m，n)-f_t-1(i，j|(i，j)∈Mb_t-1，m，n)]

求取宏块纹理信息：即当前宏块内像素值的均方差；

si_Mb_t，m，n＝std[f_t(i，j|(i，j)∈Mb_t，m，n)]，

if(si_Mb_t，m，n＝0)

则判定当前宏块为单点宏块，即整个宏块所有像素值即为相同的一个像素值；

求取宏块相对变化复杂度信息：

${\mathrm{tis}\_\mathrm{Mb}}_{t,m,n}=\left\{\begin{array}{cc}{\mathrm{ti}\_\mathrm{Mb}}_{t,m,m}/{\mathrm{si}\_\mathrm{Mb}}_{t,m,n},& {\mathrm{si}\_\mathrm{Mb}}_{t,m,n}\&NotEqual;0\\ 0,& {\mathrm{si}\_\mathrm{Mb}}_{t,m,n}=0\end{array}\right.$

其中：Mb_t，m，n表示第t帧第m行n列的宏块；

Mb_t-1，m，n表示；第t-1帧第m行n列的宏块；

f_t(i，j)表示第t帧第i行j列的像素值；

f_t(i，j|(i，j)∈Mb_t，m，n)表示；表示第t帧中属于Mb_t，m，n的第i行j列的像素值；

f_t-1(i，j|(i，j)∈Mb_t-1，m，n)表示；表示第t-1帧中属于Mb_t-1，m，n的第i行j列的像素值；

std表示均方差；

ti_Mb_t，m，n表示：Mb_t，m，n的宏块运动信息；

si_Mb_t，m，n表示：Mb_t，m，n的宏块纹理信息；

7.如权利要求5所述的帧间编码的运动预测方法，其特征在于，所述“基于宏块相对变化复杂度信息，获取当前帧的相对变化复杂度信息”具体为：

${\mathrm{tis}\_\mathrm{frames}}_t=\left\{\begin{array}{cc}{\mathrm{count}}_t++,& {\mathrm{tis}\_\mathrm{Mb}}_{t,m,n}<\mathrm{Thres}0\\ {\mathrm{count}}_t,& \mathrm{else}\end{array}\right.$

其中：Thres0为相应的第零判定阈值；

tis_frames_t表示：第t帧的相对变化复杂度信息；

tis_Mb_t，m，n表示：Mb_t，m，n的宏块相对变化复杂度信息。

8.如权利要求1所述的帧间编码的运动预测方法，其特征在于，

所述判定区域需同时满足以下条件：

条件1：判定区域为背景区域；

条件2：选取两类判定区域即水平区域和垂直区域，每类区域至少选取两个区域；

条件3：水平区域只作两个方向检测、垂直区域只作两个方向检测；

设选定的两个水平区域，在其中只作水平运动判定；

设选定的两个垂直区域，在其中只作垂直运动判定。

9.如权利要求1所述的帧间编码的运动预测方法，其特征在于，

所述“判断选定的判定区域是否为强一致性水平运动趋势”具体包括以下步骤：

以宏块为单位，求取判定区域内的宏块水平预测方向；

统计各水平区域中相应方向的运动宏块数；

基于各水平区域中相应方向的运动宏块数的统计信息，判定该区域的信息是否可用；

针对选定的水平区域的运动趋势作水平运动的判定，即一个水平区域内宏块数最多的运动方向，则判定为该区域的运动方向；

根据水平区域的运动，进行全局运动方向判定；

其中所述水平区域中相应方向包括左侧运动、右侧运动、静止。

10.如权利要求9所述的帧间编码的运动预测方法，其特征在于，所述“以宏块为单位，求取判定区域内的宏块水平预测方向”具体为：

对所述选定的两个水平区域内的宏块，分别具体做如下计算：

计算左侧运动预测值和当前编码值差值的均方差，获取左侧运动预测残差；

计算右侧运动预测值和当前编码值差值的均方差，获取右侧运动预测残差；

计算静止预测值和当前编码值差值的均方差，获取静止运动预测残差。

11.如权利要求9所述的帧间编码的运动预测方法，其特征在于，所述“统计各水平区域中相应方向的运动宏块数”具体为：

在水平区域内，宏块预测残差最小的方向上运动宏块数加一。

12.如权利要求9所述的帧间编码的运动预测方法，其特征在于，所述“基于各水平区域中相应方向的运动宏块数的统计信息，判定该区域的信息是否可用”具体为：

一个水平区域内如果相反运动方向的宏块数的差值小于第一水平判定阈值或者该水平区域内三个运动方向(左侧运动、右侧运动、静止)宏块数的最大值与次大值的差值小于第二水平判定阈值，则认为该区域的信息不可用。

13.如权利要求9所述的帧间编码的运动预测方法，其特征在于，所述“根据水平区域的运动，进行全局运动方向判定”具体为：两个水平区域的运动方向一致且都不属于静止方向，并且每个区域相应运动方向上的宏块数大于相应第三判定阈值；或者两个水平区域的运动方向不一致但其中一个区域运动方向为静止并且另一非静止方向的区域其相应运动方向的宏块数大于相应第四判定阈值；那么即可获取全局运动方向，结束全局运动预测判断，否则，进入权利要求2中的“选取垂直运动判定区域，判断所述垂直运动判定区域是否为强一致性垂直运动趋势”。

14.如权利要求2所述的帧间编码的运动预测方法，其特征在于，所述“判断所述垂直运动判定区域是否为强一致性垂直运动趋势”具体包括以下步骤：

对所述选定的垂直区域作垂直运动预测；

统计各垂直区域中相应方向的运动宏块数；

基于各垂直区域中相应方向的运动宏块数的统计信息，判定该区域的信息是否可用；

针对所述选定的垂直区域的运动趋势作垂直运动的判定，即一个垂直区域内宏块数最多的运动方向，则判定为该区域的运动方向；

根据垂直区域的运动，进行全局运动方向判定；

其中，所述垂直区域中相应方向包括上侧运动、下侧运动、静止方向。

15.如权利要求14所述的帧间编码的运动预测方法，其特征在于，所述“对所述选定的垂直区域作垂直运动预测”具体为：

在所述选定的两个垂直区域内的宏块，分别具体做如下计算：

计算上侧运动预测值和当前编码值差值的均方差，获取上侧运动预测残差；

计算下侧运动预测值和当前编码值差值的均方差，获取下侧运动预测残差；

计算静止预测值和当前编码值差值的均方差，获取静止运动预测残差。

16.如权利要求14所述的帧间编码的运动预测方法，其特征在于，所述“统计各垂直区域中相应方向的运动宏块数”具体为：

在垂直区域内，宏块预测残差最小的方向上运动宏块数加一。

17.如权利要求14所述的帧间编码的运动预测方法，其特征在于，所述“基于各垂直区域中相应方向的运动宏块数的统计信息，判定该区域的信息是否可用”具体为：

一个垂直区域内如果相反运动方向的宏块数的差值小于第一垂直判定阈值或者该区域内三个运动方向宏块数的最大值与次大值的差值小于第二垂直判定阈值，则认为该区域的信息不可用。

18.如权利要求14所述的帧间编码的运动预测方法，其特征在于，所述“根据垂直区域的运动，进行全局运动方向判定”具体为：

两个垂直区域的运动方向一致且都不属于静止方向，并且每个区域相应运动方向上的宏块数大于相应的第三判定阈值，或者两个垂直区域的运动方向不一致但其中一个区域运动方向为静止并且另一非静止方向的区域其相应运动方向的宏块数大于相应的第四判定阈值，那么即可获取全局运动方向，结束全局运动预测判断，否则，进入权利要求3中的步骤“进行水平、垂直运动全局运动判定”。

19.如权利要求3所述的帧间编码的运动预测方法，其特征在于，所述“进行水平、垂直运动全局运动判定”具体包括以下步骤：

计算水平区域的方向差值和垂直区域的方向差值，即计算水平、垂直区域最大运动方向宏块数与次大运动方向宏块数的差值，同类区域的最小值即为该类区域的方向差值；

根据水平区域、垂直区域的各类情况择优选取，确定全局运动方向。

20.如权利要求19所述的帧间编码的运动预测方法，其特征在于，所述“根据水平区域、垂直区域的各类情况择优选取，确定全局运动方向”具体为：

情况1：当两个同类区域的运动方向都一致时，如果满足一类区域运动方向差值与另一类运动方向差值大于相应的第九判定阈值或者一类区域运动方向差值大于相应的第五判定阈值，则运动方向差值大的区域类的运动方向即为全局运动方向；所述第九判断阈值为mbheight/mbwidth，mbheight表示一帧图像的宏块行数，mbwidth表示一帧图像的宏块列数；

情况2：当两个水平区域的运动方向一致而两个垂直区域的运动方向不一致时：

情况21：如果两个垂直区域信息均判定为有效或者一个垂直区域有效，而且该垂直区域运动方向的宏块数小于相应的第六判定阈值，则当水平区域的方向差值满足相应的第五判定阈值，全局运动方向即为水平区域的运动方向；

情况22：如果只有一个垂直区域有效，

如果垂直区域的方向差值大于相应的第五判定阈值并且垂直区域的方向差值与水平区域的方向差值的比值大于相应的第七判定阈值并且水平区域的运动方向为静止，则有效垂直区域的运动方向即为全局运动方向；

如果水平区域的方向差值大于相应的第五判定阈值并且水平区域的方向差值与垂直区域的方向差值的比值大于相应的第七判定阈值，则，全局运动方向即为水平区域的运动方向；

情况3：当两个垂直区域的运动方向一致而两个水平区域的运动方向不一致时：

情况31：如果两个水平区域信息均判定为有效或者一个水平区域有效而且该水平区域运动方向的宏块数小于相应的第六判定阈值，则当垂直区域的方向差值满足相应的第五判定阈值，全局运动方向即为垂直区域的运动方向；

情况32：如果只有一个水平区域有效、

如果水平区域的方向差值大于相应的第五判定阈值并且水平区域的方向差值与垂直区域的方向差值的比值大于相应的第八判定阈值并且垂直区域的运动方向为静止，则，有效水平区域的运动方向即为全局运动方向；

如果垂直区域的方向差值大于相应的第五判定阈值并且垂直区域的方向差值与水平区域的方向差值的比值大于相应的第八判定阈值，则，全局运动方向即为垂直区域的运动方向；

情况4：当两个水平区域的运动方向不一致、两个垂直区域的运动方向也不一致时，则，不存在全局运动。

21.一种帧间编码的运动预测系统，其特征在于，所述系统包括：

进入全局运动预测判断模块：用于根据当前帧的相对变化复杂度信息所在的阈值范围，判断是否进入全局运动预测；

强一致性水平运动趋势判断模块：判断选定的判定区域是否为强一致性水平运动趋势，如果是则获取当前帧为水平全局运动，获取相应的方向判定，结束；如果否则进入强一致性垂直运动趋势判断模块；

强一致性垂直运动趋势判断模块，选取垂直运动判定区域，判断所述垂直运动判定区域是否为强一致性垂直运动趋势，如果是则获取当前帧为垂直全局运动，获取相应的方向判定，结束，如果否则进入水平、垂直运动全局运动判定模块；

水平、垂直运动全局运动判定模块，用于根据水平、垂直区域的运动，进行全局运动方向的判定。

Images