CN101969568B

CN101969568B - 面向帧速率上变换的运动估计方法

Info

Publication number: CN101969568B
Application number: CN 201010545589
Authority: CN
Inventors: 赵景景; 杨胜齐; 刘道金
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2010-11-16
Filing date: 2010-11-16
Publication date: 2012-05-02
Anticipated expiration: 2030-11-16
Also published as: CN101969568A

Abstract

本发明涉及一种面向帧速率上变换的动估计方法。本方法采用H.264/AV可变块的原理，将视频流的当前帧划分成若干块，通过静止检测获得每一块是静止还是运动，若目标块是相对运动的，则对目标块进行处理得到它的运动向量。本方法针对高清乃至超高清图像与高刷新率，能够有效保证运动向量的连续性，从而降低图像的块效应、视频模糊，物体光晕等。本方法简洁有效，从而易于大型集成电路的逻辑实现。

Description

面向帧速率上变换的运动估计方法

技术领域

本发明涉及一种面向帧速率上变换的运动估计方法，采用H.264/AVC可变块的原理，将视频流的当前帧划分成若干块，通过相对静止检测获得每一块是相对运动还是相对静止，并对运动的目标块进行处理，获取其准确的运动向量。这种方法在保证运动块精确度前提下，有效地提高了计算效率。

背景技术

经过解码后的视频流需要视频后处理，即视频质量增强处理，帧速率上变换算法是视频后处理算法流水线中的重要模块。它主要的功能是通过插值把原有视频源的帧速率调整到显示器刷新率。

帧速率上变换算法分为两类。第一类算法直接利用前后帧的各种组合内插出中间新帧而不考虑对象运动；但在场景运动较大时，插入帧的效果会变得很差，容易产生运动突变和运动物边缘模糊的现象。为减少运动突变和模糊，出现了第二类算法，即基于运动向量的运动补偿(见图1)。

然而，运动补偿插值算法的内插视频质量最终取决于运动估计的准确度，具体表现在帧处理的时间花费和插入帧的信噪比，时间主要耗费在搜索目标块的最优匹配块。

运动估计的基本思想是将当前帧分成许多互不重叠的块，并假设块内所有像素的位移量都相同，对于当前帧中的每一块，在参考帧中一定的搜索范围内根据匹配准则找出与目标块最相似的块，即匹配块。由匹配块与目标块的相对位置计算出运动位移，所得运动位移即为目标块的运动向量。如图1所示：对第k-1进行运动估计，求出每一块的运动向量，在第k-1与第k+1帧之间插入第k帧。

通常使用SAD （Sum of Absolute Difference) 标准作为匹配准则，SAD定义如下：

(1)

式(1)中，f _k(m, n)与f _k-1(m, n)分别是目标块和参考块图像，( i , j)为参考块相对于目标块的运动向量，M，N分别为每个块中的行像素数和列像素数。根据SAD获取的最佳运动向量定义如下：

(2)

(3)

其中MIN _SAD表示目标块对应的所有SAD中的最小值，MV表示最小的SAD所对应的运动向量，即最优运动向量。

发明内容

本发明的目的在于针对已有技术存在的缺陷，提供一种面向帧速率上变换的运动估计方法，获取当前帧准确的运动向量。

为达到上述目的，本发明的构思如下：

可变块的划分采用的是自顶向下的分块方法，如图3。首先将一帧分为若干同一尺寸的块，并对每个目标块进行运动估计。先设定一阈值检测是否需要对目标块进行分割，如果目标块和参考块之间的差低于该阈值，或者己经到达了最小的子块大小（4×4像素），就停止分割，否则将目标块平均分为两个子块，对每个新得到的子块进行运动估计，最后就可以得到一个二元树，树上每个叶节点对应于一个子块，对于处于同一级的子块，可以考虑合并，如果可以和参考帧中的块更匹配。为了降低可变块运动划分的复杂度，在每次对编码块进行划分时，将目标块分解为大小相等的四个子块。

本发明将当前帧分割成若干个16×16像素目标块，采用像素比较法，分别对目标块中的每个像素与参考帧中的对应块的像素进行逐一比较，若块中对应像素全相等则说明目标块是相对静止的，那么此目标块的运动向量为0。若不相等，则将目标块划分成四个8×8像素的子块，重复相对静止检测步骤，若8×8像素的子块仍是相对运动的，那么这个子块继续被划分成4×4像素的子块，重复静止检测步骤，若4×4像素的子块仍是相对运动，则采用阈值判定法，计算当前子块与参考帧中一定范围内参考块的对应像素相等的数目（Number of Equal Pixels, NEP），求得最大NEP，并与预先设定的阈值比较，若最大NEP大于此阈值，则最大NEP对应的参考块即是最优匹配块，由当前4×4像素子块与最优匹配块的相对运动位移称为最优运动向量；若NEP小于阈值，则参考帧中的参考块的搜索范围扩大一倍，并求出该范围内的最大NEP，则最大NEP对应的块即是最优匹配块。最优匹配块与当前4×4像素子块的相对运动位移称为最优运动向量。具体详述如下：

1. 相对静止检测

本发明针对传统运动估计方法中计算量大的不足，提出了通过相对静止检测提高计算效率的方法。首先，划分当前帧为16×16像素的目标块，目标块与在参考帧中一定区域内的所有参考块的像素逐一比较，如果目标块中的每个像素与某个参考块的相应像素一一相等，那么目标块相对于某个参考块是静止的；否则，目标块就是相对运动的，继续划分为8×8像素的子块，然后重复上述步骤，直至子块划分成4×4像素的子块。若目标块与参考帧中对应块的像素全部对应相等，则认为该目标块为相对静止块，其运动向量为0，而不必再进行复杂的计算。采用这种方法，可以避免大量静止区域的繁琐运算，有效的提高了运动估计的计算效率。

2. 相对运动块的处理

传统的块匹配算法将当前帧划分成固定的块，与参考帧的一定区域内的参考块进行逐块匹配。这种算法的优点是操作简单、时间消耗少；然而，对于高清电视视频，基于固定块的运动估计，固定块越大，含有不同运动信息的运动物体就越有可能在同一个固定的块中，导致运动向量估计的不准确，插入图像的运动不平稳。解决的上述方法是减小块的大小，但同时会增加运动向量的个数和计算的复杂度，降低了运动向量的处理效率。

　　在不增加计算量的同时，为了提高运动估计的准确性，本发明采用相对运动块的再次划分以及阈值判定法。首先，通过相对静止检测判定目标块是相对运动的还是相对静止的，若目标块是相对静止的，则目标块的运动向量为0；若目标块是相对运动的，继续划分为8×8像素的子块，然后重复静止检测步骤，若8×8像素的子块仍是相对运动的，那么这个子块继续被划分成4×4像素的子块，重复静止检测步骤，检测子块是相对运动还是静止。

若当前4×4像素的子块是相对运动的，则计算当前子块的每个像素与参考帧中一定范围的参考块对应像素相等的数目（Number of Equal Pixels, NEP），并求出最大的NEP。

采用像素阈值比较法，将获得的最大的NEP与预先设定的阈值比较，如果NEP大于阈值，那么参考块是最优匹配块；如果NEP小于阈值，则将参考帧中参考块的范围扩大一倍，并求出该范围内的最大NEP，则最大NEP对应的块即是最优匹配块，最优匹配块与当前4×4像素子块的位移称为运动向量。因此，这种方法不仅能够提高相对运动较小块运动向量的计算效率，而且可以提高运动较大块运动向量的精确度。

根据上述发明构思，本发明采用下述技术方案：

一种面向帧速率上变换的一种面向帧速率上变换的运动估计方法，其特征在于采用H.264/AVC可变块的原理，将视频流的当前帧划分成若干块，通过静止检测获得每一块是静止还是运动，若目标块是相对运动的，则对目标块进行处理得到它的运动向量。

所述通过静止检测获得根据权利要求1所述的面向帧速率上变换的运动估计方法，其特征在于所述通过静止检测获得每一块是运动还是静止的具体步骤如下：

1) 采用像素比较法，将输入视频流的当前帧和参考帧划分成16×16像素的目标块。

2) 目标块与参考帧的对应块比较，如果目标块中的每个像素与参考帧的对应块的对应像素值全相等，那么目标块相对于参考帧的对应块是静止的，目标块的运动向量为0。

所述通过静止检测获得根据权利要求1或要求2所述的面向帧速率上变换的运动估计方法，其特征在于所述通过静止检测获得每一块是运动还是静止能够有效的避免相对静止区域的复杂运算，有效的提高了计算效率。

所述通过相对运动的根据权利要求1所述的面向帧速率上变换的运动估计方法，其特征在于所述对相对运动的目标块进行处理得到目标块的运动向量具体步骤如下：

1) 若目标块是相对运动的，将此目标块划分为8×8像素的子块，然后重复静止检测步骤，若8×8像素的子块仍是相对运动的，那么这个子块继续被划分成4×4像素的子块，重复静止检测步骤，检测子块是相对运动还是静止；

2) 若当前4×4像素的子块是相对运动的，则分别计算当前子块的每个像素与参考帧中一定范围的若干参考块对应像素相等的数目NEP，并求出最大的NEP；

3) 采用像素阈值判定法，将最大的NEP与预先设定的阈值比较，如果该NEP大于阈值，那么最大NEP对应的参考块就是最优匹配块；如果该NEP小于阈值，则参考帧中参考块的范围扩大一倍，并求出该范围内的新最大NEP，则新最大NEP对应的参考块即是最优匹配块；最优匹配块与当前4×4像素子块的位移称为运动向量。

所述步骤3)中根据权利要求3所述的面向帧速率上变换的运动估计方法，其特征在于所述步骤3)中的像素阈值判定方法和参考帧中搜索范围扩大方法，不仅能够提高相对运动较小块运动向量的计算效率，而且能够可以提高运动较大块运动向量的精确度。

本发明的有益效果：

1. 基于可变块的运动估计的性能

针对高清乃至超高清图像与高刷新率，能够有效保证运动向量的连续性，从而降低图像的块效应、视频模糊、物体光晕等。

2. 基于可变块的运动估计复杂度

该发明是一种实用的和先进的运动估计与补偿方法，实现了算法的简洁有效性，从而易于大型集成电路的逻辑实现。

3. 实现简单

本发明采用了可变块的原理，对目标块进行相对静止检测，并对相对运动的目标块进行处理。本发明具备模块化的特点，系统单元更为简单。

附图说明

图1是本发明的运动估计方法的流程图；

图2是运动估计的块匹配示意图；

图3是传统的目标块和子块的划分模式；

图4是本发明的目标块与子块的划分模式；

图5是由传统算法处理后的图片；

图6是本发明的处理后的图片；

图7是传统算法和本发明的图片信噪比示意图。

具体实施方式：

本发明的优选实施例详述如下：

实施例一：参见图1，图2和图4，本面向帧速率上变换的一种面向帧速率上变换的运动估计方法，其特征在于采用H.264/AVC可变块的原理，将视频流的当前帧划分成若干块，通过静止检测获得每一块是静止还是运动，若目标块是相对运动的，则对目标块进行处理得到它的运动向量。

实施例二：本实施例与实施例一基本相同，特别之处如下：所述通过静止检测获得每一块是运动还是静止的具体步骤如下：

1) 采用像素比较法，将输入视频流的当前帧和参考帧划分成16×16像素的目标块；

2) 目标块与参考帧的对应块比较，如果目标块中的每个像素与参考帧的对应块的对应像素值全相等，那么目标块相对于参考帧的对应块是静止的，目标块的运动向量为0；

所述步骤3)中的像素阈值判定方法和参考帧中搜索范围扩大方法，不仅能够提高相对动较小块运动向量的计算效率，而且能够可以提高运动较大块运动向量的精确度。

实施例三：

应用本发明的“运动估计方法”对解码后的视频流的后处理为：参见图1描述本实施例进行图片格式转化1（RGB_YUV）、可变块运动估计2、基于运动估计的运动补偿3、图片格式逆转化4（YUV_ RGB）：其中可变块运动估计为本发明的技术方案，包含检测和处理静止区域5、检测和处理运动区域6和和运动向量的优化7。

基于可变块的运动估计仅仅需要对图像的灰度值进行处理，从而确定当前帧的运动向量。但是，输入和输出的视频流是RGB格式的数字视频信号。因此，色彩空间转换与逆转换成为本实施例不可缺少的一个模块。本发明采用色彩转换算法将RGB信号转换成YUV信号以及采用色彩逆转换算法将YUV信号转换成RGB信号，转换公式如下(6)、(7)。Y信号包含了图像的灰度值，所以，我们仅仅采用Y信号进行运动估计。

RGB_YUV：

(6)

YUV _ RGB：

(7)

输入的视频流为1920×1080像素的运动彩球。首先，采用像素比较法。将视频流的当前帧和参考帧划分成16×16像素的目标块，目标块与参考帧一定区域内的参考块比较，如果目标块的每个像素值与某个参考块的对应像素值一一相等，那么目标块相对于某个参考块是静止的；否则，目标块就是相对运动的，此目标块继续被划分为8×8的子块，然后重复上述步骤，直至子块被划分成4×4像素的子块。此时，将被划分成不同大小的相对静止区域的目标块的运动向量为0。

如果某一16×16像素的目标块被检测为相对运动，那么，该目标块被划分为8×8像素的子块，并采用当前帧的目标块与参考帧的参考块的像素比较法，判断是否是相对静止区域，若是按照第2步执行，如是相对运动区域，再被划分成4×4像素的子块，同时，采用像素阈值判定法，通过计算目标块的像素与参考帧的参考块的相应像素相等的数目（NEP），参考块中最大的NEP与预先设定的阈值比较，如果NEP大于阈值，那么参考块是最优匹配块，最优匹配块与目标块的位移就称为运动向量。NEP计算方法如下，M/N是目标块的大小，(i, j)是目标块的运动向量。

NEP (i , j)=0 ;

for (x = 1;x<=M; x + +)

for (y= 1; y<=N; y + +)

{

if (

==

)

NEP (i , j) + + ;

}

求得一帧每个块的运动向量后，在两帧之间插入帧。设相邻的两帧分别是f ₁，f ₂，插入帧为f。通过f ₁到f ₂的运动估计，得到水平和垂直方向上的运动向量分别为dx，dy，则插入帧为：

(8)；

图5是由传统算法处理后的图片。图6是本发明的处理后的图片。从传统方法处理后的图片中，可以看出小红球具有明显的模糊现象，如图5；而通过本发明处理后的图片，如图6，尤其是小红球，效果很好。

图7是传统算法和本发明的图片信噪比示意图，S1是本发明的信噪比，S2是传统方法的信噪比。信噪比（PSNR）示意图表明本发明的信噪比远远高于传统方法的信噪比，本发明具有一定的优越性。这种方法不仅大大提高了运算效率，而且能够得到准确的插入帧。

使用上述实施方式获取运动向量的方法，通过相对静止检测可以有效的提高计算效率，对大量的静止区域，可以不经过复杂的运算直接获得其运动向量，有效的提高了静止区域运动向量的获取效率；采用阈值判定和扩大搜索范围法，可以对运动较小的块在小范围内进行搜索，有效的避免了复杂的运算，提高了计算效率，而对于运动较大块的扩大搜索范围方法，能够针对其运动向量大的特点，在更大的范围内搜索其最佳匹配块，有效有提高了获得运动向量的精确度。另外，本发明并不限定于上述这种实施方式，在不超过本发明的范围内，可以进行各种变形或者修改。

Claims

1.一种面向帧速率上变换的运动估计方法，其特征在于采用H.264/AVC可变块的原理，将视频流的当前帧划分成若干块，通过静止检测获得每一块是静止还是运动，若目标块是相对运动的，则对目标块进行处理得到它的运动向量；

所述通过静止检测获得每一块是运动还是静止的具体步骤如下：

(a)采用像素比较法，将输入视频流的当前帧和参考帧划分成16×16像素的目标块；

(b)目标块与参考帧的对应块比较，如果目标块中的每个像素与参考帧的对应块的对应像素值全相等，那么目标块相对于参考帧的对应块是静止的，目标块的运动向量为0；

所述对相对运动的目标块进行处理得到目标块的运动向量具体步骤如下：

(a)若目标块是相对运动的，将此目标块划分为8×8像素的子块，然后重复静止检测步骤，若8×8像素的子块仍是相对运动的，那么这个子块继续被划分成4×4像素的子块，重复静止检测步骤，检测子块是相对运动还是静止；

(b)若当前4×4像素的子块是相对运动的，则分别计算当前子块的每个像素与参考帧中一定范围的若干参考块对应像素相等的数目NEP，并求出最大的NEP；

(c)采用像素阈值判定法，将最大的NEP与预先设定的阈值比较，如果该NEP大于阈值，那么最大NEP对应的参考块就是最优匹配块；如果该NEP小于阈值，则参考帧中参考块的范围扩大一倍，并求出该范围内的新最大NEP，则新最大NEP对应的参考块即是最优匹配块；最优匹配块与当前4×4像素子块的位移称为运动向量。