CN104918057A - 一种利用邻域运动信息的运动矢量后处理系统 - Google Patents

Abstract

本发明提供了一种利用邻域运动信息的运动矢量后处理系统，包括矢量细化和矢量平滑两级流水线结构，各级流水线分别利用邻域运动信息对当前运动进行分解，从而获得更精细、更平滑的运动矢量；其中：矢量细化部分通过检测邻域的遮蔽模式，选用特定位置的邻域矢量对当前块的运动进行1/4分解；矢量平滑部分通过量化邻域细化矢量对当前1/16子块的影响，确定最优的滤波系数，从而进一步分解得到1/16子块的运动矢量。本发明所述的一种利用邻域运动信息的运动矢量后处理系统，仅需少量的存储器、查找表及运算逻辑实现，并可以获得较好的运动矢量处理效果。

Description

一种利用邻域运动信息的运动矢量后处理系统

技术领域

本发明涉及视频后处理技术领域，具体地，涉及一种利用邻域运动信息的运动矢量后处理系统。

背景技术

帧率上变换是克服LCD(Liquid Crystal Display的简称)液晶显示器运动模糊的有效的技术之一，目前已被广泛使用在高端数字电视中。帧率上变换技术的关键在于获得真实的运动矢量。然而，帧率上变换器件中的运动估计模块普遍采用块匹配算法，这类方法简单、易于实现，但无法保证真实的运动矢量。因此，运动矢量后处理技术变得尤为重要。在帧率上变换器件中，运动矢量后处理紧接在运动估计后端，要求能有效地提高运动矢量的准确度和平滑度，并能满足实时要求。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种利用邻域运动信息的运动矢量后处理系统，仅用少量的存储器、查找表及逻辑资源，获得较好的运动矢量处理效果。

为实现以上目的，本发明提供一种利用邻域运动信息的运动矢量后处理系统，包括矢量细化和矢量平滑两级流水线，其中：所述矢量细化流水线与所述矢量平滑流水线分别利用邻域运动信息对当前运动进行分解，即所述矢量细化流水线对原始的运动进行1/4分解，所述矢量平滑流水线进一步对细化后的运动进行1/4分解，最终得到更精细、更平滑的运动矢量场。

优选地，所述的矢量细化流水线包括：遮蔽模式判别模块、矢量细化模块和细化矢量缓存模块，其中：

遮蔽模式判别模块，用于确定待细化块邻域的遮蔽模式；

矢量细化模块，耦接至遮蔽模式判别模块，用于根据遮蔽模式判别模块确定的待细化块邻域所属遮蔽模式，选用特定位置的邻域矢量对待细化块进行1/4细化分解；

细化矢量缓存模块，耦接至矢量细化模块，用于保存矢量细化模块矢量细化得到的运动矢量。

更优选地，所述遮蔽模式判别模块为确定待细化块邻域的遮蔽模式，完成以下流程：

1)串行输入以待细化块为中心的3*3邻域矢量；

2)根据匹配残差确定邻域是否发生遮蔽，若匹配残差大于阈值，则该邻域块处于遮蔽区域，标记为1，反之标记为0；并输出9bit标记序列；

3)根据标记序列，确定待细化块邻域的遮蔽模式。

更优选地，上述3)中，定义所述遮蔽模式8种以表征运动遮蔽的方向性信息，具体包括：

零遮蔽：当前块不是遮蔽块，无论邻域块是否是遮蔽块；

孤立遮蔽：当前块是遮蔽块，邻域块都不是遮蔽块；

水平遮蔽：当前块和邻域块呈水平方向的遮蔽区域；

竖直遮蔽：当前块和邻域块呈竖直方向的遮蔽区域；

左45度遮蔽：当前块和邻域块呈左45度方向的遮蔽区域；

右45度遮蔽：当前块和邻域块呈右45度方向的遮蔽区域；

复杂遮蔽：当前块是遮蔽块，邻域块中有1-7个遮蔽块，呈不规则的遮蔽区域；

完全遮蔽：当前块和所有邻域块都是遮蔽块。

更优选地，所述矢量细化模块根据当前块的遮蔽模式，选用特定位置的邻域矢量作为候选矢量，计算各候选矢量的匹配误差，选择匹配误差最小的邻域矢量作为当前子块的细化矢量。

更优选地，所述候选矢量包括：已更新的细化矢量以及尚未处理的细化矢量，其中：已更新的细化矢量在细化过程中实时更新，尚未处理的细化矢量继承原始块的运动矢量。

更优选地，所述细化矢量缓存模块仅保存所述矢量平滑流水线访问邻域时所需的细化矢量。

优选地，所述的矢量平滑流水线包括滤波系数计算模块、矢量平滑模块和平滑矢量缓存模块，其中：

所述滤波系数计算模块，用于确定待平滑矢量的邻域细化矢量的滤波系数；

所述矢量平滑模块，耦接至矢量平滑模块，用于根据滤波系数计算模块确定的邻域细化矢量滤波系数，计算当前1/16子块的平滑矢量；

所述平滑矢量缓存模块，耦接至矢量平滑模块，用于保存矢量平滑模块计算得到的平滑矢量结果。

更优选地，所述待平滑矢量的邻域细化矢量的滤波系数自适应地根据以下3个因素确定：

1)邻域矢量之间的平滑度；

2)邻域矢量自身的准确度；

3)运动边界的可能性。

更优选地，所述待平滑矢量的邻域细化矢量的滤波系数通过查找表实现。

与现有技术相比，本发明具有如下的有益效果：

1、矢量细化和矢量平滑两级流水线结构提高了系统的吞吐率和运行速度，保证了系统的实时性；

2、基于多种遮蔽模式的矢量细化能够有效解决遮蔽效应带来的不利影响，提高细化的有效性；

3、矢量平滑流水线考虑影响滤波系数的多种因素，避免了过度平滑、边界平滑；

4、用少量的存储器、查找表及逻辑资源，易于硬件实现。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一优选实施例的系统运行流程图；

图2为本发明一优选实施例的遮蔽模式示意图；

图3为本发明一优选实施例的各模式的候选邻域矢量示意图；

图4为本发明一优选实施例的矢量细化示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本实施例提供一种利用邻域运动信息的运动矢量后处理系统，包括矢量细化和矢量平滑两级流水线结构，其在细化矢量缓存处划分。其中：所述矢量细化流水线包括遮蔽模式判别模块、矢量细化模块和细化矢量缓存模块；所述矢量平滑流水线包括滤波系数计算模块、矢量平滑模块和平滑矢量缓存模块。

作为一个优选实施方式，所述矢量细化流水线包括：遮蔽模式判别模块、矢量细化模块和细化矢量缓存模块，其中：

遮蔽模式判别模块，用于确定待细化块邻域的遮蔽模式；

矢量细化模块，耦接至遮蔽模式判别模块，用于根据遮蔽模式判别模块确定的待细化块邻域所属遮蔽模式，选用特定位置的邻域矢量对待细化块进行1/4细化分解；

细化矢量缓存模块，耦接至矢量细化模块，用于保存矢量细化模块矢量细化得到的运动矢量。

本实施例所述系统中的运动矢量为32bit，由3个分量组成：高12bit代表Y分量，中间12bit代表X分量，低8bit代表匹配残差。

本实施例中，所述遮蔽模式判别模块完成以下功能：

1.串行输入以当前块为中心的3*3邻域矢量；

2.根据匹配残差确定运动矢量是否处于遮蔽区域，若匹配残差大于阈值，则该邻域块处于遮蔽区域，用1标记，反之用0标记；并输出9bit标记序列；

3.根据标记序列，确定当前块的遮蔽模式(如图2所示)，定义8种遮蔽模式，表征运动遮蔽的方向性信息；8种遮蔽模式具体包含：

零遮蔽：当前块不是遮蔽块，无论邻域块是否是遮蔽块；

孤立遮蔽：当前块是遮蔽块，邻域块都不是遮蔽块；

水平遮蔽：当前块和邻域块呈水平方向的遮蔽区域；

竖直遮蔽：当前块和邻域块呈竖直方向的遮蔽区域；

左45度遮蔽：当前块和邻域块呈左45度方向的遮蔽区域；

右45度遮蔽：当前块和邻域块呈右45度方向的遮蔽区域；

复杂遮蔽：当前块是遮蔽块，邻域块中有1-7个遮蔽块，呈不规则的遮蔽区域；

完全遮蔽：当前块和所有邻域块都是遮蔽块。

本实施例中，所述矢量细化模块根据当前块的遮蔽模式，选用特定位置的邻域矢量作为候选矢量，计算各候选矢量的匹配误差，选择匹配误差最小的邻域矢量作为当前子块的细化矢量。由于沿着遮蔽方向的邻域矢量显然是不可靠的，因此选用垂直于遮蔽方向的邻域矢量进行矢量细化。各模式的候选邻域矢量如图3及下表所示(其中V_p表示待细化子块对应的当前块的运动矢量，抖动矢量是一系列符合高斯分布的小范围的运动矢量)。

上述候选邻域矢量包括已更新的细化矢量以及尚未处理的细化矢量，前者在细化过程中实时更新，后者继承原始块的运动矢量。

本实施例中，扫描顺序按照左上到右下、左下到右上的交替顺序逐帧进行。以V_A1、V_A2为例，当左上到右下扫描时，V_A1、V_A2为更新的细化矢量；当左下到右上扫描时，它们尚未处理，与所在的原始块的矢量相同。

作为一个优选实施方式，所述矢量平滑流水线包括滤波系数计算模块、矢量平滑模块和平滑矢量缓存模块，其中：

滤波系数计算模块，用于确定待平滑矢量的邻域细化矢量的滤波系数；

矢量平滑模块，耦接至矢量平滑模块，用于根据滤波系数计算模块确定的邻域细化矢量滤波系数，计算当前1/16子块的平滑矢量；

平滑矢量缓存模块，耦接至矢量平滑模块，用于保存矢量平滑模块计算得到的平滑矢量结果。

本实施例中，所述细化矢量缓存模块保存矢量细化流水线得到的运动矢量，只保存矢量平滑流水线访问邻域所需要的区域。为了保证系统的因果性，矢量细化块组与矢量平滑块组之间的相对位置关系如图4所示。完成当前矢量平滑块组，仅需要保存区域1的两行细化矢量和区域2的三个块组的细化矢量，如图4所示的灰色区域。以分辨率为1920*1080、原始块为16*16pix为例，矢量细化缓存的容量为：

(3*8+2*1920/16)*4*32bit＝4.125KB

为确定滤波系数，滤波系数确定模块考虑3个因素：邻域矢量之间的平滑度、邻域矢量自身的准确度及运动边界的可能性，并将它们量化为指数函数，分别为 那么最终的滤波系数为并进行归一化。由于滤波系数自适应于不同的块，实现中用查找表实现。w₁、w₂、w₃用8bit量化，定点化的精度为16bit，那么查找表的最大容量为：

2^(8+2)*16bit＝2KB

所述矢量平滑模块完成滤波功能，完成9个1/4子块邻域运动矢量与对应滤波系数的乘加运算；矢量平滑处理的结果保存在所述平滑矢量缓存模块。

本发明所述矢量细化和矢量平滑两级流水线结构提高了系统的吞吐率和运行速度，保证了系统的实时性；基于多种遮蔽模式的矢量细化能够有效解决遮蔽效应带来的不利影响，提高细化的有效性；矢量平滑流水线考虑影响滤波系数的多种因素，避免了过度平滑、边界平滑；仅需少量的存储器、查找表及运算逻辑实现，并可以获得较好的运动矢量处理效果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种利用邻域运动信息的运动矢量后处理系统，其特征在于，包括矢量细化和矢量平滑两级流水线，其中：所述矢量细化流水线与所述矢量平滑流水线分别利用邻域运动信息对当前运动进行分解，即所述矢量细化流水线对原始的运动进行1/4分解，所述矢量平滑流水线进一步对所述矢量细化流水线细化后的运动进行1/4分解，最终得到更精细、更平滑的运动矢量场。

2.根据权利要求1所述的一种利用邻域运动信息的运动矢量后处理系统，其特征在于，所述矢量细化流水线包括：遮蔽模式判别模块、矢量细化模块和细化矢量缓存模块，其中：

遮蔽模式判别模块，用于确定待细化块邻域的遮蔽模式；

矢量细化模块，耦接至遮蔽模式判别模块，用于根据遮蔽模式判别模块确定的待细化块邻域所属遮蔽模式，选用特定位置的邻域矢量对待细化块进行1/4细化分解；

细化矢量缓存模块，耦接至矢量细化模块，用于保存矢量细化模块矢量细化得到的运动矢量。

3.根据权利要求2所述的一种利用邻域运动信息的运动矢量后处理系统，其特征在于，所述遮蔽模式判别模块为确定待细化块邻域的遮蔽模式完成以下流程：

1)串行输入以待细化块为中心的3*3邻域矢量；

2)根据匹配残差确定邻域是否发生遮蔽，若匹配残差大于阈值，则该邻域块处于遮蔽区域，标记为1，反之标记为0；并输出9bit标记序列；

3)根据标记序列，确定待细化块邻域的遮蔽模式。

4.根据权利要求3所述的一种利用邻域运动信息的运动矢量后处理系统，其特征在于，所述3)中，定义所述遮蔽模式8种以表征运动遮蔽的方向性信息，包括：

零遮蔽：当前块不是遮蔽块，无论邻域块是否是遮蔽块；

孤立遮蔽：当前块是遮蔽块，邻域块都不是遮蔽块；

水平遮蔽：当前块和邻域块呈水平方向的遮蔽区域；

竖直遮蔽：当前块和邻域块呈竖直方向的遮蔽区域；

左45度遮蔽：当前块和邻域块呈左45度方向的遮蔽区域；

右45度遮蔽：当前块和邻域块呈右45度方向的遮蔽区域；

复杂遮蔽：当前块是遮蔽块，邻域块中有1-7个遮蔽块，呈不规则的遮蔽区域；

完全遮蔽：当前块和所有邻域块都是遮蔽块。

5.根据权利要求2所述的一种利用邻域运动信息的运动矢量后处理系统，其特征在于，所述矢量细化模块根据当前块的遮蔽模式，选用特定位置的邻域矢量作为候选矢量，计算各候选矢量的匹配误差，选择匹配误差最小的邻域矢量作为当前子块的细化矢量。

6.根据权利要求5所述的一种利用邻域运动信息的运动矢量后处理系统，其特征在于，所述候选矢量包括：已更新的细化矢量以及尚未处理的细化矢量，其中：已更新的细化矢量在细化过程中实时更新，尚未处理的细化矢量继承原始块的运动矢量。

7.根据权利要求2所述的一种利用邻域运动信息的运动矢量后处理系统，其特征在于，所述细化矢量缓存模块仅保存所述矢量平滑流水线访问邻域时所需的细化矢量。

8.根据权利要求1-7任一项所述的一种利用邻域运动信息的运动矢量后处理系统，其特征在于，所述矢量平滑流水线包括滤波系数计算模块、矢量平滑模块和平滑矢量缓存模块，其中：

滤波系数计算模块，用于确定待平滑矢量的邻域细化矢量的滤波系数；

矢量平滑模块，耦接至矢量平滑模块，用于根据滤波系数计算模块确定的邻域细化矢量滤波系数，计算当前1/16子块的平滑矢量；

平滑矢量缓存模块，耦接至矢量平滑模块，用于保存矢量平滑模块计算得到的平滑矢量结果。

9.根据权利要求8所述的一种利用邻域运动信息的运动矢量后处理系统，其特征在于，所述的滤波系数自适应地根据以下3个因素确定：

1)邻域矢量之间的平滑度；

2)邻域矢量自身的准确度；

3)运动边界的可能性。

10.根据权利要求8所述的一种利用邻域运动信息的运动矢量后处理系统，其特征在于，所述的滤波系数通过查找表实现。