CN106331723B - 一种基于运动区域分割的视频帧率上变换方法及系统 - Google Patents

Abstract

本发明公开一种基于运动区域分割的视频帧率上变换方法及系统，所述方法步骤为：提取视频图像的特征点；在图像之间进行特征点匹配，获取特征点的运动矢量；对特征点运动矢量聚类处理，提取运动区域信息；将运动区域的运动信息，从特征点出发，传播到图像中的其它每一个像素点，获得逐像素的运动区域分割结果和初始的逐像素运动矢量场；根据运动区域分割结果，对运动矢量场进行平滑滤波，获得优化的运动矢量场；根据运动矢量场进行补偿插值，获得内插帧图像，完成帧率的上变换。本发明能够准确地得到视频中的运动区域信息，并有效地辅助运动估计，运动矢量滤波，完成视频帧率的上变换，提高视频观看体验。

Description

一种基于运动区域分割的视频帧率上变换方法及系统

技术领域

本发明属于视频帧率上变换领域，具体地，涉及一种基于运动区域分割的视频帧率上变换方法及系统。

背景技术

视频帧率上变换，是一种将低帧率视频上变换成高帧率视频的技术，用于提高视频的观看体验。它在低帧率视频的原始帧之间，通过数字信号处理的方法，估计出一幅中间帧，以实现物体运动的更平滑的过渡。

基于这一目的，大多数的帧率上变换算法，分为两步进行：首先是通过某种技术估计出视频中物体运动的信息，然后利用这些信息估计出物体在中间帧所处的位置和像素值。一般地，前者被称为运动估计，后者被称为运动补偿插值。

传统上，在电视信号处理中，一般为了达到实时处理的性能，要求运动估计和运动补偿插值的计算复杂度较低，因此，很多方法采用的是基于块的运动估计和补偿插值，即将图像帧划分成一个个的图像块，为每一个图像块估计出运动矢量，与计算出逐像素的运动矢量相比，计算复杂度低、易于芯片实现，得到较多应用。

但是，这类基于块的运动估计方法，对于复杂运动的处理能力较差，而且所得到的运动矢量场无法反映物体的真实运动矢量。而且由于图像块与画面物体的内容不相关，具有不同运动的物体可能被划分到同一图像块内。

经检索，公开号为CN103220488 A、申请号为CN 201310135376，公开了一种视频帧率上转换装置及方法，所述装置包括输入/输出模块、运动估计模块、运动矢量中值滤波模块、重构模块、去块效应滤波模块、DDR及控制器模块、状态机控制模块等。该装置可以提升视频帧率，生成具有高质量的视频。所述方法包括如下步骤：对重构帧的前向帧和后向帧分别进行运动估计；依据运动估计得到的SAD值(差的绝对值之和)和当前块的阈值进行比较，从而采用多帧外推、直接内插或者进行可变块大小以及自适应阈值判决的运动估计方法；通过运动估计得到初始的运动矢量并更新当前图像块的阈值；使用基于时域和空域的中值滤波方法滤除估计错误的运动矢量；进行重构和去块效应滤波并输出。

但是，上述发明属于一种基于块的运动估计方法，在获取真实运动矢量上性能欠佳，尽管采用基于时域和空域的中值滤波方法滤除错误的运动矢量，在运动物体的边缘处，依然无法保证矢量场的最优性。因而该发明所生成的视频在运动物体附近会留下较多瑕疵。

发明内容

针对现有技术中的缺陷以及其应用的局限性，本发明的目的是提供一种基于运动区域分割的视频帧率上变换方法及系统，能够提高物体运动估计准确性，改善插帧质量，特别是运动物体边缘的插帧效果。

根据本发明的第一方面，提供一种基于运动区域分割的视频帧率上变换方法，包括如下步骤：

步骤一，提取原始视频图像的特征点；

步骤二，在两幅原始视频图像之间进行特征点匹配，获取特征点的运动矢量；

步骤三，对特征点运动矢量进行自适应聚类，提取运动区域信息；

步骤四，从特征点出发，将运动区域信息传播到图像中的其它每一个像素点，获得逐像素的运动区域分割结果和初始运动矢量场；

步骤五，根据运动区域分割结果，对初始运动矢量场进行平滑滤波，获得优化的运动矢量场；

步骤六，根据优化的运动矢量场进行补偿插值，计算两原始帧之间的内插帧图像，完成帧率的上变换。

优选地，步骤一中：所述的特征点，是指：通过某种特征提取算子得到的图像的具有独特信息的像素点。

优选地，步骤二中：所述的特征点匹配，是指：根据特征点的特征描述算子，以两幅图像中的第一幅图像的任意一个特征点为查询点，以另一幅图像的所有特征点为候选点，找到与查询点有最高相似度的候选点作为最佳候选点，则该最佳候选点与查询点构成匹配关系，根据两点的空间相对坐标关系，计算出查询点的运动矢量。

优选地，步骤三中：所述的特征点自适应聚类，包含以下步骤：

a)初始化聚类，即指定聚类个数和聚类中心；

b)根据步骤二提供的特征点运动矢量，进行聚类迭代，多次迭代，收敛后得到优化的聚类中心；

c)根据聚类中心，得到运动区域个数和每个运动区域对应的中心运动矢量；另一方面，缓存当前帧的聚类结果，用于初始化下一帧图像特征点自适应聚类时所需的聚类个数和聚类中心。

优选地，步骤四中，所述的获取逐像素的运动区域分割结果和初始运动矢量场，是指：对每一个待确定所属运动区域和运动矢量的像素点：如果该像素点本身是一个特征点，则根据步骤二的结果，直接确定它的运动矢量，并且根据步骤三的特征点运动矢量自适应聚类结果，直接确定它所属的运动区域；如果该像素点本身不是一个特征点，则查看该像素点临近的多个像素点所属的区域和所获得的运动矢量，以它们为候选，按照最优化的准则，选择最优结果，得到该像素点的运动区域和运动矢量。

更优选地，所述的最优化准则，是指：候选运动矢量的匹配误差与候选运动矢量的运动区域偏离度之和最小化。

更优选地，所述的候选运动矢量的匹配误差，是指：当前帧的图像块与候选运动矢量所指向的参考帧的图像块的逐像素差值的绝对值之和。

更优选地，所述的候选运动矢量的运动区域偏离度，是指：候选运动矢量与候选运动区域所对应的中心运动矢量之差。

优选地，步骤五中，所述的对初始运动矢量场进行平滑滤波，是指：根据当前像素点的运动矢量与周围的像素点运动矢量差异，以及根据当前像素点的所属运动区域与周围的像素点运动区域，加权平滑滤波。

优选地，步骤六中，所述的根据运动矢量场进行补偿插值，是指：对原始图像的每个像素，根据它的运动矢量，计算它在内插帧上的位置，以得到内插帧上该位置处的像素取值。

根据本发明的第二方面，提供一种基于运动区域分割的视频帧率上变换系统，包括：

特征点提取模块，用于提取原始视频图像的特征点，并将结果传给特征点运动矢量获取模块；

特征点运动矢量获取模块，用于在两幅原始视频图像之间进行特征点匹配，获取特征点的运动矢量，并将结果传给自适应聚类模块；

自适应聚类模块，用于对特征点运动矢量进行自适应聚类，提取运动区域信息，并将结果传给信息传播模块；

信息传播模块，用于从特征点出发，将运动区域信息传播到图像中的其它每一个像素点，获得逐像素的运动区域分割结果和初始运动矢量场，并将结果传给运动矢量场优化模块；

运动矢量场优化模块，用于根据运动区域分割结果，对初始运动矢量场进行平滑滤波，获得优化的运动矢量场；

补偿插值模块，根据优化的运动矢量场进行补偿插值，计算两原始帧之间的内插帧图像，完成帧率的上变换。

与现有技术相比，本发明具有如下的有益效果：

本发明通过特征提取的方法获取运动矢量，相比于传统方法更为准确，更能反映物体特征点的真实运动矢量；

本发明通过对运动区域进行分割，辅助运动估计，相比于基于块的运动估计所忽略的不同运动区域有着不同运动矢量这一问题，本发明在运动区域边界处更能得到准确的运动矢量；

本发明所采用的运动区域聚类方法具有极高的自适应性，能够自适应调整运动区域个数；本发明所采用的运动区域聚类方法，采用的是特征点运动矢量集，具有数据量少，处理速度快的优点；

本发明得到了逐像素点的运动矢量，相比于逐块的运动矢量，更为稠密，更能准确描述画面中的物体运动情况。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一实施例的视频帧率上变换方法流程图；

图2是本发明一实施例的特征点运动矢量自适应聚类方法原理图；

图3是本发明一实施例的前向和后向运动矢量插帧方法原理图；

图4为本发明一实施例的系统结构框图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，一种基于运动区域分割的视频帧率上变换方法，包括如下步骤：

步骤一，提取原始视频图像的特征点；

本实施例采用了SIFT特征检测和描述算子，它能够提取到图像中具有角点特性的像素点，作为特征点，并统计该像素点周围64x64范围内的直方图分布情况，并生成一个128维的特征描述矢量，矢量经过单位化处理后，作为该特征点的特征矢量。

步骤二，在两幅原始图像之间进行特征点匹配，获取特征点的运动矢量；

本步骤中，以两幅图像中的第一幅图像的任意一个特征点为查询点，以另一幅图像的所有特征点为候选点，找到与查询点有最高相似度的候选点，则该最佳候选点与查询点构成匹配关系，根据两点的空间相对坐标关系，计算出查询点的运动矢量。其中计算相似的方法为计算两个特征矢量的内积，内积结果越大，则相似度越高。

步骤三，对特征点运动矢量进行自适应聚类，提取运动区域信息；

本步骤中，如图2所示，特征点自适应聚类，包含以下步骤：

a)初始化聚类，即指定聚类个数和聚类中心；聚类个数也就是分类个数，由于同一运动区域内的物体运动矢量基本相同，那么这些区域内的特征点运动矢量也基本相同。所以，进行自适应聚类的聚类中心也是一个运动矢量，称为中心运动矢量。

b)根据步骤二提供的特征点运动矢量，进行聚类迭代，多次迭代，收敛后得到优化的聚类中心；本实施例采用的聚类迭代方法是K mean聚类方法，其过程为：首先对于每一个特征点运动矢量，计算该运动矢量到每一个聚类中心运动矢量的距离，选择距离最小的分类作为该运动矢量所属的类别，因此可以得到所有特征点所属的类别；然后，对于每一个分类，计算该类内所包含有的所有运动矢量的平均值，作为更新的中心运动矢量，因此可以得到所有分类的中心运动矢量。该过程可以反复迭代，直至收敛。

c)根据聚类中心，得到运动区域个数和每个运动区域对应的中心运动矢量；另一方面，缓存当前帧的聚类结果，用于初始化下一帧图像特征点自适应聚类时所需的聚类个数和聚类中心。在视频中，认为运动区域的个数变化是缓慢的，每连续两帧之间，运动区域的个数基本保持不变、或者运动区域数目加一、或者减一。通过这一缓存处理，每一次的步骤b)的聚类迭代过程所需的迭代次数大幅减少，因而可以更快速地收敛。

步骤四，从特征点出发，将运动区域的信息，传播到图像中的其它每一个像素点，获得逐像素的运动区域分割结果和初始运动矢量场；

本步骤中，获取逐像素的运动区域分割结果和初始运动矢量场，方法是对每一个待确定所属运动区域和运动矢量的像素点：

如果该像素点本身是一个特征点，则根据步骤二的结果，直接确定它的运动矢量，并且根据步骤三的特征点运动矢量自适应聚类结果，直接确定它所属的运动区域；如果该像素点本身不是一个特征点，则查看该像素点临近的多个像素点所属的区域和所获得的运动矢量，以它们为候选，按照最优化的准则，选择最优结果，得到该像素点的运动区域和运动矢量。

最优化准则采用的是，候选运动矢量的匹配误差与候选运动矢量的运动区域偏离度之和最小化。其中：

候选运动矢量的匹配误差，是指：当前帧的图像块与候选运动矢量所指向的参考帧的图像块的逐像素差值的绝对值之和；

候选运动矢量的运动区域偏离度，是指：候选运动矢量与候选运动区域所对应的中心运动矢量之差。

步骤五，根据运动区域分割结果，对初始运动矢量场进行平滑滤波，获得优化的运动矢量场；

本步骤中，对初始运动矢量场进行平滑滤波，是指：根据当前像素点的运动矢量与周围的像素点运动矢量差异，以及根据当前像素点的所属运动区域与周围的像素点运动区域，加权平滑滤波。

步骤六，根据运动矢量场进行补偿插值，计算两原始帧之间的内插帧图像，完成帧率的上变换。

本步骤中，根据运动矢量场进行补偿插值，是指：对原始图像的每个像素，根据它的运动矢量，计算它在内插帧上的位置，以得到内插帧上该位置处的像素取值。如图3所示，在两幅原始帧图像之间内插出中间帧的方法是，通过前一原始帧的前向运动矢量场和后一原始帧的后向运动矢量场，分别内插出中间帧，并加权合并到一起。

如图4所示，基于上述的方法步骤，提供一种用于实现上述方法的视频帧率上变换系统，包括：

特征点提取模块，用于提取原始视频图像的特征点，并将结果传给特征点运动矢量获取模块；

特征点运动矢量获取模块，用于在两幅原始视频图像之间进行特征点匹配，获取特征点的运动矢量，并将结果传给自适应聚类模块；

自适应聚类模块，用于对特征点运动矢量进行自适应聚类，提取运动区域信息，并将结果传给信息传播模块；

信息传播模块，用于从特征点出发，将运动区域信息传播到图像中的其它每一个像素点，获得逐像素的运动区域分割结果和初始运动矢量场，并将结果传给运动矢量场优化模块；

运动矢量场优化模块，用于根据运动区域分割结果，对初始运动矢量场进行平滑滤波，获得优化的运动矢量场；

补偿插值模块，根据优化的运动矢量场进行补偿插值，计算两原始帧之间的内插帧图像，完成帧率的上变换。

本发明基于运动区域分割的视频上变换系统中各个模块的具体实现的技术，参照上述方法对应步骤，这对于本领域技术人员是很好理解和实现的，在此不再赘述。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于运动区域分割的视频帧率上变换方法，其特征在于，包括如下步骤：

步骤一，提取原始视频图像的特征点；

步骤二，在两幅原始视频图像之间进行特征点匹配，获取特征点的运动矢量；

步骤三，对特征点运动矢量进行自适应聚类，提取运动区域信息；

步骤四，从特征点出发，将运动区域信息传播到图像中的其它每一个像素点，获得逐像素的运动区域分割结果和初始运动矢量场；

其中，对每一个待确定所属运动区域和运动矢量的像素点：

如果该像素点本身是一个特征点，则根据步骤二的结果，直接确定它的运动矢量，根据步骤三的特征点运动矢量自适应聚类结果，直接确定它所属的运动区域；

如果该像素点本身不是一个特征点，则查看该像素点临近的多个像素点所属的区域和所获得的运动矢量，以它们为候选，按照最优化的准则，选择最优结果，得到该像素点的运动区域和运动矢量；

步骤五，根据运动区域分割结果，对初始运动矢量场进行平滑滤波，获得优化的运动矢量场；

步骤六，根据优化的运动矢量场进行补偿插值，计算两原始帧之间的内插帧图像，完成帧率的上变换。

2.根据权利要求1所述的视频帧率上变换方法，其特征在于，步骤一中，所述的特征点，是指：通过特征提取算子得到的图像的具有角点特性的像素点。

3.根据权利要求1所述的视频帧率上变换方法，其特征在于，步骤二中，所述的特征点匹配，是指：根据特征点的特征描述算子，以两幅图像中的第一幅图像的任意一个特征点为查询点，以另一幅图像的所有特征点为候选点，找到与查询点有最高相似度的候选点作为最佳候选点，则该最佳候选点与查询点构成匹配关系，根据两点的空间相对坐标关系，计算出查询点的运动矢量。

4.根据权利要求1所述的视频帧率上变换方法，其特征在于，步骤三中，所述的对特征点运动矢量进行自适应聚类，包含以下步骤：

a)初始化聚类，即指定聚类个数和聚类中心；

b)根据步骤二提供的特征点运动矢量，进行聚类迭代，多次迭代，收敛后得到优化的聚类中心；

c)根据聚类中心，得到运动区域个数和每个运动区域对应的中心运动矢量；另一方面，缓存当前帧的聚类结果，用于初始化下一帧图像特征点自适应聚类时所需的聚类个数和聚类中心。

5.根据权利要求4所述的视频帧率上变换方法，其特征在于，使用当前帧聚类结果初始化下一帧图像特征点所需的聚类个数和聚类中心，是指：在视频中，认为运动区域的个数变化是缓慢的，每连续两帧之间，运动区域的个数基本保持不变，或者运动区域数目加一，或者运动区域数目减一。

6.根据权利要求1所述的视频帧率上变换方法，其特征在于，所述的最优化的准则，是指：候选运动矢量的匹配误差与候选运动矢量的运动区域偏离度之和最小化；

所述的候选运动矢量的匹配误差，是指：当前帧的图像块与候选运动矢量所指向的参考帧的图像块的逐像素差值的绝对值之和；

所述的候选运动矢量的运动区域偏离度，是指：候选运动矢量与候选运动区域所对应的中心运动矢量之差。

7.根据权利要求1-6任一项所述的视频帧率上变换方法，其特征在于，步骤五中，所述的对初始运动矢量场进行平滑滤波，是指：根据当前像素点的运动矢量与周围的像素点运动矢量差异，以及根据当前像素点的所属运动区域与周围的像素点运动区域，加权平滑滤波。

8.根据权利要求1-6任一项所述的视频帧率上变换方法，其特征在于，步骤六中，所述的根据优化的运动矢量场进行补偿插值，是指：对原始图像的每个像素，根据它的运动矢量，计算它在内插帧上的位置，以得到内插帧上该位置处的像素取值。

9.一种实现权利要求1-8任一项所述方法的基于运动区域分割的视频帧率上变换系统，其特征在于包括：

特征点提取模块，用于提取原始视频图像的特征点，并将结果传给特征点运动矢量获取模块；

特征点运动矢量获取模块，用于在两幅原始视频图像之间进行特征点匹配，获取特征点的运动矢量，并将结果传给自适应聚类模块；

自适应聚类模块，用于对特征点运动矢量进行自适应聚类，提取运动区域信息，并将结果传给信息传播模块；

信息传播模块，用于从特征点出发，将运动区域信息传播到图像中的其它每一个像素点，获得逐像素的运动区域分割结果和初始运动矢量场，并将结果传给运动矢量场优化模块；

运动矢量场优化模块，用于根据运动区域分割结果，对初始运动矢量场进行平滑滤波，获得优化的运动矢量场；

补偿插值模块，根据优化的运动矢量场进行补偿插值，计算两原始帧之间的内插帧图像，完成帧率的上变换。