CN102131058B - 高清数字视频帧速率变换处理模块及其方法 - Google Patents

Abstract

一种高清数字视频帧速率变换处理模块，包括电影模式识别预处理模块、运动估计与补偿模块、自适应插值算法帧速率变换模块和客观质量评价模块。本发明还是一种视频帧速率变换方法，包括步骤：识别视频源类别确定其视频格式，对视频流进行交织或反交错，完成视频场至帧恢复并消除图像梳妆缺陷；用运动估计补偿算法对帧与帧之间的运动向量进行估计，识别运动物体有无被遮挡的情形并确定其位置；根据运动估计信息，自适应地对运动物体未被遮挡的帧与帧之间进行加权平均插值，或对于运动物体被遮挡的图像情形，自适应地对不同区域进行保护性插值；建立视频处理质量的客观评价模型，用其给出的质量评分修正帧速率变换的可调整参数，从而优化视频处理质量。

Description

高清数字视频帧速率变换处理模块及其方法

技术领域

本发明涉及数字视频处理技术，特别是涉及一种应用于高清电视及机顶盒中的优化的数字视频帧速率变换处理模块及其方法。

背景技术

高端平板显示器的飞速发展使其刷新频率越来越高，已经从传统的60Hz上升至120Hz甚至200Hz。视频流在经过解码后需要进行视频后处理，即视频质量增强处理。其中，帧速率上变换算法是视频后处理算法流水线中的重要处理模块。该模块对视频流进行帧与帧之间的插值，从而完成帧速率的上变换，使视频流的帧速率与显示器的刷新频率相匹配。现有的视频帧速率处理方法中尚存在以下问题有待解决。

-在进行帧速率变换之前，尚未对视频做足够的预处理，导致对不同的视频源帧变换处理后的实际效果不同。举例来说，60帧的视频图像（video）与60帧的电影图像（Film）由于其帧格式不同，因而对于帧速率变换处理来说有不同的要求。因此有必要自动进行电影格式识别（Film Mode Detection），实行下拉、重复帧剔除等预处理，从而在最大程度上减少视频跳动的来源。

-面向帧速率变换所需要的运动估计与补偿算法的复杂度还太高。从提高性能的目的出发，针对高清乃至超高清图像与高刷新频率，面对的是如何有效保证运动向量的连续性，从而降低图像块效应、视频模糊、物体光晕等现象的问题；而从降低复杂度方面来讲，面对的则是如何实现算法的简洁有效，从而适合硬件的实现效率。

-如何既保证帧速率变换的插值算法的性能又能降低算法的复杂度。在性能上，需要有效解决运动物体的遮挡带来的插值错误，从而能够进行大跨度（8帧、24帧至200帧）的帧速率变换；在复杂度问题上，所面对的也是如何实现算法的简洁有效性，从而使算法更适合硬件实现。

-基于视频质量如何优化帧速率变换处理的效果，依然是当前尚未彻底解决的一个技术难点。

因此，确实亟待提出改进的高清视频帧速率变换方法，来克服现有技术中存在的上述缺陷和不足。

发明内容

本发明一方面的目的是提供一种视频帧速率变换处理方法，该方法包括：步骤一，识别视频源类别，并根据所确定的视频格式，对视频流进行交织或者反交错，完成视频场至帧的恢复并消除图像梳妆缺陷；步骤二，利用运动估计与补偿算法对帧与帧之间的运动向量进行估计，识别运动物体有无被遮挡的情形并确定其位置；步骤三，根据运动估计信息，对于运动物体未被遮挡的图像情形，自适应地选择对运动物体未被遮挡的帧与帧之间进行加权平均插值，或对于运动物体被遮挡的图像情形，自适应地选择对不同的区域采取保护性插值；以及步骤四，对视频处理质量建立客观评价模型，用所述客观评价模型计算输出的视频质量评分修正帧速率变换处理的可调整参数，从而使视频处理质量优化。

进一步地，本发明的视频帧速率变换处理方法在完成场至帧的恢复之后，还要进行重复帧的剔除处理，以此消除视频抖动现象。

优选地，本发明的视频帧速率变换处理方法在运动估计与补偿算法中，首先对视频进行下采样，然后对于低分辨率的图像进行运动估计，采用模块匹配法对图像中的每个模块提供一个运动向量，使得该运动向量的精确度在空间与时间域的邻近候选向量中最优化。

进一步地，本发明的视频帧速率变换处理方法对于任一当前处理模块的候选运动向量，根据其所有候选运动向量的分布确定一个阈值，对于当前模块位于一个图像物体内部的，选出与所述阈值差别最小的部分候选运动向量；或对于当前模块位于一个图像中两个物体或者多个物体之间的，选出与所述阈值差别最大的部分候选运动向量，从而减少候选运动向量的个数。

优选地，本发明的视频客观质量评估是通过剔除视频流中的原有帧，仅保留插值帧；然后，对插值帧采用相同的帧速率变换算法进行二次插值，从而放大算法可能产生的缺陷，再将二次插值产生的插值帧与原有帧进行对比，运用所述客观质量评估模型来衡量均方误差MSE（Mean Square Error）以及峰值信噪比PSNR（Peak Signal to Noise Ratio）等参数。对这些参数给予打分之后，可以将打分的数值反馈给视频预处理、运动估计和补偿、以及帧速率变换处理步骤，修正上述处理步骤中的可调整参数，例如运动估计的范围、窗口大小等，从而优化算法以及视频处理质量。

本发明的另一方面目的在于提供一种视频帧速率变换处理模块，该模块包括电影模式识别预处理模块，用于识别视频源类别，并根据所确定的视频格式，决定对视频流进行交织或者反交错，完成视频场至帧的恢复并消除图像梳妆缺陷；运动估计与补偿模块，利用运动估计与补偿算法对帧与帧之间的运动向量进行估计，识别运动物体有无被遮挡的情形并确定其位置；一自适应插值算法帧速率变换模块，根据运动估计信息，对于运动物体未被遮挡的图像情形，自适应地选择对运动物体未被遮挡的帧与帧之间进行加权平均插值，或对于运动物体有被遮挡的图像情形，自适应地选择对不同的区域采取保护性插值；以及客观质量评价模块，用于对视频处理质量建立客观评价模型，用所述客观评价模型输出的视频质量评分来修正帧速率变换处理的可调整参数，从而使视频处理的质量优化。

附图说明

图1为根据本发明原理的视频帧速率变换处理模块的概要框图。

图2为根据本发明原理的视频帧速率变换处理方法的总流程图。

图3为显示由于非正确识别视频格式而导致梳妆缺陷的图像实样。

图4为根据本发明的视频帧速率变换方法实行电影格式识别步骤的流程图。

图5为根据本发明的面向视频帧速率变换的运动估计与补偿步骤的流程图。

图6为根据本发明的运用自适应插值算法实行帧速率变换步骤的流程图。

图7为根据本发明的对于帧速率变换视频处理输出的视频建立客观质量评估步骤的流程图。

具体实施方式

图1描述了根据本发明的帧速率变换处理模块的概要框图，本发明对高清数字视频流的处理主要包括以下四大模块：

一）电影模式识别预处理模块100

首先，在这个预处理模块100要对高清数字视频流进行电影模式识别预处理，利用电影模式识别算法识别出视频源属于何种类别以及何种下拉格式，例如，但不仅限于：3:2、2:2、6:4、8:7等下拉格式；然后，再根据不同的下拉格式，完成场至帧的转换，从中提取出有效帧并剔除重复帧，确保视频从场到帧的恢复，保证帧的非重复性，为减少视频的跳动来源奠定基础。

二）运动估计与补偿模块200

完成模块100的预处理之后的视频流是一个连续非重复的图像流，接下来，在运动估计与补偿模块200利用运动估计与补偿算法对帧与帧之间的运动向量进行估计，并识别运动物体有无被遮挡的情形并确定其位置，为完成帧与帧之间的插值做准备。

三）自适应插值算法帧速率变换模块300

在该帧速率变换模块300，根据运动估计信息，对于运动物体被遮挡与未被遮挡的图像情形，自适应地采用通常的运动补偿算法对运动物体未被遮挡的帧与帧之间进行加权平均（MotionCompensated Averaging）插值，或对于运动物体有被遮挡的图像情形，对不同的区域采取保护性插值算法，从而使帧速率变换插值算法的复杂程度最大程度地降低。

四）客观质量评价模块400

在客观质量评价模块400，对于视频处理质量建立一个客观评价模型或者说质量模型（QualityMetrics），根据该客观评价模型计算给出的质量分数来准确反映帧速率变换算法的视频处理质量，譬如检测视频帧速率变换算法中各个模块的处理质量，又譬如能否准确进行电影模式识别、运动向量估计，以及插值的有效性等；最终，将客观评价模型输出的结果用于修正并优化帧速率变换算法的可调整参数，从而不断地自反馈调整优化视频处理质量。

下面结合图2的流程图详细描述和介绍本发明的帧速率变换方法，可以进一步说明本发明的实质和要旨，然而，对于本领域的一般技术人员容易理解的是，对这些方法实例的具体说明仅是为了说明本发明的原理，而不是对本发明的保护范围的限定。

总的来说，本发明的帧速率变换处理方法包括：步骤一，识别视频源类别，并根据所确定的视频格式，决定对视频流进行交织或者反交错，完成视频场至帧的恢复并消除图像梳妆缺陷；步骤二，利用运动估计与补偿算法对帧与帧之间的运动向量进行估计，识别运动物体有无被遮挡的情形并确定其位置；步骤三，根据运动估计信息，对于运动物体无被遮挡的图像情形，自适应地选择采用通常的运动补偿算法对运动物体无被遮挡的帧与帧之间进行加权平均插值，或对于运动物体有被遮挡的图像情形，自适应地选择对不同的区域采取保护性插值算法；步骤四，对视频处理质量建立客观评价模型，将该客观评价模型计算给出的视频质量评分用于修正并优化帧速率变换处理的可调整参数。

首先，让我们来介绍以下步骤一针对各种复杂视频图像下拉格式的电影模式识别算法。

电影模式识别算法可以用来检测当前视频流是隔行传输的交错视频（InterlacedVideo），还是特殊下拉格式的电影图像，并依据检测结果进行视频场的反交错处理或视频交织。具体来讲，电影模式识别算法需要完成三个任务：第一，视频格式的识别；第二，协助完成视频场至帧的恢复；第三，区分有效帧与无效帧。如果视频格式被错误识别，视频流图像中将产生明显的梳妆效应（Tearing Artificact），如图3的图像所示。因此，在视频预处理步骤中采用电影模式识别算法就是为了避免出现的梳妆效应而进行的视频种类以及正确下拉格式的识别。

举例来说，假设视频源有三种可能：3:2下拉的电影图像、2:2下拉的电影图像、以及交错视频（Interlaced Video）格式。对于其他特殊的下拉格式，可以采用以下相同的技术路线。图4描述了根据本发明原理的一种电影模式识别算法的技术解决方案。如图4所示，Prev代表视频流中的上一个视频场（time t-1）；Curr代表视频流中的当前场（time t）；Next代表视频流中的下一个场（time t+1）。根据这一算法，使用场匹配统计和梳状缺陷统计来检测输入视频类型。对于一个典型3:2下拉序列的当前场Curr，算法检测该当前场对应的下一个场Next与上一个场Prev是否匹配。可以理解的是，每检测五个当前场Curr，总有一组对应的下一个场Next与上一个场Prev是互相匹配的。这些统计结果被存储在一个序列中，用来检测是否为3:2下拉格式。由于视频噪声的影响，两个场在大部分情况下并不能完美匹配，匹配检测算法的稳定性问题需要解决。理想状态下，上述检测3:2下拉序列的算法是非常稳定的，然而当视频源被改变时（譬如坏编辑（Bad Edit）），则需要在3:2下拉被检测出来后加一个保护步骤。这个保护步骤通过交织上一个场Prev与当前场Curr、交织当前场Curr与下一个场Next、分析统计两种交织产生的梳状缺陷来实现。基于上述的分析结果，在交织与反交错两种候选方案中决定采用哪种方案，以最大程度的减少梳状现象。在2:2下拉格式检测当中，则直接利用梳状缺陷统计。梳状缺陷计数器记下交织当前场Curr和上一场Prev时产生的梳状缺陷数目，通过分析每次交织之后的梳妆缺陷数目，统计并找出下拉规律。最后，视频格式识别算法输出一个决策结果：根据所确定的视频下拉格式，决定对视频流进行交织或者反交错。

对于特殊格式的电影图像，通过对当前场Curr与上一场Prev或者下一场Next进行直接的交织，就可以完美恢复原来的帧。对于非电影格式的交错视频，需要进行反交错。该处理过程可以通过边缘导向的运动自适应反交错算法（Edge-Directed Motion AdaptiveDeinterlacing）来实现。电影模式识别算法的另一个作用是协同反交错算法完成场至帧的恢复。

在完成场至帧的恢复后，原有60个场变为60帧图像。然而对于特殊格式的电影图像（譬如3:2下拉），这60帧中仅有24个有效帧，其他帧均为对这24帧中某帧的重复。在进行帧速率变换插值之前必须剔除这些无效帧，否则视频的跳动效应极为明显。电影模式识别算法中的有效帧与无效帧区分算法的关键是找出并记忆3:2下拉或者2:2下拉序列的起始帧，一旦检测出序列的起始帧，就可以有规律的进行无效帧剔除。对于坏编辑，由于在一定条件下原来的交织被反交错替代，所以无需进行有效帧与无效帧的区分。

接下来，在步骤二面向帧速率变换的运动估计与补偿算法中，主要解决以下三个问题：第一，如何面向高清晰与超高清晰视频以及将来的硬件IC实现降低算法的复杂度；第二，如何保证运动向量场的平滑连续性；第三，如何以运动估计为基础的区分有无被运动物体遮挡的区域。下面结合图5来说明本发明步骤二中的运动估计与补偿算法的具体实施。

首先，面向硬件实现的运动估计算法通常采用模块匹配。但是，针对帧速率变换算法，模块匹配检测评估的候选运动向量个数不能太多，过多的候选向量也必将导致运动向量的大幅度跳跃，或者说运动场的不连续性。同时，对每个候选运动向量，SAD（Sum of AbsoluteDifference）的计算窗口（Window）亦不能太大。如图5所示，针对高清甚至超高清图像，运动估计算法首先要进行下采样（Sub-Sampling（横向2倍，纵向2倍，共四倍的缩小）但是不局限于2两倍，也可以是4倍、8倍等）；然后，对下采样产生的低分辨率图像进行运动估计，得到的运动估计向量应用于高分辨率的整个模块；进而把高分辨率模块切割为四个子模块，分别对这四个子模块再进行一次运动向量优化。在下采样时，为了尽量多地保留原有图像的信息，采用低通滤波产生下采样像素。第二种方案是把图像进行分割，区分静止区域与非静止区域，并对静止区域与非静止区域分别采用不同的采样算法。在保证运动向量估计精确度的情况下，针对低分辨率图像的运动估计，本发明优选地提出了一种“优化的小范围三维运动向量迭代搜索算法（optimized Small Range 3 Dimentional motion vector IterativeSearch Algorithm:SR-3D-ISA）”。

理论分析显示，插值产生的局部性视频缺陷（Local Distortion：譬如halo）要比全局性视频缺陷（Global Degeneration：譬如Blur）更为引人注目，从而更需要从算法上解决。本发明所提出的新的运动估计算法基于以下假设：第一，首先要保证运动场的平滑与连续性，其次是保证运动向量的准确性（至少在迭代的初期阶段，运动向量的准确性放在第二位）；第二，进一步假设视频中的物体比运动估计所需的匹配模块大，同时运动物体有惯性（Inertia）。同时，本发明的小范围三维运动向量迭代搜索算法也是一种面向硬件IC实现的基于模块匹配的算法。假设当前图像为视频流的第n帧，该帧被分割为一系列的模块

为模块的中心。运动估计算法为每个模块提供一个运动向量同时，在一定的搜索区域内

运动向量

为全部候选向量

中的最优结果。

其中，N与M代表的搜索范围。基于本发明运动估计算法的第二个假设可以看出，对候选向量集中的所有向量进行评估计算是不必要的。同时，这些候选向量可以从邻近模块的运动向量中选取。假设模块的高度为H，宽度为W，这些邻近模块可以表示为（+），假设i与j的取值范围为（-1,0,1），则可以表示为：

$C{\stackrel{\→}{V}}_{\mathrm{sub}}=\{C{\stackrel{\→}{V}}_{\mathrm{sub}}\∈C\stackrel{\→}{V};C{\stackrel{\→}{V}}_{\mathrm{sub}}=\stackrel{\→}{V}\left(\begin{array}{c}\stackrel{\→}{X}+\left(\begin{array}{c}\mathrm{iW}\\ \mathrm{iH}\end{array}\right),n\end{array}\right)\}$ 其中i,j=-1,0,1    （2）

通过对上述集合的分析可以看出，算法仅仅利用了2D信息（空间信息）。同时，有四个邻近模块的运动向量尚未计算出来，这四个模块分别为

与

解决该问题的有效方法是将运动估计算法扩展至3D（即利用时间信息），候选向量选取第（n-1）帧中四个模块

与的运动向量。在3D时空间可以表示为公式（3）。

$C{\stackrel{\→}{V}}_{\mathrm{sub}}=\{C{\stackrel{\→}{V}}_{\mathrm{sub}}\∈C\stackrel{\→}{V};C{\stackrel{\→}{V}}_{\mathrm{sub}}=\stackrel{\→}{V}\left(\begin{array}{c}\stackrel{\→}{X}+\left(\begin{array}{c}\mathrm{iW}\\ \mathrm{iH}\end{array}\right),n\end{array},/,(n-1)\right)\}$ 其中i,j=-1,0,1    （3）

通过上述对小范围三维运动向量迭代搜索算法的分析可以看出，首先它是在局部小范围内进行运动向量搜索，能保证运动场的平滑与连续性。同时，该算法还利用三维时空信息，每次对当前模块的运动估计都是基于空间与时间上的邻近模块的运动信息，也就是说，被分为一系列模块的每一帧图像的每个模块提供一个运动向量，并使得该运动向量在空间与时间域的邻近候选向量中最优化，从而保证运动向量在小范围的快速迭代收敛（FastConvergence）。依据上述描述，该算法选取八个候选向量，其中四个来自于空间相邻模块，四个来自于时间相邻模块。尽管八个候选向量已经很少，但是面对高清晰甚至超高清晰视频时，算法的运算量依旧非常大，很难保证算法的软硬件实现能够达到实时处理的效果。

因此，需要在保证运动平滑与准确性的基础上进一步缩小运动向量的数目。首先，将当前处理模块分为两类：第一类，该模块位于一个图像的物体内部；第二类，该模块位于图像中两个物体或者多个物体之间。对于第一类模块，可以预见，该模块的运动向量与空间邻近模块的运动向量接近或者一致。对于第二类模块，可以预见该模块的运动向量与邻近模块的运动向量差别很大。算法首先分析八个候选运动向量的分布情况，设置一个阈值，以此为基础来判断当前模块的类别。针对每一类别，对八个运动向量进行一个简单排序。对于第一类模块，找出四个候选运动向量，这四个运动向量与总体的八个运动向量差别最小，也就是说，对于确定的阈值，如该当前模块位于一个图像物体内部，则其邻近模块的运动向量接近或一致，因而选出其中与所述阈值差别最小的部分作为候选运动向量；而对于第二类模块，找出四个候选向量，这四个运动向量与总体的八个运动向量差别最大，也就是说，对于确定的阈值，如该当前模块位于一个图像中两个物体或者多个物体之间，则其邻近模块的运动向量差别很大，因而选出其中与所述阈值差别最大的部分作为候选运动向量，可以看出，该算法将会进一步减少候选运动向量的个数，从而减少运动估计的运算量。然而，一方面，优化算法将会减少候选运动向量的个数，算法运算量降低；另一方面，由于算法增加对八个运动向量的分析统计过程，这些分析统计势必引起运算量增加，因而算法的优化需要保证收益大于损失。

简单的基于运动估计与补偿的帧速率变换算法，很难解决视频中运动物体遮挡造成的插值问题。因而，插值产生的图像中容易出现运动物体的模糊轮廓，而从时间轴上看，该轮廓是不应该出现的。上述保证运动场平滑连续性的运动估计算法将为解决这一问题提供理论基础。在完成运动估计的基础上，图像中每个模块都有一个运动向量。针对当前模块，算法选取上、下、左、右四个空间邻近模块。然后，通过比较上模块与下模块运动向量的差值以及左模块与右模块的差值，并设定合适的阈值，算法就可以发现当前模块内是否有物体的强边缘（Edges）。如果发现有强边缘（Edges），通过比较左、右以及上、下的运动向量，根据本发明的运动估计与补偿算法可以进一步发现运动物体遮挡与未被遮挡区域。由于需要在两帧之间插值产生一个新的图像，算法需要进一步界定这些被发现的遮挡与未被遮挡区域在新图像中的位置，从而找出在新图像中细化的遮挡与未被遮挡区域（Real Covering and RealUncovering Regions），为步骤三的帧速率变换插值计算提供区域保护依据。

在步骤三的帧速率变换插值步骤中，可以运用基于运动补偿的自适应区域区分插值算法（Motion Compensated Region-Adaptive Interpolation Algorithm:MC-RA-IA）进行插值，该插值算法的具体实施步骤，如图6所示。

首先对输入的运动向量进行插值，从而产生后向运动向量BMV（Backward MotionVector）与前向运动向量FMV（Forward Motion Vector）。假定需要在视频流中的第n帧与第（n-1）帧之间插值产生一帧新的图像第（n-1/2）帧，则BMV描述的是第（n-1/2）帧到第（n）帧的运动向量；而FMV描述的第（n-1）帧到第（n-1/2）帧的运动向量。向后运动补偿模块以及向前运动补偿模块分别根据BMV与FMV向量进行插值，从而产生两个像素数a与b。然后,这两个像素a、b进入加权平均模块，该模块根据BMV与FMV的向量位移大小，对这两个像素a、b进行加权平均产生像素c。如图6中所示，区域保护模块以a、b、c为输入，同时根据BMV与FMV的位移关系，分别从第n帧图像与第（n-1）帧图像中取得相关的邻近像素（Neighboring Pixels），依据步骤二的运动估计算法产生的插值决策，通过对a、b、c以及采样像素的线性或者非线性处理，最后决定输出的像素数值。因而，本发明基于运动补偿的自适应区域区分MC-RA-IA插值算法运用运动估计算法产生的运动向量与插值决策，通过区域保护模块，将有效地解决普通MC插值算法引入的halo缺陷以及遮挡插值问题。

最后在步骤四，对前述帧速率变换算法的输出图像建立客观质量评估模型，如图1和图7所示，在建立客观质量模型的评估模块对插值所产生的新图像进行打分，然后将该打分数值反馈给视频预处理、运动估计和补偿、以及帧速率变换，修正上述处理步骤的可调整参数（譬如运动估计的范围、窗口大小等），使本发明的视频处理算法进一步优化。[0043]如图7所示，本发明的视频客观质量评估是通过剔除视频流中的原有帧，仅保留插值帧；然后，对插值帧采用相同的帧速率变换算法进行二次插值，从而放大算法可能产生的缺陷，再将二次插值产生的插值帧与原有帧进行对比，根据本发明的客观质量评估模型可以衡量均方误差MSE（Mean Square Error）以及峰值信噪比PSNR（Peak Signal to Noise Ratio）等参数。在另外的实施例中，还可以将客观模型给出的打分数值与主观检测结果进行比较，如图1所示，进而进一步修正质量评估模型。

综上所述，仅为针对本发明较佳实施方式的举例说明，而并非对本发明保护范围的限制，任何熟悉本领域的一般技术人员在本发明所公开的技术范围内，可轻易想到的任何变化或者替换而不背离本发明的思想实质的技术方案都应涵盖在本申请所附的权利要求定义的发明保护范围之。

Claims (9)

1.一种视频帧速率变换处理方法，其特征在于所述方法包括以下步骤：

步骤一：识别视频源类别，并根据所确定的视频格式，对视频流进行交织或者反交错，完成视频场至帧的恢复并消除图像梳状缺陷，其中，当检测到当前场对应的下一个场Next与上一个场Prex是否匹配，可以确定视频为3:2下拉格式；当通过统计分析交织当前场Curr和上一场Prev时产生的梳状缺陷的数目，可以确定视频是否为2:2下拉格式；

步骤二：利用运动估计与补偿算法对帧与帧之间的运动向量进行估计，识别运动物体有无被遮挡的情形并确定其位置；

步骤三：根据运动估计信息，自适应地对运动物体未被遮挡的帧与帧之间进行加权平均插值，或对运动物体被遮挡的图像情形，自适应地选择对不同的区域采取保护性插值；以及

步骤四：对视频处理质量建立客观评价模型，用所述客观评价模型输出的视频质量评分来修正帧速率变换处理的可调整参数。

2.根据权利要求1所述的视频帧速率变换处理方法，其特征在于在完成场至帧的恢复之后，对重复帧进行剔除处理以消除视频抖动。

3.根据权利要求1所述的视频帧速率变换处理方法，其特征在于，在确定视频为3:2下拉格式时，通过交织上一个场Prev与当前场Curr以及交织当前场Curr与下一个场Next，分析统计两种交织产生的梳状缺陷，并基于上述分析结果，选择交织或反交错以最小化梳状缺陷。

4.根据权利要求1或2所述的视频帧速率变换处理方法，其特征在于，通过统计分析交织当前场Curr和上一场Prev时产生的梳状缺陷的数目确定视频为2:2下拉格式和视频下拉规律，并基于上述分析结果，选择交织或反交错以最小化梳状缺陷。

5.根据权利要求1或2所述的视频帧速率变换处理方法，其特征在于，在视频源类别识别步骤中，对于确定为特殊格式的电影图像，令当前场Curr与上一场Prev或者当前场Curr与下一场Next直接进行交织。

6.根据权利要求1或2所述的视频帧速率变换处理方法，其特征在于，在视频源类别识别步骤中，对于确定为非电影格式的交错视频进行反交错。

7.根据权利要求1所述的视频帧速率变换处理方法，其特征在于在运动估计与补偿步骤中，首先对视频进行下采样，对于被分为一系列模块的每一帧图像的每个模块提供一个运动向量，使得该运动向量在空间与时间域的邻近候选向量中最优化。

8.根据权利要求7所述的视频帧速率变换处理方法，其特征在于在运动估计与补偿步骤中，对于任一当前处理模块的候选运动向量的分布情况确定一个阈值，如该当前模块位于一个图像物体内部，则选出其中与所述阈值差别最小的部分作为候选运动向量；如该当前模块位于一个图像中两个物体或者多个物体之间，则选出其中与所述阈值差别最大的部分作为候选运动向量。

9.一种视频帧速率变换处理模块，其特征在于包括：

一电影模式识别预处理模块（100），用于识别视频源类别，并根据所确定的视频格式，决定对视频流进行交织或者反交错，完成视频场至帧的恢复并消除图像梳状缺陷，其中，当检测到当前场对应的下一个场Next与上一个场Prex是否匹配，可以确定视频为3:2下拉格式；当通过统计分析交织当前场Curr和上一场Prev时产生的梳状缺陷的数目，可以确定视频是否为2:2下拉格式； 

- 一运动估计与补偿模块（200），利用运动估计与补偿算法对帧与帧之间的运动向量进行估计，识别运动物体有无被遮挡的情形并确定其位置；

- 一自适应插值算法帧速率变换模块（300），自适应地选择对运动物体未被遮挡的帧与帧之间进行加权平均插值；或对于运动物体被遮挡的图像情形，自适应地选择对不同的区域采取保护性插值；以及

- 客观质量评价模块（400），用于对视频处理质量建立客观评价模型，用所述客观评价模型输出的视频质量评分修正帧速率变换处理的可调整参数。

Images