CN102123283B - 视频帧率转换中的插值帧获取方法及其装置 - Google Patents

Abstract

本发明涉及视频处理领域，公开了一种视频帧率转换中的插值帧获取方法及其装置。本发明中，将待求的插值帧划分成若干个大块，首先对大块进行双边运动向量估计，然后将大块分解为若干插值小块，以大块的运动向量为预测值，进行插值小块的双边运动向量估计。在得到整帧的插值小块的运动向量后，根据插值小块的运动向量进行插值，最终得到插值帧。通过分级估计出需要插值块的运动向量，可以提高插值块的运动向量准确度，更好地减少“背景取代物体”错误，从而保证插值帧图像质量高，视觉效果更好。而且，基于分级搜索，会带来更小的运算量，适合实时处理高清视频。

Description

视频帧率转换中的插值帧获取方法及其装置

技术领域

本发明涉及视频处理领域，特别涉及视频处理领域中的视频帧率转换技术。

背景技术

近年来，LCD显示器的应用越加广泛，但其缺陷是在显示动态画面时存在“拖尾”现象，造成动态物体解析度下降。其主要原因是LCD的保持显示特性：由于LCD的每一个像素在一帧时间内一直保持其亮度，持续作用于观看者的双眼，而人的双眼又具有视觉惰性，当LCD的画面切换到下一帧时，人眼仍暂留有上一帧画面的内容，从而产生“拖尾”现象。

目前解决“拖尾”现象较为常见的方法是提升帧频，即在原始相邻两帧之间插入一帧或多帧，这样，每个像素的发光时间缩短，相应地也就缩短了一帧图像对人眼的持续作用时间，减弱了人眼的视觉暂留，提高了动态解析度。

帧率转换中插值帧获取的方法主要包括两类，第一类是不考虑图像中物体的运动，非运动补偿的方法，如帧复制或帧平均。帧复制是指新插入的帧直接复制前一帧数据。帧平均是指新插入的帧使用前后两帧的平均值。这种方法实现简单，但在物体运动区域，会存在模糊现象；第二类是考虑物体的运动，运动补偿的方法，利用线性或非线性插值来完成插值帧。由于考虑了运动信息，因而具有较好的图像质量，然而运动估计容易产生错误，所以准确的运动估计，运动补偿算法直接影响了帧率转换的性能。

具体地说，目前主要有以下几种实现插帧的方法：

(1)直接拷贝原始帧，或者采用两帧的均值。然而，该方法由于不进行运动估计，会造成插值帧运动模糊，因此帧率转换效果差。

(2)直接从解码信息中获得运动向量(Motion Vector，简称“MV”)信息，利用或修正此MV，然后使用重叠块运动补偿(Overlapped BlockMotion Compensation，简称“OBMC”)等方法进行插值。分为以下步骤：

步骤一，获取MV：如果当前帧是P帧，直接从码流信息中获取MV。

如果当前帧是I帧，取前一帧获取的MV；如果当前宏块是I宏块，取周围不为I宏块的MV。

步骤二，对MV进行分类：使用绝对差值和(Sum of AbsoluteDifference，简称“SAD”)的方法对MV进行分类，如果小于特定阈值T，则合理，作为插值帧的MV；如果大于特定阈值T，则不合理，需要使用周围宏块的MV，选取周围宏块MV的原则为最小SAD。

然而，该方法应用不灵活，必须需要解码MV信息。而且准确度不高，插值帧容易出现瑕疵(因为对于不合理的MV，需要使用周围宏块的MV，但周围宏块有可能没有合理的MV；另外，即使SAD足够小，也不一定是合理MV，会出现“背景取代物体”的错误)。

(3)单边运动估计：计算前向MV，或者后向MV，然后再进行插帧。

然而，该方法在映射到插值帧MV时，有“空洞”或者“重叠”现象，并且此现象较难解决。

(4)双边运动估计，即以插值帧作为中心对称点，对称搜索MV，然后进行插帧，这样可以保证插值帧MV不会出现“空洞”或者“重叠”现象。可以求出更加准确的运动向量，获得更好质量的插值帧。但由于插值帧的不存在性，双边运动估计也会产生错误，其中最突出的就是“背景取代物体”错误；并且随着高清视频的普及，双边运动估计的运算量也进一步增大。

发明内容

本发明的目的在于提供一种视频帧率转换中的插值帧获取方法及其装置，以有效减少“背景取代物体”错误，并且避免巨大的运算量。

为解决上述技术问题，本发明的实施方式提供了一种视频帧率转换中的插值帧获取方法，包含以下步骤：

将待求的插值帧划分成L个大块，对每一个大块，执行以下步骤：

根据输入视频的当前帧和前一帧，对大块进行双边运动向量估计，得到大块的运动向量；

将大块分解为P个插值小块，以该大块的运动向量为预测值，对分解该大块后得到的各插值小块进行双边运动向量估计，得到各插值小块的运动向量；

在求得整帧的插值小块的运动向量后，根据得到的整帧的插值小块的运动向量进行插值，得到待求的插值帧；

其中，L、P均为自然数。

本发明的实施方式还提供了一种视频帧率转换中的插值帧获取装置，包含：

大块划分模块，用于将待求的插值帧划分成L个大块；

大块运动向量估计模块，用于对每一个大块，根据输入视频的当前帧和前一帧，对大块进行双边运动向量估计，得到大块的运动向量；

大块分解模块，用于将每一个大块分解为P个插值小块；

插值小块运动向量估计模块，用于以插值小块所属的大块的运动向量为预测值，对各插值小块进行双边运动向量估计，得到各插值小块的运动向量；

插值模块，用于在插值小块运动向量估计模块求得整帧的插值小块的运动向量后，根据得到的整帧的插值小块的运动向量进行插值，得到待求的插值帧；

其中，L、P均为自然数。

本发明实施方式与现有技术相比，主要区别及其效果在于：

将待求的插值帧划分成若干个大块，首先对大块进行双边运动向量估计，然后将大块分解为若干插值小块，以大块的运动向量为预测值，进行插值小块的双边运动向量估计。在得到整帧的插值小块的运动向量后，然后根据插值小块的MV进行插值，最终得到插值帧。通过分级估计出需要插值块的运动向量，可以提高插值块的运动向量准确度，更好地减少“背景取代物体”错误，从而保证插值帧图像质量高，视觉效果更好。而且，基于分级搜索，会带来更小的运算量，适合实时处理高清视频。

进一步地，对大块进行双边运动向量估计时，在大块的搜索范围内，对称地在当前帧和前一帧中进行大块匹配计算，并将计算到的最匹配的大块的运动向量作为所求的大块的运动向量。其中，大块的搜索范围通过以下方式确定：判断在大块周围的插值小块的运动向量的均值是否小于第一阈值T1，如果小于T1，则选用第一搜索范围S1；如果大于或等于T1，则选用第二搜索范围S2。对插值小块进行双边运动向量估计时，在插值小块的搜索范围内，对称地在当前帧和前一帧中进行插值小块匹配计算，并将计算到的最匹配的插值小块的运动向量作为所求的插值小块的运动向量。其中，插值小块的搜索范围通过以下方式确定：如果周围的插值小块运动向量的均值，与待求运动向量的插值小块所属大块的运动向量的差值小于第二阈值T2，则选用第三搜索范围S3；如果大于或等于T2，则选用第四搜索范围S4。通过动态改变搜索范围的方式，通过利用周围已计算的插值小块的运动向量，来动态选择当前块的搜索范围，可以在正确的搜索范围内搜索最优运动向量，避免错误，提高图像质量，提高视觉效果。而且，动态调节搜索范围，对于相对静止的大块运动估计，和预测值较准的插值小块运动估计，都会分配较小的搜索范围，从而减少运算量，缩短运算时间。

进一步地，采用快速搜索方式进行大块匹配计算和插值小块匹配计算，能进一步减少运算量，缩短运算时间。

进一步地，在分级双边运动估计中，大块块匹配使用SASD准则，不但减少计算量，而且减少噪声干扰；在插值小块块匹配使用SAD准则，能增加准确性。有利于图像质量，有利于减少实时处理高清视频。

附图说明

图1是根据本发明第一实施方式的视频帧率转换中的插值帧获取方法流程图；

图2是根据本发明第二实施方式中的双边运动估计示意图；

图3是根据本发明第二实施方式中的SASD分块方式示意图；

图4是根据本发明第二实施方式中的大块和周围的插值小块的位置关系示意图；

图5是根据本发明第二实施方式中进行分级双边运动估计的步骤细化流程图；

图6是根据本发明第二实施方式中的3＊3运动向量滤波示意图；

图7是根据本发明第二实施方式中的采用OBMC插值的示意图；

图8是根据本发明第三实施方式的视频帧率转换中的插值帧获取装置结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种视频帧率转换中的插值帧获取方法，具体流程如图1所示。

在步骤110中，进行分级双边运动估计，估计出需要的插值小块的MV。具体地说，将待求的插值帧划分成L个大块(L为自然数)，例如大块的尺寸为64＊64像素，那么1024＊768的图像就可以分成16＊12个大块。对每一个大块进行以下操作：

根据输入视频的当前帧和前一帧，对大块进行双边运动向量估计，得到大块的运动向量(MV_Large)。

将大块分解为P个插值小块(P为自然数)，以该大块的运动向量为预测值，对分解该大块后得到的各插值小块进行双边运动向量估计，得到各插值小块的运动向量(MV_Small)。

在求得整帧的插值小块的MV后，进入步骤120，对整帧的插值小块的运动向量的正确性进行检测，对错误的插值小块的运动向量进行修正。

接着，在步骤130中，判断错误的插值小块的运动向量的个数是否小于预设门限值，如果小于该预设门限值，则进入步骤140，根据得到的插值小块的运动向量，进行插值；如果大于或等于该预设门限值，则进入步骤150，直接进行帧复制，将得到的复制帧作为待求的插值帧输出。

在本实施方式中，通过分级估计出需要插值块的运动向量，可以提高插值块的运动向量准确度，更好地减少“背景取代物体”错误，从而保证插值帧图像质量高，视觉效果更好。而且，基于分级搜索，会带来更小的运算量，适合实时处理高清视频。

本发明第二实施方式涉及一种视频帧率转换中的插值帧获取方法。第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：本实施方式中不仅采用分级的方式进行双边运动估计，而且在运动向量估计时，动态的改变搜索范围，以进一步提高图像质量，提高视觉效果，同时进一步减少运算量，缩短运算时间。另外，本实施方式也在第一实施方式的基础上，进行了细节上的补充。

具体地说，在本实施方式中，在步骤110中，通过以下方式，根据输入视频的当前帧和前一帧，对插值帧的某大块进行双边运动向量估计：

在大块的搜索范围内，以大块坐标为中心，对称地在当前帧f(n)和前一帧f(n-1)中进行大块匹配计算，采用的块匹配准则是绝对子块差值和(Sum ofAbsolute Sub-block Differences，简称“SASD”)，如图2所示。并将计算到的最匹配的大块的运动向量作为所求的大块的运动向量。该SASD的求法如下：

先将大块划分成若干求和小块，例如将64＊64的大块分成2＊2个求和小块，那么每个求和小块的尺寸为32＊32像素，然后求出每个求和小块的像素和(Sum of Sub-Block，简称“SSB”)如图3所示。假设所分的小块宽为w，高为h，小块左上角在图像f中的坐标为(m，n)，那么SSB的计算如公式(1)：

$\mathrm{SSB}(m,n)=\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}f(m+i,n+j)---\left(1\right)$

其中，SSB_n-1表示在前一帧(f(n-1)帧)中大块的求和小块的SSB，SSB_n表示在当前帧(f(n)帧)中大块的求和小块的SSB。

在求出每个求和小块的SSB后，再求出大块包含的求和小块SSB的绝对差值和，即SASD。假设大块划分为A＊B个求和小块，当前插值帧某大块的坐标为(x₀，y₀)；那么在运动向量MV(mv_x，mV_y)下的SASD为：

${\mathrm{SASD}}_{({\mathrm{mv}}_x,{\mathrm{mv}}_y)}=\underset{i=0}{\overset{A-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{B-1}{\mathrm{\Σ}}}|{\mathrm{SSB}}_{n-1}(x_0+{\mathrm{mv}}_x+i*w,y_0+{\mathrm{mv}}_y+j*h)-{\mathrm{SSB}}_n(x_0-{\mathrm{mv}}_x+i*w,y_0-{\mathrm{mv}}_y+j*h)|$

在大块的搜索范围内最小SASD所对应的运动向量，即为最匹配的大块的运动向量。也就是说，将在大块的搜索范围内求出最小的SASD对应的MV，作为所求大块的MV_Large。

需要说明的是，大块的搜索范围通过以下方式确定：判断在大块周围的插值小块的运动向量的均值是否小于第一阈值T1，如果小于T1，则选用第一搜索范围S1。如果大于或等于T1，则选用第二搜索范围S2。由于运动在一定区域内具有一致性，所以待求大块的搜索范围，可以从已求得的插值小块的MV中获取。若待求大块周围的插值小块MV的均值MV_Neighbor_Mean1小于特定阈值T1，则选用预先设定的SR1的搜索范围，如果MV_Neighbor_Mean不小于阈值T1，则选用预先设定的SR2的搜索范围(一般SR1会小于SR2，但取值都是经验值)。大块和周围的插值小块的位置关系如图4所示。

另外，值得一提的是，在大块的搜索范围内，求出最小的SASD对应的MV时，可分为全搜索和快速搜索，为了减少运算量，在本实施方式中采用快速搜索方式(如三步法(Three Step Search)和菱形搜索法(DiamondSearch)等)进行大块匹配计算。

在求出大块的运动向量后，将大块划分为若干插值小块，例如可以将64＊64的大块分解为4＊4个插值小块，那么插值小块的尺寸即为16＊16个像素。如果在大块匹配计算中，求得的大块的最小SASD小于特定阈值T3，那么直接将对应的运动向量MV_Large赋给插值小块的运动向量MV_Small，即分解该大块后得到的各个插值小块的运动向量，均为插值小块所属的大块的MV_Large。如果在大块匹配计算中，求得的大块的最小SASD不小于特定阈值T3，那么还需要对分解得到的插值小块单独进行双边运动估计，并且在对插值小块进行双边运动估计时，以所属大块求得的运动向量MV_Large作为预测值。

具体地说，插值小块的双边运动估计与大块类似，在插值小块的搜索范围内，以插值帧的某小块坐标为中心，对称地在原始帧f(n-1)和f(n)中进行插值小块匹配计算，将计算到的最匹配的插值小块的运动向量作为所求的插值小块的运动向量。在插值小块匹配计算中，采用的块匹配准则是绝对差值和(Sum of Absolute Differences，简称“SAD”)，即在插值小块的搜索范围内，求出最小的SAD，此时对应的MV即为所求插值小块的运动向量MV_Small。

假设插值小块的尺寸为m，n；插值小块在插值帧的坐标为(x₀，y₀)；所属大块给定的预测值为(mvl_x，mvl_y)；那么在MV(mv_x，mv_y)下的SAD为：：

${\mathrm{SAD}}_{({\mathrm{mv}}_x,{\mathrm{mv}}_y)}=\underset{i=0}{\overset{m-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{n-1}{\mathrm{\Σ}}}|f_{n-1}(x_0+{\mathrm{mvl}}_x+{\mathrm{mv}}_x+i,y_0+{\mathrm{mvl}}_y+{\mathrm{mv}}_y+j)-f_n(x_0-{\mathrm{mvl}}_x-{\mathrm{mv}}_x+i,y_0-\mathrm{mv}$

需要说明的是，插值小块的搜索范围还是利用周围的插值小块的信息确定。具体地，如果待求插值小块周围的已求插值小块MV_Small的均值MV_Neighbor_Mean2接近于所属大块的MV_Large，即(MV_Neighbor_Mean2-MV_Large)小于特定阈值T2，那么选用预先设定的SR3的搜索范围，如果(MV_Neighbor_Mean2-MV_Large)不小于阈值T2，那么选用预先设定的SR4的搜索范围(一般SR3会小于SR4，但取值都是经验值)。

另外，值得一提的是，在插值小块的搜索范围内，求出最小的SAD对应的MV时，可分为全搜索和快速搜索，在本实施方式中采用快速搜索方式进行插值小块匹配计算，以减少运算量，缩短运算时间。

在分级双边运动估计中，大块块匹配使用SASD准则，不但减少计算量，而且减少噪声干扰。在插值小块块匹配使用SAD准则，能增加准确性。有利于图像质量，有利于实时处理高清视频。并且，通过动态改变搜索范围的方式，通过周围已有小块的运动向量，来动态选择当前块的搜索范围，可以在正确的搜索范围内搜索最优运动向量，避免错误，提高图像质量，提高视觉效果。而且，动态调节搜索范围，对于相对静止的大块运动估计，和预测值较准的插值小块运动估计，都会分配较小的搜索范围，从而减少运算量，缩短运算时间。

由此可见，通过如图5所示的流程，可以求得整帧插值小块的MV_Small。

在步骤120中，可以对插值小块MV_Small进行m＊n的平滑滤波，对不一致(错误)的MV进行修正。假设进行3＊3的MV平滑滤波，如图6所示，MV5和周围MV不一致，认为出错，那么使用3＊3的滤波对MV5进行修正。

在步骤130中，可以通过以下方式判断错误的插值小块的MV的个数是否小于预设门限值，并根据判断结果执行相应的操作：

判断所求插值小块的最小SAD是否大于特地阈值T4，如果大于特定阈值T4，则增加计数器N，遍历整帧图像后，如果计数器N小于特定阈值T5(T5＝N_Total＊T6，其中N_Total为整帧插值小块的个数，T6为不大于1的特定阈值)，则根据得到的整帧的插值小块的MV_Small进行插值，并输出插值帧，如果不小于T5，则进行帧复制，输出复制帧。

另外，如果决定根据得到的整帧的插值小块的MV进行插值，则在本实施方式中，可采用OBMC的方法进行插值，以消除由于分块引起的块效应。如图7所示，每个插值小块的MV为MV1，MV2，MV3，MV4，在区域A，4个小块邻接，那么使用公式(2)计算；在区域B，2个小块邻接，那么使用公式(3)计算；在中心区域C，没有邻接插值小块，那么采用公式(4)计算：

$f(x,y)=\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}(f_{n-1}(x+{\mathrm{mv}}_{\mathrm{ix}},y+{\mathrm{mv}}_{\mathrm{jy}})+f_n(x-{\mathrm{mv}}_{\mathrm{ix}},y-{\mathrm{mv}}_{\mathrm{jy}}))\right)/8---\left(2\right)$

$f(x,y)=\left(\underset{i=3}{\overset{4}{\mathrm{\Σ}}}(f_{n-1}(x+{\mathrm{mv}}_{\mathrm{ix}},y+{\mathrm{mv}}_{\mathrm{jy}})+f_n(x-{\mathrm{mv}}_{\mathrm{ix}},y-{\mathrm{mv}}_{\mathrm{jy}}))\right)/4---\left(3\right)$

f(x，y)＝(f_n-1(x+mv_4x，y+mv_4y)+f_n(x-mv_4x，y-mv_4y))/2                     (4)

OBMC的插值方法属于本领域的公知技术，在此不再赘述。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第三实施方式涉及一种视频帧率转换中的插值帧获取装置。如图8所示，该视频帧率转换中的插值帧获取装置包含：

大块划分模块，用于将待求的插值帧划分成L个大块，其中，L为自然数。

大块运动向量估计模块，用于对每一个大块，根据输入视频的当前帧和前一帧，对大块进行双边运动向量估计，得到大块的运动向量。

大块分解模块，用于将每一个大块分解为P个插值小块，其中，P为自然数。

插值小块运动向量估计模块，用于以插值小块所属的大块的运动向量为预测值，对各插值小块进行双边运动向量估计，得到各插值小块的运动向量。

插值小块运动向量修正模块，用于对插值小块运动向量估计模块求得的整帧的插值小块的运动向量的正确性进行检测，对错误的插值小块的运动向量进行修正。

插值决定模块，用于判断错误的插值小块的运动向量的个数是否小于预设门限值，并在判定小于预设门限值时，触发插值模块。在判定大于或等于预设门限值时，触发用于直接进行帧复制的复制模块，将得到的复制帧作为待求的插值帧。

插值模块，用于在插值小块运动向量估计模块求得整帧的插值小块的运动向量后，根据得到的整帧的插值小块的运动向量进行插值，得到待求的插值帧。

不难发现，第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第四实施方式涉及一种视频帧率转换中的插值帧获取装置。第四实施方式在第三实施方式的基础上进行了改进，主要改进之处在于：不仅采用分级的方式进行双边运动估计，而且在运动向量估计时，动态的改变搜索范围，以进一步提高图像质量，提高视觉效果，同时进一步减少运算量，缩短运算时间。另外，本实施方式也在第三实施方式的基础上，进行了细节上的补充。

在本实施方式中，视频帧率转换中的插值帧获取装置还包含大块搜索范围动态获取模块，用于判断在大块周围的插值小块的运动向量的均值是否小于第一阈值T1，并在小于T1时，选用第一搜索范围S 1作为该大块的搜索范围。在大于或等于T1时，选用第二搜索范围S2作为该大块的搜索范围，其中，S1和S2预先设定。

大块运动向量估计模块在进行双边运动向量估计时，在大块的搜索范围内，对称地在当前帧和前一帧中进行大块匹配计算，并将计算到的最匹配的大块的运动向量作为所求的大块的运动向量，并且，在大块的搜索范围内，对称地在当前帧和前一帧中进行大块匹配计算时，采用快速搜索方式进行大块匹配计算。大块运动向量估计模块在进行大块匹配计算时，采用的块匹配准则为绝对子块差值和SASD，计算到的最匹配的大块的运动向量即为在大块的搜索范围内最小SASD所对应的运动向量。

具体地说，大块运动向量估计模块包含以下子模块：

求和小块划分子模块，用于将大块划分为A＊B个求和小块。

像素求和子模块，用于求出每个求和小块的像素和SSB。

SASD计算子模块，用于根据以下公式计算(mv_x，mv_y)下的SASD：

${\mathrm{SASD}}_{({\mathrm{mv}}_x,{\mathrm{mv}}_y)}=\underset{i=0}{\overset{A-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{B-1}{\mathrm{\Σ}}}|{\mathrm{SSB}}_{n-1}(x_0+{\mathrm{mv}}_x+i*w,y_0+{\mathrm{mv}}_y+j*h)-{\mathrm{SSB}}_n(x_0-{\mathrm{mv}}_x+i*w,y_0-{\mathrm{mv}}_y+j*h)|$

其中，SSB_n-1表示在前一帧中大块的求和小块的像素和，SSB_n表示在当前帧中大块的求和小块的像素和，x₀表示待求运动向量的大块在图像中的横坐标，y₀表示待求运动向量的大块在图像中的纵坐标，w表示求和小块的宽，h表示求和小块的高，mv_x和mv_y为在所述大块的搜索范围内的向量取值。

视频帧率转换中的插值帧获取装置还包含插值小块搜索范围动态获取模块，用于判断在待求运动向量的插值小块周围的插值小块的运动向量的均值，与待求运动向量的插值小块所属大块的运动向量的差值是否小于第二阈值T2，并在小于T2时，选用第三搜索范围S3作为待求运动向量的插值小块的搜索范围。在大于或等于T2时，选用第四搜索范围S4作为待求运动向量的插值小块的搜索范围。其中，S3、S4预先设定。

插值小块运动向量估计模块在进行双边运动向量估计时，在插值小块的搜索范围内，对称地在当前帧和前一帧中进行插值小块匹配计算，并将计算到的最匹配的插值小块的运动向量作为所求的插值小块的运动向量。其中，在进行插值小块匹配计算时，采用快速搜索方式进行插值小块匹配计算。采用的块匹配准则为SAD，计算到的最匹配的插值小块的运动向量即为在插值小块的搜索范围内最小SAD所对应的运动向量。

需要说明的是，本实施方式的视频帧率转换中的插值帧获取装置还包含：赋值判断模块，用于判断待求运动向量的大块的搜索范围内的最小SASD是否小于第三阈值T3，并在判定小于T3时，直接将求得的该大块的运动向量赋值给分解该大块后得到的各插值小块的运动向量。并在大于或等于T3时，触发插值小块运动向量估计模块。

不难发现，第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (14)

1.一种视频帧率转换中的插值帧获取方法，其特征在于，包含以下步骤：

将待求的插值帧划分成L个大块，对每一个所述大块，执行以下步骤：

根据输入视频的当前帧和前一帧，对所述大块进行双边运动向量估计，得到所述大块的运动向量；

将所述大块分解为P个插值小块，以该大块的运动向量为预测值，对分解该大块后得到的各插值小块进行双边运动向量估计，得到各插值小块的运动向量；

在求得整帧的插值小块的运动向量后，根据得到的整帧的插值小块的运动向量进行插值，得到所述待求的插值帧；

所述对分解该大块后得到的各插值小块进行双边运动向量估计的步骤中，包含以下子步骤：

在插值小块的搜索范围内，对称地在所述当前帧和前一帧中进行插值小块匹配计算，并将计算到的最匹配的插值小块的运动向量作为所求的插值小块的运动向量；

其中，所述插值小块的搜索范围通过以下方式确定：

如果周围的插值小块的运动向量的均值，与待求运动向量的插值小块所属大块的运动向量的差值小于第二阈值T2，则选用第三搜索范围S3；如果大于或等于所述T2，则选用第四搜索范围S4；

其中，所述L、P均为自然数，所述S3、S4预先设定。

2.根据权利要求1所述的视频帧率转换中的插值帧获取方法，其特征在于，所述根据输入视频的当前帧和前一帧，对所述大块进行双边运动向量估计的步骤中，包含以下子步骤：

在大块的搜索范围内，对称地在所述当前帧和前一帧中进行大块匹配计算，并将计算到的最匹配的大块的运动向量作为所求的大块的运动向量；

其中，所述大块的搜索范围通过以下方式确定：

判断在大块周围的插值小块的运动向量的均值是否小于第一阈值T1，如果小于所述T1，则选用第一搜索范围S1；如果大于或等于所述T1，则选用第二搜索范围S2；

其中，所述S1、S2预先设定。

3.根据权利要求2所述的视频帧率转换中的插值帧获取方法，其特征在于，所述在大块的搜索范围内，对称地在所述当前帧和前一帧中进行大块匹配计算时，采用快速搜索方式进行所述大块匹配计算；

所述在插值小块的搜索范围内，对称地在所述当前帧和前一帧中进行插值小块匹配计算时，采用快速搜索方式进行所述插值小块匹配计算。

4.根据权利要求2所述的视频帧率转换中的插值帧获取方法，其特征在于，在进行所述大块匹配计算时，采用的块匹配准则为绝对子块差值和SASD，计算到的最匹配的大块的运动向量即为在所述大块的搜索范围内最小SASD所对应的运动向量；

其中，所述SASD通过以下方式计算得到：

将大块划分为A＊B个求和小块，求出每个求和小块的像素和SSB；

根据以下公式计算(mv_x，mv_y)下的所述SASD：

${\mathrm{SASD}}_{({\mathrm{mv}}_x,{\mathrm{mv}}_y)}=\underset{i=0}{\overset{A-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{B-1}{\mathrm{\Σ}}}|{\mathrm{SSB}}_{n-1}(x_0+{\mathrm{mv}}_x+i*w,y_0+{\mathrm{mv}}_y+j*h)-{\mathrm{SSB}}_n(x_0-{\mathrm{mv}}_x+i*w,y_0-{\mathrm{mv}}_y+j*h)|$

其中，SSB_n-1表示在前一帧中大块的求和小块的像素和，SSB_n表示在当前帧中大块的求和小块的像素和，x₀表示待求运动向量的大块在图像中的横坐标，y₀表示待求运动向量的大块在图像中的纵坐标，w表示求和小块的宽，h表示求和小块的高，mv_x和mv_y为在所述大块的搜索范围内的向量取值。

5.根据权利要求4所述的视频帧率转换中的插值帧获取方法，其特征在于，在将所述大块分解为P个插值小块的步骤之后，以该大块的运动向量为预测值，对分解该大块后得到的各插值小块进行双边运动向量估计的步骤之前，还包含以下步骤：

判断在大块的搜索范围内的最小SASD是否小于第三阈值T3，如果小于所述T3，则分解该大块后得到的P个插值小块的运动向量均为求得的该大块的运动向量；如果大于或等于所述T3，则再进入所述以该大块的运动向量为预测值，对分解该大块后得到的各插值小块进行双边运动向量估计的步骤。

6.根据权利要求2所述的视频帧率转换中的插值帧获取方法，其特征在于，在进行所述插值小块匹配计算时，采用的块匹配准则为绝对差值和SAD，计算到的最匹配的插值小块的运动向量即为在所述插值小块的搜索范围内最小SAD所对应的运动向量。

7.根据权利要求1至6中任一项所述的视频帧率转换中的插值帧获取方法，其特征在于，在求得整帧的插值小块的运动向量后，还包含以下步骤：

对所述整帧的插值小块的运动向量的正确性进行检测，对错误的插值小块的运动向量进行修正；

判断错误的插值小块的运动向量的个数是否小于预设门限值，如果小于所述预设门限值，则再进入所述根据得到的整帧的插值小块的运动向量，进行插值的步骤；如果大于或等于所述预设门限值，则直接对前一帧进行帧复制，将得到的复制帧作为所述待求的插值帧

其中所述对错误的插值小块的运动向量进行修正的步骤包括以下子步骤：

对插值小块进行平滑滤波，与平滑滤波结果不一致的运动向量即为错误的插值小块的运动向量，以平滑滤波结果对该不一致的运动向量进行修正。

8.一种视频帧率转换中的插值帧获取装置，其特征在于，包含：

大块划分模块，用于将待求的插值帧划分成L个大块；

大块运动向量估计模块，用于对每一个所述大块，根据输入视频的当前帧和前一帧，对所述大块进行双边运动向量估计，得到所述大块的运动向量；

大块分解模块，用于将每一个所述大块分解为P个插值小块；

插值小块运动向量估计模块，用于以插值小块所属的大块的运动向量为预测值，对各插值小块进行双边运动向量估计，得到各插值小块的运动向量；

插值模块，用于在所述插值小块运动向量估计模块求得整帧的插值小块的运动向量后，根据得到的整帧的插值小块的运动向量进行插值，得到所述待求的插值帧；

插值小块运动向量估计模块在进行双边运动向量估计时，在插值小块的搜索范围内，对称地在所述当前帧和前一帧中进行插值小块匹配计算，并将计算到的最匹配的插值小块的运动向量作为所求的插值小块的运动向量；

所述视频帧率转换中的插值帧获取装置还包含插值小块搜索范围动态获取模块，用于判断在待求运动向量的插值小块周围的插值小块的运动向量的均值，与待求运动向量的插值小块所属大块的运动向量的差值是否小于第二阈值T2，并在小于所述T2时，选用第三搜索范围S3作为待求运动向量的插值小块的搜索范围；在大于或等于所述T2时，选用第四搜索范围S4作为待求运动向量的插值小块的搜索范围；

其中，所述L、P均为自然数，所述S3、S4预先设定。

9.根据权利要求8所述的视频帧率转换中的插值帧获取装置，其特征在于，所述大块运动向量估计模块在进行双边运动向量估计时，在大块的搜索范围内，对称地在所述当前帧和前一帧中进行大块匹配计算，并将计算到的最匹配的大块的运动向量作为所求的大块的运动向量；

所述视频帧率转换中的插值帧获取装置还包含大块搜索范围动态获取模块，用于判断在大块周围的插值小块的运动向量的均值是否小于第一阈值T1，并在小于所述T1时，选用第一搜索范围S1作为该大块的搜索范围；在大于或等于所述T1时，选用第二搜索范围S2作为该大块的搜索范围；

其中，所述S1、S2预先设定。

10.根据权利要求9所述的视频帧率转换中的插值帧获取装置，其特征在于，所述大块运动向量估计模块在大块的搜索范围内，对称地在所述当前帧和前一帧中进行大块匹配计算时，采用快速搜索方式进行所述大块匹配计算；

所述插值小块运动向量估计模块在插值小块的搜索范围内，对称地在所述当前帧和前一帧中进行插值小块匹配计算时，采用快速搜索方式进行所述插值小块匹配计算。

11.根据权利要求9所述的视频帧率转换中的插值帧获取装置，其特征在于，所述大块运动向量估计模块在进行所述大块匹配计算时，采用的块匹配准则为绝对子块差值和SASD，计算到的最匹配的大块的运动向量即为在所述大块的搜索范围内最小SASD所对应的运动向量；

所述大块运动向量估计模块包含以下子模块：

求和小块划分子模块，用于将大块划分为A＊B个求和小块；

像素求和子模块，用于求出每个求和小块的像素和SSB；

SASD计算子模块，用于根据以下公式计算(mv_x，mv_y)下的所述SASD：

${\mathrm{SASD}}_{({\mathrm{mv}}_x,{\mathrm{mv}}_y)}=\underset{i=0}{\overset{A-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{B-1}{\mathrm{\Σ}}}|{\mathrm{SSB}}_{n-1}(x_0+{\mathrm{mv}}_x+i*w,y_0+{\mathrm{mv}}_y+j*h)-{\mathrm{SSB}}_n(x_0-{\mathrm{mv}}_x+i*w,y_0-{\mathrm{mv}}_y+j*h)|$

其中，SSB_n-1表示在前一帧中大块的求和小块的像素和，SSB_n表示在当前帧中大块的求和小块的像素和，x₀表示待求运动向量的大块在图像中的横坐标，y₀表示待求运动向量的大块在图像中的纵坐标，w表示求和小块的宽，h表示求和小块的高，mv_x和mv_y为在所述大块的搜索范围内的向量取值。

12.根据权利要求11所述的视频帧率转换中的插值帧获取装置，其特征在于，所述视频帧率转换中的插值帧获取装置还包含：

赋值判断模块，用于判断待求运动向量的大块的搜索范围内的最小SASD是否小于第三阈值T3，并在判定小于所述T3时，直接将求得的该大块的运动向量赋值给分解该大块后得到的各插值小块的运动向量；并在大于或等于所述T3时，触发所述插值小块运动向量估计模块。

13.根据权利要求9所述的视频帧率转换中的插值帧获取装置，其特征在于，所述插值小块运动向量估计模块在进行所述插值小块匹配计算时，采用的块匹配准则为绝对差值和SAD，计算到的最匹配的插值小块的运动向量即为在所述插值小块的搜索范围内最小SAD所对应的运动向量。

14.根据权利要求8至13中任一项所述的视频帧率转换中的插值帧获取装置，其特征在于，所述视频帧率转换中的插值帧获取装置还包含：

插值小块运动向量修正模块，用于对所述插值小块运动向量估计模块求得的整帧的插值小块的运动向量的正确性进行检测，对错误的插值小块的运动向量进行修正；

插值决定模块，用于判断错误的插值小块的运动向量的个数是否小于预设门限值，并在判定小于所述预设门限值时，触发所述插值模块；在判定大于或等于所述预设门限值时，触发用于直接对前一帧进行帧复制的复制模块，将得到的复制帧作为所述待求的插值帧；

其中通过以下方式对错误的插值小块的运动向量进行修正：

对插值小块进行平滑滤波，与平滑滤波结果不一致的运动向量即为错误的插值小块的运动向量，以平滑滤波结果对该不一致的运动向量进行修正。

Images