CN103702128B - 一种应用于视频帧速率上转换的插值帧生成方法 - Google Patents

Abstract

本发明涉及视频图像处理领域，特别涉及一种应用于视频帧速率上转换的插值帧生成方法，针对现有的块匹配运动估计算法或多或少都会产生一些错误的运动向量，并且局部误差可能导致插值帧质量急剧下降的问题，所提出的方法具有对运动向量的误差敏感程度低的特点，从而具有较好的鲁棒性。包括：(1)以多分辨率块匹配算法由粗及精地估计运动向量场；(2)根据可靠性准则判断运动向量的可靠性；(3)运动向量场作分辨率提升处理，对由不可靠的块分裂而成的子块作进一步的由候选向量确定初始位置、限制在较小区域内的块匹配搜索；(4)以运动补偿的形式将输入图像中的块投影到插值帧，以计数图记录插值帧中的像素与输入帧中像素的对应关系，标记那些非一一对应的像素，以多候选时间域加权滤波计算这些像素的值。

Description

一种应用于视频帧速率上转换的插值帧生成方法

技术领域

本发明涉及视频图像处理领域，特别涉及一种应用于视频帧速率上转换的插值帧生成方法。

背景技术

帧速率上转换是一种具有重要应用价值的视频图像处理技术，通过在时域内插出一些新的帧来提升帧速率，从而改善显示设备显示动态画面的性能，减少由于设备的显示保持特性(以LCD为例，其每个像素在一帧的持续时间内保持亮度不变)而引入的拖尾现象。帧速率上转换的应用场合包括：视频格式转换，如24帧/秒的电影在25帧/秒或30帧/秒播放速率的电视上播放；低码率视频编码，即在编码端以二分之一或更低的帧率编码，以减少网络传输对网络带宽的需求，而在解码端，通过帧速率上转换还原成正常速率的视频；另外，在慢速回放的应用中，帧速率上转换技术也有其用武之地。

现有的帧速率上转换算法粗略地可以划分成两大类：第一类算法不考虑运动物体帧间运动所产生的位置偏移，简单地采用帧重复或帧平均产生新的插值帧，对于存在动态区域的视频，这一类算法不可避免地将引入帧间抖动和运动模糊；第二类算法试图在运动轨迹上插值每个像素，通过运动估计和邻域滤波的紧密结合，实现减少帧间抖动和运动模糊的目的。可以预期，在大多数情况下，这一类算法具有比第一类算法更好的性能。

毋容置疑，在第二类算法中运动估计的精度将决定插值帧的质量。解码器从码流中提取的运动向量是由编码器采用某种快速匹配算法计算所得，在计算代价的角度，这样的运动向量由解码器直接从码流中获得，几乎不耗费额外的计算能力。然而，由于块匹配搜索以最小化帧间冗余为目标，所以很多时候这些运动向量并不反映物体的真实运动，以这样的运动向量构建运动轨迹将在插值帧中产生块效应和“鬼影”现象。为了获得能更好地反映物体真实运动的运动向量，针对帧速率上转换，解码器可以采取两种策略：对从码流中提取的运动向量作某种形式的后处理，使得运动向量场更为平滑；或者，在解码端重新估计更为准确的运动向量。

中国专利CN201110058013.0，将待求的插值帧划分成较大的块，以双向运动估计求取各个大块的运动向量，将每个大块分解成若干个小块，以大块的运动向量为预测值对各个小块进行双向运动估计，得到各个小块的运动向量。文献“A Multi-Pass True Motion EstimationScheme With Motion Vector Propagation for Frame Rate Up-Conversion Applications”(Tai S.-C.等，Journal of Display Technology，2008(2)：188-197)使用多遍的策略估计真实运动向量。在最初的几遍，块尺寸被设置成32×32，在后续的搜索过程中，块尺寸逐步减小到16×16，8×8和4×4。每一遍搜索以后，以相邻块之间的运动向量差值是否小于一个阈值，以及由此运动向量产生的匹配误差是否足够小作为搜索是否收敛的准则，进而判断块的运动向量是否已具有足够的精度，无需作进一步的局部搜索。文献“A Multistage Motion Vector ProcessingMethod for Motion-Compensated Frame Interpolation”(IEEE Trans.Image Process.，2008(5)：694-708)在解码端以编码器估计所得的、随码流一起传送的运动向量作为输入，根据残差值将运动向量区分为不可靠(残差较大)、可能可靠(残差不大但至少与一个不可靠的宏块相邻)、可靠三类，合并那些相邻的不可靠的宏块，由参与合并的宏块以及与其相邻的宏块的运动向量构成候选运动向量集合，选择那个具有最小匹配误差的作为合并块的运动向量。

运动向量场逐帧地给出了各个图像块的运动轨迹，由运动向量可将图像块以运动补偿的形式投影到插值帧。为避免在边缘产生块间的不一致，文献“Multiple Hypotheses BayesianFrame Rate Up-Conversion by Adaptive Fusion of Motion-Compensated Interpolations”(IEEETrans.Circuits Syst.Video Technol.，2012(8)：1188-1198)以多阶段、且在不同的阶段采用不同的块尺寸的方式估计运动向量。这种方法使用多个向量场，每个向量场对应一个运动假设，采用多假设Bayesian估计，且在模型中同时引入了时间域和空间域的相关性约束，以最大化后验概率的方式实现图像插值。文献“Motion-Compensated Frame RateUp-Conversion--Part II：New Algorithms for Frame Interpolation”(IEEE Trans.Broadcast.，2010(2)：142-149)针对单向运动估计容易产生空洞、块重叠等，以扩大的块进行运动补偿，且对块中的像素按其所在位置设定不同的权值。他们的方法计算两个向量场：前向运动向量场和后向运动向量场，分别以这两个向量场通过运动补偿产生两个插值图像，以加权合并的形式产生最后的插值图像。

需要指出的是，无论使用哪种运动估计技术和后处理修正，或多或少都会存在一些错误的运动向量，一些局部错误也可能导致插值帧视觉质量的急剧下降。

发明内容

本发明所要解决的技术问题在于提供一种应用于视频帧速率上转换的插值帧生成方法，该方法具有对运动向量的误差敏感程度较低，从而具有较好的鲁棒性的特点。设输入的连续三帧为I₀、I₁和I₂，待插值的帧为I_Δt(0<Δt<1)，本发明所公开的一种应用于视频帧速率上转换的插值帧生成方法，包括：

(1)原图像I₀和I₁作缩小处理，将低分辨率的输入图像划分成没有重叠的块，采用前向运动估计，以块匹配算法搜索每个图像块的运动向量。

(2)将输入的未经缩小的原始图像划分成没有重叠的块，且通过设置低分辨率和原始图像的块为合适的尺寸，使得低分辨率图像的块在X和Y方向各覆盖原始图像的两个块，由低分辨率图像估计所得的运动向量确定初始搜索位置，以块匹配搜索算法计算原始图像各个块的运动向量。

(3)块在X和Y方向各作一分为二的划分，评价每个运动向量的可靠性，对不可靠的块划分而成的子块，由其四邻域中可靠的运动向量构成候选向量集，分别由这些候选向量确定初始搜索位置，在较小的范围内搜索最佳匹配，且评价这些子块的运动向量是否可靠。

(4)采用那些可靠的运动向量，以运动补偿的形式将I₀中的块投影到插值帧。并且，以假设运动物体在相邻帧的时间间隔内沿运动轨迹作平滑运动为基础，由参与补偿的块以及插值帧与输入帧之间的时间差值Δt，确定插值帧中各个补偿所得块的运动向量。

(5)标记插值帧中的空洞区域和重叠区域，具体地，以计数图C记录补偿所得的图像像素与输入图像像素的对应关系，若C(m，n)==0，则像素(i，j)不与输入帧的任一个像素对应，属于空洞区域；若C(m，n)>1，则属于重叠区域。将空洞区域和重叠区域的像素值置为NULL，含义为“值待确定”；计数值等于1的像素，则根据运动向量，直接从输入帧I₀复制像素值。

(6)检测插值帧水平和垂直方向单个像素宽度的NULL像素，对这些像素采用水平或垂直方向平均的方式计算其像素值。

(7)以窗口扫描的方式从上到下、从左到右扫描插值帧，若窗口内包含值为NULL的像素则触发多候选时间域加权滤波处理，包括：

(7.1)设(p，q)是一个待确定值的像素，该像素所在的块为B_p，q，以B_p，q块3×3邻域内的运动向量为候选向量构造候选向量集。

(7.2)设(v_x，v_y)是集合中的一个向量，以B_p，q所在位置为基准，(v_x，v_y)为偏移量确定B_p，q在I₁中的对应块以为当前块，I₂为参考图像，(2v_x，2v_y)为候选向量确定初始搜索位置，在一个较小的范围内寻找最佳匹配，记I₂中的最佳匹配块为以为当前块，I₀为参考图像，(-2v_x，-2v_y)为候选向量确定初始搜索位置，在一个较小的范围内寻找最佳匹配，记I₀中的最佳匹配块为由此，对于每个候选向量，将产生两对匹配块：和 和

(7.3)计算这些匹配块之间的匹配误差：

$D=\frac{1}{2N}\left(\underset{(m,n)\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}\right|B_{p,q}^{\left(0\right)}(m,n)-B_{p,q}^{\left(1\right)}(m,n)|+\underset{(m,n)\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}|B_{p,q}^{\left(1\right)}(m,n)-B_{p,q}^{\left(2\right)}(m,n)\left|\right)$

其中(m，n)表示图像块支撑域Λ的所有像素，N是块内的像素数目。

(7.4)B_p，q块中的像素(p，q)，由位于块对应位置的像素参与滤波计算，按下式确定对应第r个候选向量的权值

$w\left(r\right)=\frac{S}{1+D\left(r\right)}$

其中

$S={\left(\underset{z}{\mathrm{\&Sigma;}}\frac{1}{1+D\left(z\right)}\right)}^{-1}$

D(z)是第z个候选向量所产生的匹配误差，按[0018]所述计算。

(7.5)以加权和的形式计算插值帧中NULL像素的值：

$I_{\mathrm{\&Delta;t}}(p,q)=\underset{L}{\mathrm{\&Sigma;}}w\left(r\right)g(p,q;v_x\left(r\right),v_y\left(r\right))$

其中L代表了候选向量的数目，(v_x(r)，v_y(r))是第r个候选向量，g(p，q；v_x(r)，v_y(r))是根据该向量所得块中与待插值像素对应的像素值。

本发明的有益技术效果是：对于运动物体的边缘等容易导致不可靠运动向量的区域，并不试图寻求一种比现有技术性能更优越的运动估计算法，而是采纳运动一致性假设，认为这些区域的运动与其邻域块的某些部分一致，对不存在可靠运动向量的区域，以其邻域的运动向量作为候选向量，以自适应加权滤波的形式计算其像素值，从而使得所提供的方法具有对运动向量的误差敏感程度较低，具有较好的鲁棒性的特点。

附图说明

图1为本发明帧速率上转换具体实施方式的框图；

图2多分辨率由粗及精运动向量估计的流程图；

图3计算和范数差值SND、差值绝对值之和SAD的示意图；

图4图像块的4-邻域示意图；

图5由前向和后向运动向量判断运动向量可靠性的示意图；

图6对不可靠的块划分子块，进行运动估计的流程图；

图7两步搜索算法搜索位置示意图；

图8以运动补偿算法计算插值帧的流程图；

图9一个包含待确定像素的块，以及邻域范围内的候选向量示意图；

图10以I₁中的块为当前块，分别以I₀和I₂为参考帧搜索最佳匹配块的示意图。

具体实施方式

下面将结合附图对本发明所提供方法的具体实施方式进行说明。设输入的连续三帧为I₀、I₁和I₂，待插值的帧为I_Δt(0<Δt<1)，图1示出了本发明具体实施方式的框图，包括以下几个步骤。

(1)步骤101，以I₀为当前帧，I₁为参考帧，采用前向运动估计，以多分辨率块匹配搜索算法由粗及精地估计运动向量场

(2)步骤102，根据可靠性准则，判断中每个运动向量的可靠性。

(3)步骤103，将运动向量场的分辨率提升一倍，对由不可靠的块分裂而来的子块，作进一步的搜索处理，形成运动向量场

(4)由以运动补偿的形式将I₀中的块投影到插值帧，以计数图记录插值帧中的像素与I₀中像素的对应关系，标记那些非一一对应的像素，以多候选时间域加权滤波计算这些像素的值。

图2示出了以多分辨率块匹配算法由粗及精地估计运动向量场的处理框图，中的向量以前向运动估计的方式计算，其中的每个元素对应I₀中的一个图像块，以向量的形式给出该块与其在I₁帧中的最佳匹配块之间的相对偏移。

需要帧速率上转换的视频，通常其帧速率比较低，车辆等速度较快的运动物体在视频中表现出跳跃性。对运动估计而言，需要设定一个比较大的搜索范围才能捕捉到这种快速运动，而搜索范围的增大将导致计算代价的上升。考虑到上述情况，本发明的一个实施例以多分辨率块匹配算法，由粗及精地计算运动向量场。首先在一个较低的分辨率，采用连续消除算法获得较低分辨率下每个块的运动向量，从而得到向量场其次，对原始分辨率的图像，由的运动向量确定搜索的起始位置，采用快速块匹配算法计算运动向量场

设图像I₀和参考帧I₁的分辨率为H×W，步骤201以邻域像素平均，将原图像缩小到相应地，在低分辨率图像中，运动物体在相邻帧的相对位移也缩小到原图像中的四分之一。所以，本发明的一个实施例设定块大小为8×8像素，相邻块在X和Y方向的间隔为8，两个方向的搜索范围设定为-11～+11。

步骤202以缩小以后的低分辨率图像作为输入，采用连续消除算法估计运动向量场连续消除算法以图像块的和范数差值(sum norm difference，SND)作为部分匹配误差，由三角不等式，其值小于等于完全匹配误差，即差值绝对值之和(sam ofabsolute difference，SAD)。由此，可排除那些SND值大于或等于当前搜索所得的最小SAD的搜索点不作进一步的SAD计算。参照图3，C⁽⁰⁾是输入图像中一个待确定运动向量的图像块，是搜索范围内、与C⁽⁰⁾之间的相对偏移为(dx，dy)的一个参考块。本发明的一个实施例以如下的帧差绝对值之和SAD作为匹配准则：

$\mathrm{SAD}=\underset{m=0}{\overset{N}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{N}{\mathrm{\&Sigma;}}}|C^{\left(0\right)}(m,n)-R_{\mathrm{dx},\mathrm{dy}}^{\left(0\right)}(m,n)|---\left(1\right)$

其中N是块的大小。参照图3，按下式计算C⁽¹⁾和

$C^{\left(1\right)}(i,j)=\underset{m=0}{\overset{3}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{3}{\mathrm{\&Sigma;}}}{C}^{\left(0\right)}(4i+m,4j+n)---\left(2\right)$

$R_{\mathrm{dx},\mathrm{dy}}^{\left(1\right)}(i,j)=\underset{m=0}{\overset{3}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{3}{\mathrm{\&Sigma;}}}{R}_{\mathrm{dx},\mathrm{dy}}^{\left(0\right)}(4i+m,4j+n)---\left(3\right)$

其中，i，j=0，1。

对实数a和b，若a，b≥0，有如下的数学不等式成立

a-b≤|a-b| (4)

b-a≤|a-b| (5)

将C⁽¹⁾(i，j)和代入(4)和(5)式，并求和，容易得

$|\underset{m=0}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{1}{\mathrm{\&Sigma;}}}{C}^{\left(1\right)}(m,n)-\underset{m=0}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{1}{\mathrm{\&Sigma;}}}{R}_{\mathrm{dx},\mathrm{dy}}^{\left(1\right)}(m,n)|\&le;\underset{m=0}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=1}{\overset{1}{\mathrm{\&Sigma;}}}{C}^{\left(1\right)}(m,n)-R_{\mathrm{dx},\mathrm{dy}}^{\left(1\right)}(m,n)|---\left(6\right)$

注意到(6)式的右边为SAD，左边的求和项是2×2范围内像素值之和。

若已搜索获得一个当前最优匹配，其差值绝对值之和为SAD_min，一个候选块R_dxdy，若按(6)式左边计算的和范数差值大于SAD_min，根据(6)式，对应的SAD不可能小于SAD_min，该候选块和当前块之间无需作进一步的匹配计算。进一步地，和范数差值的计算代价远远小于SAD计算的计算量，具体地，本发明的一个实施例以像素积分图P记录4×4范围内像素值之和，若某个像素点(i，j)已经计算积分图，则

$P(i+1,j)=P(i,j)+\underset{m=0}{\overset{3}{\mathrm{\&Sigma;}}}{I}^{\&prime;}(i+4,m+j)-\underset{m=0}{\overset{3}{\mathrm{\&Sigma;}}}{I}^{\&prime;}(i,m+j)---\left(7\right)$

其中I′是由原始图像缩小而成的低分辨率图像。

估计运动向量场所需的计算代价正比于图像的尺寸，使用缩小后较低分辨率的图像能有效地减少计算代价。虽然估计所得的运动向量的精度不及由原始图像估计所得的运动向量，但在后续全尺寸图像的块匹配搜索中，以其确定起始位置，能极大地减少搜索范围，从而减少搜索时间。

设由原始分辨率图像计算所得的运动向量场为步骤203将的每个运动向量乘4复制给中的四个图像块。本发明的一个实施例设定的块大小为16×16，前述运动向量场针对的低分辨率图像，设定的块大小为8×8，所以中单个向量对应的图像块在X和Y方向各覆盖了原始图像的2个16×16子块。

步骤204，对于I₀的每个16×16块，若其从复制而来的运动向量(v_x，v_y)满足v_x=v_y=0，且块内不满足静止假设的像素数目小于一个阈值，则步骤205接受该块的运动向量为(0，0)，且判定该运动向量为可靠的运动向量，不再作进一步的搜索处理。

本发明的一个实施例以帧差δ(x，y)=|I₁(x，y)-I₀(x，y)|作为判断像素是否满足静止假设的依据，若δ(x，y)≤T_delta，则判定像素(x，y)为静止像素，否则为动态像素。其中T_delta是一个与图像噪声有关的阈值，可设T_delta=2.5σ，σ为估计的图像噪声标准差。

对于不满足步骤204所述条件的块，需要作运动向量求精处理。设图像块由复制而来的运动为向量(v_x，v_y)，步骤206以此向量确定初始搜索位置，设定搜索范围为-7～+7，采用菱形搜索算法计算该块的运动向量。

步骤207按如下的三条准则，判断由步骤206计算所得的运动向量是否可靠。

(1)空间域一致性准则：若图像块处在运动一致区域，则判定该块的运动向量是可靠的，跳过后续(2)和(3)的判断；否则，以准则(2)作进一步的判断。参照图4，B_m，n的四邻域分别是B_m-1，n、B_m，n-1、B_m，n+1和B_m+1，n，本发明的一个实施例计算B_m，n与其四邻域运动向量差值的最大值

Δ_max=max{|v_x(m，n)-v_x(m+i，n+j)|+|v_y(m，n)-v_y(m+i，n+j)|) (8)

其中i，j=0，±1，且|i|≠|j|。若Δ_max≤ε，则判定B_m，n块位于运动一致区域，否则不是。ε是一个较小的阈值，本发明的一个实施例取ε=2。

(2)前后向运动向量一致性准则：如图5所示，设I₀帧的B_m，n块(左上角坐标为(m，n))与其在I₁帧中的最佳匹配块之间的相对偏移为(v_x，v_y)。在I₁帧以(m+v_x，n+v_y)为左上角坐标，取大小与B_m，n相同的图像块，寻找该块在I₀帧中的最佳匹配块，且计算两者之间的相对偏移(u_x，u_y)。若下式成立，则(v_x，v_y)是B_m，n块的可靠的运动向量，否则该运动向量不可靠：

|v_x+u_x|+|v_y+u_y|≤T_mv (9)

其中T_mv是一个由实验确定的阈值，本发明的一个较佳实施例建议取T_mv=2。对于未被判定为不可靠的块，继续以准则(3)作进一步的判断。

(3)匹配误差准则：通过块匹配，I₀图像中的每个子块都能在I₁中找到一个最佳匹配块，不可靠的运动向量所产生的匹配误差通常会大于那些可靠的块。本发明的一个较佳实施例设定5％作为不可靠的块在所有块中所占的比例，且认为它们的匹配误差将大于其它95％的部分，由此确定一个关于匹配误差的阈值，若B_p，q块的匹配误差小于该阈值，则对应的运动向量被判定为可靠，否则为不可靠。

使用(2)和(3)准则判断的某一块，若两个准则同时判定其为可靠，才作出肯定的判断；若有一个准则判定其为不可靠，则作出否定的判断。

在中，不可靠的运动向量很大程度上是因为其对应的图像块位于运动对象的边缘，图像数据分别来自于不同的运动目标或者背景区域。显然，将这样的图像块划分得更小，有可能使得划分以后的子块中仅包含一个运动对象或背景区域，从而获得可靠的运动向量。图6示出了对作分辨率提升处理的具体实施方式的处理框图。

步骤601，将中坐标为(i，j)的块在X和Y方向分别作二等分，从而产生中坐标为{(2i+a，2j+b)|a=0，1；b=0，1)的四个子块。

步骤602，若的某块具有可靠的运动向量，则中与其对应的四个子块复制该运动向量。

步骤603，由不可靠的块所分裂而成的子块，由其四邻域中的可靠的运动向量构成候选向量集。

步骤604，判断上述集合是否为空。为空，则在本次迭代过程中忽略该块；否则，步骤605由候选向量集中的向量确定初始搜索位置，使用两步搜索算法搜索最佳匹配，且判断搜索结果是否可靠。设(3，4)是候选运动向量集中的一个向量，图7示出了第一步和第二步的搜索位置，其中第一步搜索三角形标记的9个位置，若右侧位置的点为最小匹配误差对应的点，则第二步搜索正方形标记的8个点。

步骤606，若循环次数达到预设值或本次循环估计所得的可靠运动向量数目少于某个阈值，则结束整个流程，否则转603继续循环。

参见图1，步骤104以运动补偿的方式，根据运动向量场作运动补偿插值和后续的处理，具体地，图8示出了实施流程。

步骤801根据运动向量场中那些可靠的运动向量，及插值帧I_Δt和I₀之间的时间间隔，将I₀的各个图像块投影到插值帧。由运动补偿所得的图像，分别存在三种类型的像素：与I₀图像的一个像素对应、与I₀的多个像素对应、不与I₀的任一个像素对应。本发明的一个实施例以计数图C记录这三种对应关系。

针对上述三类像素分别处理，具体为：

(1)若C(m，n)==1，则步骤802按下式赋值，

I_Δt(m，n)=I₀(m-v_xΔt，n-v_yΔt) (10)

其中(v_x，v_y)是运动向量场中穿过插值帧I_Δt的(m，n)像素的运动向量；

(2)不符合条件(1)的像素标记为NULL，含义为“其值待确定”。

步骤803，在水平和垂直方向检测单个像素宽度的NULL区域，具体地，判断下式是否成立：

I_Δt(m，n)==NULL and I_Δt(m-1，n)≠NULL and I_Δt(m+1，n)≠NULL (11)若成立，则计算：

$I_{\mathrm{\&Delta;t}}(m,n)=\frac{I_{\mathrm{\&Delta;t}}(m-1,n)+I_{\mathrm{\&Delta;t}}(m+1,n)}{2}---\left(12\right)$

否则，继续判断下式是否成立：

I_Δt(n，n)==NULL and I_Δt(m，n-1)≠NULL and I_Δt(m，n+1)≠NULL (13)是，则计算：

$I_{\mathrm{\&Delta;t}}(m,n)=\frac{I_{\mathrm{\&Delta;t}}(m,n-1)+I_{\mathrm{\&Delta;t}}(m,n+1)}{2}---\left(14\right)$

否则，保持I_Δt(m，n)原值为NULL。

设定扫描窗口的大小S_w×S_w略小于运动向量场所对应的窗口大小，设定用于块匹配计算的块尺寸为(S_w+2b)×(S_w+2b)，即在上、下、左、右相对于搜索窗口各扩展b个像素(本发明的一个实施例取b=2)。步骤804，以块扫描的形式检测I_Δt，若扫描窗口内存在值为NULL的像素，则触发多候选时间域加权滤波处理。

参照图9，虚线标示为S_w×S_w的扫描块，设(p，q)是一个待确定值的像素，该像素所在的块为B_p，q，以B_p，q块3×3邻域内的运动向量为候选向量构造候选向量集，实线所示的块为由运动补偿投影而来的块，所示箭头示意了运动向量。

步骤805，参照图10，设(v_x，v_y)是集合中的一个向量，以B_p，q所在位置为基准，(v_x，v_y)为偏移量确定B_p，q在I₁中的对应块以为当前块，I₂为参考图像，(2v_x，2v_y)为候选向量确定初始搜索位置，在一个较小的范围内寻找最佳匹配，记I₂中的最佳匹配块为以为当前块，I₀为参考图像，(-2v_x，-2v_y)为候选向量确定初始搜索位置，在一个较小的范围内寻找最佳匹配，记I₀中的最佳匹配块为由此，对于每个候选向量，将产生两对匹配块：和和

步骤806，计算上述匹配块之间的匹配误差为：

$D=\frac{1}{2N}\left(\underset{(m,n)\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}\right|B_{p,q}^{\left(0\right)}(m,n)-B_{p,q}^{\left(1\right)}(m,n)|+\underset{(m,n)\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}|B_{p,q}^{\left(1\right)}(m,n)-B_{p,q}^{\left(2\right)}(m,n)\left|\right)---\left(15\right)$

其中(m，n)表示图像块支撑域Λ的所有像素，N是块内的像素数目。

B_p，q块中值为NULL的像素(p，q)，由位于块中对应位置的像素参与滤波计算，按下式确定对应第r个候选向量的权值

$w\left(r\right)=\frac{S}{1+D\left(r\right)}---\left(16\right)$

其中

$S={\left(\underset{z}{\mathrm{\&Sigma;}}\frac{1}{1+D\left(z\right)}\right)}^{-1}---\left(17\right)$

D(z)是第z个候选向量所产生的匹配误差，按式(15)计算。

以加权和的形式计算插值帧中NULL像素的值：

$I_{\mathrm{\&Delta;t}}(p,q)=\underset{L}{\mathrm{\&Sigma;}}w\left(r\right)g(p,q;v_x\left(r\right),v_y\left(r\right))---\left(18\right)$

其中L代表候选向量的数目，(v_x(r)，v_y(r))是第r个候选向量，g(p，q；v_x(r)，v_y(r))是根据该向量确定的块中与待插值像素对应的像素值。

以上所述仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，凡在本发明的精神和原则之内，所做的任何修改或替换等，都应涵盖在本发明的保护范围内。

Claims (2)

1.一种应用于视频帧速率上转换的插值帧生成方法，其特征在于，包括：

步骤一：对于输入的两帧I₀和I₁，以快速块匹配算法计算运动向量场其中的每个元素对应I₀中的一个图像块，以向量的形式给出该块与其在I₁中的最佳匹配块之间的相对偏移；

步骤二：根据如下的可靠性准则判断中的各个运动向量是否可靠，

(1)空间域运动一致性准则：按下式计算B_{m ， n}块与其四邻域块运动向量差值的最大值Δ_max＝max{|v_x(m，n)-v_x(m+i，n+j)|+|v_y(m，n)-v_y(m+i，n+j)|}

其中i，j＝0，±1，且|i|≠|j|，若Δ_max小于一个预先设定的阈值，则判定B_{m ， n}块位于运动一致区域，其运动向量可靠，否则不可靠，可靠的块，跳过后续准则(2)和(3)的判断；

(2)前后向运动向量一致性准则：设I₀帧中左上角坐标为(m，n)的块B_{m ， n}的运动向量为(v_x，v_y)，在I₁帧以(m+v_x，n+v_y)为左上角坐标，取大小与B_{m ， n}相同的图像块，寻找该块在I₀帧中的最佳匹配，且计算两者之间的相对偏移(u_x，u_y)， 若下式成立，则(v_x，v_y)是B_{m ， n}块的可靠的运动向量，否则该运动向量不可靠：

|v_x+u_x|+|v_y+u_y|≤T_mv

其中T_mv是一个由实验确定的阈值，对于未被判定为不可靠的块，以准则(3)作进一步的判断；

(3)匹配误差准则：设定r为不可靠的块在所有块中所占的比例，且认为不可靠块的匹配误差将大于其它的部分，由此确定一个关于匹配误差的阈值，若B_{p ， q}块的匹配误差小于该阈值，则对应的运动向量被判定为可靠，否则为不可靠；

使用(2)和(3)准则判断的某一块，当两个准则同时判定其为可靠，才作出肯定的判断，若有一个准则判定其为不可靠，则作出否定的判断；

步骤三：运动向量场作分辨率提升处理，形成运动向量场若的某块具有可靠的运动向量，则中与其对应的四个子块复制该运动向量，若B_{m ， n}块的运动向量不可靠，由其分裂而成的子块，以其邻域块的运动向量构成候选向量集，由候选运动向量确定初始搜索位置，在一个较小的搜索范围内作进一步的块匹配搜索；

步骤四：假设待插值的帧介于步骤一所述的两帧I₀和I₁之间，与I₀的时间间隔为Δt，采用中可靠的运动向量，由运动向量值和Δt的乘积确定I₀中的图像块由于帧间运动在插值帧中所产生的相对位移，以像素复制的方式将I₀中的图像块复制到插值帧，以计数图C记录复制到插值图像中每个像素的输入图像的像素数目，对于像素(m，n)，若只有一个输入图像像素复制到该位置，则C(m，n)＝＝1，直接从输入帧复制像素值到插值帧的(m，n)像素，若没有输入像素复制到该位置，则C(m，n)＝＝0，将(m，n)归为空洞区域，若有多个输入像素复制 到该位置，则C(m，n)＞1，归为重叠区域，将空洞和重叠区域的像素值置为“NULL”，同时，假设运动物体在相邻帧的时间间隔内沿运动轨迹作平滑运动，由参与补偿的块以及插值帧与输入帧之间的时间差值Δt，确定补偿所得块的运动向量；

步骤五：以块扫描的形式从上到下、从左到右扫描插值图像，若块B_{p ， q}包含了值为NULL的像素，则该像素的值以多候选时间域加权滤波的方式计算。

2.如权利要求1所述的应用于帧速率上转换的插值帧生成方法，其特征在于，所述步骤五以I₁为当前帧，它的前一帧I₀和后一帧I₂作参考帧，对插值帧中值为NULL的像素作时间域加权滤波运算，具体地，设块B_{p ， q}中像素(p，q)的值为NULL，对其的处理包含如下步骤：

(1)以B_{p ， q}3×3邻域内的运动向量构成候选运动向量集；

(2)对于候选向量集中的向量(v_x，v_y)，以B_{p ， q}所在位置为基准，(v_x，v_y)为偏移量确定B_{p ， q}在I₁中的对应块以为当前块，I₂为参考图像，(2v_x，2v_y)为候选向量确定初始搜索位置，在一个较小的范围内寻找最佳匹配，记I₂中的最佳匹配块为以为当前块，I₀为参考图像，(-2v_x，-2v_y)为候选向量确定初始搜索位置，在一个较小的范围内寻找最佳匹配，记I₀中的最佳匹配块为由此，对于每个候选向量，将产生两对匹配块：和和

(3)计算上述匹配块之间的匹配误差为：

其中(m，n)表示图像块支撑域Λ的所有像素，N是块内的像素数目；

(4)B_{p ， q}块中值为NULL的像素(p，q)，由位于块中对应位置的像素参与滤波计算，按下式确定对应第r个候选向量的权值

其中

D(z)是第z个候选向量所产生的匹配误差；

(5)以加权和的形式计算插值帧中NULL像素的值：

其中L代表候选向量的数目，(v_x(r)，v_y(r))是第r个候选向量，g(p，q；v_x(r)，v_y(r))是由向量(v_x，v_y)确定的块中与待插值像素对应的像素值。