CN102685438B - 一种基于时域演变的视频帧率上转换方法 - Google Patents

Abstract

本发明提出了一种基于时域演变的视频帧率上转换方法，其包括如下步骤：首先对低帧率的视图进行运动估计，该运动估计的方法为：将像素值I(x-d,y-s,t-1)和像素值I(x+d,y+s,t+1)分别在像素值I(x,y,t)处利用泰勒公式展开，其中，I(x-d,y-s,t-1)是t-1时刻位置(x-d,y-s)处的像素值，I(x+d,y+s,t+1)是t+1时刻位置(x+d,y+s)处的像素值，I(x,y,t)是t时刻位置(x,y)处的像素值，将两个泰勒展开式均表示为等式一边为I(x,y,t)的形式，根据两个展开式中I(x,y,t)相等的原则，得到最优运动矢量(d,s)；然后利用得到的最优运动矢量对待插帧的前一帧和后一帧相应位置的像素进行运动补偿，得到高帧率的视图。本发明的视频帧率上转换方法利用泰勒公式推导出一种新的评价准则并利用这种准则选取最优的运动矢量，提高了运动估计的精度，能够生成较高质量的帧率上采样的信息。

Description

一种基于时域演变的视频帧率上转换方法

技术领域

本发明属于视频编码技术领域，涉及一种视频帧率上转换方法，特别涉及一种基于时域演变的视频帧率上转换方法。

背景技术

近年来，随着高清数字电视（HDTV）和高端多媒体信息系统的发展，需要提高现有视频节目源的帧率以达到最优的视觉效果；另外，对于某些传输带宽受到较大限制的场合，例如视频会议以及即将普及的3G视频通信等，其带宽相对较小，仅仅使用主流标准进行压缩，仍然无法达到所需的帧率，因此需要在编码端减少输入序列的帧率，然后对低帧率序列进行编码，对解码后的低帧率序列进行帧率上采样。

目前，现有的帧率上转换算法可以被分为三类，第一类算法通过已知的信息将整个序列在三维时空域内建立数学模型，对未知的数据进行估计，但这种算法计算量比较大。第二类算法不考虑物体的运动情况，仅仅通过参考帧的线性组合来实现，但这种算法的精度比较低。第三类算法考虑到物体的运动趋势，利用参考帧已知的运动信息对需要插值的帧中的运动物体的形状和位置进行预测，对于这种算法，如何提高运动估计精度，生成较高质量的帧率上采样信息是目前亟需解决的技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于时域演变的视频帧率上转换方法。

为了实现本发明的上述目的，本发明提供了一种基于时域演变的视频帧率上转换方法，其包括如下步骤：

S1：对低帧率的视图进行运动估计，所述运动估计的方法为：

S11：将像素值I(x-d,y-s,t-1)和像素值I(x+d,y+s,t+1)分别在像素值I(x,y,t)处利用泰勒公式展开，其中，I(x-d,y-s,t-1)是t-1时刻位置(x-d,y-s)处的像素值，I(x+d,y+s,t+1)是t+1时刻位置(x+d,y+s)处的像素值，I(x,y,t)是t时刻位置(x,y)处的像素值，

S12：将上述两个泰勒展开式均表示为等式一边为I(x,y,t)的形式，

S13：根据两个展开式中I(x,y,t)相等的原则，得到最优运动矢量(d,s)；

S2：利用步骤S1得到的最优运动矢量对待插帧的前一帧和后一帧相应位置的像素进行运动补偿，得到高帧率的视图。

本发明的视频帧率上转换方法利用泰勒公式推导出一种新的评价准则并利用这种准则选取最优的运动矢量，提高了运动估计的精度，能够生成较高质量的帧率上采样的信息。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明基于时域演变的视频帧率上转换方法的流程图；

图2为本发明一个优选实施方式中所采用的运动补偿内插法的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本发明提供了一种基于时域演变的视频帧率上转换方法，如图1所示，其包括如下步骤：

S1：对低帧率的视图进行运动估计，该运动估计的方法为：

S11：将像素值I(x-d,y-s,t-1)和像素值I(x+d,y+s,t+1)分别在像素值I(x,y,t)处利用泰勒公式展开，其中，I(x-d,y-s,t-1)是t-1时刻位置(x-d,y-s)处的像素值，I(x+d,y+s,t+1)是t+1时刻位置(x+d,y+s)处的像素值，I(x,y,t)是t时刻位置(x,y)处的像素值，

S12：将两个泰勒展开式均表示为等式一边为I(x,y,t)的形式，

S13：根据两个展开式中I(x,y,t)相等的原则，得到最优运动矢量(d,s)；

S2：利用步骤S1得到的最优运动矢量对待插帧的前一帧和后一帧相应位置的像素进行运动补偿，得到高帧率的视图。

在本发明的一种优选实施方式中，运动估计的具体步骤为：

首先，对于待插帧中当前块中的像素，令函数I(x,y,t)表示t时刻位置(x,y)处的像素值，令I(x-d,y-s,t-1)表示低帧率序列中t-1时刻位置(x-d,y-s)处的像素值，I(x+d,y+s,t+1)表示低帧率序列中t+1时刻位置(x+d,y+s)处的像素值。假设函数I(x,y,t)光滑，利用泰勒公式将I(x-d,y-s,t-1)和I(x+d,y+s,t+1)分别在I(x,y,t)展开，并将I(x,y,t)移到等式的左侧，在本实施方式中，只将像素值I(x-d,y-s,t-1)和像素值I(x+d,y+s,t+1)在I(x,y,t)处进行一阶泰勒展开，并忽略泰勒展开式的余项，可得到公式（1）和公式（2）：

I(x，y，t)=I(x+d，y+s，t+1)+(-d)I′_x(x+d，y+s，t+1)+(-s)I′_y(x+d，y+s，t+1)-I′_t(x+d，y+s，t+1) （1）

I(x，y，t)=I(x-d，y-s，t-1)+(d)I′_x(x-d，y-s，t-1)+(s)I′_y(x-d，y-s，t-1)+I′_t(x-d，y-s,t-1)  （2）

由于公式（1）和公式（2）是I(x,y,t)的不同表达形式，将式（1）-式（2）得：

0=I(x+d,y+s,t+1)-I(x-d,y-s,t-1)

+(-d)[I′_x(x+d,y+s,t+1)+I′_x(x-d,y-s,t-1)]+

+(-s)[I′_y(x+d,y+s,t+1)+I′_y(x-d,y-s,t-1)]-

[I′_t(x+d,y+s,t+1)+I′_t(x-d,y-s,t-1)]                    （3）

取：

$E_1=\underset{(x,y)}{\mathrm{\Σ}}\left|\right|{\begin{array}{c}I(x+d,y+s,t+1)-I(x-d,y-s,t-1)\\ +(-d)[I_x^{\′}(x+d,y+s,t+1)+I_x^{\′}(x-d,y-s,t-1)]+\\ +(-s)[I_y^{\′}(x+d,y+s,t+1)+]I_y^{\′}(x-d,y-s,t-1)-\\ [{I^{\′}}_t(x+d,y+s,t+1)+{I^{\′}}_t(x-d,y-s,t-1)]\end{array}\left|\right|}^2---\left(4\right)$

最优运动矢量(d,s)即是满足使E₁取最小值的运动矢量，在本实施方式中，在计算最优运动矢量(d,s)时，利用差分代替微分进行计算，即：

I′_x(x+d,y+s,t+1)＝I_x(x+d+1,y+s,t+1)-I_x(x+d,y+s,t+1)   （5）

I′_x(x-d,y-s,t-1)＝I_x(x-d+1,y-s,t-1)-I_x(x-d,y-s,t-1)   （6）

I′_y(x+d,y+s,t+1)＝I_y(x+d,y+s+1,t+1)-I_y(x+d,y+s,t+1)   （7）

I′_y(x-d,y-s,t-1)＝I_y(x-d,y-s+1,t-1)-I_y(x-d,y-s,t-1)   （8）

${I^{\′}}_t(x+d,y+s,t+1)=\frac{I(x+d,y+s,t+1)-I(x+d,y+s,t-1)}{2}---\left(9\right)$

${I^{\′}}_t(x-d,y-s,t-1)=\frac{I(x-d,y-s,t+1)-I(x-d,y-s,t-1)}{2}---\left(10\right)$

由于在整型像素进行运动估计的时候搜索范围比较大，搜索结果比较粗糙，函数I(x,y,t)很难满足光滑的特性，在本实施方式中，取：

$E_2=\underset{(x,y)}{\mathrm{\Σ}}{\left|\right|I(x+d,y+s,t+1)-I(x-d,y-s,t-1)\left|\right|}^2---\left(11\right)$

在进行运动估计时，在整型像素的时候，最优运动矢量(d,s)选择满足使E₁取最小值的运动矢量，在分像素查找的时候，最优运动矢量(d,s)选择使E₂取最小值的运动矢量。

运动估计完成后，利用得到的最优运动矢量对待插帧的前一帧和后一帧相应位置的像素进行运动补偿，得到高帧率的视图，具体为：

对于待插帧的当前像素I(x,y,t)，令(d,s)代表当前像素的最优运动矢量，令I(x+d,y+s,t+1)代表前一帧(x+d,y+s)位置处的像素值，I(x-d,y-s,t-1)代表后一帧(x-d,y-s)位置处的像素值。令I(x,y,t)代表I(x,y,t)的估计值，如图2所示，在本实施方式中，采用内插法进行运动补偿，假设新插入的帧在时域上处于原始的两帧的之间，则有：

$I\widehat{(x,y,z)}=\mathrm{\λI}(x-d,y-s,t-1)+(1-\mathrm{\λ})I(x+d,y+s,t+1)---\left(12\right)$

令δ为的方差，δ₁为I(x-d,y-s,t-1)的方差，δ₂为I(x+d,y+s,t+1)的方差，即有：

δ²=λ²δ₁ ²+(1-λ)²δ₂ ²                            （13）

式（13）的两边对λ求导数得：

0=2×λ×δ₁ ²-2×(1-λ)×δ₂ ²                      （14）

对公式（14）求解得：

$\mathrm{\λ}=\frac{{{\mathrm{\δ}}_2}^2}{{{\mathrm{\δ}}_1}^2+{{\mathrm{\δ}}_2}^2}---\left(15\right)$

在本实施方式中，采用 $\underset{(x,y)}{\mathrm{\Σ}}\left|\right|{{\mathrm{dI}}^{\′}}_x(x-d,y-s,t-1)+s{I^{\′}}_y(x-d,y-s,t-1)|{|}^2$ 对δ₁ ²进行估计，采用 $\underset{(x,y)}{\mathrm{\Σ}}\left|\right|{(-d)I^{\′}}_x(x+d,y+s,t+1)+(-s){I^{\′}}_y(x+d,y+s,t+1)|{|}^2$ 对δ₂进行估计。

本发明的视频帧率上转换方法利用泰勒公式推导出新的评价准则并利用这种准则选取最优的运动矢量，提高了运动估计的精度，能够生成较高质量的帧率上采样的信息。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种基于时域演变的视频帧率上转换方法，其特征在于，包括如下步骤：

S1：对低帧率的视图进行运动估计，所述运动估计的方法为：

S11：将像素值I(x-d,y-s,t-1)和像素值I(x+d,y+s,t+1)分别在像素值I(x,y,t)处利用泰勒公式展开，其中，I(x-d,y-s,t-1)是t-1时刻位置(x-d,y-s)处的像素值，I(x+d,y+s,t+1)是t+1时刻位置(x+d,y+s)处的像素值，I(x,y,t)是t时刻位置(x,y)处的像素值，

S12：将上述两个泰勒展开式均表示为等式一边为I(x,y,t)的形式，

S13：根据两个展开式中I(x,y,t)相等的原则，得到最优运动矢量(d,s)，所述最优运动矢量(d,s)是使E1取最小值的运动矢量

$E_1=\underset{(x,y)}{\mathrm{\Σ}}{||\begin{array}{c}I(x+d,y+s,t+1)-I(x-d,y-s,t-1)\\ +(-d)[I_x^{\′}(x+d,y+s,t+1)+I_x^{\′}(x-d,y-s,t-1)]+\\ +(-s)[I_y^{\′}(x+d,y+s,t+1)+I_y^{\′}(x-d,y-s,t-1)]-\\ [{I^{\′}}_t(x+d,y+s,t+1)+{I^{\′}}_t(x-d,y-s,t-1)]\end{array}||}^2;$

S2：利用步骤S1得到的最优运动矢量对待插帧的前一帧和后一帧相应位置的像素进行运动补偿，得到高帧率的视图，

其中，取： $E_2=\underset{(x,y)}{\mathrm{\Σ}}{\left|\right|I(x+d,y+s,t+1)-I(x-d,y-s,t-1)\left|\right|}^2$

最优运动矢量(d,s)是使E₂取最小值的运动矢量。

2.如权利要求1所述的基于时域演变的视频帧率上转换方法，其特征在于，在所述步骤S11中，将像素值I(x-d,y-s,t-1)和像素值I(x+d,y+s,t+1)在像素值I(x,y,t)处进行一阶泰勒展开。

3.如权利要求1所述的基于时域演变的视频帧率上转换方法，其特征在于，在计算最优运动矢量(d,s)时，利用差分代替微分进行计算。

4.如权利要求1所述的基于时域演变的视频帧率上转换方法，其特征在于，在步骤S2中，采用内插法进行运动补偿，即有

$I\left(\widehat{x,y,t}\right)=\mathrm{\λI}(x-d,y-s,t-1)+(1-\mathrm{\λ})I(x+d,y+s,t+1)$

其中，为待插帧I(x,y,t)的估计值，得到：

$\mathrm{\λ}=\frac{{{\mathrm{\δ}}_2}^2}{{{\mathrm{\δ}}_1}^2+{{\mathrm{\δ}}_2}^2}$

其中，δ为像素值的方差，δ₁为像素值I(x-d,y-s,t-1)的方差，δ₂为像素值I(x+d,y+s,t+1)的方差。

5.如权利要求4所述的基于时域演变的视频帧率上转换方法，其特征在于，采用 $\underset{(x,y)}{\mathrm{\Σ}}{\left|\right|d{I^{\′}}_x(x-d,y-s,t-1)+s{I}_y^{\′}(x-d,y-s,t-1)\left|\right|}^2$ 对进行估计，采用 $\underset{(x,y)}{\mathrm{\Σ}}{\left|\right|(-d){I^{\′}}_x(x+d,y+s,t+1)+(-s)I_y^{\′}(x+d,y+s,t+1)\left|\right|}^2$ 对δ₂进行估计。