CN101277419A - 帧内插设备与方法 - Google Patents

Abstract

第一运动矢量从源图像的源区域指向目的图像的目的区域。基于源图像与内插图像之间的第一时间距离，从第一运动矢量缩放得到第二运动矢量。基于目的图像与内插图像之间的第二时间距离，从第一运动矢量缩放得到第三运动矢量。使用源区域的失真能量计算内插图像的第一内插区域的权重。计算使用第二运动矢量从源区域补偿到内插图像的时间位置的第一运动补偿图像，以及使用第三运动矢量从目的区域补偿到所述时间位置的第二运动补偿图像。通过对第一运动补偿图像和第二运动补偿图像进行加权平均来计算第三运动补偿图像。通过对第三运动补偿图像的区域和具有权重的伪像防止图像的区域进行平均来计算内插图像的第二内插区域。

Description

帧内插设备与方法

技术领域

本发明涉及一种帧内插设备与方法，用于在输入的运动图像的帧之间内插新的帧。

背景技术

作为用于生成内插帧的一种普通方法，通过估计帧之间的运动来计算帧之间的运动矢量(流)。通过使用该运动矢量进行运动补偿来生成内插帧。然而，在该方法中，如果流被错误地估计，则会出现伪像。

接下来，在JP-A No.2005-6275(专利文献1)中公开了一种用于克服以上缺陷的技术。对于该技术而言，在对(编码的)运动图像进行解码的情况下，计算在整个帧中的流(运动矢量)的分布、方向和DCT系数。通过分布、方向和DCT系数来评估整个帧中的流的可信度。基于该可信度，控制内插/不内插新的帧。在可信度低的情况下，不内插新的帧。在该情况下，可以抑制伪像。

然而，在专利文献1中，基于整个帧的统计量来控制内插/不内插新的帧。因此，难以应付帧中的局部伪像。此外，对于整个帧频繁地进行内插/不内插的切换。因此，这种频繁的切换在视觉上被认为是闪烁，并且产生了新的伪像(artifact)。

发明内容

本发明针对一种帧内插设备与方法，用于通过在运动图像的帧之间内插新的帧来平滑运动图像。

根据本发明的一个方面，提供了一种用于在源图像与目的图像之间生成内插图像的设备，包括：运动估计单元，配置为计算从所述源图像中的源区域到所述目的图像中的目的区域的第一运动矢量、基于在所述源图像与所述内插图像之间的第一时间距离而从所述第一运动矢量缩放得到的第二运动矢量、以及基于在所述目的图像与所述内插图像之间的第二时间距离而从所述第一运动矢量缩放得到的第三运动矢量；失真能量计算单元，配置为计算所述源区域的失真能量，当所述源区域中像素的像素值与所述目的区域中对应像素的像素值之间的差较小时，所述失真能量较小；权重计算单元，配置为使用所述源区域的失真能量计算所述内插图像的第一内插区域的第一权重，所述第一内插区域由所述第二运动矢量从所述源区域所指向；运动补偿图像生成单元，配置为通过使用所述第二运动矢量将所述源区域补偿到所述内插图像的时间位置来生成第一运动补偿图像，通过使用所述第三运动矢量将所述目的区域补偿到所述时间位置来生成第二运动补偿图像，并且通过采用所述第一时间距离和所述第二时间距离对所述第一运动补偿图像和所述第二运动补偿图像进行加权平均来生成第三运动补偿图像；伪像防止图像生成单元，配置为生成从所述源图像、所述目的图像和时间加权平均图像中选出的伪像防止图像，所述时间加权平均图像是通过采用所述第一时间距离和所述第二时间距离对所述源图像和所述目的图像进行加权平均来生成的；以及图像内插单元，配置为通过采用所述第一权重对所述第三运动补偿图像中的一区域和所述伪像防止图像中的一区域进行加权平均来生成所述内插图像的第二内插区域，所述第三运动补偿图像中的所述区域和所述伪像防止图像中的所述区域每个与所述第二内插区域相对应。

根据本发明的另一方面，还提供了一种用于在源图像与目的图像之间生成内插图像的设备，包括：运动估计单元，配置为计算从所述源图像中的源区域到所述目的图像中的目的区域的第一运动矢量、基于在所述源图像与所述内插图像之间的第一时间距离而从所述第一运动矢量缩放得到的第二运动矢量、以及基于在所述目的图像与所述内插图像之间的第二时间距离而从所述第一运动矢量缩放得到的第三运动矢量；失真能量计算单元，配置为计算所述源区域的失真能量，当所述源区域中像素的像素值与所述目的区域中对应像素的像素值之间的差较小时，所述失真能量较小；权重计算单元，配置为使用所述源区域的失真能量计算所述内插图像的第一内插区域的第一权重，所述第一内插区域由所述第二运动矢量从所述源区域所指向；运动补偿图像生成单元，配置为通过使用所述第二运动矢量将所述源区域补偿到所述内插图像的时间位置来生成第一运动补偿图像，通过使用所述第三运动矢量将所述目的区域补偿到所述时间位置来生成第二运动补偿图像，并且通过采用所述第一时间距离和所述第二时间距离对所述第一运动补偿图像和所述第二运动补偿图像进行加权平均来生成第三运动补偿图像；伪像防止图像生成单元，配置为使用所述源图像的矢量提取区域的全局运动矢量生成伪像防止图像，所述全局运动矢量表示从所述源图像到所述目的图像的几何变换；以及图像内插单元，配置为通过采用所述第一权重对所述第三运动补偿图像中的一区域和所述伪像防止图像中的一区域进行加权平均来生成所述内插图像的第二内插区域，所述第三运动补偿图像中的所述区域和所述伪像防止图像中的所述区域每个都与所述第二内插区域相对应。

根据本发明的再另一方面，还提供了一种用于在源图像与目的图像之间生成内插图像的方法，包括：计算从所述源图像中的源区域到所述目的图像中的目的区域的第一运动矢量、基于在所述源图像与所述内插图像之间的第一时间距离而从所述第一运动矢量缩放得到的第二运动矢量、以及基于在所述目的图像与所述内插图像之间的第二时间距离而从所述第一运动矢量缩放得到的第三运动矢量；计算所述源区域的失真能量，当所述源区域中像素的像素值与所述目的区域中对应像素的像素值之间的差较小时，所述失真能量较小；使用所述源区域的失真能量计算所述内插图像的第一内插区域的第一权重，所述第一内插区域由所述第二运动矢量从所述源区域所指向；通过使用所述第二运动矢量将所述源区域补偿到所述内插图像的时间位置来生成第一运动补偿图像，通过使用所述第三运动矢量将所述目的区域补偿到所述时间位置来生成第二运动补偿图像，并且通过采用所述第一时间距离和所述第二时间距离对所述第一运动补偿图像和所述第二运动补偿图像进行加权平均来生成第三运动补偿图像；生成从所述源图像、所述目的图像和时间加权平均图像中选出的伪像防止图像，所述时间加权平均图像是通过采用所述第一时间距离和所述第二时间距离对所述源图像和所述目的图像进行加权平均来生成的；以及通过采用所述第一权重对所述第三运动补偿图像中的一区域和所述伪像防止图像中的一区域进行加权平均来生成所述内插图像的第二内插区域，所述第三运动补偿图像中的所述区域和所述伪像防止图像中的所述区域每个都与所述第二内插区域相对应。

根据本发明的再另一方面，提供了一种用于在源图像与目的图像之间生成内插图像的方法，包括：计算从所述源图像中的源区域到所述目的图像中的目的区域的第一运动矢量、基于在所述源图像与所述内插图像之间的第一时间距离而从所述第一运动矢量缩放得到的第二运动矢量、以及基于在所述目的图像与所述内插图像之间的第二时间距离而从所述第一运动矢量缩放得到的第三运动矢量；计算所述源区域的失真能量，当所述源区域中像素的像素值与所述目的区域中对应像素的像素值之间的差较小时，所述失真能量较小；使用所述源区域的失真能量计算所述内插图像的第一内插区域的第一权重，所述第一内插区域由所述第二运动矢量从所述源区域所指向；通过使用所述第二运动矢量将所述源区域补偿到所述内插图像的时间位置来生成第一运动补偿图像，通过使用所述第三运动矢量将所述目的区域补偿到所述时间位置来生成第二运动补偿图像，并且通过采用所述第一时间距离和所述第二时间距离对所述第一运动补偿图像和所述第二运动补偿图像进行加权平均来生成第三运动补偿图像；使用所述源图像的矢量提取区域的全局运动矢量生成伪像防止图像，所述全局运动矢量表示从所述源图像到所述目的图像的几何变换；以及通过采用所述第一权重对所述第三运动补偿图像中的一区域和所述伪像防止图像中的一区域进行加权平均来生成所述内插图像的第二内插区域，所述第三运动补偿图像中的所述区域和所述伪像防止图像中的所述区域每个都与所述第二内插区域相对应。

附图说明

图1是根据第一实施例的帧内插设备的框图；

图2是根据第一实施例的概略处理的流程图；

图3是根据第一实施例的失真能量计算的流程图；

图4是根据第一实施例的用于防止伪像的图像的生成流程图；

图5是根据第一实施例的α图生成流程图；

图6是根据第一实施例的运动补偿的转变(warping)的流程图；

图7是根据第一实施例的α混合的流程图；

图8是根据第二实施例的失真能量计算的流程图；

图9是根据第三实施例的帧内插设备的框图；

图10是具有低准确度的流的示意图；

图11是根据图10中的流生成的α图的示意图；

图12是根据第四实施例的帧内插设备的框图；

图13是根据第四实施例的k均值聚类的流程图；以及

图14是根据第四实施例的全局运动的提取处理的示意图。

具体实施方式

以下，将参考附图解释本发明的各个实施例。本发明并不局限于以下实施例。

(第一实施例)

参考图1-7解释第一实施例的帧内插设备10。在帧内插设备10中，在输入了运动图像的情况下，在两个(对象)帧之间内插新的(内插)帧。通过增加每单位时间的帧数量，来平滑运动图像。对于运动图像而言，不管分辨率、大小、帧速率和内插帧的数量如何，都能够采用本实施例。

(1)帧内插设备10的概述

图1是第一实施例的帧内插设备10的框图。对于帧内插设备10而言，在输入源图像I_src和目的图像I_dst过程中或者之后，在像素级上生成内插帧。帧内插设备10包括：运动估计单元12、失真能量计算单元14、伪像防止图像生成单元16、α图生成单元18、运动补偿转变(warping)单元20、以及α混合单元22。

如图2所示，帧内插设备10基于源图像、目的图像和估计的流，在局部计算流的可信度。通过使用流将可信度转变到内插帧的时间位置上，可以将可信度转换为α值，并且生成α图。通过使用α值将运动补偿图像与伪像防止图像混合，能够去掉局部伪像(质量变坏的图像)。

(2)运动估计单元12

运动估计单元12的流估计方法是例如块匹配法、光流法、像素递归法、以及Bayesian法。在第一实施例中，解释块匹配法。然而，流估计方法并不局限于块匹配法。也可以使用光流法、像素递归法、以及Bayesian法。

首先，将源图像划分为多个块，每个块都具有如下的矩形区域。

B(i)＝{i+(x，y)^T|0≤x＜M₁，0≤y＜M₂}

i∈X：块中的左上角点

M₁、M₂：块的x大小和y大小

$X{\⋐\mathrm{\Λ}}^2:$ 帧

基于SSD(差的平方和)的块匹配算法表示为如下。

$u\left(i\right)=\arg \underset{u\∈W}{\min }E(i,u)\≡\underset{x\∈B\left(i\right)}{\mathrm{\Σ}}{(I_{\mathrm{dst}}(i+u+x)-I_{\mathrm{src}}(i+x))}^2---\left(1\right)$

$W\⋐X:$ 运动搜索区

u(i)∈X：块i的流

对于块匹配，假设在同一块中的每个像素具有相同的流。每个像素的流表示为如下。

$u(i+x)\≡u\left(i\right),\∀x\∈B\left(i\right)---\left(2\right)$

(3)失真能量计算单元14

接下来，参考图3的流程图解释失真能量计算单元14。失真能量计算单元14计算每个像素的失真能量。

(3-1)第一失真能量：

假设每个像素的亮度沿着运动而在帧上恒定。获得以下等式。

I_dst(x+u(x))＝I_src(x)

位移后的像素差(在源图像中像素的亮度与目的图像中经过流位移的像素的亮度之间的差)表示为如下。

dpd(x)＝I_dst(x+u(x))-I_src(x)

位移后的像素差越小，则流的可信度越高。因此，通过位移后的像素差的失真能量来定义可信度，如下所示。

D(x)＝dpd(x)²

然而，如果仅对一个像素计算可信度，则该像素受到噪声的影响并且该像素的可信度的可靠性不高。因此，按如下计算通过对相邻像素的位移后的像素差进行卷积得到的第一失真能量。

$U\left(x\right)=\underset{s\∈N\left(x\right)}{\mathrm{\Σ}}D(x+s)---\left(3\right)$

第一失真能量越小，则可信度越高。在该等式中，

是与像素x相邻的像素的集合。例如，包含像素x的9个像素或25个像素是该集合N(x)。

(3-2)第二失真能量

即使是第一失真能量(位移后的像素差的能量)很小，如果与像素x相邻的其他像素的流在空间上分散，则内插帧可能在局部质量差。因此，按如下计算其他像素的流的平滑能量。

V(x，s)＝‖u(x+s)-u(x)‖²

每个其他像素的流越接近，则平滑能量越低。简而言之，平滑能量越低，空间越平滑。换而言之，该流就越可靠。

(3-3)扩展的失真能量

通过考虑第二失真能量(平滑能量)来扩展第一失真能量(位移后的像素差的能量)，如下所示。

$U\left(x\right)=\underset{s\∈N\left(x\right)}{\mathrm{\Σ}}\mathrm{\λD}(x+s)+V(x,s)---\left(4\right)$

在等式(4)中，“λ＞＝0”表示超参数(hyper parameter)，用于为位移后的像素差和平滑性附加重要性。采用该扩展的失真能量，具有较小的位移后的像素差且在空间中平滑的流被判定具有较高的可信度。

以上等式被定义为L2范数。然而，也可以将其定义为L1范数，即如下的绝对值。

D(x)＝|dpt(x)|

V(x，s)＝|u(x+s)-u(x)|+|v(x+s)-v(x)|

U(x)＝(u(x)，v(x))^T

u，v：矢量u的x坐标和y坐标

(3-4)加权的情况

以上的卷积在与像素x相邻的其他像素具有几乎相同的运动的情况下没有问题。然而，在所述其他像素包含第一运动和第二运动之间的边界的情况下，在内插的帧中会出现失真。因此，可以通过像素之间的相似性进行加权，如下所示。

$U\left(x\right)=\underset{s\∈N\left(x\right)}{\mathrm{\Σ}}w(x,s)\{\mathrm{\λD}(x+s)+V(x,s)\}---\left(5\right)$

$w(x,s)=k_{{\mathrm{\σ}}_s}\left(s\right)k_{{\mathrm{\σ}}_I}(I_{\mathrm{src}}(x+s)-I_{\mathrm{src}}\left(x\right))$

$k_{\mathrm{\σ}}\left(z\right)=\exp (-\frac{Z^{T}Z}{{2\mathrm{\σ}}^2})$

k_σ(z)：标准偏差σ的正态分布函数

σ_s，σ_I：相邻空间核和相似度核的标准偏差

在等式(5)的第二个等式中，右侧的第一项表示空间核中的高斯权重。简而言之，该核的中心像素具有最大权重。右侧的第二项表示相似度核。在图像上两个像素彼此位置越接近，这两个像素的权重就越大。因此，仅仅对具有相同运动的像素区域进行卷积。作为结果，如果仅仅具有相同运动的像素区域的边界覆盖了图像中的边缘，则能够避免具有不同运动的另一像素区域的卷积。

(4)伪像防止图像生成单元16

接下来，参考图4的流程图解释伪像防止图像生成单元16。伪像防止图像生成单元16使用伪像防止图像替代不可信流的区域作为内插帧。

使用了相邻帧(源帧、目的帧)的空间加权平均图像作为内插帧。如果内插帧的内插时间位置为“0≤t≤1”，则按如下计算空间加权平均图像。

I_t(x)＝(1-t)I_src(x)+tI_dst(x)

时间加权平均图像在视觉上具有很少的熵和良好的质量。然而，可以将源图像I_src或者目的图像I_dst用作内插帧。

此外，可以按如下使用正常的平均(而不是加权平均)。

I_t(x)＝0.5I_src(x)+0.5I_dst(x)

(5)α图生成单元18

接下来，参考图5的流程图解释α图生成单元18。

(5-1)α值的计算

α图生成单元18生成α图，即，可信度图。α图具有用于进行α混合的每个像素的系数。作为该系数的α值(可信度)所具有取值范围为“0-1”，并且大小与源图像相同。

将失真能量U(x)定义为大于“0”的实数。失真能量越小，可信度越高。对于具有高可信度的区域，应该优先使用运动补偿图像(基于流)来进行α混合。简而言之，对于具有较小失真能量的区域，α值被设定为接近“1”。对于具有较大失真能量的区域，α值被设定为接近“0”。

因此，通过采用正态分布函数，可以将失真能量U(x)转换为取值范围为“0-1”的α值。

$\mathrm{\α}\left(x\right)=\exp (-\frac{U{\left(x\right)}^2}{2{\mathrm{\σ}}^2})---\left(6\right)$

σ：转换的标准偏差

在等式(6)中，如果σ较小，则容易地将可信度确定为较低。此外，可以按如下使用对数映射。

$\mathrm{\α}\left(x\right)=\frac{1}{1+\exp \left(a(U\left(x\right)-b)\right)}---\left(7\right)$

a＞0，b＞0：确定该变换的形状的参数

(5-2)位置偏移

在与源图像相同的时间位置上计算失真能量。因此，需要偏移α图的时间位置。时间位置由流来进行偏移。如果内插帧的时间位置t为“0≤t≤1”，则所述时间位置表示为如下。

用于对x的x分量和y分量取整的操作符(截断)。

多个α值经常通过偏移而在α图的同一区域中交叠。在该情况下，优先使用较高的α值，因为较高的α值的可信度比较低的α值的可信度要高。此外，该操作符截断x分量和y分量。为了保证x元素和y元素的截断，可以通过偏移来在局部重复x分量和y分量。

(6)运动补偿转变单元20

接下来，参考图6的流程图解释运动补偿转变单元20。运动补偿转变单元20用流来转变源图像和目标图像，并生成运动补偿图像。

采用流的偏移方法与α图生成单元18相同。在源图像和目的图像上的像素x的像素值表示为如下。

I₁＝I_src(x)

I₂＝I_dst(x+u(x))

如果内插帧的时间位置为“0≤t≤1”，则通过时间加权平均来计算内插帧的像素值，如下所示。

I_mc＝(1-t)I₁+tI₂

在以上等式中，“I_mc”表示运动补偿图像。

采用与α图生成单元18相同的方式，多个像素值经常通过偏移而在运动补偿图像的同一区域上交叠。在该情况下，通过比较α值来优先使用一个像素值。

此外，在运动补偿图像上经常存在不具有像素值的区域。对于这种情况的小区域，通过滤波来分配相邻区域的像素值。对于这种情况的大区域，分配在伪像防止图像上相应区域的像素值。

(7)α混合单元22

接下来，参考图7的流程图来解释α混合单元22。α混合单元22根据α图来将运动补偿图像与伪像防止图像进行合成。该合成是如下的一种普通α混合方法。

I＝α(x)I_mc(x)+(1-α(x))I_t(x)

通过使用上述等式确定内插的像素值，来生成要内插在源图像与目的图像之间的新的(内插)帧。

(8)效果

对于第一实施例的帧内插设备10，在输入运动图像的情况下，在源帧与目的帧之间内插新的帧。通过增加每单位时间的帧数量，可以在视觉上平滑运动图像的内容。具体而言，去掉了帧中的局部缺陷。

(第二实施例)

接下来，参考图8解释第二实施例的帧内插设备10。在第一实施例中，帧内插设备10计算每个像素的失真能量。然而，该计算量可能变得太大。因此，在第二实施例中，帧内插设备10计算每个块的失真能量。除了图1中的失真能量计算单元14之外，第二实施例的帧内插设备10的各个单元的功能与第一实施例中的相同，因此省略了对其的解释。

失真能量计算单元14以块为单位计算失真能量。源图像被划分为多个块，每个块都具有如下的矩形区域。

B(i)＝{i+(x，y)^T|0≤x＜M₁，0≤y＜M₂}

i∈X：块中的左上角点

M₁、M₂：块的x大小和y大小

$X{\⋐\mathrm{\Λ}}^2:$ 帧

通过如下的每个块的SAD(绝对差之和)计算差的能量。

$\mathrm{SAD}\left(i\right)=\underset{b\∈B\left(i\right)}{\mathrm{\Σ}}|I_{\mathrm{dst}}(i+b+u(i+b))-I_{\mathrm{src}}(i+b)|---\left(9\right)$

在等式(9)中，使用绝对差之和。然而，可以使用平方和。

平滑能量计算为关注块的流与相邻块的流之间的差，如下所示。

V(i，j)＝‖u(j)-u(i)‖²                                  (10)

在等式(10)中，可以使用绝对差之和。平滑能量计算为所有相邻块的差之和。通过线性关联等式(9)和(10)，将失真能量定义为如下。

$U\left(i\right)=\mathrm{\λSAD}\left(i\right)+\underset{j\∈N}{\mathrm{\Σ}}V(i,i+j)---\left(11\right)$

等式(11)的失真能量是以块为单位计算的。在等式(11)中，“N”表示相邻块的数量(例如，相邻的4个块)。

(第三实施例)

接下来，参考图9解释第三实施例的帧内插设备10。在第三实施例中，如图9中所示，传输了一个编码的图像信号。解码器24对该编码的图像信号进行解码，并且使用该解码的图像信号生成内插帧。在该情况下，运动估计单元12不计算流。解码器24通过对编码的图像进行解码来计算流，并将该流直接用于生成内插帧。

(第四实施例)

接下来，参考图10-14解释第四实施例的帧内插设备10。在第一实施例中，采用α混合来防止由错误流造成的内插帧的伪像。然而，如图10所示，如果流的估计结果准确率较低(包含很多错误流)，则会发生问题。图11示出了根据图10中的流所生成的α图。在图11中，与错误流相对应的α值很低(图11中的黑色区域)。

在第一实施例中，使用时间加权平均图像作为伪像防止图像。如图11所示，如果具有高α值的第一区域与具有低α值的第二区域在α图中混合(尤其是，在同一运动区域中)，则运动补偿图像与时间加权平均图像在内插图像中混合。作为结果，该混合区域在视觉上被看作是闪烁。

然而，具有低α值的区域的流具有低可靠性，并且不能照原样使用运动补偿图像。另一方面，即使是将时间加权平均图像与运动补偿图像混合，也会观看到内插图像中的闪烁。该问题是由运动补偿图像与时间加权平均图像之间的运动差异所造成的。因此，较佳的是使用与运动补偿图像类似的图像(与时间加权平均图像相比)作为伪像防止图像进行α混合。

在该情况下，可以将时间加权平均图像突然地插入到其中所有区域都具有相同运动的内插图像中。从源图像和目的图像中提取该相同运动，作为全局运动。全局运动是在图像中几乎所有区域的最主要运动。因此，使用全局运动生成用于补偿低可信度区域的图像，并将其用于α混合。还将时间加权平均图像看作是静态全局运动。作为结果，全局运动被认为是从α混合的扩展。

(1)帧内插设备10的概要

参考图12解释第四实施例的帧内插设备10。如图12所示，帧内插设备10包括运动估计单元12、失真能量计算单元14、α图生成单元18、运动补偿转变单元20、α混合单元22、全局运动提取单元26、第二失真能量计算单元28、第二α图生成单元30、以及第二运动补偿转变单元32。

第四实施例基本上是α的扩展，并基本上与第一实施例相同。因此，将解释在第四实施例的帧内插设备中与第一实施例不同的各个单元。在第四实施例中，使用了以下描述。

格空间(lattice space)：Λ²

帧： $X\⋐{\mathrm{\Λ}}^2$

帧中的点：x∈X

块单元：i∈Λ²

第i个块： $B\left(i\right)\⋐X$

流：u(x)∈R²

(2)全局运动提取单元26

首先，参考图13和14解释全局运动提取单元26。通过从二维平面到二维平面的几何变换来对全局变量进行建模。典型的几何变换是仿射变换。仿射变换表示平移、旋转、放大和剪切变形(从正方形到菱形的变形)。仿射变换是一种常用的几何变换，但是比较复杂，因为其自由度为6个。因此，在以下解释中，仅仅采用平移作为几何变换。在该情况下，将几何变换表示为一个单元的二维流，并且其自由度为2，如下所示：

$\stackrel{\‾}{u}={(u,v)}^T---\left(13\right)$

通过计算来自某个区域的典型流，来确定该几何变换。该典型流被计算为平均值或者均值。采用k均值法，简单地解决了从流的域中提取全局运动的问题。k均值法是用于将流的域聚类到K个单元中的方法。

z(i)∈Z：每个流u(i)所归属的聚类的标记                    (14)

$z^{\left(0\right)}\left(i\right)(\∀i\∈{\mathrm{\Λ}}^2):$ 初始标记

在该情况下，计算每个聚类的平均值，如下所示。

${\stackrel{\‾}{u}}_k^{\left(t\right)}=\frac{\underset{u\∈U_k^{\left(t\right)}}{\mathrm{\Σ}}u}{\mathrm{Num}\left(U_k^{\left(t\right)}\right)}---\left(15\right)$

$U_k^{\left(t\right)}=\left\{u\left(i\right)\right|z^{\left(t\right)}\left(i\right)=k,\∀i\∈{\mathrm{\Λ}}^2\}$

在等式(15)中，“Num()”是用于计算元素数量的操作符。右上角的附标“(t)”是迭代。

接下来，按如下确定与平均值之间具有最小距离的聚类，并按如下更新标记。

$z^{(t+1)}\left(i\right)=\arg \underset{k\∈\{1,....,K\}}{\min }{\left|\right|{\stackrel{\‾}{u}}_k^{\left(t\right)}-u\left(i\right)\left|\right|}_L---\left(16\right)$

对于k均值法，将等式(14)和(15)重复预定的次数。在操作了几次之后输出值收敛，有时一次就收敛了。

考虑用于设置初始标记的很多方法。例如，可以任意指定标记k(k＝1，...，K)。在第四实施例中，如图14所示，将源图像的聚类结果(采用k均值得到)用作初始标记。首先，按如下计算源图像的一个块中的平均值。

${\stackrel{\‾}{I}}_{\mathrm{src}}\left(i\right)=\frac{1}{\mathrm{Num}\left(B\left(i\right)\right)}\underset{x\∈B\left(i\right)}{\mathrm{\Σ}}{I}_{\mathrm{src}}\left(x\right)---\left(17\right)$

在等式(17)中，适当地设定每个聚类的平均值的初始值

(例如，用K除以“0-255”的除法值)。

用以下标记方法来更新该标记。

$z_{\mathrm{src}}^{\left(t\right)}\left(i\right)=\arg \underset{k\∈\{1,....,K\}}{\min }{\left|\right|{\stackrel{\‾}{I}}_k^{\left(t\right)}-{\stackrel{\‾}{I}}_{\mathrm{src}}\left(i\right)\left|\right|}_L---\left(18\right)$

接下来，按如下计算每个聚类的平均值。

${\stackrel{\‾}{I}}_k^{(t+1)}=\frac{\underset{I\∈I_k^{\left(t\right)}}{\mathrm{\Σ}}I}{\mathrm{Num}\left(I_k^{\left(t\right)}\right)}---\left(19\right)$

$I_k^{\left(t\right)}=\left\{{\stackrel{\‾}{I}}_{\mathrm{src}}\left(i\right)\right|z_{\mathrm{src}}^{\left(t\right)}\left(i\right)=k,\∀i\∈{\mathrm{\Λ}}^2\}$

重复运算等式(17)和(18)几次。将源图像的整个区域的聚类结果设定为流聚类的初始值，如以下所示。

$z^{\left(0\right)}\left(i\right)=Z_{\mathrm{src}}^{\left(T\right)}\left(i\right),\∀i\∈{\mathrm{\Λ}}^2---\left(20\right)$

在等式(20)中，“T”是k均值法的迭代次数。在计算了标记z(i)之后，按照如下，用平均值或者矢量均值来确定全局运动。

${\stackrel{\‾}{u}}_k=\frac{\underset{u\∈U_k}{\mathrm{\Σ}}u}{\mathrm{Num}\left(U_k\right)}---\left(21\right)$

$U_k=\left\{u\left(i\right)\right|z\left(i\right)=k,\∀i\∈{\mathrm{\Λ}}^2\}$

${\stackrel{\‾}{u}}_k=\arg \underset{u\∈U_k}{\min }\underset{u_j\∈U_k}{\mathrm{\Σ}}{\left|\right|u-u_j\left|\right|}_L---\left(22\right)$

$U_k=\left\{u\left(i\right)\right|z\left(i\right)=k,\∀i\∈{\mathrm{\Λ}}^2\}$

(3)第二α图生成单元30

第二α图生成单元30使用全局运动

来生成α图。如果在一个帧中的所有像素都具有全局运动

(整个帧具有一致的流)，则采用与第一实施例相同的方式生成α图。将α图表示为α_k(x)(k＝1，....，K)。

此外，还生成用于时间加权平均图像的另一α图。将全局运动表示为

(即，静态运动)，并生成α图α_t(x)。

(4)第二运动补偿转变单元32

第二运动补偿转变单元32使用全局运动 ${\stackrel{\‾}{u}}_k(k=1,....,K)$ 生成运动补偿转变图像。如果在一个帧中的所有像素都具有全局运动

(整个帧具有一致的流)，则采用与第一实施例相同的方式执行运动补偿转变。将转变的结果表示为I_k(x)(k＝1，....，K)。

(5)α混合单元22

α混合单元22混合(合成)运动补偿转变图像I_m(x)、全局运动转变图像I_k(x)(k＝1，....，K)、以及时间加权平均图像I_t(x)。为了正确地进行α混合，将I_m(x)，I_k(x)，I_t(x)的加权系数之和设定为“1”。该模型表示为如下。

$I\left(x\right)=\mathrm{\α}\left(x\right)I_{\mathrm{mc}}\left(x\right)+(1-\mathrm{\α}\left(x\right))\left\{\frac{\underset{k\∈\{1,...,K}{\mathrm{\Σ}}{\{\mathrm{\α}}_k\left(x\right)I_k\left(x\right)\}+{\mathrm{\α}}_t\left(x\right)I_t\left(x\right)}{\underset{k\∈\{1,...,K\}}{\mathrm{\Σ}}\left\{{\mathrm{\α}}_k\left(x\right)\right\}+{\mathrm{\α}}_t\left(x\right)}\right\}---\left(23\right)$

在等式(23)中，在“K＝0”的情况下，该模型等价于第一实施例的α混合。因此，第四实施例被看作是该α混合的扩展。右侧第二项是在全局运动转变图像中的每个α值的加权平均。在该情况下，优先使用在全局运动转变图像中具有较高α值的区域。

(修改例1)

在以上实施例中，在内插图像的时间位置上分别对运动补偿图像和时间加权平均图像进行加权平均。然而，当帧内插设备被封装时，在对帧之间的时间方向进行量化的情况下，可以不量化内插图像的时间位置。在该情况下，在该时间位置附近的任何位置上对运动补偿图像和时间加权平均图像进行加权平均。

(修改例2)

在以上实施例中，α图计算单元18在生成α图之后，在内插帧的时间位置上偏移α图。然而，在将每个区域的失真能量向内插帧的时间位置偏移之后，可以生成α图。

Claims (16)

1、一种用于在源图像与目的图像之间生成内插图像的设备，包括：

运动估计单元，配置为计算从所述源图像中的源区域到所述目的图像中的目的区域的第一运动矢量、基于在所述源图像与所述内插图像之间的第一时间距离而从所述第一运动矢量缩放得到的第二运动矢量、以及基于在所述目的图像与所述内插图像之间的第二时间距离而从所述第一运动矢量缩放得到的第三运动矢量；

失真能量计算单元，配置为计算所述源区域的失真能量，当所述源区域中像素的像素值与所述目的区域中对应像素的像素值之间的差减小时，所述失真能量减小；

权重计算单元，配置为使用所述源区域的失真能量计算所述内插图像的第一内插区域的第一权重，所述第一内插区域由所述第二运动矢量从所述源区域所指向；

运动补偿图像生成单元，配置为通过使用所述第二运动矢量将所述源区域补偿到所述内插图像的时间位置来生成第一运动补偿图像，通过使用所述第三运动矢量将所述目的区域补偿到所述时间位置来生成第二运动补偿图像，并且通过采用所述第一时间距离和所述第二时间距离对所述第一运动补偿图像和所述第二运动补偿图像进行加权平均来生成第三运动补偿图像；

伪像防止图像生成单元，配置为生成从所述源图像、所述目的图像和时间加权平均图像中选出的伪像防止图像，所述时间加权平均图像是通过采用所述第一时间距离和所述第二时间距离对所述源图像和所述目的图像进行加权平均来生成的；以及

图像内插单元，配置为通过采用所述第一权重对所述第三运动补偿图像中的一区域和所述伪像防止图像中的一区域进行加权平均来生成所述内插图像的第二内插区域，所述第三运动补偿图像中的所述区域和所述伪像防止图像中的所述区域每个都与所述第二内插区域相对应。

2、如权利要求1所述的设备，

其中，所述失真能量计算单元计算与所述源区域相邻的区域的失真能量，并且采用第二权重对所述源区域的失真能量和所述相邻区域的失真能量进行加权平均。

3、如权利要求2所述的设备，

其中，在所述源区域中像素的像素值与所述相邻区域中对应像素的像素值之间的差较大时，所述相邻区域的失真能量的所述第二权重较小。

4、如权利要求1所述的设备，

其中，所述失真能量计算单元计算与所述源区域相邻的区域的运动矢量，并且使用所述源区域的运动矢量与所述相邻区域的运动矢量之间的差来计算平滑能量，并且将所述平滑能量加到所述失真能量上。

5、如权利要求1所述的设备，

其中，所述失真能量计算单元计算与所述源区域相邻的区域的运动矢量，并且使用所述源区域的运动矢量与所述相邻区域的运动矢量之间的差来计算平滑能量，并且采用第三权重对所述失真能量和所述平滑能量进行加权平均。

6、如权利要求5所述的设备，

其中，在所述源区域中像素的像素值与所述相邻区域中对应像素的像素值之间的差较大时，所述平滑能量的所述第三权重较小。

7、如权利要求1所述的设备，

其中，所述失真能量与所述第一权重一一对应，并且

其中，所述权重计算单元使用单调递减函数变换所述失真能量，采用所述单调递减函数时，所述第一权重从“0”变到“1”。

8、一种用于在源图像与目的图像之间生成内插图像的设备，包括：

运动估计单元，配置为计算从所述源图像中的源区域到所述目的图像中的目的区域的第一运动矢量、基于在所述源图像与所述内插图像之间的第一时间距离而从所述第一运动矢量缩放得到的第二运动矢量、以及基于在所述目的图像与所述内插图像之间的第二时间距离而从所述第一运动矢量缩放得到的第三运动矢量；

失真能量计算单元，配置为计算所述源区域的失真能量，当所述源区域中像素的像素值与所述目的区域中对应像素的像素值之间的差较小时，所述失真能量较小；

权重计算单元，配置为使用所述源区域的失真能量计算所述内插图像的第一内插区域的第一权重，所述第一内插区域由所述第二运动矢量从所述源区域所指向；

运动补偿图像生成单元，配置为通过使用所述第二运动矢量将所述源区域补偿到所述内插图像的时间位置来生成第一运动补偿图像，通过使用所述第三运动矢量将所述目的区域补偿到所述时间位置来生成第二运动补偿图像，并且通过采用所述第一时间距离和所述第二时间距离对所述第一运动补偿图像和所述第二运动补偿图像进行加权平均来生成第三运动补偿图像；

伪像防止图像生成单元，配置为使用所述源图像的矢量提取区域的全局运动矢量生成伪像防止图像，所述全局运动矢量表示从所述源图像到所述目的图像的几何变换；以及

图像内插单元，配置为通过使用所述第一权重对所述第三运动补偿图像中的一区域和所述伪像防止图像中的一区域进行加权平均来生成所述内插图像的第二内插区域，所述第三运动补偿图像中的所述区域和所述伪像防止图像中的所述区域每个都与所述第二内插区域相对应。

9、如权利要求8所述的设备，

其中，所述失真能量计算单元计算与所述源区域相邻的区域的失真能量，并且采用第二权重对所述源区域的失真能量和所述相邻区域的失真能量进行加权平均。

10、如权利要求9所述的设备，

其中，在所述源区域中像素的像素值与所述相邻区域中对应像素的像素值之间的差较大时，所述相邻区域的失真能量的所述第二权重较小。

11、如权利要求8所述的设备，

其中，所述失真能量计算单元计算与所述源区域相邻的区域的运动矢量，并且使用所述源区域的运动矢量与所述相邻区域的运动矢量之间的差来计算平滑能量，并且将所述平滑能量加到所述失真能量上。

12、如权利要求8所述的设备，

其中，所述失真能量计算单元计算与所述源区域相邻的区域的运动矢量，并且使用所述源区域的运动矢量与所述相邻区域的运动矢量之间的差来计算平滑能量，并且采用第三权重对所述失真能量和所述平滑能量进行加权平均。

13、如权利要求12所述的设备，

其中，在所述源区域中像素的像素值与所述相邻区域中对应像素的像素值之间的差较大时，所述平滑能量的所述第三权重较小。

14、如权利要求8所述的设备，

其中，所述失真能量与所述第一权重一一对应，并且

其中，所述权重计算单元使用单调递减函数变换所述失真能量，采用所述单调递减函数时，所述第一权重从“0”变到“1”。

15、一种用于在源图像与目的图像之间生成内插图像的方法，包括：

计算从所述源图像中的源区域到所述目的图像中的目的区域的第一运动矢量、基于在所述源图像与所述内插图像之间的第一时间距离而从所述第一运动矢量缩放得到的第二运动矢量、以及基于在所述目的图像与所述内插图像之间的第二时间距离而从所述第一运动矢量缩放得到的第三运动矢量；

计算所述源区域的失真能量，当所述源区域中像素的像素值与所述目的区域中对应像素的像素值之间的差较小时，所述失真能量较小；

使用所述源区域的失真能量计算所述内插图像的第一内插区域的第一权重，所述第一内插区域由所述第二运动矢量从所述源区域所指向；

通过使用所述第二运动矢量将所述源区域补偿到所述内插图像的时间位置来生成第一运动补偿图像，通过使用所述第三运动矢量将所述目的区域补偿到所述时间位置来生成第二运动补偿图像，并且通过采用所述第一时间距离和所述第二时间距离对所述第一运动补偿图像和所述第二运动补偿图像进行加权平均来生成第三运动补偿图像；

生成从所述源图像、所述目的图像和时间加权平均图像中选出的伪像防止图像，所述时间加权平均图像是通过采用所述第一时间距离和所述第二时间距离对所述源图像和所述目的图像进行加权平均来生成的；以及

通过采用所述第一权重对所述第三运动补偿图像中的一区域和所述伪像防止图像中的一区域进行加权平均来生成所述内插图像的第二内插区域，所述第三运动补偿图像中的所述区域和所述伪像防止图像中的所述区域每个都与所述第二内插区域相对应。

16、一种用于在源图像与目的图像之间生成内插图像的方法，包括：

计算从所述源图像中的源区域到所述目的图像中的目的区域的第一运动矢量、基于在所述源图像与所述内插图像之间的第一时间距离而从所述第一运动矢量缩放得到的第二运动矢量、以及基于在所述目的图像与所述内插图像之间的第二时间距离而从所述第一运动矢量缩放得到的第三运动矢量；

计算所述源区域的失真能量，当所述源区域中像素的像素值与所述目的区域中对应像素的像素值之间的差较小时，所述失真能量较小；

使用所述源区域的失真能量计算所述内插图像的第一内插区域的第一权重，所述第一内插区域由所述第二运动矢量从所述源区域所指向；

通过使用所述第二运动矢量将所述源区域补偿到所述内插图像的时间位置来生成第一运动补偿图像，通过使用所述第三运动矢量将所述目的区域补偿到所述时间位置来生成第二运动补偿图像，并且通过采用所述第一时间距离和所述第二时间距离对所述第一运动补偿图像和所述第二运动补偿图像进行加权平均来生成第三运动补偿图像；

使用所述源图像的矢量提取区域的全局运动矢量生成伪像防止图像，所述全局运动矢量表示从所述源图像到所述目的图像的几何变换；以及

通过采用所述第一权重对所述第三运动补偿图像中的一区域和所述伪像防止图像中的一区域进行加权平均来生成所述内插图像的第二内插区域，所述第三运动补偿图像中的所述区域和所述伪像防止图像中的所述区域每个都与所述第二内插区域相对应。

Images