CN101902561B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置及图像处理方法。根据本发明的一个方面，提供一种图像处理装置，该图像处理装置包括：被构造为获得输入图像及后续图像的单元；被构造为由所述输入图像获得N个复制图像的单元；生成单元，其被构造为生成低频增强图像；减法单元，其被构造为生成高频增强图像；合成单元，其被构造为生成高频输出图像；以及输出单元，其被构造为选择并输出所述低频增强图像和所述高频输出图像中的一者。所述生成单元包括：被构造为获得对象的运动矢量的单元；以及滤波器单元，其被构造为对所述复制图像中的指定的像素位置Q周围的像素应用滤波器，以获得所述低频增强图像中的所述像素位置P处的像素值。

Description

图像处理装置及图像处理方法

技术领域

本发明总体涉及图像处理装置及图像处理方法，并且尤其涉及用于改善运动图像分辨率的图像显示技术。

背景技术

近年来，市面上有售的用于电视机等的运动图像显示装置包括所谓的液晶显示器、等离子显示器和FED显示器以及CRT。因此，存在各种各样的运动图像显示装置。每种类型的运动图像显示装置均被设计为通过对输入图像信号的帧频率(帧速率)进行N倍折叠(即，将一个帧分割为N个子帧)然后显示由此产生的图像，来减少运动模糊和闪烁。

如果使用被设计为在帧时间内几乎一直发光的显示装置，例如保持型显示装置，则用户观察到相对大的运动模糊。当用户进行视觉追踪(通过注视跟随运动图像中的运动区域)时，随着帧时间内的发光时间的加长，其观察到更大的运动模糊。在显示装置(例如脉冲型显示装置)中，因为帧时间内的发光时间非常短，所以光强度的时间不均衡度大，因此倾向于与帧同步地观察到闪烁。

与此相反，当60Hz的输入图像信号在帧频率加倍(N＝2，即所谓的倍速化(double-speeding))至120Hz后被显示时，一个帧内的发光时间减少至一半，因此运动模糊减少至大约一半。此外，就闪烁而言，将帧频率加倍至120Hz能够使与帧同步的闪烁的频率落在人视觉的响应特性的范围之外。因此这使得难以观察到闪烁。

提高帧频率有两种主要方法。第一方法通过检测原始图像中的对象的运动矢量，来估算两个帧之间的图像。一般而言，该方法称为例如“基于运动补偿的中间图像生成方法”，其被公开在例如日本专利特开2004-159294号公报中。第一方法被表述为“基于运动补偿的帧(场)插值”。

根据第二方法，通过对各帧的输入图像执行滤波器处理，将图像分离为与运动模糊紧密关联的高空间频率分量(高频分量)和与闪烁紧密关联的低空间频率分量(低频分量)。将高频分量集中并显示在一个子帧(与原始帧相对应的两个倍速帧之一)上。将低频分量集中并显示在一个子帧上，或者分配并显示在两个子帧上。作为第二方法，例如有分别在日本专利特开平6-70288号公报、日本专利特开2002-351382号公报和美国专利特许申请公开2006/0227249号说明书中公开的方法。在本说明书中，该第二方法被表述为将图像分离为多种空间频率分量并在将各频率分量分配到一个或多个子帧后进行显示的方案，并且将被简单地表述为“空间频率分离”。

如图13所示，在日本专利特开平6-70288号公报所公开的方法中，在切换两个场存储器的同时，将输入场图像临时存储在这两个场存储器中，从而形成两个倍速子帧。通过使用开关SW0，以输入频率的两倍的速率交替切换这两个子帧，来使原始信号的速度加倍。在此时，该方法对一个倍速子帧执行抑制高空间频率分量的处理。结果，经受了抑制高频分量处理的倍速子帧(图13中用“SL”表示)包含相对少的高频分量。另一倍速子帧(图13中用“SH”表示)包含相对多的高频分量。这使得在输出图像中能够将高频分量局限在一个倍速子帧上。

如图14所示，根据日本专利特开2002-351382号公报所公开的方法，帧转换器将输入图像的速度加倍，滤波器LPF/HPF将图像分离为低频分量Low和高频分量High。此外，针对各倍速子帧，将高频分量High乘以增益α。通过对一个倍速子帧设置正α而对另一倍速子帧设置负α，来针对各倍速子帧改变α的符号。如果确定图像的运动大，则可以增大α的绝对值。这使得能够将高频分量局限在一个倍速子帧SH上。

如图15中所示，在美国专利特许申请公开2006/0227249号说明书所公开的方法中，通过对输入图像应用滤波器HPF，来生成高频分量数据H。此外，将输入图像加上高频分量数据H后，将生成高频输出图像数据SH。从输入图像A中减去高频分量数据H后，将生成低频图像数据SL。使用开关SW0，以输入图像的帧频率的两倍的频率切换这些数据，能够输出高频分量局限在一个子帧上的倍速图像。

第一方法“基于运动补偿的帧(场)插值”存在这样的问题，即由于其需要通过使用邻近帧的图像数据来生成中间图像的处理，因此需要大量的计算。第二方法“空间频率分离”存在这样的问题，即由于第一及第二子帧的显示图像未正确反映各显示时间之差，因此在运动区域中出现图像滞后(拖尾模糊)。

发明内容

根据本发明，能够用低于传统的“基于运动补偿的帧(场)插值”要求的计算量的较小计算量，来减少在通过使用传统的“空间频率分离”以倍速显示图像时引起的运动区域中的图像滞后。

根据本发明的一个方面，提供一种图像处理装置，其处理由连续帧图像构成的运动图像，所述图像处理装置包括：被构造为获得关注帧图像作为输入图像并获得继所述关注帧图像之后的帧图像作为后续图像的单元；被构造为由所述输入图像获得N个复制图像的单元；生成单元，其被构造为通过使用用于增强低频分量的滤波器，由所述复制图像来生成低频分量被增强的低频增强图像；减法单元，其被构造为由所述低频增强图像及所述复制图像，来生成高频分量被增强的高频增强图像；合成单元，其被构造为通过将所述高频增强图像和所述低频增强图像以预定比率进行合成，来生成高频输出图像；以及输出单元，其被构造为选择并输出所述低频增强图像和所述高频输出图像中的一者而非各所述复制图像，所述生成单元包括：被构造为获得在所述输入图像及所述后续图像中描绘的对象的运动矢量的单元；以及滤波器单元，其被构造为当处理所述复制图像中的像素位置P处的像素时，通过针对所述复制图像中的各像素位置，执行指定在与所述运动矢量相反的方向上与所述复制图像中的所述像素位置P间隔预定距离的像素位置Q的处理、对所述复制图像中的所指定的像素位置Q周围的像素应用所述滤波器的处理，来获得所述低频增强图像中的所述像素位置P处的像素值，以生成所述低频增强图像。

根据本发明的另一方面，提供一种图像处理装置，其处理由连续帧图像构成的运动图像，所述图像处理装置包括：被构造为获得关注帧图像作为输入图像并获得继所述关注帧图像之后的帧图像作为后续图像的单元；被构造为由所述输入图像获得N个复制图像的单元；替代生成单元，其被构造为通过使用用于增强高频分量的滤波器，由所述复制图像来生成高频分量被增强的高频增强图像；被构造为由所述高频增强图像及所述复制图像，来生成低频分量被增强的低频增强图像的单元；被构造为通过将所述高频增强图像和所述低频增强图像以预定比率进行合成，来生成高频输出图像的单元；以及被构造为选择并输出所述低频增强图像和所述高频输出图像中的一者而非各所述复制图像的单元，所述替代生成单元包括：被构造为获得在所述输入图像及所述后续图像中描绘的对象的运动矢量的单元；以及生成所述高频增强图像的单元，其被构造为当处理所述复制图像中的像素位置P处的像素时，通过针对所述复制图像中的各像素位置，执行指定在与所述运动矢量相反的方向上与所述复制图像中的所述像素位置P间隔预定距离的像素位置Q的处理、对所述复制图像中的所指定的像素位置Q周围的像素应用所述滤波器的处理，来获得所述高频增强图像中的所述像素位置P处的像素值，以生成所述高频增强图像。

根据本发明的又一方面，提供一种由图像处理装置执行的图像处理方法，所述图像处理装置包括被构造为处理由连续帧图像构成的运动图像的单元，所述图像处理方法包括：获得关注帧图像作为输入图像并获得继所述关注帧图像之后的帧图像作为后续图像的步骤；由所述输入图像获得N个复制图像的步骤；生成步骤，通过使用用于增强低频分量的滤波器，由所述复制图像来生成低频分量被增强的低频增强图像；由所述低频增强图像及所述复制图像来生成高频分量被增强的高频增强图像的步骤；通过将所述高频增强图像和所述低频增强图像以预定比率进行合成来生成高频输出图像的步骤；以及输出步骤，选择并输出所述低频增强图像和所述高频输出图像中的一者而非各所述复制图像，所述生成步骤包括：获得在所述输入图像及所述后续图像中描绘的对象的运动矢量的步骤；以及滤波器步骤，当处理所述复制图像中的像素位置P处的像素时，通过针对所述复制图像中的各像素位置，执行指定在与所述运动矢量相反的方向上与所述复制图像中的所述像素位置P间隔预定距离的像素位置Q的处理、对所述复制图像中的所指定的像素位置Q周围的像素应用所述滤波器的处理，来获得所述低频增强图像中的所述像素位置P处的像素值，以生成所述低频增强图像。

根据本发明的又一方面，提供一种由图像处理装置执行的图像处理方法，所述图像处理装置包括被构造为处理由连续帧图像构成的运动图像的单元，所述图像处理方法包括：获得关注帧图像作为输入图像并获得继所述关注帧图像之后的帧图像作为后续图像的步骤；由所述输入图像获得N个复制图像的步骤；替代生成步骤，通过使用用于增强高频分量的滤波器，由所述复制图像来生成高频分量被增强的高频增强图像；由所述高频增强图像及所述复制图像来生成低频分量被增强的低频增强图像的步骤；通过将所述高频增强图像和所述低频增强图像以预定比率进行合成来生成高频输出图像的步骤；以及选择并输出所述低频增强图像和所述高频输出图像中的一者而非各所述复制图像的步骤，所述替代生成步骤包括：获得在所述输入图像及所述后续图像中描绘的对象的运动矢量的步骤；以及生成所述高频增强图像的步骤，当处理所述复制图像中的像素位置P处的像素时，通过针对所述复制图像中的各像素位置，执行指定在与所述运动矢量相反的方向上与所述复制图像中的所述像素位置P间隔预定距离的像素位置Q的处理、对所述复制图像中的所指定的像素位置Q周围的像素应用所述滤波器的处理，来获得所述高频增强图像中的所述像素位置P处的像素值，以生成所述高频增强图像。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据第一实施例的图像显示装置的结构的框图；

图2是用于说明在第一实施例中使用的滤波器函数的示例的图；

图3是示出在第一实施例中使用的滤波器系数的示例的图；

图4是示出第一实施例中的倍速(N＝2)子帧图像显示序列的示例的图；

图5是用于说明在第一实施例中使用的运动矢量的坐标图；

图6是示出在第一实施例中使用的滤波器系数的示例的图；

图7是示出在第一实施例中使用的滤波器系数的示例的图；

图8是示出在第一实施例中使用的滤波器系数的示例的图；

图9是示出在第一实施例中使用的滤波器系数的示例的图；

图10是示出第一实施例中的处理的流程图；

图11是用于说明第一实施例的效果的图；

图12是示出根据第三实施例的图像显示装置的结构的框图；

图13是示意性示出传统图像显示装置的框图；

图14是示意性示出传统图像显示装置的框图；

图15是示意性示出传统图像显示装置的框图；以及

图16是示出根据第四实施例的计算机的电气结构的框图。

具体实施方式

下面，将参照附图来描述本发明的实施例。然而，本发明的范围不局限于以下的实施例。

<第一实施例>

图1是示出根据第一实施例的图像显示装置的结构的框图。参照图1，标号100表示帧速率转换单元；标号101表示低通滤波器(以下称为LPF)；标号102表示减法器；标号103表示乘法器；标号104表示加法器；标号105表示开关；标号106表示运动矢量检测单元；标号107表示滤波器系数生成单元；标号108表示输出单元。

帧速率转换单元100以一个帧单位获取运动图像数据，并由一个帧图像生成N个子帧图像。更具体地说，帧速率转换单元100包含有帧存储器(未示出)，并以帧为单位、将输入的运动图像数据作为输入图像存储在帧存储器中。然后，帧速率转换单元100通过以输入视频数据的N倍的频率，N次读取一个关注帧图像(输入图像)，来生成N个子帧图像作为复制图像(replicated image)。假设在这种情况下，由帧速率转换单元100生成的一个子帧图像用标号A来表示。帧速率转换单元100将子帧图像A依次输出到LPF 101、减法器102和加法器104。规定子帧图像的数量的系数N可以预先确定并设置给根据本实施例的装置，或者可以从装置外部来获取。

LPF 101是二维低通滤波器。LPF 101通过使用滤波器处理由帧速率转换单元100生成的子帧图像A，来从子帧图像A截除上限空间频率，从而生成低频分量被增强的低频增强图像L。LPF 101从滤波器系数生成单元107，获取自身使用的滤波器系数。

本实施例使用基于高斯函数(Gaussian Function)的滤波器函数作为低通滤波器。然而，作为基础的滤波器的类型没有特别限制。例如，可以使用高斯函数，或者使用提供移动平均或加权移动平均的滤波器。图2是用于说明LPF 101使用的滤波器函数的示例的图。图2示意性示出了基于高斯函数生成的滤波器函数。图2中的滤波器函数绘制了权重的中心位于基准点的正态分布。

下面，将详细描述LPF 101的操作。图3示出了LPF 101使用的滤波器系数的示例。参照图3，滤波器尺寸(即所谓的“核大小”)是7×7像素。然而，请注意，所述的滤波器尺寸及滤波器系数仅仅是示例，可以使用任何的滤波器尺寸及滤波器系数。在这种情况下，滤波器系数是所谓的“正态化前的核值”。

首先，将描述针对子帧图像中的一个关注像素的滤波器处理。假设在这种情况下，由一个帧图像生成的第i个子帧图像中的坐标(x，y)的像素值A用Ai(x，y)表示。首先，关注像素的坐标用Ai(0，0)表示。LPF101通过使用图3中所示的滤波器系数，来对子帧图像执行滤波器计算。在使用图3中的滤波器系数的示例中，基于等式(1)，来确定作为关注像素Ai(0，0)的LPF输出值的LPF(Ai(0，0))：

$\mathrm{LPE}\left(A_{n\left(\mathrm{0,0}\right)}\right)=\frac{1}{256}\left(\begin{array}{ccccccc}0& 1& 2& 4& 2& 1& 0\\ 1& 2& 6& 8& 6& 2& 1\\ 2& 6& 8& 16& 8& 6& 2\\ 4& 8& 16& 32& 16& 8& 4\\ 2& 6& 8& 16& 8& 6& 2\\ 1& 2& 6& 8& 6& 2& 1\\ 0& 1& 2& 4& 2& 1& 0\end{array}\right)\left(\begin{array}{ccccccc}{A}_{n(-3,-3)}& A_{n(-2,-3)}& A_{n(-1,-3)}& A_{n(0,-3)}& A_{n(1,-3)}& A_{n(2,-3)}& A_{n(3,-3)}\\ A_{n(-3,-2)}& A_{n(-2,-2)}& A_{n(-1,-2)}& A_{n(1,-2)}& A_{n(1,-2)}& A_{n(2,-2)}& A_{n(3,-2)}\\ A_{n(-3,-1)}& A_{n(-2,-1)}& A_{n(-1,-1)}& A_{n(-\mathrm{1,1})}& A_{n(1,-1)}& A_{n(2,-1)}& A_{n(3,-1)}\\ A_{n(-\mathrm{3,0})}& A_{n(-\mathrm{2,0})}& A_{n(-\mathrm{1,0})}& A_{n\left(\mathrm{1,0}\right)}& A_{n\left(\mathrm{1,0}\right)}& A_{n\left(\mathrm{2,0}\right)}& A_{n\left(\mathrm{3,0}\right)}\\ A_{n(-\mathrm{3,1})}& A_{n(-2.1)}& A_{n(-\mathrm{1,1})}& A_{n\left(\mathrm{1,1}\right)}& A_{n\left(\mathrm{1,1}\right)}& A_{n\left(\mathrm{2,1}\right)}& A_{n\left(\mathrm{3,1}\right)}\\ A_{n(-\mathrm{3,2})}& A_{n(-\mathrm{2,2})}& A_{n(-\mathrm{1,2})}& A_{n\left(\mathrm{1,2}\right)}& A_{n\left(\mathrm{1,2}\right)}& A_{n\left(\mathrm{2,2}\right)}& A_{n\left(\mathrm{3,2}\right)}\\ A_{n(-\mathrm{3,3})}& A_{n(-\mathrm{2,3})}& A_{n(-\mathrm{1,3})}& A_{n\left(\mathrm{1,3}\right)}& A_{n\left(\mathrm{1,3}\right)}& A_{n\left(\mathrm{2,3}\right)}& A_{n\left(\mathrm{3,3}\right)}\end{array}\right)...\left(1\right)$

将构成一个子帧图像的各个像素依次设置为关注像素并根据等式(1)进行处理，从而依次获得各关注像素的LPF输出值。获取通过用LPF输出值来更新子帧图像的关注像素值而获得的图像作为低频增强图像。在这种情况下，关注像素可以是子帧图像的所有像素，或者可以是子帧图像的一部分像素。本实施例对子帧图像的所有像素执行滤波器处理。因此，在运动矢量检测单元106及滤波器系数生成单元107生成滤波器系数的处理中，运动矢量检测单元106及滤波器系数生成单元107也将图像的所有像素依次设置为关注像素。当LPF 101要对图像的一部分像素执行滤波器处理时，运动矢量检测单元106及滤波器系数生成单元107可以将图像的一部分设置为关注部分。

运动矢量检测单元106从帧速率转换单元100获取输入图像。运动矢量检测单元106获取存储在帧速率转换单元100中的、邻近于输入图像或继输入图像之后的帧的图像，作为后续图像(subsequent image)。运动矢量检测单元106从输入图像及后续图像中，获得输入图像及后续图像中描绘的对象的运动矢量。最后，运动矢量检测单元106针对输入图像的各像素，来估算与输入图像相对应的运动矢量。运动矢量检测单元106将与输入图像的各像素相对应的运动矢量，输出到滤波器系数生成单元107。

滤波器系数生成单元107通过使用运动矢量，针对输入图像的各像素生成滤波器系数。滤波器系数生成单元107将生成的滤波器系数输出到LPF 101。在本实施例中，滤波器系数生成单元107通过移动滤波器函数，来获取滤波器系数。该处理使得能够将滤波器应用于像素位置Q周围的像素，其中位置Q在与运动矢量相反的方向上，同输入图像中的与复制图像中的关注像素位置P相对应的像素位置P间隔预定距离。后面，将详细描述运动矢量检测单元106及滤波器系数生成单元107。

减法器102根据等式(2)，从输入图像的各像素值中减去由LPF 101生成的低频增强图像L的各像素值。通过这种方式，减法器102新生成高频分量得到增强的高频增强图像H。

H＝A-L    ...(2)

乘法器103确定要分配到各子帧图像的高频分量的量。更具体地说，乘法器103通过将高频增强图像H的各像素值乘以(N-a)/a，来生成高频分配图像DH。然后，乘法器103将高频分配图像DH输出到加法器104。如前所述，系数N是由一个帧图像生成的子帧图像的数量。系数a指示高频增强图像H所在的子帧图像的数量。也就是说，根据本实施例的装置输出与一帧输入图像相对应的a个高频增强图像。系数a可以预先确定并设置给根据本实施例的装置，或者可以从外部来获取。

加法器104将由乘法器103生成的高频分配图像DH的各像素值与输入图像的各像素值相加。通过这种方式，加法器104生成新的高频输出图像SH。加法器104根据等式(3)来执行计算：

SH＝A+{(N-a)/a}H＝L+(N/a)H    ...(3)

作为由乘法器103及加法器104执行的处理的结果，从加法器104输出的高频输出图像SH变为通过将高频增强图像和低频增强图像以预定比率(N/a)相加获得的图像。

开关105或者选择由LPF 101生成的低频增强图像L，或者选择由加法器104生成的高频输出图像SH。开关105输出所选择的图像而非复制图像。图4是用于说明本实施例中的倍速(N＝2)时的子帧图像的显示序列的图。在图4的示例中，第m个帧Fm的帧图像被转换为两个(N＝2)子帧图像。此外，在图4的示例中，高频增强图像H位于一个子帧图像中(a＝1)。

如图4所示，开关105输出高频输出图像SHm和低频增强图像Lm，分别作为第一和第二子帧图像。开关105选择低频增强图像L和高频输出图像SH中的任意一者的方法没有特别限制。开关105可以以使得低频增强图像L及高频输出图像SH的输出间隔变得均匀的方式，在二者当中进行选择。作为另一种选择方案，开关105可以连续a次选择高频输出图像SH，然后连续N-a次选择低频增强图像L。

下面，将详细描述运动矢量检测单元106及滤波器系数生成单元107。运动矢量检测单元106估算在第m个帧图像Fm中描绘的对象在第m+1个帧图像Fm+1上移动了多少。运动矢量检测单元106获取关于构成帧图像Fm的各像素的运动矢量。

图5是用于说明根据本实施例的运动矢量的坐标图。图5示出了第m个帧图像Fm中的、以关注像素(图5中用P来表示)为中心的11×11像素的图像。当运动矢量检测单元106估算出关注像素(图5中用P来表示)在第m+1个输入帧图像Fm+1中已移动至图5中所示的Q的坐标(x，y)＝(3，-4)时，P的运动矢量V(x，y)是(+3，-4)。Vx＝+3表示x方向上的运动矢量；Vy＝-4表示y方向上的运动矢量。

当Vx具有“+”符号时，Vx指示沿图5中的x轴正向的运动。当Vx具有“-”符号时，Vx指示沿图5中的x轴负向的运动。当Vy具有“+”符号时，Vy指示沿图5中的y轴正向的运动。当Vy具有“-”符号时，Vy指示沿图5中的y轴负向的运动。各数值的绝对值指示移动量(移动的像素数)。

当运动矢量检测单元106估算出由关注像素指示的对象无运动时，运动矢量检测单元106输出运动矢量V(x，y)＝(0，0)。同样，当帧之间出现场景改变时，运动矢量检测单元106能够输出运动矢量V(x，y)＝(0，0)。这种情况下的运动矢量V(x，y)的定义仅仅是示例。运动矢量可以指示关注像素在输入帧之间发生移动的近似方向及距离(像素数)。

运动矢量检测单元106将帧图像Fm的各像素依次设置为关注像素，并依次获取各关注像素的运动矢量。在本实施例的描述中，为了以易懂的方式表述运动矢量与坐标信息之间的关系，逐次对坐标系进行变换，使得关注像素的坐标用(x，y)＝(0，0)来表示。滤波器系数生成单元107获取由运动矢量检测单元106获得的运动矢量V(x，y)。

滤波器系数生成单元107生成LPF 101在滤波器计算中使用的滤波器系数。滤波器系数生成单元107将生成的滤波器系数输出到LPF 101。滤波器系数生成单元107基于由运动矢量检测单元106获得的运动矢量V(x，y)、一个帧图像的子帧图像的数量N以及经受了滤波器计算的子帧图像的编号i，来生成滤波器系数。滤波器系数生成单元107为子帧图像中包含的各像素，准备由LPF 101使用的一个数值集。也就是说，滤波器系数生成单元107准备数量与子帧图像的像素数相等的数值集。滤波器系数生成单元107将所准备的数值集作为滤波器系数输出。下面，将详细描述该处理。

子帧图像编号i是按照显示顺序为子帧图像分配的编号。例如，在倍速化(N＝2)中，如图4所示，要第一个显示的子帧图像用i＝1来表示，要第二个显示的子帧图像用i＝2来表示(1≤i≤N)。例如如前所述，基于高斯函数生成的滤波器函数的值，形成权重的中心位于基准点的正态分布。在本实施例中，滤波器系数生成单元107基于运动矢量(x，y)、子帧图像数N及子帧图像编号i来确定基准点。

在这种情况下，滤波器系数生成单元107将子帧图像的一个像素设置为关注像素。然后，滤波器系数生成单元107基于等式(4)，来计算应用于关注像素的滤波器函数的基准点的坐标(X，Y)。

X＝(i-1)×((-Vx)/N)

Y＝(i-1)×((-Vy)/N)    ...(4)

此时，坐标(0，0)是滤波器函数的中心坐标。设Vx为运动矢量V(x，y)的x分量，Vy为该矢量的y分量。

例如，当运动矢量V(x，y)＝(+3，-6)且N＝2时，根据等式(4)，给出第一子帧图像(i＝1)的基准点的坐标为坐标(X，Y)＝(0，0)，给出第二子帧图像(i＝2)的基准点的坐标为坐标(X，Y)＝(-1.5，3)。此外，例如，当运动矢量V(x，y)＝(+3，-6)且N＝3时，给出第一子帧图像(i＝1)的基准点的坐标为坐标(X，Y)＝(0，0)，给出第二子帧图像(i＝2)的基准点的坐标为坐标(X，Y)＝(-1，2)，给出第三子帧图像(i＝3)的基准点的坐标为坐标(X，Y)＝(-2，4)。

下面，将更详细地描述运动矢量V(x，y)＝(+2，+2)且N＝2的情况。应用等式(4)，给出第一子帧图像(i＝1)的基准点的坐标为坐标(X，Y)＝(0，0)，给出第二子帧图像(i＝2)的基准点的坐标为坐标(X，Y)＝(-1，-1)。下面，将参照图6至图9，来描述用于第一及第二子帧图像的滤波器系数的计算方法。

图6示出了根据本实施例的滤波器函数的示例。图6示意性示出了当运动矢量V(x，y)＝(+2，+2)且N＝2时要应用于第一子帧图像(i＝1)的滤波器函数。图7示出了本实施例中的滤波器系数的示例。图7示出了当运动矢量V(x，y)＝(+2，+2)且N＝2时第一子帧图像(i＝1)的滤波器系数。

如图6及图7所示，滤波器系数生成单元107根据等式(4)，以使得基准点的坐标(X，Y)变为(0，0)的方式生成针对第一子帧图像的滤波器系数。滤波器系数生成单元107将生成的滤波器系数输出到LPF 101。本实施例可以使用通过将滤波器系数的各个坐标代入预先保持在装置中的或者从外部获取到的二维高斯函数、而获得的各个坐标处的系数值，作为滤波器系数。

滤波器系数生成单元107通过使用由运动矢量检测单元106针对输入图像的各个像素估算的运动矢量，来重复以上处理，进而获得滤波器系数。也就是说，滤波器系数生成单元107针对各子帧图像的各个像素，来获得滤波器系数。LPF 101从滤波器系数生成单元107，来获取第一子帧图像的滤波器系数。LPF 101通过使用获取到的滤波器系数，依次对第一子帧图像(i＝1)的各个像素执行滤波器计算，来生成低频增强图像L。

图8示出了本实施例中的滤波器函数的示例。图8示意性示出了当运动矢量V(x，y)＝(+2，+2)且N＝2时第二子帧图像(i＝2)的滤波器函数。图9示出了本实施例中的滤波器系数的示例。图9示出了当运动矢量V(x，y)＝(+2，+2)且N＝2时第二子帧图像(i＝2)的滤波器系数。

如图8及图9所示，滤波器系数生成单元107根据等式(4)，以使得基准点的坐标(X，Y)变为(-1，-1)的方式生成针对第二子帧图像的滤波器系数。然后，滤波器系数生成单元107将生成的滤波器系数输出到LPF101。在本实施例中，滤波器系数生成单元107对预先保持在装置中的或从外部获取到的二维高斯函数进行平移，即在X轴方向上平移-1，在Y轴方向上平移-1。滤波器系数生成单元107可以使用通过将滤波器系数的各个坐标代入平移后的高斯函数而获得的系数值，作为滤波器系数。

同在第一子帧图像的情况下一样，滤波器系数生成单元107通过使用由运动矢量检测单元106针对输入图像的各个像素估算的运动矢量，来重复以上处理，进而获得滤波器系数。也就是说，滤波器系数生成单元107针对输入图像以及通过复制输入图像获得的第二子帧图像的各个像素，来获得滤波器系数。LPF 101从滤波器系数生成单元107，来获取第二子帧图像的滤波器系数。LPF 101通过使用获取到的滤波器系数，依次对第二子帧图像(i＝2)的各个像素执行滤波器计算，来生成低频增强图像L。

以下，将参照图10的流程图，来描述第一实施例中的处理。首先，帧速率转换单元100获取包含在运动图像数据中的帧图像作为输入图像(步骤S1001)。然后，帧速率转换单元100获取继输入图像之后的帧的图像作为后续图像(步骤S1002)。

运动矢量检测单元106从帧速率转换单元100获取输入图像及后续图像。然后，运动矢量检测单元106检测由输入图像的各像素指示的对象在输入图像与后续图像之间的移动量。运动矢量检测单元106生成移动量作为关于输入图像的各像素的运动矢量V(x，y)(步骤S1003)。在步骤S1003中的处理中，运动矢量检测单元106可以通过使用多个帧图像来估算移动量，或者通过使用子帧图像来估算移动量。

之后，帧速率转换单元100以运动图像数据的时钟(频率)的N倍的时钟读出获取到的输入图像。帧速率转换单元100将读出的图像作为子帧图像与子帧编号i一起输出(步骤S1004)。滤波器系数生成单元107基于运动矢量V(x，y)、子帧图像数N及子帧图像编号i，来生成由LPF 101在滤波器计算中使用的滤波器系数(步骤S 1005)。子帧图像数N可以预先存储在装置中，或者从外部输入。子帧图像编号i从帧速率转换单元100获取。

LPF 101将从帧速率转换单元100输出的子帧图像中的一个像素设置为关注像素(步骤S1006)。LPF 101通过使用从滤波器系数生成单元107获取到的滤波器系数，来对关注像素执行滤波器计算，并且获取转换后的像素值(步骤S1007)。然后，LPF 101确定其是否已在步骤S1006中将输出自帧速率转换单元100的子帧图像的所有像素设置作为关注像素(步骤S1008)。如果LPF 101尚未将所有像素设置为关注像素，则处理返回到步骤S1006，在步骤S1006中，LPF 101将下一像素设置为关注像素。如果LPF 101已将所有像素设置为关注像素，则处理进入到步骤S1009。利用步骤S1006至S1008中的处理，LPF 101通过执行滤波器计算及像素值转换来生成低频增强图像L。

减法器102从LPF 101获取低频增强图像L。然后，减法器102根据等式(2)生成高频增强图像H(步骤S1009)。乘法器103将从减法器102获取到的高频增强图像H的各像素值乘以(N-a)/a。然后，乘法器103输出经受了相乘处理的图像(步骤S1010)。

加法器104获取由乘法器103处理后的图像。加法器104获取在步骤S1004中从帧速率转换单元100输出的子帧图像。然后，加法器104根据等式(3)，生成高频分量被增强的高频输出图像SH(步骤S1011)。

开关105确定选择高频输出图像或低频增强图像(步骤S1012)。如前所述，要设置的确定标准没有特别限制。开关105可以交替地选择低频增强图像和高频输出图像。作为另一种选择方案，开关105可以连续选择a个高频输出图像，然后连续选择N-a个低频增强图像。开关105可以在重复执行步骤S1004至S1015期间选择a个高频输出图像及N-a个低频增强图像。如果在步骤S1012中开关105选择低频增强图像，则开关105从LPF 101获取低频增强图像L并将其输出(步骤S1013)。如果在步骤S1012中开关105选择高频输出图像，则开关105从加法器104获取高频输出图像SH并将其输出(步骤S1014)。

最后，帧速率转换单元100确定是否输出了获取的图像的N个子帧图像(步骤S1015)。如果未输出N个子帧图像，则处理返回到步骤S1004。如果输出了N个子帧图像，则帧速率转换单元100终止对获取的图像的处理。

如上所述，滤波器系数生成单元107通过在与检测的运动方向完全相反的方向上移动滤波器函数的基准点，生成针对第二子帧图像及之后的子帧图像的滤波器处理的滤波器系数。使用这些滤波器系数能够减少在第二方法“空间频率分离”中出现的运动区域中的图像滞后。

图11是用于说明本实施例的效果的图。在图11中，图形1101示意性示出了由数字“23456789”构成的图像在帧之间向右(在x方向上)进行的两像素的移动。为了描述方便，假设各像素均代表一个数字。将像素编号(II至X)分配给各个像素。在图11中，图形1102指示通过利用帧速率转换处理将图11中的图形1101中的各帧图像的速度加倍(N＝2)获得的各子帧图像。在图11中，图形1102指示当灰色像素被设置为关注像素时基于本实施例生成的滤波器函数的示例。为简单起见，图11例示了一维图像。

参照图11，帧图像m与帧图像m+1之间的关注像素(像素编号VI)的运动矢量V(x，y)是(+2，0)。在这种情况下，应用等式(4)，第一子帧图像(i＝1)的基准点具有坐标(X，Y)＝(0，0)，第二子帧图像(i＝2)的基准点具有坐标(X，Y)＝(-1，0)。

由对与像素编号VI相对应的像素值分配权重的滤波器函数，获得帧图像m的第一子帧图像的、要应用于像素编号VI的滤波器系数。由对与像素编号V相对应的像素值分配权重的滤波器函数，获得帧图像m的第二子帧图像的、要应用于像素编号VI的滤波器系数。此外，因为根据等式(4)，(X，Y)＝(0，0)，所以，由对像素编号VI分配权重的滤波器函数，获得帧图像m+1的第一子帧图像的、要应用于像素编号VI的滤波器系数。

帧图像m的第二子帧图像被显示在帧图像m的第一子帧图像与帧图像m+1的第一子帧图像之间。由于这一原因，帧图像m的第二子帧图像可以是帧图像m的第一子帧图像与帧图像m+1的第一子帧图像之间的中间图像。

考虑这样一种情况，即通过对第二子帧图像，应用与针对第一子帧图像的滤波器函数相同的滤波器函数，来生成低频增强图像。用来生成帧m的第二子帧图像的低频增强图像，与用来生成帧m的第一子帧图像的低频增强图像相同。也就是说，由于时间滞后，与帧m的第一子帧图像相同的图像被再次显示在帧m与帧m+1之间，尽管它们具有不同的增强频率分量。由于这一原因，帧m的第二子帧图像在视觉上被当作是帧m的第一子帧图像的图像滞后。

例如，下面将参照图11，来说明对与图11中的像素编号VI相对应的像素执行滤波器处理的情况。对帧图像m的第一及第二子帧图像，使用对与像素编号VI相对应的像素值分配权重的滤波器函数。因此，对于帧图像m的第一与第二子帧图像两者，通过滤波器处理生成对数值“6”分配权重的像素值，从而生成低频增强图像L。同样对帧图像m+1的第一子帧图像，也使用对像素编号VI分配权重的滤波器函数。同样，对于帧图像m+1的第一子帧图像，也通过滤波器处理生成对数值“4”分配权重的像素值，进而生成低频增强图像L。然而，更佳的方式是对帧图像m的、显示在帧m与帧m+1之间的第二子帧图像，执行对存在于数值“6”与数值“4”之间的数值分配权重的滤波器处理。

根据本实施例，对于帧m的第二子帧图像，可以通过使用对与像素编号V相对应的像素值(即数值“5”)分配权重的滤波器函数，来执行关注像素的滤波器处理。也就是说，能够根据运动适应性地减少图像滞后。根据第二方法“空间频率分离”，与运动模糊紧密关联的高频分量被集中于多个子帧当中的一个上。此外，该方法将与运动模糊无紧密关联的低频分量分配到其他子帧，或者分配到多个子帧，并显示它们。通过这种方式，“空间频率分离”能够减少观看者识别到的运动图像中的运动模糊。然而，在传统的“空间频率分离”中，由于各子帧未反映各显示时间之差，因此，在运动区域中出现图像滞后。如上所述，根据本实施例，当获得各个子帧的频率分量时，参照运动矢量。这使得能够生成各自正确反映各显示时间之差的子帧。因此，本实施例能够减少在第二方法“空间频率分离”中出现的运动区域中的图像滞后。

在本实施例中，特别地使低频增强图像反映各显示时间之差。因此，对于由一个帧生成的多个子帧而言，当选择许多高频增强图像(高频输出图像)作为要较早显示的子帧，并选择许多低频增强图像作为要较迟显示的子帧时，获得更佳的结果。例如，在倍速显示中，可以将高频输出图像作为第一子帧进行显示，而将低频增强图像作为第二子帧进行显示。当以输入运动图像的四倍的频率进行显示时，可以将高频输出图像作为第一子帧进行显示，而将低频增强图像作为第二至第四子帧进行显示；或者可以将高频输出图像作为第一及第二子帧进行显示，而将低频增强图像作为第三及第四子帧进行显示。

根据本实施例的方法，当LPF 101在改变滤波器系数的同时执行滤波器处理之后，能够通过仅使用简单的相加、相减及相乘来生成子帧图像。由于这一原因，与第一方法“基于运动补偿的帧(场)插值”不同，不必通过使用邻近帧的图像数据来生成中间图像。因此，本实施例的方法能够以小的计算量来生成子帧图像。

<变型例>

在第一实施例中，滤波器系数生成单元107生成滤波器系数。此外，LPF 101基于生成的滤波器系数来执行滤波器处理。滤波器系数生成单元107通过移动滤波器函数，来获取滤波器系数。使用这些滤波器系数使得能够将滤波器应用于像素位置Q周围的像素，其中位置Q在与运动矢量相反的方向上，同输入图像中的与复制图像中的关注像素位置P相对应的像素位置P间隔预定距离。

然而，通过使用输入图像的与子帧图像(复制图像)中的关注像素位置P相对应的像素位置P，能够指定在与运动矢量相反的方向上间隔预定距离的像素位置Q。可以在不使用由滤波器系数生成单元107生成的滤波器系数的情况下，将滤波器应用于指定的像素位置Q周围的像素。也就是说，本变型例使用被计算作为滤波器函数的基准点的坐标的坐标，来作为要应用滤波器的像素的中心的坐标。

下面，将详细描述本变型例。虽然本变型例的结构与第一实施例几乎相同，但是，不存在滤波器系数生成单元107。运动矢量检测单元将运动矢量直接输入到LPF 101。LPF 101依照运动矢量来改变滤波器的应用范围。与第一实施例中的滤波器系数生成单元107类似地，LPF 101根据等式(4)来计算基准点的坐标。第一实施例使用计算出的基准点作为滤波器函数的基准点。然而，本变型例利用计算出的基准点来获得应用滤波器的像素组的中心点。

LPF 101将待处理子帧图像的一个像素设置为关注像素。该像素位置用P来表示。然后，LPF 101将在输入图像的与子帧图像的像素位置P相对应的像素位置P设置为原点时计算出的基准点的位置，指定为坐标位置Q。如果例如基准点的坐标(X，Y)是(-1，2)，则LPF 101将从像素位置P沿Y轴负方向移动2并沿X轴正方向移动1得到的点，指定为坐标点Q。然后，LPF 101将滤波器应用于坐标位置Q周围的像素。本变型例不使用通过移动滤波器函数来生成滤波器系数的滤波器系数生成单元。作为对该单元的替代，本变型例对不同的关注位置应用相同的滤波器。更具体地说，LPF 101根据等式(1)来确定LPF输出值。在此时，LPF 101以使得坐标位置Q的坐标变为An(0，0)的方式，来获得LPF输出值。LPF 101将获得的LPF输出值设置为子帧图像的关注像素(像素位置P)的转换后的像素值。通过对子帧图像的各像素执行该处理，LPF101能够获得低频增强图像。

<第二实施例>

在第一实施例中，滤波器系数生成单元107根据等式(4)计算基准点的坐标(X，Y)。然而，获得基准点的方式不局限于该方法。在某些情况下，运动矢量V(x，y)的各分量的绝对值大大超过滤波器函数的滤波器尺寸(核大小)。假设运动矢量的各分量的绝对值非常大。在这种情况下，因为例如在电路上滤波器尺寸(核大小)的最大尺寸是受限制的，所以，当基准点移动时，滤波器形状可能变得不平衡。滤波器形状变得不平衡是指，例如，滤波器尺寸变为在x方向上关于滤波器函数的中心非对称。可以使用非对称函数。然而，也可以对基准点的移动量施加限制。

在第二实施例中，可以通过任何方法对基准点的移动量施加限制，只要基准点的移动量的绝对值比第一实施例中小即可。也就是说，第二实施例可以根据如下的不等式(5)来确定移动量：

|X|≤|(i-1)×((-Vx)/N)|

|Y|≤|(i-1)×((-Vy)/N)|    ...(5)

此时，坐标(0，0)是滤波器函数的中心坐标。设Vx为运动矢量V(x，y)的x分量，Vy为运动矢量V(x，y)的y分量。|X|、|Y|、|(i-1)|×((-Vx)/N)|及|(i-1)|×((-Vy)/N)|指示X、Y、((i-1)×((-Vx)/N))及((i-1)×((-Vy)/N))的绝对值。

例如，可以将根据等式(4)获得的坐标值简单地减少到一半。作为另一种选择方案，可以获得根据等式(4)获得的坐标值的绝对值的平方根。根据另一方法，可以通过减小滤波器尺寸来改善滤波器形状的平衡。例如，在根据不等式(5)限制基准点的移动量之后，可以对滤波器函数进行适应性的改变。例如，可以根据电路上的滤波器尺寸来改变滤波器函数的方差(variance)。

作为对应用等式(4)的替代，如本实施例中根据例如不等式(5)来设置基准点，使得像第一实施例一样，能够减少在第二方法“空间频率分离”中出现的运动区域中的图像滞后。不必像第一方法“基于运动补偿的帧(场)插值”一样通过使用邻近帧的图像数据来生成中间图像；可以像第一实施例一样，以小的计算量来生成子帧图像。

<第三实施例>

在第一及第二实施例中，由LPF 101来执行空间频率分量的分离。在第三实施例中，由高通滤波器(以下称为HPF)来执行空间频率分量的分离。HPF可以是例如以基于空间二阶导数来确定滤波器系数的拉普拉斯滤波器(Laplacian Filter)为代表的滤波器函数。

图12是示出根据第三实施例的图像显示装置的结构的框图。与图1中相同的标号代表与第一实施例中相同的构成要素。在第三实施例中，帧速率转换单元100、运动矢量检测单元106及输出单元108的操作与第一实施例中相同。

与第一实施例中不同，滤波器系数生成单元107输出HPF 1201使用的滤波器系数。滤波器系数生成单元107基于旨在截除(过滤)低频率的基本滤波器函数，来获得滤波器系数。然而，像第一实施例一样，滤波器系数生成单元107通过依照从运动矢量检测单元106获取到的运动矢量，平移基本滤波器函数，来获得滤波器系数。更具体地说，滤波器系数生成单元107根据第一实施例中的等式(4)或第二实施例中的不等式(5)，来计算滤波器函数的基准点的坐标(X，Y)。然后，滤波器系数生成单元107通过依照基准点的坐标对基本滤波器函数进行平移，来获得滤波器系数。

HPF 1201(替代生成单元(alternative generating unit))通过使用由滤波器系数生成单元107生成的滤波器系数，截除(过滤)从帧速率转换单元100获取到的子帧图像A中的低于极限频率的空间频率。通过这种方式，HPF 1201生成高频增强图像H。标号1202表示减法器，其根据等式(6)，从子帧图像A中减去由HPF 1201生成的高频增强图像H。通过这种方式，减法器1202计算出低频增强图像L。

L＝A-H    ...(6)

乘法器103、加法器104及开关105对低频增强图像L及高频增强图像H的操作与第一实施例中相同。

与第一及第二实施例类似，本实施例能够减少在第二方法“空间频率分离”中出现的运动区域中的图像滞后。不必像第一方法“基于运动补偿的帧(场)插值”一样通过使用邻近帧的图像数据来生成中间图像；可以像其他实施例一样，以小的计算量来生成子帧图像。

<第四实施例>

在上述的各实施例中，构成图1或图12中所示的装置的各个单元通过硬件来实现。然而，在本实施例中，构成图1或图12中所示的装置的各个单元通过软件来实现。在这种情况下，将软件保持在计算机具有的各种类型的存储设备中。当CPU执行该软件时，计算机实现图1或图12中所示的各单元的功能。

图16是示出能够应用本实施例的计算机的硬件结构的框图。计算机1601是诸如广泛使用的个人计算机等的通用信息处理装置。在计算机1601中，后述的各个模块经由总线1607相互连接，并且能够交换各种数据。

依应用计算机1601的装置而定，图16中所示的构成要素并非全部是必须的。因此，图16中所示的部分构成要素可以根据需要省略掉。此外，图16中所示的构成要素可以用具有等同功能的硬件来替换。此外，计算机1601可以由多个计算机单元构成。

参照图16，标号1602表示CPU，其通过使用被加载于主存储器1603中的计算机程序及数据，来控制整个计算机1601。CPU 1602执行由应用计算机1601的图像处理装置执行的上述各处理。主存储器1603通常是RAM。主存储器1603具有用于临时存储从各种类型的存储设备加载的程序及数据的区域。存储设备包括HDD(硬盘驱动器)1604、CD驱动器1609、DVD驱动器1610及FDD(

盘驱动器)1611。主存储器1603还具有用于临时存储经由I/F(接口)1615从扫描器1617获取到的图像数据的区域。此外，主存储器1603具有由CPU 1602用来执行各种处理的工作区域。主存储器1603能够根据需要提供包括以上区域的各种信息记录场所。

HDD 1604保持OS(操作系统)及各种图像(包括文档图像)等。HDD 1604保持使CPU 1602控制图16中所示的各个单元的功能的程序及数据。HDD 1604还保持使CPU 1602执行由应用计算机1601的装置执行的上述各处理的程序及数据。保持在HDD 1604中的程序及数据根据需要在CPU 1602的控制下被加载到主存储器1603中，并由CPU 1602进行处理。请注意，HDD 1604可以保持被描述为存储在主存储器1603中的信息中的一些。

标号1605代表视频控制器。视频控制器1605将从主存储器1603及HDD 1604等接收到的显示数据(例如图像数据及字符数据等)，作为信号发送到监视器1606。监视器1606包括CRT及液晶显示器。监视器1606基于从视频控制器1605接收到的信号，来显示图像及字符等。

标号1608代表用于将打印机1616连接到计算机1601的I/F。计算机1601将打印数据经由I/F 1608发送到打印机1616。计算机1601还能够经由I/F 1608，接收由打印机1616发送的打印机1616的状态信息。标号1609代表CD驱动器，其读出记录在作为记录介质的CD上的程序及数据。CD驱动器1609还将读出的程序及数据发送到HDD 1604及主存储器1603等。

标号1610代表DVD驱动器，其读出记录在作为记录介质的DVD上的程序及数据。DVD驱动器1610还将读出的程序及数据发送到HDD1604及主存储器1603等。标号1611代表FDD，其读出记录在作为记录介质的

盘上的程序及数据。FDD 1611还将读出的程序及数据发送到HDD 1604及主存储器1603等。

标号1613及1614分别代表作为操作输入设备的鼠标及键盘。计算机1601的用户能够通过操作鼠标1613及键盘1614，来向CPU 1602输入各种指令。标号1612代表用于将键盘1614及鼠标1613连接到总线1607的I/F。由用户经由鼠标1613及键盘1614输入的操作指令作为信号经由I/F 1612被发送到CPU 1602。

标号1615代表用于将通过读取文档及胶片等来生成图像数据的扫描器1617连接到计算机1601的I/F。由扫描器1617生成的图像数据经由I/F 1615被发送到HDD 1604及主存储器1603等。标号1618代表用于与诸如其他计算机等的电子设备交换信息的I/F。包括响应于来自CPU 1602的指令而从网络1619获取到的图像数据的信息，经由I/F 1618被发送到HDD 1604及主存储器1603等。

其他实施例

以上，描述了四个实施例。然而，可以在本发明的主旨及范围之内，来对前述实施例进行各种改变。虽然已将各滤波器函数描述为基于高斯函数的函数，但是，可以使用任何类型的滤波器函数。可以通过依照等式(4)或不等式(5)对作为基础的滤波器函数进行平移，来获取滤波器系数。

如上所述，根据本发明的图像显示装置能够减少在第二方法“空间频率分离”中出现的运动区域中的图像滞后。不必像第一方法“基于运动补偿的帧(场)插值”一样，通过使用邻近帧的图像数据来生成中间图像；能够以小的计算量来生成子帧图像。

还可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机(或诸如CPU或MPU等的设备)，来实现本发明的各方面；并且可以利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机来执行各步骤的方法，来实现本发明的各方面。为此，例如经由网络或从充当存储设备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。所附权利要求的范围应当被给予最宽的解释，以便涵盖所有的这类变型例及等同结构和功能。

Claims (7)

1.一种图像处理装置，其处理由连续帧图像构成的运动图像，所述图像处理装置包括：

被构造为获得关注帧图像作为输入图像并获得继所述关注帧图像之后的帧图像作为后续图像的单元；

被构造为由所述输入图像获得N个复制图像的单元；

生成单元，其被构造为通过使用用于增强低频分量的滤波器，由所述复制图像来生成低频分量被增强的低频增强图像；

减法单元，其被构造为由所述低频增强图像及所述复制图像，来生成高频分量被增强的高频增强图像；

合成单元，其被构造为通过将所述高频增强图像和所述低频增强图像以预定比率N/a进行合成，来生成高频输出图像，其中a指示所述高频增强图像所在的所述复制图像的数量；以及

输出单元，其被构造为选择所述低频增强图像和所述高频输出图像中的一者而非各所述复制图像，并进行输出，

所述生成单元包括：

被构造为获得在所述输入图像及所述后续图像中描绘的对象的运动矢量的单元；以及

滤波器单元，其被构造为当处理所述复制图像中的像素位置P处的像素时，通过针对所述复制图像中的各像素位置，指定在与所述运动矢量相反的方向上与所述复制图像中的所述像素位置P间隔预定距离的像素位置Q、并对所述复制图像中的所指定的像素位置Q周围的像素应用所述滤波器，来获得所述低频增强图像中的所述像素位置P处的像素值，以生成所述低频增强图像。

2.根据权利要求1所述的图像处理装置，其中，所述减法单元生成通过从所述输入图像的各像素值中减去所述低频增强图像中的对应像素值而获得的图像，作为所述高频增强图像，并且

当所述输出单元针对一个输入图像输出a个所述高频输出图像和(N-a)个所述低频增强图像时，所述合成单元生成通过将所述高频增强图像的各像素值乘以(N-a)得到的值与所述低频增强图像的对应像素值相加而获得的图像，作为所述高频输出图像。

3.根据权利要求1所述的图像处理装置，其中，当处理针对所述输入图像的第i个复制图像时，所述滤波器单元获取指示所述像素位置P的运动的运动矢量，获取具有通过将所述运动矢量的值乘以(-(i-1)/N)而获得的值的矢量作为移动量，并指定从所述像素位置P移动所述移动量而到达的位置作为所述像素位置Q。

4.根据权利要求3所述的图像处理装置，其中，所述滤波器单元获取通过将所述滤波器应用于所述像素位置Q周围的像素、通过将滤波器系数应用于所述像素位置P周围的像素而获得的值，所述滤波器系数是通过将提供所述滤波器的系数值的滤波器函数移动所述移动量而获得的。

5.一种图像处理装置，其处理由连续帧图像构成的运动图像，所述图像处理装置包括：

被构造为获得关注帧图像作为输入图像并获得继所述关注帧图像之后的帧图像作为后续图像的单元；

被构造为由所述输入图像获得N个复制图像的单元；

替代生成单元，其被构造为通过使用用于增强高频分量的滤波器，由所述复制图像来生成高频分量被增强的高频增强图像；

被构造为由所述高频增强图像及所述复制图像，来生成低频分量被增强的低频增强图像的单元；

被构造为通过将所述高频增强图像和所述低频增强图像以预定比率N/a进行合成，来生成高频输出图像的单元，其中a指示所述高频增强图像所在的所述复制图像的数量；以及

被构造为选择所述低频增强图像和所述高频输出图像中的一者而非各所述复制图像并进行输出的单元，

所述替代生成单元包括：

被构造为获得在所述输入图像及所述后续图像中描绘的对象的运动矢量的单元；以及

高频增强图像生成单元，其被构造为当处理所述复制图像中的像素位置P处的像素时，通过针对所述复制图像中的各像素位置，指定在与所述运动矢量相反的方向上与所述复制图像中的所述像素位置P间隔预定距离的像素位置Q、并对所述复制图像中的所指定的像素位置Q周围的像素应用所述滤波器，来获得所述高频增强图像中的所述像素位置P处的像素值，以生成所述高频增强图像。

6.一种由图像处理装置执行的图像处理方法，所述图像处理装置包括被构造为处理由连续帧图像构成的运动图像的单元，所述图像处理方法包括：

获得关注帧图像作为输入图像并获得继所述关注帧图像之后的帧图像作为后续图像的步骤；

由所述输入图像获得N个复制图像的步骤；

生成步骤，通过使用用于增强低频分量的滤波器，由所述复制图像来生成低频分量被增强的低频增强图像；

由所述低频增强图像及所述复制图像来生成高频分量被增强的高频增强图像的步骤；

通过将所述高频增强图像和所述低频增强图像以预定比率N/a进行合成来生成高频输出图像的步骤，其中a指示所述高频增强图像所在的所述复制图像的数量；以及

输出步骤，选择所述低频增强图像和所述高频输出图像中的一者而非各所述复制图像，并进行输出，

所述生成步骤包括：

获得在所述输入图像及所述后续图像中描绘的对象的运动矢量的步骤；以及

滤波器步骤，当处理所述复制图像中的像素位置P处的像素时，通过针对所述复制图像中的各像素位置，指定在与所述运动矢量相反的方向上与所述复制图像中的所述像素位置P间隔预定距离的像素位置Q、并对所述复制图像中的所指定的像素位置Q周围的像素应用所述滤波器，来获得所述低频增强图像中的所述像素位置P处的像素值，以生成所述低频增强图像。

7.一种由图像处理装置执行的图像处理方法，所述图像处理装置包括被构造为处理由连续帧图像构成的运动图像的单元，所述图像处理方法包括：

获得关注帧图像作为输入图像并获得继所述关注帧图像之后的帧图像作为后续图像的步骤；

由所述输入图像获得N个复制图像的步骤；

替代生成步骤，通过使用用于增强高频分量的滤波器，由所述复制图像来生成高频分量被增强的高频增强图像；

由所述高频增强图像及所述复制图像来生成低频分量被增强的低频增强图像的步骤；

通过将所述高频增强图像和所述低频增强图像以预定比率N/a进行合成来生成高频输出图像的步骤，其中a指示所述高频增强图像所在的所述复制图像的数量；以及

选择所述低频增强图像和所述高频输出图像中的一者而非各所述复制图像并进行输出的步骤，

所述替代生成步骤包括：

获得在所述输入图像及所述后续图像中描绘的对象的运动矢量的步骤；以及

生成所述高频增强图像的步骤，当处理所述复制图像中的像素位置P处的像素时，通过针对所述复制图像中的各像素位置，指定在与所述运动矢量相反的方向上与所述复制图像中的所述像素位置P间隔预定距离的像素位置Q、并对所述复制图像中的所指定的像素位置Q周围的像素应用所述滤波器，来获得所述高频增强图像中的所述像素位置P处的像素值，以生成所述高频增强图像。

Images