CN102243757A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

图像处理设备、图像处理方法和程序。该图像处理设备包括：上采样部分；运动补偿图像生成部分；混合处理部分；以及输出图像生成部分。

Description

图像处理设备、图像处理方法和程序

技术领域

本发明涉及图像处理设备、图像处理方法和程序，尤其涉及用于执行提高图像分辨率的超分辨率处理的图像处理设备、图像处理方法和程序。

背景技术

已知超分辨率(SR)为一种用于根据低分辨率的图像生成高分辨率的图像的技术。超分辨率(SR)根据低分辨率的图像产生高分辨率的图像。

作为超分辨率处理的技术，例如存在一种重建型超分辨率技术，其基于所拍摄的低分辨率的图像来得到指示拍摄条件的参数，诸如“由于透镜和大气散射导致的模糊”、“对象和照相机总体上的运动”和“通过图像拾取元件进行的采样”，并使用这些参数估计理想的高分辨率图像。

例如，日本专利特开2008-140012号公开了与超分辨率处理技术相关的相关领域的技术。

重建型超分辨率技术流程的概要如下。

(1)通过数学公式来表示考虑了模糊、运动、采样等的图像拍摄模型。

(2)从通过以上数学公式模型表示的图像拍摄模型获得成本计算等式。这时，可以使用贝叶斯定理来加入先验概率等正则化项。

(3)获得使成本最小化的图像。

重建型超分辨率计算通过这些过程来获得超分辨率图像。由于通过重建型超分辨率技术获得的高分辨率图像依赖于输入图像，所以获得高度的超分辨率效果(分辨率恢复效果)。

图1示出了用于进行超分辨率处理的电路配置的示例。图1示出了超分辨率处理设备10的电路配置的示例。

在图像处理设备10中，作为用于提高分辨率的处理的对象的低分辨率图像g_n31被输入到上采样部分11。上采样部分11进行像素数量的转换(图像放大处理)。具体来说，上采样部分11进行将输入图像的像素数量调整为要输出的图像(经SR处理的图像f_n32)的像素数量的图像放大处理，例如，将一个像素划分成多个像素并对该多个像素进行设置的处理。

运动估计/运动补偿图像生成部分12检测在先前帧的处理中生成的高分辨率图像f_n-1与经上采样的低分辨率图像g_n之间的运动的幅度。具体来说，运动估计/运动补偿图像生成部分12计算运动向量。此外，使用所检测的运动向量，运动估计/运动补偿图像生成部分12对高分辨率图像f_n-1执行运动补偿处理(MC)。由此生成运动补偿图像，该运动补偿图像是通过对高分辨率图像f_n-1进行运动补偿处理而得到的，并且其中对象的位置被设置成与上采样的低分辨率图像g_n中相同。然而，当图像中存在运动对象等时，经运动补偿的图像中可能产生对象的位置从上采样的低分辨率图像g_n转移的图像区域，即运动补偿失败区域。

运动确定部分13将通过运动补偿(MC)处理生成的经运动补偿的高分辨率图像与上采样的低分辨率图像相互比较，并检测不能很好地应用运动补偿的区域，即上述运动补偿失败区域。运动补偿失败区域例如发生在如上所述的对象本身移动的图像部分。

运动确定部分13生成运动区域信息(α图(α-map)[0:1])，该信息将高分辨率图像f_n-1的运动补偿图像中对象的位置被设置成与上采样的低分辨率图像g_n中相同的区域区分为运动补偿成功区域，而将高分辨率图像f_n-1的运动补偿图像中对象的位置未被设置成与上采样的低分辨率图像g_n中相同的区域区分为运动补偿失败区域。然后，运动确定部分13输出运动区域信息(α图[0:1])。该运动区域信息(α图[0:1])是根据成功区域和失败区域的可靠性来设置1到0范围中的值的图。运动区域信息(α图[0:1])例如还可以被简单地设置为这样的图，其中1被设置成运动补偿成功区域，0被设置成运动补偿失败区域。

混合处理部分14被提供有：

由对高分辨率图像f_n-1进行运动补偿处理而得到的运动补偿结果图像，由运动估计/运动补偿图像生成部分12生成该运动补偿结果图像；

通过在上采样部分11中对低分辨率图像(g_n)31进行上采样而获得的上采样图像；以及

运动区域信息(α图[0:1])。

使用这些输入信息，混合处理部分14基于以下等式输出混合图像作为混合结果。

混合图像＝(1-α)(上采样图像)+α(运动补偿结果图像)

该混合处理生成混合图像，在该混合图像中，运动补偿结果图像的混合比对于运动补偿成功区域来说上升，而运动补偿结果图像的混合比对于运动补偿失败区域来说降低。

向模糊添加部分15提供由混合处理部分14生成的混合图像，并且模糊添加部分15执行对空间分辨率劣化的模拟。例如，模糊添加部分15使用作为滤波器预先测量的点扩散函数对图像执行卷积。

下采样部分16执行将高分辨率图像下采样为与输入图像相同分辨率的处理。此后，差单元17计算下采样部分16的输出图像与低分辨率图像g_n之间每个像素的差值。在上采样部分18中对该差值进行上采样处理。此外，逆模糊添加部分19执行与模糊添加处理相逆的处理。作为操作执行这样的处理，该处理对应于与模糊添加部分15中使用的PSF(点扩散函数)的相关的计算。

将逆模糊添加部分19的输出乘以在乘法器20中预先设置的反馈系数γ，之后输出到加法器21以与混合处理部分14输出的混合图像相加，然后被输出。

加法器21的输出是通过将输入图像g_n转换成高分辨率而获得的图像(SR处理图像32)。

图1中所示的由超分辨率处理设备10进行的处理可以由以下等式表示。

$f_n^{\mathrm{SR}}={\left(W_n{f}_{n-1}^{\mathrm{SR}}\right)}^{\′}+{\mathrm{\γ}}_{\mathrm{SR}}{H}^T{D}^T(g_n-\mathrm{DH}{\left(W_n{f}_{n-1}^{\mathrm{SR}}\right)}^{\′})$ (等式1)

顺便提及，以上等式(等式1)中的每个参数是以下参数。

n：帧数(第(n-1)帧和第n帧例如是活动图像的相邻帧)。

g_n：输入图像(第n帧的低分辨率图像)

f_n ^SR：第n帧的超分辨率处理结果图像(＝高分辨率图像)

f_n-1 ^SR：第(n-1)帧的超分辨率处理结果图像(＝高分辨率图像)

W_n：第n帧相对于第(n-1)帧的运动信息(运动向量、矩阵等)

H：模糊添加处理(模糊滤波器矩阵)

D：下采样处理(下采样处理矩阵)

(W_nf_n-1 ^SR)’：由混合处理部分输出的混合图像

γ_SR：反馈系数

H^T：H的转置矩阵

D^T：D的转置矩阵

构建用于实现图1中所示的超分辨率处理电路10的硬件的情况中的问题包括电路尺度的增大和处理效率的降低。例如，滤波处理被应用于图1中所示的上采样部分、下采样部分、模糊添加部分和逆模糊添加部分的处理，并且需要用于存储像素值的RAM来执行这些许多滤波处理。当滤波抽头的数量增加时，需要的存储容量也增加，并且需要高性能的CPU来进行高速存储器存取。因此担心硬件尺寸的增大以及成本的增加。

发明内容

例如考虑到上述问题而做出本发明。希望提供一种图像处理设备、图像处理方法和程序，用于实现超分辨率处理，通过该超分辨率处理实现电路尺度的减小以及处理效率的提高。

根据本发明的第一实施例，提供一种图像处理设备，包括：上采样部分，其被配置为执行将第一分辨率的输入图像调整为高于第一分辨率的第二分辨率的图像的像素数量的上采样处理；运动补偿图像生成部分，其被配置为通过校正处理来生成运动补偿图像，校正处理使用通过上采样处理获得的上采样图像和具有第二分辨率的参考图像之间的差信息将参考图像调整到上采样图像的对象位置；混合处理部分，其被配置为按照图像区域单元将上采样图像和运动补偿图像相互比较，在区域单元像素值一致程度更高的区域中将参考图像的混合比设置得更高，并通过将上采样图像和参考图像相互混合来生成混合图像；以及输出图像生成部分，其被配置为生成混合图像和输入图像之间的差信息，并通过合成混合图像和差信息来生成具有第二分辨率的高分辨率图像；其中输出图像生成部分具有一个构造，在该构造中，生成差信息所需要的滤波处理被执行两次或更少次。

此外，在根据本发明的图像处理设备的一个实施例中，输出图像生成部分包括：模糊添加部分，其被配置为对混合图像执行模糊添加处理；二次采样部分，其配置为执行将模糊添加部分的输出图像减少到第一分辨率的组成像素的数量的像素离散减少处理；差单元，其被配置为输出输入图像和二次采样部分的输出图像的相应像素值之间的差信息；补零处理部分，其被配置为执行零像素值补充处理，以将差单元输出的差图像调整到第二分辨率的像素数量；逆模糊添加部分，其被配置为对补零处理部分的处理结果执行逆模糊添加处理，逆模糊添加处理与模糊添加处理相逆；乘法器，其被配置为将逆模糊添加部分的输出图像乘以预先设置的反馈系数；以及加法器，其被配置为将混合图像和乘法器的输出之间的相应像素值加到一起。

此外，在根据本发明的图像处理设备的一个实施例中，输出图像生成部分包括：下采样部分，其被配置为执行将混合图像减少到第一分辨率的组成像素的数量的下采样处理；差单元，其被配置为输出输入图像和下采样部分的输出图像的相应像素值之间的差信息；上采样部分，其被配置为执行上采样处理，以将差单元输出的差图像调整为第二分辨率的像素数量；乘法器，其被配置为将上采样部分的输出图像乘以预先设置的反馈系数；以及加法器，其被配置为将混合图像和乘法器的输出之间的相应像素值加到一起。

此外，在根据本发明的图像处理设备的一个实施例中，输出图像生成部分包括：集成滤波器，其被配置为执行将混合图像减少到第一分辨率的组成像素的数量的下采样处理，以及执行将混合图像调整为第二分辨率的像素数量的上采样处理；第一乘法器，其被配置为将集成滤波器的输出乘以预先设置的反馈系数；差单元，其被配置为计算混合图像和第一乘法器的输出的相应像素值之间的差；第二乘法器，其被配置为将配置成对输入图像进行上采样处理的上采样部分的输出乘以预先设置的反馈系数；以及加法器，其被配置为将差单元的输出和第二乘法器的输出加到一起。

此外，在根据本发明的图像处理设备的一个实施例中，集成滤波器由多相滤波器形成，多相滤波器被配置为针对每个相位卷积不同的值。

此外，根据本发明的第二实施例，提供一种图像处理方法，用于在图像处理设备中执行分辨率转换处理，该图像处理方法包括：上采样部分的上采样处理步骤，上采样部分执行将第一分辨率的输入图像调整为高于第一分辨率的第二分辨率的图像的像素数量的上采样处理；运动补偿图像生成部分的运动补偿图像生成步骤，运动补偿图像生成部分通过校正处理来生成运动补偿图像，校正处理使用通过上采样处理获得的上采样图像和具有第二分辨率的参考图像之间的差信息将参考图像调整到上采样图像的对象位置；混合处理部分的混合处理步骤，混合处理部分按照图像区域单元比较上采样图像和运动补偿图像，在区域单元像素值一致程度更高的区域中将参考图像的混合比设置得更高，并通过将上采样图像与参考图像相互混合来生成混合图像；以及输出图像生成部分的输出图像生成步骤，输出图像生成部分生成混合图像和输入图像之间的差信息，并通过合成混合图像和差信息来生成具有第二分辨率的高分辨率图像；其中输出图像生成步骤通过这样的处理来生成高分辨率图像，在该处理中，产生差信息所需要的滤波处理被执行两次或更少次。

此外，根据本发明的第三实施例，提供一种程序，用于进行在图像处理设备中执行的分辨率转换处理，该程序包括：上采样处理步骤，使得上采样部分执行将第一分辨率的输入图像调整为高于第一分辨率的第二分辨率的图像的像素数量的上采样处理；运动补偿图像生成步骤，使得运动补偿图像生成部分通过校正处理来生成运动补偿图像，校正处理使用通过上采样处理获得的上采样图像和具有第二分辨率的参考图像之间的差信息将参考图像调整到上采样图像的对象位置；混合处理步骤，使得混合处理部分按照图像区域单元将上采样图像和运动补偿图像相互比较，在区域单元像素值的一致程度更高的区域中将参考图像的混合比设置得更高，并通过将上采样图像和参考图像相互混合来生成混合图像；以及输出图像生成步骤，使得输出图像生成部分生成混合图像和输入图像之间的差信息，并通过合成混合图像和差信息来生成具有第二分辨率的高分辨率图像；其中输出图像生成步骤形成通过这样的处理来生成的高分辨率图像，在该处理中，产生差信息所需要的滤波处理被执行两次或更少次。

顺便提及，根据本发明的实施例的程序例如是能够通过以计算机可读形式提供的存储介质或通信介质提供给能够执行各种程序代码的信息处理设备或计算机系统的程序。通过以计算机可读形式提供这种程序，在信息处理设备或计算机系统上实现与该程序对应的处理。

根据基于稍后将描述的本发明的实施例以及附图所进行的更加详细的描述，本发明的以上和其它目的、特征和优点将变得明显。顺便提及，本说明书中的系统是多个设备的逻辑设置的配置，并且不限于同一外壳中的各配置的设备。

根据本发明的一个实施例的配置，提供一种设备和方法，用于实现滤波处理被简化的超分辨率处理。例如，通过以下处理来生成高分辨率图像。生成通过将低分辨率的输入图像调整为高分辨率图像所具有的像素数量而获得的上采样图像，并且生成通过将高分辨率的参考图像调整到上采样图像的对象位置而获得的运动补偿图像。此外，以图像区域单元将上采样图像和运动补偿图像相互比较，参考图像的混合比被设置成在区域单元像素值的一致程度更高的区域中更高，并且通过混合上采样图像和参考图像来生成混合图像。此外，产生混合图像和输入图像之间的差，并且通过合成混合图像和差信息来生成高分辨率图像。在本发明的一个实施例的配置中，生成差信息所需要的滤波处理被执行两次或更少次，使得实现设备的小型化以及处理效率的提高。

附图说明

图1是帮助说明用于执行超分辨率处理的相关技术的电路配置的示例的图；

图2是帮助说明根据本发明的第一实施例的执行超分辨率处理的图像处理设备的配置示例的图；

图3是帮助说明根据本发明的第二实施例的执行超分辨率处理的图像处理设备的配置示例的图；

图4是帮助说明根据本发明的第三实施例的执行超分辨率处理的图像处理设备的配置示例的图；以及

图5是帮助说明根据本发明的实施例的图像处理设备的硬件配置的示例的图。

具体实施方式

下面将参考附图对根据本发明的实施例的图像处理设备、图像处理方法和程序的细节进行描述。顺便提及，将根据以下项目进行描述。1.用于通过其中集成有滤波处理部分的配置来执行超分辨率处理的图像处理设备

1-1.第一实施例

1-2.第二实施例

1-3.第三实施例

2.图像处理设备的硬件配置的示例

[1.用于通过其中集成有滤波处理部分的配置来执行超分辨率处理的图像处理设备]

将对用于通过其中集成有滤波处理部分的配置来执行超分辨率处理的图像处理设备进行描述。

如先前参考图1所描述的，用于执行超分辨率处理的电路包括处理部分，诸如上采样部分、下采样部分、模糊添加部分以及逆模糊添加部分。滤波处理被应用于这些处理部分的处理。需要用于存储像素值的RAM来执行这些许多滤波处理，当滤波抽头的数量增加时，需要的存储容量也增加。此外，需要高性能的CPU等来进行高速存储器存取。因此担心硬件尺寸的增大以及成本的增加。

下面描述的图像处理设备实现超分辨率处理中的滤波处理的简化。

(1-1.第一实施例)

将参考图2对根据本发明的第一实施例的图像处理设备100的配置的示例进行描述。

如参考图1所描述的电路，图2中所示的图像处理设备100被提供以低分辨率图像g_n 131，执行超分辨率处理，并输出高分辨率图像f_n(＝SR处理图像132)。

与参考图1描述的配置不同的是图2中所示的输出图像生成部分130的配置。具体来说，配置的变化如下。

图1中的下采样部分16被改变为二次采样部分116，用于执行图2的配置中的简单像素离散减少处理。

图1中的上采样部分18被改变成补零处理部分，用于随着图2的配置中的像素数量的增加而将零像素值添加到增加的像素部分。

其它配置与图1中所示的那些相似。

在图像处理设备100中，作为用于提高分辨率的处理的对象的低分辨率图像g_n被输入到上采样部分111。上采样部分111进行像素数量的转换(图像放大处理)。具体来说，上采样部分111进行将输入图像的像素数量调整为要输出的图像的像素数量的图像放大处理，例如，将一个像素划分成多个像素并对该多个像素进行设置的处理。即，上采样部分111执行将第一分辨率(低分辨率)的输入图像调整为高于第一分辨率(低分辨率)的第二分辨率(高分辨率)的图像的像素数量的上采样处理。

运动估计/运动补偿图像生成部分112检测在先前帧的处理中生成的用作参考图像的高分辨率图像f_n-1与上采样的低分辨率图像g_n之间的运动幅度。具体来说，运动估计/运动补偿图像生成部分112计算运动向量。此外，使用所检测的运动向量，运动估计/运动补偿图像生成部分112对用作参考图像的高分辨率图像f_n-1执行运动补偿处理。由此生成运动补偿图像，该运动补偿图像是由对高分辨率图像f_n-1进行运动补偿处理而得到的，并且其中对象的位置被设置成与上采样的低分辨率图像g_n中相同。

运动确定部分113将通过运动补偿(MC)处理生成的经运动补偿的高分辨率图像和上采样的低分辨率图像相互比较，并检测不能很好地应用运动补偿的区域。例如当对象本身移动时，产生运动补偿失败区域。

运动确定部分113生成运动区域信息(α图[0:1])，该运动区域信息将作为参考图像的高分辨率图像f_n-1的运动补偿图像中的区域(在该区域中，对象的位置被设置成与上采样的低分辨率图像g_n中相同)区分为运动补偿成功区域，而将作为参考图像的高分辨率图像f_n-1的运动补偿图像中的区域(在该区域中，对象的位置未被设置成与上采样的低分辨率图像g_n中相同)区分为运动补偿失败区域。然后，运动确定部分113输出运动区域信息(α图[0:1])。

混合处理部分114被提供有：

由对高分辨率图像f_n-1进行运动补偿处理而得到的运动补偿结果图像，由运动估计/运动补偿图像生成部分112生成该运动补偿结果图像；

通过在上采样部分111中对低分辨率图像g_n进行上采样而获得的上采样图像；以及

运动区域信息(α图[0:1])。

使用这些输入信息，混合处理部分114基于以下等式输出混合图像作为混合结果。

混合图像＝(1-α)(上采样图像)+α(运动补偿结果图像)

混合处理部分114以图像区域单元将上采样图像和运动补偿图像相互比较，将参考图像的混合比设置成在区域单元像素值一致程度更高的区域中更高，并通过将上采样图像和参考图像相互混合来生成混合图像。

输出图像生成部分130生成混合图像与输入图像之间的差信息，并通过合成混合图像与差信息来生成具有第二分辨率的高分辨率图像。

将对输出图像生成部分130中的处理进行描述。

向模糊添加部分115提供由混合处理部分114生成的混合图像，并且模糊添加部分115对混合图像执行模糊添加处理。具体来说，模糊添加部分115通过对空间分辨率劣化的模拟来执行对混合图像的模糊添加处理。例如，模糊添加部分115使用作为滤波器预先测量的点扩散函数对图像进行卷积。

二次采样部分116执行将高分辨率图像下采样为与输入图像相同分辨率的处理。根据本实施例的配置中的二次采样部分116执行像素的简单离散减少处理。具体来说，二次采样部分116执行像素离散减少处理，该处理将模糊添加部分115输出的混合图像减少到与输入图像的分辨率相同的第一分辨率(低分辨率)的组成像素的数量。

之后，差单元117计算二次采样部分116的输出图像与低分辨率图像g_n之间每个像素的差值。差单元117输出关于输入图像与二次采样部分的输出图像的相应像素值之间的差的差信息。

补零处理部分118执行零像素值补充处理，用于将差单元117输出的差图像调整到第二分辨率(高分辨率)的图像的像素数量。即，补零处理部分118执行在增加的像素位置处设置零像素值的补零处理，作为将差单元117输出的差图像转换为与要生成的高分辨率图像相对应的像素数量的处理。

此外，逆模糊添加部分119执行与模糊添加处理相逆的处理。作为操作执行这样的处理，该处理对应于与模糊添加部分115中使用的PSF(点扩散函数)的相关的计算。

逆模糊添加部分119的输出被乘以在乘法器120中预先设置的反馈系数γ，之后输出到加法器121以与混合处理部分114输出的混合图像相加，然后被输出。

加法器121的输出是通过将输入图像g_n转换成高分辨率而获得的图像(SR处理图像)。

可以由以下等式表示图2中所示的配置中执行的处理。

$f_n^{\mathrm{SR}}={\left(W_n{f}_{n-1}^{\mathrm{SR}}\right)}^{\′}+{\mathrm{\γ}}_{\mathrm{SR}}{H}^T{D}^T(g_n-\mathrm{DH}{\left(W_n{f}_{n-1}^{\mathrm{SR}}\right)}^{\′})$ (等式2)

顺便提及，以上等式(等式2)中的每个参数是以下参数。

n：帧数(第(n-1)帧和第n帧例如是活动图像的相邻帧)。

g_n：输入图像(第n帧的低分辨率图像)

f_n ^SR：超分辨率处理结果图像(＝第n帧的高分辨率图像)

f_n-1 ^SR：超分辨率处理结果图像(＝第(n-1)帧的高分辨率图像)

W_n：第n帧相对于第(n-1)帧的运动信息(运动向量、矩阵等)

H：模糊添加处理(模糊滤波器矩阵)

D：下采样处理(下采样处理矩阵)

(W_nf_n-1 ^SR)’：混合处理部分输出的混合图像

γ_SR：反馈系数

H^T：H的转置矩阵

D^T：D的转置矩阵

以上等式与参考图1描述的等式相似。

通过二次采样部分116进行的离散减少处理对应于[D＝下采样处理]。由补零处理部分118进行的处理对应于[D^T＝上采样处理]。

在图2所示的图像处理设备100中，图1中的下采样部分16被改变成二次采样部分116，用于执行简单像素离散减少处理，而图1中的上采样部分18被改变为补零处理部分，用于随着像素数量的增加而将零像素值添加到增加的像素部分。

该处理不需要在这些处理部分中进行滤波处理，并且不需要用于存储像素值的存储器以及存储器存取处理，使得实现了设备的小型化和处理效率的提高。

即，在生成混合图像和输入图像(低分辨率图像g_n 131)之间的差信息的处理(该处理在输出图像生成部分130中执行)中，滤波处理仅在模糊添加部分115和逆模糊添加部分119中执行，因此，在输出图像生成部分130中仅执行两次滤波处理。这样，本实施例的构造减少了滤波处理，并且不需要用于存储像素值的存储器以及存储器访问处理，使得实现了设备的小型化和处理效率的提高。

(1-2.第二实施例)

接下来将参考图3对根据本发明的第二实施例的图像处理设备150进行描述。

如参考图1和图2描述的电路，图3中所示的图像处理设备150被提供以低分辨率图像g_n131，执行超分辨率处理，并输出高分辨率图像f_n(＝SR处理图像132)。

图3中所示的图像处理设备150具有甚至比图2中所示的配置更简单的配置。

将以与图2中所示的图像处理设备100的不同为中心进行描述。

在图3中所示的图像处理设备150中，图3中所示的输出图像生成部分140具有与图2中所示的配置不同的配置。具体来说，进行如下改变。

图2中所示的模糊添加部分115和二次采样部分116被集成到图3中所示的下采样部分151中。

图2中所示的补零处理部分118和逆模糊添加部分119被集成到图3中所示的上采样部分152中。

其它处理部分具有与图2所示的配置类似的配置。

图3中所示的下采样部分151执行由图2中所示的模糊添加部分115和二次采样部分116执行的两个处理作为一次滤波处理。

下采样部分151执行下采样处理，该处理将混合处理部分114输出的混合图像减少到第一分辨率(低分辨率)的图像的组成像素的数量。

类似地，图3中所示的上采样部分152执行由图2中所示的补零处理部分118和逆模糊添加部分119执行的两个处理作为一次滤波处理。上采样部分152执行上采样处理，该处理将差单元117输出的差图像调整为第二分辨率(高分辨率)图像的像素数量。

可以通过以下等式来表示图3的配置中执行的处理。

$f_n^{\mathrm{SR}}={\left(W_n{f}_{n-1}^{\mathrm{SR}}\right)}^{\′}+{\mathrm{\γ}}_{\mathrm{SR}}{H}^T{D}^T(g_n-\mathrm{DH}{\left(W_n{f}_{n-1}^{\mathrm{SR}}\right)}^{\′})$ (等式3)

该等式(等式3)与表示图1和图2的配置中执行的处理的等式类似。

在图3的配置中，如上所述，下采样部分151执行由图2中所示的模糊添加部分115和二次采样部分116执行的两个处理作为一次滤波处理，并且如图3所示，下采样部分151的输出表示如下。

DH(W_nf_n-1 ^SR)’

另外，如图3所示，差单元117的输出表示如下。

g_n-DH(W_nf_n-1 ^SR)’

此外，如图3所示，上采样部分152的输出表示如下。

H^TD^T(g_n-DH(W_nf_n-1 ^SR)’)

顺便提及，每个参数与第一实施例中描述的参数类似。

因此，在图3所示的图像处理设备150中，下采样部分151执行由图2中所示的模糊添加部分115和二次采样部分116执行的两个处理作为一次滤波处理，上采样部分152执行由图2中所示的补零处理部分118和逆模糊添加部分119执行的两个处理作为一次滤波处理。

与图2中所示的配置比较，该配置被简化了，并且减少了滤波处理的次数。结果，实现了硬件配置的小型化、成本的降低以及处理效率的提高。(1-3.第三实施例)

接下来将参考图4对根据本发明的第三实施例的图像处理设备180的配置示例进行描述。

如参考图1到图3描述的电路，图4中所示的图像处理设备180被提供以低分辨率图像g_n 131，执行超分辨率处理，并输出高分辨率图像f_n(＝SR处理图像132)。

图4中所示的图像处理设备180具有甚至比图3中所示的配置更简单的配置。

将以与图3中所示的图像处理设备150的不同为中心进行描述。

在图4中所示的图像处理设备180中，图4中所示的输出图像生成部分170具有与图3中所示的配置不同的配置。具体来说，进行如下改变。

图3中所示的两个上采样部分，即上采样部分111和上采样部分152被集成到图4中所示的配置中的一个上采样部分181中。

此外，图3中所示的下采样部分151和差单元117被替换为图4中所示的配置中的集成滤波器(多相滤波器)182。

集成滤波器(多相滤波器)182执行：下采样处理，其将混合处理部分114生成的混合图像减少为第一分辨率(低分辨率)图像的组成像素的数量；以及上采样处理，将混合图像调整为第二分辨率(高分辨率)图像的像素数量。集成滤波器(多相滤波器)182例如是多相滤波器，其执行针对每个相位卷积不同值的滤波处理。

顺便提及，就输出图像生成部分170的配置中的变化来说，图像处理设备180设置有：乘法器183，用于将集成滤波器(多相滤波器)182的输出乘以SR反馈系数；以及差单元184，用于从混合处理部分输出的混合图像中减去乘法器183的输出。

差单元184的输出被输出到加法器121，以与SR反馈值相加。

可以通过以下等式来表示由图4中所示的图像处理设备180执行的处理。

$f_n^{\mathrm{SR}}={\left(W_n{f}_{n-1}^{\mathrm{SR}}\right)}^{\′}+{\mathrm{\γ}}_{\mathrm{SR}}{H}^T{D}^T(g_n-\mathrm{DH}{\left(W_n{f}_{n-1}^{\mathrm{SR}}\right)}^{\′})$

$={\left(W_n{f}_{n-1}^{\mathrm{SR}}\right)}^{\′}-{\mathrm{\γ}}_{\mathrm{SR}}{H}^T{D}^T\mathrm{DH}{\left(W_n{f}_{n-1}^{\mathrm{SR}}\right)}^{\′}+{\mathrm{\γ}}_{\mathrm{SR}}{H}^T{D}^T{g}_n$ (等式4)

$=(I-{\mathrm{\γ}}_{\mathrm{SR}}{H}^T{D}^T\mathrm{DH}){\left(W_n{f}_{n-1}^{\mathrm{SR}}\right)}^{\′}+{\mathrm{\γ}}_{\mathrm{SR}}{H}^T{D}^T{g}_n$

该等式中第一行与表示图1到图3的配置中执行的处理的等式相同。第二行和第三行是该等式的修改的结果。第三行中的等式对应于图4中所示的配置。

也就是说，上采样部分181执行与逆模糊添加处理(H^T)和上采样处理(D^T)相对应的处理，并且如图4所示，可以通过下式表示上采样部分181的输出。

H^TD^Tg_n

此外，集成滤波器(多相滤波器)182执行：下采样处理，其将混合图像减少到与输入图像相对应的第一分辨率(低分辨率)图像的组成像素的数量；以及上采样处理，其将混合图像调整为第二分辨率(高分辨率)图像的像素数量。集成滤波器(多相滤波器)182例如由多相滤波器形成，该多相滤波器针对每个相位卷积不同的值。

该滤波处理可以表示成

H^TD^TDH

集成滤波器(多相滤波器)182的输出是

(H^TD^TDH)(W_nf_n-1 ^SR)’

另外，如图4中(A)所示，图4中的差单元184的输出对应于以上等式(等式4)的前半部分，并且可以表示成

(1-γ_SRH^TD^TDH)(W_nf_n-1 ^SR)’

此外，如图4中(B)所示，图4中的乘法器120的输出对应于以上等式(等式4)的后半部分，并可以表示成

γ_SRH^TD^TDHg_n

结果，加法器121的输出是通过以上等式(等式4)表示的值，即

f_n ^SR＝(1-γ_SRH^TD^TDH)(W_nf_n-1 ^SR)’+γ_SRH^TD^TDHg_n

该等式相当于图1到图3的配置中的处理，如根据上述等式4的展开理解的。通过使用图4中所示的配置来输出超分辨率处理结果f_n ^SR。

在图4中所示的图像处理设备180中，由上采样部分181和集成滤波器(多相滤波器)182来执行滤波处理。与图1中所示的配置比较，减少了需要滤波处理的配置。结果，实现了硬件配置的小型化、成本的降低以及处理效率的提高。

[2.图像处理设备的硬件配置的示例]

最后，将参考图5对执行上述处理的图像处理设备的硬件配置的一个示例进行描述。CPU(中央处理单元)901根据存储在ROM(只读存储器)902或存储部分908中的程序来执行各种处理。CPU 901例如执行图像处理，诸如在前述每个实施例中描述的超分辨率处理。RAM(随机存取存储器)903适当地存储由CPU 901执行的程序、数据等。CPU 901、ROM 902以及RAM 903通过总线904互连。

CPU 901通过总线904连接到输入-输出接口905。输入-输出接口905与由键盘、鼠标、麦克风等形成的输入部分906，以及由显示器、扬声器等形成的输出部分907连接。CPU 901响应于从输入部分906输入的命令而执行各种处理，并且例如将处理的结果输出到输出部分907。

连接到输入-输出接口905的存储部分908例如由硬盘形成。存储部分908存储由CPU 901执行的程序以及各种数据。通信部分909通过网络(诸如因特网、局域网等)与外部设备通信。

连接到输入-输出接口905的驱动器910驱动可移动介质911，诸如磁盘、光盘、磁光盘、半导体存储器等，并获得记录在可移动介质911上的程序、数据等。根据需要将所获得的程序和数据转发给存储部分908并存储在存储部分908中。

已经参考本发明的特定实施例对本发明进行了详细说明。但是明显的是，本领域技术人员可以进行实施例中的修改和替换，而不脱离本发明的精神。即，本发明是以说明性的形式公开的，而不以限制性方式对其进行解释。为了确定本发明的精神，要考虑权利要求部分。

另外，在说明书中描述的这一系列过程可以通过硬件、软件或硬件与软件的组合配置来执行。当通过软件来执行处理时，记录有处理序列的程序可以在被安装到合并在专用硬件中的计算机内的存储器中之后被执行，或者在程序被安装到能够执行各种处理的通用计算机上之后被执行。例如，程序可以被预先记录到记录介质上。除了从记录介质安装到计算机上之外，程序可以通过网络(诸如LAN(局域网)、因特网等)被接收，并被安装到诸如内置硬盘等的记录介质上。

应该注意到，说明书中描述的各种处理可以不仅按照根据本说明书的时间序列来执行，还可以根据执行处理的设备的处理能力或要求而并行处理或单独处理。另外，本说明书中的系统是多个设备的逻辑设置的配置，其不限于同一外壳中的各配置的设备。

如上所述，根据本发明的一个实施例的配置，提供一种用于实现简化了滤波处理的超分辨率处理的设备和方法。例如，通过以下处理来生成高分辨率图像。生成上采样图像，该上采样图像是通过将低分辨率的输入图像调整为高分辨率图像所具有的像素数量而获得的；以及生成运动补偿图像，该运动补偿图像是通过将高分辨率的参考图像调整为上采样图像的对象位置而获得的。此外，以图像区域单元对上采样图像和运动补偿图像进行比较，参考图像的混合比被设置成在区域单元像素值一致程度更高的区域中更高，并且通过将上采样图像和参考图像相互混合来生成混合图像。此外，生成混合图像与输入图像之间的差，并通过合成混合图像与差信息来生成高分辨率图像。在本发明的一个实施例的配置中，生成差信息所需的滤波处理被执行两次或更少次，使得可以实现设备的小型化以及处理效率的提高。

本申请包含与2010年5月10日提交日本专利局的日本优先权专利申请JP 2010-108408中公开的内容相关的主题，将其全部内容通过引用合并于此。

本领域技术人员应理解，根据设计要求和其它因素，可以进行各种修改、组合、子组合以及改变，只要其在所附权利要求或其等同物的范围之内。

Claims (8)

1.一种图像处理设备，包括：

上采样部分，其被配置为执行将第一分辨率的输入图像调整为高于所述第一分辨率的第二分辨率的图像的像素数量的上采样处理；

运动补偿图像生成部分，其被配置为通过校正处理来生成运动补偿图像，所述校正处理使用通过所述上采样处理获得的上采样图像和具有所述第二分辨率的参考图像之间的差信息将所述参考图像调整到所述上采样图像的对象位置；

混合处理部分，其被配置为按照图像区域单元将所述上采样图像和所述运动补偿图像相互比较，在区域单元像素值一致程度更高的区域中将所述参考图像的混合比设置得更高，并通过将所述上采样图像和所述参考图像相互混合来生成混合图像；以及

输出图像生成部分，其被配置为生成所述混合图像和所述输入图像之间的差信息，并通过合成所述混合图像和所述差信息来生成具有所述第二分辨率的高分辨率图像；

其中所述输出图像生成部分具有一个构造，在所述构造中，生成所述差信息所需要的滤波处理被执行两次或更少次。

2.根据权利要求1所述的图像处理设备，其中，所述输出图像生成部分包括：

模糊添加部分，其被配置为对所述混合图像执行模糊添加处理；

二次采样部分，其配置为执行将所述模糊添加部分的输出图像减少到所述第一分辨率的组成像素的数量的像素离散减少处理；

差单元，其被配置为输出所述输入图像和所述二次采样部分的输出图像的相应像素值之间的差信息；

补零处理部分，其被配置为执行零像素值补充处理，以将所述差单元输出的差图像调整到所述第二分辨率的像素数量；

逆模糊添加部分，其被配置为对所述补零处理部分的处理结果执行逆模糊添加处理，所述逆模糊添加处理与所述模糊添加处理相逆；

乘法器，其被配置为将所述逆模糊添加部分的输出图像乘以预先设置的反馈系数；以及

加法器，其被配置为将所述混合图像和所述乘法器的输出之间的相应像素值加到一起。

3.根据权利要求1所述的图像处理设备，其中，所述输出图像生成部分包括：

下采样部分，其被配置为执行将所述混合图像减少到所述第一分辨率的组成像素的数量的下采样处理；

差单元，其被配置为输出所述输入图像和所述下采样部分的输出图像的相应像素值之间的差信息；

上采样部分，其被配置为执行上采样处理，以将所述差单元输出的差图像调整为所述第二分辨率的像素数量；

乘法器，其被配置为将所述上采样部分的输出图像乘以预先设置的反馈系数；以及

加法器，其被配置为将所述混合图像和所述乘法器的输出之间的相应像素值加到一起。

4.根据权利要求1所述的图像处理设备，其中，所述输出图像生成部分包括：

集成滤波器，其被配置为执行将所述混合图像减少到所述第一分辨率的组成像素的数量的下采样处理，以及执行将所述混合图像调整为所述第二分辨率的像素数量的上采样处理；

第一乘法器，其被配置为将所述集成滤波器的输出乘以预先设置的反馈系数；

差单元，其被配置为计算所述混合图像和所述第一乘法器的输出的相应像素值之间的差；

第二乘法器，其被配置为将配置成对所述输入图像进行上采样处理的上采样部分的输出乘以预先设置的反馈系数；以及

加法器，其被配置为将所述差单元的输出和所述第二乘法器的输出加到一起。

5.根据权利要求4所述的图像处理设备，其中，所述集成滤波器由多相滤波器形成，所述多相滤波器被配置为针对每个相位卷积不同的值。

6.一种图像处理方法，用于在图像处理设备中执行分辨率转换处理，所述图像处理方法包括：

上采样部分的上采样处理步骤，所述上采样部分执行将第一分辨率的输入图像调整为高于所述第一分辨率的第二分辨率的图像的像素数量的上采样处理；

运动补偿图像生成部分的运动补偿图像生成步骤，所述运动补偿图像生成部分通过校正处理来生成运动补偿图像，所述校正处理使用通过所述上采样处理获得的上采样图像和具有所述第二分辨率的参考图像之间的差信息将所述参考图像调整到所述上采样图像的对象位置；

混合处理部分的混合处理步骤，所述混合处理部分按照图像区域单元比较所述上采样图像和所述运动补偿图像，在区域单元像素值一致程度更高的区域中将所述参考图像的混合比设置得更高，并通过将所述上采样图像与所述参考图像相互混合来生成混合图像；以及

输出图像生成部分的输出图像生成步骤，所述输出图像生成部分生成所述混合图像和所述输入图像之间的差信息，并通过合成所述混合图像和所述差信息来生成具有所述第二分辨率的高分辨率图像；

其中所述输出图像生成步骤通过这样的处理来生成所述高分辨率图像，在该处理中，产生所述差信息所需要的滤波处理被执行两次或更少次。

7.一种程序，用于进行在图像处理设备中执行的分辨率转换处理，所述程序包括：

上采样处理步骤，使得上采样部分执行将第一分辨率的输入图像调整为高于所述第一分辨率的第二分辨率的图像的像素数量的上采样处理；

运动补偿图像生成步骤，使得运动补偿图像生成部分通过校正处理来生成运动补偿图像，所述校正处理使用通过所述上采样处理获得的上采样图像和具有所述第二分辨率的参考图像之间的差信息将所述参考图像调整到所述上采样图像的对象位置；

混合处理步骤，使得混合处理部分按照图像区域单元将所述上采样图像和所述运动补偿图像相互比较，在区域单元像素值的一致程度更高的区域中将所述参考图像的混合比设置得更高，并通过将所述上采样图像和所述参考图像相互混合来生成混合图像；以及

输出图像生成步骤，使得输出图像生成部分生成所述混合图像和所述输入图像之间的差信息，并通过合成所述混合图像和所述差信息来生成具有所述第二分辨率的高分辨率图像；

其中所述输出图像生成步骤形成通过这样的处理来生成的所述高分辨率图像，在该处理中，产生所述差信息所需要的滤波处理被执行两次或更少次。

8.一种图像处理设备，包括：

上采样装置，用于执行将第一分辨率的输入图像调整为高于所述第一分辨率的第二分辨率的图像的像素数量的上采样处理；

运动补偿图像生成装置，用于通过校正处理来生成运动补偿图像，所述校正处理使用通过所述上采样处理获得的上采样图像和具有所述第二分辨率的参考图像之间的差信息将所述参考图像调整到所述上采样图像的对象位置；

混合处理装置，用于按照图像区域单元将所述上采样图像和所述运动补偿图像相互比较，在区域单元像素值的一致程度更高的区域中将所述参考图像的混合比设置得更高，并通过将所述上采样图像和所述参考图像相互混合来生成混合图像；以及

输出图像生成装置，用于生成所述混合图像和所述输入图像之间的差信息，并通过合成所述混合图像和所述差信息来生成具有所述第二分辨率的高分辨率图像；

其中所述输出图像生成装置具有一个构造，在所述构造中，生成所述差信息所需要的滤波处理被执行两次或更少次。

Images