CN103403758A - 图像处理装置、图像处理方法、用于图像处理的计算机程序及记录介质 - Google Patents

Abstract

提供能够利用劣化过程与劣化模型的不同来抑制噪声发生的图像处理装置。图像处理装置具备：放大内插部，生成析像度比低析像度图像更高的第一高析像度图像；超析像处理部，基于劣化模型，使用所述低析像度图像生成第二高析像度图像；特征量生成部，使用所述低析像度图像生成特征量；差分运算部，算出各像素的值的差分值；调整部，使用所述特征量修正所述差分值，算出修正差分值；以及合成部，对所述第一高析像度图像的各像素的值加上与该像素对应的修正差分值，生成第三高析像度图像。

Description

图像处理装置、图像处理方法、用于图像处理的计算机程序及记录介质

技术领域

本发明涉及从低析像度图像生成高析像度图像的图像处理技术。

背景技术

一直以来，作为将低析像度图像变换为高析像度图像的方法，提出了超析像技术，例如在非专利文献1中，公开了超析像技术的代表性方法。依照该文献，如式1所示，定义了表示多个低析像度图像与高析像度图像的关系的方程式，通过求解式1，生成高析像度图像。在求解式1时，通过使用梯度法等的反复处理进行重复运算，直到误差成为一定以下。

[数式1]

$I=\frac{1}{{\mathrm{\σ}}^2}\underset{i=0}{\overset{N_l-1}{\mathrm{\Σ}}}{[b{(x_i,y_i)}^T\·h-f_i]}^2+\mathrm{\α}{\left|\right|C^T\·h\left|\right|}^2$ (式1)

在此，h表示高析像度图像的向量表达，σ表示观测值的噪声偏差，b（xi，yi）表示与位置（xi，yi）对应的PSF（点扩散函数）内核（kernel）的向量表达，C是表示高析像度图像的事前信息的矩阵式，α是表示约束强度的约束参数。另外，Nl表示多个低析像度图像的总像素数。

在现有的超析像技术中，高析像度图像因某些劣化而变成低析像度图像，将作为目的的高析像度图像与低析像度图像的关系作为方程式记述，通过求解该方程式而获得高析像度图像。为了获得良好的高析像度图像，将该劣化模型化的方程式非常重要，如何制作推测低析像度的劣化过程的劣化模型成为超析像技术的要点。

在劣化模型与所取得的低析像度图像的真实劣化过程不同的情况下，由于劣化模型与真实劣化过程的差异，在所获得的高析像度图像上产生噪声。为了解决该问题，在非专利文献2中介绍了通过对劣化模型添加在PSF等图像的输入过程以外发生的系统噪声项而提高鲁棒性的超析像技术。在非专利文献2的技术中，定义式2那样的劣化模型，通过求解该式而生成高析像度图像。

[数式2]

$\begin{array}{c}{Y}_k=D_k{H_k}^{\mathrm{cam}}{F}_k{H_k}^{\mathrm{atm}}X+V_k\\ k=1,...,N\end{array}$ (式2)

在此，X为输入图像，Hatm为大气引起的模糊，Fk为A/D变换引起的劣化，Hcam为摄像机引起的模糊，Dk为降采样引起的劣化， Vk为系统噪声。在式2中，由于包含系统噪声而进行模型化，因而相对于通常的图像劣化以外的噪声确保了鲁棒性。

在先技术文献

非专利文献

非专利文献1：田中正行、奥富正敏，重构型超析像处理的高速化算法及其精度评价，电子信息通信学会论文集，D-IIVol.J88-D-II，No.11，pp.2200-2209，2005；

非专利文献2：Sina Farsiu等，Fast and Robust Multiframe SuperResolution，IEEE Transactions on Image Processing，vol.13，No.10，OCTOBER 2004。

发明的概要

发明所要解决的问题

然而，例如想要将超析像处理应用于通过TV广播而广播的图像的情况下，现实中不可能推测正广播的多个节目的劣化模型，在使用非专利文献1所公开的技术而通过事先准备的劣化模型进行超析像处理的情况下，在所获得的高析像度图像中产生噪声，成为不期望的结果。另外，在应用非专利文献2所公开的技术的情况下，所获得的结果拥有某种程度的鲁棒性，但由于将用于确保鲁棒性的反复处理加入式2的运算中，因而存在运算处理量变大的问题。

发明内容

为了解决上述问题，本发明的目的在于，提供一种图像处理装置、图像处理方法、用于图像处理的计算机程序及记录介质，即使在所取得的低析像度图像的真实劣化过程与劣化模型偏离的情况下，也能够抑制由于真实劣化过程与劣化模型的差异而产生的噪声，同时生成高析像度图像。

解决问题所采用的技术方案

为了达成上述目的，本发明为从低析像度图像生成高析像度图像的图像处理装置，其特征在于具备：取得单元，取得低析像度图像；

放大内插单元，对取得的所述低析像度图像进行放大内插，生成析像度比所述低析像度图像更高的第一高析像度图像；超析像处理单元，通过逆向追溯劣化模型，从所述低析像度图像生成具有与所述第一高析像度图像相同的析像度的第二高析像度图像，该劣化模型推测了高析像度图像劣化而成为低析像度图像的过程；特征量生成单元，使用所述低析像度图像，生成表示所述第一高析像度图像的各像素的位置的特征的特征量；差分运算单元，对于所述第一高析像度图像的各像素，计算该像素的值与对应的所述第二高析像度图像中的像素的值的差分值；调整单元，使用所生成的所述特征量，对计算出的各像素的差分值进行修正，计算修正差分值；以及合成单元，将所述第一高析像度图像的各像素的值与对应于该像素的修正差分值相加，生成第三高析像度图像。

发明的效果

如上所述，本发明的图像处理装置对低析像度图像进行分别通过放大内插单元和超析像处理单元进行不同的放大处理，从低析像度图像生成与第一高析像度图像的各像素对应的特征量，使用生成的特征量进行第一高析像度图像与第二高析像度图像的像素的差分值的修正。在第一高析像度图像与第二高析像度图像的差分值中含有通过超析像处理产生的噪声成分，使用基于低析像度图像生成的特征量来修正差分值，将所得的修正差分值加至第一高析像度图像，由此，能够抑制容易感知的噪声。

这样，起到以下优异效果：在用于超析像处理中的上述劣化模型与所取得的低析像度图像的真实劣化过程不同的情况下，能够抑制噪声的发生，得到视觉良好的高析像度图像。

本发明的图像处理装置有效地用于使输入的低析像度图像与显示装置的析像度相符而高析像度化的显示装置、将低析像度的图像放大输出的打印机等图像输出装置、将运动图像中的一张图像放大而生成静止图像的摄像装置等将低析像度的图像高析像度化的装置。

附图说明

图1是表示作为本发明的一个实施方式的图像处理装置10的构成的框图。

图2是表示图像处理部100的构成的框图。

图3表示应配置在第一高析像度图像上的1个中心像素401及低析像度图像的36个周边像素411、…、415的配置的一例。

图4表示以像素501为中心的4个区域502、503、504、505。

图5表示MAX1、MAX2、MAX3、MAX4的位置与关注像素501的位置的关系。

图6表示MIN1、MIN2、MIN3、MIN4的位置与关注像素501的位置的关系。

图7表示在区域S中沿x轴方向排列的多个像素的像素值以凹状变化的情况的一例。

图8表示在区域S中沿x轴方向排列的多个像素的像素值以凸状变化的情况的一例。

图9表示调整部107所具有的对应表中的梯度与增益β的关系。（a）表示梯度与增益β的关系的第一具体例。（b）表示梯度与增益β的关系的第二具体例。

图10表示在第二高析像度图像中沿x轴方向排列的多个像素的像素值的变化1101、容许振幅的最大值的变化1102、以及最小值的变化1103的一例。

图11表示在第二高析像度图像中沿x轴方向排列的多个像素的像素值的变化1101、容许振幅的最大值的变化1102和最小值的变化1103、以及在第三高析像度图像中沿x轴方向排列的多个像素的像素值的变化1201的一例。

图12是将图像处理装置10的动作以图像处理部100的动作为中心示出的流程图。

图13为表示放大内插部105的动作的流程图。

具体实施方式

本发明的一个实施方式为从低析像度图像生成高析像度图像的图像处理装置，其特征在于具备：取得单元，取得低析像度图像；放大内插单元，对取得的所述低析像度图像进行放大内插，生成析像度比所述低析像度图像更高的第一高析像度图像；超析像处理单元，通过逆向追溯劣化模型，从所述低析像度图像生成具有与所述第一高析像度图像相同的析像度的第二高析像度图像，该劣化模型推测了高析像度图像劣化而成为低析像度图像的过程；特征量生成单元，使用所述低析像度图像，生成表示所述第一高析像度图像的各像素的位置的特征的特征量；差分运算单元，对于所述第一高析像度图像的各像素，计算该像素的值与对应的所述第二高析像度图像中的像素的值的差分值；调整单元，使用所生成的所述特征量，对计算出的各像素的差分值进行修正，计算修正差分值；以及合成单元，将所述第一高析像度图像的各像素的值与对应于该像素的修正差分值相加，生成第三高析像度图像。

在此，也可以是，所述特征量生成单元生成梯度信息而作为所述特征量，该梯度信息表示与所述第一高析像度图像的各像素的周边像素对应的所述低析像度图像的图像区域内的像素的值的梯度；所述调整单元使用所生成的所述梯度信息来修正所述差分值。

在此，也可以是，所述调整单元计算依赖于所述梯度信息而增减的增益，通过将计算出的增益乘以所述差分值，计算所述修正差分值。

在此，也可以是，所述特征量解析单元从与所述第一高析像度图像的各像素的周边像素对应的所述低析像度图像的图像区域，生成能够取得该像素的值的容许范围，作为所述特征量；所述调整单元对于具有超过所述容许范围的值的所述第二高析像度图像的各像素，修正所述差分值。

另外，本发明的另一实施方式为在从低析像度图像生成高析像度图像的图像处理装置中使用的图像处理方法，其特征在于包括：取得步骤，取得低析像度图像；放大内插步骤，对取得的所述低析像度图像进行放大内插，生成析像度比所述低析像度图像更高的第一高析像度图像；超析像处理步骤，通过逆向追溯劣化模型，从所述低析像度图像生成具有与所述第一高析像度图像相同的析像度的第二高析像度图像，该劣化模型推测了高析像度图像劣化而成为低析像度图像的过程；特征量生成步骤，使用所述低析像度图像，生成表示所述第一高析像度图像的各像素的位置的特征的特征量；差分运算步骤，对于所述第一高析像度图像的各像素，计算该像素的值与对应的所述第二高析像度图像中的像素的值的差分值；调整步骤，使用所生成的所述特征量，对计算出的各像素的差分值进行修正，计算修正差分值；以及合成步骤，将所述第一高析像度图像的各像素的值与对应于该像素的修正差分值相加，生成第三高析像度图像。

另外，本发明的另一实施方式为用于在从低析像度图像生成高析像度图像的图像处理装置中使用的图像处理的计算机程序，是用于使以下步骤在计算机上执行的计算机程序：取得步骤，取得低析像度图像；放大内插步骤，对取得的所述低析像度图像进行放大内插，生成析像度比所述低析像度图像更高的第一高析像度图像；超析像处理步骤，通过逆向追溯劣化模型，从所述低析像度图像生成具有与所述第一高析像度图像相同的析像度的第二高析像度图像，该劣化模型推测了高析像度图像劣化而成为低析像度图像的过程；特征量生成步骤，使用所述低析像度图像，生成表示所述第一高析像度图像的各像素的位置的特征的特征量；差分运算步骤，对于所述第一高析像度图像的各像素，计算该像素的值与对应的所述第二高析像度图像中的像素的值的差分值；调整步骤，使用所生成的所述特征量，对计算出的各像素的差分值进行修正，计算修正差分值；以及合成步骤，将所述第一高析像度图像的各像素的值与对应于该像素的修正差分值相加，生成第三高析像度图像。

另外，本发明的另一实施方式为记录计算机程序的计算机可读取的记录介质，该计算机程序用于在从低析像度图像生成高析像度图像的图像处理装置中使用的图像处理，该记录介质记录使以下步骤在计算机上执行的计算机程序：取得步骤，取得低析像度图像；放大内插步骤，对取得的所述低析像度图像进行放大内插，生成析像度比所述低析像度图像更高的第一高析像度图像；超析像处理步骤，通过逆向追溯劣化模型，从所述低析像度图像生成具有与所述第一高析像度图像相同的析像度的第二高析像度图像，该劣化模型推测了高析像度图像劣化而成为低析像度图像的过程；特征量生成步骤，使用所述低析像度图像，生成表示所述第一高析像度图像的各像素的位置的特征的特征量；差分运算步骤，对于所述第一高析像度图像的各像素，计算该像素的值与对应的所述第二高析像度图像中的像素的值的差分值；调整步骤，使用所生成的所述特征量，对计算出的各像素的差分值进行修正，计算修正差分值；以及合成步骤，将所述第一高析像度图像的各像素的值与对应于该像素的修正差分值相加，生成第三高析像度图像。

（实施方式）

以下，参照附图说明作为本发明的一个实施方式的图像处理装置10。

1.图像处理装置10

如图1所示，图像处理装置10由输入部201、调谐器202、外部端子203、存储器205、处理器206、解码部207、显示控制部208、视频驱动器209及硬盘210构成。利用液晶、等离子、CRT等的显示装置211与图像处理装置10连接，另外，在图像处理装置10中装配有存储卡204。

图像处理装置10作为一例为硬盘记录器，将通过数字广播而接收的节目存储在内部，根据利用者的指示，再现所存储的节目并向显示装置211输出。显示装置211作为一例为具有高析像度的大型电视显示装置，显示节目。

调谐器202将从接收的广播波提取的TV信号输出至输入部201。该TV信号包含图像数据。外部端子203例如从DVD再现装置等其它影像再现装置（未图示）接收影像信号，将接收的影像信号输出至输入部201。该影像信号包含图像数据。另外，存储卡204记录运动图像或静止图像，作为一例为SD卡。这些运动图像或静止图像包含图像数据。

输入部201从调谐器202、外部端子203或存储卡204接收图像数据（以下称为低析像度图像）。在此，低析像度图像指的是与显示装置211所具有的析像度相比较具有更低析像度的图像。存储器205作为图像处理装置10的一次存储装置来利用，由DRAM等构成。处理器206控制图像处理装置10整体。硬盘210是用于存储图像等的二次存储装置，存储由输入部201输入的低析像度图像。

在输入部201所接收的低析像度图像为压缩图像的情况下，或者在存储于硬盘210的低析像度图像为压缩图像的情况下，解码部207进行压缩图像的解码。解码后的图像直接或经由存储器205发送至显示控制部208。显示控制部208将获取的图像变换为与显示装置211相应的析像度的图像（以下称为第三高析像度图像），将第三高析像度图像输出至视频驱动器209。视频驱动器209将第三高析像度图像输出至显示装置211，控制第三高析像度图像向显示装置211的显示。

此外，虽然图像处理装置10包括调谐器202，但不限于此。图像处理装置10也可以不包括调谐器202，而在图像处理装置10上连接有具备调谐器的数字广播接收装置。

为了与显示装置211的析像度相应地将获取的低析像度图像高析像度化而生成第三高析像度图像，显示控制部208包括图2所示的图像处理部100。

显示控制部208从解码后的低析像度图像提取该低析像度图像的水平方向的像素数inXS和垂直方向的像素数inYS。另外，从视频驱动器209获取应显示在显示装置211上的第三高析像度图像的水平方向的像素数outXS和垂直方向的像素数outYS。

在此，图像处理部100作为硬件安装，但是也可以作为处理器206中的软件处理来安装。此外，在任何一种安装的情况下，均能够将生成的第三高析像度图像再次编码而用于写回硬盘210等用途。

2.图像处理部100

如图2所示，图像处理部100由特征量生成部103、超析像放大部104、放大内插部105、差分运算部106、调整部107、以及合成部108构成。

图像处理部100获取低析像度图像。

放大内插部105对获取的所述低析像度图像进行放大内插，生成析像度比所述低析像度图像更高的第一高析像度图像。超析像放大部104通过逆向追溯推测了高析像度图像劣化而成为低析像度图像的过程的劣化模型，从所获取的所述低析像度图像生成具有与所述第一高析像度图像相同析像度的第二高析像度图像。特征量生成部103使用获取的所述低析像度图像，生成表示所述第一高析像度图像的各像素的位置处的特征的特征量。差分运算部106对于所述第一高析像度图像的各像素，计算该像素的值与对应的所述第二高析像度图像的像素的值的差分值。调整部107使用生成的所述特征量来修正计算出的各像素的差分值，从而计算修正差分值。合成部108对所述第一高析像度图像的各像素的值加上与该像素对应的修正差分值，生成第三高析像度图像并输出。

图像处理部100获取低析像度图像的水平方向的像素数inXS及垂直方向的像素数inYS，获取高析像度图像的水平方向的像素数outXS及垂直方向的像素数outYS。

（1）放大内插部105

放大内插部105如下所示生成第一高析像度图像。此外，第一高析像度图像的析像度、水平方向的像素数及垂直方向的像素数分别等于应显示在显示装置211上的第三高析像度图像的析像度、水平方向的像素数及垂直方向的像素数。

放大内插部105获取低析像度图像。另外，获取低析像度图像的水平方向的像素数inXS及垂直方向的像素数inYS，获取第三高析像度图像的水平方向的像素数outXS及垂直方向的像素数outYS。

接着，放大内插部105使用像素数inXS、inYS、outXS及outYS，通过式3和式4计算水平方向的内插间隔dx及垂直方向的内插间隔dy。

水平方向的内插间隔dx＝inDX/outDX        （式3）

垂直方向的内插间隔dy＝inDY/outDY        （式4）

这样计算出的水平方向的内插间隔dx及垂直方向的内插间隔dy规定了第一高析像度图像中包含的像素的位置。即，第一高析像度图像中包含的像素在水平方向上配置在水平方向的内插间隔dx的整数倍的位置，在垂直方向上配置在垂直方向的内插间隔dy的整数倍的位置。

此外，由于低析像度图像的析像度比第三高析像度图像的析像度更低，因而dx和dy为不足1的值。

接着，放大内插部105对于应配置在第一高析像度图像的全部像素的位置重复以下处理（a）～（c）。

（a）对于应配置在第一高析像度图像的1个像素（称为中心像素）的位置（称为中心位置），放大内插部105在低析像度图像中包含的多个像素之中，作为一例，以上述中心位置配置在周边像素的大致中央的方式选择水平方向6个、垂直方向6个、配置为矩阵状的合计36个像素（称为周边像素），取得所选择的周边像素的像素值。

在图3中，示出应配置在第一高析像度图像的1个中心像素401及低析像度图像的36个周边像素411、412、413、…、414、…、415的配置的一例。如该图所示，在配置成6行6列的矩阵状的周边像素411、412、413、…、414、…、415的大致中央的位置存在中心像素401。

在该图中，中心像素401的坐标（x，y）作为一例为（3.4，3.5）。

（b）接着，算出中心位置的x坐标及y坐标的各自的小数点部px及py。

在此，如图3所示，小数点部px及py是最靠近中心像素401的周边像素414与中心像素401的距离的、x轴方向及y轴方向的分量。此外，在该图中，作为一例，px＝0.4，py＝0.5。

（c）接着，使用所取得的周边像素的像素值及小数点部px和py，使用放大内插法计算中心位置的中心像素的像素值，将计算出的像素值保存在第一高析像度图像的中心位置。

作为放大内插法，能够使用作为现有技术的双线性法或双三次卷积法、Lanczos法等，例如在双三次卷积法中使用点（x，y）的周边4×4像素进行内插计算。

作为一例，通过下式5计算上述中心像素的像素值out。

[数式3]

$\mathrm{out}=\frac{\underset{l=1}{\overset{4}{\mathrm{\Σ}}}\underset{m=1}{\overset{4}{\mathrm{\Σ}}}(I(l,m)\×{\mathrm{wx}}_l\×{\mathrm{wy}}_m)}{\underset{l=1}{\overset{4}{\mathrm{\Σ}}}\underset{m=1}{\overset{4}{\mathrm{\Σ}}}({\mathrm{wx}}_l\×{\mathrm{wy}}_m)}$      (式5)

在此，out为输出像素值，I（l，m）为4×4像素的（l，m）位置的像素值，wxl为l位置的x方向的加权系数，wym为y方向的加权系数。此外，如果设与通过px，py示出的内插像素位置的x或y方向的距离为d，则各加权系数在双三次内插的情况下用下式6表示。

[数式4]

$w=\left\{\begin{array}{cc}1-{2d}^2+d^3& d\&le;1.0\\ 4-8d+{5d}^2-d^3& 1.0<d\&le;2.0\\ 0& d>2.0\end{array}\right.$      (式6)

另外，在Lanczos法的情况下，w变为以下式7。

[数式5]

$w=\left\{\begin{array}{cc}\frac{\sin \left(\mathrm{d\&pi;}\right)}{\mathrm{d\&pi;}}\frac{\sin \left(\frac{x}{2}\mathrm{\&pi;}\right)}{{\mathrm{\&pi;}}^{\frac{d}{2}}}& d<2\\ 0& d\&GreaterEqual;2\end{array}\right.$      (式7)

（2）超析像放大部104

设Y为输入的低析像度图像、X为未知的正确的第二高析像度图像时，可以认为输入图像Y通过劣化函数H而劣化。下式8示出该关系。

Y＝HX     （式8）

此外，在劣化函数H中，包含将第二高析像度图像变化为低析像度图像的缩小处理或PSF（点扩散函数）等。

超析像放大部104通过进行式8的逆运算而进行求出X、即第二高析像度图像的处理。

此外，对于式8，还能够进一步添加劣化以外的杂音或约束条件V而如式9那样定义。

Y＝HX＋V     （式9）

为了解决该逆问题，一般而言，暂时决定第二高析像度图像X，根据式8或式9计算Y'，重复这些运算，直到与输入图像的差变为阈值以下。另外，还有使用作为低析像度图像输入的运动图像的多帧来计算X的方法等。另外，作为简单的方法，还有通过反卷积求得X的方法等。

在任何一种处理的情况下，在此处使用的超析像放大处理中，通过某种方法推测图像的劣化，并进行求解其逆函数的处理，从而生成第二高析像度图像。

以下，将分别由放大内插部105和超析像放大部104生成的第一和第二高析像度图像的像素位置替换为低析像度图像的像素位置（图3的X，Y）表现为相位。

在作为放大内插部105的输出的第一高析像度图像与作为超析像放大部104的输出的第二高析像度图像的相位不同的情况下，由于高析像度图像的相同位置的像素值偏离，因而不能正确进行以后的处理。因此，需要使放大内插部105与超析像放大部104的输出的相位一致。为了使输出的相位一致，使放大内插部105的第一高析像度图像的像素位置（内插位置x，y，dx，dy）与超析像放大部104的第二高析像度图像的像素位置相同即可。

（3）特征量生成部103

正确地推测上述劣化函数H非常重要，由H得出的第二高析像度图像的品质变化。此外，在广播等的情况下，难以正确推测劣化函数H，由于函数H不同，产生不想要的噪声成分等。在本实施方式的以后处理中，抑制该不想要的噪声成分。

特征量生成部103以低析像度图像为输入，计算与第一高析像度图像的各像素对应的特征量并输出。因此，作为特征量生成部103的特征量解析的结果而输出的特征量也成为使作为放大内插部105和超析像放大部104的输出的第一和第二高析像度图像相位一致的形式。

特征量生成部103对于应配置于第一高析像度图像的全部像素的位置重复以下处理（a）～（b）。

（a）特征量生成部103对于应配置在第一高析像度图像的1个像素（称为关注像素）的位置（称为关注位置），在低析像度图像中包含的多个像素之中，作为一例，以上述关注位置配置在区域S的大致中央的方式，选择水平方向N个、垂直方向M个、配置成矩阵状的合计N×M个像素（将由这些像素构成的区域称为区域S），取得所选择的周边像素的像素值。

（b）特征量生成部103计算以关注像素为中心的区域S的梯度和区域S的容许振幅，作为上述特征量。

此外，区域S是以低析像度图像的内插相位（x、y）为中心的N×M像素，在最小的情况下为2×2像素。在考虑处理量与特征量的精度的情况下，N、M最好为3至6左右。

（区域S的梯度的计算）

特征量生成部103将区域S的梯度、区域S内的像素值视为在区域S内连续变化的值，而不是区域S内的离散值，在表示为函数u的情况下，通过计算

而算出。

例如能够通过以下式10或式11等计算。

[数式6]

$\left|\right|\&dtri;u\left|\right|=\sqrt{{\left(\frac{\&PartialD;u}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;u}{\&PartialD;y}\right)}^2}$      (式10)

[数式7]

$\left|\right|\&dtri;u\left|\right|=|\frac{\&PartialD;u}{\&PartialD;x}+\frac{\&PartialD;u}{\&PartialD;y}|$      (式11)

另外，为了简单地计算

特征量生成部103也可求得区域S内的最大值与最小值的差。

在使用任何一种方法的情况下，特征量生成部103计算区域S内的梯度，并将其作为特征量之一输出。

（容许振幅的计算）

容许振幅表示关注像素的变化范围的容许量。特征量生成部103从区域S内的梯度信息等计算容许振幅。

（i）容许振幅的简单计算方法

特征量生成部103计算区域S内的最大值来作为容许振幅的最大值，计算区域S内的最小值来作为容许振幅的最小值。

（ii）容许振幅的另一计算方法

在此，说明容许振幅的另一计算方法。

（ii-1）第一例

关于容许振幅的计算的第一例，使用图4至图6说明。

在图4中，像素501是成为计算容许振幅的对象的第一高析像度图像的像素（关注像素）。另外，以像素501为大致中央，存在水平方向6个、垂直方向6个、配置成矩阵状的合计36个低析像度图像的像素511、512、513、514、…、515、516、517、518、…、519，合计36个低析像度图像的像素511、512、513、514、…、519构成区域S（500）。

特征量生成部103以作为关注像素的像素501配置在中心的方式，选择区域S（500）中包含的合计36个低析像度图像的像素511、512、513、514、…、519。接着，将区域S（500）分割为4个区域502、503、504、505。区域502、503、504、505分别包括水平方向3个、垂直方向3个、配置成矩阵状的合计9个低析像度图像的像素。区域502邻接于像素501的左上侧，区域503邻接于像素501的右上侧，区域504邻接于像素501的左下侧，区域505邻接于像素501的右下侧。此外，在区域502所包含的9个低析像度图像的像素之中，像素515配置在最靠近像素501的位置，在区域503所包含的9个低析像度图像的像素之中，像素516配置在最靠近像素501的位置，在区域504所包含的9个低析像度图像的像素之中，像素517配置在最靠近像素501的位置，在区域505所包含的9个低析像度图像的像素之中，像素518配置在最靠近像素501的位置。

特征量生成部103从区域502内所包含的9个低析像度图像的像素中选择具有最大像素值的像素，并将该像素值作为MAX1。另外，从区域502内所包含的9个低析像度图像的像素中选择具有最小像素值的像素，并将该像素值作为MIN1。这样，从区域502计算最大值MAX1和最小值MIN1的组。同样，特征量生成部103从区域503计算最大值MAX2和最小值MIN2的组，从区域504计算最大值MAX3和最小值MIN3的组，从区域505计算最大值MAX4和最小值MIN4的组。

在此，以区域502为代表考虑最大值MAX1和最小值MIN1的组，最大值MAX1和最小值MIN1在区域502内配置在与像素515所配置的位置相同的位置。同样，最大值MAX2和最小值MIN2在区域503内配置在与像素516所配置的位置相同的位置，最大值MAX3和最小值MIN3在区域504内配置在与像素517所配置的位置相同的位置，最大值MAX4和最小值MIN4在区域505内配置在与像素518所配置的位置相同的位置。

这样考虑的话，最大值MAX1、MAX2、MAX3、MAX4和像素501的位置关系变为如图5所示，最小值MIN1、MIN2、MIN3、MIN4和像素501的位置关系变为如图6所示。

特征量生成部103作为一例如图5所示，使用最大值MAX1、MAX2、MAX3、MAX4和像素501的位置关系、关注像素501的内插相位的小数点成分px、py，线形内插MAX1、MAX2、MAX3、MAX4，由此算出关注像素501的容许振幅的最大值MAX。

另外，特征量生成部103作为一例如图6所示，使用最小值MIN1、MIN2、MIN3、MIN4及像素501的位置关系、关注像素501的内插相位的小数点成分px、py，对MIN1、MIN2、MIN3、MIN4进行线形内插，由此计算关注像素501的容许振幅的最小值MIN。

如以上说明，对于第一高析像度图像内的全部像素，计算容许振幅的最大值MAX和最小值MIN。

（ii-2）第二例

使用图7～图8说明容许振幅的计算的第二例。

在容许振幅的计算的第二例中，特征量生成部103通过区域S的凸度判定来修正在容许振幅的第一例中计算的振幅的最大值MAX和最小值MIN。

图7和图8表示区域S的x轴方向的像素值的变化的例子。在图7中，在区域S中沿x轴方向配置的多个像素的像素值沿着x轴以凹状变化。另外，在图8中，在区域S中沿x轴方向配置的多个像素的像素值沿着x轴以凸状变化。此外，在图7和图8中，为简单起见，仅仅示出X轴方向的像素值的变化，但在任一情况下，沿Y轴方向配置的多个像素的像素值也可以同样变化。另外，在区域S整体的空间中，区域S内的多个像素的像素值也能够以凹状或凸状变化。

特征量生成部103判断：在区域S整体的空间中，配置在区域S内的多个像素的像素值是以凹状变化还是以凸状变化。

在判断为像素值在区域S整体的空间中以凹状变化的情况下，特征量生成部103如式12所示，对在容许振幅的第一例中计算的容许振幅的最小值MIN乘以1以下的系数α，计算修正后的最小值MIN’。

MIN’＝α×MIN     （式12）

另外，在判断为像素值在区域S整体的空间中以凸状变化的情况下，特征量生成部103如式13所示，对在容许振幅的第一例中计算的容许振幅的最大值MAX乘以1以上的系数α，算出修正后的最大值MAX’。

MAX’＝α×MAX     （式13）

这样，通过与区域S整体的空间中的像素值的凹凸相对应地修正MIN和MAX，从而能够与低析像度图像的特征相对应地调整容许振幅。由此，在低析像度图像中，对于像素值以凸状变化的部分，增大最大值，对于像素值以凹状变化的部分，减小最小值，能够实现超过低析像度图像的关注像素的周边像素值的最大值及最小值的振幅限制。

此外，系数α通过区域S的凹凸的函数，如图14那样表现。

α＝f（u）     （式14）

在函数f中，例如，也可以根据区域S的拉普拉斯结果求得α。另外，也可以根据对区域S内的像素值施以低通滤波的结果的像素值和区域S的各像素值之比求得α。

具体而言，也可以通过拉普拉斯滤波的结果乘以适当的系数β而确定系数α。在此情况下，根据像素值（在表现像素值的情况下，可以取0～255中的任何一个值。如果将像素值标准化而表现，则通过0～1.0来表现。此时，0表示黑，1.0表示白）和系数β，有时α变得过大。在α变得过大的情况下，或者在变得过小的情况下，通过对α乘以裁剪值，从而裁剪α。作为裁剪值，考虑例如0.5倍～1.5倍、0.25倍～1.75倍等。此外，裁剪值并不限于该范围。

另外，通过施加低通滤波而得到的像素值为A、区域S的各小区域的各像素值为B的情况下，可以将比值（B/A）作为α。此外，在此情况下，可也进行与拉普拉斯同等的裁剪。

以上，在容许振幅计算的第二例中，通过区域S的凹凸度，作为容许振幅而计算修正后的最小值和最大值。

（4）差分运算部106

差分运算部106从放大内插部105获取第一高析像度图像，从超析像放大部104获取第二高析像度图像。

接着，差分运算部106对第一高析像度图像和第二高析像度图像所包含的全部像素通过式13计算第一高析像度图像和第二高析像度图像的对应的像素的像素值的差分值，将计算所得的差分值输出至调整部107。

差分值（x，y）＝第二高析像度图像的像素（x，y）的像素值－第一高析像度图像的像素（x，y）的像素值    （式15）

另外，差分运算部106将获取的第二高析像度图像向调整部107输出。

通过如上述那样计算差分值，能够提取作为超析像放大部104的输出的第二高析像度图像和作为放大内插部105的输出的第一高析像度图像之间的变化的部分。由于超析像处理的噪声包含于该差分值，因而在以下的处理中通过修正该差分值来抑制噪声。

（5）调整部107

调整部107从差分运算部106获取计算出的全部差分值（x，y），从差分运算部106获取第二高析像度图像，从特征量生成部103获取特征量。在此，特征量如上所述，是关于第一高析像度图像的全部像素的梯度信息、容许振幅、或者梯度信息和容许振幅。

接着，调整部107对于所获取的全部差分值（x，y），通过下式16修正由差分运算部106算出的差分值（x，y），从而得到修正差分值（x，y）。

修正差分值（x，y）＝差分值（x，y）×增益β    （式16）

接着，调整部107将计算出的全部修正差分值（x，y）输出至合成部108。

以下，说明差分值（x，y）的修正方法的详细情况。

（a）第一修正方法

作为第一修正方法，调整部107可以使用从特征量生成部103获取的作为特征量的梯度信息来修正差分值。在使用梯度信息的修正中，通过梯度的大小来进行差分值的修正。

调整部107预先存储表示梯度与增益β的对应关系的对应表（未图示）。对应表包括多个对应数据，各对应数据包括梯度和增益β。同一对应数据所包括的梯度与增益β对应，在指定了梯度的情况下，使用与所指定的梯度对应的增益β。增益β设定在0倍至16倍左右的范围内。

调整部107通过从对应表读出而取得将与由作为特征量的梯度信息示出的梯度相对应的增益β。在由梯度信息示出的梯度不存在于对应表的情况下，也可以使用对应表所包含的多个对应数据，通过线形内插计算与由梯度信息示出的梯度对应的增益β。

此外，调整部107也可以不具有对应表，保持表示梯度与增益β的对应关系的运算式，使用该运算式运算对应于梯度的增益β。

像这样，调整部107取得增益β，如式16所示，将取得的增益β乘以差分值，由此计算修正差分值。

（关于梯度与增益β的对应关系的第一具体例）

在此，在图9（a）中示出对应表中的梯度与增益β的对应关系的第一具体例。图9（a）所示的曲线图600表示梯度与增益β的对应关系，横轴表示梯度，纵轴表示增益。关于曲线图600，在比梯度值611更小的梯度的范围601中，增益β比增益值612更小，且增益β设定成为大致一定值。另一方面，在比梯度值611更大的梯度的范围602中，增益β比增益值612更大，且设定成增益β随着梯度变大而变大。

这样，在图9（a）中，随着在小梯度的范围中减小增益β且在大梯度的范围中使梯度变大，较大地设定增益β。

在梯度小的范围、例如曲线图600的范围601内，在图像内存在细致的构造，在梯度大的范围、例如曲线图600的范围602内，在图像内存在边缘成分。

如图9（a）所示，通过设定梯度与增益β的对应关系，关于细致的构造，使用小增益β来修正差分值，换言之，极力减小差分值的修正，另一方面，对于边缘成分，越是强的边缘成分，越用大增益β来修正，换言之，能够仅对强的边缘成分进行修正。这样，在图像内，能够不强调小振幅中包含的噪声成分而仅强调边缘成分。

（梯度与增益β的对应关系的第二具体例）

接着，在图9（b）中示出对应表中的梯度与增益β的对应关系的第二具体例。图9（b）所示的曲线图620表示梯度与增益β的对应关系，横轴表示梯度，纵轴表示增益。在曲线图620中，在比梯度值631更小的梯度的范围621中，增益β小于增益值641，且增益β设定成为大致一定值。另外，在比梯度值631更大且比梯度值632更小的梯度的范围622中，设定成增益β暂时增加而随后减少。即，在范围622中，随着梯度的增加，增益β从增益值641急剧增加至增益值643，以增益值643为峰值，此后从增益值643急剧减少至增益值642。再者，在比梯度值632更大的梯度的范围623中，设定成随着梯度的增加而增益β平滑地减少。

这样，在图9（b）中，设定成：在梯度小的范围中，减小增益β，在梯度少许存在的范围中，增大增益β，在梯度大的范围中，再次减小增益β。

如图9（b）所示，通过设定梯度与增益β的对应关系，在范围622中，可以认为图像包含细致的构造，因而增大范围622的增益，由此，留下细致构造的部分的效果，能够减小范围622以外的范围621和范围623中的效果。

如以上说明那样，在基于梯度信息的差分值的修正中，根据区域S的梯度、即区域S的平坦度来决定增益β，对差分值乘以增益β，由此得到修正差分值。这样，进行差分值的修正。

此外，增益β基本上为1以下的值，但是通过设定为1以上，也能够强调某种梯度的区域。增益β也可设定在0倍至16倍左右的范围内。

（b）第二修正方法

作为第二修正方法，调整部107可以使用从特征量生成部103获取的作为特征量的容许振幅来修正差分值。在使用容许振幅的修正中，对超过容许振幅的部分进行修正。

调整部107对于所获取的第二高析像度图像的全部像素重复以下的（i）～（v）。

（i）从第二高析像度图像中选择一个像素，提取所选择的像素的像素值。

（ii）从获取的容许振幅中选择与所选择的像素对应的容许振幅（最大值和最小值）。

（iii）判断所提取的像素值是否是由所选择的最大值和最小值决定的范围内的值。即，判断所提取的像素值是否等于或小于所选择的最大值且所提取的像素值是否等于或大于所选择的最小值。

（iv）所提取的像素提取处于范围外的情况下，对与所选择的像素相对应的差分值乘以增益β，计算修正差分值，输出计算出的修正差分值。

（v）所提取的像素提取处于范围内的情况下，不对与所选择的像素相对应的差分值乘以增益β，输出原来的差分值。

以下，使用图10和图11说明第二修正方法。

在图10中，在横轴上表示x坐标，在纵轴上表示像素值。另外，在从超析像放大部104输出的第二高析像度图像中，示出配置在分别由特定的y坐标值和x坐标值701、702、…、707示出的位置处的像素的像素值的变化1101。另外，还示出分别由特定的y坐标值和x坐标值701、702、…、707示出的位置处的容许振幅的最大值的变化1102和最小值的变化1103。

在图10中，分别由特定的y坐标值和x坐标值701、702、703、706及707示出的位置的像素的像素值收敛在对应的位置的最大值和最小值的范围内。但是，分别由特定的y坐标值和x坐标值704和705示出的位置的像素的像素值比对应的位置的最大值更大。

因此，对于分别由特定的y坐标值和x坐标值704和705示出的位置，调整部107对计算出的差分值乘以增益β，计算修正差分值，并输出所计算出的修正差分值。

另外，对于分别由特定的y坐标值和x坐标值701、702、703、706及707示出的位置，调整部107输出原来的差分值，作为修正差分值。

使用这样计算出的修正差分值，后述的合成部108生成第二高析像度图像而输出。

在图11中，在横轴上表示x坐标，在纵轴上表示像素值。另外，在图11中，除了图10所示的变化1101、变化1102和变化1103以外，示出在由合成部108生成的第三高析像度图像中配置在分别由特定的y坐标值和x坐标值701、702、…、707示出的位置处的像素的像素值的变化1201。

如图11所示，第三高析像度图像与第二高析像度图像相比，对于分别由特定的y坐标值和x坐标值704和705示出的位置，向下方修正第三高析像度图像的像素值。即，以使其像素值变小的方式进行修正。

这样，调整部107对于超过容许振幅的部分修正差分值。

（c）其它修正方法

也可以如下进行修正。

分别通过上述第一修正方法和第二修正方法，个别地计算增益β1和增益β2，并将增益β1和增益β2相加。

增益β＝增益β1＋增益β2

接着，对差分值乘以所得的增益β，计算修正差分值。

另外，也可以如下进行修正。

通过上述第一修正方法，计算修正差分值，输出所计算出的修正差分值，合成部108使用修正差分值和第一高析像度图像生成第三高析像度图像。接着，调整部107对于第三高析像度图像，通过第二修正方法进行是否超过容许振幅的判定，对于超过容许振幅的像素，进一步对修正差分值乘以第二修正方法的增益，计算二重修正差分值。接着，对于超过容许振幅的像素，合成部108对第三高析像度图像加上二重修正差分值，生成第四高析像度图像，输出所生成的第四高析像度图像。

（6）合成部108

合成部108从放大内插部105获取第一高析像度图像，从调整部107获取修正差分值，对第一高析像度图像的全部像素的像素值加上对应的修正差分值，生成第三高析像度图像，输出所生成的第三高析像度图像。

第三高析像度图像（x，y）＝第一高析像度图像（x，y）＋修正差分值（x，y）

由于修正差分值修正了第一高析像度图像与第二高析像度图像的各像素的差分值，因而通过将修正差分值与第一高析像度图像的各像素的像素值相加，能够得到修正后的超析像处理的结果。

3.动作

说明图像处理装置10的动作。

（1）图像处理装置10的动作

在此，关于图像处理装置10的动作，特别以图像处理部100的动作为中心，使用图12所示的流程图进行说明。

输入部201取得低析像度图像（步骤S101），放大内插部105进行放大内插处理而生成第一高析像度图像（步骤S102），超析像放大部104进行超析像放大处理而生成第二高析像度图像（步骤S103），特征量生成部103生成特征量（步骤S104），差分运算部106计算差分值（步骤S105），调整部107计算修正差分值（步骤S106），合成部108将第一高析像度图像与修正差分值相加而生成第三高析像度图像（步骤S107），输出所生成的第三高析像度图像（步骤S108）。

（2）放大内插部105的动作

在此，关于放大内插部105的动作，使用图13所示的流程图进行说明。

放大内插部105根据低析像度图像的水平方向和垂直方向的像素数inXS、inYS和应输出的第三高析像度图像的水平方向和垂直方向的像素数outXS、outYS，通过式3和式4计算水平方向和垂直方向的内插间隔dx、dy（S302）。

放大内插部105将变量y初始化为0（S303），将变量x初始化为0（S304），从低析像度图像取得以坐标（x、y）为中心的周边像素的值（S305）。接着，计算x、y的小数点部px、py（S306）。

接着，放大内插部105使用以点（x、y）为中心的低析像度像素的邻接像素的像素值和px、py进行放大内插处理（S307），将通过放大内插处理而输出的像素值作为输出像素值保存（S308），接着对变量x加上dx（S309）。在此，在变量x不超过水平方向的像素数outXS的情况下（在S310为否），返回至S305，重复处理。另外，在变量x超过outXS的情况下（在S310为是），对变量y加上dy（S311），在变量y不超过outYS的情况下（在S312为否），返回至S304而重复处理。在超过的情况下（在S312为是），由于第一高析像度图像的全部像素的像素值被输出，因而处理结束。

4.总结

通过进行以上的处理，超析像处理结果被修正。在使用梯度信息的修正中，例如能够抑制图像中包含的像素的像素值的变化在平坦的部分发生的噪声、或者在梯度大的部分例如边缘等发生的噪声。另外，通过使用容许振幅的修正，对于作为输入图像的低析像度图像的像素的像素值，能够对发生了突出的噪声的部分进行修正。通过这些修正处理，能够抑制在超析像处理中发生的噪声，得到视觉良好的图像。

（其它变形例）

此外，基于上述实施方式说明了本发明，但是本发明当然不限于上述实施方式。如下所述的情况也包含在本发明中。

（1）差分运算部106也可以取代式15而通过式17计算差分值（x，y）。

差分值（x，y）＝第一高析像度图像的像素（x，y）的像素值－第二高析像度图像的像素（x，y）的像素值    （式17）

在此情况下，合成部108通过式18生成第三高析像度图像。

第三高析像度图像（x，y）＝第一高析像度图像（x，y）－修正差分值（x，y）    （式18）

（2）超析像放大部104也可以使用非专利文献1或非专利文献2所公开的超析像放大处理方法。

（3）也可如下所述构成。

本发明的一个实施方式为从低析像度图像生成高析像度图像的图像处理装置，其特征在于具备：取得电路，取得低析像度图像；放大内插电路，放大内插所取得的所述低析像度图像，生成析像度比所述低析像度图像更高的第一高析像度图像；超析像处理电路，通过逆向追溯推测高析像度图像劣化而成为低析像度图像的过程的劣化模型，从而从所述低析像度图像生成具有与所述第一高析像度图像相同的析像度的第二高析像度图像；特征量生成电路，使用所述低析像度图像生成示出所述第一高析像度图像的各像素的位置的特征的特征量；差分运算电路，关于所述第一高析像度图像的各像素，算出该像素的值与对应的所述第二高析像度图像的像素的值的差分值；调整电路，使用生成的所述特征量来修正算出的各像素的差分值，算出修正差分值；以及合成电路，对所述第一高析像度图像的各像素的值加上与该像素对应的修正差分值，生成第三高析像度图像。

另外，本发明的另一实施方式为从低析像度图像生成高析像度图像的图像处理装置，具备：存储器部，存储由多个计算机命令组合而构成的计算机程序；以及处理器，从所述存储器部所存储的计算机程序读出逐个计算机命令并解读，根据其解读结果来工作。其特征在于，所述计算机程序使以下步骤在为计算机的所述图像处理装置上执行：取得步骤，取得低析像度图像；放大内插步骤，放大内插所取得的所述低析像度图像，生成析像度比所述低析像度图像更高的第一高析像度图像；超析像处理步骤，通过逆向追溯推测高析像度图像劣化而成为低析像度图像的过程的劣化模型，从而从所述低析像度图像生成具有与所述第一高析像度图像相同的析像度的第二高析像度图像；特征量生成步骤，使用所述低析像度图像生成示出所述第一高析像度图像的各像素的位置的特征的特征量；差分运算步骤，关于所述第一高析像度图像的各像素，算出该像素的值与对应的所述第二高析像度图像的像素的值的差分值；调整步骤，使用生成的所述特征量修正算出的各像素的差分值，算出修正差分值；以及合成步骤，对所述第一高析像度图像的各像素的值加上与该像素对应的修正差分值，生成第三高析像度图像。

另外，本发明的另一实施方式为记录在从低析像度图像生成高析像度图像的图像处理装置中使用的计算机程序的计算机可读取的非暂时性记录介质。其特征在于，所述计算机程序使以下步骤在为计算机的图像处理装置上执行：取得步骤，取得低析像度图像；放大内插步骤，放大内插所取得的所述低析像度图像，生成析像度比所述低析像度图像更高的第一高析像度图像；超析像处理步骤，通过逆向追溯推测高析像度图像劣化而成为低析像度图像的过程的劣化模型，从而从所述低析像度图像生成具有与所述第一高析像度图像相同的析像度的第二高析像度图像；特征量生成步骤，使用所述低析像度图像生成示出所述第一高析像度图像的各像素的位置的特征的特征量；差分运算步骤，关于所述第一高析像度图像的各像素，算出该像素的值与对应的所述第二高析像度图像的像素的值的差分值；调整步骤，使用生成的所述特征量修正算出的各像素的差分值，算出修正差分值；以及合成步骤，对所述第一高析像度图像的各像素的值加上与该像素对应的修正差分值，生成第三高析像度图像。

（4）具体而言，上述装置也可为由微处理器、ROM、RAM、硬盘单元等构成的计算机系统。在所述RAM或所述硬盘单元中存储计算机程序。所述微处理器跟随所述计算机程序工作，由此，各装置实现其功能。在此，为了实现规定的功能，计算机程序组合多个示出针对计算机的指令的命令代码而构成。

（5）本发明也可为在图像处理装置中使用的图像处理方法。另外，可为通过计算机实现这些方法的计算机程序，也可为由所述计算机程序构成的数字信号。

另外，本发明也可将所述计算机程序或所述数字信号记录在计算机可读取的记录介质上，例如，软盘、硬盘、CD―ROM、MO、DVD、DVD-ROM、DVD-RAM、BD（蓝光光盘）、半导体存储器等。另外，也可为在这些记录介质上记录的所述计算机程序或所述数字信号。

另外，本发明也可经由以电通信线路、无线或有线通信线路、互联网为代表的网络、数据广播等传送所述计算机程序或所述数字信号。

另外，也可以是，本发明为具备微处理器和存储器的计算机系统，所述存储器存储上述计算机程序，所述微处理器跟随所述计算机程序工作。

另外，也可以是，通过将所述程序或所述数字信号记录在所述记录介质上而移送，或者通过经由所述网络等移送所述程序或所述数字信号，从而利用独立的其它计算机系统来实施。

（6）也可分别组合上述实施方式和上述变形例。

产业上的利用可能性

根据本发明的图像处理装置，在用于超析像处理的劣化模型与所取得的低析像度图像的真实劣化过程不同的情况下，能够抑制噪声的产生而得到视觉良好的高析像度图像，应用于从低析像度图像生成高析像度图像的图像处理技术。

符号的说明：

101  低析像度图像

102  第三高析像度图像

103  特征量生成部

104  超析像放大部

105  放大内插部

106  差分运算部

107  调整部

108  合成部

201  输入部

202  调谐器

203  外部端子

204  存储卡

205  存储器

206  处理器

207  解码部

208  显示控制部

209  视频驱动器

210  硬盘

211  显示装置

Claims (7)

1.一种图像处理装置，从低析像度图像生成高析像度图像，其特征在于，具备：

取得单元，取得低析像度图像；

放大内插单元，对取得的所述低析像度图像进行放大内插，生成析像度比所述低析像度图像更高的第一高析像度图像；

超析像处理单元，通过逆向追溯劣化模型，从所述低析像度图像生成具有与所述第一高析像度图像相同的析像度的第二高析像度图像，该劣化模型推测了高析像度图像劣化而成为低析像度图像的过程；

特征量生成单元，使用所述低析像度图像，生成表示所述第一高析像度图像的各像素的位置的特征的特征量；

差分运算单元，对于所述第一高析像度图像的各像素，计算该像素的值与对应的所述第二高析像度图像中的像素的值的差分值；

调整单元，使用所生成的所述特征量，对计算出的各像素的差分值进行修正，计算修正差分值；以及

合成单元，将所述第一高析像度图像的各像素的值与对应于该像素的修正差分值相加，生成第三高析像度图像。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述特征量生成单元生成梯度信息而作为所述特征量，该梯度信息表示与所述第一高析像度图像的各像素的周边像素对应的所述低析像度图像的图像区域内的像素的值的梯度；

所述调整单元使用所生成的所述梯度信息来修正所述差分值。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述调整单元计算依赖于所述梯度信息而增减的增益，通过将计算出的增益乘以所述差分值，计算所述修正差分值。

4.根据权利要求1或2所述的图像处理装置，其特征在于，

所述特征量解析单元从与所述第一高析像度图像的各像素的周边像素对应的所述低析像度图像的图像区域，生成能够取得该像素的值的容许范围，作为所述特征量；

所述调整单元对于具有超过所述容许范围的值的所述第二高析像度图像的各像素，修正所述差分值。

5.一种图像处理方法，是在从低析像度图像生成高析像度图像的图像处理装置中使用的图像处理方法，其特征在于，包括：

取得步骤，取得低析像度图像；

放大内插步骤，对取得的所述低析像度图像进行放大内插，生成析像度比所述低析像度图像更高的第一高析像度图像；

超析像处理步骤，通过逆向追溯劣化模型，从所述低析像度图像生成具有与所述第一高析像度图像相同的析像度的第二高析像度图像，该劣化模型推测了高析像度图像劣化而成为低析像度图像的过程；

特征量生成步骤，使用所述低析像度图像，生成表示所述第一高析像度图像的各像素的位置的特征的特征量；

差分运算步骤，对于所述第一高析像度图像的各像素，计算该像素的值与对应的所述第二高析像度图像中的像素的值的差分值；

调整步骤，使用所生成的所述特征量，对计算出的各像素的差分值进行修正，计算修正差分值；以及

合成步骤，将所述第一高析像度图像的各像素的值与对应于该像素的修正差分值相加，生成第三高析像度图像。

6.一种计算机程序，是用于在从低析像度图像生成高析像度图像的图像处理装置中使用的图像处理的计算机程序，所述计算机程序用于使计算机执行以下步骤：

取得步骤，取得低析像度图像；

放大内插步骤，对取得的所述低析像度图像进行放大内插，生成析像度比所述低析像度图像更高的第一高析像度图像；

超析像处理步骤，通过逆向追溯劣化模型，从所述低析像度图像生成具有与所述第一高析像度图像相同的析像度的第二高析像度图像，该劣化模型推测了高析像度图像劣化而成为低析像度图像的过程；

特征量生成步骤，使用所述低析像度图像，生成表示所述第一高析像度图像的各像素的位置的特征的特征量；

差分运算步骤，对于所述第一高析像度图像的各像素，计算该像素的值与对应的所述第二高析像度图像中的像素的值的差分值；

调整步骤，使用所生成的所述特征量，对计算出的各像素的差分值进行修正，计算修正差分值；以及

合成步骤，将所述第一高析像度图像的各像素的值与对应于该像素的修正差分值相加，生成第三高析像度图像。

7.一种记录介质，是记录有计算机程序的计算机可读取的记录介质，该计算机程序用于进行在从低析像度图像生成高析像度图像的图像处理装置中使用的图像处理，使计算机执行以下步骤：

取得步骤，取得低析像度图像；

放大内插步骤，对取得的所述低析像度图像进行放大内插，生成析像度比所述低析像度图像更高的第一高析像度图像；

超析像处理步骤，通过逆向追溯劣化模型，从所述低析像度图像生成具有与所述第一高析像度图像相同的析像度的第二高析像度图像，该劣化模型推测了高析像度图像劣化而成为低析像度图像的过程；

特征量生成步骤，使用所述低析像度图像，生成表示所述第一高析像度图像的各像素的位置的特征的特征量；

差分运算步骤，对于所述第一高析像度图像的各像素，计算该像素的值与对应的所述第二高析像度图像中的像素的值的差分值；

调整步骤，使用所生成的所述特征量，对计算出的各像素的差分值进行修正，计算修正差分值；以及

合成步骤，将所述第一高析像度图像的各像素的值与对应于该像素的修正差分值相加，生成第三高析像度图像。

Images