CN103380615A - 图像放大装置及方法 - Google Patents

Abstract

具有：插值运算部（3A），其在高分辨率图像（D30）重叠在低分辨率图像（D01）上的情况下将高分辨率图像（D30）内的像素重叠的位置作为关注位置，通过使用了低分辨率图像（D01）内的多个像素具有的像素值的插值运算，针对每个关注位置求出假定为在该位置存在像素时的像素值；以及插值系数计算部（3A），其求出越是针对低分辨率图像（D01）内的多个像素中的、与关注像素的相关性强的像素，其值越大的插值系数（D3A），并输出到插值运算部（3B）。不将边缘的角度或边缘的形状分类为预定模式中的任意一个，因此不论边缘的形状如何都能够进行恰当的插值运算。

Description

图像放大装置及方法

技术领域

本发明涉及图像放大装置及方法。

背景技术

一直以来，公知有进行根据边缘的形状切换插值方法的图像放大的图像处理装置。例如，在专利文献1记载的图像处理装置中，通过在检测到预定的边缘形状的情况下切换内插法来防止插值运算引起的边缘部的劣化。在专利文献1中，通过将边缘部的模式与预定模式进行比较来进行预定边缘形状的检测。

在先技术文献

专利文献

专利文献1：日本特开平7-50752号公报（第0021段）

发明内容

发明所要解决的课题

但是，在如上述那样通过将边缘部的模式与预定模式进行比较来进行预定边缘形状的检测的情况下，根据边缘形状的不同，有时不能进行最适当的插值运算。即，即使在边缘的形状与为了检测边缘而准备的预定模式稍微不同的情况下，也强制性地被分类为某一个模式，因此根据边缘形状的不同，边缘形状的检测结果不一定总是最佳的。此外，作为针对该问题的解决方案，考虑准备更多的用于比较的模式，使得边缘形状的检测更细致，但是结果还是将边缘形状分类为有限个模式中的某一个，因此根据边缘形状的不同，边缘形状的检测结果有时不是最佳的。

用于解决课题的手段

本发明的一个方式的图像放大装置由低分辨率图像生成高分辨率图像，该图像放大装置的特征在于，具有：插值运算部，其将所述高分辨率图像被重叠在所述低分辨率图像时所述高分辨率图像内的像素所重叠的位置作为关注位置，通过使用了所述低分辨率图像内的多个像素具有的像素值、和有关该多个像素的插值系数的插值运算，针对每个所述关注位置求出假定为在该位置存在像素时的像素值；以及插值系数计算部，其求出如下的所述插值系数，并输出到所述插值运算部，其中，关于所求出的所述插值系数，越是针对所述低分辨率图像内的多个像素中的与所述关注像素的相关性强的像素，该插值系数的值越大，所述插值系数计算部包含：第1变化量计算部，其针对所述低分辨率图像的各像素求出以该像素为中心的关于第1方向的第1变化量；第2变化量计算部，其针对所述低分辨率图像的各像素求出以该像素为中心的关于第2方向的第2变化量；方向计算部，其使用对所述第1变化量进行插值而得到的第1插值变化量、和对所述第2变化量进行插值而得到的第2插值变化量，求出表示相关性强的方向的方向指示数据；以及系数计算部，其由所述方向指示数据求出所述插值系数。

本发明的另一方式的图像放大方法由低分辨率图像生成高分辨率图像，该图像放大方法的特征在于，具有：插值运算步骤，将所述高分辨率图像被重叠在所述低分辨率图像上时所述高分辨率图像内的像素所重叠的位置作为关注位置，通过使用了所述低分辨率图像内的多个像素具有的像素值、和有关该多个像素的插值系数的插值运算，针对每个所述关注位置求出假定为在该位置存在像素时的像素值；以及插值系数计算步骤，求出如下的所述插值系数，并输出到所述插值运算步骤，其中，关于所求出的所述插值系数，越是针对所述低分辨率图像内的多个像素中的与所述关注像素的相关性强的像素，该插值系数的值越大，所述插值系数计算步骤包含：第1变化量计算步骤，针对所述低分辨率图像的各像素求出以该像素为中心的关于第1方向的第1变化量；第2变化量计算步骤，针对所述低分辨率图像的各像素求出以该像素为中心的关于第2方向的第2变化量；方向计算步骤，使用对所述第1变化量进行插值而得到的第1插值变化量、和对所述第2变化量进行插值而得到的第2插值变化量，求出表示相关性强的方向的方向指示数据；以及系数计算步骤，由所述方向指示数据求出所述插值系数。

发明效果

根据本发明，不将边缘的角度或边缘的形状分类为预定模式中的某一个，因此不论边缘的形状如何，都能够始终进行适当的插值运算。

附图说明

图1是示出本发明实施方式1的图像放大装置的框图。

图2是概要示出低分辨率图像D01中的像素排列的图。

图3是概要示出关注位置的图。

图4是示出图1的插值系数计算部3A的结构例的框图。

图5是表示方向指示值计算部3A533的动作的流程图。

图6的（A）和（B）是表示单调递减的函数f（r）的例子的图。

图7的（A）、（B）和（C）是示出图4的变化量估计值D3A51和D3A52的绝对值的至少一方变小的图像的例子的图。

图8是示出执行本发明实施方式2的图像放大方法的运算装置的框图。

图9是示出实施方式2的图像放大方法的处理步骤的流程图。

图10是示出图9的插值系数计算步骤ST3A的处理步骤的流程图。

图11是示出图10的方向计算步骤ST3A5的处理步骤的流程图。

图12是示出图11的变化量比较步骤ST3A53的处理步骤的流程图。

具体实施方式

实施方式1.

图1是表示本发明实施方式1的图像放大装置的结构的图。实施方式1的图像放大装置具有插值系数计算部3A和插值运算部3B，将1张低分辨率图像作为输入图像，1张高分辨率图像作为输出图像。图1中作为输入图像记作低分辨率图像D01，作为输出图像记作高分辨率图像D30。

图2是表示低分辨率图像D01的图，示意性示出低分辨率图像D01和构成低分辨率图像D01的像素的一部分。在图2中，最小的四边形表示各像素。此外，沿着低分辨率图像D01的水平方向、垂直方向定义水平坐标、垂直坐标，用D01（x，y）表示位于水平坐标用x、垂直坐标用y表示的坐标处的像素的像素值。此外，将这些坐标轴的格子点的间隔设为与构成输入图像D0的像素的间隔相等。在图2所示的例子中，低分辨率图像D01的水平方向的像素数为W，垂直方向的像素数为H。

以下，对本发明实施方式1的图像放大装置以及各结构要素的动作进行说明。

插值运算部3B通过插值运算求出构成高分辨率图像D30的各像素的像素值。即，在重叠低分辨率图像D01和高分辨率图像D30的情况下，即在表示低分辨率图像D01的平面上重叠高分辨率图像D30的情况下，将高分辨率图像D30的像素重叠的位置作为关注位置，通过使用了低分辨率图像D01的像素中的存在于关注位置附近的多个像素的像素值、和有关该多个像素的插值系数的插值运算，计算在关注位置存在高分辨率图像D30的像素时的像素值。

以下，用D30（s，t）表示在示出低分辨率图像D01的坐标平面上，在水平坐标为s、垂直坐标为t的位置处存在高分辨率图像D30的像素时的像素值。另外，在以下的说明中没有特别明确记载时给出水平坐标和垂直坐标等的坐标值的情况下，均表示其坐标值是在表示低分辨率图像D01的坐标平面上给出。

在表示低分辨率图像D01的坐标平面上重叠高分辨率图像D30的情况下，高分辨率图像D30的像素重叠的关注位置根据低分辨率图像D01的像素数与高分辨率图像D30的像素数之比求出。即，在高分辨率图像D30的像素数在水平方向为U、垂直像素数为V的情况下，关注位置的水平坐标s能够使用取1到U之间的整数值的变量i，通过下述式（1）表示，

【式1】

$s=1+(i-1)\×\frac{W}{U}---\left(1\right)$

关注位置的垂直坐标t能够使用取1到V之间的整数值的变量j通过下述式（2）表示。

【式2】

$t=1+(j-1)\×\frac{H}{V}---\left(2\right)$

取高分辨率图像D30的像素数在水平方向、垂直方向均为低分辨率图像D01的像素数的4倍的情况为例时，U＝4W、V＝4H，在表示低分辨率图像D01的平面上，用水平坐标为1＋（i－1）×0.25、垂直坐标为1＋（j－1）×0.25的坐标表示的位置成为关注位置。图3是在图2所示的坐标空间上表示关注位置的图。在图3中，最小的四边形表示各关注位置或与各关注位置重叠的高分辨率图像D30的像素。此外，关于关注位置中的其位置与低分辨率图像D01的像素一致的位置，示出了低分辨率图像D01的像素值。

像素值计算部30求出假定为在各关注位置存在像素时的像素值，并作为高分辨率图像D30的像素值。例如，求出如下这样的像素值：D30（x，y）、D30（x＋0.25，y）、D30（x，y＋0.75）、D30（x＋0.5，y＋1.5）。

即，s是以低分辨率图像中的像素间距的W／U倍、例如0.25倍为单位的离散值，t是以低分辨率图像中的像素间距的H／V倍、例如0.25倍为单位的离散值。

以下，说明插值系数计算部3A和插值运算部3B。

首先，说明插值系数计算部3A的动作和结构。如下文将详细叙述的那样，插值系数计算部3A求出针对存在于低分辨率图像D01内的像素中的、与关注像素的相关性越强的像素其值越大的插值系数D3A，并且将位于相关性强的方向的像素作为相关性强的像素进行处理。

图4是示出插值系数计算部3A的结构例的图。插值系数计算部3A具有第1变化量计算部3A1、第2变化量计算部3A2、第3变化量计算部3A3、第4变化量计算部3A4、方向计算部3A5和系数计算部3A6。

第1变化量计算部3A1针对低分辨率图像D01的各像素计算像素值关于水平方向的一次微分，并将计算结果作为第1变化量D3A1输出。在用D3A1（x，y）表示对图2中水平坐标用x、垂直坐标用y表示的像素求出的像素值关于水平方向的一次微分时，D3A1（x，y）用以下的式（3）计算。

【式3】

$D3A1(x,y)=\frac{D01(x+1,y)-D01(x-1,y)}{2}---\left(3\right)$

第2变化量计算部3A2针对低分辨率图像D01的各像素计算像素值关于垂直方向的一次微分，并将计算结果作为第2变化量D3A2输出。在用D3A2（x，y）表示对图2中水平坐标用x、垂直坐标用y表示的像素求出的像素值关于垂直方向的一次微分时，D3A2（x，y）用以下的式（4）计算。

【式4】

$D3A2(x,y)=\frac{D01(x,y+1)-D01(x,y-1)}{2}---\left(4\right)$

第3变化量计算部3A3针对低分辨率图像D01的各像素计算像素值关于水平方向的二次微分，并将计算结果作为第3变化量D3A3输出。在用D3A3（x，y）表示对图2中水平坐标用x、垂直坐标用y表示的像素求出的像素值关于水平方向的二次微分时，D3A3（x，y）用以下的式（5）计算。

【式5】

D3A3(x,y)=D01(x+1,y)-2×D01(x，y)+D01(x-1,y)  (5)

第4变化量计算部3A4针对低分辨率图像D01的各像素计算像素值关于垂直方向的二次微分，并将计算结果作为第4变化量D3A4输出。在用D3A4（x，y）表示对图2中水平坐标用x、垂直坐标用y表示的像素求出的像素值关于垂直方向的二次微分时，D3A4（x，y）用以下的式（6）计算。

【式6】

D3A4(x,y)=D01(x，y+1)-2×D01(x，y)+D01(x,y-1)  (6)

方向计算部3A5根据第1变化量D3A1、第2变化量D3A2、第3变化量D3A3、和第4变化量D3A4求出表示以关注位置为中心在哪个方向上相关性强的方向指示数据D3A5。另外，与关注位置的相关性强的方向是指具有如下像素值的像素排列的方向，所述像素值接近于在假定为有存在于关注位置的像素的情况下计算出的像素值。

如图4所示，方向计算部3A5具有第1变化量估计部3A51、第2变化量估计部3A52和变化量比较部3A53。

第1变化量估计部3A51根据针对存在于关注位置周边的第1低分辨率图像D01的像素求出的第1变化量D3A1，估计关注位置处的第1变化量的值，并将其结果作为第1变化量估计值D3A51输出。

变化量估计值D3A51的估计例如使用线性插值。该情况下，在将水平坐标用s、垂直坐标用t表示的位置设为关注位置的情况下，该关注位置的变化量估计值D3A51（s，t）用下述式（7）计算。

【式7】

D3A51(s,t)

=(1-tdec)·((1-sdec)·D3A1(s-sdec,t-tdec)+sdec·D3A1(s-sdec+1，t-tdec))

+tdec·((1-sdec)·D3A1(s-sdec,t-tdec+1)+sdec·D3A1(s-sdec+1，t-tdec+1))

             (7)

另外，sdec、tdec分别表示坐标值s的小数部分的值、坐标值t的小数部分的值。

第2变化量估计部3A52根据针对存在于关注位置周边的第1低分辨率图像D01的像素求出的第2变化量D3A2估计关注位置处的第2变化量的值，并将其结果作为第2变化量估计值D3A52输出。

变化量估计值D3A52的估计例如使用线性插值。该情况下，在将水平坐标用s、垂直坐标用t表示的位置设为关注位置的情况下，该关注位置的变化量估计值D3A52（s，t）用下述式（8）计算。

【式8】

D3A52(s，t)

=(1-tdec)·((1-sdec)·D3A2(s-sdec，t-tdec)+sdec·D3A2(s-sdec+1,t-tdec))

+tdec·((1-sdec)·D3A2(s-sdec，t-tdec+1)+sdec·D3A2(s-sdec+1，t-tdec+1))

           (8)

变化量估计值D3A51和变化量估计值D3A52在通过插值得到的情况下，也被称作插值变化量。

变化量比较部3A53按照每个关注位置，根据第1变化量估计值D3A51、第2变化量估计值D3A52、第3变化量D3A3和第4变化量D3A4的值决定方向指示数据D3A5并输出。这里，方向指示数据D3A5是由第1方向指示值D3A5x和第2方向指示值D3A5y构成的二维值。

如图4所示，变化量比较部3A53具有第1比较判定部3A51、第2比较判定部3A52和方向指示值计算部3A533。

第1比较判定部3A531在第1变化量估计值D3A51的绝对值大于第1阈值D3A51t、且第2变化量估计值D3A52的绝对值大于第2阈值D3A52t的情况下，作为第1比较结果D3A531输出第1值（例如“1”），在除此以外的情况下，作为第1比较结果D3A531输出第2值（例如“0”）。

第2比较判定部3A532按照存在于关注位置周边的第1低分辨率图像D01的每个像素，调查针对该像素求出的第3变化量D3A3的绝对值和第4变化量D3A4的绝对值的大小关系。并且，输出第3变化量D3A3的绝对值大于第4变化量D3A4的像素的数量作为第1计数值D3A532N1，输出第4变化量D3A4的绝对值大于第3变化量D3A3的像素的数量作为第2计数值D3A532N2。另外，有时还将由第1计数值D3A532AN1和第2计数值D3A532N2构成的数据称作第2比较结果D3A532。

方向指示值计算部3A533根据第1变化量估计值D3A51、第2变化量估计值D3A52、第1比较结果D3A531和第2比较结果D3A532，以如下方式生成方向指示数据D3A5并输出。如之前叙述那样，方向指示数据D3A5是由第1方向指示值D3A5x和第2方向指示值D3A5y构成的二维值。以下，使用图5所示的流程叙述方向指示值计算部3A533中的第1方向指示值D3A5x和第2方向指示值D3A5y的求出方法。

方向指示计算部3A533首先在步骤ST1中确认第1比较结果D3A531的值是什么。在其值为第1值（“1”）的情况下（即，在第1变化量估计值D3A51和第2变化量估计值D3A52均较大的情况下），进入步骤ST2。在步骤ST2中，通过下述式（9）计算第1方向指示值D3A5x和第2方向指示值D3A5y。

【式9】

$\begin{array}{c}D3A5x=D3A51/\sqrt{D3A51^2+D3A52^2}\\ D3A5y=D3A52/\sqrt{D3A51^2+D3A52^2}\end{array}---\left(9\right)$

另一方面，在第1比较结果D3A531的值为第2值（“0”）的情况下（即，由第1变化量计算部3A1和第2变化量计算部3A2计算出的水平方向的变化量和垂直方向的变化量均较小的情况下），进入步骤ST3。在步骤ST3中，对第1计数值D3A532N1与第2计数值D3A532N2的差进行比较。如果该差的绝对值小于第3阈值D3A532t，则进入步骤ST4。在步骤ST4中，通过下述式（10）计算第1方向指示值D3A5x和第2方向指示值D3A5y。

【式10】

$\begin{array}{c}D3A5x=0\\ D3A5y=0\end{array}---\left(10\right)$

在第1计数值D3A532N1与第2计数值D3A532N2之差的绝对值在第3阈值D3A532t以上的情况下，进入步骤ST5。在步骤ST5中，第1计数值D3A532N1比较第2计数值D3A532N2。如果第1计数值D3A532N1大于第2计数值D3A532N2，则进入步骤ST6。在步骤ST6中，通过下述式（11）计算第1方向指示值D3A5x和第2方向指示值D3A5y。

【式11】

$\begin{array}{c}D3A5x=1\\ D3A5y=0\end{array}---\left(11\right)$

另一方面，如果第1计数值D3A532N1小于第2计数值D3A532N2，则进入步骤ST7。在步骤ST7中，通过下述式（12）计算第1方向指示值D3A5x和第2方向指示值D3A5y。

【式12】

$\begin{array}{c}D3A5x=0\\ D3A5y=1\end{array}---\left(12\right)$

系数计算部3A6根据方向指示数据D3A5计算针对构成低分辨率图像D01的像素的插值系数D3A并输出。这里，插值系数D3A以如下方式进行计算：越是位于和被判定为与关注位置的相关性强的方向临近的方向的像素，其插值系数的值越大。

以下，在关注位置的水平坐标为s、垂直坐标为t的情况下，用D3A（p，q，s，t）表示针对构成低分辨率图像D01的像素中的存在于水平坐标用p、垂直坐标用q表示的位置处的像素计算出的插值系数D3A，示出插值系数D3A（p，q，s，t）的计算方法的具体例子。

这里，在图3的例子中，p、q是以0.25像素（低分辨率图像中的像素间距的0.25倍）为单位的离散值，另一方面，如上所述，s、t分别是以低分辨率图像中的像素间距的W／U倍例如0.25倍、H／V倍例如0.25倍为单位的离散值。

插值系数D3A（p，q，s，t）以针对用以下的式（13）表示的数值r单调递减的关系求出。

【式13】

r=|(p-s)×D3A5x(s,t)+(q-t)×D3A5y(s,t)|  13)

即，使用针对变量r单调递减的函数f（r），插值系数D3A（p，q，s，t）按下式计算。

【式14】

D3A(p，q，s，t)

=f(r)

=f(|(p-s)×D3A5x(s,t)+(q-t)×D3A5y(s,t)|)

              (14)

这里，在上述式（14）中，D3A5x（s，t）和D3A5y（s，t）分别表示针对水平坐标用s、垂直坐标用t表示的关注位置计算出的第1方向指示数据D3A5x和第2方向指示数据D3A5y。

图6的（A）和（B）示出相对于变量r单调递减的函数f（r）的例子。作为相对于变量r单调递减的函数f（r），可利用如图6的（A）所示的如果r1＞r2则f（r1）＜f（r2）的函数或者如图6的（B）所示的如果r1＞r2则f（r1）≤f（r2）的函数。

另外，能够利用上述方法计算插值系数D3A，使得越是位于和被判定为与关注位置的相关性强的方向临近的方向的像素，其插值系数的值越大的理由将在之后叙述。

插值系数计算部3A的动作、结构如上所述。

然后，说明插值运算部3B的动作。

插值运算部3B通过插值运算求出像素值D30（s，t）。该插值运算根据低分辨率图像D01的各像素的像素值D01（p，q）、和有关各像素的插值系数D3A（p，q，s，t）进行，例如表示为下式。

【式15】

$D30(s,t)=\frac{\underset{p,q}{\mathrm{\Σ}}D3A(p,q,s,t)\×D01(p,q)}{\underset{p,q}{\mathrm{\Σ}}D3A(p,q,s,t)}---\left(15\right)$

这里在上述式（15）中，D01（p，q）表示对构成低分辨率图像D01的像素中的存在于水平坐标用p、垂直坐标用q表示的位置处的像素给出的像素值。

以下，说明本发明实施方式1的图像放大装置的作用和效果。

首先，说明变化量估计值D3A51和D3A52。如以下将说明的那样，在用x轴与高分辨率图像D30的水平坐标对应、y轴与高分辨率图像D30的垂直坐标对应、z轴与高分辨率图像D30的亮度值对应的坐标空间内的曲面表示表高分辨率图像D30的情况下，以变化量估计值D3A51为第1分量、变化量估计值D3A52为第2分量的二维矢量成为与表示高分辨率图像D30的曲面上的各点处的梯度对应的矢量。

对曲面的梯度进行说明。一般能够将曲面定义成由x轴、y轴、z轴构成的坐标空间内的2变量函数。在用z＝f（x，y）表示该2变量函数时，曲面的梯度由使用了偏微分的以下的二维矢量表示。

【式16】

$(\frac{\∂}{\∂x}f(x,y),\frac{\∂}{\∂y}f(x,y))---\left(16\right)$

能够关于曲面z＝f（x，y）上的各点计算该梯度。此外，针对曲面z＝f（x，y）上的某点计算的梯度变为表示与通过该点的等高线正交的方向的矢量。另外，f（x，y）所取的值是存在于水平坐标为x、垂直坐标为y的位置处的像素具有的像素值。

这里，考虑到将用式（3）表示的第1变化量D3A1作为第1分量、用式（4）表示的第2变化量D3A2作为第2分量的二维矢量（D3A1，D3A2）时，该二维矢量成为表示低分辨率图像D01的曲面的梯度。

考虑到表示图像的曲面时，该曲面的等高线是指在该曲面表示的图像中连接像素值为相同值的像素的线。因此，可视作在表示图像的曲面上的各点处，在与梯度示出的方向正交的方向上，排列有与存在于计算出梯度的位置处的像素相同的像素值的像素。

根据以上的性质，如果能够计算表示高分辨率图像D30的曲面上的关注位置处的梯度，则能够利用其值，判断出具有与针对存在于关注位置处的像素计算出的像素值接近的像素值的像素排列的方向、即与关注像素的相关性强的方向。

但是，关于高分辨率图像D30，像素值基本是未知的，因此难以计算梯度。因此，在本发明实施方式1的图像放大装置中，根据低分辨率图像D01的梯度近似求出高分辨率图像D30的梯度。能够根据低分辨率图像D01的梯度近似求出高分辨率图像D30的梯度的理由如下所述。

通常构成图像的图像的像素值平滑地发生变化。因此，可将与某个图像对应的2变量函数视作其值连续发生变化的连续函数。在连续函数中，其一次微分值也连续发生变化，因此该连续函数上的任意点的一次微分值成为与对位于该点附近的多个点给出的一次微分值进行插值后的值大致相同的值。考虑到以上的性质、和曲面的梯度由表示曲面的函数的一次微分表示的情况时，可知曲面上的各点的梯度也能够用对位于该点附近的多个点给出的梯度进行插值后的值进行近似。

在对高分辨率图像D30和低分辨率图像D01进行比较时，如果忽视像素数的差异，则两者为相同的图像，在坐标空间上表示两者的曲面大体一致。因此，能够通过如式（7）、式（8）那样对低分辨率图像D01的梯度进行插值来近似求出高分辨率图像D30的梯度。

即，将对表示低分辨率图像D01的梯度的第1变化量D3A1和第2变化量D3A2进行插值而得到的变化量估计值D3A51和变化量估计值D3A52分别作为第1分量和第2分量的二维矢量成为近似表示高分辨率图像D30的梯度的矢量。

接着，叙述将第1方向指示值D3A5x和第2方向指示值D3A5y作为第1分量和第2分量的二维矢量。

将用式（9）表示的第1方向指示值D3A5x和第2方向指示值D3A5y分别作为第1分量和第2分量的二维矢量成为与将变化量估计值D3A51作为第1分量、变化量估计值D3A52作为第2分量的二维矢量平行的单位矢量，因此该矢量也指向与梯度相同的方向。此外，能够利用梯度判断出相关性强的方向，因此还能够利用由式（9）表示的第1方向指示值D3A5x和第2方向指示值D3A5y判断相关性强的方向。

另外，在变化量估计值D3A51或变化量估计值D3A52的绝对值的至少一方为较小的值时，根据第3变化量D3A3与第4变化量D3A4的比较结果，求出第1方向指示值D3A5x和第2方向指示值D3A5y。这样有以下的作用、效果。

图7的（A）～（C）表示变化量估计值D3A51和D3A52的绝对值的至少一方为较小值的典型图像。图7的（A）是图像存在垂直方向的条纹图案的情况，图7的（B）是图像存在水平方向的条纹图案的情况，图7的（C）是图像中看不到像素值变化的情况。

如图7的（A）所示，在图像内存在垂直方向的条纹图案的情况下，第2变化量D3A2的绝对值不会变为非常大的值，因此对第2变化量D3A2进行插值而得到的变化量估计值D3A52的绝对值也不会变为非常大的值。

如图7的（B）所示，在图像内存在水平方向的条纹图案的情况下，第1变化量D3A1的绝对值不会变为非常大的值，因此对第1变化量D3A1进行插值而得到的变化量估计值D3A51的绝对值也不会变为非常大的值。

如图7的（C）所示，在图像内看不到像素值变化的情况下，第1变化量D3A1和第2变化量D3A2均不会变为绝对值非常大的值，因此变化量估计值D3A51和D3A52也均不会变为绝对值非常大的值。

考虑低分辨率图像D01如图7的（A）那样存在垂直方向的条纹图案的情况。该情况下，期待低分辨率图像D01的像素值的水平方向的一次微分的绝对值成为一定程度较大的值。这里，一次微分的值可取正值或负值。

另一方面，针对高分辨率图像D30内的关注位置计算的一次微分通过针对低分辨率图像D01的各像素计算的一次微分的插值给出。

首先，考虑利用式（7）进行的关于水平方向的一次微分的插值。根据条纹图案的间隔不同，在用式（7）进行的插值运算中，将正值和负值相加。例如在D3A1（s－sdec，t－tdec）和D3A1（s－sdec，t－tdec＋1）为正值、D3A1（s－sdec＋1，t－tdec）和D3A1（s－sdec＋1，t－tdec＋1）为负值时，将正值和负值相加，从而作为插值运算的结果得到的变化量估计值D3A51可为接近零的值、即较小的值。

接着，考虑利用式（8）进行的关于垂直方向的一次微分的插值。该情况下，D3A2（s－sdec，t－tdec）、D3A2（s－sdec，t－tdec＋1）、D3A2（s－sdec＋1，t－tdec）和D3A2（s－sdec＋1，t－tdec＋1）的绝对值均为较小的值，因此作为插值运算的结果得到的变化量估计值D3A52也为较小的值。

这里，在如垂直方向的条纹图案那样在垂直方向相关性强的情况下，第1方向指示值D3A5x应该取接近1的值，第2方向指示值D3A5y应该取接近0的值。因此，变化量估计值D3A51的绝对值需要为相比变化量估计值D3A52的绝对值非常大的值，但如之前叙述那样，变化量估计值D3A51的绝对值可以取较小的值，因此不能保证满足这种关系。即在存在垂直方向的条纹图案的情况下，有不能根据变化量估计值D3A51和D3A52适当求出第1方向指示值D3A5x和第2方向指示值D3A5y的情况。

同样，在存在水平方向的条纹图案的情况下，第1方向指示值D3A5x应该取接近“0”的值，第2方向指示值D3A5y应该取接近“1”的值，但有不能根据变化量估计值D3A51和D3A52适当求出第1方向指示值D3A5x和第2方向指示值D3A5y的情况。

这里，在如图7的（A）那样存在垂直方向的条纹图案的情况下，或者在垂直方向相关性强的情况下，考虑针对低分辨率图像D01的各像素计算的像素值的二次微分时，垂直方向的绝对值成为较小的值，但水平方向的二次微分的绝对值变为一定程度较大的值。因此，在关注位置的周边为垂直方向的条纹图案的情况下，比较针对存在于关注位置周边的低分辨率图像D01的各像素计算出的水平方向的二次微分的绝对值和垂直方向的二次微分的绝对值时，水平方向的二次微分的绝对值较大的像素的数量较多。因此，第1计数值D3A532N1成为大于第2计数值D3A532N2的值。

在如图7的（B）那样存在水平方向的条纹图案的情况下，或者在水平方向相关性强的情况下，根据同样的讨论，第1计数值D3A532N2成为大于第2计数值D3A532N1的值。

在如图7的（C）那样看不到像素值的变化的情况下，或者不存在相关性强的特定方向的情况下，针对关注位置周边的像素计算的图像的水平方向和垂直方向的二次微分的绝对值均不会变为特别大的值，哪一个取较大的值也是偶然决定的。因此，在比较针对关注位置周边的像素计算出的水平方向的二次微分的绝对值和垂直方向的二次微分的绝对值时，垂直方向的二次微分的绝对值较大的像素的数量与水平方向的二次微分的绝对值较大的像素的数量没有大的差异。因此，第1计数值D3A532N1与第2计数值D3A532N2为大致相同的值。

因此，在变化量估计值D3A51和D3A52的至少一方为较小的值时，能够通过使用第1计数值D3A532N1和第2计数值D3A532N2，判断是在垂直方向相关性强、还是在水平方向相关性强、或者是不存在相关性强的特定方向。

即，能够通过根据第1计数值D3A532N1和第2计数值D3A532N2的大小关系判断是在垂直方向相关性强还是在水平方向相关性强，适当求出第1方向指示值D3A5x和第2方向指示值D3A5y。即，在D3A532N1＞D3A532N2的情况下，为垂直方向相关性强，因此将第1方向指示值D3A5x设为“1”、第2方向指示值D3A5y设为“0”，相反在D3A532N1＜D3A532N2的情况下，为水平方向相关性强，因此将第1方向指示值D3A5x设为“0”、第2方向指示值D3A5y设为“1”。此外，插值系数D3A的值根据第1方向指示值D3A5x和第2方向指示值D3A5y发生变化，因此适当求出第1方向指示值D3A5x和第2方向指示值D3A5y有助于适当求出插值系数D3A。

另外，除了如上述那样求出第1方向指示值D3A5x和第2方向指示值D3A5y以外，当不存在相关性强的特定方向时、即第1计数值D3A532N1与第2计数值D3A532N2之差不太大的情况下，将第1方向指示值D3A5x和第2方向指示值D3A5y均设为零的理由是因为，如后所述，这样当不存在相关性强的特定方向时，能够以针对关注位置周边的像素同等加权的方式求出插值系数。

如上所述，能够通过使用低分辨率图像D01的像素值变化的水平方向的二次微分的绝对值、垂直方向的二次微分的绝对值，更准确地求出相关性强的方向。

此外，根据以上的说明可知，第1方向指示值D3A5x以及第2方向指示值D3A5y或方向指示数据D3A5是表示相关性强的方向的数据。

另外，在本实施方式中，使用了低分辨率图像D01的像素值变化的水平方向的一次微分作为第1变化量D3A1，使用了低分辨率图像D01的像素值变化的垂直方向的一次微分作为第2变化量D3A2，使用了低分辨率图像D01的像素值变化的水平方向的二次微分的绝对值作为第3变化量D3A3，使用了低分辨率图像D01的像素值变化的垂直方向的二次微分的绝对值作为第4变化量D3A4，但可用作第1变化量D3A1、第2变化量D3A2、第3变化量D3A3和第4变化量D3A4的值不限于上述例子。

第1变化量D3A1和第3变化量D3A3、以及第2变化量D3A2和第4变化量D3A4只要是不同性质的变化量或者通过不同方法求出的变化量即可。通过使用不同性质的变化量作为第1变化量D3A1和第3变化量D3A3、以及第2变化量D3A2和第4变化量D3A4，即使在难以利用第1变化量D3A1和第2变化量D3A2判定相关性强的方向的情况下，也能够利用第3变化量D3A3和第4变化量D3A4判定相关性强的方向。即，能够更准确地求出相关性强的方向。

对插值系数D3A进行叙述。

将越是位于相关性强的方向的像素作为相关性越强的像素进行处理，给与越大值的插值系数D3A。

在用s表示关注位置的水平坐标、t表示垂直坐标、D3A5x（s，t）表示关注位置处的第1方向指示值D3A5x、D3A5y（s，t）表示第2方向指示值D3A5y的情况下，与通过关注位置的等高线相切的直线是与二维矢量（D3A5x（s，t），D3A5y（s，t））正交的直线，因此用以下的式子表示。

【式17】

(x-s)×D3A5x(s，t)+(y-t)×D3A5y(s,t)=0  (17)

即，满足上述式（17）的（x，y）的集合是上述“正交的直线”。此外，从水平坐标用p、垂直坐标用q表示的位置到该直线的距离能够用下式计算。

【式18】

$\frac{|(p-s)\×D3A5x(s,t)+(q-t)\×D3A5y(s,t)|}{\sqrt{{\left(D3A5x(s,t)\right)}^2+{\left(D3A5y(s,t)\right)}^2}}---\left(18\right)$

这里，除了通过式（10）决定第1方向指示值D3A5x和第2方向指示值D3A5y的情况以外，分母的值为1，因此式（18）与式（13）所示的r一致。

在关注位置附近，通过关注位置的等高线能够用与通过关注位置的等高线相切的直线进行近似。因此，可以说式（13）所示的r是距通过关注位置的等高线的距离的近似值。

插值系数D3A通过关于r单调递减的函数给出，因此距通过关注位置的等高线的距离越长其值越小。此外，变为与关注位置像素值相同的点用等高线连接，因此距等高线的距离越长，与关注位置的相关性越弱。

因此，插值系数D3A以越是位于相关性弱的方向的像素，其值越小的方式求出。换言之，以越是位于相关性强的方向的像素，其值越大的方式求出。即，通过根据第1方向指示值D3A5x和第2方向指示值D3A5y求出插值系数D3A，能够在计算插值系数D3A时考虑与关注位置的相关。

另外，在通过式（10）决定第1方向指示值D3A5x和第2方向指示值D3A5y的情况下，上述讨论不成立，但该情况下，r的值不论p、q的值如何都始终为零。因此，插值系数针对全部像素使用相同的值。

另一方面，通过式（10）决定第1方向指示值D3A5x和第2方向指示值D3A5y是不存在相关性强的特定方向的情况。因此，作为插值系数，也不需要针对特定方向设为较大的值。反过来说，在没有相关性强的方向的情况下，能够以可针对全部方向同等加权的方式求出插值系数。

如以上所说明那样，在本发明的图像放大装置中，在对位于关注像素周边的像素的像素值进行插值来求出存在于关注位置的像素（以下称作关注像素）的像素值时，针对关注像素判断相关性强的方向，并依照其结果求出插值系数，因此越是针对与关注像素的相关性强的像素的插值系数，越具有较大的权重。此外，进行使用了如上述那样确定的插值系数的插值运算，因此能够更准确地求出关注像素的像素值。

例如，设为在接近关注像素处，存在如边缘那样的亮度值变化较大的部分。该情况下，在关注像素的附近存在亮度低的像素集中的区域和亮度高的像素集中的区域。以下，假设关注像素包含在亮度低的区域中。

在对关注像素周边的像素值进行插值来求出关注像素的像素值时，在不考虑与关注像素的相关性强度的情况下求出了针对关注像素周边的像素的插值系数时，亮度高的像素和亮度低的像素都相同程度地影响到关注像素的像素值。其结果，关注像素的像素值成为比位于周围的亮度低的像素高的值，从而产生不协调感。

另一方面，在对关注像素周边的像素值进行插值来求出关注像素的像素值时，在考虑与关注像素的相关性强度的情况下求出了插值系数时，对亮度高的像素的加权较小，对亮度低的像素的加权较大。因此，关注像素的像素值成为与位于周围的亮度低的像素相同程度的值，不会产生上述那样的不协调感。

此外，在本发明的图像放大装置中，根据其运算内容可知，针对关注像素求出的相关性强的方向用连续的值表示。因此，不将边缘的角度或边缘的形状分类为预定模式中的任意一个，因此不论边缘的形状如何，都能够始终进行适当的插值运算。

另外，与关注像素的相关性的求出方法不限于上述例子。一般而言，越是处于远离关注像素的位置处的像素，取与关注像素不同的像素值的可能性越高。因此，除了式（13）所示的r以外，插值系数还可以根据距关注位置的距离而改变。例如，可以是距关注位置的距离越远，插值系数越小。通过还考虑距关注像素的距离，更严密地考虑关注像素与其周围的像素的相关性，从而能够更适当地求出关注像素的像素值。

另外，式（13）所示的r取决于（p－s）、（q－t），式（14）的f（r）相对于r的增大而减小，因此距离越大，插值系数越小。因此，当使得除了r以外插值系数还根据距关注像素的距离而变小时，双重考虑到距关注像素的距离。

此外，第1变化量D3A1只要是相当于低分辨率图像D01的像素值变化的关于水平方向的一次微分的值即可。因此，其求出方法只要是能够近似计算低分辨率图像D01的像素值变化的关于水平方向的一次微分的方法即可，不限于式（3）。

同样，第2变化量D3A2只要是相当于低分辨率图像D01的像素值变化的关于垂直方向的一次微分的值即可。因此，其求出方法只要是能够近似计算低分辨率图像D01的像素值变化的关于垂直方向的一次微分的方法即可，不限于式（4）。

此外，在上述说明中，第1变化量D3A1和第2变化量D3A2是低分辨率图像D01的像素值变化的关于水平方向的一次微分和关于垂直方向的一次微分的组合，但两者只要是关于不同方向的像素值变化的一次微分的组合即可。因此，一般来说，第1变化量D3A1只要是低分辨率图像D01的像素值变化的关于第1方向的一次微分即可，第2变化量D3A2只要是低分辨率图像D01的像素值变化的关于第2方向的一次微分即可。

此外，第3变化量D3A3只要是相当于低分辨率图像D01的像素值变化的关于水平方向的二次微分的值即可。因此，其求出方法只要是能够近似计算低分辨率图像D01的像素值变化的关于水平方向的二次微分的方法即可，不限于式（5）。

同样，第4变化量D3A4只要是相当于低分辨率图像D01的像素值变化的关于垂直方向的二次微分的值即可。因此，其求出方法只要是能够近似计算低分辨率图像D01的像素值变化的关于垂直方向的二次微分的方法即可，不限于式（6）。

并且，在上述说明中，第3变化量D3A3和第4变化量D3A4是低分辨率图像D01的像素值变化的关于水平方向的二次微分和关于垂直方向的二次微分的组合，但两者只要是关于不同方向的像素值变化的二次微分的组合即可。此外，第3变化量D3A3的变化方向、第4变化量的变化方向可以分别与第1变化量的变化方向（第1方向）、第2变化量的变化方向（第2方向）不同。因此，一般来说，第3变化量D3A3只要是低分辨率图像D01的像素值变化的关于第3方向的二次微分即可，第4变化量D3A4只要是低分辨率图像D01的像素值变化的关于第4方向的二次微分即可。

此外，像素值计算部30通过以上所说明的插值运算，求出设为在各关注位置处存在像素时的像素值，但关于各关注位置中的、位置与低分辨率图像D01的像素位置一致的关注位置，也可以不通过以上所说明的插值运算求出像素值，而直接使用低分辨率图像D01的像素值。例如在图3所示的例子中，可以设为以下像素值等。

D30（x，y）＝D01（x，y）

D30（x－1，y）＝D01（x－1，y）

D30（x，y＋1）＝D01（x，y＋1）

本实施方式的图像放大装置可以用作图像显示装置的一部分。尤其能够用于对图像显示装置的输入图像的像素数比图像显示装置的显示部的像素数少的情况。

实施方式2.

图8表示用于执行本发明实施方式2的图像放大方法的运算装置。本发明的图像放大方法由低分辨率图像D01生成高分辨率图像D30。

用于执行本发明的图像放大方法的运算装置具有输入接口IF1、输出接口IF2、处理器CPU1、程序存储器MEM1、数据存储器MEM2以及对它们进行连接的数据总线BUS1。

处理器CPU1依照程序存储器MEM1所存储的程序进行动作。在动作过程中产生的各种数据被存储到数据存储器MEM2中。低分辨率图像D01、低分辨率图像D02经由输入接口IF1被输入到运算装置。通过本发明的图像放大方法生成的高分辨率图像D30经由输出接口IF2输出到运算装置的外部。

图9是表示本发明的图像放大方法的处理步骤的图。本发明的图像放大方法包含插值系数计算步骤ST3A和插值运算步骤ST3B，通过插值运算求出构成高分辨率图像D30的各像素的像素值。

对插值系数计算步骤ST3A进行叙述。

图10是表示插值系数计算步骤ST3A的处理步骤的图。插值系数计算步骤ST3A包含第1变化量计算步骤ST3A1、第2变化量计算步骤ST3A2、第3变化量计算步骤ST3A3、第4变化量计算步骤ST3A4、方向计算步骤ST3A5和系数计算步骤ST3A6。

第1变化量计算步骤ST3A1以与在实施方式1中说明的第1变化量计算部3A1相同的处理，针对低分辨率图像D01的各像素计算像素值关于水平方向的一次微分，求出第1变化量D3A1。

第2变化量计算步骤ST3A2以与在实施方式1中说明的第2变化量计算部3A2相同的处理，针对低分辨率图像D01的各像素计算像素值关于垂直方向的一次微分，求出第2变化量D3A2。

第3变化量计算步骤ST3A3以与在实施方式1中说明的第3变化量计算部3A3相同的处理，针对低分辨率图像D01的各像素计算像素值关于水平方向的二次微分，求出第3变化量D3A3。

第4变化量计算步骤ST3A4以与在实施方式1中说明的第4变化量计算部3A4相同的处理，针对低分辨率图像D01的各像素计算像素值关于垂直方向的二次微分，求出第4变化量D3A4。

使用图11说明方向计算步骤ST3A5。

图11是表示方向计算步骤ST3A5的处理步骤的图。方向计算步骤ST3A5包含第1变化量估计步骤ST3A51、第2变化量估计步骤ST3A52和变化量比较步骤ST3A53。

第1变化量估计步骤ST3A51以与在实施方式1中说明的第1变化量估计部3A51相同的处理，求出第1变化量估计值D3A51。

第2变化量估计步骤ST3A52以与在实施方式1中说明的第2变化量估计部3A52相同的处理，求出第1变化量估计值D3A51。

使用图12说明变化量比较步骤ST3A53。

图12是表示变化量比较步骤ST3A53的处理步骤的图。变化量比较步骤ST3A53包含第1比较判定步骤ST3A531、第2比较判定步骤ST3A532和方向指示值步骤ST3A533。

第1比较判定步骤ST3A531以与实施方式1的第1比较判定部3A531相同的处理，求出第1比较结果D3A531。

第2比较判定步骤ST3A532以与实施方式1的第2比较判定部3A532相同的处理，求出由计算出的第1计数值D3A532AN1和第2计数值D3A532N2构成的第2比较结果D3A532。

方向指示值计算步骤ST3A533以与实施方式1的方向指示值计算部3A533相同的处理，求出方向指示数据D3A5。

变化量比较步骤ST3A53的动作如上所述，其动作是与在实施方式1中说明的变化量比较部3A53相同的处理。

此外，方向计算步骤ST3A5的动作如上所述，其动作与在实施方式1中说明的方向计算部3A5相同。

系数计算步骤ST3A6以与在实施方式1中说明的系数计算部3A6相同的处理，计算插值系数D3A。

插值系数计算步骤ST3A的动作如上所述，其动作与在实施方式1中说明的插值系数计算部3A相同。

对插值运算步骤ST3B进行叙述。

插值运算步骤ST3B以与在实施方式1中说明的插值运算部3B相同的处理，求出高分辨率图像D30的各像素的像素值。

本发明实施方式2的图像放大方法的动作如上所述。本发明的图像放大方法能够进行与本发明实施方式1的图像放大装置相同的处理，因此具有与本发明实施方式1的图像放大装置相同的效果。此外，对本发明实施方式1的图像放大装置的变形也能够应用于本发明实施方式2的图像放大方法。

本实施方式的图像放大方法或实施该方法的运算装置可以用作图像显示装置的一部分。尤其能够用于输入图像显示装置的输入图像的像素数比图像显示装置的显示部的像素数少的情况。

标号说明：

3A 插值系数计算部、3B 插值运算部、D01 低分辨率图像、D3A 插值系数、D30 高分辨率图像。

Claims (10)

1.一种图像放大装置，其由低分辨率图像生成高分辨率图像，该图像放大装置的特征在于，具有：

插值运算部，其将所述高分辨率图像被重叠在所述低分辨率图像上时所述高分辨率图像内的像素所重叠的位置作为关注位置，通过使用了所述低分辨率图像内的多个像素具有的像素值、和有关该多个像素的插值系数的插值运算，针对每个所述关注位置求出假定为在该位置存在像素时的像素值；以及

插值系数计算部，其求出如下的所述插值系数，并输出到所述插值运算部：其中，关于所求出的所述插值系数，越是针对所述低分辨率图像内的多个像素中的与所述关注像素的相关性强的像素，该插值系数的值越大，

所述插值系数计算部包含：

第1变化量计算部，其针对所述低分辨率图像的各像素求出以该像素为中心的关于第1方向的第1变化量；

第2变化量计算部，其针对所述低分辨率图像的各像素求出以该像素为中心的关于第2方向的第2变化量；

方向计算部，其使用对所述第1变化量进行插值而得到的第1插值变化量、和对所述第2变化量进行插值而得到的第2插值变化量，求出表示相关性强的方向的方向指示数据；以及

系数计算部，其由所述方向指示数据求出所述插值系数。

2.根据权利要求1所述的图像放大装置，其特征在于，

所述插值系数计算部将位于相关性强的方向的像素作为所述相关性强的像素进行处理，并根据所述低分辨率图像求出所述相关性强的方向。

3.根据权利要求1所述的图像放大装置，其特征在于，

所述第1变化量是以所述低分辨率图像的各像素为中心求出像素值变化关于所述第1方向的一次微分而得到的，

所述第2变化量是以所述低分辨率图像的各像素为中心求出像素值变化关于所述第2方向的一次微分而得到的。

4.根据权利要求3所述的图像放大装置，其特征在于，

所述插值系数计算部还包含：

第3变化量计算部，其针对所述低分辨率图像的各像素求出以该像素为中心的关于第3方向的第3变化量；以及

第4变化量计算部，其针对所述低分辨率图像的各像素求出以该像素为中心的关于第4方向的第4变化量，

所述方向计算部根据所述第1至第4变化量求出所述方向指示数据。

5.根据权利要求4所述的图像放大装置，其特征在于，

所述第3变化量是以所述低分辨率图像的各像素为中心求出像素值变化关于所述第3方向的二次微分的绝对值而得到的，

所述第4变化量是以所述低分辨率图像的各像素为中心求出像素值变化关于所述第4方向的二次微分的绝对值而得到的。

6.根据权利要求5所述的图像放大装置，其特征在于，

所述方向计算部在所述第1插值变化量的绝对值为第1阈值以下或者所述第2插值变化量的绝对值为第2阈值以下的情况下，根据所述第3变化量和所述第4变化量，判断所述相关性强的方向。

7.根据权利要求6所述的图像放大装置，其特征在于，

所述方向计算部根据针对存在于所述关注像素附近的所述低分辨率图像的每个像素比较所述第3变化量的绝对值和所述第4变化量的绝对值的结果，

在该结果是所述第4变化量的绝对值大于所述第3变化量的绝对值的像素的数量多的情况下，判断为在所述第3方向相关性强，

在该结果是所述第3变化量的绝对值大于所述第4变化量的绝对值的像素的数量多的情况下，判断为在所述第4方向相关性强。

8.根据权利要求6所述的图像放大装置，其特征在于，

所述方向计算部根据针对存在于所述关注像素附近的所述低分辨率图像的每个像素比较所述第3变化量的绝对值和所述第4变化量的绝对值的结果，

在该结果是所述第4变化量的绝对值大于所述第3变化量的绝对值的像素的数量、和所述第3变化量的绝对值大于所述第4变化量的绝对值的像素的数量之差小于第3阈值的情况下，判断为不存在相关性强的方向。

9.根据权利要求1所述的图像放大装置，其特征在于，

所述系数计算部根据存在于所述低分辨率图像内的像素与所述关注像素之间的距离以及所述方向指示数据求出所述插值系数。

10.一种图像放大方法，由低分辨率图像生成高分辨率图像，该图像放大方法的特征在于，具有：

插值运算步骤，将所述高分辨率图像被重叠在所述低分辨率图像上时所述高分辨率图像内的像素所重叠的位置作为关注位置，通过使用了所述低分辨率图像内的多个像素具有的像素值、和有关该多个像素的插值系数的插值运算，针对每个所述关注位置求出假定为在该位置存在像素时的像素值；以及

插值系数计算步骤，求出如下的所述插值系数，并输出到所述插值运算步骤：其中，关于所求出的所述插值系数，越是针对所述低分辨率图像内的多个像素中的与所述关注像素的相关性强的像素，该插值系数的值越大，

所述插值系数计算步骤包含：

第1变化量计算步骤，针对所述低分辨率图像的各像素求出以该像素为中心的关于第1方向的第1变化量；

第2变化量计算步骤，针对所述低分辨率图像的各像素求出以该像素为中心的关于第2方向的第2变化量；

方向计算步骤，使用对所述第1变化量进行插值而得到的第1插值变化量、和对所述第2变化量进行插值而得到的第2插值变化量，求出表示相关性强的方向的方向指示数据；以及

系数计算步骤，由所述方向指示数据求出所述插值系数。

Images