CN102150418B - 图像放大装置、方法以及集成电路 - Google Patents

Abstract

构建具备从低分辨率图像(101)生成高分辨率的插补图像(OL)的插补部(104等)、将修正量与上述插补图像合成而生成第1高分辨率图像(图11B、图45下段的单点划线的数据等)的合成部(105)、和生成将第1上述高分辨率图像使用所生成的特征量再次修正的第2高分辨率图像(图11D、图45下段的实线的数据等)的再修正部(106)的图像放大装置(108)。

Description

图像放大装置、方法以及集成电路

技术领域

本发明涉及将被输入的低分辨率图像匹配于显示设备的分辨率而放大的显示装置、将低分辨率的图像放大并输出的打印机等的图像输出装置、将运动图像中的一张图像放大而生成静止图像的摄影装置等、由将低分辨率的图像高分辨率化的装置进行的图像放大方法。 

背景技术

以往以来，作为将输入的低分辨率图像变换为高分辨率图像的插补放大方法，提出了各种各样的方法。作为代表性的方法，有在非专利文献1中也公开的最邻近法、双线性法、双三次卷积法等。在最邻近法中，在插补像素位置处选择最接近的低分辨率的像素来决定插补像素值。在双线性法中，根据包围插补像素位置的低分辨率图像的像素4点与插补像素位置的距离进行线性内插，决定插补像素值。在双三次卷积法中，根据包围插补像素位置的、低分辨率图像的周边N×N像素，使用取样函数(f(x)＝sinc(x))求出插补像素值。 

在这些方式中，有以下所示的缺点。在最邻近法中，由于插补像素值是处于插补像素位置的附近的低分辨率的像素值，所以如果放大率上升，则视觉上的块变得醒目，成为在画质上变差的感受。此外，在双线性法、双三次卷积法中，虽然能够抑制如最邻近法那样的块的发生，但成为模糊(ボケ)的画质。 

作为用来解决该问题的方法，经常采用在插补放大的前后实施使用高频强调滤波的边缘强调处理的方法。但是，在进行了边缘强调的情况下，在图像的边缘附近发生称作上冲或下冲的不自然的部分。 

图8是通过边缘强调发生了上冲和下冲的例子的图。 

该图是将图像的水平行的一部分的电平(level)值切取而图示的，观察它可知，在边缘周边的部分发生了上冲801和下冲802。这样，在实施了 通过高频强调滤波的边缘强调的情况下，图像变清楚，但另一方面，作为副作用，有成为图像的边缘周边发亮等的在视觉上变差的图像的问题。 

图48是表示专利文献1的技术的图。 

在专利文献1中公开了解决分辨率变换中的边缘强调的副作用的方法。以下，使用图48进行专利文献1的技术的说明。 

在图48中，2901是作为进行分辨率变换的对象的低分辨率图像的原图像(输入图像)。此外，2902是插补的像素数等、关于与分辨率的变换相关的插补处理的信息。此外，2903是基于信息2902决定用来进行边缘强调的滤波系数的强调系数决定部。此外，2904是使用所决定的强调系数进行边缘强调的边缘强调图像生成部。此外，2905是从被边缘强调的低分辨率图像、将指定位置的像素值进行内插插补而生成插补像素的插补像素生成部。此外，2906是将输入图像2901的关注像素与插补像素生成部2905的输出值比较、根据该比较的结果输出表示各像素值的加权的程度的值的比较部。此外，2909是用来指定检测像素值的最大值和最小值的、关注像素的周边像素的范围的信息。这里，比较部2906基于该信息2909计算表示加权的程度的值。并且，加权合成部2907是根据作为比较部2906的输出的加权、对从输入图像2901输入的低分辨率图像上的关注像素和插补像素生成部2905的输出实行加权、进行合成的合成部。 

以下，对比较部2906和加权合成部2907的处理详细地说明。设输入到比较部2906中的最大值、最小值检测像素范围(信息2909)为n。此时，在置于关注像素位置(i，j)的情况下，从其附近像素位置(i-n+1，j-n+1)～(i+n，j+n)的范围的像素中，检测作为最大的电平的像素值、和作为最小的电平的像素值，将最大值和最小值作为加权系数传递给加权合成部2907。在加权合成部2907中，基于作为比较部2906的输出的权重系数计算输出像素。具体而言，分别在插补像素生成部2905的输出Pi、j是最大值与最小值的范围内的情况下输出Pi、j，在Pi、j比最大值大的情况下输出最大值，在Pi、j比最小值小的情况下输出最小值。 

由此，不发生边缘强调带来的上冲、下冲(过度修正)而实现抑制了边缘的模糊的放大处理。 

先行技术文献 

专利文献1：日本特开2000-115526号公报 

非专利文献1：有关用于图像信号的几何学变换的插补滤波和画质的一个考察，榎並和雅他，电子通信学会论文志，vol.45J69-D No.11pp1617-1623，1986. 

发明内容

发明的概要 

发明要解决的课题 

但是，在专利文献1的方式中有以下所示的缺点。一个是因为在由边缘强调图像生成部2904实施边缘强调后由插补像素生成部2905进行放大插补、所以放大插补处理受到由边缘强调强调的噪声成分等的影响的问题。另一个是因用关注像素周边的最大值-最小值将值截止而发生的问题。 

图9是通过专利文献1的技术处理后的图像信号的象形图。 

在图9中，与图8同样，是将图像的水平行的一部分的水平值切取而图示的。在图9中，不发生图8那样的上冲或下冲(过度修正)，边缘的角度也变得陡峭，但在自然图像的情况下，该信号成为不自然的影像的情况较多。例如，在草果(芝目；gain)或树叶等的细小的质地部分成为这样的信号的情况下，整面粗糙的油画似的画，在主观的评价中成为不自然的图像。因此，在自然图像中采用专利文献1的技术的情况下，只能减小强调系数决定部2903中的系数、使边缘强调的程度较小，以使得不会变得不自然。在此情况下，边缘部分的倾斜不十分陡峭，放大带来的模糊减小的减小效果变小。 

本发明的第1目的是通过抑制在分辨率变换时发生的模糊、并且抑制边缘修正时的不自然的边缘的生成，提供自然且模糊较少的放大处理。 

此外，但是在专利文献1的方式中还有以下所示的缺点。 

图49是通过专利文献1的技术处理后的图像信号的象形图。 

在图49中，上下表示信号的电平值，上为白色，下为黑色。此外，水平方向表示像素位置。 

图50是将与图49相同的部分通过线性插补实施了放大的情况的例子。 

在图49中，在与图50相比，在使边缘变得陡峭的同时，不发生上冲 及下冲。但是，由于边缘变得陡峭，所以在图50中有倾斜的部分成为白或黑，白和黑分别变粗。在信号电平中，黑和白都变粗相同的宽度，但在人的感觉上受到白的变粗那样的印象。这是因为白是膨胀色，人对于相同大小的白色和黑色的物体，感到白色的更大。这是作为人的视觉特性普遍周知的现象，例如在围棋中使用的棋子中，为了看起来为相同的大小，使白子小0.3mm。这样，在较亮的颜色和较暗的颜色是相同的粗细度的情况下，受到较亮者更粗的印象。特别是，在放大处理中，它变得显著。 

因此，在用专利文献1的技术处理的情况下，有在视觉上较亮的颜色、特别是白色看起来变粗的问题。 

本发明是鉴于上述问题而做出的，第2目的是提供一种抑制在放大处理中将边缘修正得陡峭的情况下发生的、白色在视觉上看起来变粗的放大处理。 

鉴于上述问题，本发明的图像放大装置是输入低分辨率图像，输出比上述低分辨率图像高分辨率的高分辨率图像的图像放大装置，具备：插补部，输入上述低分辨率图像，生成上述高分辨率图像的像素数的插补图像；特征量分析部，分析上述低分辨率图像的特征量，输出对于上述高分辨率图像的各像素的上述特征量；修正量计算部，输入由上述特征量分析部输出的上述特征量、和上述低分辨率图像，输出对于上述高分辨率图像的各像素的修正量；合成部，将由上述修正量计算部计算出的上述修正量、和由上述插补部生成的上述插补图像合成，生成第1上述高分辨率图像；再修正部，将由上述合成部输出的第1上述高分辨率图像使用由上述特征量分析部生成的上述特征量再次修正，生成修正后的第2上述高分辨率图像，将所生成的第2上述高分辨率图像从该图像放大装置输出。 

该图像放大装置具体而言例如也可以具有以下的图像放大装置A1等的技术事项的一部分或全部。

为了达到上述第1目的，在图像放大装置A1中，在从低分辨率图像进行放大插补而生成高分辨率图像的过程中，具备：插补部，通过插补而生成临时的高分辨率图像；特征量分析部，从低分辨率图像中提取对应于倾斜的强度的特征量，计算对应于高分辨率图像的各像素的特征量；修正量计算部，通过特征量调整边缘成分的修正量，输出对应于高分辨率图像的 各像素的修正量；合成部，将由插补部生成的高分辨率图像、与由修正量计算部计算出的修正量合成；通过特征量决定由合成部合成的高分辨率图像的各像素的修正值，将再次进行修正的结果作为高分辨率图像输出。 

由此，对于由修正量计算部计算出的修正量过大、发生了边缘部分的上冲及下冲的部分(过度修正的成分)能够再次调整，能够生成清晰且过冲的较少的自然的放大图像。 

在图像放大装置A2中，特征量分析部输出的特征量是倾斜量、上限的阈值、下限的阈值。通过根据倾斜量进行在修正量计算部和再修正部中进行的修正量的调整，例如能够进行在较小的倾斜量的部分、即噪声等的部分中减小修正量、在倾斜量中等的部分、例如草果等的部分中增大修正量的调整。此外，通过将上限和下限的阈值作为特征量输出，容易进行发生了上冲及下冲的部分(过度修正的部分)的确定，能够适当地修正这些过冲。 

在图像放大装置A3中，对修正量计算部输入的第1倾斜量与对再修正部输入的第2倾斜量不同。由此，能够由决定边缘强调量的修正量计算部和抑制边缘部分的过冲的再修正部通过不同的基准进行动作。例如，通过使第1倾斜量成为对应于较窄的图像部分的边缘的部分的倾斜、使第2倾斜量为对应于图像的较宽的部分的边缘的倾斜量的倾斜，对于边缘的强调仅在边缘的附近进行，关于过冲抑制处理，能够在边缘周围的较宽的区中进行。 

为了达到上述第1目的，在图像放大装置B1中，在从低分辨率图像放大插补而生成高分辨率图像的过程中，具备：插补部，通过插补生成临时的高分辨率图像；特征量分析部，从低分辨率图像中提取对应于倾斜的强度的特征量，计算对应于高分辨率图像的各像素的特征量；修正量计算部，通过特征量调整边缘成分的修正量，输出对应于高分辨率图像的各像素的修正量；合成部，将由插补部生成的高分辨率图像与由修正量计算部计算出的修正量合成；使用通过插补而插补生成的高分辨率图像的像素值、和根据特征量计算的阈值，决定由合成部合成的高分辨率图像的各像素的修正值，将再次进行修正的结果作为高分辨率图像输出。 

由此，对于由修正量计算部计算出的修正量过大、在边缘部分发生了 上冲或下冲等的部分(过度修正的成分)能够再次调整，能够生成清晰且过冲较少的自然的放大图像。 

在图像放大装置B2中，特征量分析部输出的特征量是倾斜量、上限的阈值、下限的阈值。通过根据倾斜量进行由修正量计算部和再修正部进行的修正量的调整，例如，能够进行在较小的倾斜量的部分、即噪声等的部分中减小修正量、在倾斜量中等的部分、例如草果等的部分中增大修正量的调整。此外，通过输出上限和下限的阈值作为特征量，容易进行发生上冲或下冲的部分(过度修正的成分)的确定，能够适当地修正这些过冲。 

在图像放大装置B3中，计算从特征量分析部输出的高分辨率图像的像素的上限和下限的阈值与插补部输出的高分辨率图像的像素值的差，在合成部输出的像素值超过由上限及下限各自的上述阈值与插补部的输出的像素值之间的差决定的阈值的情况下，进行合成部输出的像素值的修正，输出结果。由此，能够从超过上限值或下限值之前进行边缘周边处的修正，能够更细致地控制较强的边缘周边的边缘的倾斜变化。 

为了达到上述第2目的，在图像放大装置C1中，在从低分辨率图像进行放大插补而生成高分辨率图像的过程中，具备：插补像素位置生成部，生成对应于高分辨率图像的各像素的第1插补像素位置；插补部，生成对应于第1插补像素位置的插补像素；白细线化部，根据低分辨率图像和第1插补像素位置，对应于插补像素位置周边的像素值的变化而修正插补像素位置，生成第2插补像素位置；修正量计算部，计算对应于第2插补像素位置的修正量；合成部，将由插补部插补的像素值与修正量合成，生成输出像素值。 

通过在修正量计算部中使用由白细线化部修正后的第2插补像素位置，插补像素位置与第1插补像素位置相比变化，所以边缘强调的中心偏离，结果能够使较明亮的部分、特别是白色变细。 

在图像放大装置C2中，在从低分辨率图像进行放大插补而生成高分辨率图像的过程中，具备：插补像素位置生成部，生成对应于高分辨率图像的各像素的第1插补像素位置；插补部，生成对应于第1插补像素位置的插补像素；特征量分析部，计算对应于第1插补像素位置的特征量；白细线化部，根据低分辨率图像和第1插补像素位置，对应于插补像素位置周 边的像素值的变化修正插补像素位置，生成第2插补像素位置；修正量计算部，计算对应于第2插补像素位置的修正量；合成部，将由插补部插补的像素值与修正量合成，生成合成后的像素值；在再修正部中，将合成部的输出结果使用特征量再次修正，生成修正后的第2高分辨率图像。 

通过进行基于特征量的再修正，在第2发明中，除了第1发明以外，还能够生成上冲及下冲较少的图像。在将上冲及下冲再修正的情况下，边缘变得平坦，所以白线看起来更粗，但通过利用由白细线化计算的第2插补像素位置计算修正量，使白色附近的颜色细线化，所以能够抑制白色看起来变粗。 

在图像放大装置C3中，在特征量的计算中也使用由白细线化部修正后的第2插补像素位置。由此，再修正处理的控制位置也随着第2插补像素位置而偏差，所以能够细致地控制白线的粗细度。 

发明的效果 

首先，根据本发明，对于由修正量计算部计算出的修正量过大而在边缘部分发生了上冲或下冲等的部分能够再次调整，能够生成清晰且过冲较少的自然的放大图像。 

此外，根据本发明，能够抑制在放大处理时因边缘的锐化处理而白色在视觉上看起来较粗的现象。 

附图说明

图1是实施方式A1的图像放大部的结构图。 

图2是搭载图像放大部的系统的结构图。 

图3是表示实施方式A1的倾斜检测用滤波的系数的图。 

图4是表示实施方式A1的倾斜检测用滤波的系数的图。 

图5是表示在边缘提取中使用的拉普拉斯滤波的第1例的图。 

图6是表示在边缘提取中使用的拉普拉斯滤波的第2例的图。 

图7是表示实施方式A1的用于增益计算的曲线的图。 

图8是表示发生了过冲的图像的图。 

图9是表示通过以往技术抑制了过冲的发生的例子的图。 

图10是表示抑制了过冲的发生的例子的图。 

图11A是表示实施方式A1的、被输出的图像的例子的图。 

图11B是表示实施方式A1的、被输出的图像的例子的图。 

图11C是表示实施方式A1的、被输出的图像的例子的图。 

图11D是表示实施方式A1的、被输出的图像的例子的图。 

图12是实施方式A1的输入YCbCr信号的情况的块图。 

图13是实施方式A1的输入YCbCr信号的情况的块图。 

图14是实施方式A1的输入RGB信号的情况的块图。 

图15是实施方式A2的图像放大装置的结构图。 

图16是实施方式A2的2倍放大时的像素位置的例图。 

图17是实施方式A2的流程图。 

图18是实施方式A2的图像放大部的结构图。 

图19是实施方式A2的特征量分析部的结构图。 

图20是表示实施方式A2的4×4像素的向2×2像素的块分割的图。 

图21是说明实施方式A2的区域判断的图。 

图22A是说明对于实施方式A2的区域判断的分区的图。 

图22B是说明对于实施方式A2的区域判断的分区的图。 

图22C是说明对于实施方式A2的区域判断的分区的图。 

图22D是说明对于实施方式A2的区域判断的分区的图。 

图23是实施方式A2的修正量计算部的结构图。 

图24是实施方式A2的插补位置px、py的说明图。 

图25是说明实施方式A2的插补的图。 

图26是实施方式A2的grad0和增益的关系图。 

图27是实施方式A2的grad1和增益的关系图。 

图28是实施方式A2的grad1和剪除值(clipping value)的关系图。 

图29是实施方式B1的图像放大部的结构图。 

图30A是表示实施方式B1的再修正部的处理的例子的图。 

图30B是表示实施方式B1的再修正部的处理的例子的图。 

图31是实施方式B2的图像放大部的结构图。 

图32A是说明常数E引起的输出波形的差异的图。 

图32B是说明常数E引起的输出波形的差异的图。 

图32C是说明常数E引起的输出波形的差异的图。 

图33是实施方式C1的图像放大部的结构图。 

图34是实施方式C1的插补像素位置生成部的处理的流程图。 

图35是实施方式C1的白细线化部的处理的流程图。 

图36是表示实施方式C1的、输出的图像的例子的第1图。 

图37是表示实施方式C1的、输出的图像的例子的第2图。 

图38是实施方式C2的图像放大装置的结构图。 

图39是实施方式C2的图像放大部的结构图。 

图40是实施方式C2的白细线化部的结构图。 

图41是表示实施方式C2的白细线化部的修正方向的图。 

图42是表示实施方式C2的白细线化部的倾斜方向修正的图。 

图43是实施方式C2的特征量分析部的结构图。 

图44是实施方式C2的修正量计算部的结构图。 

图45是表示再修正部、和由再修正部处理的数据的图。 

图46是实施方式C中的处理的流程图。 

图47是表示在实施方式C中处理的数据的图。 

图48是以往的图像放大装置的结构图。 

图49是以往的图像放大装置的输出信号的例子的图。 

图50是通过线性插补处理放大的情况的输出信号的例子的图。 

具体实施方式

以下，参照附图，对有关实施方式的图像放大装置(图像放大部)108进行说明。图像放大装置108是有关实施方式A的图像放大装置108A(图1等)、有关实施方式B的图像放大装置108B(图29等)、和有关实施方式C的图像放大装置108C(图33等)的各图像放大装置的上位概念。

有关实施方式的图像放大装置108(图像放大装置108A等)是输入低分辨率图像(输入图像101)、输出分辨率比上述低分辨率图像高的高分辨率图像(输出图像107)的图像放大装置，具备：插补部(插补部104等)，输入上述低分辨率图像，生成上述高分辨率图像的像素数的插补图像(图18的插补图像OL等)；特征量分析部(特征量分析部102等)，分析上述 低分辨率图像的特征量，输出对于上述高分辨率图像的各像素的上述特征量(图18的grad1、grad0、MIN、MAX等)；修正量计算部(修正量计算部103等)，输入由上述特征量分析部输出的上述特征量、和上述低分辨率图像，计算对于上述高分辨率图像的各像素的修正量；合成部(合成部105等)，将由上述修正量计算部计算出的上述修正量、和由上述插补部生成的上述插补图像合成，生成第1上述高分辨率图像(图11B、图45下段的单点划线的数据等)；再修正部(再修正部106等)，将由上述合成部输出的第1上述高分辨率图像使用由上述特征量分析部生成的上述特征量再次修正，生成修正后的第2上述高分辨率图像(图11D、图45下段的实线的数据等)，从该图像放大装置输出所生成的第2上述高分辨率图像。 

《实施方式A》 

以下，参照附图说明实施方式A。另外，实施方式A包括实施方式A1和实施方式A2。 

(实施方式A1) 

图1是实施方式A1的图像放大部(图像放大装置)108A的块图。 

另外，图像放大部108A是图像放大装置108(上述)的下位概念之一。 

在图1中，101是低分辨率的输入图像(原图像、低分辨率图像)。此外，102是将对应于图像放大部108A根据低分辨率的输入图像而输出的高分辨率图像(输出图像、第2高分辨率图像)107的各像素的特征量分别输出的特征量分析部。103是根据特征量分析部102输出的特征量而计算边缘成分的修正量、即输出的高分辨率图像107的各像素的修正量、将计算出的各修正量输出的修正量计算部。104是输入低分辨率的输入图像101、生成与输出的高分辨率图像107相同的像素数的图像(插补图像)的插补部。105是接受从插补部104输出的高分辨率图像(插补图像)的像素、并且从修正量计算部103接受对应于该像素的修正量、输出对该像素进行了用该修正量的修正(第1修正)的、第1修正后的像素(第1高分辨率图像)的合成部。106是通过从特征量分析部102接受到的、对应于合成部105输出的第1修正后的像素的特征量、对合成部105输出的合成结果(第1修正后的像素)进行再修正(第2修正)、输出第2修正后的像素(第2高分辨率图像)的再修正部。107是输出的高分辨率图像(第2高分辨率图像)， 108A是输入低分辨率图像101、输出将输入的低分辨率图像101放大后的高分辨率图像107(第2高分辨率图像)的图像放大部。 

另外，图像放大部108A具体而言也可以是集成电路。并且，特征量分析部102等也可以分别是安装在该集成电路中的功能块(电路)。此外，图像放大部108A也可以是计算机。并且，各个功能块也可以是通过该计算机执行软件而实现的功能的功能块。 

图2是装入有该图像放大部108A的系统的例子。 

在图2中，201是输入图像的输入部。202是对输入部201输入TV信号的调谐器。203是对输入部201输入影像的外部端子。204是记录有运动图像或静止图像的SD卡等的存储卡。205是作为该系统的一次存储装置使用的、DRAM等的存储器。206是控制该系统的整体的处理器。207是在由输入部201输入的图像是压缩图像的情况下进行该图像的解码的解码部。208是将解码后的图像输出给视频驱动器209的显示部。209是用来对液晶、等离子、CRT等的显示设备211输出由显示部208输出的图像的视频驱动器。210是作为储存图像等的二次存储装置的硬盘(HDD)。 

在该系统中，被从输入部201输入、或保存在硬盘210中的压缩图像通过处理器206的控制，被发送给解码部207，在由解码部207解码后，被直接或经由存储器发送给显示部208。在显示部208中，将接受到的解码后的图像(图1的输入图像101)的格式变换为匹配于显示设备211的格式，将该变换后的图像(输出图像107)发送给视频驱动器209，视频驱动器209在显示设备211上进行传送来的输出图像107的显示。在该系统中，图1所示的图像放大部108A例如在显示部208内的、显示设备211的分辨率的输出图像107中，被作为用来将输入图像101放大的处理(的功能块)安装，或者作为处理器206中的软件处理(的功能块)安装。另外，在以哪个形式安装的情况下，都为也能够用于将放大后的图像再次编码、将编码后的图像写回到硬盘210等中的用途的安装。 

以下，对图1的图像放大部108A的处理进行说明。 

(特征量分析部) 

在特征量分析部102中，分别计算对插补部104输出的、放大后的各像素的特征量并输出(图46的S462)。即，分别计算放大后的高分辨率图 像各自的像素的特征量。作为特征量输出的数据，是高分辨率图像中的、对应于插补部104进行插补的插补像素位置(高精细位置)的位置(低分辨率图像的位置、低精细位置)处的、该位置的周边的倾斜的强度(例如图18的grad0及grad1)、和该位置的周边像素的上限值和下限值(MIN、MAX)。特征量包括这些由低分辨率图像确定的倾斜的强度、以及上限值和下限值。 

图3是表示用来检测垂直的线的、水平方向上的微分的滤波的例子的图。 

图4是表示用来检测水平的线的、垂直方向上的微分的滤波的例子的图。 

作为如上述那样确定包含在特征量中的倾斜的强度的方法，有提取相邻于插补像素位置(低精细位置)的、低分辨率图像的像素的2×2像素、根据所提取的2×2像素通过图3及图4的滤波求出水平以及垂直的微分成分dx和dy、将较大者确定为作为特征量的倾斜的强度等的方法。另外，作为倾斜的强度的计算方法，也可以是使用sobel滤波或prewitt滤波等的方法等，并不限定于该方法。 

此外，作为上限值和下限值，将插补像素位置(低精细位置)的周边的、在低分辨率图像n×n像素之中最大的像素值设定为上限值，将最小的值设定为下限值。 

通过以上，由特征量分析部102计算倾斜的强度、上限值、下限值的3个作为特征量并输出。 

(修正量计算部) 

在修正量计算部103中，计算对应于插补像素位置的像素的边缘程度的修正量(图46的S463)。在修正量计算部103中，首先，使用对应于插补像素位置(低精细位置)的周边的、低分辨率的输入图像101的各像素值，计算该低精细位置的边缘成分。此时，从多个高精细位置之中，确定对应于低分辨率图像中的边缘的部分的高精细位置。 

图5是表示拉普拉斯滤波的第1例的图。 

图6是表示拉普拉斯滤波的第2例的图。 

作为边缘成分的提取方法，利用使用图5或图6所示的拉普拉斯滤波 等的方法。 

另外，高分辨率图像中的插补像素位置(高精细位置、例如小数的坐标值的位置)的像素在低分辨率图像(例如仅具有整数的坐标值的像素)中不存在。因此，在实施这些滤波的情况下，进行以与插补像素位置(高精细位置)相同的位置(例如，低分辨率图像中的小数的坐标的位置)的附近的像素(具有整数的坐标值的位置)为中心的3×3的滤波处理。 

在提取了边缘成分、即确定了边缘的部分的高精细位置之后，使用由特征量分析部102计算的倾斜的强度(特征量，例如图18的grad0)，计算所提取的边缘的强调程度。 

图7是表示根据倾斜的强度(特征量)调整对所提取的边缘成分乘以的增益的量的情况下的增益的例子的图。 

在该例中，在倾斜较强的部分中使修正量变大，在倾斜较小的部分中使修正量变小。通过进行这样的调整，能够减小作为倾斜较小的部分的、如噪声那样的较小的倾斜的信号的修正量。 

以上，在修正量计算部103中，从低分辨率图像提取边缘成分，输出通过对应于倾斜的强度的增益进行了倍率调整的、对应于高分辨率图像的各像素的修正量。 

即，对于各个高精细位置，分别由修正量计算部103计算通过加到该高精细位置上来进行边缘的强调的、该高精细位置的修正量。 

(插补部) 

在插补部104中，使用双线性法或双三次卷积法等，由低分辨率图像(输入图像101)通过插补放大而生成高分辨率的图像(例如，参照图18的插补图像OL、图11A等)(图46的S461)。另外，这些一般性的放大技术并不是实施方式的核心，所以省略详细的说明。作为插补部104，可以利用以往以来使用的放大插补技术。 

即，由插补部104根据低分辨率图像计算被进行边缘强调前的高分辨率图像(插补图像)。 

(合成部) 

在合成部105中，对由插补部104生成的高分辨率图像(插补图像、图11A)加上由修正量计算部103计算出的、对应于高分辨率图像的各像 素的修正量(差值)，生成被强调了边缘的图像(第1高分辨率图像，图11B、图45下段的单点划线的数据)(图46的S464)。在该时点，生成图8所示那样的、包含有上冲和下冲(边缘强调中的过度修正的成分)的图像。 

(再修正部) 

在再修正部106中，输入合成部105输出的、被实施了边缘强调的高分辨率图像(图11B等)、和特征量分析部102输出的、对应于高分辨率图像的各个像素的上限值、下限值(特征量)，进行合成部105输出的高分辨率图像(图11B)的再修正(图46的S465)。 

即，对于进行了边缘强调后的高分辨率图像(图11B、图45的单点划线的数据)，由再修正部106进行再修正(第2修正)，由再修正部106计算进行了第2修正后的高分辨率图像(图11D、图45的实线的数据)。 

以下，对再修正的次序进行说明。 

在设被进行了边缘强调后的高分辨率图像(图11B、图45的单点划线)的像素位置(x，y)处的、合成部105的输出像素值为Xx，y、设上限值为Ux，y、设下限值为Lx，y时，在再修正部106中，通过以下的(数式A1)的运算(图45上段参照)，计算第1修正值Px，y(虚线的数据)(图46的S465A(S465a、S465b)，图45上段的C倍值计算部1061)。另外，在该数式(数式A1)中，C是预先对C倍值计算部1061设定的、0.0～1.0的范围内的常数。 

另外，图45中的4条水平线(从上起依次为单点划线、虚线、实线、实线)分别作为一例而表示Xx，y的极大点处的值。 

(数式A1) 

Xx，y＞Ux，y时，Px，y＝Ux，y+(Xx，y-Ux，y)×C 

Xx，y＜Lx，y时，Px，y＝Lx，y-(Lx，y-Xx，y)×C 

其他时，Px，y＝Xx，y 

通过该计算，使超过上限值(Ux，y)和下限值(Lx，y)的部分(例如，图45中的极大点的附近的部分)为C倍，计算C倍后的Px，y(图11C、图45的虚线的数据)。这里，由于C设定为1.0以下，所以结果对超过上限和下限的部分(过度修正的成分)进行第2修正而变小。 

接着，通过下述(数式A2)的运算，再修正部106将第1修正值Px， y(图11C、图45的虚线的数据)进一步修正，计算第2修正值P’x，y(图11D、图45的实线的数据)(图46的S465B(S465c)、图45的阈值剪除部1062)。另外，在该数式中，T是预先设定的常数。此外，min(a，b)是选择a和b中的较小者的函数。 

另外，在图45的上段表示的再修正部106的结构、即具有C倍值计算部1061和阈值剪除部1062的两个部分的结构是单纯的一例，也可以采用其他结构。 

(数式A2) 

Px，y＞Ux，y时，P’x，y＝Ux，y+min(Px，y-Ux，y、T)

Px，y＜Lx，y时，P’x，y＝Lx，y-min(Lx，y-Px，y、T)

其他时，P’x，y＝Px，y 

通过(数式A2)，将超过常数T的上冲和下冲的成分变换为T。即，将过冲(上冲或下冲)的、超过常数T的部分剪除(裁剪)而除去。 

在再修正部106中，输出该第2修正值P’x，y(图11D、图45的实线的数据)(图46的S465B的S465d、图45的阈值剪除部1062)。 

另外，再修正部106例如对由合成部105生成的、被强调了边缘后的高分辨率的图像(第1高分辨率图像)的多个像素分别进行关于该像素(Xx，y)的该处理(图46的S465a～S465d)。由此，生成将这些多个像素分别再修正后的、再修正后的高分辨率的图像(第2高分辨率图像)。 

图11A～图11D是表示图像放大部108中的图像的图。 

通过以上的处理，根据实施方式A1，将抑制了下冲和上冲的放大图像(输出图像107)通过图像放大部108A输出。以下，利用图11A～图11D说明处理的过程的信号的变化和处理的流程。另外，图11与图8、图9、图10同样，是观测图像的特定的水平方向的像素值的图，横轴表示水平像素位置，纵轴表示各个水平像素位置处的像素值。 

图11A是在插补部104中通过双三次卷积法插补放大后的图像(插补图像)。双三次卷积法的处理包括边缘强调的成分，所以如图11A那样在边缘附近发生一些过冲成分。 

图11B是由合成部105加上了修正量计算部103的输出后的图像(第1高分辨率图像、图45的单点划线以及Xx，y)。在该时点，与图11A相 比，在边缘周边发生较大的过冲。另外，图45下段的单点划线、虚线、实线的曲线分别是示意地表示图11B、图11C、图11D的曲线的。关于图45下段的各曲线的详细情况请适当参照图11B等。 

图11C是设C为0.25、采用了(数式A1)的处理后的结果(图45的虚线的数据、Px，y)。如图11C所示，可知与图11B相比过冲成分变小、并且边缘的陡峭度与图11A相比变大。 

图11D是设T＝4而采用(数式A2)的处理后的结果(图45的实线的数据、P’x，y)。在图11D中可知，仅将在图11C中残留的过冲的剩余中的一部分剪除，没有将全部除去，成为接近于图11A的信号的图象。此外，可知通过与图11A相比边缘的陡峭度变大而抑制了边缘的模糊。此外，在图11D中，还由于残留有过冲成分，所以不会成为不自然的粗糙画，并且抑制了边缘周边的过冲。 

以上，根据实施方式A1，能够提供将因放大处理造成的模糊(参照图11A)通过边缘强调进行缓和(参照图11B～图11D、图45的单点划线、虚线、实线的数据)、并且抑制了边缘强调造成的过冲的发生的自然的影像(图11D、图45的实线的数据，P’x，y)。由此，即使是将低分辨率图像放大的情况，也能够不丧失影像的锐感而显示自然的影像。 

这样，图像放大装置108(图像放大装置108A)具备插补部(插补部104)、边缘强调部(合成部105)、和再修正部(再修正部106)。 

插补部计算将低分辨率图像(输入图像101)放大后的高分辨率的插补图像(图11A)。 

边缘强调部计算将计算出的插补图像的边缘强调后的第1高分辨率图像(图11B、图45下段的单点划线，Xx，y)。 

再修正部在第1高分辨率图像中的、构成超过发生边缘的周边发亮的成分(例如，图11B的过冲的成分，Ux，y(图45下段等)的成分，过度修正的成分)的第1成分(被C倍以及通过剪除除去的成分)及第2成分(其他成分)中，仅将上述第1成分除去。由此，计算仅除去了该第1成分后的第2高分辨率图像(图11D、图45的实线的数据)。 

由此，通过边缘的强调来抑制边缘的模糊。另一方面，上述第1成分被除去，避免边缘的周边看起来发亮。并且，尽管这样能够抑制边缘的模 糊、并且抑制边缘的周边发亮，也仅将第1成分除去，避免了过度除去。由此，如图45中的较窄的范围106x所示，第2高分辨率图像的平坦的范围变得比以往例等的范围(例如范围106xC)窄等，能够避免产生粗糙的不自然的图像。由此，能够同时实现模糊的抑制、边缘的周边发亮的抑制、和图像粗糙的抑制，能够充分且可靠地提高画质。 

另外，上述合成部(合成部105、边缘强调部)也可以通过对上述插补图像(图11A)中的像素值加上上述修正量、生成强调了上述插补图像中的边缘的第1上述高分辨率图像(图11B、图45下段的单点划线的数据)。 

并且，上述再修正部也可以将第1上述高分辨率图像中的、使上述边缘的周边发亮的、上述边缘的强调中的过度修正的成分(例如，图11B中的过冲的部分)设为C倍(图45的C倍值计算部1061、图46的S465A、0＜C＜1)。并且，再修正部也可以通过对设为C倍的该成分进行剪除(阈值剪除部1062、图46的S465B)、生成进行了C倍及剪除的第2上述高分辨率图像。 

此外，上述再修正部也可以是，由上述特征量分析部输出的上述特征量表示的上述过度修正的成分的部位的斜率越大(图27、图28的横轴的更右侧)，则作为上述C(图27的纵轴)将更小的值作为上述剪除的宽度T(图28的纵轴)而分别确定更小的宽度。 

进而，上述过度修正的成分也可以是在将该过度修正的成分的全部(过冲的成分的全部)从第1上述高分辨率图像除去的情况下产生粗糙的成分。 

并且，由上述特征量分析部输出的上述特征量也可以确定在仅将上述过度修正的成分中的、通过该值C下的C倍及该宽度T下的剪除除去的成分(上述的第1成分)除去的情况下不产生上述粗糙的值C及宽度T。 

并且，上述再修正部也可以分别计算由上述特征量确定的上述值C及上述宽度T(参照图27、图28)，通过进行以计算出的上述值C进行的C倍、和以计算出的上述宽度T进行的剪除，生成仅将基于该值C及该宽度T除去的上述成分除去后的第2上述高分辨率图像。 

另外，在以往技术(图48)中，在由边缘强调图像生成部2904对图像进行了边缘强调后，对进行了边缘强调的图像通过插补像素生成部2905进行插补。并且，在该插补的处理中，也进行一些边缘强调，所以在边缘强 调之后再进行边缘强调，所以画质变差。 

相对于此，在图像放大装置108中，在由合成部105加上修正量而进行边缘强调之前，由插补部104进行插补，能够避免因在边缘强调之后进行插补造成的画质的变差，能够得到更加充分高的画质。 

(实施方式A1的变形) 

在实施方式A1中，设各像素是1个像素值而进行了说明。但是，在彩色图像中，通过红(R)、绿(G)、蓝(B)、或亮度(Y)、色差(Cb、Cr)等多维的颜色空间表示该图像的内容的情况较多。这里，对在RGB或YCbCr等的颜色空间中采用本技术的方法进行说明。 

图12及图13是处理的图像的颜色空间是YCbCr的情况下的处理的例子。 

在图12中，各个插补部104与图1的插补部104是同样的，图像放大部108与图1的图像放大部108是同样的。在图12的系统中，仅亮度成分Y实施通过图像放大部108的处理，对于色差成分Cb及Cr实施以往的放大处理。这样，通过仅对在视觉上效果较高的亮度成分实施本技术的处理，带来上述效果，并且通过对色差成分实施以往的处理，能够期待处理量的削減。 

此外，图13是表示对yCbCr的全部成分实施图像放大部108的处理的例子的图。在图像放大部108中，如图所示，能够独立处理各成分。 

图14是处理的图像的颜色空间是RGB空间的情况下的处理的例子。 

另外，在RGB空间的情况下，可以如图14那样对各成分都实施图像放大部108的处理，但也可以例如仅对G成分这样的1个成分进行处理。 

以上，对于用多维的颜色空间定义的彩色图像，也通过将图像放大部108对各成分单独实施，能够带来与实施方式A1同样的效果。 

(实施方式A2) 

参照附图对实施方式A2进行说明。 

图15是实施方式A2的图像放大装置1500的块图。 

在图15中，101是输入图像，1501是插补位置x，y，1502是选择插补位置x，y1501的周边6×6像素的像素选择部。此外，1503是将插补位置x，y1501的小数点部分px、py取出的小数点位置计算部，1504是将输 入图像的6x6像素和小数点位置px、py输入、计算插补位置x，y1501的像素值、将计算出的像素值输出的图像放大部。107是放大处理后的高分辨率图像。 

另外，图像放大装置1500也是图像放大装置108(上述)的下位概念之一。此外，图像放大部1504是实施方式A2的图像放大部1504A、B2的图像放大部1504B(图31)、C2的图像放大部1504C(图38)的上位概念。图像放大部1504也对应于图像放大装置108的下位概念之一。 

图16是表示插补位置x，y1501与低分辨率的输入图像101、高分辨率的输出图像107的关系的图。 

在图16中，表示放大率在水平方向-垂直方向上都是2.0倍的情况的例子。在图16中，○标记表示低分辨率图像的像素位置，×标记表示被作为高分辨率图像进行插补的像素位置。即，在图16的例子中，输入像素由用○标记表示的像素构成，被输出的高分辨率图像成为由用○标记和×标记两者表示的像素构成。图中的数字表示插补位置(x，y)，存在于被输入的低分辨率图像中的○标记的像素的位置成为(0、0)(1、0)(2、0)…(1、0)(1、1)…等的整数位置。此外，×标记的像素的位置为(0.5、0)(1.5、0)··等的包含小数点位置的位置。 

图17是由图15的图像放大装置1500从低分辨率的输入图像101生成高分辨率的输出图像107的处理的流程图(S1701～S1713)。 

在放大处理中，首先，例如像素选择部1502等计算作为放大图像的插补位置的增加量的dx、dy(S1702)。它可以根据输入图像101和输出图像107的尺寸通过(数式A3)计算。另外，式中的Sw、Sh是输入图像的宽度和高度，Dw、Dh是输出图像的宽度和高度。 

(数式A3) 

dx＝Sw/Dw 

dy＝Sh/Dh 

另外，通过(数式A3)计算dx、dy，但dx、dy的计算方法并不限定于此。例如，利用由(数式A4)计算的dx、dy也能够期待同样的效果。(数式A4)特别在放大率是高倍率的情况下是有效的。 

(数式A4) 

dx＝(Sw-1)/Dw 

dy＝(Sh-1)/Dh 

根据(数式A3)的计算，在放大率是2倍的情况下，dx＝0.5、dy＝0.5为计算结果。 

接着，例如像素选择部1502等将插补位置y初始化(S1703)，此外，将插补位置x初始化(S1704)。进行初始化的初始化位置决定放大时的初始相位，这里假设设定x＝0，y＝0。另外，在想要使放大后的图像的中心不偏移的情况下，只要设定x＝-0.25，y＝-0.25就可以。 

接着，像素选择部1502从输入图像101取得以相邻于插补位置x，y的4像素为中心包括的周边6×6像素(S1705)。如果以图16为例说明，则例如在插补位置是1601的位置的情况下，取得处于用1602的虚线表示的范围中的、以与插补位置1601相邻的4像素为中心的周边6×6像素的输入像素。 

接着，小数点位置计算部1503计算插补位置x，y的小数点位置px、py(S1706)。在图16的1601是插补位置的情况下，是x＝3.5，y＝2.5，所以px、py为从其除去了整数部分的px＝0.5、py＝0.5。 

在取得插补位置周边的6×6像素的输入图像(S1705)、计算px、py后(S1706)，以它们为输入，图像放大部1504A执行图像放大处理(S1707)。另外，关于图像放大处理在后面详细地说明。图像放大处理的结果是输出对应于插补位置的输出像素值，所以图像放大部1504A将其作为对应于插补位置的输出像素值保存(S1708)。 

接着，像素选择部1502等将插补位置在水平方向更新dx(S1709)。在输出的水平方向的像素数不到输出像素数(宽度)的情况下，重复从S1705起的处理(S1710：否)。 

在水平方向的像素数是输出像素数的情况下(S1710：是)，例如像素选择部1502等将垂直方向的插补位置更新dy(S1711)。在输出的行数不到输出行数(高度)的情况下，重复从S1704起的处理(S1712：否)。在输出的行数是输出行数的情况下，结束处理(S1712：是)。通过以上的处理，生成放大后的高分辨率图像。 

图18是表示进行S1707的图像放大处理的图像放大部1504A的处理 的流程的图。以下，使用图18对图像放大处理详细地说明。 

另外，实施方式A1的图像放大部108A的详细的情况例如是该图像放大部1504A那样。 

(特征量分析部) 

图19是表示图18的特征量分析部1803的处理的详细情况的图。 

在特征量分析部1803中，将输入图像101中的、插补位置的周边N×M像素(参照图17的S1705等)、和px、py(参照S1706、图18的插补坐标px、py1802)输入，作为特征量而输出grad0、grad1、MIN、MAX。另外，这里，设作为输入的周边N×M像素为N＝M＝4像素的16像素进行说明，但也可以通过比其小或大的范围中的像素计算特征量。 

如果将输入到图像放大部1504A中的6×6像素1801(图18)中的、中央的4×4像素输入，则在特征量分析部1803中，首先通过各块的MIN/MAX计算部1903计算各2×2像素块的像素值的最大值和最小值。 

图20是表示向9个2×2像素块的分割的图。 

所谓2×2像素块，如图20所示，是将4×4像素按照2×2像素分割为9块的块。在图20中，○标记是像素，0～8的数字是块的号码。这里，设各块的最大值和最小值为MINn、MAXn(n＝0、1、2、3、...、8，对应于图20的块号码)。在块差计算部1904中，计算各块的差DIFFn。DIFFn的计算式是(数式A5)那样。 

(数式A5) 

DIFFn＝MAXn-MINn 

此外，在区判断部1905中，根据插补坐标px、py(图17的S1706)，计算在MIN、MAX的计算中使用的2×2像素块、和在插补中使用的DX、DY。 

图21是表示4×4像素、px、py、和插补像素的关系的图。 

插补位置x，y的小数点成分是px、py，所以为0.0≤px、py＜1.0，px、py的位置为图21斜线的范围内。 

根据px、py处于图21的a、b、c、d的哪个区中，将在插补中使用的MINn、MAXn如图22那样改变。 

即，图22A的用斜线表示的块表示在图21的a区中有px、py的情况 下选择的MINn、MAXn。图22B的用斜线表示的块表示在图21的b区中有px、py的情况下选择的MINn、MAXn。图22C的用斜线表示的块表示在图21的c区中有px、py的情况下选择的MINn、MAXn。图22D的用斜线表示的块表示在图21的d区中有px、py的情况下选择的MINn、MAXn。 

由此，选择插补位置x，y的附近的2×2像素块。 

(数式A6)是求出MI0、MI1、MI2、MI3、和MA0、MA1、MA2、MA3、DX、DY的式子。即，作为MI0～MI3而使用所选择的2×2像素块的MINn，作为MA0～MA3而使用所选择的2×2像素块的MAXn。另外，在(数式A6)中，有“DX＝Px+0.5”，表示从插补位置x，y的x坐标到2×2像素块中的左列的两个块(例如0和3)的中心的x坐标的距离、与从插补位置x，y的x坐标到右列的两个块(1和4等)的中心的x坐标的距离的两个距离的比。关于其他DX、DY的式子也与该例是同样的。 

(数式A6) 

a区的情况) 

MI0＝MIN0 

MI1＝MIN1 

MI2＝MIN3 

MI3＝MIN4 

MA0＝MAX0 

MA1＝MAX1 

MA2＝MAX3 

MA3＝MAX4 

DX＝Px+0.5 

DY＝Py+0.5 

b区的情况) 

MI0＝MIN1 

MI1＝MIN2 

MI2＝MIN4 

MI3＝MIN5 

MA0＝MAX1 

MA1＝MAX2 

MA2＝MAX4 

MA3＝MAX5 

DX＝Px-0.5 

DY＝Py+0.5 

c区的情况) 

MI0＝MIN3 

MI1＝MIN4 

MI2＝MIN6 

MI3＝MIN7 

MA0＝MAX3 

MA1＝MAX4 

MA2＝MAX6 

MA3＝MAX7 

DX＝Px+0.5 

DY＝Py-0.5 

d区的情况) 

MI0＝MIN4 

MI1＝MIN5 

MI2＝MIN7 

MI3＝MIN8 

MA0＝MAX4 

MA1＝MAX5 

MA2＝MAX7 

MA3＝MAX8 

DX＝Px-0.5 

DY＝Py-0.5 

在特征量计算部1906中，根据由块差计算部1904计算的DIFFn、由区判断部计算的MI0～3、MA0～3、DX、DY，计算grad0、grad1、MIN、MAX。 

在(数式A7)中表示计算式。另外，在(数式A7)中，max()为将“()”中的多个要素的值之中的最大的值返回的函数，C0为常数。此外，grad0和grad1为被剪除到像素值的范围内的值。 

(数式A7) 

MAX＝(1-dy)((1-dx)·MA0+dx·MA1)+dy((1-dx)·MA2+dx·MA3) 

MIN＝(1-dy)((1-dx)·MI0+dx·MI1)+dy((1-dx)·MI2+dx·MI3) 

grad0＝(MAX-MIN)·C0 

grad1＝((MAX-MIN)+max(DIFF0、DIFF1、…、DIFF8))·C0/2 

以上，在特征量分析部1803中，输出grad0、grad1、MIN、MAX(图46的S462)。 

这里，根据(数式A7)，grad1与grad0相比受到块内的最大的最大值和最小值的影响。因此，如果在4×4像素内有较大的倾斜，则grad1表示较大的值。即，grad1容易取比grad0大的值。 

另外，作为特征量分析部1803的输出，并不限定于此，例如也可以将4×4像素中(参照图22A～22D)的最大值设定为MAX、将最小值设定为MIN、将MAX-MIN设定为grad1、将MAX4-MIN4设定为grad0。在此情况下，在用于放大插补的参照像素相同的期间中，MAX、MIN、grad0、grad1为固定，所以有在高倍率放大中块边界变得醒目的情况，但在2倍左右的放大倍率中，能够期待与本实施方式同样的效果。 

(修正量计算部) 

图23是表示图18的修正量计算部1804的处理的详细情况的图。 

在修正量计算部1804中，将输入图像101(图15)的插补位置的周边N×M像素2301(图17的S1705)、和由特征量分析部1803计算的grad0(图23的grad02302)输入，输出修正量Oe。另外，这里设为N＝M＝6像素而进行说明，但也可以利用比该N、M下的范围小或大的范围计算Oe。 

在频带限制部2306中，使用输入像素6×6像素(图23的N×M像素2301)，生成被频带限制的4×4像素。这里，假设在频带限制中利用水平-垂直3×3抽头的低通滤波(LPF)。在利用3×3抽头的LPF的情况下，为 了生成4×4像素的LPF结果，在上下左右需要+1像素。因此，修正量计算部1804的输入为6×6像素。另外，作为频带限制的方法，并不限定于3×3抽头，可以利用更多抽头的滤波器。在此情况下，输入的像素数增加，但能够使频带限制滤波器的特性提高。 

另外，也可以不是2维的LPF滤波，而在沿水平方向进行LPF处理后沿垂直方向进行LPF处理，或者相反，沿垂直方向进行LPF处理、然后沿水平方向实施LPF滤波。在哪种情况下都能够期待同样的效果。 

在插补部2303和插补部2307中，通过插补计算求出与插补位置px、py离开±1像素的位置的像素值。 

图24是表示使4×4的输入像素值为v00～v33的情况下的、插补位置px、py的像素的位置的图。 

图25是表示i00～i22的8个部位的图。 

相对于像素位置2308离开±1像素的位置是图25所示的i00、i01、i02、i10、i12、i20、i21、i22的8个部位。在插补部2303中，使用输入的4×4像素，计算包括px、py位置的9点的像素值。此外，在插补部2307中，使用被频带限制部2306进行了频带限制的4×4像素，通过插补计算包括px、py位置的9点的像素值。 

另外，作为插补的方法可以使用双线性法、双三次卷积法等，但在4×4像素的范围中实施处理的情况下，双线性法是适当的。另外，在用双三次卷积法进行处理的情况下，优选的是在比6×6像素大的像素范围中实施处理。 

在边缘提取部2304中，使用插补部2303或插补部2307的输出结果进行边缘成分的提取。此时，通过表示倾斜的强度的grad0的值，切换利用插补部2303或插补部2307的哪个的结果提取边缘成分。例如，在grad0较小、即倾斜较小的部分中，使用插补部2303的结果进行边缘提取，在grad0较大的情况下，考虑使用被频带限制的插补部2307的结果进行边缘提取等。通过这样，在较小的边缘部分也能够捕捉到较小的边缘，并且在较大的边缘中，能够提取将噪声成分通过LPF除去后的边缘成分。 

另外，作为边缘成分的提取方法，只要将图6那样的系数与i00～i22相乘就可以。另外，通过图6的系数进行的边缘提取是处理的一例，也可 以利用例如图5那样的系数、或者其他系数进行边缘成分的提取。另外，通过变更该滤波系数，能够变更提取的边缘成分的强度及频带。此外，为了将所提取的边缘成分的噪声成分除去，通过进行称作核化的、将0附近的边缘成分圆化为0的非线性的处理，能够不强调噪声成分。 

在修正部2305中，使用由边缘提取部2304提取的边缘成分、和grad0，计算修正量Oe(图18)(图46的S463)。 

这里，首先求出从grad0提取的、对边缘成分相乘的增益。 

图26是由grad0求出增益的表的例子。 

在图26中，横轴是grad0，纵轴是增益。在图26的例子中，为在倾斜较小即grad0较小的部分中使增益较小、在倾斜较大的部分中使增益变大那样的曲线。这里，倾斜较小的部分是噪声成分的可能性较大。因此，如果增大该部分的增益，则强调了噪声。因此，在倾斜较小的部分中，设为抑制性的设定。此外，在倾斜较大的部分中，作为边缘的可靠性较高，所以设为较大地乘以增益、使倾斜更大的设定。 

另外，并不限定于此，grad0与增益的关系也可以自由地设定。例如也可以设为使grad0为中游的部分最高、或者设为在某几个部位有波峰那样的设定。此外，grad0与增益的关系既可以用数式表现，也可以用表保持。为了削减表的量，也可以仅保持一些点，通过线性插补或曲线插补进行插补。 

在计算增益后，在修正量计算部1804中，将对所提取的边缘成分乘以增益倍后的结果作为Oe输出。 

在修正量计算部1804中，如图25所示，插补计算相当于插补位置Px、Py的±1像素的像素位置的像素的值，使用计算出的9像素提取边缘成分。相当于插补位置Px、Py的±1像素的像素位置的值如果放大率是2.0倍则为存在于放大后的高分辨率图像中的像素位置，但根据放大率，为在高分辨率图像中不存在的像素位置。例如在2.5倍的情况下，作为放大后的像素的位置，将0、0.4、0.8、1.2、1.6、2、2.4、2.8…等像素位置的像素插补。但是，对应于1.6的插补位置的像素位置的±1像素的、相当于0.6和2.6的像素位置的像素不能通过放大而生成。在本实施方式中，通过在边缘成分的提取中插补生成±1像素的位置的像素，与使用放大前或放大后的图像的 像素值进行边缘提取相比，对于插补位置能够提取高精度的、良好的边缘成分。 

此外，在修正量计算部1804中，包含核化及查表等的非线性的处理。由于包含这样的处理，所以与在边缘强调后进行放大的情况、或在放大后进行边缘强调的情况等结果不一致。在边缘修正量的计算的情况下，虽然包含这样的非线性的处理的情况较多，但在依次进行处理的情况下，非线性的处理的结果有可能给后面的处理带来不希望的影响。在本实施方式中，通过根据低分辨率图像直接计算高分辨率图像的像素数的修正量，抑制了在依次进行放大处理及边缘强调处理的情况下发生的、不希望的副作用。另外，在本实施方式中，在将9像素插补生成后进行边缘提取，但也可以预先准备同时进行插补生成的式和边缘提取那样的行列式而一起变换。在一起变换的情况下，能够省去无用的运算，能够通过小规模的硬件结构或运算量来实现。 

(插补部) 

在插补部1805(图18)中，由输入的6×6像素1801和插补坐标Px、Py1802，将像素位置Px、Py的像素值插补，输出插补图像OL(图46的S461)。插补部1805中的插补通过双线性法或双三次卷积法等进行。另外，这些放大技术是一般性的技术，不是本实施方式的核心，所以详细的说明省略。 

(合成部) 

在合成部1806中，对由插补部1805生成的高分辨率图像的像素值OL加入由修正量计算部1804计算出的Oe，将合成后的输出像素值O输出(图46的S464)。 

(数式A8)是该O的计算式。 

(数式A8) 

O＝OL+Oe 

(再修正部) 

在再修正部1807中，使用由合成部1806合成的像素值O、和由特征量分析部1803计算出的特征量grad1、MIN、MAX，进行像素值的修正，将修正后的像素值O’输出(图46的S465)。 

(数式A9)是输出值O的计算式。 

(数式A9) 

O＞MAX时，O＝MAX+min((O-MAX)·GAIN，LIMIT) 

O＜MIN时，O＝MIN-min((MIN-O)·GAIN，LIMIT) 

其他时，O’＝O 

(数式A9)中的GAIN、LIMIT是根据grad1计算的参数。 

图27是表示grad1与GAIN的关系的图。 

在图27中，为在grad1较小的情况下使增益较大、grad1越大使增益越小的设定(图46的S465b、图45的C倍值计算部1061)。 

图28是表示grad1与LIMIT的关系的图。 

在图28中，为在grad1较小的情况下LIMIT较大、在grad1较大的情况下LIMIT较小的设定(图46的S465c、图45的阈值剪除部1062)。 

如果如上述那样设定，则在grad1较大的部分、即包含较强的边缘成分的部分中，通过LIMIT进行的剪除变得清晰(变强)，所以成为清楚的影像。另一方面，在包含较小振幅的部分中不怎么进行剪除，所以能够抑制因将过冲切除带来的不自然感。 

另外，图27及28是设定的一例，grad1与GAIN、LIMIT的关系可以由使用者自由地设定。 

以上，根据本实施方式A的图像放大装置，能够生成自然的、且没有较强的过冲而边缘流畅地竖立的影像(图10)。此时，不会发生在放大前后进行边缘强调的情况下发生的过冲(图8)，并且也不会成为因完全不发生过冲而造成的不自然的图像(图9)那样。 

如果进行概括，则为以下这样。即，在将低分辨率图像(图1、图15的输入图像101)放大为高分辨率图像(图1、图15的输出图像107)而显示的情况下，有通过放大而成为模糊的影像的问题。所以，在输入低分辨率的输入图像、输出高分辨率的输出图像的图像放大装置(图像放大装置108、图像放大部1504、图像放大装置1500)中，具备：特征量分析部(特征量分析部102、特征量分析部1803)，分析输入图像的特征量，生成高分辨率图像的像素数的特征量；修正量计算部(修正量计算部103、修正量计算部1804)，输入低分辨率的输入图像，基于特征量计算高分辨率的像素数 的边缘修正量并输出；插补部(插补部104、插补部1805)，通过插补生成放大后的图像(插补图像)；合成部(合成部105、合成部1806)，将插补图像与修正量合成；再修正部(再修正部106、再修正部1807)，输入特征量和合成后的像素值，通过再次进行修正，进行匹配于输入图像的修正，图像放大装置生成清晰且抑制了过冲的放大图像。 

根据该图像放大装置，能够同时实现模糊的抑制、边缘的周边发亮的抑制、和图像粗糙的避免，能够充分且可靠地提高画质。 

《实施方式B》 

以下，参照附图说明实施方式B。实施方式B是将实施方式A变形的变形例。在实施方式B中，关于与上述说明同样的点适当省略重复的说明。另外，以下适当参照上述的图(图1～图29)。并且，关于实施方式B的结构中的、与上述的结构对应的结构，使用与上述的结构的标号相同的标号、或使用与上述的结构的名称相同的名称。 

在有关实施方式B的图像放大装置(图像放大装置108B、图像放大部1504B等)中，上述再修正部将由上述合成部输出的第1上述高分辨率图像(图32A、图30B及图47的虚线)使用由上述特征量分析部生成的上述特征量、和根据上述插补部输出的上述插补图像(图30A、图30B、图47的Ix，y)求出的阈值(参照图30A、图30B、图47的U’x，y)再次修正，生成修正后的第2上述高分辨率图像(图30B的较粗的实线，图32C、图47的较宽间距的较粗的虚线)的图像放大装置。 

(实施方式B1) 

图29表示实施方式B1的图像放大部108B(图像放大部108的下位概念(一例))的块图。 

在图29中，101是低分辨率的输入图像(原图像)，102是输出与根据低分辨率的输入图像101输出的高分辨率图像(第1高分辨率图像、第2高分辨率图像)的各像素对应的特征量的特征量分析部。103是根据特征量分析部102输出的特征量计算边缘成分的修正量、计算输出的高分辨率图像(第2高分辨率图像)的各像素的修正量并输出的修正量计算部。104是输入低分辨率的输入图像101、生成与输出的高分辨率图像的像素数相同的像素数的图像(插补图像)的插补部。105是接受从插补部104输出的高 分辨率图像(插补图像)的像素、并且从修正量计算部103接受对应于像素的修正量、输出修正后的像素(第1高分辨率图像)的合成部。106是使用从特征量分析部102接受到的对应于输出像素的特征量、和根据插补部104生成的像素值计算的阈值、将合成部105输出的合成结果(第1高分辨率图像)再修正并输出的再修正部。107是输出的高分辨率图像(第2高分辨率图像)。108B是输入低分辨率图像、输出高分辨率图像(第2高分辨率图像)的图像放大部。 

以下，对设在实施方式B1的图像放大部108B(图29)中的再修正部106进行的再修正的次序进行说明。 

设高分辨率图像(第1高分辨率图像)的、对应于像素位置(x，y)的合成部105的输出像素值为Xx，y(图47的点线的数据)，设由特征量分析部102计算出的上限值为Ux，y(图47的窄间距的细单点划线的数据)，设下限值为Lx，y，设插补部104生成的像素值(插补图像)为Ix，y(图47的实线的数据)。此时，在再修正部106中，通过(数式B1)的运算，计算上限的阈值U’x，y(图47的窄间距的细虚线的数据)和下限的阈值L’x，y、以及上限侧的极限值TU(参照图47中的、极大点处的U’x，y+TU的值M1)和下限侧的极限值TL。另外，在(数式B1)中，α、T是预先设定的常数，α取0.0～1.0的范围。 

(数式B1) 

下限侧的计算 

Ix，y≤Lx，y时，L′x，y＝Lx，y 

TL＝T 

Ix，y＞Lx，y时，d0＝Ix，y-Lx，y 

d0′＝d0×α 

L′x，y＝Ix，y-d0′ 

TL＝T+d0-d0′ 

上限侧的计算 

Ux，y≤Ix，y时，U′x，y＝Ux，y 

TU＝T 

Ux，y＞Ix，y时，u0＝Ux，y-Ix，y 

u0′＝u0×α 

U′x，y＝Ix，y+u0′ 

TU＝T+u0-u0′ 

另外，这里，图47的β相对于上述α具有β＝1-α(0＜β＜1)的关系。 

即，计算比上述Ux，y小(Ux，y-Ix，y)×β的值作为U′x，y(参照图47的窄间距的虚线的细箭头线)。U′x，y作为到Ix，y的距离，具有从Ux，y减去从Ux，y到Ix，y的距离(Ux，y-Ix，y)的比例β的部分((Ux，y-Ix，y)×β)的距离。 

另外，图29中的、从插补部104向再修正部106的箭头线(图31的从插补部1805向再修正部1807的箭头线)表示为了计算这样的U′x，y而由再修正部106(再修正部1807)从插补部104(插补部1805)取得Ix，y。 

在通过(数式B1)计算U’x，y、L’x，y及TU、TL后，在再修正部106(图45的C倍值计算部1061、图46的S465)中，通过(数式B2)的运算计算修正值Px，y。另外，这里，计算的修正值Px，y在图47中被表示为修正值Px，y(B)1102(宽间距的粗虚线的数据)。 

(数式B2) 

Xx，y＞U′x，y时，Px，y＝U′x，y+(Xx，y-U′x，y)×C 

Xx，y＜L′x，y时，Px，y＝L′x，y-(L′x，y-Xx，y)×C 

其他时，Px，y＝Xx，y 

另外，在数式中，C是预先设定的0.0～1.0的范围的常数。 

另外，如上所述，Ux，y＞Ix，y时，是U′x，y＝Ux，y-(Ux，y-Ix，y)×β。因此，在“Ux，y＞Ix，y且Xx，y＞U′x，y”时，是Px，y＝Px，y(B)＝U′x，y+(Xx，y-U′x，y)×C＝{Ux，y+(Xx，y-Ux，y)×C}-(Ux，y-Ix，y)×β×(1-C)＝Px，y(A)-(Ux，y-Ix，y)×γ(参照γ＝β×(1-C)，0＜γ＜1，图47)。另外，这里，Px，y(B)不是该实施方式B1中的修正值Px，y(Px，y(B))，而表示实施方式A中的上述修正值Px，y(图47的宽间距的粗单点划线)。即，Px，y(B)是比上述Px，y(A)小上述的(Ux，y-Ix，y)×γ的值(参照图47的宽间距的粗虚线的箭头线)。 

通过该计算，使超过上限值U′x，y(＜Ux，y)和下限值L′x，y(＜Lx， y)的部分为C倍(裁剪)。由于C被设定为1.0以下，所以结果超过了被U’x，y和L’x，y所夹的范围的部分被修正而变小。 

接着，通过(数式B3)的运算将修正值Px，y进一步修正，计算第2修正值P’x，y(Px，y(B)的极大点附近的平坦部分)。此外，min(a，b)是选择a和b中的较小者的函数。 

(数式B3) 

Px，y＞U′x，y时，P′x，y＝U′x，y+min(Px，y-U′x，y、TU) 

Px，y＜L′x，y时，P′x，y＝L′x，y-min(L′x，y-Px，y、TL) 

其他时，P′x，y＝Px，y 

通过(数式B3)，将超过TU、TL(值M1)的上冲和下冲成分变换为TU或TL。 

在再修正部106中，将该第2修正值P’x，y(图47的Px，y(B))输出(图46的S465d、图45的阈值剪除部1062)。 

图30A是图示Ux，y、Lx，y、Ix，y、U’x，y、L’x，y、TU以及TL的关系的图。 

由于常数α是0.0～1.0的范围，所以各自的关系为图30A那样。在图30A中，U’x，y和L’x，y为比Ux，y及Lx，y更接近于Ix，y的值(参照图47)，合成部105的输出对于超过了U’x，y和L’x，y的部分进行(数式B2)以及(数式B3)的修正。另外，是U’x，y+TU＝Ux，y+T(参照图47)，L’x，y-TL＝Lx，y-T。 

图30B是进行了(数式B2)、(数式B3)的修正的例子。 

另外，图47表示将图30B示意表示的曲线。关于图47的详细情况，请适当参照图30B。 

在图30B中，由虚线(圆)表示的折线1101(图47的虚线的数据)是合成部105的输出，由粗实线表示的折线1102(图47的宽间距的粗虚线的数据)是再修正部106的输出。此外，由细实线表示的折线(图47的实线的数据)是插补部104的输出Ix，y，虚线分别是U′x，y、L’x，y、U’x，y+TU、L’x，y-TL(图47的窄间距的细单点划线的数据、值M1的双点划线的数据)。 

如图30B所示，在1101超过U’x，y的点1103(参照图47)，根据常 数C(C＝1-γ/β(γ＜β))，输出(Px，y(B))的斜率变化，在超过U’x，y+TU的点1104，被剪除为U’x，y+TU(图47的双点划线)。 

同样，从作为L’x，y以下的点1105改变输出的斜率，在作为L’x，y-TL以下的点1106被剪除为L’x，y-TL。如图30B所示，对于由1101表示的合成部105的信号(Xx，y，图47的虚线的数据)，生成抑制了上冲和下冲、并且边缘的倾斜较强的图像。另外，由于边缘的斜率的修正从上限值或下限值的跟前进行，所以也能够抑制使倾斜陡峭造成的不自然。 

以上，根据实施方式B1，能够提供将放大处理造成的模糊通过边缘强调进行缓和、并且抑制了边缘强调造成的过冲的发生的自然的影像。由此，即使在将低分辨率图像放大的情况下，也能够不丧失影像的锐感而显示自然的影像。 

另外，图47的点1103x表示对应于实施方式B1的点1103的、实施方式A1的Px，y(A)的点。 

并且，范围106y表示通过Px，y(B)中的修正而平坦化的范围，范围106yC表示通过Px，y(A)中的修正而平坦化的范围。 

并且，如上所述，上述再修正部(再修正部106)作为进行除去的上述第1成分中的至少一部分而将第3成分(图47的(Xx，y-Ix，y)×γ)从上述第1高分辨率图像(图32A、图30B及图47的虚线)中除去。该第3成分是通过将该第3成分除去、生成具有比没有除去该第3成分的情况下的第2高分辨率图像(参照图32B、图47的Px，y(A)等)的平坦的范围(范围106yC)窄的平坦的范围(参照图32C、图47的Px，y(B)等)的范围106y)的第2高分辨率图像(图32C、图47的Px，y(B))的成分。 

由此，平坦的范围成为比原来的范围(范围106yC)更窄的范围(范围106y)，能够更充分地抑制图像的粗糙而得到更高的画质。 

这样，上述合成部(合成部105、边缘强调部)也可以对由上述插补部生成的上述插补图像(图30A及图47的Ix，y、图30B的细实线)的像素值加上上述修正量。并且由此也可以生成强调了上述插补图像中的边缘的上述第1高分辨率图像(图30B及的图47的虚线)。 

并且，上述再修正部也可以生成将第1上述高分辨率图像的使上述边缘的周边发亮的上述边缘的强调中的过度修正的成分(过冲的成分)中的、 根据基于上述差设定的上述阈值(参照图30A、图30B、图47的U’x，y)确定的成分除去后的第2上述高分辨率图像(图30B的粗实线、图47的Px，y(B))。这里，再修正部也可以计算具有生成比在作为上述阈值而确定了第1值(图30A及图47的Ux，y)的情况下生成的上述第2高分辨率图像(图32B、图47的Px，y(A))的平坦部(范围106yC)窄的平坦部(范围106y)的第2上述高分辨率图像(图30B的粗实线，图32C、图47的Px，y(B))的第2值(U’x，y)作为上述阈值。 

(实施方式B2) 

参照附图对实施方式B2进行说明。 

图31是表示进行实施方式B2的S1707(图17)的图像放大处理的图像放大部1504B(图15)的处理的流程的图。以下，使用图31对实施方式B2的图像放大处理详细地说明。 

实施方式B2的图像放大装置1500(图15)作为图像放大部1504而具备图31的图像放大部1504B。 

(再修正部) 

在再修正部1807中，使用由合成部1806合成后的像素值O(第1高分辨率图像)、由插补部1805计算出的像素值OL(插补图像)、和由特征量分析部1803计算出的特征量grad1、MIN、MAX，进行由合成部1806合成的像素值O(第1高分辨率图像)的修正，将修正后的像素值O’(第2高分辨率图像)输出。 

以下，关于O’的计算方法，使用(数式B4)到(数式B6)进行说明。 

(数式B4) 

OL≤MIN时，NMIN＝MIN 

LLIM＝LIMIT 

OL＞MIN时，NMIN＝OL-(OL-MIN)×E 

LLIM＝LIMIT+(1-E)(OL-MIN) 

(数式B5) 

MAX≤OL时，NMAX＝MAX 

ULIM＝LIMIT 

MAX＞OL时，NMAX＝OL+(MAX-OL)×E 

ULIM＝LIMIT+(1-E)(MAX-OL) 

(数式B6) 

O＞MAX时， 

O′＝NMAX+min((O-NMAX)·GAIN、ULIM) 

O＜MIN时， 

O′＝NMIN-min((NMIN-O)·GAIN、LLIM) 

其他时，O′＝O 

(数式B4)～(数式B6)中的E(上述α)是常数。此外，GAIN(上述C)、LIMIT(T)是由图45的C倍值计算部1061或阈值剪除部1062根据grad1计算的参数。 

(数式B4)是再修正部1807使用MIN(Lx，y)、LIMIT和OL(Ix，y)及常数E，计算使O的倾斜变化的点NMIN(L′x，y)、和下限的剪除值LLIM(TL)的数式。 

(数式B5)是再修正部1807使用MAX(Ux，y)、LIMIT和OL、常数E、计算使O的倾斜变化的NMAX(U′x，y)和上限的剪除值ULIM(TU)的数式。在该计算中，常数E是0.0～1.0。另外，如果使E较小，则只要稍稍存在与插补放大的像素值OL的差就进行倾斜的调整(图47的Px，y(B))，如果将E设定为1.0，则仅将超过了MIN、MAX的部分进行修正(图47的Px，y(A))。另外，作为常数E，如果设定为0.5以下，则倾斜的变化变快，能够进一步减小通过使边缘陡峭带来的不自然度。 

这里，利用图32A～图32C说明常数E带来的输出波形的差异。 

图32A是表示合成部1806的输出(图47的Xx，y)的图。 

图32B是表示E＝1.0的再修正后的输出(图47的Px，y(A))的图。 

图32C是E＝0.25的再修正后的输出图像(图47的Px，y(B))的水平行的一部分。 

在这些各图中，横轴表示图像的水平方向的像素位置，纵轴表示各像素位置的像素值。 

如图所示，可知图32B(图47的Px，y(A))、图32C(图47的Px，y(B))都抑制了在图32A(图47的Xx，y)中发生的上冲或下冲成分，并且边缘变得陡峭。 

并且，在图32C(图47的Px，y(B))中，与图32B(图47的Px，y(A))相比，在维持边缘的倾斜的同时，如比图47的范围106yC窄的范围106yC所示，上部平坦化的影响变小。因此，在图32C(图47的Px，y(B))中，与图32B(图47的Px，y(A))相比，边缘周边成为自然的形状，成为清楚的影像。 

《实施方式C》 

以下，参照附图说明实施方式C。实施方式C也是将实施方式A变形的变形例。另外，实施方式C的细节部也可以与实施方式B是同样的。 

在有关实施方式C的图像放大装置(图像放大装置108C、图像放大部1504C等)中，具备：插补像素位置生成部(插补像素位置生成部110)，输入上述低分辨率图像及上述高分辨率图像的图像尺寸、或放大率(输入放大率、和上述低分辨率图像及上述高分辨率图像的图像尺寸的至少一方)，生成用来从上述低分辨率图像生成上述高分辨率图像的、对应于上述高分辨率图像的各像素的、对上述低分辨率图像的第1插补像素位置；白细线化部(白细线化部109)，输入上述低分辨率图像(输入图像101)和上述第1插补像素位置，根据上述第1插补像素位置的周边的像素值的变化修正上述第1插补像素位置，生成修正了上述第1插补像素位置的第2插补像素位置；上述修正量计算部(修正量计算部103)输入上述第2插补像素位置和上述低分辨率图像，计算输出的第2上述高分辨率图像的各像素的修正量，上述插补部(插补部104)输入上述低分辨率图像和上述第1插补像素位置，插补计算对应于输入的上述第1插补像素位置的像素值，生成在该第1插补像素位置具有计算出的上述像素值的上述插补图像(图36及图37的(a))，上述合成部将由上述修正量计算部根据上述第2插补像素位置计算的上述修正量(图36及图37的右栏的(b))、和由上述插补部根据上述第1插补像素位置生成的上述像素值(图36及图37的(a))合成(图36及图37的(c)的41106)，生成第2上述高分辨率图像(图37的(d)的1208)。 

另外，也可以如图33中的、从插补像素位置生成部110向特征量分析部102的箭头线等所示，为以下这样。 

即，也可以是，上述特征量分析部分析上述第1插补像素位置(插补 像素位置生成部110的位置)处的上述低分辨率图像的特征量，输出对输出的第2上述高分辨率图像的各像素的特征量，上述修正量计算部输入上述第2插补像素位置、上述低分辨率图像、以及来自上述第1插补像素位置的上述特征量，计算输出的第2上述高分辨率图像的各像素的修正量。 

此外，也可以如图39中的、从白细线化部41909向特征量分析部41903的箭头线等所示，为以下这样。 

即，也可以是，上述特征量分析部分析上述第2插补像素位置(白细线化部41909的位置)处的上述低分辨率图像的特征量，输出对输出的第2上述高分辨率图像的各像素的特征量，上述修正量计算部输入上述第2插补像素位置、上述低分辨率图像、以及来自上述第2插补像素位置的上述特征量，计算输出的第2上述高分辨率图像的各像素的修正量。 

(实施方式C1) 

图33表示实施方式C1的图像放大部108C(图像放大部108的下位概念(一例))的块图。 

在图33中，101是低分辨率的输入图像(原图像)，102是输出与根据低分辨率的输入图像101输出的高分辨率图像(第1高分辨率图像、第2分辨率图像)的各像素对应的特征量的特征量分析部。110是输入放大率、或者输入图像101和输出图像107的图像尺寸、生成对应于尺寸的、用来插补高分辨率图像的各像素的第1插补像素位置的插补像素位置生成部。 

并且，109是根据输入图像101、和由插补像素位置生成部110生成的第1插补像素位置、修正计算将第1插补像素位置修正的第2插补像素位置的白细线化部。此外，103是根据特征量分析部102输出的特征量、计算对应于由白细线化部109计算出的第2插补像素位置的边缘成分的修正量、将输出的高分辨率图像(第2高分辨率图像)的各像素的修正量输出的修正量计算部。 

并且，104是输入低分辨率的输入图像101、和进行通过白细线化部109的修正之前的上述第1插补像素位置、生成与输出的高分辨率图像相同像素数的图像(插补图像)的插补部。105是接受从插补部104输出的高分辨率图像(插补图像)的像素、并且从修正量计算部103接受对应于该像素的修正量、将修正后的像素(第1高分辨率图像)输出的合成部。106是通 过从特征量分析部102接受到的、对应于输出像素的特征量、将合成部105输出的合成结果(第1高分辨率图像)进行再修正并输出的再修正部。107是输出的高分辨率图像(输出图像、第2高分辨率图像)，108C是输入低分辨率图像(输入图像101)、输出高分辨率图像(输出图像107、第2高分辨率图像)的图像放大部。 

(插补像素位置生成部) 

在插补像素位置生成部110中，接受放大率、或者输入图像的尺寸和输出图像的尺寸作为参数，使用它进行插补像素位置(第1插补像素位置)的计算。另外，在输入是输入图像尺寸和输出图像尺寸的情况下，通过图像尺寸的比率计算放大率。另一方面，在输入了放大率的情况下，原样利用输入的放大率。 

另外，此时，在水平-垂直的放大率不同的情况下，输入的放大率为水平和垂直的放大率两个。在两者相同的情况下，作为放大率仅1个就可以，但在这里的说明中，设为接受水平方向的放大率和垂直方向的放大率的两个而进行说明。 

图34表示根据水平-垂直的放大率进行插补像素位置的计算的流程(S3401～S3410)。 

在插补像素位置生成部110中，首先，计算水平-垂直方向的移动幅度dx、dy(S3402)。dx、dy可以根据放大率计算。具体而言，dx、dy为放大率的倒数。例如，如果放大率是水平-垂直各2倍，则dx、dy为1/2＝0.5。 

接着，将插补像素位置(x，y)初始化为初始值(0、0)(S3403)。作为该初始值，这里设定为0，但在不想改变放大时的图像的中心的情况下，只要设定-0.25、-0.25就可以。这样，初始值根据想要作为高分辨率图像生成的图像的相位改变设定。 

接着，将(x，y)作为第1插补像素位置输出(S3404)。另外，在第1插补像素位置(x，y)是负值的情况下，剪除为0而进行输出。 

接着，将水平方向的插补位置x错移dx(S3405)。在错移了dx的结果x比输入图像的水平尺寸小的情况下，回到S3404的处理(S3406：是)。在超过水平尺寸的情况下(S3406：否)，将x初始化为初始值(S3407)，对y加上dy而更新(S3408)。 

并且，在垂直位置y比输入图像的垂直尺寸小的情况下(S3409：是)，回到S3404的处理(S3409)。在超过垂直尺寸的情况下(S3409：否)，将全部的像素的插补像素位置输出后结束。 

以上，生成高分辨率图像的尺寸量的第1插补像素位置。 

另外，这里的第1插补像素位置的计算方法是一例，如果使用一般的在放大处理中使用的插补位置的计算方法，也能够期待与本实施方式同样的效果。此外，也可以通过适当设定输入图像的初始值及移动宽度dx、dy、仅将输入图像的一部分匹配于输出图像的尺寸而放大。在此情况下，只要将S3406、S3409的条件分别设为输出的插补像素位置的个数超过输出图像的水平尺寸、以及超过垂直尺寸就可以。 

(白细线化部) 

在白细线化部109中，输入低分辨率图像(输入图像101)、和由插补像素位置生成部110生成的第1插补像素位置，输出修正了第1插补像素位置的第2插补像素位置。 

图35是白细线化处理的流程(S3501～S3512)。 

在白细线化中，首先，输入第1插补像素位置(x，y)(S3502)。 

接着，计算相邻于第1插补像素位置(x，y)的、输入图像101的像素位置(S3503)。如前面说明，如果第1插补像素位置是小数位置、例如(x，y)＝(10.5、12.5)，则相邻的输入图像101的像素为处于(10、12)(11、12)(10、13)(11、13)的4个位置的像素。 

接着，检查计算出的多个相邻像素中的、具有最大及最小的像素值者(S3504)。在具有最大和最小的像素值的像素的位置是沿水平方向错移的两个位置的情况下(S3505：是)，计算x方向的修正量而修正x(S3506、S3507)。该修正是将x向具有最小值的像素位置的方向错移的修正。 

另外，错移多少通过最大值与最小值的差决定。例如，进行在差较大的情况下将x更大地错移，在差较小的情况下几乎不移动那样的处理。 

同样，关于y方向，也对于具有最大和最小的像素值的像素的位置沿垂直方向错移的情况(S3508：是)计算y方向的修正量，进行y的修正(S3509、S3510)。 

并且，将修正后的(x，y)作为修正后的第2插补像素位置(x’，y’) 输出(S3511)。 

即，通过确定最大的像素值的像素和最小的像素值的像素的两个像素，确定输入图像101中的、第1插补像素位置处的倾斜的方向。并且，确定从第1插补像素位置向所确定的方向中的、朝向最小值的像素侧的方向、即朝向较暗侧的方向移动后的位置作为第2插补像素位置。 

通过进行以上的处理，在相邻像素的最大值与最小值的差较大的情况下，即对明亮度的差较大的部分，将第2插补像素位置(x，y)向较暗的方向修正。通过利用该修正的插补像素位置进行插补计算，如在下述中详细说明那样，明亮的部分的区域变窄，结果能够使白色的部分变细。 

另外，在第1插补像素位置处的斜率较平坦的情况下等，也可以将与第1插补像素位置相同的位置确定为第2插补像素位置。 

(特征量分析部) 

在特征量分析部102中，计算对于插补部104输出的放大后的各像素的特征量并输出。作为特征量输出的是对应于插补像素位置(例如第1插补像素位置)的、低分辨率图像的位置周边的倾斜的强度、和周边像素的上限值与下限值。倾斜的强度有将相邻于插补像素位置的低分辨率图像的像素提取2×2像素、通过图3及图4的滤波求出水平及垂直的微分成分dx和dy、将较大者作为倾斜的强度等的方法。另外，作为倾斜的强度的计算方法也可以采用sobel滤波或prewitt滤波等，并不限定于该方法。此外，作为上限值和下限值，在插补像素位置的周边的低分辨率图像n×n像素之中，将最大的像素值设定为上限值，将最小的值设定为下限值。 

通过以上，计算倾斜的强度和上限值、下限值作为特征量并输出。 

另外，在本实施方式中，作为对特征量分析部102输入的插补像素位置而输入修正前的第1插补像素位置，但也可以输入由白细线化部109修正后的第2插补像素位置。在此情况下，下限值和上限值也向修正后的第2插补像素位置方向错移，所以能够进行更强的修正。 

(修正量计算部) 

在修正量计算部103中，计算与对应于第2插补像素位置的像素的边缘程度相应的修正量。在修正量计算部103中，首先，使用由白细线化部109修正后的第2插补像素位置、和低分辨率的输入图像的像素值计算边缘 成分。作为边缘成分的提取方法，使用例如上述图5或图6所示的拉普拉斯滤波等。另外，插补像素位置(例如小数位置)的像素由于不存在于低分辨率图像(例如，仅由整数位置的像素构成)，所以在实施这些滤波的情况下，通过一次插补运算，在计算对应的各像素位置(例如整数位置)的像素值后，进行3×3的滤波处理。 

在提取边缘成分后，使用由特征量分析部102计算出的倾斜的强度，计算修正量计算部103提取的边缘的强调程度。 

通过对修正量计算部103输入由白细线化部109修正后的第2插补像素位置，输出的修正量在较亮的方向和较暗的方向上变得不均等。由此，能够改变白和黑的修正量的平衡。 

即，作为较亮的第1插补像素位置的修正量，不是在第1插补像素位置计算的修正量，而确定修正后的较暗的第2插补像素位置计算的修正量。 

(插补部) 

在插补部104中，使用双线性法或双三次卷积法等，由低分辨率图像(输入图像101)通过插补放大生成高分辨率的图像(插补图像)。另外，这些一般的放大技术并不是本实施方式的核心，所以省略详细的说明。作为插补部104的技术，能够使用以往以来使用的放大插补技术。 

另外，在插补部104中，不使用由白细线化部109修正的第2插补像素位置。这是因为，如果作为插补部104的像素位置而使用修正后的结果，则在从白变化为黑的边缘部分强调了锯齿感。因而，插补部104利用由插补像素位置生成部110生成的、修正前的第1插补像素位置。 

(再修正部) 

在再修正部106中，输入合成部105输出的、实施了边缘强调的第1高分辨率图像、和特征量分析部102输出的、对应于第1高分辨率图像的上限值、下限值，进行合成部105输出的第1高分辨率图像的再修正。 

以下，对再修正的次序进行说明。 

在设对应于第1高分辨率图像的像素位置(x，y)的、合成部105的输出像素值为Xx，y、上限值为Ux，y、下限值为Lx，y时，在再修正部106中，通过上述(数式A1)的运算来计算第1修正值Px，y。 

接着，通过上述(数式A2)的运算，将第1修正值Px，y进一步修正， 计算第2修正值P’x，y。 

在再修正部106中，将该第2修正值P’x，y输出。 

通过以上的处理，根据实施方式C1，输出使白色的部分变细、并且抑制了下冲和上冲的放大图像。 

图36是表示到合成为止的处理中的数据的图。 

图37是表示到再修正为止的处理中的数据的图。 

以下，利用图36和图37，对处理的过程和信号的流程进行说明。图36及图37的修正前(左栏)表示没有通过白细线化处理进行了插补像素位置的修正的情况的数据，修正后(右栏)表示修正了插补像素位置的情况的数据。 

在图36、图37各自中，表示插补部104的输出(a)、修正量计算部103的输出(b)、合成部105的输出(c)、以及再修正部106的输出(图37(d))。另外，再修正部106的输出(d)是设T为0的情况的结果。另外，图的水平方向表示像素位置，垂直方向表示像素值。像素值越向上行进用越亮的颜色、越向下行进用越暗的颜色表示。 

在图37中，表示到合成部105的输出(c)为止的例子。 

这里，在进行像素位置修正的情况下，也由于对插补部104输入修正前的第1插补像素位置，所以在(a)的行中，41101和41102(插补图像)两者相同。 

(b)是修正量计算部103的输出，但在进行了像素位置修正的情况下(右栏)，通过在没有进行像素位置修正的左栏的情况下确定较亮的修正量的第1插补像素位置处确定第2插补像素位置的较暗的修正量，较亮的修正量的部分变窄。由于进行这样的像素位置修正，所以与(b)的左栏的41103相比，在右栏的41104之上凸的部分变窄。 

(c)是将(a)与(b)合成的结果，可知与上段的左栏的41105中的较亮的部分41105R相比，右栏的41106的较亮的部分41106R变窄(参照下段的41107)。因此，白色的部分看起来变细。 

在图37(d)中，表示通过再修正部106再修正后的结果。观察图37(d)可知，再修正后的信号1207和1208的较亮的部分的宽度在进行了像素位置修正的情况(右栏)的部分1208R中，变得比另一部分1207R窄 (1209)。 

这样，在再修正后(右栏)中，输出没有下冲和上冲、并且白色变细的、放大后的数据。 

以上，根据实施方式C1，能够实现使放大后的较亮的成分变细的边缘修正，以消除特别在匹配于放大处理进行边缘修正的情况下容易发生的白色变粗那样的印象。由此，能够生成在视觉上取得平衡的放大图像(输出图像107)。 

另外，如果不进行下冲及上冲的修正，则在到合成部105为止的处理中，也可以结束放大处理。在此情况下，也能够得到白线不会看起来变粗的效果。 

这样，图像放大装置108(图像放大装置108C)具备白细线化部(白细线化部109)。 

白细线化部通过将第1插补像素位置修正为第2插补像素位置，使边缘强调部(合成部105)计算根据修正后的第2插补像素位置计算的进行了修正量(图36的41104)的边缘强调的第1高分辨率图像，控制边缘强调部的动作。通过该控制，由边缘强调部计算包含的白色的部分(图36的部分41106R)比没有被控制的情况下的白色的部分(部分41105R)窄的第1高分辨率图像(信号41106)。 

并且，白细线化部通过该控制，还使再修正部106进行这样的、对缩窄了白色的部分的第1高分辨率图像的再修正，控制再修正部106的动作。通过该控制，由再修正部106计算包含的白色的部分(图37的部分1208R)比没有被控制的情况下的白色的部分(部分1207R)窄的第2高分辨率图像(图37(d)的信号1208)。 

(实施方式C2) 

参照附图对实施方式C2进行说明。 

图38是实施方式C2的、设有图像放大部1504C的图像放大装置1500的块图。 

在图38中，101是输入图像，1601是第1插补像素位置x，y，1602是选择第1插补像素位置x，y的周边6x6像素的像素选择部。1603是取出第1插补像素位置x，y的小数点部分px、py的小数点位置计算部，1504C 是输入输入图像的6x6像素和小数点位置px、py、计算第1插补像素位置x，y的像素值(第2高分辨率图像)并输出的图像放大部。107是放大处理后的第2高分辨率图像。 

图39是表示实施方式C2的、进行图17的S1707的图像放大处理的图像放大部1504C(图38)的处理的流程的图。以下，使用图39对实施方式C2的图像放大处理详细地说明。 

(白细线化部) 

图40是表示图39的白细线化部41909的处理的详细情况的图。 

在白细线化部41909中，由倾斜方向判断部2003根据输入像素计算倾斜方向。 

图41是说明倾斜方向的检测方法的图。 

在图41中，白圆是第1插补像素位置的相邻像素，黑圆是在相邻像素之中为最大值的像素，带网格的圆是在相邻像素之中为最小值的像素(参照图35的S3504等)。在4像素的值都相同的图案(a)(f)(k)(p)中，在所有的像素中设为白圆。 

图41的箭头标记表示从最小值朝向最大值的方向，在箭头标记是水平的情况下进行仅横向的修正，在垂直的情况下进行仅纵向的修正，在倾斜的情况下进行水平-垂直两者的修正。另外，这里所示的倾斜方向判断部2003是一例，也可以根据对相邻像素实施图3或图4所示的滤波的结果来判断倾斜方向。 

在插补位置修正量计算部2004中，根据最大值与最小值的差进行修正量的计算。另外，在修正量的计算中，在倾斜方向判断部2003的结果是仅进行水平方向的修正的情况下仅计算x的修正量，在是垂直方向的修正的情况下仅计算y的修正量，在是倾斜的情况下计算x、y两者的修正量(参照图35的S3505～S3510)。 

作为修正量计算，例如有(数式C1)、(数式C2)那样的方法。 

(数式C1) 

AX＝CLIP(0，(最大值-最小值)×K、L)

(数式C2) 

AY＝CLIP(0，(最大值-最小值)×K、L) 

在(数式C1)、(数式C2)中，AX是水平方向的修正量，AY是垂直方向的修正量，K、L分别是常数。此外，CLIP表示将运算结果剪除为0～L的范围。如前面说明那样，仅在进行各方向的修正的情况下进行通过(数式C1)、(数式C2)的计算，关于不进行修正的方向的修正量为0。例如，在进行仅垂直方向的修正的情况下，为AX＝0。另外，也可以通过将K设定为负的值，不仅使白色变细、使黑色也变细。在图像放大装置1500中，在想要故意使白色看起来粗的情况下，也能够通过K的设定使白色变粗。 

另外，关于图41(d)(g)(j)(m)的倾斜方向的移动，在通过(数式C1)、(数式C2)的计算式计算修正量的情况下，发生以下这样的问题。 

图42是表示在修正量的计算中发生的问题的图。 

图42(a)是基于(数式C1)、(数式C2)设定修正量AX、AY的情况的例子。如图42(a)所示，修正量为以原点为中心的正方形的形状，在倾斜方向(2201)的修正的情况下，与仅水平、垂直的修正时相比变长为约1.414倍。由此，有将图像中的倾斜线等过度地修正而摇摆的情况。所以，在插补位置修正量计算部2004中，根据AX、AY的长度，如图42(b)的2202那样进行AX、AY的调整，以来到圆周上的位置。由此，防止过度施加向倾斜方向的修正。在该修正中需要使用三角函数的运算，但作为更简单的方法，在与图41(d)(g)(j)(m)的4图案一致的情况下，也可以将AX、AY设为 倍等。 

接着，在插补位置修正部2005中，对插补坐标Px、Py分别加上AX、AY而进行修正(数式C3)。 

(数式C3) 

Px′＝CLIP(0，Px+AX、1.0) 

Py′＝CLIP(0，Py+AY、1.0) 

另外，在(数式C3)中，Px、Py分别被标准化为0～1的范围。例如，在Px取0～255的值的情况下，计算Px’的数式为Px’＝CLIP(0，Px+AX、255)。 

通过以上，计算修正后的第2插补坐标Px’和Py’(第2插补像素位置、图40的插补坐标2006)。 

(特征量分析部) 

图43是表示图39的特征量分析部41903的处理的详细情况的图。 

在特征量分析部41903中，将输入图像101(图38)的插补位置的周边N×M像素42301、和通过白细线化部41909计算的第2插补像素位置px’、py’(图43的插补坐标42302)输入，作为特征量而输出grad0、grad1、MIN、MAX。另外，这里，设输入为N＝M＝4中的16像素而进行说明，但也可以通过比其小或大的范围计算特征量。 

如果对图像放大部1504C输入的6×6像素中的、中央的4×4像素被输入，则在特征量分析部41903中，首先通过各块的MIN/MAX计算部42303计算各2×2像素块的像素值的最大值和最小值。所谓2×2像素块，如上述图20所示，是将4×4像素按照2×2像素分割为9块的块。在图20中，○标记是像素，0～8的数字是块的号码。这里，将各块的最大值和最小值设为MINn、MAXn(是n＝0、1、2、3、...、8，对应于图20的块号码。 

在块差计算部42304中，计算各块的差DIFFn。DIFFn的计算式是上述(数式A5)那样的。 

此外，在区判断部42305中，根据修正后的插补坐标(第2插补像素位置)px’、py’，计算在MIN、MAX的计算中使用的块、和用于插补的DX、DY。通过上述图21，表示4×4像素、px’、py’、与插补像素的关系。由于第2插补像素位置的小数点成分是px’、py’，所以为0.0≤px、py＜1.0，px’、py’为图21斜线的范围。 

根据px’、py’处于图21的a、b、c、d的哪个区，如图22A～22D那样改变用于插补的MINn、MAXn。图22A的由斜线表示的块表示在图21的a的区中有px’、py’的情况下选择的MINn、MAXn。图22B的由斜线表示的块表示在图21的b的区中有px’、py’的情况下选择的MINn、MAXn。图22C的由斜线表示的块表示在图21的c的区中有px’、py’的情况下被选择的MINn、MAXn。图22D的由斜线表示的块表示在图21的d的区中有px’、py’的情况下被选择的MINn、MAXn。 

(数式C4)是求出MI0、MI1、MI2、MI3和MA0、MA1、MA2、MA4、DX、DY的式子。 

(数式C4) 

a的区的情况) 

MI0＝MIN0 

MI1＝MIN1 

MI2＝MIN3 

MI3＝MIN4 

MA0＝MAX0 

MA1＝MAX1 

MA2＝MAX3 

MA3＝MAX4 

DX＝Px′+0.5 

DY＝Py′+0.5 

b的区的情况) 

MI0＝MIN1 

MI1＝MIN2 

MI2＝MIN4 

MI3＝MIN5 

MA0＝MAX1 

MA1＝MAX2 

MA2＝MAX4 

MA3＝MAX5 

DX＝Px′-0.5 

DY＝Py′+0.5 

c的区的情况) 

MI0＝MIN3 

MI1＝MIN4 

MI2＝MIN6 

MI3＝MIN7 

MA0＝MAX3 

MA1＝MAX4 

MA2＝MAX6 

MA3＝MAX7 

DX＝Px′+0.5 

DY＝Py′-0.5 

d的区的情况) 

MI0＝MIN4 

MI1＝MIN5 

MI2＝MIN7 

MI3＝MIN8 

MA0＝MAX4 

MA1＝MAX5 

MA2＝MAX7 

MA3＝MAX8 

DX＝Px′-0.5 

DY＝Py′-0.5 

在特征量计算部42306中，根据由块差计算部42304计算出的DIFFn、由区判断部计算出的MI0～3、MA0～3、DX、DY，计算grad0、grad1、MIN、MAX。 

通过上述(数式A7)表示计算式。 

另外，这里，在特征量分析中输入修正后的第2插补坐标(第2插补像素位置)Px’、Py’，但也可以输入插补前的第1插补坐标(第1插补像素位置)的小数点成分Px、Py。 

(修正量计算部) 

图44是表示图39的修正量计算部41904的处理的详细情况的图(参照图23)。 

在插补部2703和插补部2707中，通过插补计算求出与修正后的插补位置(第2插补像素位置)px’、py’离开±1像素的位置的像素值。通过上述图24，表示设4x4的输入像素值为v00～v33的情况下的插补位置px’、py’的像素的位置。相对于作为第2插补像素位置的插补位置px’、py’的像素位置2308离开了±1像素的位置为图25所示的i00、i01、i02、i10、i12、i20、i21、i22的8个部位。在插补部2703中，使用输入的4×4像素，通过插补来计算包含px’、py’位置的9点的像素值，在插补部2707中，使用 由频带限制部2706进行了频带限制的4×4像素，通过插补来计算包含px’、py’位置的9点的像素值。 

以上，在修正量计算部41904中，通过使用修正后的第2像素位置(第2插补像素位置)进行边缘成分的计算，能够进行对应于边缘的明亮度的、粗细的调整。由此，能够变更白色的部分和黑色的部分中的边缘的修正量的平衡，能够控制粗细度。 

(插补部) 

在插补部41905(图39)中，使用输入的6×6像素41901、和修正前的第1像素位置(第1插补像素位置)的小数点位置Px、Py41902，对像素值进行插补而输出插补图像OL。 

(再修正部) 

在再修正部41907中，使用由合成部41906合成的像素值O(第1高分辨率图像)、和由特征量分析部计算出的特征量grad1、MIN、MAX进行像素值的修正，将修正后的像素值O’(第2高分辨率图像)输出。 

通过上述(数式A9)表示输出值O的计算式。 

(数式A9)中的GAIN、LIMIT是由grad1计算的参数。图27是表示grad1与GAIN的关系的图。在图中，为在grad1较小的情况下使增益较大、grad1越大使增益越小的设定。 

图28是表示grad1与LIMIT的关系的图。在图28中，为在grad1较小的情况下LIMIT较大、在grad1较大的情况下LIMIT变小的设定。 

另外，与上述图27、图28的说明同样，也可以为在再修正部41907中使用对应于特征量的常数(GAIN及LIMIT的至少一方)的设定。例如，也可以为使用对应于特征量的LIMIT的设定。如果如上述那样设定，则在grad1较大的部分、即包含较强的边缘成分的部分中，通过LIMIT进行的剪除(クリツプ)变强(变为合适)，所以成为清晰的影像。另一方面，由于在包含较小的振幅的部分中不怎么进行剪除，所以能够抑制切掉过冲造成的不自然感。 

以上，根据实施方式C的图像放大装置108C(图像放大部1504C、实施方式C的图像放大装置1500)，能够生成自然且没有较强的过冲、边缘流畅地竖立的影像(图37的1208)。此外，通过使用修正后的第2插补像 素位置计算特征量和修正量，能够如图37(d)的修正后(右栏的信号1208)那样使白色的部分变细。由此，能够将在通常进行边缘的倾斜修正、黑色和白色变粗相同宽度的情况下发生的、因错视效应而白色变粗的现象缓和，保持放大后的视觉上的黑白的平衡。 

如果进行概括，则为以下这样。在将低分辨率图像(输入图像101)放大为高分辨率图像(输出图像107)的情况下，如果同时进行边缘的锐化(合成部105的、通过修正量的加入进行的边缘强调)，则由因错视效应而白色看起来变粗的问题(参照图49、图50、图36、图37等)。所以，在输入低分辨率的输入图像、输出高分辨率的输出图像的图像放大装置(图像放大装置108C、图像放大部1504C)中，具备：分析输入图像的特征量、生成高分辨率图像的像素数的特征量的功能(特征量分析部102)；根据放大率计算第1插补像素位置的功能(插补像素位置生成部110)；根据输入图像和第1插补像素位置、生成通过第1插补像素位置的多个相邻图像(图41参照)的像素值的差来修正的第2插补像素位置的功能(白细线化部109)；输入低分辨率的输入图像和修正后的第2插补像素位置、基于特征量计算高分辨率的像素数的边缘修正量并输出的功能(修正量计算部103)；通过使用第1插补像素位置的插补、生成放大后的图像(插补图像)的功能(插补部104)；将插补图像与修正量合成的功能(合成部105)；通过输入特征量和合成后的像素值(第1高分辨率图像)而再次进行修正、进行匹配于输入图像的修正的功能(再修正部106)。 

工业实用性 

有关实施方式的图像放大装置、图像放大方法以及程序在输出设备的分辨率是比输入的图像的分辨率高的分辨率的情况下可以采用。例如，在将DVD显示在高清电视的情况、将低分辨率的图像放大打印到具有高分辨率的输出功能的打印机等中的情况、数字照相机或电影的数字缩放等中可以采用。 

并且，在这些情况下，能够抑制放大造成的模糊并提供具有清晰感的图像。 

此外，在同时进行放大和边缘强调的情况下，能够缓和在视觉上白色看起来较粗的现象而提供在视觉上平衡良好的影像。 

符号说明 

101输入图像 

102、1803、41903特征量分析部 

103、1804、41904修正量计算部 

104、1805、2303、2307、2703、2707、41905插补部 

105、1806、41906合成部 

106、1807、41907再修正部 

107输出图像 

108、1504图像放大部 

109、41909细线化部 

110插补像素位置生成部 

201输入部 

202调谐器 

203外部端子 

204存储卡 

205存储器 

206处理器 

207解码部 

208显示部 

209视频驱动器 

210硬盘 

211显示设备 

1501、1601插补位置 

1502、1602像素选择部 

1503、1603小数点位置计算部 

1801、41901输入像素(6×6像素) 

1802、1902、2708、41902插补坐标 

1808、41908输出像素 

1901、2001、2301、2701、42301输入像素(N×M像素) 

1903、42303各块的MIN/MAX计算部 

1904、42304块差计算部 

1905、42305区判断部 

1906、42306特征量计算部 

2002插补坐标Px、Py 

2003倾斜方向判断部 

2004插补位置修正量计算部 

2005插补位置修正部 

2006修正后的插补坐标Px’、Py’ 

2304、2704边缘提取部 

2305、2705修正部 

2306、2706频带限制部 

2702grad0 

2903强调系数决定部 

2904边缘强调图像生成部 

2905插补像素生成部 

2906比较部 

2907加权合成部 

42302插补坐标Px’、Py’ 

Claims (16)

1.一种图像放大装置，输入低分辨率图像，输出分辨率比上述低分辨率图像高的高分辨率图像，其特征在于，具备：

插补部，输入上述低分辨率图像，生成上述高分辨率图像的像素数的插补图像；

特征量分析部，分析上述低分辨率图像的特征量，输出对于上述高分辨率图像的各像素的上述特征量；

修正量计算部，输入由上述特征量分析部输出的上述特征量、和上述低分辨率图像，输出对于上述高分辨率图像的各像素的修正量；

合成部，将由上述修正量计算部计算出的上述修正量、和由上述插补部生成的上述插补图像合成，生成第1上述高分辨率图像；以及

再修正部，使用由上述特征量分析部生成的上述特征量对由上述合成部输出的第1上述高分辨率图像再次进行修正，生成修正后的第2上述高分辨率图像，将所生成的第2上述高分辨率图像从该图像放大装置输出。

2.如权利要求1所述的图像放大装置，其特征在于，

由上述特征量分析部输出的上述特征量是根据插补像素位置与该插补像素位置的周边位置的像素的像素值的倾斜程度计算的倾斜量、和作为插补像素输出的上述高分辨率图像的像素的上限的阈值及下限的阈值。

3.如权利要求2所述的图像放大装置，其特征在于，

由上述特征量分析部计算的上述倾斜量是对上述修正量计算部输入的第1倾斜量、和对上述再修正部输入的第2倾斜量，上述第1倾斜量与上述第2倾斜量不同。

4.如权利要求1所述的图像放大装置，其特征在于，

上述合成部通过对上述插补图像中的像素值加上上述修正量，生成强调了上述插补图像中的边缘的第1上述高分辨率图像；

上述再修正部通过将第1上述高分辨率图像中的、使上述边缘的周边发亮的、上述边缘的强调中的过度修正的成分乘以C、并且对乘以C后的该成分进行剪除，生成乘以C后的及剪除的第2上述高分辨率图像，其中，0<C<1。

5.如权利要求4所述的图像放大装置，其特征在于，

由通过上述特征量分析部输出的上述特征量表示的、上述过度修正的成分的部位的倾斜越大，上述再修正部将越小的值确定为上述C，将越小的宽度确定为上述剪除的宽度T。

6.如权利要求4所述的图像放大装置，其特征在于，

上述过度修正的成分是在该过度修正的成分都被从第1上述高分辨率图像中除去的情况下产生粗糙的成分；

在上述过度修正的成分中的、仅通过由该值C得到的C倍以及用宽度T的剪除而除去的成分被除去的情况下，由上述特征量分析部输出的上述特征量确定不产生上述粗糙的值C及宽度T；

上述再修正部分别计算通过上述特征量确定的上述值C及上述宽度T，通过进行用计算出的由上述值C得到的C倍、和用计算出的上述宽度T的剪除，生成仅将基于该值C及该宽度T而除去的上述成分除去后的第2上述高分辨率图像。

7.如权利要求1所述的图像放大装置，其特征在于，

上述再修正部使用由上述特征量分析部生成的上述特征量、和根据上述插补部输出的上述插补图像求出的阈值，对由上述合成部输出的第1上述高分辨率图像再次进行修正，生成修正后的第2上述高分辨率图像。

8.如权利要求7所述的图像放大装置，其特征在于，

在上述再修正部中，计算从上述特征量分析部输出的上述高分辨率图像的像素值的上限的阈值及下限的阈值中的各个阈值、与上述插补部输出的上述插补图像的像素值的差，在上述合成部输出的第1上述高分辨率图像的像素值超过根据计算出的上述差设定的阈值的情况下，进行该像素值的修正。

9.如权利要求7所述的图像放大装置，其特征在于，

上述合成部通过对由上述插补部生成的上述插补图像的像素值加上上述修正量，生成强调了上述插补图像中的边缘的上述第1高分辨率图像；

上述再修正部生成将第1上述高分辨率图像中的、使上述边缘的周边发亮的、上述边缘的强调中的过度修正的成分中的、根据从上述插补图像求出的上述阈值而确定的成分除去后的第2上述高分辨率图像，对生成具有比在确定第1值作为上述阈值的情况下生成的上述第2高分辨率图像的平坦部窄的平坦部的第2上述高分辨率图像的第2值进行计算，作为上述阈值。

10.如权利要求1所述的图像放大装置，其特征在于，

具备：

插补像素位置生成部，输入上述低分辨率图像及上述高分辨率图像的图像尺寸、或者放大率，生成对于上述低分辨率图像的第1插补像素位置，该第1插补像素位置用于从上述低分辨率图像生成上述高分辨率图像，对应于上述高分辨率图像的各像素；以及

白细线化部，输入上述低分辨率图像和上述第1插补像素位置，根据上述第1插补像素位置的周边的像素值的变化来修正上述第1插补像素位置，生成修正了上述第1插补像素位置的第2插补像素位置；

上述修正量计算部输入由上述特征量分析部输出的上述特征量、上述第2插补像素位置和上述低分辨率图像，计算输出的第2上述高分辨率图像的各像素的修正量；

上述插补部输入上述低分辨率图像和上述第1插补像素位置，插补计算对应于所输入的上述第1插补像素位置的像素值，生成在该第1插补像素位置具有计算出的上述像素值的上述插补图像；

上述合成部将由上述修正量计算部根据上述第2插补像素位置计算出的上述修正量、和由上述插补部根据上述第1插补像素位置生成的上述像素值合成，生成第1上述高分辨率图像。

11.如权利要求10所述的图像放大装置，其特征在于，

上述特征量分析部分析上述第1插补像素位置的上述低分辨率图像的特征量，输出对于输出的第2上述高分辨率图像的各像素的特征量；

上述修正量计算部输入上述第2插补像素位置、上述低分辨率图像、以及来自上述第1插补像素位置的上述特征量，计算输出的第2上述高分辨率图像的各像素的修正量。

12.如权利要求10所述的图像放大装置，其特征在于，

上述特征量分析部分析上述第2插补像素位置处的上述低分辨率图像的特征量，输出对于输出的第2上述高分辨率图像的各像素的特征量；

上述修正量计算部输入上述第2插补像素位置、上述低分辨率图像、以及来自上述第2插补像素位置的上述特征量，计算输出的第2上述高分辨率图像的各像素的修正量。

13.如权利要求10所述的图像放大装置，其特征在于，

上述白细线化部将上述第1插补像素位置修正为上述第2插补像素位置，以使通过放大而生成的第1上述高分辨率图像的亮度值大于阈值的范围变小。

14.如权利要求10所述的图像放大装置，其特征在于，

上述白细线化部将上述第1插补像素位置修正为上述第2插补像素位置，其中，上述修正量计算部根据上述第1插补像素位置计算了上述修正量的情况下生成的第1上述高分辨率图像中的、亮度值大于阈值的范围，比上述修正量计算部根据上述第2插补像素位置计算了上述修正量的情况下生成的第1上述高分辨率图像中的、亮度值大于阈值的范围宽。

15.一种图像放大方法，由图像放大装置输入低分辨率图像，输出分辨率比上述低分辨率图像高的高分辨率图像，其特征在于，包括：

插补步骤，输入上述低分辨率图像，生成上述高分辨率图像的像素数的插补图像；

特征量分析步骤，分析上述低分辨率图像的特征量，输出对于上述高分辨率图像的各像素的上述特征量；

修正量计算步骤，输入在上述特征量分析步骤中输出的上述特征量、和上述低分辨率图像，计算对于上述高分辨率图像的各像素的修正量；

合成步骤，将在上述修正量计算步骤中计算出的上述修正量、和在上述插补步骤中生成的上述插补图像合成，生成第1上述高分辨率图像；以及

再修正步骤，使用在上述特征量分析步骤中生成的上述特征量对在上述合成步骤中输出的第1上述高分辨率图像再次进行修正，生成修正后的第2上述高分辨率图像，将所生成的第2上述高分辨率图像从该图像放大装置输出。

16.一种集成电路，输入低分辨率图像，输出分辨率比上述低分辨率图像高的高分辨率图像，其特征在于，具备：

插补部，输入上述低分辨率图像，生成上述高分辨率图像的像素数的插补图像；

特征量分析部，分析上述低分辨率图像的特征量，输出对于上述高分辨率图像的各像素的上述特征量；

修正量计算部，输入由上述特征量分析部输出的上述特征量、和上述低分辨率图像，输出对于上述高分辨率图像的各像素的修正量；

合成部，将由上述修正量计算部计算出的上述修正量、和由上述插补部生成的上述插补图像合成，生成第1上述高分辨率图像；以及

再修正部，使用由上述特征量分析部生成的上述特征量对由上述合成部输出的第1上述高分辨率图像再次进行修正，生成修正后的第2上述高分辨率图像，将所生成的第2上述高分辨率图像从该集成电路输出。