CN103106893A - 图像处理装置、图像处理方法以及图像显示装置 - Google Patents

Abstract

本发明提供一种图像处理装置、图像处理方法以及图像显示装置，在增强边缘的同时放大图像，由此防止在生成的纹理区域中图像劣化。边缘增强图像放大部（100）将输入图像（D0）转换成边缘被增强后的高分辨率图像（D100），差分计算部（200）求出高分辨率图像（D100）与输入图像（D0）的差分（D200）。高分辨率图像校正部（300）将差分（D200）向构成高分辨率图像（D100）的各像素扩散，生成对高分辨率图像进行校正后的校正图像（D300）。

Description

图像处理装置、图像处理方法以及图像显示装置

技术领域

本发明涉及图像处理装置、图像处理方法以及图像显示装置。本发明还涉及用于执行图像处理方法的程序和记录有该程序的记录介质。

背景技术

在以往的图像处理中输出放大图像时，为了消除放大图像的模糊，进行边缘增强。

例如在专利文献1中公开的图像处理装置具有第1图像放大部、高频成分图像生成部、第2图像放大部、高频成分图像处理部以及加法部，由第1图像放大部生成放大输入图像后的第1放大图像，由高频成分图像生成部生成取出输入图像的高频成分后的第1高频成分图像，由第2图像放大部生成放大第1高频成分图像后的第2放大图像，由高频成分图像处理部生成从对第2放大图像进行非线性处理后的图像中取出高频成分后的第2高频成分图像，由加法部将第1放大图像与第2高频成分图像相加，输出边缘被增强后的放大图像。

专利文献1：国际公开第2009/110328号公报

输出边缘被增强后的放大图像的以往的图像处理装置存在如下趋势：关于像素值比局部的像素值的平均值大的像素，使其像素值更大，关于像素值比局部的像素值的平均值小的像素，使其像素值更小。

这是因为，针对具有比局部的像素值的平均值大的像素值的像素，使其像素值更大，针对具有比局部的像素值的平均值小的像素值的像素，使其像素值更小，由此，可以使边缘鲜明，消除放大图像的模糊。

然而，在关于像素值比局部的像素值的平均值大的像素，使其像素值更大，关于像素值比局部的像素值的平均值小的像素，使其像素值更小的情况下，在不包含边缘的区域中，有时反而得到不自然的处理结果。

例如在纹理区域中，关于像素值比局部的像素值的平均值大的像素，使其像素值更大，关于像素值比局部的像素值的平均值小的像素，使其像素值更小，由此，像素值被分成取大值和取小值这两种像素值，有时细小的图案被破坏，反而使清晰度下降。

发明内容

本发明的图像处理装置的特征在于，该图像处理装置具有：边缘增强图像放大部，其将第1分辨率的输入图像转换成所述输入图像中包含的边缘被增强后的第2分辨率的高分辨率图像；差分计算部，其求出所述高分辨率图像与所述输入图像的差分；以及高分辨率图像校正部，其将所述差分向构成所述高分辨率图像的各像素扩散，生成对所述高分辨率图像进行校正后的校正图像，将所述校正图像作为输出图像。

在本发明的图像处理装置中，由于可在纹理区域中作成具有各种像素值的像素，因此，在纹理区域中也能够提高清晰度。

附图说明

图1是本发明的实施方式A1、A2、B1、B2、C1、C2的图像处理装置的框图。

图2是概略地示出输入图像D0中的像素排列的图。

图3是概略地示出边缘增强放大图像D100中的像素排列的图。

图4是示出图1的差分计算部200的结构例的框图。

图5是示出在本发明的实施方式A1中使用的、图1的高分辨率图像校正部300的结构例的框图。

图6是示出从对应点向其附近的像素扩散差分数据的一例的图。

图7的（a）～（d）是示出对于校正对象像素成为差分数据的扩散起始地的对应点的相对位置的图。

图8是示出对于校正对象像素成为差分数据的扩散起始地的对应点的相对位置的图。

图9是示出包含边缘和纹理区域的图像的一例的图。

图10是示出具有图1的图像处理装置的图像显示装置的框图。

图11是示出图1的边缘增强图像放大部100的结构例的框图。

图12是示出在本发明的实施方式A2中使用的、图1的高分辨率图像校正部300的结构例的框图。

图13是示出图12的边缘检测部311的结构例的框图。

图14是示出图12的纹理检测部321的结构例的框图。

图15是示出本发明的实施方式A3、A4、B3、B4、C3、C4的图像处理方法的实施中使用的运算装置的结构的框图。

图16是示出本发明的实施方式A3、A4、B3、B4、C3、C4的图像处理方法的处理步骤的流程图。

图17是示出图16的差分计算步骤ST200的处理步骤的流程图。

图18是示出在本发明的实施方式A3中使用的、图16的高分辨率图像校正步骤ST300的处理步骤的流程图。

图19是示出图16的边缘增强图像放大步骤ST100的处理步骤的流程图。

图20是示出在本发明的实施方式A4中使用的、图16的高分辨率图像校正步骤ST300的处理步骤的流程图。

图21是示出图20的边缘检测步骤ST311的处理步骤的流程图。

图22是示出图20的纹理检测步骤ST321的处理步骤的流程图。

图23是示出在本发明的实施方式B1中使用的、图1的高分辨率图像校正部300的结构例的框图。

图24是示出图23的周期性检测部331的结构例的框图。

图25是示出在本发明的实施方式B2中使用的、图1的高分辨率图像校正部300的结构例的框图。

图26是示出在本发明的实施方式B3中使用的、图16的高分辨率图像校正步骤ST300的处理步骤的流程图。

图27是示出图26的周期性检测步骤ST331的处理步骤的流程图。

图28是示出在本发明的实施方式B4中使用的、图16的高分辨率图像校正步骤ST300的处理步骤的流程图。

图29是示出在本发明的实施方式C1中使用的、图1的高分辨率图像校正部300的结构例的框图。

图30的（a）～（e）是示出亮度信息D340与校正系数F340的关系的不同例子的图。

图31是示出图29的高分辨率图像校正部300内的亮度信息生成部340的结构例的框图。

图32是示出图29的高分辨率图像校正部300内的亮度信息生成部340的另一个结构例的框图。

图33是示出图29的高分辨率图像校正部300内的亮度信息生成部340的又一个结构例的框图。

图34是示出在本发明的实施方式C2中使用的、图1的高分辨率图像校正部300的结构例的框图。

图35是示出在本发明的实施方式C3中使用的、图16的高分辨率图像校正步骤ST300的处理步骤的流程图。

图36是示出在本发明的实施方式C4中使用的、图16的高分辨率图像校正步骤ST300的处理步骤的流程图。

标号说明

D0：输入图像；100：边缘增强图像放大部；D100：边缘增强放大图像；200：差分计算部；D200：差分数据；300：高分辨率图像校正部；D300：输出图像。

具体实施方式

实施方式A1

图1是表示本发明的实施方式A1的图像处理装置的图。实施方式A1的图像处理装置具有边缘增强图像放大部100、差分计算部200以及高分辨率图像校正部300。

边缘增强图像放大部100接收输入图像D0，输出像素数比输入图像D0多的边缘增强放大图像D100。在此，边缘增强放大图像D100是输入图像D0内的边缘被增强后的放大图像。有时也将放大图像称作高分辨率图像，将输入图像称作低分辨率图像。

差分计算部200输出表示输入图像D0与边缘增强放大图像D100的差分的差分数据D200。

高分辨率图像校正部300对边缘增强放大图像D100进行校正，以部分或全部消除由差分数据D200表示的差分，并将其结果作为输出图像D300进行输出。

以下，分别对边缘增强图像放大部100、差分计算部200以及高分辨率图像校正部300进行说明。

边缘增强图像放大部100生成增强输入图像D0内的边缘后的放大图像即边缘增强放大图像D100。在此，为了生成增强输入图像D0内的边缘后的放大图像，可以使用已知的方法，也可以使用例如上述专利文献1中公开的图像处理装置。

图2是示意地表示输入图像D0的图。

在图2中，最小的四边形表示构成输入图像D0的像素。

当将构成输入图像D0的像素的宽度即在水平方向上邻接的像素间的间隔设为Lx，高度即在垂直方向上邻接的像素间的间隔设为Ly，水平方向的像素数设为Nx，垂直方向的像素数设为Ny时，输入图像D0由宽度为Lx、高度为Ly的像素在水平方向上排列Nx个、在垂直方向上排列Ny个而得到的二维形状来表示。

此外，沿着输入图像D0的水平方向、垂直方向定义水平坐标、垂直坐标，将其单位长分别设为与Lx、Ly相等，使用取0以上且低于Nx的整数值的变量s和取0以上且低于Ny的整数值的变量t，表示构成输入图像D0的各像素的位置。

（x，y）=（s，t）

画面左上角的像素为x=0、y=0，向右方移动1个像素，则x的值增大1，向下方移动1个像素，则y的值增大1。

以下，构成输入图像D0的像素中，位于坐标（x，y）的像素用P0（x，y）表示，像素P0（x，y）的像素值用D0（x，y）表示。此外，有时也将构成输入图像D0的像素P0（x，y）表示为像素P0。

此外，将边缘增强图像放大部100中的水平方向的倍率设为Sx，垂直方向的倍率设为Sy。该情况下，构成边缘增强放大图像D100的像素的宽度为Lx/Sx，高度为Ly/Sy。当将边缘增强放大图像D100的水平方向的像素数设为Mx，垂直方向的像素数设为My时，满足下式。

Mx=［Sx·Nx］

My=［Sy·Ny］

另外，［A］表示不超过A的最大的整数，例如［10］=10，［10.5］=10。边缘放大增强图像D100由宽度为Lx/Sx、高度为Ly/Sy的像素在水平方向上排列Mx个、在垂直方向上排列My个而得到的二维形状来表示。

此外，在水平坐标、垂直坐标的单位长与图2所示的水平坐标、垂直坐标的单位长（Lx，Ly）相等的坐标系下考虑，使用取0以上且低于Mx的整数值的变量u和取0以上且低于My的整数值的变量v，表示构成边缘增强放大图像D100的各像素的位置，

（x，y）=（u/Sx，v/Sy）

水平方向像素间隔为1/Sx，垂直方向像素间隔为1/Sy。

图3是示意地表示Sx=2、Sy=2的情况下得到的边缘增强放大图像D100的图，在图3中，最小的四边形表示构成边缘增强放大图像D100的像素。

该情况下，

Mx=［2Nx］

My=［2Ny］

（x，y）=（u/2，v/2）。

另外，在以下的说明中除非有特别规定，否则在对由水平坐标、垂直坐标构成的坐标系及其坐标上的点进行叙述的情况下，使用图2或图3表示的坐标系即水平坐标、垂直坐标的单位长分别为Lx、Ly的坐标系。

以下，构成边缘增强放大图像D100的像素中，位于坐标（x，y）的像素用P100（x，y）表示，像素P100（x，y）的像素值用D100（x，y）表示。此外，构成边缘增强放大图像D100的像素P100（x，y）有时也仅表示为像素P100。

接着，对差分计算部200进行叙述。

图4是示出差分计算部200的结构例的图。

差分计算部200具有对应点设定部221、关注区域设定部222、对应点像素值计算部223以及减法部230。

对应点设定部221针对构成输入图像D0的各个像素P0，将在边缘增强放大图像D100内与该像素P0相同位置的部位设定为对应点。例如依次选择构成输入图像D0的像素P0（x，y）作为关注像素，针对选择出的关注像素设定对应点。即，相对于像素P0（x，y）的对应点的坐标为（x，y）。以下，用T（x，y）表示由坐标（x，y）表示的对应点。另外，有时也省略对应点T（x，y）的坐标的记载，仅表示为对应点T。

关注区域设定部222针对各个对应点T，将存在于其附近（包含对应点及其周围的区域）的由边缘增强放大图像D100内的多个像素P100构成的区域设定为关注区域。

对应点像素值计算部223针对各关注区域，计算构成该关注区域的像素P100的像素值的加权相加值（以下称作对应点像素值D223）。这相当于，假定在边缘增强放大图像D100内，对于构成输入图像D0的各个像素P0在与该像素P0相同的位置上存在与该像素P0相同大小的像素的情况下，根据构成边缘增强放大图像D100的像素P100（x，y）的像素值D100（x，y），求出该像素具有的像素值。

当用D223（x，y）表示对对应点T（x，y）计算出的对应点像素值D223时，得到下式。

$D223(x,y)$

$=\underset{i=-\mathrm{Ia}}{\overset{\mathrm{Ib}}{\mathrm{\Σ}}}\underset{j=-\mathrm{Ja}}{\overset{\mathrm{Jb}}{\mathrm{\Σ}}}W(x-\frac{[x\·\mathrm{Sx}]}{\mathrm{Sx}},y-\frac{[y\·\mathrm{Sy}]}{\mathrm{Sy}},i,j)\·D100(\frac{[x\·\mathrm{Sx}]+i}{\mathrm{Sx}},\frac{[y\·\mathrm{Sy}]+j}{\mathrm{Sy}})---\left(1\right)$

其中，Ia、Ib、Ja、Jb是非负值的整数，W是对于任意的实数x、y，满足下式的系数。

$\underset{i=-\mathrm{Ia}}{\overset{\mathrm{Ib}}{\mathrm{\Σ}}}\underset{j=-\mathrm{Ja}}{\overset{\mathrm{Jb}}{\mathrm{\Σ}}}W(x-\frac{[x\·\mathrm{Sx}]}{\mathrm{Sx}},y-\frac{[y\·\mathrm{Sy}]}{\mathrm{Sy}},i,j)=1---\left(2\right)$

式（1）的处理相当于低通滤波，关注区域越大，用于计算的像素数越多，设定的自由度越是增加，因此，从这点来看，希望关注区域较大。此外，在实际应用中，优选关注区域构成为大小比像素P0大。

减法部230求出针对各个对应点T计算出的对应点像素值D223和位于与该对应点T相同位置的输入图像D0内的像素P0的像素值的差，作为差分数据D200进行输出。

当用D200（x，y）表示对对应点T（x，y）计算出的差分数据D200时，用像素值D0（x，y）与对应点像素值D223（x，y）的差来表示差分数据D200（x，y）。

D200（x，y）=D223（x，y）-D0（x，y）

接着，对高分辨率图像校正部300进行叙述。

高分辨率图像校正部300从边缘增强放大图像D100中，减去将针对各个对应点T求出的差分数据D200（所示的差分）扩散到构成边缘增强放大图像D100的各像素P100后的量（后述的差分扩散量D302）。这意味着对边缘增强放大图像D100进行校正，以便至少部分地消除由差分数据D200表示的输入图像D0与边缘增强放大图像D100的差。

图5是示出高分辨率图像校正部300的结构例的图。

高分辨率图像校正部300具有扩散系数计算部301、扩散量计算部302以及减法部303。

扩散系数计算部301求出差分扩散系数K301，该差分扩散系数K301决定对于构成边缘增强放大图像D100的像素P100中的、位于各对应点T（x，y）附近的各个像素，以怎样的程度扩散（分配）差分数据D200（x，y）。在此，求出按照每个对应点T不同的系数作为差分扩散系数K301。

使用整数i、j，由下式表示存在于对应点T（x，y）附近的像素P100。

$P100(\frac{\left(\right[x\·Sx]+i}{\mathrm{Sx}},\frac{\left(\right[y\·\mathrm{Sy}]+j}{\mathrm{Sy}})---\left(3\right)$

例如，像素P100中的、以包围对应点T（x，y）的方式存在的4个像素（对应点T（x，y）包含位于其内部的像素）由下式表示。

P100([x·Sx]/Sx，[y·Sy]/Sy)

P100(([x·Sx]+1)/Sx，[y·Sy]/Sy)                                    (4)

P100([x·Sx]/Sx，([y·Sy]+1)/Sy)

P100(([x·Sx]+1)/Sx，([y·Sy]+1)/Sy)

在使差分数据D200（x，y）以像素P100（［x·Sx］/Sx，［y·Sy］/Sy）为中心，在水平方向上向左扩散至Ha像素，向右扩散至Hb像素，在垂直方向上向上扩散至Va像素，向下扩散至Vb像素的情况下，差分扩散系数K301由（Va+Vb+1）行、（Ha+Hb+1）列的二维矩阵表示。

该二维矩阵的第v行h列（v=1～Va+Vb+1，h=1～Ha+Hb+1）的元素a_hv（v＝-Va～+Vb，h=-Ha～Hb）决定将差分数据D200（x，y）向存在于像素P100（［x·Sx］/Sx，［y·Sy］/Sy）的向右h-（Ha+1）个像素（当h-（Ha+1）为负值时，向左（Ha+1）-h个像素）且向下v-（Va+1）个像素（当v-（Va+1）为负值时，向上（Va+1）v个像素）的下述像素扩散（分配）的量。

$P100(\frac{[x\·\mathrm{Sx}]}{\mathrm{Sx}}+\frac{h-(\mathrm{Ha}+1)}{\mathrm{Sx}},\frac{[y\·\mathrm{Sy}]}{\mathrm{Sy}}+\frac{v-(\mathrm{Va}+1)}{\mathrm{Sy}})---\left(5\right)$

例如，在对预先准备的彼此不同的多个（Va+Vb+1）行、（Ha+Hb+1）列的二维矩阵An（n=1～N，N≥2）的各个元素乘以不同的权重系数bn（n=1～N）后相加，由此，能够求出差分扩散系数K301。

$K301=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{bn}\·\mathrm{An}---\left(6\right)$

另外，为了准备彼此不同的N个二维矩阵，例如，设定成N个二维矩阵An成为彼此线性独立的矩阵即可。

可以给出按照每个对应点T（x，y）不同的系数bn的组合。例如，可以根据输入图像的像素值的变化来求出该系数bn。例如，在差分扩散系数计算部301中，用上述系数对4个二维矩阵An（n=1～4）进行加权相加而求出扩散系数K301的情况下，从P0（x，y）的附近选择4个像素，将该像素具有的像素值与输入图像的像素值D0（x，y）的差的绝对值作为bn（n=1～4）。例如，在选择P0（x，y-1）、P0（x-1，y）、P0（x+1，y）、P0（x，y+1）作为4个像素的情况下，得到下式。

b1(x，y)＝|D0(x，y)-D0(x，y-1)|

b2(x，y)＝|D0(x，y)-D0(x-1，y)|                            (7)

b3(x，y)＝|D0(x，y)-D0(x+1，y)|

b4(x，y)＝|D0(x，y)-D0(x，y+1)|

由此，求出按照每个对应点T不同的N个系数bn（n=1～N），如果使用系数bn对彼此不同的N个矩阵An进行加权相加，则能够求出按照每个对应点T不同的差分扩散系数K301。

以下，用K301（x，y）来表示对对应点T（x，y）计算出的差分扩散系数。此外，用K301（x，y，h，v）来表示示出差分扩散系数K301（x，y）的二维矩阵的第v行h列的元素。

如果分别用bn（x，y）和K301（x，y）表示根据对应点T（x，y）而变化的系数bn和系数K301，则上述式（6）可以如下那样改写。

$\left(\begin{array}{cccc}K301(x,y,\mathrm{1,1})& K301(x,y,\mathrm{2,1})& \·\·\·& K301(x,y,\mathrm{Hc},1)\\ K301(x,y,\mathrm{1,2})& K301(x,y,\mathrm{2,2})& \·\·\·& K301(x,y,\mathrm{Hc},2)\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ K301(x,y,1,\mathrm{Vc})& K301(x,y,2,\mathrm{Vc})& \·\·\·& K301(x,y,\mathrm{Hc},\mathrm{Vc})\end{array}\right)$

$=\left(\begin{array}{cccc}b1(x,y)\×A1\left(\mathrm{1,1}\right)& b1(x,y)\×A1\left(\mathrm{2,1}\right)& \·\·\·& b1(x,y)\×A1(\mathrm{Hc},1)\\ b1(x,y)\×A1\left(\mathrm{1,2}\right)& b1(x,y)\×A1\left(\mathrm{2,2}\right)& \·\·\·& b1(x,y)\×A1(\mathrm{Hc},2)\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ b1(x,y)\×A1(1,\mathrm{Vc})& b1(x,y)\×A1(2,\mathrm{Vc})& \·\·\·& b1(x,y)\×A1(\mathrm{Hc},\mathrm{Vc})\end{array}\right)$

$+\left(\begin{array}{cccc}b2(x,y)\×A2\left(\mathrm{1,1}\right)& b2(x,y)\×A2\left(\mathrm{2,1}\right)& \·\·\·& b2(x,y)\×A2(\mathrm{Hc},1)\\ b2(x,y)\×A2\left(\mathrm{1,2}\right)& b2(x,y)\×A2\left(\mathrm{2,2}\right)& \·\·\·& b2(x,y)\×A2(\mathrm{Hc},2)\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ b2(x,y)\×A2(1,\mathrm{Vc})& b2(x,y)\×A2(2,\mathrm{Vc})& \·\·\·& b2(x,y)\×A2(\mathrm{Hc},\mathrm{Vc})\end{array}\right)$

...

$+\left(\begin{array}{cccc}\mathrm{bN}(x,y)\×\mathrm{AN}\left(\mathrm{1,1}\right)& \mathrm{bN}(x,y)\×\mathrm{AN}\left(\mathrm{2,1}\right)& \·\·\·& \mathrm{bN}(x,y)\×\mathrm{AN}(\mathrm{Hc},1)\\ \mathrm{bN}(x,y)\×\mathrm{AN}\left(\mathrm{1,2}\right)& \mathrm{bN}(x,y)\×\mathrm{AN}\left(\mathrm{2,2}\right)& \·\·\·& \mathrm{bN}(x,y)\×\mathrm{AN}(\mathrm{Hc},2)\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ \mathrm{bN}(x,y)\×\mathrm{AN}(1,\mathrm{Vc})& \mathrm{bN}(x,y)\×\mathrm{AN}(2,\mathrm{Vc})& \·\·\·& \mathrm{bN}(x,y)\×\mathrm{AN}(\mathrm{Hc},\mathrm{Vc})\end{array}\right)$

$\left(8\right)$

（其中，在式（8）中，Hc=Ha+Hb+1，Vc=Va+Vb+1）

扩散量计算部302针对构成边缘增强放大图像D100的各个像素P100，根据对存在于该像素附近的对应点T计算出的差分数据D200和差分扩散系数K301，计算对像素P100扩散（分配）的差分数据D200的总和，作为差分扩散量D302进行输出。另外，使用整数i、j，由下式表示存在于像素P100（x，y）附近的对应点T，

T（［x］+i，[y]+j）

对上述对应点T计算出的差分数据由下式表示。

D200（［x］+i，［y］+j）

当用D302（x，y）表示从1个或2个以上的对应点对像素D100（x，y）扩散的差分扩散量D302（从1个或2个以上的对应点扩散（分配）的差分数据的总和）时，得到下式。

$D302(x,y)$

$=\underset{i,j}{\mathrm{\Σ}}(D200\left(\right[x]+i,[y]+j)$

$\×K301\left(\right[x]+i,[y]+j,\mathrm{Sx}\·x-[\mathrm{Sx}\left(\right[x]+i)]+\mathrm{Ha}+1,\mathrm{Sy}\·y-[\mathrm{Sy}\left(\right[y]+j)]+\mathrm{Va}+1))$

$\left(9\right)$

以下，对用式（9）得到差分扩散量D302（x，y）的理由进行说明。

首先，求出针对对应点T（［x］+i，［y］+j）求出的差分数据D200（［x］+i，［y］+j）向像素P100（x，y）的扩散量。

用K301（［x］+i，［y］+j，U，V）表示扩散系数K301，该扩散系数K301决定针对对应点T（［x］+i，［y］+j）求出的差分数据D200（［x］+i，［y］+j）向位于下式所示的像素向右U-（Ha+1）个像素且向下V-（Va+1）个像素（U、V是整数）的像素的扩散量。

$P100(\frac{\left[\mathrm{Sx}\left(\right[x]+i)\right]}{\mathrm{Sx}},\frac{\left[\mathrm{Sy}\left(\right[y]+j)\right]}{\mathrm{Sy}})---\left(10\right)$

接着，由于像素P100的像素间隔为1/Sx，因此，像素P100（x，y）相对于上式（10）所示的像素，位于向右

$\mathrm{Sx}(x-\frac{\left[\mathrm{Sx}\left(\right[x]+i)\right]}{\mathrm{Sx}})---\left(11\right)$ 个像素且向下

$\mathrm{Sy}(y-\frac{\left[\mathrm{Sy}\left(\right[y]+j)\right]}{\mathrm{Sy}})---\left(12\right)$

个像素的位置。

因此，在扩散系数K301（［x］+i，［y］+j，U，V）是表示从上式（10）所示的像素向像素P100（x，y）的扩散量的系数的情况下，下式成立。

$U-(\mathrm{Ha}+1)=\mathrm{Sx}(x-\frac{\left[\mathrm{Sx}\left(\right[x]+i)\right]}{\mathrm{Sx}})$ (13)

$V-(\mathrm{Va}+1)=\mathrm{Sy}(y-\frac{[\mathrm{Sy}\left(\right[y]+j)}{\mathrm{Sy}})$

对式（13）进行变形，得到下式。

U＝Sx·x-[Sx([x]+i)]+Ha+1                                (14)

V＝Sy·y-[Sy([y]+j)]+Va+1

因此，给出针对对应点T（［x］+i，［y］+j）求出的差分数据D200（［x］+i，［y］+j）向像素P100（x，y）的扩散量的系数K301由下式表示。

K301([x]+i，[y]+j，Sx·x-[Sx([x]+i)]+Ha+1，Sy·y-[Sy([y]+j)]+Va+1)    (15)

针对对应点T（［x］+i，［y］+j）求出的差分数据

D200（［x］+i，［y］+j）

向像素P100（x，y）的扩散量由下式表示。

D200([x]+i，[y]+j)

×K301([x]+i，[y]+j，Sx·x-[Sx([x]+i)]+Ha+1，Sy·y-[Sy([y]+j)]+Va+1)

                        (16)

如果针对i、j对式（16）进行累计，则可以得到式（9）。

对于各像素（校正对象像素）成为差分数据的扩散起始地的对应点的数量根据该像素及其附近区域内的对应点的相对位置而不同。

例如，在放大率Sx、Sy均是2，且扩散差分数据的区域（扩散区域）具有5×5像素的大小的情况下，如图6所示，来自对应点（用“○”标记表示对应点位于其内部的像素，即包含对应点的像素）的差分数据向5×5像素扩散。

图7的（a）~图7的（d）示出以接收扩散（分配）的像素（校正对象像素）为中心，来自其周围的对应点的扩散（分配）的情况。

在图7的（a）～图7的（d）中也用○标记表示包含对应点的像素。

在图7的（a）的情况下，校正对象像素除了该像素内包含的对应点以外，还从周围的8个对应点接收差分的扩散（分配）。

在图7的（b）、图7的（c）的情况下，校正对象像素从周围的6个对应点接收差分的扩散（分配）。

在图7的（d）的情况下，校正对象像素从周围的4个对应点接收差分的扩散（分配）。

由此，按照每个校正对象，作为扩散起始地的对应点的数量不同。此外，由于作为误差的扩散起始地的对应点的数量越多的像素，扩散误差的总量越容易增多，因此，作为误差的扩散起始地的对应点的数量越多的像素，像素值越容易增大，或越容易减小。另外，是增大还是减小取决于误差的值是正还是负。此外，作为误差的扩散起始地的对应点的数量多的像素和数量少的像素周期地出现。因此，如果不考虑作为误差的扩散起始地的对应点的数量，则对任何像素都采用基本相同的值作为扩散系数的值，则像素值容易被校正成比其它像素大的值的像素或者像素值容易被校正成比其它像素小的值的像素周期地排列，校正的结果，在像素值的变化中出现与棋盘图案相似的图形，处理结果有时变得不自然。

另一方面，如果针对作为误差的扩散起始地的对应点的数量比较少的像素，将扩散系数设为比较大的值，则不易发生上述那样的不良情况。

通常，从作为扩散起始地的对应点到校正对象像素（扩散目的地）的距离越大，越是进行减小扩散系数的加权，由此，可以大致满足上述条件。但是，关于扩散系数，不仅这样，有时还需要个别的调整。

以下，参照图8，对Sx=2、Sy=2、Ha=1、Hb=1、Va=1、Vb=1的情况下，式（9）中的i、j的变动范围进行说明。

在图8所述的例子中，当将各像素作为校正对象像素时，关注作为误差的分配起始地的对应点（图8中由×标记示出）与校正对象像素的位置关系，对边缘增强放大图像的像素进行分类，可分成以下4类：误差的分配起始地为4个的像素pix1、误差的分配起始地为左右2个的像素pix2、误差的分配起始地为上下2个的像素pix3以及误差的分配起始地为1个的像素pix4。

该情况下，如果改写式（9），则在pix1的模式中，i=0～1、j=0～1，得到下式。

D302(1.5，0.5)

＝D200([1.5]+0，[0.5]+0)·K301([1.5]+0，[0.5]+0，2×1.5-[2([1.5]+0)]+1+1，2×0.5-[2([0.5]+0)]+1+1)

+D200([1.5]+1，[0.5]+0)·K301([1.5]+1，[0.5]+0，2×1.5-[2([1.5]+1)]+1+1，2×0.5-[2([0.5]+0)]+1+1)

+D200([1.5]+0，[0.5]+1)·K301([1.5]+0，[0.5]+1，2×1.5-[2([1.5]+0)]+1+1，2×0.5-[2([0.5]+1)]+1+1)

+D200([1.5]+1，[0.5]+1).K301([1.5]+1，[0.5]+1，2×1.5-[2([1.5]+1)]+1+1，2×0.5-[2([0.5]+1)]+1+1)

＝D200(1，0)·K301(1，0，3，3)+D200(2，0)·K301(1，0，1，3)+D200(1，1)·K301(1，1，3，1)+D200(2，1)·K301(2，1，1，1)

                (17)

在pix2的模式中，i=0～1、j=0，得到下式。

D302(1.5，0)

＝D200([1.5]+0，[0]+0)·K301([1.5]+0，[0]+0，2×1.5-[2([1.5]+0)]+1+1，2×0-[2([0]+0)]+1+1)

+D200([1.5]+1，[0]+0)·K301([1.5]+1，[0]+0，2×1.5-[2([1.5]+1)]+1+1，2×0-[2([0]+0)]+1+1)

＝D200(1，0)·K301(1，0，3，2)+D200(2，0)·K301(1，0，1，2)

                        (18)

在pix3的模式中，i=0、j=0～1，得到下式。

D302(1，0.5)

＝D200([1]+0，[0.5]+0)·K301([1]+0，[0.5]+0，2×1-[2([1]+0)]+1+1，2×0.5-[2([0.5]+0)]+1+1)

+D200([1]+0，[0.5]+1)·K301([1]+0，[0.5]+1，2×1-[2([1]+0)]+1+1，2×0.5-[2([0.5]+1)]+1+1)

＝D200(1，0)·K301(1，0，2，3)+D200(1，1)·K301(1，1，2，1)

                        (19)

在pix4的模式中，i=0、j=0，得到下式。

D302(1，0)

＝D200([1]+0，[0]+0)·K301([1]+0，[0]+0，2×1-[2([1]+0)]+1+1，2×0-[2([0]+0)]+1+1)

＝D200(1，0)·K301(1，0，2，2)

                    (20)

在式（17）～式（20）中，根据作为误差的分配起始地的对应点与校正对象像素的位置关系，改变式（9）中的i、j的变动范围，但是，在接着K301的括号中的后两项为表示K301的矩阵元素的范围外的值的情况下，如果将K301的值限制为0，则可以不依赖作为误差的分配起始地的对应点与校正对象像素的位置关系，使i、j的变动范围通用。

在式（17）～式（20）中，K301是3行3列的矩阵，因此，接着K301的括号中的后两项的值如果是1以上且3以下的整数值，则表示K301的矩阵元素的范围内。因此，“在接着K301的括号中的后两项为K301的矩阵元素的范围外的值的情况下，将K301的值设为0”的意思是，在用K301（x，y，h，v）表示K301的情况下，在h、v中的至少一方为1以上且3以下的整数值以外的值的情况下，下式成立。

K301（x，y，h、v）=0

以下，使用上述限制，与pix1同样地，也对pix2～pix4考虑在式（9）中在i=0～1、j=0～1的范围内变化的情况。

该情况下，式（9）在pix2的模式中，表示如下。

D302(1.5，0)

＝D200([1.5]+0，[0]+0)·K301([1.5]+0，[0]+0，2×1.5-[2([1.5]+0)]+1+1，2×0-[2([0]+0)]+1+1)

+D200([1.5]+1，[0]+0)·K301([1.5]+1，[0]+0，2×1.5-[2([1.5]+1)]+1+1，2×0-[2([0]+0)]+1+1)

D200([1.5]+0，[0]+1)·K301([1.5]+0，[0]+1，2×1.5-[2([1.5]+0)]+1+1，2×0-[2([0]+1)]+1+1)

+D200([1.5]+1，[0]+1)·K301([1.5]+1，[0]+1，2×1.5-[2([1.5]+1)]+1+1，2×0-[2([0]+1)]+1+1)

＝D200(1，0)·K301(1，0，3，2)+D200(2，0)·K301(1，0，1，2)+D200(1，1)·K301(1，1，3，0)+D200(2，1)·K301(2，1，1，0)

＝D200(1，0)·K301(1，0，3，2)+D200(2，0)·K301(1，0，1，2)

∵K301(1，1，3，0)＝0，K301(2，1，1，0)＝0

                                (21)

式（9）在pix3的模式中，表示如下。

D302(1，0.5)

＝D200([1]+0，[0.5]+0)·K301([1]+0，[0.5]+0，2×1-[2([1]+0)]+1+1，2×0.5-[2([0.5]+0)]+1+1)

+D200([1]+0，[0.5]+1)·K301([1]+0，[0.5]+1，2×1-[2([1]+0)]+1+1，2×0.5-[2([0.5]+1)]+1+1)

D200([1]+1，[0.5]+0)·K301([1]+1，[0.5]+0，2×1-[2([1]+1)]+1+1，2×0.5-[2([0.5]+0)]+1+1)

+D200([1]+1，[0.5]+1)·K301([1]+1，[0.5]++1，2×1-[2([1]+1)]+1+1，2×0.5-[2([0.5]+1)]+1+1)

＝D200(1，0)·K301(1，0，2，3)+D200(1，1)·K301(1，1，2，1)+D200(2，0)·K301(2，0，0，3)+D200(2，1)·K301(2，1，0，1)

＝D200(1，0)·K301(1，0，2，3)+D200(1，1)·K301(1，1，2，1)

∵K301(2，0，0，3)＝0，K301(2，1，0，1)＝0

                    (22)

式（9）在pix4的模式中，表示如下。

D302(1，0)

＝D200([1]+0，[0]+0)·K301([1]+0，[0]+0，2×1-[2([1]+0)]+1+1，2×0-[2([0]+0)]+1+1)

+D200([1]+1，[0]+0)·K301([1]+1，[0]+0，2×1-[2([1]+1)]+1+1，2×0-[2([0]+0)]+1+1)

+D200([1]+0，[0]+1)·K301([1]+0，[0]+1，2×1-[2([1]+0)]+1+1，2×0-[2([0]+1)]+1+1)

+D200([1]+1，[0]+1)·K301([1]+1，[0]+1，2×1-[2([1]+1)]+1+1，2×0-[2([0]+1)]+1+1)

＝D200(1，0)·K301(1，0，2，2)+D200(2，0)·K301(2，0，0，2)+D200(1，1)·K301(1，1，2，0)+D200(2，1)·K301(2，1，0，0)

＝D200(1，0)·K301(1，0，2，2)

∵K301(2，0，0，2)＝0，K301(1，1，2，0)＝0，K301(2，1，0，0)＝0

                        (23)

由此，能够包含pix1的情况，使i、j的变动范围通用（i=0～1、j=0～1）。

进一步将上述说明一般化，在式（9）中，将i的累计范围（i的变动范围）设为Sa~Sb，将j的累计范围（j的变动范围）设为Ta~Tb，则Sa、Sb、Ta、Tb例如由下式给出。

Sa=-［Hb/Sx］

Sb=［（Ha/Sx）+1］

Ta=-［Vb/Sy］

Tb=［（Va/Sy）+1］

但是，即使i、j进入上述范围，在接着K301的括号中的后两项的计算结果为表示K301的矩阵元素的范围外的值的情况下，也需要将K301的值设为0。

返回图5，减法部303从构成边缘增强放大图像D100的像素P100（x，y）的像素值D100（x，y）中减去对像素P100（x，y）计算出的差分扩散量D302（x，y），并且输出将相减得到的值作为各像素的像素值的图像，作为差分校正图像D303。在构成差分校正图像D303的像素中，将位于坐标（x，y）像素设为P303（x，y），将像素P303（x，y）的像素值设为D303（x，y），则得到下式。

D303（x，y）=D100（x，y）-D302（x，y）

高分辨率图像校正部300输出差分校正图像D303作为输出图像D300。

以下，对本实施方式的图像处理装置的效果进行叙述。

以往，为了校正因图像的放大而产生的模糊，提出了输出边缘被增强后的放大图像的图像处理装置。另外，在以下的说明中，将输出边缘被增强后的放大图像的处理称作边缘增强图像放大处理。

输出边缘被增强后的放大图像的以往的图像处理装置存在如下趋势：关于像素值比局部的像素值的平均值大的像素，使其像素值更大，关于像素值比局部的像素值的平均值小的像素，使其像素值更小。

这是因为，针对具有比局部的像素值的平均值大的像素值的像素，使其像素值更大，针对具有比局部的像素值的平均值小的像素值的像素，使其像素值更小，由此，可以使边缘鲜明，消除放大图像的模糊。

然而，在关于像素值比局部的像素值的平均值大的像素，使其像素值更大，关于像素值比局部的像素值的平均值小的像素，使其像素值更小的情况下，在不包含边缘的区域中，有时反而得到不自然的处理结果。

例如在纹理区域中，关于像素值比局部的像素值的平均值大的像素，使其像素值更大，关于像素值比局部的像素值的平均值小的像素，使其像素值更小，由此，像素值被分成取大值和取小值这两种像素值，有时细小的图案被破坏，反而使清晰度下降。

在此，纹理区域例如是表现被摄物体的质感的区域，像素值细微地变化。即在纹理区域中，包含具有各种像素值的像素，像素值的变化局部较大。在这样的区域中，存在很多邻接像素间的像素值的差分具有一定程度大小的像素。

图9是用于对边缘和纹理区域进行说明的图。

边缘是图9中的标号P1所示的部位，表示一个被摄物体与另一被摄物体的边界。在标号P1的例子中，表示人物与背景的边界部分。在出现边缘的区域中，将边缘设为边界，分成具有比局部的像素值的平均值大的像素值的像素和具有比局部的像素值的平均值小的像素值的像素这两种像素，具有比局部的像素值的平均值大的像素值的像素的像素值与具有比局部的像素值的平均值小的像素值的像素的像素值的差越大，边缘越清晰，感觉图像在视觉上的清晰度越高。

另一方面，纹理区域是图9中的标号P2所示的部位，是表示同一被摄物体内的细小图案的区域。在标号P2的例子中，示出带有细小图案的衣服作为纹理区域。如前所述，在纹理区域中，像素值的变化局部较大。即当在纹理区域中包含具有各种像素值的像素时，看起来好像存在细小图案，感觉图像的清晰度高。

如上所述，在纹理区域中，与像素值被分成取大值和取小值这两种像素值相比，优选出现具有各种像素值的像素，看起来好像存在细小图案。

因此，本发明人认识到通过作成具有各种像素值的像素，即便在不包含边缘的区域中也能够增加清晰度。

特别是认识到利用输入图像D0与边缘增强放大图像D100之间产生的差异，作成具有各种像素值的像素。

希望输入图像D0与边缘增强放大图像D100除了像素数不同以外，其它一致。

即，假定在边缘增强放大图像D100内，在与构成输入图像D0的像素P0（x，y）相同的位置存在与像素P0（x，y）相同大小的像素的情况下，希望计算该像素具有的像素值而得到的值即对应点像素值D223（x，y）与像素值D0（x，y）一致。

然而，在没有考虑这一点而形成的边缘增强放大图像的情况下，两者未必一致。

例如，在假定存在与像素P0（x，y）大小相同的像素的位置附近，由于边缘增强图像放大处理而成为像素值D100（x，y）比局部的像素值的平均值大的值的像素较多的情况下，对应点像素值D223（x，y）往往成为比像素值D0（x，y）大的值，相反，在由于边缘增强图像放大处理而成为像素值D100（x，y）比局部的像素值的平均值小的值的像素较多的情况下，对应点像素值D223（x，y）往往成为比像素值D0（x，y）小的值。

这样在像素值D0（x，y）与对应点像素值D223（x，y）之间产生差异，因此，认识到利用该差异作成具有各种像素值的像素，增加图像的清晰度。

即，当由高分辨率图像校正部300对边缘增强放大图像D100进行校正以至少部分地消除差分数据D200时，根据像素而改变校正的程度，由此，作成具有各种像素值的像素。

从边缘增强放大图像D100中减去差分扩散量D302相当于，求出按照每个对应点T不同的差分扩散系数K301，使用求出的差分扩散系数K301将差分数据D200向位于对应点T附近的像素P100扩散。由此，按照每个像素P100，校正其像素值的程度发生变化，作成具有各种像素值的像素，纹理区域中的清晰度提高。

此外，为了作成具有各种像素值的像素，例如，可以将由随机数给出的随机值与构成边缘增强放大图像D100的像素P100的各像素值相加。

但是，如上述实施方式那样，如果求出输入图像D0与边缘增强放大图像D100的差异作为差分数据D200，对边缘增强放大图像D100进行校正并作为输出图像D300，以至少部分地消除由差分数据D200表示的差分，则假定在输出图像D300内，在与构成输入图像D0的像素P0（x，y）相同的位置存在与像素P0（x，y）大小相同的像素，计算该像素具有的像素值时得到的值成为与像素P0（x，y）的像素值D0（x，y）接近的值。换言之，输入图像D0与输出图像D300除了像素数不同以外具有相似的性质（或者输入图像D0与输出图像D300的局部的像素值的平均值成为相似值），因此，与将随机值与构成边缘增强放大图像D100的像素P100的各个像素值相加相比，能够得到更自然的感觉，能够作成具有各种像素值的像素。

本实施方式的图像处理装置可以用作图像显示装置的一部分。图10是利用本实施方式的图像处理装置的图像显示装置的例子，该图像显示装置具有输入图像处理部U1和显示部U2，将与输入图像DIN对应的输出图像DOUT输出到显示部U2。输入图像处理部U1在内部具有本实施方式的图像处理装置，在输入图像DIN的像素数比显示部U2的输出像素数少的情况下，通过本发明的实施方式的图像处理装置，将输入图像DIN放大后作为输出图像DOUT进行输出。通过上述那样的动作，即使输入图像DIN的像素数比显示部U2的输出像素数少，也能够显示视觉上理想的图像。

本实施方式的图像处理装置在不脱离其宗旨的范围内可以考虑各种变形例。

例如，在上述例子中，为了求出差分扩散系数K301而使用的二维矩阵An的数量是4个，但是，二维矩阵的数量不限于4个。此外，可以根据使用的二维矩阵An的数量对系数bn的求出方法进行各种变形。

如果使用5个二维矩阵，则可以在由式（7）表示的系数bn（n=1～4）中添加例如下述的系数

b5＝(b1+b2+b3+b4)/4                    (24)

如果使用8个二维矩阵，则例如可以设为下式，

b1(x，y)＝|D0(x，y)-D0(x-1，y-1)|

b2(x，y)＝|D0(x，y)-D0(x，y-1)|

b3(x，y)＝|D0(x，y)-D0(x+1，y-1)|

b4(x，y)＝|D0(x，y)-D0(x-1，y)|                                    (25)

b5(x，y)＝|D0(x，y)-D0(x+1，y)|

b6(x，y)＝|D0(x，y)-D0(x-1，y+1)|

b7(x，y)＝|D0(x，y)-D0(x，y+1)|

b8(x，y)＝|D0(x，y)-D0(x+1，y+1)|

如果使用9个二维矩阵，则例如可以在由式（25）表示的系数bn（n=1～8）中添加下述的系数。

b9＝(b1+b2+b3+b4+b5+b6+b7+b8)/8  (26)

另外，在上述例子中，利用构成输入图像D0的像素P0的像素值的差分来求出系数bn，但是，根据构成输入图像D0的像素P0的像素值来求出系数bn的方法不限于利用像素值的差分的方法。

此外，在上述例子中，利用构成输入图像D0的像素P0的像素值，求出按照每个对应点T不同的N个系数bn，但是，不是必须利用构成输入图像D0的像素P0的像素值来求出系数bn。例如利用随机数，也能够求出按照每个对应点T不同的N个系数bn。

此外，当对N个矩阵An进行加权相加来求出差分扩散系数K301时，可以如下式那样，利用系数bn的总和来归一化。

$K301=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{bn}\·\mathrm{An}/\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{bn}---\left(27\right)$

此外，边缘增强图像放大部100只要输出增强输入图像D0中包含的边缘后的放大图像即可，可以使用任意的已知方法。

图11示出边缘增强图像放大部100的一例，这是上述专利文献1中公开的技术，具有图像放大部102A、高频成分图像生成部101、图像放大部102B、高频成分图像处理部103以及加法部104。图像放大部102A生成对输入图像D0进行放大后的放大图像D102A。高频成分图像生成部101仅取出输入图像D0的高频成分，生成高频成分图像D101。图像放大部102B对从高频成分图像生成部101输出的高频成分图像D101进行放大，生成放大图像D102B。高频成分图像处理部103从对图像放大部102B输出的放大图像D102B进行非线性处理后的图像中取出高频成分，生成高频成分图像D103。加法部104将放大图像D102A与高频成分图像D103相加，输出边缘增强放大图像D100。

在高频成分图像处理部103中进行的非线性处理例如是指，对放大图像D102B内的包含过零点的预定区域内存在的像素（高频成分图像的像素），以大于1的放大率放大其像素值，对除此以外的像素保持像素值。

如上述专利文献1中公开的那样，可以通过上述处理输出边缘被增强后的放大图像。

边缘增强图像放大部100的结构也可以是上述以外的结构，例如也可以是输出对单纯放大输入图像D0后的图像施加反遮罩锐化（unsharp mask）等已知的边缘增强滤波而得到的图像的结构。通过上述处理也能够输出边缘被增强后的放大图像。

除了上述例子以外，对于输出边缘被增强后的放大图像的方法，已知一边增强边缘一边放大图像的方法或者在对图像进行放大后强化边缘的方法等各种方法，可以自由地使用这些方法。

实施方式A2

实施方式A2的图像处理装置与实施方式A1的图像处理装置同样，能够利用图1所示的结构来实现。但是，高分辨率图像校正部300的结构和动作与实施方式A1的图像处理装置不同。实施方式A2的图像处理装置也与实施方式A1的图像处理装置同样，能够用作图像显示装置的一部分。

图12是示出实施方式A2的高分辨率图像校正部300的结构例的图。

图12的高分辨率图像校正部300具有扩散系数计算部301、扩散量计算部302、边缘判定部310、纹理判定部320、扩散量校正部400以及减法部303b。

可以使用与参照图5在实施方式A1中说明的模块相同的模块作为扩散系数计算部301和扩散量计算部302。

边缘判定部310针对构成边缘增强放大图像D100的各个像素P100（x，y），求出表示像素P100（x，y）包含在边缘或接近边缘的区域（以下称作边缘区域）的概率的值，将其结果作为边缘判定结果D310进行输出。另外，将针对像素P100（x，y）求出的边缘判定结果D310表示为D310（x，y）。

如图12所示，边缘判定部310具有边缘检测部311和边缘概率计算部312。

边缘检测部311将被摄物体的轮廓线等在输入图像D0中像素值急剧变化的部位作为边缘进行检测。

图13示出边缘检测部311的结构例。图示的边缘检测部311具有微分计算部311A和比较部311B。

微分计算部311A针对构成输入图像D0的各个像素P0，计算像素值的微分值D311A。

以下，示出使用索贝尔滤波器计算微分值D311A的例子。该情况下，微分计算部311A可以由水平微分计算部311A1、垂直微分计算部311A2以及加法部311A3构成。

水平微分计算部311A1使用水平方向的索贝尔滤波器计算水平微分值D311A1。将针对像素P0（x，y）计算的水平微分值D311A1设为D311A1（x，y）时，得到下式。

D311A1(x，y)

＝P0(x+1，y-1)-P0(x-1，y-1)                                (28)

+2(P0(x+1，y)-P0(x-1，y))

+P0(x+1，y+1)-P0(x-1，y+1)

垂直微分计算部311A2使用垂直方向的索贝尔滤波器计算垂直微分值D311A2。将针对像素P0（x，y）计算的垂直微分值D311A2设为D311A2（x，y）时，得到下式。

D311A2(x，y)

＝P0(x-1，y+1)-P0(x-1，y-1)                               (29)

+2(P0(x，y+1)-P0(x，y-1))

+P0(x+1，y+1)-P0(x+1，y-1)

加法部311A3将水平微分值D311A1的绝对值与垂直微分值D311A2的绝对值相加，将相加的结果作为微分值D311A3进行输出。将针对像素P0（x，y）计算的微分值D311A3设为D311A3（x，y）时，得到下式。

D311A3（x，y）

=|D311A1（x，y）|+|D311A2（x，y）|

微分计算部311A将微分值D311A3作为微分值D311A进行输出。

比较部311B针对各个像素P0，判定该像素是否包含在边缘中，并将其结果作为判定结果D311B进行输出。

由于在边缘中像素值急剧地变化，因此像素值的微分值的大小也增大。因此，在针对像素P0计算出的微分值D311A的绝对值为阈值Th311B以上的情况下，可以判定为该像素包含在边缘中。以下，用D311A（x，y）表示针对像素P0（x，y）计算出的微分值D311A，用D311B（x，y）表示判定结果D311B时，可以表示为下式。

$D311B(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}(D311A(x,y)\≥\mathrm{Th}311B)\\ 0& \mathrm{else}\end{array}\right.---\left(30\right)$

即，判定结果D311B（x，y）为“1”时，像素P0（x，y）包含于边缘中。

边缘检测部311将判定结果D311B作为边缘检测结果D311进行输出。

由此，边缘检测部311将构成输入图像D0的各个像素P0作为关注像素，将关注像素中的像素值的微分值的大小为一定值以上的像素作为边缘进行检测。

边缘概率计算部312求出边缘概率D312，该边缘概率D312是示出构成边缘增强放大图像D100的像素P100包含于边缘区域的概率的值。

示出边缘概率D312的求出方法的一例。

输入图像D0和边缘增强放大图像D100是表示相同的被摄物体的图像。由此，在输入图像D0中被判定为边缘的部位在边缘增强放大图像D100中也可以判定为边缘。即，在将输入图像D0与边缘增强放大图像D100重合的情况下，在存在于构成边缘增强放大图像D100的像素P100的附近的、构成输入图像D0的像素P0包含于边缘的情况下，像素P100也很可能包含于边缘或边缘附近的区域（即边缘区域）中。反过来考虑，在像素P100包含于边缘区域的情况下，存在于其附近的像素P0往往包含于边缘，边缘检测结果D311也往往取值“1”。进一步讲，可知在像素P100包含于边缘区域的情况下，对存在于其附近的像素P0计算出的边缘检测结果D311的相加值容易成为较大的值。即，对存在于像素P100附近的像素P0计算出的边缘检测结果D311的相加值越大，像素P100包含于边缘区域的可能性越高。

从以上的讨论可知，将边缘概率D312设为在将输入图像D0与边缘增强放大图像D100重合的情况下，对存在于构成边缘增强放大图像D100的像素P100附近的、构成输入图像D0的像素P0计算出的边缘检测结果D311的相加值即可。

使用整数i、j，将位于像素P100（x，y）附近的像素P0表示为下式，

P0（［x］+i，［y］+j）

对这些像素P0计算出的边缘检测结果D311表示为下式，

D311（［x］+i，［y］+j）

因此，表示针对像素P100（x，y）求出的边缘概率D312的D312（x，y）由下式给出。

$D312(x,y)=\underset{i=-\mathrm{Ic}}{\overset{\mathrm{Id}}{\mathrm{\Σ}}}\underset{j=-\mathrm{Jc}}{\overset{\mathrm{Jd}}{\mathrm{\Σ}}}D311\left(\right[x]+i,[y]+j)---\left(31\right)$

上述公式的意思是，将在以像素P0（［x］，［y］）为中心，在水平方向上向左Ic个像素，向右Id个像素，在垂直方向上向上Jc个像素，向下个Jd像素的范围内求出的边缘检测结果D311相加，求出边缘概率D312（x，y）。此外，由上述的讨论可知，边缘概率D312的值越大，像素P100包含于边缘区域的可能性越高。

边缘判定部310将边缘概率D312作为边缘判定结果D310进行输出。

由此，能够针对构成边缘增强放大图像D100的各个像素P100，基于边缘检测结果D311求出边缘判定结果D310。

接着，对纹理判定部320的动作进行说明。

纹理判定部320针对构成边缘增强放大图像D100的各个像素P100（x，y），求出表示像素P100（x，y）包含于纹理区域的概率的值，并将其结果作为纹理判定结果D320进行输出。另外，将针对像素P100（x，y）求出的纹理判定结果D320表示为D320（x，y）。

如图12所示，纹理判定部320具有纹理检测部321和纹理概率计算部322。

纹理检测部321将在输入图像D0中像素值的变化局部较多的区域作为纹理区域进行检测。

图14示出纹理检测部321的结构例。图示的纹理检测部321具有差分计算部321A、比较部321B、加法部321C以及检测部321D。

差分计算部321A针对构成输入图像D0的各个像素P0，计算与邻接像素之间的像素值的差分，作为差分值D321A进行输出。

将针对像素P0（x，y）计算的差分值D321A设为D321A（x，y），则D321A（x，y）例如由下述差分构成。

D321A1(x，y)＝P0(x，y)-P0(x-1，y-1)

D321A2(x，y)＝P0(x，y)-P0(x，y-1)

D321A3(x，y)＝P0(x，y)-P0(x+1，y-1)

D321A4(x，y)＝P0(x，y)-P0(x-1，y)

D321A5(x，y)＝P0(x，y)-P0(x+1，y)

D321A6(x，y)＝P0(x，y)-P0(x-1，y+1)

D321A7(x，y)＝P0(x，y)-P0(x，y+1)

D321A8(x，y)＝P0(x，y)-P0(x+1，y+1)

比较部321B输出计数值D321B（x，y），该计数值D321B（x，y）是关于构成针对各个像素P0（x，y）计算出的差分值D321A（x，y）的多个差分值D321Ar（x，y）（其中，r是1以上且8以下的整数），对其绝对值为阈值Th321B以上的差分值的数量进行计数的结果。此外，有时将计数值D321B（x，y）仅表示为计数值D321B。

加法部321C针对构成输入图像D0的各个像素P0，将针对存在于该像素附近的像素P0计算出的计数值D321B相加，并将相加得到的结果作为相加值D321C进行输出。将针对像素P0（x，y）计算的相加值D321C设为D321C（x，y），则D321C（x，y）表示为下式。

$D321C(x,y)=\underset{i=\mathrm{Ie}}{\overset{\mathrm{If}}{\mathrm{\Σ}}}\underset{j=-\mathrm{Je}}{\overset{\mathrm{Jf}}{\mathrm{\Σ}}}D321B(x+i,y+j)---\left(33\right)$

上述公式的意思是，将在以像素P0（x，y）为中心，在水平方向上向左Ie个像素，向右If个像素，在垂直方向上向上Je个像素，向下Jf个像素的范围内求出的计数值D32B相加，求出相加值D321C（x，y）。

检测部321D针对各个像素P0，判定该像素是否包含于纹理区域，并将其结果作为检测结果D321D进行输出。

在纹理区域中，像素值的变化局部较多，因此，邻接像素间的像素值的差分具有一定程度的大小的像素较多，由此可知计数值D321B在纹理区域中容易成为较大的值。此外，将计数值D321B相加而得到相加值D321C，因此可知，相加值D321C也与计数值D321B同样，在纹理区域中容易成为较大的值。因此，在针对像素P0计算出的相加值D321C的值为阈值Th321D以上的情况下，可以判定为该像素包含于纹理区域。如果用D321D（x，y）表示针对像素P0（x，y）计算的检测结果D321D，则得到下式。

$D321D(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}(D321C(x,y)\≥\mathrm{Th}321D)\\ 0& \mathrm{else}\end{array}\right.---\left(34\right)$

即，当检测结果D321D（x，y）为“1”时，像素P0（x，y）包含在纹理区域中。

纹理检测部321将检测结果D321D作为纹理检测结果D321进行输出。

由此，纹理检测部321将构成输入图像D0的各个像素P0作为关注像素，将在关注像素的附近存在较多的邻接像素间的像素值的差分具有一定程度的大小的像素的区域检测为纹理区域。

纹理概率计算部322求出纹理概率D322，该纹理概率D322是表示构成边缘增强放大图像D100的像素P100包含于纹理区域的概率的值。

对纹理概率D322的求出方法进行说明。

从与根据边缘检测结果D311求出边缘概率D312的情况同样的讨论可知，将纹理概率D322设为在将输入图像D0与边缘增强放大图像D100重合的情况下，对存在于构成边缘增强放大图像D100的像素P100附近的、构成输入图像D0的像素P0计算出的纹理检测结果D321的相加值即可。

使用整数i、j，将位于像素P100（x，y）附近的像素P0表示为下式，

P0（［x］+i，［y］+j）

针对这些像素P0计算出的纹理检测结果D321表示为下式，

D321（［x］+i，［y］+j）

因此，用D322（x，y）表示针对像素P100（x，y）求出的纹理概率D322时，得到下式。

$D322(x,y)=\underset{i=-\mathrm{Ig}}{\overset{\mathrm{Ih}}{\mathrm{\Σ}}}\underset{j=-\mathrm{Jg}}{\overset{\mathrm{Jh}}{\mathrm{\Σ}}}D321\left(\right[x]+i,[y]+j)---\left(35\right)$

上述公式的意思是，将在以像素P0（［x］，［y］）为中心，在水平方向上向左Ig个像素，向右Ih个像素，在垂直方向上向上Jg个像素，向下Jh个像素的范围内求出的纹理检测结果D321相加，求出纹理概率D322（x，y）。此外，由上述的讨论可知，纹理概率D322的值越大，像素P100包含于纹理区域的可能性越高。

纹理判定部320将纹理概率D322作为纹理判定结果D320进行输出。

由此，能够针对构成边缘增强放大图像D100的各个像素P100，基于纹理检测结果D321求出纹理判定结果D320。

扩散量校正部400根据差分扩散量D302、边缘判定结果D310、纹理判定结果D320求出校正扩散量D400。

扩散量校正部400针对构成边缘增强放大图像D100的各个像素P100，求出校正系数F310。以下，用校正系数F310（x，y）表示针对像素P100（x，y）计算的校正系数F310。根据边缘判定结果D310（x，y）的值求出校正系数F310（x，y）。例如，以相对于边缘判定结果D310（x，y）的值单调递减的方式求出校正系数F310（x，y）。

此外，扩散量校正部400还针对构成边缘增强放大图像D100的各个像素P100求出校正系数F320。用校正系数F320（x，y）表示针对像素P100（x，y）计算的校正系数F320。根据纹理判定结果D320（x，y）的值求出校正系数F320（x，y）。例如，以相对于纹理判定结果D320（x，y）的值单调递增的方式求出校正系数F320（x，y）。

扩散量校正部400还针对构成边缘增强放大图像D100的各个像素P100，求出根据校正系数F310、F320的值对差分扩散量D302进行校正而得到的差分扩散量D400。以下，将校正后的差分扩散量简称作“校正扩散量”。该校正例如通过将校正系数F310、F320与差分扩散量D302相乘来进行。将针对像素P100（x，y）计算的校正扩散量D400设为D400（x，y），则表示为下式。

D400（x，y）=F310（x，y）×F320（x，y）×D302（x，y）

减法部303b从构成边缘增强放大图像D100的像素P100（x，y）的像素值D100（x，y）中减去对像素P100（x，y）计算出的校正扩散量D400（x，y），并输出将相减得到的值作为各像素的像素值的图像，作为差分校正图像D303。即，差分校正图像D303的像素值D303（x，y）如下式所示。

D303（x，y）=D100（x，y）-D400（x，y）

高分辨率图像校正部300将差分校正图像D303作为输出图像D300进行输出。

本实施方式的扩散量计算部302与实施方式A1的扩散量计算部302的不同之处在于，差分数据D200的扩散量不仅根据差分扩散系数K301而变化，还根据校正系数F310、F320而变化。

特别是通过根据校正系数F310改变校正扩散量D400，由此，在像素P100包含于边缘区域的概率高的情况下，能够抑制差分数据D200的扩散。由此，能够最大限度地保留边缘增强图像放大部100的边缘增强效果，同时提高纹理区域的清晰度。

此外，通过根据校正系数F320改变校正扩散量D400，由此，在像素P100包含于纹理区域的概率高的情况下，进行（不妨碍）差分数据D200的扩散。由此，也可以在边缘区域所代表的纹理区域以外的部位抑制差分数据D200的扩散，因此，能够保留边缘增强图像放大部100的边缘增强效果，同时提高纹理区域的清晰度。

因此，在本实施方式的图像处理装置中，能够保留边缘增强图像放大部100的边缘增强效果，同时提高纹理区域的清晰度。

另外，只要使用校正系数F310、F320中的至少一个，就能够保留边缘增强图像放大部100的边缘增强效果，同时提高纹理区域的清晰度。

另外，使用校正系数F310改变校正扩散量D400的值的处理可以认为是如下处理：由边缘检测部311检测输入图像D0中包含的边缘，在将输入图像D0与边缘增强放大图像D100重合的情况下，在由边缘检测部311检测到边缘的部位附近的区域中，抑制校正扩散量D400的值使其不会增大。

使用校正系数F310改变校正扩散量D400的值的处理可以认为是如下处理：由边缘判定部310在边缘增强放大图像D100中检测包含边缘的部位，在检测到边缘的部位的附近区域，即在检测到边缘的部位及其周围，抑制校正扩散量D400的值使其不会增大。

此外，使用校正系数F320改变校正扩散量D400的值的处理可以认为是如下处理：由纹理检测部321检测输入图像D0中包含的纹理区域，在将输入图像D0与边缘增强放大图像D100重合的情况下，在由纹理检测部321检测为纹理区域的部位附近的区域以外，抑制校正扩散量D400的值使其不会增大。

此外，使用校正系数F320改变校正扩散量D400的值的处理可以认为是如下处理：由纹理判定部320在边缘增强放大图像D100中检测包含纹理的部位，在判定为包含纹理的部位的附近区域，即判定为包含纹理的部位及其周围以外，抑制校正扩散量D400的值使其不会增大。

此外，使用校正系数F320改变校正扩散量D400的值的处理可以认为是如下处理：由纹理判定部320在边缘增强放大图像D100中，将像素值的变化局部较多的区域检测为纹理区域，在纹理区域及其周围以外，抑制校正扩散量D400的值使其不会增大。

本实施方式的图像处理装置也能够在不脱离其宗旨的范围内考虑各种变形例。首先，能够施加与对实施方式A1说明的变形同样的变形。

此外，可以对式（31）、式（33）、式（35）等通过简单相加表示的处理中的任意一个进行加权相加。

此外，对边缘检测结果D311进行孤立点排除处理，能够提高边缘的检测精度。可以使用例如中值滤波或者组合收缩/膨胀处理而得到的形态学运算等作为孤立点排除处理。

另外，关于纹理检测结果D321，也能够利用孤立点排除处理来提高纹理的检测精度。

此外，不是对边缘检测结果D311或纹理检测结果D321，而是对边缘概率D312或纹理概率D322来进行孤立点排除处理，也能够得到与上述同样的效果。

此外，在上述例子中，为了检测边缘而使用索贝尔滤波器，但是也可以代替索贝尔滤波器而使用边缘检测用的已知的滤波器。此外，只要是能够检测边缘的处理即可，可以使用上述以外的已知的方法。

此外，用于检测纹理区域的处理只要是能够检测像素值的变化局部较多的区域的处理即可。只要能够达到上述目的，也可以使用式（32）所示以外的像素值的差分。

此外，对包含各个像素P0的局部的区域进行傅里叶变换，可以判断为包含的高频成分越多，是纹理区域的可能性越高。此外，也可以代替傅里叶变换而使用离散余弦变换或小波变换等能够按照每个频带分解信号的处理。

此外，只要是能够检测像素值的变化局部较多的区域的处理，也可以使用上述以外的已知的方法。

此外，利用校正系数F310、校正系数F320校正差分扩散量D302不限于上述例子，只要是能够在边缘区域中或者纹理区域以外的区域中，将差分扩散量D302的值校正成较小值的处理即可。

因此，校正系数F310可以不相对于边缘判定结果D310单调递减，例如只要在取边缘判定结果D310比某个阈值大的值的至少一部分区间中，成为低于1的值（或者能够将差分扩散量D302校正成较小值的值）即可。

此外，校正系数F320可以不相对于纹理判定结果D320单调递增，例如只要在取纹理判定结果D320比某个阈值小的值的至少一部分区间中，成为低于1的值（或者能够将差分扩散量D302校正成较小值的值）即可。

此外，用于校正差分扩散量D302的运算不限于使用校正系数F310、校正系数F320的乘法运算。例如，可以边缘判定结果D310的值越大，从差分扩散量D302减去越大的校正值，并将其结果作为校正扩散量D400，也可以纹理判定结果D320的值越小，从差分扩散量D302减去越大的校正值，并将其结果作为校正扩散量D400。

或者，也可以进行例如在取边缘判定结果D310比某个阈值大的值的至少一部分区间中，使校正扩散量D400的值比差分扩散量D302小的处理，也可以进行例如在取纹理判定结果D320比某个阈值小的值的至少一部分区间中，使校正扩散量D400的值比差分扩散量D302小的处理。

由此，根据边缘判定结果D310和纹理判定结果D320对差分扩散量D302的校正，只要在边缘区域或者纹理区域以外的区域中，抑制校正扩散量D400的值使其不会增大即可。

实施方式A3

在实施方式A1中，对通过硬件实现本发明进行了说明，但是，图1所示的结构的一部分或全部还可以通过软件，即编程的计算机来实现。参照图15～图18对该情况下的图像处理方法说明。

图15示出在实施方式A3的图像处理方法的实施中使用的运算装置，即可以作为实施方式A3的图像处理装置使用的运算装置（计算机）。图示的运算装置包含输入接口U1A、处理器U1B、程序存储器U1C、数据存储器U1D、输出接口U1E以及用于连接它们的总线U1F。

处理器U1B根据存储在程序存储器U1C中的程序，对经由输入接口U1A输入的图像进行动作。在动作的过程中将各种数据存储在数据存储器U1D中。将处理后生成的图像经由接口U1E输出。

将图15所示的运算装置嵌入作为图10所示的图像显示装置的构成要素的输入图像处理部U1中，由此能够用作本发明的图像显示装置的一部分。例如在输入图像DIN的像素数比显示部U2的输出像素数少情况下，经由输入接口U1A将输入图像DIN输入到图15所示的运算装置。在程序存储器U1C中预先存储用于执行本实施方式的图像处理方法的程序，处理器U1B通过本实施方式的图像处理方法处理输入图像DIN，将其结果经由输出接口U1E，从输入图像处理部U1作为输出图像DOUT进行输出即可。通过上述那样的动作，即使输入图像DIN的像素数比显示部U2的输出像素数少，也能够显示在视觉上理想的图像。

图16是表示可使用图15的图像处理装置实施的实施方式A3的图像处理方法的流程的图。

实施方式A3的图像处理方法包含边缘增强图像放大步骤ST100、差分计算步骤ST200以及高分辨率图像校正步骤ST300。

边缘增强图像放大步骤ST100生成边缘增强放大图像D100，该边缘增强放大图像D100是由未图示的图像输入步骤输入的输入图像D0内的边缘被增强后的放大图像。在此，为了生成输入图像D0内的边缘被增强后的放大图像，可以使用已知的方法，也可以使用例如上述专利文献1中公开的图像处理方法。

差分计算步骤ST200输出表示输入图像D0与边缘增强放大图像D100的差分的差分数据D200。即依次选择输入图像D0的像素D0（x，y）作为关注像素，针对关注像素设定边缘增强放大图像D100的对应点，输出表示关注像素的像素值与对应点的像素值的差的差分数据D200（x，y）。

图17是表示差分计算步骤ST200的处理流程的图，差分计算步骤ST200具有对应点设定步骤ST221、关注区域设定步骤ST222以及对应点像素值计算步骤ST223。

在对应点设定步骤ST221中进行的处理与在实施方式A1中记载的、由对应点设定部221进行的处理相同。

在关注区域设定步骤ST222中进行的处理与在实施方式A1中记载的、由关注区域设定部222进行的处理相同。

在对应点像素值计算步骤223中进行的处理与在实施方式A1中记载的、由对应点像素值计算部223进行的处理相同。

高分辨率图像校正步骤ST300对边缘增强放大图像D100进行校正，以至少部分地消除由差分数据D200表示的差分，并将其结果作为输出图像D300进行输出。

图18是表示高分辨率图像校正步骤ST300的处理流程的图，高分辨率图像校正步骤ST300具有扩散系数计算步骤ST301、扩散量计算步骤ST302以及减法步骤ST303。

在扩散系数计算步骤ST301中进行的处理与在实施方式A1中记载的、由扩散系数计算部301进行的处理相同

在扩散量计算步骤ST302中进行的处理与在实施方式A1中记载的、由扩散量计算部302进行的处理相同。

在减法步骤ST303中进行的处理与在实施方式A1中记载的、由减法部303进行的处理相同。

以上是实施方式A3的图像处理方法的处理，其内容与实施方式A1的图像处理装置同等。因此，实施方式A3的图像处理方法具有与实施方式A1的图像处理装置相同的效果。

图16的边缘增强放大处理步骤ST100只要输出输入图像D0中包含的边缘被增强后的放大图像即可，可以使用任意的已知的方法。

图19示出边缘增强放大处理步骤ST100的一例，其公开在上述专利文献1中，具有图像放大步骤ST102A、高频成分图像生成步骤ST101、图像放大步骤ST102B、高频成分图像处理步骤ST103以及加法步骤ST104。图像放大步骤ST102A生成对输入图像D0进行放大后的放大图像D102A。

图像放大步骤ST102A进行与图11的图像放大部102A相同的处理，高频成分图像生成步骤ST101进行与图11的高频成分生成部101相同的处理，图像放大步骤ST102B进行与图11的图像放大部102B相同的处理，高频成分图像处理步骤ST103进行与图11的高频成分图像处理部103相同的处理，加法步骤ST104进行与图11的加法部104相同的处理。

如上述专利文献1中公开的那样，通过上述处理可以输出边缘被增强后的放大图像。

图16的边缘增强放大处理步骤ST100也可以是上述以外的步骤，例如可以是输出对单纯放大输入图像D0后的图像施加反遮罩锐化等已知的边缘增强滤波而得到的图像的步骤。在上述处理中也能够输出边缘被增强后的放大图像。

此外，除了上述例子以外，已知各种输出边缘被增强后的放大图像的方法，可以自由地使用这些方法。

此外，可应用于实施方式A1的图像处理装置的变形例也可以应用于实施方式A3的图像处理方法。

实施方式A4

在实施方式A2中，对通过硬件实现本发明进行了说明，但是，也可以通过软件实现与实施方式A2的图像处理装置相同的处理。实施方式A4的图像处理方法也与实施方式A3的图像处理方法同样，可以由图15的图像处理装置实施，用作图像显示装置的一部分。

实施方式A4的图像处理方法与实施方式A3的图像处理方法同样，可以由图16所示的流程实现。但是，高分辨率图像校正步骤ST300的处理内容与实施方式A3的图像处理方法不同。

图20是表示实施方式A4的高分辨率图像校正步骤ST300的处理流程的图，图20所示的高分辨率图像校正步骤ST300具有扩散系数计算步骤ST301、扩散量计算步骤ST302、边缘判定步骤ST310、纹理判定步骤ST320、扩散量校正步骤ST400以及减法步骤ST303b。

扩散系数计算步骤ST301和扩散量计算步骤ST302的动作可以与实施方式A3相同。

边缘判定步骤ST310针对构成边缘增强图像放大步骤ST100输出的边缘增强放大图像D100的各个像素，求出表示该像素包含于边缘区域的概率的值，并将其结果作为边缘判定结果D310进行输出。

边缘判定步骤ST310具有边缘检测步骤ST311和边缘概率计算步骤ST312。

图21是表示边缘检测步骤ST311的处理流程的图，边缘检测步骤ST311具有微分计算步骤ST311A和比较步骤ST311B。

微分计算步骤ST311A包含水平微分计算步骤ST311A1、垂直微分计算步骤ST311A2以及加法步骤ST311A3。

水平微分计算步骤ST311A1进行与实施方式A2的水平微分计算部311A1同样的处理。

垂直微分计算步骤ST311A2进行与实施方式A2的垂直微分计算部311A2同样的处理。

加法步骤ST311A3进行与实施方式A2的加法部311A3同样的处理。

微分计算步骤ST311A的动作如以上那样，其处理内容与实施方式A2的微分计算部311A同等。

比较步骤ST311B进行与实施方式A2的比较部311A同样的处理。

边缘检测步骤ST311的动作如以上那样，其处理内容与实施方式A2的边缘检测部311同等。

边缘概率计算步骤ST312进行与边缘概率计算部312同样的处理。

边缘判定步骤ST310的动作如以上那样，其处理内容与实施方式A2的边缘判定部310同等。

纹理判定步骤ST320针对构成边缘增强放大图像D100的各个像素，求出表示该像素包含于纹理区域的概率的值，并将其结果作为纹理判定结果D320进行输出。

纹理判定步骤ST320具有纹理检测步骤ST321和纹理概率计算步骤ST322。

图22是表示纹理检测步骤ST321的处理流程的图，纹理检测步骤ST321具有差分计算步骤ST321A、比较步骤ST321B、加法步骤ST321C以及检测步骤ST321D。

差分计算步骤ST321A进行与实施方式A2的差分计算部321A同样的动作。

比较步骤ST321B进行与实施方式A2的比较部321B同样的动作。

加法步骤ST321C进行与实施方式A2的加法部321C同样的动作。

检测步骤ST321D进行与实施方式A2的检测部321D同样的动作。

纹理检测步骤ST321的动作如以上那样，其处理内容与实施方式A2的纹理检测部321同等。

纹理概率计算步骤ST322进行与实施方式A2的纹理概率计算部322同样的动作。

纹理判定步骤ST320的动作如以上那样，其处理内容与实施方式A2的纹理判定部320同等。

扩散量校正步骤ST400进行与实施方式A2的扩散量校正部400同样的处理。

减法步骤ST303b进行与实施方式A2的减法部303b同样的处理。

以上是实施方式A4的图像处理方法的处理，其处理内容与实施方式A2的图像处理装置同等。因此，实施方式A4的图像处理方法具有与实施方式A2的图像处理装置相同的效果。

可应用于实施方式A2的图像处理装置的变形例也可应用于实施方式A4的图像处理方法。

实施方式B1

实施方式B1的图像处理装置与实施方式A1的图像处理装置同样，能够由图1所示的结构来实现。但是，高分辨率图像校正部300的结构和动作与实施方式A1的图像处理装置不同。

图23是示出实施方式B1中的高分辨率图像校正部300的结构例的图。

图23的高分辨率图像校正部300具有扩散系数计算部301、扩散量计算部302、周期性判定部330、扩散量校正部400b以及减法部303b。

可以使用与参照图5在实施方式A1或A2中说明的模块相同的模块作为扩散系数计算部301和扩散量计算部302。可以使用与参照图12在实施方式A2中说明的模块相同的模块作为减法部303b。

周期性判定部330检测在边缘增强放大图像D100中包含周期图案的部位。在此，周期图案是指如垂直方向的条纹图案或水平方向的条纹图案那样在像素值的变化中出现规则图形的图案。

图23所示的周期性判定部330具有周期性检测部331和周期性概率计算部332。

图24是示出图23的周期性检测部331的结构例的图。图示的周期性检测部331具有水平方向亮度变化量计算部331A1、垂直方向亮度变化量计算部331A2、比较部331B以及加法部331C。

水平方向亮度变化量计算部331A1对构成输入图像D0的各个像素P0计算水平方向亮度变化量D331A1，该水平方向亮度变化量D331A1表示关于像素值的水平方向的亮度变化。将对像素P0（x，y）计算的水平方向亮度变化量D331A1设为D331A1（x，y），则得到下式。

D331A1(x，y)＝|P0(x，y)-P0(x-1，y)|+|P0(x，y)-P0(x+1，y)|    (36)

上述水平方向亮度变化量D331A1是针对各像素求出的值，针对各像素表示与在水平方向的一侧邻接的像素之间的亮度值的差分的绝对值，和与在水平方向的另一侧邻接的像素之间的亮度值的差分的绝对值的和。

垂直方向亮度变化量计算部331A2对构成输入图像D0的各个像素P0计算垂直方向亮度变化量D331A2，该垂直方向亮度变化量D331A2表示关于像素值的垂直方向的亮度变化。将对像素P0（x，y）计算的垂直方向亮度变化量D331A2设为D331A2（x，y），则得到下式。

D331A2(x，y)＝|P0(x，y)-P0(x，y-1)|+|P0(x，y)-P0(x，y+1)|    (37)

上述垂直方向亮度变化量D331A2是针对各像素求出的值，针对各像素表示与在垂直方向的一侧邻接的像素之间的亮度值的差分的绝对值，和与在垂直方向的另一侧邻接的像素之间的亮度值的差分的绝对值的和。

比较部331B对水平方向亮度变化值D331A1与垂直方向亮度变化值D331A2进行比较，并输出亮度变化量比较结果D331B，该亮度变化量比较结果D331B表示它们的值是否相差阈值Th331B以上。该情况下，将针对像素P0（x，y）得到的亮度变化量比较结果D331B设为D331B（x，y），则得到下式。

$D331B(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}\left(\right|D331A1(x,y)-D331A2(x,y)|\≥\mathrm{Th}331B)\\ 0& \mathrm{else}\end{array}\right.---\left(38\right)$

加法部331C输出针对各关注像素附近的像素将亮度变化量比较结果D331B相加或累计的结果，作为比较结果相加值D331C。将针对像素P0（x，y）得到的比较结果相加值D331C设为D331C（x，y），则得到下式。

$D331C(x,y)=\underset{i,j}{\mathrm{\Σ}}D331B(x+i,y+j)---\left(39\right)$

周期性检测部331输出比较结果相加值D331C作为周期性检测结果D331。进行以上的处理后，在各关注像素的附近区域内，求出得到水平方向亮度变化量D331A1与垂直方向亮度变化量D331A2的差比预定的阈值Th331B大的判定结果D331B的像素的数量D331C，作为周期性检测结果D331。

关于在垂直方向上具有周期性图案（例如水平方向的条纹图案）的区域中包含的像素，水平方向亮度变化量D331A1（式（36））为较小的值，垂直方向亮度变化量D331A2（式（37））为较大的值。相反，关于在水平方向上具有周期性图案（例如垂直方向的条纹图案）的区域中包含的像素，水平方向亮度变化量D331A1（式（36））为较大的值，垂直方向亮度变化量D331A2（式（37））为较小的值。

因此，在水平方向亮度变化量D331A1与垂直方向亮度变化量D331A2的值相差一定程度的情况下，该像素包含于具有周期性图案的区域中的可能性较高。即，在像素P0（x，y）包含于具有周期性图案的区域的情况下，式（38）所示的值往往是1，相反，在像素P0（x，y）不包含于具有周期性图案的区域的情况下，式（38）所示的值往往是0。

并且，在具有周期性图案的区域中，该区域中包含的大部分像素符合上述说明。因此，在具有周期性图案的区域中，针对包含像素P0（x，y）的局部区域将亮度变化量比较结果D331B相加得到的值D331C（式（39））成为较大的值。相反，在不具有周期性图案的区域中，值D331C（式（39））成为较小的值。

即，对于像素P0，周期性检测结果D331（=D331C）的值越大，像素P0包含于具有周期性图案的区域中的可能性越高。

周期性概率计算部332求出周期性概率D332，该周期性概率D332是表示构成边缘增强放大图像D100的像素P100包含于由周期性图案构成的区域（以下称作周期性区域）的概率的值。

示出周期性概率D332的求出方法的一例。

输入图像D0与边缘增强放大图像D100是表示相同被摄物体的图像。因此，在输入图像D0中由周期性图案构成的区域，在边缘增强放大图像D100中也是由周期性图案构成的区域。即，在将输入图像D0与边缘增强放大图像D100重合的情况下，在存在于构成边缘增强放大图像D100的像素P100附近的、构成输入图像D0的像素P0包含于由周期性图案构成的区域的情况下，像素P100也包含于由周期性图案构成的区域（即周期性区域）的可能性较高。反过来考虑，在像素P100包含于周期性区域的情况下，存在于其附近的像素P0往往包含于周期性区域，周期性检测结果D331也往往是较大的值。进一步讲，可知在像素P100包含于周期性区域的情况下，将对存在于其附近的像素P0计算出的周期性检测结果D331相加而得到的值容易成为较大的值。即，将对存在于像素P100附近的像素P0计算出的周期性检测结果D331相加而得到的值越大，像素P100包含于周期性区域中的可能性越高。

从以上的讨论可知，将周期性概率D332设为在将输入图像D0与边缘增强放大图像D100重合的情况下，对存在于构成边缘增强放大图像D100的各个像素P100（校正对象像素）附近的、构成输入图像D0的像素P0计算出的周期性检测结果D331相加而得到的值即可。

使用整数i、j，位于像素P100（x，y）附近的像素P0由下式表示，

P0（［x］+i，［y］+j）

对这些像素P0计算出的周期性检测结果D331由下式表示，

D331（［x］+i，［y］+j）

因此，将针对像素P100（x，y）求出的周期性概率D332表示为D332（x，y）时，得到下式。

$D332(x,y)=\underset{i=-H0}{\overset{H1}{\mathrm{\Σ}}}\underset{j=-V0}{\overset{V1}{\mathrm{\Σ}}}D331\left(\right[x]+i,[y]+j)---\left(40\right)$

另外，上述公式的意思是，在以像素P0（［x］，［y］）为中心，在水平方向上向左H0个像素，向右H1个像素，在垂直方向上向上V0个像素，向下V1个像素的范围内，将周期性检测结果D331相加而求出周期性概率D332（x，y）。此外，由上述的讨论可知，周期性概率D332的值越大，像素P100包含于周期性区域中的可能性越高。

周期性判定部330输出周期性概率D332作为周期性判定结果D330。进行以上的处理后，求出在各关注像素的整个附近区域将针对各像素求出的周期性检测结果D331累计而得到的结果，作为周期性概率D332，并作为周期性判定结果D330进行输出。

扩散量校正部400b与实施方式A2的扩散量校正部400同样，根据差分扩散量D302和周期性判定结果D330求出校正扩散量D400。

扩散量校正部400b针对构成边缘增强放大图像D100的各个像素P100求出校正系数F330。以下，用校正系数F330（x，y）表示对像素P100（x，y）计算出的校正系数F330。根据周期性判定结果D330（x，y）的值求出校正系数F330（x，y）。例如，以相对于周期性判定结果D330（x，y）的值单调递减的方式求出校正系数F330（x，y）。

扩散量校正部400b还针对构成边缘增强放大图像D100的各个像素P100，求出根据校正系数F330的值对差分扩散量D302进行校正后的差分扩散量（校正扩散量）D400。该校正例如通过将校正系数F330与差分扩散量D302相乘而进行。将对像素P100（x，y）计算出的校正扩散量D400设为D400（x，y）时，表示为下式。

D400(x，y)＝F330(x，y)×D302(x，y)    (41)

减法部303b从构成边缘增强放大图像D100的像素P100（x，y）的像素值D100（x，y）中减去对像素P100（x，y）计算出的校正扩散量D400（x，y），并且输出将相减值作为各像素的像素值的图像，作为差分校正图像D303。在构成差分校正图像D303的像素中，将位于坐标（x，y）的像素设为P303（x，y），将像素P303（x，y）的像素值设为D303（x，y），则得到下式。

D303（x，y）=D100（x，y）-D400（x，y）

高分辨率图像校正部300输出差分校正图像D303作为输出图像D300。

以下，对本实施方式的图像处理装置的效果进行叙述。

如关于实施方式A1叙述的那样，从边缘增强放大图像D100中减去差分扩散量D302，由此可以提高纹理区域中的清晰度。但是，在输入图像D0或边缘增强放大图像D100中存在周期性图案的情况下，图像质量有时劣化。

例如，以至少部分地消除差分数据D200的方式对边缘增强放大图像D100进行校正后，存在周期性图案的区域的一部分上出现与原来的周期性图案不同性质的图案时，有时在视觉上感觉到亮度的变化不自然，图像质量劣化。

因此，在本实施方式的图像处理装置中，在周期性判定部330中，求出表示在边缘增强放大图像D100中包含周期性图案的可能性的高低的值即周期性判定结果D330，如式（41）所示，对差分扩散量D302的值进行校正，由此，在边缘增强放大图像D100中，在包含周期性图案的可能性高的区域中，使得校正扩散量D400的大小成为较小的值（或者使得校正扩散量D400的大小得到抑制）。

因此，在实施方式B1的图像处理装置中，与实施方式A1同样，在纹理区域中，作成具有各种像素值的像素，因此不仅在纹理区域中清晰度提高，即使在输入图像D0中包含周期性图案，输出图像D300的图像质量也不会劣化。

本实施方式的图像处理装置也与实施方式A1的图像处理装置同样，能够用作图像显示装置的一部分。例如在图10所示的图像显示装置中的输入图像处理部U1的内部，可以具有本实施方式的图像处理装置来代替实施方式A1的图像处理装置。

本实施方式的图像处理装置也能够在不脱离其宗旨的范围内考虑各种变形例。首先，能够施加与对实施方式A1、A2说明的变形同样的变形。

此外，能够对从图23的周期性检测部331输出的周期性检测结果D331或从图24的比较部331B输出的亮度变化量比较结果D331B进行孤立点排除处理，提高具有周期性的部位的检测精度。可以使用例如中值滤波或组合收缩/膨胀处理而得到的形态学运算等作为孤立点排除处理。

此外，即使不对周期性检测结果D331进行孤立点排除处理，而是对周期性概率D332进行孤立点排除处理，也能够得到与上述同样的效果。

此外，具有周期性的部位的检测方法不限于上述的例子，也可以使用式（36）和式（37）所示的变化量以外的像素值的差分。例如可以计算关于水平方向的像素值的二次微分的绝对值作为水平方向亮度变化量D331A1，计算关于垂直方向的像素值的二次微分的绝对值作为垂直方向亮度变化量D331A2。此外，计算像素值的差分的方向不限于水平方向、垂直方向，只要至少针对不同的两种方向进行计算即可。该情况下，例如，如果至少针对不同的两种方向计算出的差分（或差分的绝对值）的最大值与最小值的差是某个阈值以上的值，则能够判断为具有周期性图案。此外，只要是能够检测具有周期性图案的区域的处理即可，可以使用上述以外的已知的方法。例如，可以使用加博滤波（gabor filter）判断是否包含周期性图案。另外，也可以将输入图像D0或边缘增强放大图像D100分割成几个区域，按照每个区域使用傅里叶变换等进行频率解析，在包含较多特定频率的信号的情况下，判定为具有周期性图案。

此外，使用校正系数F330校正差分扩散量D302也不限于上述的例子，只要能够在具有周期性图案的区域中将差分扩散量D302的值校正成较小的值即可。

因此，校正系数F330也可以不相对于周期性判定结果D330单调递减，例如只要在周期性判定结果D330取比某个阈值大的值的范围的至少一部分区间内，成为低于1的值（或者能够将差分扩散量D302的大小校正成较小的值）即可。

此外，用于校正差分扩散量D302的运算不限于使用校正系数F330的乘法运算。例如，可以从差分扩散量D302中减去周期性判定结果D330的值越大则值越大的校正值，并将相减而得到的值作为校正扩散量D400，或者，也可以进行在周期性判定结果D330取比某个阈值大的值的范围的至少一部分区间内，使校正扩散量D400的大小小于差分扩散量D302的大小的处理。

由此，利用周期性判定结果D330校正差分扩散量D302，只要能够在具有周期性图案的区域中，抑制（或者减小）校正扩散量D400的大小即可。

另外，使用校正系数F330改变校正扩散量D400的值的处理可以认为是以下处理：由周期性检测部331检测输入图像D0和边缘增强放大图像D100中包含周期性图案的部位，在将输入图像D0与边缘增强放大图像D100重合的情况下，在由周期性检测部331判定为包含周期性图案的部位附近的区域中，抑制差分扩散量D400的值使其不会增大。

此外，使用校正系数F330改变校正扩散量D400的值的处理可以认为是以下处理：由周期性判定部330检测在边缘增强放大图像D200中包含周期性图案的部位，在被判定为包含周期性图案的部位，抑制差分扩散量D400的值使其不会增大。

实施方式B2

实施方式B2的图像处理装置与实施方式A1的图像处理装置同样，可以通过图1所示的结构实现。但是，高分辨率图像校正部300的结构和动作与实施方式A1的图像处理装置不同。实施方式B2的图像处理装置也与实施方式A1的图像处理装置同样，能够用作图像显示装置的一部分。

图25是示出实施方式B2的高分辨率图像校正部300的结构例的图。

图25的高分辨率图像校正部300具有扩散系数计算部301、扩散量计算部302、边缘判定部310、纹理判定部320、周期性判定部330、扩散量校正部400c以及减法部303b。

可以使用与在实施方式A1、A2或B1中说明的模块相同的模块作为扩散系数计算部301和扩散量计算部302。可以使用与在实施方式A2或B1中说明的模块相同的模块作为减法部303b。

可以使用与在实施方式B1中说明的模块相同的模块作为周期性判定部330。

可以使用与在实施方式A2中说明的模块相同的模块作为边缘判定部310和纹理判定部320。

扩散量校正部400c与实施方式B1的扩散量校正部400b同样，但是，除了差分扩散量D302和周期性判定结果D330以外，还根据边缘判定结果D310和纹理判定结果D320求出校正扩散量D400。即，扩散量校正部400c除了在实施方式B1中说明的、基于周期性判定结果D330而变化的校正系数F330以外，还根据基于边缘判定结果D310而变化的校正系数F310、基于纹理判定结果D320而变化的校正系数F320来校正差分扩散量D302的值。

与实施方式A2同样地求出校正系数F310、F320。与实施方式B1同样地求出校正系数F330。

扩散量校正部400c针对构成边缘增强放大图像D100的各个像素P100，求出根据校正系数F310、F320、F330的值对差分扩散量D302进行校正后的差分扩散量D400。该校正例如通过将校正系数F310、F320、F330与差分扩散量D302相乘来进行。将对像素P100（x，y）计算出的差分扩散量D400设为D400（x，y）时，表示为下式。

D400（x，y）

=F310（x，y）×F320（x，y）×F330（x，y）×D302（x，y）

减法部303b从构成边缘增强放大图像D100的像素P100（x，y）的像素值D100（x，y）中减去对像素P100（x，y）计算出的校正扩散量D400（x，y），并输出将相减而得到的值作为各像素的像素值的图像，作为差分校正图像D303。即，差分校正图像D303的像素值D303（x，y）由下式表示。

D303（x，y）=D100（x，y）-D400（x，y）

高分辨率图像校正部300输出差分校正图像D303作为输出图像D300。

本实施方式的扩散量校正部400c除了校正系数F330以外，还根据校正系数F310、F320对差分扩散量D302进行校正的程度发生变化，在这一点上与实施方式B1不同。

特别是根据校正系数F310改变差分扩散量D400，由此，在像素P100包含于边缘区域的概率较高的情况下，能够抑制差分数据D200的扩散。由此，能够最大限度地保留边缘增强图像放大部100的边缘增强效果，同时提高纹理区域的清晰度。

此外，根据校正系数F320改变差分扩散量D400，由此，在像素P100包含于纹理区域的概率较高的情况下，能够进行（不妨碍）差分数据D200的扩散。由此，也可以在边缘区域所代表的纹理区域以外的部位抑制差分数据D200的扩散，因此，能够保留边缘增强图像放大部100的边缘增强效果，同时提高纹理区域的清晰度。

因此，在本实施方式的图像处理装置中，能够保留边缘增强图像放大部100的边缘增强效果，同时提高纹理区域的清晰度。

另外，只要使用校正系数F310、F320中的至少一个，就能够保留边缘增强图像放大部100的边缘增强效果，同时提高纹理区域的清晰度。

本实施方式的图像处理装置也能够在不脱离其宗旨的范围内考虑各种变形例。特别是能够施加与对实施方式A1、A2、B1说明的变形同样的变形。

实施方式B3

在实施方式B1中，对通过硬件实现本发明进行了说明，但是，也可以通过软件实现与实施方式B1的图像处理相同的处理。实施方式B3的图像处理方法也与实施方式A3的图像处理方法同样，可以通过图15的图像处理装置实施，用作图像显示装置的一部分。

实施方式B3的图像处理方法与实施方式A3的图像处理方法同样，可以由图16所示的流程实现。但是，高分辨率图像校正步骤ST300的处理内容与实施方式A3的图像处理方法不同。

图26是表示实施方式B3的高分辨率图像校正步骤ST300的处理流程的图，图26所示的高分辨率图像校正步骤ST300具有扩散系数计算步骤ST301、扩散量计算步骤ST302、周期性判定步骤ST330、扩散量校正步骤ST400b以及减法步骤ST303b。

扩散系数计算步骤ST301和扩散量计算步骤ST302的动作可以与实施方式A3相同。

周期性判定步骤ST330具有周期性检测步骤ST331和周期性概率计算步骤ST332。

图27是表示图26的周期性检测步骤ST331的处理流程的图，周期性检测步骤ST331具有水平方向亮度变化量计算步骤ST331A1、垂直方向亮度变化量计算步骤ST331A2、比较步骤ST331B以及加法步骤ST331C。

水平方向亮度变化量计算步骤ST331A1进行与实施方式B1的水平方向亮度变化量计算部331A1同样的处理。

垂直方向亮度变化量计算步骤ST331A2进行与实施方式B1的垂直方向亮度变化量计算部331A2同样的处理。

比较步骤ST331B进行与实施方式B1的比较部331B同样的处理。

加法步骤ST331C进行与实施方式B1的加法部331C同样的处理。

周期性检测步骤ST331的动作如以上那样，其处理内容与实施方式B1的周期性检测部331同等。

图26的周期性概率计算步骤ST332进行与实施方式B1的周期性概率计算部332同样的处理。

周期性判定步骤ST330的动作如以上那样，其处理内容与实施方式B1的周期性判定部330同等。

在扩散量校正步骤ST400b中进行的处理与在实施方式B1中记载的、由扩散量校正部400b进行的处理同等。

在减法步骤ST303b中进行的处理与在实施方式B1中记载的、由减法部303b进行的处理相同。

以上是实施方式B3的图像处理方法的处理，其内容与实施方式B1的图像处理装置同等。因此，实施方式B3的图像处理方法具有与实施方式B1的图像处理装置相同的效果。

可应用于实施方式B1的图像处理装置的变形例也可应用于实施方式B3的图像处理方法。

实施方式B4

在实施方式B2中，对通过硬件实现本发明进行了说明，但是也可以通过软件来实现与实施方式B2的图像处理装置相同的处理。实施方式B4的图像处理方法也与实施方式B3的图像处理方法同样，可以通过图15的图像处理装置实施，用作图像显示装置的一部分。

实施方式B4的图像处理方法与实施方式B3的图像处理方法同样，可以通过图16所示的流程来实现。但是，高分辨率图像校正步骤ST300的处理内容与实施方式B3的图像处理方法不同。

图28是表示实施方式B4的高分辨率图像校正步骤ST300的处理流程的图，图28所示的高分辨率图像校正步骤ST300具有扩散系数计算步骤ST301、扩散量计算步骤ST302、边缘判定步骤ST310、纹理判定步骤ST320、周期性判定步骤ST330、扩散量校正步骤ST400c以及减法步骤ST303b。

扩散系数计算步骤ST301、扩散量计算步骤ST302以及周期性判定步骤ST330的动作可以与实施方式B3相同。

边缘判定步骤ST310和纹理判定步骤ST320的动作可以与实施方式A4相同。

扩散量校正步骤ST400c进行与实施方式B2的扩散量校正部400c同样的处理。

减法步骤ST303b进行与实施方式B2的减法部303b同样的处理。

以上是实施方式B4的图像处理方法的处理，其处理内容与实施方式B2的图像处理装置同等。因此，实施方式B4的图像处理方法具有与实施方式B2的图像处理装置相同的效果。

可应用于实施方式B2的图像处理装置的变形例也可应用于实施方式B4的图像处理方法。

实施方式C1

实施方式C1的图像处理装置与实施方式A1的图像处理装置同样，可以通过图1所示的结构实现。但是，高分辨率图像校正部300的结构和动作与实施方式A1的图像处理装置不同。

图29是示出实施方式C1的高分辨率图像校正部300的结构例的图。

图29的高分辨率图像校正部300具有扩散系数计算部301、扩散量计算部302、亮度信息生成部340、扩散量校正部400d以及减法部303b。

可以使用与在实施方式A1、A2、B1或B2中说明的模块相同的模块作为扩散系数计算部301和扩散量计算部302。可以使用与在实施方式A2、B1或B2中说明的模块相同的模块作为减法部303b。

亮度信息生成部340针对边缘增强放大图像D100中的各像素生成亮度信息D340，该亮度信息D340表示该像素是否是位于聚集较多具有较小的像素值的像素的区域内的像素。

亮度信息生成部340例如针对构成边缘增强放大图像D100的各个像素P100，计算位于包含该像素的预定区域，例如该像素的附近区域内的像素P100的像素值D100的平均值AVE100，作为亮度信息D340进行输出。另外，平均值可以是简单地平均，也可以是加权平均。以下，用D340（x，y）表示对像素P100（x，y）计算出的亮度信息D340。

扩散量校正部400d与实施方式A2的扩散量校正部400同样，根据差分扩散量D302和亮度信息D340求出校正扩散量D400。

扩散量校正部400d针对构成边缘增强放大图像D100的各个像素P100，求出校正系数F340。以下，用校正系数F340（x，y）表示对像素P100（x，y）计算出的校正系数F340。根据亮度信息D340（x，y）的值求出校正系数F340（x，y）。例如，如图30的（a）所示，以相对于亮度信息D340（x，y）的值的递减而单调递减的方式求出校正系数F340（x，y）。

扩散量校正部400d还针对构成边缘增强放大图像D100的各个像素P100，求出根据校正系数F340的值对差分扩散量D302进行校正后的差分扩散量（校正扩散量）D400。该校正例如通过将校正系数F340与差分扩散量D302相乘来进行。将对像素P100（x，y）计算出的校正扩散量D400设为D400（x，y）时，表示为下式。

D400(x，y)＝F340(x，y)×D302(x，y)        (42)

减法部303b从构成边缘增强放大图像D100的像素P100（x，y）的像素值D100（x，y）中减去对像素P100（x，y）计算出的校正扩散量D400（x，y），并输出将相减而得到的值作为各像素的像素值的图像，作为差分校正图像D303。在构成差分校正图像D303的像素中，将位于坐标（x，y）的像素设为P303（x，y），将像素P303（x，y）的像素值设为D303（x，y），则得到下式。

D303（x，y）=D100（x，y）-D400（x，y）

高分辨率图像校正部300输出差分校正图像D303作为输出图像D300。

以下，对本实施方式的图像处理装置的效果进行叙述。

如关于实施方式A1叙述的那样，从边缘增强放大图像D100中减去差分扩散量D302，由此能够提高纹理区域中的清晰度。但是，在输入图像D0或边缘增强放大图像D100中存在聚集具有较小的像素值的像素的区域（以下，有时称作低亮度区域）的情况下，图像质量有时会劣化。

当低亮度区域中出现细小的像素值（或亮度）变化时，有时感觉到S/N劣化或噪声增加，感觉到图像质量劣化。

由此，在本实施方式的图像处理装置中，在亮度信息生成部340中，针对构成边缘增强放大图像D100的各个像素P100求出亮度信息D340，该亮度信息D340表示位于包含该像素的预定区域，例如该像素的附近区域内的像素P100具有的像素值D100的平均值AVE100，如式（42）所示，根据亮度信息D340的值来校正差分扩散量D302的值，由此，使得在低亮度区域中校正扩散量D400的大小变小（或者使得校正扩散量D400的大小得到抑制）。

由此，在本实施方式的图像处理装置中，在低亮度区域中输出图像D300的图像质量不会劣化。

另外，在低亮度区域中，为了校正差分扩散量D302的值而使用的亮度信息D340或校正系数F340不限于上述的例子。

此外，利用校正系数F340校正差分扩散量D302也不限于上述的例子，只要能够在低亮度区域中将差分扩散量D302的值校正成较小的值即可。

因此，校正系数F340可以不相对于亮度信息D340而连续地变化，例如图30的（b）所示，只要在亮度信息D340取比某个阈值（低亮度区域检测用阈值）Th340Lo小的值的至少一部分区间内，成为低于1的值（或者能够将差分扩散量D302的大小校正成较小的值）即可。

此外，用于校正差分扩散量D302的运算不限于使用校正系数F340的乘法运算，只要是在亮度信息D340取比某个阈值（低亮度区域检测用阈值）Th340Lo小的值的至少一部分区间内，使校正扩散量D400的大小小于差分扩散量D302的大小的处理即可。

此外，亮度信息D340也不限于上述的例子，只要能够检测低亮度区域即可。

例如，可以代替像素值的平均值AVE100本身，将从像素值的最大灰度值即灰度范围的最大值中减去上述平均值AVE100而得到的值作为亮度信息D340，使校正系数F340随着亮度信息D340的增加而减少。

此外，也可以在亮度信息生成部340中，在包含像素P100（x，y）的预定区域例如该像素的附近区域内，对像素值为比预定阈值（低亮度像素检测用阈值）Th100Lo小的值的像素的数量进行计数，将得到的计数值D340Lo（x，y）作为亮度信息D340。因此，例如，如图31所示，只要使用具有低亮度像素检测部3401和低亮度像素计数部3402的亮度信息生成部340，由低亮度像素检测部3401检测像素值D100比阈值Th100Lo小的像素，由低亮度像素计数部3402对检测结果（检测到的像素）D3401进行计数，将计数值D340Lo作为亮度信息D340进行输出即可。

该情况下，只要用于校正差分扩散量D302的运算，是在亮度信息D340取比某个阈值（亮度信息阈值）Tn340Lo大的值的至少一部分区间内，使校正扩散量D400的大小小于差分扩散量D302的大小的处理即可。

因此，例如，如图30的（c）所示，只要在比上述阈值（亮度信息阈值）Tn340Lo大的范围内，生成随着亮度信息D340的增加而减小的校正系数F340，将该校正系数F340与差分扩散量D302相乘，求出校正扩散量D400即可。

此外，除了像素数不同以外，输入图像D0与边缘增强放大图像D100是相同的图像，因此，可以根据输入图像D0求出亮度信息D340。

例如，针对各个像素P100，计算位于与存在于包含像素P100的预定区域内的对应点T相同位置的像素P0的像素值的局部平均值AVE0，作为亮度信息D340。

此外，也可以在位于与包含像素P100（x，y）的预定区域，例如存在于该像素的附近区域内的对应点T相同位置的像素P0中，对其像素值为比预定阈值（低亮度像素检测用阈值）Th0Lo（图31中由括号示出）小的值的像素数量进行计算，使用计数而得到的值作为计数值D340Lo（x，y）。

另外，上述处理可以认为是以下处理：由亮度信息生成部340在边缘增强放大图像D100或输入图像D0中检测局部地聚集较多像素值（或亮度值）较小的像素的区域，在该区域中，抑制校正扩散量D400的值使其不会增大，或者抑制消除差分数据D200的校正。

此外，在上述说明中，叙述了使用亮度信息D340来抑制低亮度区域中的图像质量劣化的处理，但是，能够使用亮度信息D340抑制图像质量劣化的区域不限于低亮度区域。

在以下说明中，考虑输入图像D0附加有字幕等文字信息的情况。如果对这些文字信息施加细微的像素值的变化，则会破坏文字的形状，降低文字信息的可视性或可读性。

以下，针对在包含像素P100（x，y）的预定区域中对像素值为比预定阈值（高亮度像素检测用阈值）Th100Hi大的值的像素的数量进行计数而得到的计数值D340Hi（x，y）进行叙述。通常，为了提高字幕等文字信息的可视性，使用亮度值高的像素（或具有较大的像素值的像素）进行显示。因此，在附加有文字信息的区域中，计数值D340Hi（x，y）的值比其它区域的值大。

即，如果使用计数值D340Hi（x，y）作为亮度信息D340的一部分，在计数值D340Hi（x，y）取比预定阈值（高亮度像素数检测用阈值）Tn340Hi大的值的至少一部分区间内，以使校正扩散量D400的大小比差分扩散量D302的大小小的方式进行校正，则能够抑制文字信息的可视性下降。

为了进行这样的处理，例如图32所示，只要使用具有高亮度像素检测部3403和高亮度像素计数部3404的亮度信息生成部340，由高亮度像素检测部3403检测边缘增强放大图像的像素值D100比阈值Th100Hi大的像素，由高亮度像素计数部3404对检测结果（检测到的像素）进行计数，将计数值D340Hi作为亮度信息D340进行输出即可。

另外，能够用作计数值D340Hi（x，y）的不限于上述的例子，只要能够检测出现大量具有较大的像素值的像素的区域即可。

例如可以根据输入图像D0求出计数值D340Hi（x，y），可以在位于与存在于包含像素P100（x，y）的预定区域，例如该像素的附近区域内的对应点T相同位置的像素P0中，对其像素值为比预定阈值（高亮度像素数检测用阈值）Th0Hi（图32中由括号示出）大的值的像素数进行计数，将计数得到的值作为计数值D340Hi（x，y）。

另外，也可以使用平均值AVE100或平均值AVE0作为亮度信息D340，使得文字信息的可视性不会下降。如前所述，使用具有较大的像素值的像素来显示文字信息，因此，在显示有文字信息的部分中，平均值AVE100或平均值AVE0的值成为大到一定程度的值。因此，在使用这些值作为亮度信息D340的情况下，只要在亮度信息D340为比预定阈值（高亮度区域检测用阈值）Th340Hi大的值的至少一部分区间内，以使校正扩散量D400的大小比差分扩散量D302的大小小的方式进行校正即可。

因此，例如，如图30的（d）所示，只要在亮度信息D340比上述的预定阈值（高亮度区域检测用阈值）Th340Hi大的区域中，具有校正系数F340相对于亮度信息D340的增加而减少的关系即可。

另外，上述处理可以认为是以下处理：由亮度信息生成部340在边缘增强放大图像D100或输入图像D0中检测局部地聚集较多像素值（或亮度值）较大的像素的区域，在该该区域中，抑制校正扩散量D400的值使其不会增大，或者抑制消除差分数据D200的校正。

另外，还可以同时防止低亮度区域中的图像质量劣化和文字信息的可视性下降。例如在使用平均值AVE100或平均值AVE0作为亮度信息D340的情况下，只要在亮度信息D340为比某个阈值（低亮度区域检测用阈值）Th340Lo小的值的至少一部分区间和亮度信息D340为比另一个阈值（高亮度区域检测用阈值）Th340Hi（＞Th340Lo）大的值的至少一部分区间内，进行使校正扩散量D400的大小比差分扩散量D302的大小小的处理即可。为此，例如图30的（e）所示，例如只要在亮度信息D340的值比低亮度区域检测用阈值Th340Lo小的范围内，随着亮度信息D340的减少而使校正系数F340减少，在亮度信息D340的值比高亮度区域检测用阈值Th340Hi大的范围内，随着亮度信息D340的增加而使校正系数F340减少即可。

另外，也可以使用计数值D340Lo（x，y）和计数值D340Hi（x，y）作为亮度信息D340，在计数值D340Lo（x，y）为比某个阈值（低亮度像素数检测用阈值）Tn340Lo大的值的至少一部分区间和计数值D340Hi（x，y）为比另一个阈值（高亮度像素数检测用阈值）Tn340Hi大的值的至少一部分区间内，进行使校正扩散量D400的大小比差分扩散量D302的大小小的处理。

为此，例如，如图33所示，只要作为亮度信息生成部340，除了与图31同样的低亮度像素检测部3401和低亮度像素计数部3402以及与图32同样的高亮度像素检测部3403和高亮度像素计数部3404以外，还使用第1参数生成部3405、第2参数生成部3406以及合成部3407，第1参数生成部3405生成第1参数D3405，其中，在计数值D340Lo为低亮度像素数检测用阈值Tn340Lo以下的情况下，该第1参数D3405为1，在计数值D340Lo处于比低亮度像素数检测用阈值Tn340Lo大的范围内的情况下，该第1参数D3405随着计数值D340Lo的增加而减小，第2参数生成部3406生成第2参数D3406，其中，在计数值D340Hi在高亮度像素数检测用阈值Tn340Hi以下的范围内的情况下，该第2参数D3406为1，在计数值D340Hi处于比高亮度像素数检测用阈值Tn340Hi大的范围内的情况下，该第2参数D3406随着计数值D340Hi的增加而减小，合成部3407通过选择第1参数D3405和第2参数D3406中较小值的处理，或者将第1参数D3405与第2参数D3406相乘的处理，求出校正系数F340即可。

如上所述，在实施方式C1的图像处理装置中，与实施方式A1同样，在纹理区域中作成具有各种像素值的像素，因此，不仅在纹理区域中清晰度得到提高，而且在亮度低的区域中S/N不会局部劣化，在附加有文字信息的情况下，文字的可视性不会下降。

本实施方式的图像处理装置也与实施方式A1的图像处理装置同样，能够用作图像显示装置的一部分。例如可以在图10所示的图像显示装置中的输入图像处理部U1的内部具有本实施方式的图像处理装置来代替实施方式A1的图像处理装置。

本实施方式的图像处理装置也可以在不脱离其宗旨的范围内考虑各种变形例。

特别是能够施加与对实施方式A1、A2、B1、B2说明的变形同样的变形。

实施方式C2

实施方式C2的图像处理装置与实施方式C1的图像处理装置同样，可以通过图1所示的结构来实现。但是，高分辨率图像校正部300的结构和动作与实施方式C1的图像处理装置不同。实施方式C2的图像处理装置也与实施方式C1的图像处理装置同样，可以用作图像显示装置的一部分。

图34是示出实施方式C2的高分辨率图像校正部300的结构例的图。

图34的高分辨率图像校正部300具有扩散系数计算部301、扩散量计算部302、边缘判定部310、纹理判定部320、亮度信息生成部340、扩散量校正部400e以及减法部303b。

可以使用与在实施方式A1、A2、B1、B2或C1中说明的模块相同的模块作为扩散系数计算部301和扩散量计算部302。可以使用与在实施方式A2、B1、B2或C1中说明的模块相同的模块作为减法部303b。可以使用与在实施方式C1中说明的模块相同的模块作为亮度信息生成部340。

可以使用与在实施方式A2或B2中说明的模块相同的模块作为边缘判定部310和纹理判定部320。

扩散量校正部400e与实施方式C1的扩散量校正部400d同样，但是，除了差分扩散量D302和亮度信息D340以外，还根据边缘判定结果D310和纹理判定结果D320求出校正扩散量D400。即，扩散量校正部400e除了在实施方式C1中说明的、基于亮度信息D340而变化的校正系数F340以外，还根据基于边缘判定结果D310而变化的校正系数F310、基于纹理判定结果D320而变化的校正系数F320来对差分扩散量D302的值进行校正。

与实施方式A2同样地求出校正系数F310、F320。与实施方式C1同样地求出校正系数F340。

扩散量校正部400e针对构成边缘增强放大图像D100的各个像素P100，求出根据校正系数F310、F320、F340的值对差分扩散量D302进行校正后的校正扩散量D400。该校正例如通过将校正系数F310、F320、F340与差分扩散量D302相乘来进行。将对像素P100（x，y）计算出的校正扩散量D400设为D400（x，y）时，表示为下式。

D400（x，y）

=F310（x，y）×F320（x，y）×F340×D302（x，y）

减法部303b从构成边缘增强放大图像D100的像素P100（x，y）的像素值D100（x，y）中减去对像素P100（x，y）计算出的校正扩散量D400（x，y），并输出将相减而得到的值作为各像素的像素值的图像，作为差分校正图像D303。即，差分校正图像D303的像素值D303（x，y）表示为下式。

D303（x，y）=D100（x，y）-D400（x，y）

高分辨率图像校正部300输出差分校正图像D303作为输出图像D300。

本实施方式的扩散量校正部400e除了校正系数F340以外，还根据校正系数F310、F320对差分扩散量D302进行校正的程度发生变化，在这一点上与实施方式C1不同。

特别是根据校正系数F310改变校正扩散量D400，由此，在像素P100包含于边缘区域的概率较高的情况下，能够抑制差分数据D200的扩散。由此，能够最大限度地保留边缘增强图像放大部100的边缘增强效果，同时提高纹理区域的清晰度。

此外，根据校正系数F320改变校正扩散量D400，由此，在像素P100包含于纹理区域的概率较高的情况下，能够进行（不妨碍）差分数据D200的扩散。由此，可以在边缘区域所代表的纹理区域以外的部位抑制差分数据D200的扩散，因此，能够保留边缘增强图像放大部100的边缘增强效果，同时提高纹理区域的清晰度。

因此，在本实施方式的图像处理装置中，能够保留边缘增强图像放大部100的边缘增强效果，同时提高纹理区域的清晰度。

另外，只要使用校正系数F310、F320中的至少一个，就能够保留边缘增强图像放大部100的边缘增强效果，同时提高纹理区域的清晰度。

本实施方式的图像处理装置也可以在不脱离其宗旨的范围内考虑各种变形例。特别能够施加与关于实施方式A1、A2、B1、B2、C1说明的变形同样的变形。

实施方式C3

在实施方式C1中，对通过硬件实现本发明进行了说明，但是，也可以通过软件来实现与实施方式C1的图像处理相同的处理。实施方式C3的图像处理方法也与实施方式A3的图像处理方法同样，可以通过图15的图像处理装置实施，能够用作图像显示装置的一部分。

实施方式C3的图像处理方法与实施方式A3的图像处理方法同样，可以通过图16所示的流程实现。但是，高分辨率图像校正步骤ST300的处理内容与实施方式A3的图像处理方法不同。

图35是表示实施方式C3的高分辨率图像校正步骤ST300的处理流程的图，图35所示的高分辨率图像校正步骤ST300具有扩散系数计算步骤ST301、扩散量计算步骤ST302、亮度信息生成步骤ST340、扩散量校正步骤ST400d以及减法步骤ST303b。

扩散系数计算步骤ST301和扩散量计算步骤ST302的动作可以与实施方式A3相同。

在亮度信息生成步骤ST340中进行的处理与在实施方式C1中记载的、由亮度信息生成部340进行的处理相同。

在扩散量校正步骤ST400d中进行的处理与在实施方式C1中记载的、由扩散量校正部400d进行的处理同等。

在减法步骤ST303b中进行的处理与在实施方式C1中记载的、由减法部303b进行的处理相同。

以上是实施方式C3的图像处理方法的处理，其内容与实施方式C1的图像处理装置同等。因此，实施方式C3的图像处理方法具有与实施方式C1的图像处理装置相同的效果。

可应用于实施方式C1的图像处理装置的变形例也可应用于实施方式C3的图像处理方法。

实施方式C4

在实施方式C2中，对通过硬件实现本发明进行了说明，但是，也可以通过软件实现与实施方式C2的图像处理装置相同的处理。实施方式C4的图像处理方法也与实施方式C3的图像处理方法同样，可以通过图15的图像处理装置实施，能够用作图像显示装置的一部分。

实施方式C4的图像处理方法与实施方式C3的图像处理方法同样，可以通过图16所述的流程实现。但是，高分辨率图像校正步骤ST300的处理内容与实施方式C3的图像处理方法不同。

图36是表示实施方式C4的高分辨率图像校正步骤ST300的处理流程的图，图36所示的高分辨率图像校正步骤ST300具有扩散系数计算步骤ST301、扩散量计算步骤ST302、边缘判定步骤ST310、纹理判定步骤ST320、亮度信息生成步骤ST340、扩散量校正步骤ST400e以及减法步骤ST303b。

扩散系数计算步骤ST301、扩散量计算步骤ST302以及亮度信息生成步骤ST340的动作可以与实施方式C3相同。

边缘判定步骤ST310和纹理判定步骤ST320的动作可以与实施方式A4相同。

扩散量校正步骤ST400e进行与实施方式C2的扩散量校正部400e同样的处理。

减法步骤ST303b进行与实施方式C2的减法部303b同样的处理。

以上是实施方式C4的图像处理方法的处理，其处理内容与实施方式C2的图像处理装置同等。因此，实施方式C4的图像处理方法具有与实施方式C2的图像处理装置相同的效果。

可应用于实施方式C2的图像处理装置的变形例也可应用于实施方式C4的图像处理方法。

用于使计算机执行在实施方式A3、A4、B3、B4、C3、C4中说明的本发明的图像处理方法的程序以及记录有该程序的、计算机可读取的记录介质也构成本发明的一部分。

Claims (15)

1.一种图像处理装置，其特征在于，该图像处理装置具有：

边缘增强图像放大部，其将第1分辨率的输入图像转换成所述输入图像中包含的边缘被增强后的第2分辨率的高分辨率图像；

差分计算部，其求出所述高分辨率图像与所述输入图像的差分；以及

高分辨率图像校正部，其将所述差分向构成所述高分辨率图像的各像素扩散，生成对所述高分辨率图像进行校正后的校正图像，

将所述校正图像作为输出图像。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述高分辨率图像校正部具有纹理检测部，该纹理检测部在所述输入图像中检测像素值的变化局部较多的区域作为纹理区域，

在将所述输入图像与所述高分辨率图像重合的情况下，在被检测为所述纹理区域的区域附近以外，抑制至少部分地消除所述差分的校正。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述差分计算部具有：

对应点设定部，其在将所述输入图像重合在所述高分辨率图像上的情况下，将构成所述输入图像的各像素重合的位置设为对应点；

对应点像素值计算部，其根据所述高分辨率图像的像素值，求出在所述对应点存在与构成所述输入图像的各像素大小相同的像素时的像素值，作为对应点的像素值；以及

第1减法部，其求出所述输入图像的各像素的像素值与由所述对应点像素值计算部求出的与该像素有关的对应点的像素值之间的差，

将所述第1减法部的输出作为所述差分。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述高分辨率图像校正部具有扩散系数计算部，该扩散系数计算部按照每个所述对应点求出扩散系数，该扩散系数用于决定将所述差分向存在于所述对应点附近的、构成所述高分辨率图像的各像素扩散的量。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述高分辨率图像校正部具有：

扩散量计算部，其针对构成所述高分辨率图像的各像素，使用所述扩散系数求出从该像素附近的1个或2个以上的各个对应点向该像素扩散的差分，进而求出从该像素附近的所述1个或2个以上的对应点扩散的差分的和并进行输出；以及

第2减法部，其输出从所述边缘增强图像放大部输出的所述高分辨率图像的像素值减去所述扩散量计算部的输出值而得到的值，

将所述第2减法部的输出值作为所述校正图像的像素值。

6.根据权利要求4所述的图像处理装置，其特征在于，

所述扩散系数是对彼此不同的矩阵进行加权相加而得到的。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述彼此不同的矩阵彼此线性独立。

8.根据权利要求6所述的图像处理装置，其特征在于，

用于所述加权相加的权重系数按照每个所述对应点而不同。

9.根据权利要求6所述的图像处理装置，其特征在于，

用于所述加权相加的权重系数是根据所述输入图像的像素值的变化而求出的。

10.根据权利要求1所述的图像处理装置，其特征在于，

所述高分辨率图像校正部还具有检测所述输入图像中包含的边缘的边缘检测部，

在将所述输入图像与所述高分辨率图像重合的情况下，在被检测到所述边缘的部位附近，抑制消除所述差分的校正。

11.根据权利要求1所述的图像处理装置，其特征在于，

所述高分辨率图像校正部还具有检测在所述高分辨率图像中包含周期性图案的部位的周期性判定部，

在被判定为在所述高分辨率图像中包含周期性图案的部位中，抑制消除所述差分的校正。

12.根据权利要求1所述的图像处理装置，其特征在于，

所述高分辨率图像校正部检测在所述高分辨率图像或所述输入图像中聚集较多的具有较小像素值的像素的区域，或者聚集较多的具有较大像素值的像素的区域，在该区域中抑制消除所述差分的校正。

13.一种图像显示装置，其特征在于，该图像显示装置具有权利要求1~12中的任意一项所述的图像处理装置。

14.一种图像处理方法，其特征在于，该图像处理方法具有以下步骤：

边缘增强图像放大步骤，将第1分辨率的输入图像转换成所述输入图像中包含的边缘被增强后的第2分辨率的高分辨率图像；

差分计算步骤，求出所述高分辨率图像与所述输入图像的差分；以及

高分辨率图像校正步骤，将所述差分向构成所述高分辨率图像的各像素扩散，生成对所述高分辨率图像进行校正后的校正图像，

将所述校正图像作为输出图像。

15.一种图像显示装置，其特征在于，该图像显示装置显示采用权利要求14所述的图像处理方法处理后的图像。

Images