CN1806257A - 图像处理设备、图像处理方法、用于图像处理方法的程序、以及记录有用于图像处理方法的程序的记录介质 - Google Patents

Abstract

本发明可应用于例如分辨率转换，其确定表现出最大像素值梯度的边缘梯度方向(v1)和与该边缘梯度方向正交的边缘方向(v2)，然后对边缘梯度方向(v1)和边缘方向(v2)分别执行边缘增强和平滑处理，从而产生输出图像数(D2)。

Description

图像处理设备、图像处理方法、用于图像处理方法的程序、 以及记录有用于图像处理方法的程序的记录介质

技术领域

本发明涉及图像处理设备、图像处理方法、用于图像处理方法的程序、以及其上记录有用于图像处理方法的程序的记录介质，并且，本发明可应用于例如分辨率转换。分别通过检测具有最大像素值梯度的边缘梯度方向和与该边缘梯度方向正交的边缘方向、以及通过执行边缘梯度方向和边缘方向上的边缘增强和平滑处理，本发明能够有效地避免高频分量损失和防止锯齿状图形出现，以便生成输出图像数据。

背景技术

在图像处理中，已经通过例如线性插值或者双三次转换来执行分辨率转换。例如，在日本未审专利申请公布第2003-224715号中提出了一种用简化的配置来执行这样的图像处理的方法。

然而，在这样的图像处理中，在边缘部分出现锯齿状图形。当设置线性插值或者双三次转换的特性以使得锯齿状图形不突出时，存在图像的高频分量丢失且图像由于清晰度(sharpness)降低而模糊的问题。由于在纹理(texture)部分出现相当多的图像模糊，所以可以在纹理部分改变这种处理的特性。然而，在这个情况下，在特性改变的位置出现非均匀性和闪烁。

发明内容

鉴于前述点而设计了本发明，并提出了能够有效避免高频分量的损失和防止锯齿状图形出现的图像处理设备、图像处理方法、用于图像处理方法的程序、以及在其上记录用于图像处理方法的程序的记录介质。

为了解决上面的问题，本发明可应用于处理输入图像数据并用于输出输出图像数据的图像处理设备。该图像处理设备包括：边缘检测单元，用于针对输入图像数据的每个像素检测具有最大像素值梯度的边缘梯度方向和与该边缘梯度方向正交的边缘方向；边缘方向处理单元，用于根据边缘检测单元的检测结果，针对输出图像数据的每个像素，在边缘方向上对图像数据执行平滑处理，并用于随后输出与输出图像数据的各个像素对应的像素值；以及边缘梯度方向处理单元，用于根据边缘检测单元的检测结果，在边缘梯度方向上，对从边缘方向处理单元输出的输出图像数据各个像素的像素值执行边缘增强处理，并用于随后将输出图像数据的像素值输出。

根据本发明的配置适用于处理输入图像数据并用于输出输出图像数据的图像处理设备。该图像处理设备包括：边缘检测单元，用于针对输入图像数据的每个像素检测具有最大像素值梯度的边缘梯度方向和与该边缘梯度方向正交的边缘方向；边缘方向处理单元，用于根据边缘检测单元的检测结果，针对输出图像数据的每个像素，在边缘方向上对图像数据执行平滑处理，并用于随后输出与输出图像数据的各个像素对应的像素值；以及边缘梯度方向处理单元，用于根据边缘检测单元的检测结果，在边缘梯度方向上，对从边缘方向处理单元输出的输出图像数据各个像素的像素值执行边缘增强处理，并用于随后将输出图像数据的像素值输出。这样，在具有最大像素值梯度的边缘梯度方向上和在与该边缘梯度方向正交的边缘方向上分别执行边缘增强和平滑处理，以生成输出图像数据。因此，可以有效地避免高频分量的损失，并可以防止锯齿状图形的出现。

此外，本发明适用于处理输入图像数据并输出输出图像数据的图像处理方法。该图像处理方法包括：边缘检测步骤，针对输入图像数据的每个像素，检测具有最大像素值梯度的边缘梯度方向和与该边缘梯度方向正交的边缘方向；边缘方向处理步骤，根据边缘检测步骤的检测结果，针对输出图像数据的每个像素，在边缘方向上执行对图像数据的平滑处理，并随后检测与输出图像数据的各个像素对应的像素值；以及边缘梯度方向处理步骤，根据边缘检测步骤的检测结果，针对输出图像数据的各个像素，在边缘梯度方向上，对通过边缘方向处理步骤所检测的像素值执行边缘增强处理，并随后输出该输出图像数据的像素值。

这样，利用根据本发明的配置，可以提供能够有效地避免高频分量损失并防止锯齿状图形出现的图像处理方法。

此外，本发明适用于由算术处理装置执行以处理输入图像数据并输出输出图像数据的图像处理方法的程序。该程序包括：边缘检测步骤，针对输入图像数据的每个像素，检测具有最大像素值梯度的边缘梯度方向和与该边缘梯度方向正交的边缘方向；边缘方向处理步骤，根据边缘检测步骤的检测结果，针对输出图像数据的每个像素，在边缘方向上对图像数据执行平滑处理，并随后检测与输出图像数据的各个像素对应的像素值；以及边缘梯度方向处理步骤，根据边缘检测步骤的检测结果，针对输出图像数据的各个像素，在边缘梯度方向上，对通过边缘方向处理步骤所检测的像素值执行边缘增强处理，并随后输出该输出图像数据的像素值。

这样，利用本发明的配置，可以提供能够有效地避免高频分量损失并防止锯齿状图形出现的用于图像处理方法的程序。

此外，本发明适用于其上记录用于由算术处理装置执行以处理输入图像数据并输出输出图像数据的图像处理方法的程序的记录介质，该用于图像处理方法的程序包括：边缘检测步骤，针对输入图像数据的每个像素，检测具有最大像素值梯度的边缘梯度方向和与该边缘梯度方向正交的边缘方向；边缘方向处理步骤，根据边缘检测步骤的检测结果，针对输出图像数据的每个像素，在边缘方向上对图像数据执行平滑处理，并随后输出与输出图像数据的各个像素对应的像素值；以及边缘梯度方向处理步骤，根据边缘检测步骤的检测结果，针对输出图像数据的各个像素，在边缘梯度方向上，对通过边缘方向处理步骤所检测的像素值执行边缘增强处理，并随后输出该输出图像数据的像素值。

这样，利用根据本发明的配置，可以提供能够有效地避免高频分量损失并防止锯齿状图形出现的其上记录用于图像处理方法的程序的记录介质。

根据本发明，可以有效地避免高频分量的损失，并可以防止锯齿状图形出现。

附图说明

图1是示出根据本发明的实施例的图像处理设备的配置的功能框图；

图2是有关像素梯度矩阵生成的示意图；

图3是用于说明边缘梯度方向和边缘方向的示意图；

图4是用于说明边缘方向处理单元的操作的示意图；

图5是示出用于设置平滑处理范围的参数的特性曲线图；

图6是示出用于设置平滑处理范围的另一个参数的特性曲线图；

图7是用于说明边缘梯度方向处理单元的操作的示意图；

图8是示出用于设置混合处理(blend processing)单元的参数的特性曲线图；以及

图9是示出用于设置混合处理单元的另一个参数的特性曲线图。

具体实施方式

将通过适当参考附图来描述本发明的实施例。

(1)实施例的配置

图1是示出根据本发明的实施例的图像处理设备的功能框图。图像处理设备1由例如用作算术处理装置的数字信号处理器形成。通过由算术处理装置执行的预定处理程序，将作为输入图像数据的图像数据D1的分辨率转换成为由没有示出的控制器所指定的分辨率，并且输出所转换的图像数据。因此，图像处理设备1基于图像数据D1生成通过放大或者缩小图像而获得的输出图像数据D2，并将所生成的输出图像数据D2输出到显示装置等。

尽管在这个实施例的图像处理设备中通过预安装而提供了用于算术处理装置的处理程序，但是，例如，这样的处理程序可以通过经由诸如因特网的网络来下载而提供，或者可以经由各种记录介质而提供。将这样的记录介质可以广泛地适用于各种记录介质，如光盘、存储卡、和可拆卸硬盘驱动器。

在图像处理设备1中，边缘检测单元2针对图像数据D1的每个像素检测具有最大像素值梯度的边缘梯度方向和与该边缘梯度方向正交的边缘方向。换言之，在边缘检测单元2中，梯度矩阵生成单元3例如以光栅扫描(rasterscanning)次序连续地选择目标像素，并且，如图2所示，使用以目标像素为中心的范围W中的像素值、通过执行算术处理而生成由下面的条件表示的亮度梯度矩阵G。图2示出其中将在x和y方向上以目标像素为中心的±3个像素设置为范围W的例子。

$G={\∫}_{w}g{g}^T\mathrm{wdA}$

$=\underset{w}{\mathrm{\Σ}}\left(\begin{array}{cc}{g}_x^{(i,j)}{g}_x^{(i,j)}{w}^{(i,j)}& g_x^{(i,j)}{g}_y^{(i,j)}{w}^{(i,j)}\\ g_x^{(i,j)}{g}_y^{(i,j)}{w}^{(i,j)}& g_y^{(i,j)}{g}_y^{(i,j)}{w}^{(i,j)}\end{array}\right)$

$\≡\left(\begin{array}{cc}{G}_{\mathrm{xx}}& G_{\mathrm{xy}}\\ G_{\mathrm{xy}}& G_{\mathrm{yy}}\end{array}\right)\·\·\·\·\·\·\left(1\right)$

另外，″w^(i，j)″表示通过条件(2)表示的高斯加权，而″g″表示通过条件(3)使用图像亮度I的x方向上的偏微分″gx″和图像亮度I的y方向上的偏微分″gy″表示的亮度梯度。

$w^{(i,j)}=e\×p(-\frac{i^2+j^2}{2{\mathrm{\σ}}^2})\·\·\·\·\·\·\left(2\right)$

$g=(g_x,g_y)$

$=(\frac{\∂I}{\∂x}\·\frac{\∂I}{\∂y})\·\·\·\·\·\·\left(3\right)$

因此，在边缘检测单元2中，梯度矩阵生成单元3基于目标像素、在以该目标像素为中心的预定范围W中检测通过加权获得的亮度梯度。

在边缘检测单元2中，如图3所示，通过处理由梯度矩阵生成单元3所生成的亮度梯度矩阵G，随后的本征值和本征矢量检测单元4针对目标像素检测具有最大像素值梯度的边缘梯度方向v1和与该边缘梯度方向v1正交的边缘方向v2。此外，本征值和本征矢量检测单元4检测分别表示边缘梯度方向v1和边缘方向v2上像素值梯度的分散度(dispersion)的本征值λ1和λ2。

更具体地，本征值和本征矢量检测单元4根据下面的算术处理检测边缘梯度方向v1、边缘方向v2、以及本征值λ1和λ2(λ1≥λ2)：

$\mathrm{\λ}1=\frac{G_{\mathrm{xx}}+G_{\mathrm{yy}}+\sqrt{a}}{2}\·\·\·\·\·\·\left(4\right)$

$\mathrm{\λ}2=\frac{G_{\mathrm{xx}}+G_{\mathrm{yy}}-\sqrt{a}}{2}\·\·\·\·\·\·\left(5\right)$

$v1=$ $\frac{v^{\′}1}{\left|\right|v^{\′}1\left|\right|}$

$v^{\′}1=(\frac{G_{\mathrm{xx}}-G_{\mathrm{yy}}+\sqrt{a}}{2G_{\mathrm{xy}}},1)\·\·\·\·\·\·\left(6\right)$

$v2=\frac{v^{\′}2}{\left|\right|v^{\′}2\left|\right|}$

$v^{\′}2=(\frac{G_{\mathrm{xx}}-G_{\mathrm{yy}}-\sqrt{a}}{2G_{\mathrm{xy}}},1)\·\·\·\·\·\·\left(7\right),$

其中，通过下面的条件来定义″a″：

$a=G_{\mathrm{xx}}^2+4G_{\mathrm{xy}}^2-2G_{\mathrm{xx}}{G}_{\mathrm{yy}}+G_{\mathrm{yy}}^2\·\·\·\·\·\·\left(8\right)$

边缘方向处理单元5根据如上所述由边缘检测单元2所检测的图像数据D1的目标像素边缘方向v2、对在分辨率转换之后获得的图像数据D2的像素计算边缘方向vc，并随后基于该边缘方向vc、通过插值处理计算与输出图像数据D2的每个像素Pc对应的像素值。

换言之，如图4所示，边缘方向处理单元5针对与将要计算的输出图像数据D2的像素Pc(在下文中，称为图像数据D2的目标像素)相邻的图像数据D1的像素(在图4所示的例子中，P3、P4、P9和P10)、基于下面的条件执行算术处理，并使用图像数据D1的相邻像素的边缘方向v2(v3、v4、v9和v10)、通过执行插值处理来计算目标像素Pc的边缘方向vc。

v_c＝(1-t_y)((1-t_x)v₃+t_xv₄)+t_y((1-t_x)v₉+t_xv₁₀)

                                                  ……(9)

这里，″t_x″和″t_y″表示用于基于图像数据D1在x和y方向上内部划分抽样点P3、P4、P9和P10的目标像素的坐标值，并且满足条件0≤t_x≤1和0≤t_y≤1。

此外，根据如上所述计算的目标像素Pc的边缘方向vc，边缘方向处理单元5从抽样点中基于图像数据D1中的抽样节距而针对目标像素Pc在边缘方向vc的线上设置预定数目的抽样点P-2、P-1、P+1和P+2。此外，使用图像数据D1的像素值、通过插值操作计算抽样点P-2、P-1、P+1和P+2以及目标像素Pc的像素值。因此，根据边缘检测单元2的检测结果，在边缘方向vc上延伸线上，针对输出图像数据D2的每个像素而生成基于对输入图像数据D1的插值处理的边缘方向上的插值图像数据。

此外，根据将在下面描述的边缘方向处理范围确定单元6的计算结果，改变如上所述而设置的抽样点的数目，并改变随后的过滤处理。这样，用于过滤处理的抽头数根据目标像素的边缘方向vc上的边缘可靠性而改变。更具体地，例如，在基于3抽头过滤执行随后的过滤处理的情况下，使用周围像素P3、P4、P9和P10通过线性插值来计算目标像素Pc的像素值；以及，使用P2、P3、P8和P9以及P4、P5、P10和P11通过线性插值分别计算先前和随后的抽样点P-1和P+1的像素值。作为对比，在基于5抽头过滤执行随后的过滤处理的情况下，使用周围像素P3、P4、P9和P10通过线性插值来计算目标像素Pc的像素值；以及以类似的方式计算抽样点P-2、P-1、P+1和P+2的像素值。

然后，边缘方向处理单元5通过过滤处理来使所计算的抽样点P-2、P-1、P+1和P+2以及目标像素Pc的像素值平滑，并确定目标像素Pc的像素值Pc′。换言之，对于3抽头过滤，例如，通过用接下来的条件表示的算术处理来计算目标像素Pc的像素值Pc′：

P_c′＝0.25×P_-1+0.5×P_c+0.25×P₊₁

                                               ……(10)。

作为对比，对于5抽头过滤，例如，通过由接下来的条件表示的算术处理来计算目标像素Pc的像素值Pc′：

P_c′＝0.0625×P_-2+0.25×P_-1+0.375×P_c

+0.25×P₊₁+0.0625×P₊₂

                                              ……(11)。

如上所述，在这个实施例中，通过在边缘方向上对插值图像数据执行平滑处理来计算与输出图像数据D2的像素对应的像素值。这样，可以有效地避免高频分量的损失，并可以防止锯齿状图形出现。另外，用于生成这样的插值图像数据的插值操作不一定是使用相邻的邻近像素的像素值的线性插值，并且使用各种周围像素的各种插值操作方法都是广泛适用的。另外，使用插值图像数据的用于过滤处理的算术处理不一定是基于条件(10)和(11)的算术处理，并且使用各种加权系数的插值操作都是广泛适用的。

在上面所述通过对各个像素检测边缘方向而计算图像数据D2中的像素值的情况下，可以在除了边缘之外的部分中、在与亮度梯度正交的方向上执行平滑处理。在这种情况下，如果用包括宽范围的大量抽头执行过滤处理，则降低了图像质量。然而，相反地，在边缘部分，在宽范围中执行的过滤处理更可靠地防止锯齿状图形的出现，并从而形成平滑边缘。

这样，在这个实施例中，用于过滤处理的抽头数目对于每个像素是变化的。这样，在边缘方向上用于平滑处理的范围对于每个像素是变化的。此外，这样的过滤范围在边缘方向vc上是根据边缘的可靠性而变化的。因此，可以防止由于平滑处理引起的图像质量的降低。

更具体地，在这个实施例中，根据用于边缘方向v2的本征值λ2与用于边缘梯度方向v1的本征值λ1的比例λ2/λ1，检测边缘方向vc上的边缘可靠性。换言之，如果比例λ2/λ1小，就确定：边缘梯度方向v1上的像素值梯度在这个目标像素中占优势；且更强的边缘出现在边缘方向v2上。这样，如图5所示，边缘方向处理范围确定单元6生成参数P，当比例λ2/λ1是在λ2/λ1min和λ2/λ1max之间的预定范围内时，该参数P根据比例λ2/λ1值的降低而基本上线性增加；以及，当比例λ2/λ1是在λ2/λ1min和λ2/λ1max之间的预定范围之外时，该参数P展示最大值pmax或者最小值pmin。因此，生成根据边缘方向上的边缘可靠性而改变的参数p。

如果用于边缘梯度方向v1的本征值λ1大，则跨越边缘的差异就大。这样，这个边缘被认为是区别性(distinctive)的边缘。这样，如图6所示，边缘方向处理范围确定单元6生成参数q，在λ1min和λ1max之间的预定范围内，其根据本征值λ1值基本上线性增加；而在小于或大于λ1min和λ1max之间的范围的范围中，其展示下限值qmin或者上限值qmax。因此，生成根据边缘的上升而改变的参数q。

边缘方向处理范围确定单元6执行下面的条件表示的、两个参数p和q的相乘，以便计算边缘方向处理的过滤范围r。

r＝p×q                                       ……(12)

为了在边缘方向处理单元5的处理中对应于图像数据D2的抽样点，边缘方向处理范围确定单元6将基于图像数据D1的抽样点的本征值λ1和λ2转换成为基于图像数据D2的抽样点的本征值，并计算过滤范围r。在这种情况下，在从图像数据D1的抽样点计算过滤范围r之后，可以通过对计算结果的插值处理计算基于图像数据D2的抽样点的过滤范围r。作为对比，在通过对基于图像数据D1的抽样点的本征值λ1和λ2进行插值来计算基于图像数据D2的抽样点的本征值λ1和λ2之后，可以从计算结果计算基于图像数据D2的抽样点的过滤范围r。

因此，边缘方向处理单元5根据如上所述计算的范围r改变用于过滤处理的抽头数，并计算图像数据D2的目标像素Pc的像素值Pc′。

在这种过滤处理中，边缘方向处理单元5基于抽头实数、通过混合过滤处理结果来执行过滤处理。这样，当基于抽头整数执行过滤处理时，边缘方向处理单元5克服了在改变抽头数时的不自然性。

换言之，在边缘方向处理单元5中，定义了通过接下来的条件表示的具有整数个抽头的过滤器。这里，应用诸如1、3、5、……之类的奇数，作为抽头整数。

$n_{\mathrm{integer}}^{-1}=\mathrm{floor}\left(n_{\mathrm{real}}\right)$

$n_{\mathrm{integer}}^{+1}=\mathrm{ceil}\left(n_{\mathrm{real}}\right)\·\·\·\·\·\·\left(13\right)$

这里，″floor(n)″表示不超过n的最大抽头整数，而″ceil(n)″表示大于n的最小抽头整数。另外，将基于条件(12)计算的范围r施加到″nreal″。这样，当n是3.5时，抽头数″floor(n)″是3，而抽头数″ceil(n)″是5。

通过使用两种类型的过滤处理结果来通过执行由下面的条件表示的算术处理而基于实数计算过滤处理结果f(n)，执行过滤处理结果的混合。这样，通过基于两种类型的抽头数在过滤范围r中执行过滤处理，并且，通过使用两种类型的过滤结果进一步执行通过条件(14)表示的算术处理，边缘方向处理单元5计算图像数据D2的目标像素Pc的像素值Pc′。因此，边缘方向处理单元5通过基于与边缘方向上的边缘可靠性对应的抽头数执行过滤处理来计算图像数据D2的目标像素Pc的像素值Pc′，并改变在十进制小数部分的抽头数。

$f\left(n\right)=\mathrm{\αf}\left(n_{\mathrm{integer}}^{-1}\right)+(1-\mathrm{\α})f\left(n_{\mathrm{integer}}^{+1}\right)\·\·\·\·\·\·\left(14\right)$

这里， $\mathrm{\α}=(n_{\mathrm{integer}}^{+1}-n_{\mathrm{real}})/2.$

边缘梯度方向处理单元7使用如上所述由边缘方向处理单元5计算的图像数据D2的目标像素Pc的像素值Pc′来在边缘梯度方向v1上执行边缘增强处理。换言之，如图7所示，如用于由边缘方向处理单元5执行的图像数据D2的目标像素Pc的边缘方向vc的计算一样，边缘梯度方向处理单元7根据基于图像数据D1的相邻抽样点的边缘梯度方向v1来计算图像数据D2的目标像素Pcc的边缘梯度方向vg。

另外，根据如上所述计算的目标像素Pcc的边缘梯度方向vg，边缘梯度方向处理单元7在边缘梯度方向vg的线上、针对目标像素Pcc、基于图像数据D2中的抽样节距、从抽样点中设置预定数目的抽样点Pc-1和Pc+1。另外，边缘梯度方向处理单元7使用从边缘方向处理单元5输出的像素值、通过插值操作来计算抽样点Pc-1和Pc+1和目标像素Pcc的像素值。因此，根据边缘检测单元2的检测结果，边缘梯度方向处理单元7针对输出图像数据D2的每个像素，在边缘梯度方向vg的延伸线上，基于从边缘方向处理单元5输出的像素值，在边缘梯度方向上生成通过对图像数据的插值处理获得的插值图像数据。

然后，边缘梯度方向处理单元7对如上所述计算的抽样点Pc-1和Pc+1和目标像素Pcc的像素值执行过滤处理，并确定目标像素Pcc的像素值Pcc′。在图7所示的例子中，描述了其中使用三个抽头来计算目标像素Pcc的像素值Pcc′的情况。基于周围的抽样点Pc1、Pc2、Pc4和Pcc通过线性插值生成抽样点Pc-1的像素值，以及基于周围的抽样点Pcc、Pc5、Pc7和Pc8通过线性插值生成抽样点Pc+1的像素值。因此，边缘梯度方向处理单元7在跨越边缘的方向上执行边缘增强。在这样的用于生成插值图像数据的插值操作中，不一定要执行使用相邻的邻近像素的像素值的线性插值，并且使用各种周围像素的插值操作方法都广泛地适用。另外，作为用于使用这样的插值图像数据来进行过滤处理的算术处理，使用各种加权系数的插值操作都广泛地适用。

插值处理单元8例如通过线性插值或者双三次转换来转换图像数据D1的分辨率，并基于对应于图像数据D2的抽样节距输出像素值Pa。

混合比例确定单元9根据边缘方向vc上的边缘的可靠性来生成用于混合的加权系数。换言之，当在边缘方向上执行平滑处理和在与边缘正交的方向上执行边缘增强时，可能在自然图像中出现不自然的边缘增强。这样，在这个实施例中，混合处理单元10执行由插值处理单元8使用公知的过程生成的图像数据D2的像素值Pa和由边缘梯度方向处理单元7生成的像素值Pcc′的加权相加，以生成图像数据D2，并且，混合比例确定单元9改变用于加权相加处理的加权系数。此外，混合比例确定单元9根据边缘方向上的边缘的可靠性来改变加权系数，这防止了在对边缘的处理中的过度不自然。另外，将用于边缘方向v2的本征值λ2与用于边缘梯度方向v1的本征值λ1的比例λ2/λ1应用于边缘方向上的边缘可靠性。

更具体地，如果比例λ2/λ1小，就确定：边缘梯度方向v1上的梯度在这个目标像素中占优势；且更强的边缘出现在边缘方向v2上。这样，如图8所示，混合比例确定单元9生成参数s，当比例λ2/λ1是在λ2/λ1min和λ2/λ1max之间的预定范围内时，该参数s根据比例λ2/λ1值的减少而基本上线性增加；而当比例λ2/λ1是在λ2/λ1min和λ2/λ1max之间的预定范围之外时，该参数s展示最大值smax或者最小值smin。从而，生成了根据边缘方向上的边缘可靠性而改变的参数s。

如果用于边缘梯度方向v1的本征值λ1大，则跨越边缘的差异就大。这样，这个边缘被认为是区别性的边缘。这样，如图9所示，混合比例确定单元9生成参数t，在λ1min和λ1max之间的预定范围内，其基本上根据本征值λ1线性增加；而在λ1min和λ1max之间的范围以外中，其展示下限值tmin或者上限值tmax。从而，生成了根据边缘的上升而改变的参数t。

混合比例确定单元9执行由下面的条件表示的、两个参数s和t的相乘，以便计算用于混合的加权系数β(0≤β≤1)。

β＝s×t                                       ……(15)

为了对应于图像数据D2的抽样点，混合比例确定单元9将基于图像数据D1的抽样点的本征值λ1和λ2转换成为基于图像数据D2的抽样点的本征值，并计算用于混合的加权系数α。在这种情况下，在从图像数据D1的抽样点计算用于混合的加权系数α之后，可以通过对计算结果的插值处理计算基于图像数据D2的抽样点的用于混合的加权系数α。作为对比，在通过对基于图像数据D1的抽样点的本征值λ1和λ2进行插值来计算基于图像数据D2的抽样点的本征值λ1和λ2之后，可以从计算结果来计算基于图像数据D2的抽样点的用于混合的加权系数β。

混合处理单元10使用通过混合比例确定单元9获得的加权系数β，通过执行由下面的条件表示的算术处理，来执行基于边缘梯度方向处理单元7所计算的像素值Pcc′的图像数据S3和基于插值处理单元8所计算的像素值Pa的图像数据S11的加权相加，并输出处理结果作为图像数据D2。

S4＝β×S3+(1-β)×S11                           ……(16)

(2)操作实施例

利用前面的配置，将输入图像数据D1(图1)输入到边缘检测单元2。在边缘检测单元2中，针对每一个像素顺序检测具有最大像素值梯度的边缘梯度方向v1和与边缘梯度方向v1正交的边缘方向v2(图2和3)。另外，将输入图像数据D1输入到边缘方向处理单元5。在边缘方向处理单元5中，根据边缘检测单元2的检测结果，针对输出图像数据D2的每个像素，在边缘方向v2上使图像数据平滑，继而计算与输出图像数据D2的每个像素对应的像素值Pc。另外，根据计算结果将像素值Pc输入到边缘梯度方向处理单元7。在边缘梯度方向处理单元7中，根据边缘检测单元2的检测结果，在边缘梯度方向v1上针对输出图像数据D2的每个像素执行边缘增强，并计算输出图像数据D2的像素值。因此，由于在边缘方向v2上使输入图像数据D1平滑，所以可以有效地避免锯齿状图形的出现。另外，在与边缘方向v2正交的边缘梯度方向v1上执行边缘增强。这样，在与边缘方向正交的方向增强了高频分量。因此，在执行到图像数据D2的转换的同时，有效地避免了高频分量的损失和防止了锯齿状图形的出现。

通过在边缘方向处理单元5(图4)中对输入图像数据D1执行如上所述的一系列处理，根据边缘检测单元2的检测结果，在边缘方向v2延伸的线上，针对输出图像数据D2的每个像素生成边缘方向上基于对输入图像数据D1的插值处理的插值图像数据Pc，并且，通过在如上所述生成的边缘方向上的插值图像数据Pc的过滤处理而随后计算与输出图像数据D2的每个像素对应的像素值Pc′。因此，通过设置过滤处理的特性，在边缘方向v2上执行平滑处理，并且可以有效地避免锯齿状图形的出现。

关于输入图像数据D1，在边缘检测单元2中，梯度矩阵生成单元3为每个像素生成亮度梯度矩阵G，并且，随后的本征值和本征矢量检测单元4处理这个亮度梯度矩阵G以便检测边缘梯度方向v1和边缘方向v2。与此同时，也计算表示边缘梯度方向v1和边缘方向v2的像素值梯度的分散度的本征值λ1和λ2。

从边缘检测单元2的计算结果中，对于本征值λ1和λ2，由边缘方向处理范围确定单元6来计算本征值λ2与本征值λ1的比例λ2/λ1。随着边缘梯度方向上的像素梯度更显著，比例λ2/λ1降低。因此，检测到边缘的可靠性。这样，在边缘方向处理范围确定单元6中，根据比例λ2/λ1生成表示边缘可靠性的参数p(图5)。这样，在这个实施例中，通过有效地使用用于计算边缘梯度方向v1和边缘方向v2的梯度矩阵g而计算边缘的可靠性。另外，由于本征值λ1表示边缘的强度(strength)，所以根据本征值λ1生成对应于参数p的参数q(图6)。另外，通过参数p和q的相乘来计算过滤范围r。

关于输入图像数据D1，当边缘方向处理单元5在边缘方向上对插值图像数据Pc执行过滤处理以便生成输出图像D2的像素值Pc′时，用于过滤处理的抽头数根据如上所述由边缘方向处理范围确定单元6生成的过滤范围r而改变。如果边缘的可靠性高，则通过在宽范围内在边缘方向上对插值图像数据Pc执行过滤处理来生成输出图像D2的像素值Pc′。如果边缘的可靠性低，则通过在窄范围内执行过滤处理来生成输出图像D2的像素值Pc′。这样，对于输入图像数据D1，对边缘方向v2的过滤处理的抽头数根据边缘可靠性而改变。这样，可以防止在除了边缘之外的部分中的过度平滑处理，并且可以有效地避免图像质量的降低。

此外，通过执行如上所述的平滑处理，对于图像数据D1，根据在边缘方向v2上的边缘可靠性来改变(条件12)用于过滤处理的加权系数α。另外，通过使用加权系数α、用不同抽头数执行过滤处理结果的加权相加(条件14)，则抽头数的十进制小数部分改变。这样，克服了改变整数抽头时的不自然。

关于通过边缘方向处理单元5中的计算获得的图像数据，在边缘梯度方向处理单元7中，根据边缘检测单元2的检测结果，针对输出图像D2的每个像素，在边缘梯度方向v1的延伸线上，生成通过基于从边缘方向处理单元5输出的像素值对图像数据的插值处理而获得的边缘梯度方向上的插值图像数据Pcc(图7)，并且，通过在边缘梯度方向上对插值图像数据Pcc执行过滤处理而计算输出图像数据D2的像素值Pcc′。因此，通过设置用于过滤处理的特性，在边缘梯度方向v1上执行边缘增强，并且生成图像数据D2。

然而，对于如所述生成的边缘梯度方向处理单元7的输出数据，当处理基于自然图像的图像数据D1时，可能会过度增强轮廓。这样，对于图像数据D1，插值处理单元8根据已知的过程通过插值处理来为输出图像D2的每个像素计算像素值Pa′。因此，尽管丢失了由插值处理单元8基于已知的过程而生成的图像数据S11的高频分量，也没有过度增强图像数据S11的轮廓。

对于图像数据D1，混合处理单元10根据图像执行来自插值处理单元8的图像数据S11和来自边缘梯度方向处理单元7的图像数据S3的加权相加，以生成输出图像数据D2。这样，根据已知的过程，使用像素值Pa′纠正了其中轮廓被过度增强的部分，并且生成了输出图像数据D2。因此，在这个实施例中，可以防止图像质量因过度的边缘增强而降低。

在这个实施例中，类似于其中在边缘方向处理范围确定单元6中计算过滤范围r的情况，使用本征值λ2和本征值λ1的比例λ2/λ1来计算边缘的可靠性，并且，根据边缘的可靠性来计算在混合处理单元10中执行的加权相加的加权系数β(图8)。此外，使用本征值λ1校正加权系数β(图9)。这样，在这个实施例中，在这样的用于防止过度边缘增强的处理中，用于计算边缘梯度方向v1和边缘方向v2的梯度矩阵g被有效地用于计算边缘的可靠性，并且，根据边缘的可靠性来设置加权系数β。这样，用这样的简化配置可以防止过度的边缘增强。

(3)实施例的效果

利用前面的配置，检测具有最大像素值梯度的边缘梯度方向v1和与边缘梯度方向v1正交的边缘方向v2，并且分别在边缘梯度方向v1和边缘方向v2上执行边缘增强和平滑处理，以生成输出图像数据D2。这样，可以有效地避免高频分量的损失，并防止锯齿状图形的出现。

在用于这样的平滑处理的过滤处理中，在根据边缘检测单元的检测结果、在边缘方向v2的延伸线上、针对输出图像数据D2的每个像素生成了通过对输入图像数据D1的插值处理而获得的边缘方向上的插值图像数据Pc之后，继而通过在边缘方向上执行对插值图像数据Pc的过滤处理来检测与输出图像数据D2的每个像素对应的像素值Pc′。因此，变化地设置了用于过滤处理的特性，并且，可以这样执行具有所需要的特性的平滑处理。

此外，用于过滤处理的抽头数根据边缘方向v2上的边缘可靠性而改变。这样，可以防止在除了边缘之外的部分中的错误平滑处理。

此外，用于过滤处理的加权系数α根据边缘方向v2上的边缘可靠性而改变，并且，通过使用用于过滤处理的加权系数α来对不同抽头数的过滤处理结果执行加权相加而改变抽头数的十进制小数部分。这样，通过如上所述改变抽头数，可以有效地避免在改变整数抽头中的不自然。

此外，由于在边缘方向v2上的边缘可靠性是边缘方向v2上的像素值梯度的分散度λ2与边缘梯度方向v1上的像素值梯度的分散度λ1的比例，所以有效地使用了用于检测边缘梯度方向v1和边缘方向v2的配置，并且可以有效地防止在改变抽头数中的不自然。

相反，在根据边缘检测单元2的检测结果、在边缘梯度方向v1的延伸线上、针对输出图像数据D2的每个像素生成了通过基于从边缘方向处理单元5输出的像素值Pc′对图像数据Pc的插值处理而获得的边缘梯度方向上的插值图像数据Pcc之后，在边缘梯度方向上通过对插值数据Pcc的过滤处理来执行边缘增强的处理。这样，变化地设置用于过滤处理的特性，并且，这样可以执行具有所需要的特性的边缘增强。

另外，执行一系列的处理，使得输出图像数据D2中的抽样节距不同于输入图像数据D1中的抽样节距，并且，在平滑处理和边缘增强处理中一起改变了抽样节距。插值处理单元8将输入图像数据D1转换成为插值图像数据S11。根据边缘方向v2上的边缘可靠性改变用于混合的加权系数β。根据用于混合的加权系数β对从边缘梯度方向处理单元输出的图像数据S3和插值图像数据S11执行加权相加，并将输出图像数据D2输出。因此，可以有效地防止自然图像中的过度边缘增强。

(4)其它实施例

尽管在前面的实施例中已经描述了边缘方向上的平滑处理范围根据抽头数的改变而改变的情况，但是本发明不限于此。抽头数可以同样根据用于平滑处理的加权系数的改变而改变。

另外，尽管在前面的实施例中已经描述了平滑处理范围和在混合处理单元中执行的加权相加根据本征值λ2和本征值λ1的比例以及本征值λ1而改变的情况，但是本发明不限于此。当可以确保实际上足够的特性时，可以仅根据本征值λ2和本征值λ1的比例来进行这样的改变。另外，代替根据本征值λ2和本征值λ1的比例以及本征值λ1检测边缘可靠性，可以应用各种边缘检测方法。此外，由于对混合处理单元执行的加权相加的过度边缘纠正出现在自然图像中的例如树的叶片长得彼此接近的点上，所以可以根据例如被检测作为频率特性等的图像的每个部分的特性等来进行这样的改变。

此外，尽管在前面的实施例中已经描述了改变平滑处理范围和由混合处理单元执行的加权相加的情况，但是本发明不限于此。当可以确保实际上足够的特性时，可以省略这样的处理。此外，这样的处理之一或者这样的处理二者都可以根据图像的类型而省略。

另外，尽管在前面的实施例中已经描述了通过改变输入图像数据D1中的抽样节距来放大或者缩小图像的情况，但是本发明不限于此。本发明也可以广泛地适用于对边缘纠正的处理。在这种情况下，在边缘方向处理单元和边缘梯度方向处理单元中，根据与输入图像数据的抽样节距相等的输出图像数据的抽样节距来执行一系列处理。此外，省略用于插值处理的配置，并且，混合处理单元10对边缘梯度方向处理单元7的输出数据和输入图像数据执行加权相加。这样，可以简单地执行对输入图像数据的边缘增强。

此外，尽管在前面的实施例中已经描述了算术处理装置执行预定的程序来处理图像数据的情况，但是本发明不限于此。也可以将本发明广泛地适用于用硬件配置处理图像数据的情况。

工业适用性

本发明可以应用于例如分辨率转换。

Claims (11)

1、一种用于处理输入图像数据并用于输出输出图像数据的图像处理设备，该图像处理设备包括：

边缘检测单元，用于针对输入图像数据的每个像素检测具有最大像素值梯度的边缘梯度方向和与该边缘梯度方向正交的边缘方向；

边缘方向处理单元，用于根据边缘检测单元的检测结果，针对输出图像数据的每个像素，在边缘方向上对图像数据执行平滑处理，并用于随后输出与输出图像数据的各个像素对应的像素值；以及

边缘梯度方向处理单元，用于根据边缘检测单元的检测结果，在边缘梯度方向上，对从边缘方向处理单元输出的输出图像数据各个像素的像素值执行边缘增强处理，并用于随后将输出图像数据的像素值输出。

2、根据权利要求1的图像处理设备，其中，在根据边缘检测单元的检测结果、针对输出图像数据的各个像素、基于在边缘方向的延伸线上对输入图像数据的插值处理而在边缘方向上生成插值图像数据之后，边缘方向处理单元通过在边缘方向上执行对插值图像数据的过滤处理而随后输出与输出图像数据的各个像素对应的像素值。

3、根据权利要求2的图像处理设备，其中，边缘方向处理单元根据边缘方向上的边缘可靠性来改变用于过滤处理的抽头数。

4、根据权利要求3的图像处理设备，其中，用于由边缘方向处理单元执行的过滤处理的抽头数的改变是通过根据边缘方向上的边缘可靠性改变加权系数并通过使用加权系数对不同抽头数的过滤处理结果执行加权相加而对抽头数的十进制小数部分的改变。

5、根据权利要求3的图像处理设备，其中，边缘方向上的边缘可靠性是边缘方向上的像素值梯度的分散度与边缘梯度方向上的像素值梯度的分散度的比例。

6、根据权利要求1的图像处理设备，其中，在根据边缘检测单元的检测结果、针对输出图像数据的各个像素、在边缘梯度方向的延伸线上、基于从边缘方向处理单元输出的各个像素值对图像数据进行插值处理而生成边缘梯度方向上的插值图像数据之后，边缘梯度方向处理单元通过在边缘梯度方向上对插值图像数据执行过滤处理而随后输出该输出图像数据的像素值。

7、根据权利要求1的图像处理设备，

其中，输出图像数据是通过改变输入图像数据的抽样节距而获得的图像数据，并且

其中图像处理设备还包括：

插值处理单元，用于对输入图像数据执行插值操作，并用于输出具有输出图像数据的抽样节距的插值图像数据；

混合比例确定单元，用于根据边缘方向中的边缘可靠性改变用于混合的加权系数；以及

混合处理单元，用于使用用于混合的加权系数来执行对从边缘梯度方向处理单元输出的图像数据和插值图像数据的加权相加，并用于输出该输出图像数据。

8、根据权利要求1的图像处理设备，还包括：

混合比例确定单元，用于根据边缘方向上的边缘可靠性来改变用于混合的加权系数；以及

混合处理单元，用于使用用于混合的加权系数来执行对从边缘梯度方向处理单元输出的图像数据和输入图像数据的加权相加，并用于输出该输出图像数据。

9、一种用于处理输入图像数据并输出输出图像数据的图像处理方法，该图像处理方法包括：

边缘检测步骤，针对输入图像数据的每个像素，检测具有最大像素值梯度的边缘梯度方向和与该边缘梯度方向正交的边缘方向；

边缘方向处理步骤，根据边缘检测步骤的检测结果，针对输出图像数据的每个像素，在边缘方向上执行对图像数据的平滑处理，并随后检测与输出图像数据的各个像素对应的像素值；以及

边缘梯度方向处理步骤，根据边缘检测步骤的检测结果，针对输出图像数据的各个像素，在边缘梯度方向上，对通过边缘方向处理步骤所检测的像素值执行边缘增强处理，并随后输出该输出图像数据的像素值。

10、一种用于由算术处理装置执行以处理输入图像数据并输出输出图像数据的图像处理方法的程序，该程序包括：

边缘检测步骤，针对输入图像数据的每个像素，检测具有最大像素值梯度的边缘梯度方向和与该边缘梯度方向正交的边缘方向；

边缘方向处理步骤，根据边缘检测步骤的检测结果，针对输出图像数据的每个像素，在边缘方向上对图像数据执行平滑处理，并随后检测与输出图像数据的各个像素对应的像素值；以及

边缘梯度方向处理步骤，根据边缘检测步骤的检测结果，针对输出图像数据的各个像素，在边缘梯度方向上，对通过边缘方向处理步骤所检测的像素值执行边缘增强处理，并随后输出该输出图像数据的像素值。

11、一种其上记录用于由算术处理装置执行以处理输入图像数据并输出输出图像数据的图像处理方法的程序的记录介质，该用于图像处理方法的程序包括：

边缘检测步骤，针对输入图像数据的每个像素，检测具有最大像素值梯度的边缘梯度方向和与该边缘梯度方向正交的边缘方向；

边缘方向处理步骤，根据边缘检测步骤的检测结果，针对输出图像数据的每个像素，在边缘方向上对图像数据执行平滑处理，并随后输出与输出图像数据的各个像素对应的像素值；以及

边缘梯度方向处理步骤，根据边缘检测步骤的检测结果，针对输出图像数据的各个像素，在边缘梯度方向上，对通过边缘方向处理步骤所检测的像素值执行边缘增强处理，并随后输出该输出图像数据的像素值。

Images