CN1445982A - 图像处理装置,图像处理方法,图像处理程序及其记录介质 - Google Patents

Abstract

一种图像处理装置包括：边沿方向估计部，用于估计包含显著像素的第一图像区域的边沿方向信息；边沿图形选择部，用于根据边沿方向信息和第一图像区域中的像素值，选择与由边沿方向信息指示的边沿方向对应的第一图像区域所对应的边沿形状图形；图像增强部，用于增强第一图像区域的像素值；放大图像区域产生部，用于通过使用由所述边沿图形选择部选择的边沿形状图形和由所述图像增强部增强的第一图像区域的像素值，产生一个放大图像区域；和图像配置部，用于根据预定方法配置由所述放大图像区域产生部产生的放大图像区域。

Description

图像处理装置，图像处理方法，图像处理程序及其记录介质

技术领域

本发明涉及以多级灰度表示的图像的放大处理，具体涉及用于抑制输入图像中发生的模糊、锯齿等图像质量缺陷并以高质量进行图像放大处理的图像处理装置、图像处理方法、图像处理程序、和存储该图像处理程序的计算机可读记录介质。

背景技术

图像放大处理是一个用于编辑、编排、显示和打印图像的系统的一种基本处理。近年来，随着主要用于以监视器显示分辨率显示因特网网站或数字视频的图像数据的普及，为了在高分辨率打印机上打印低分辨率图像时获得高质量输出结果，高质量的放大处理变得越来越重要。

由多级灰度表示的图像(此后称为多级图像)的现有放大处理技术可以是最近邻法、线性插值或双线性法和三次卷积法。

最近邻法是如下一种方法，即，使用当把每个像素逆映射到原始图像时的最邻近像素的像素值作为放大后的每个像素值。最近邻法可以进行高速处理，因为它的计算量较小，但是原始图像的一个像素被按原样放大到一个矩形形状。因此，在斜线部分中发生锯齿，或者如果倍率较大，图像变为马赛克状；图像质量劣化的程度很大。

线性插值或双线性法是如下一种方法，即，假定像素值在像素之间线性变化，并且对放大后像素的逆映射点的四个邻近像素的像素值进行插值以求出像素值。线性插值或双线性法的处理负荷高于最近邻法，但是计算量较小，并且锯齿较少发生。另一方面，线性插值或双线性法的缺点在于，整个图像以不适用于线性变化假设的边沿部分为中心变得模糊。

三次卷积法是如下一种方法，即，根据抽样理论定义一个近似一sinc函数(sin(x)/x)的插值函数，并对放大后像素的逆映射点的16个邻近像素(在X和Y方向的4×4像素)和该近似插值函数进行卷积以求出放大后的像素值。该方法与上述两种方法相比能提供较好的图像质量，但是涉及大参考范围和大计算量，并且具有高频增强特性。因此，三次卷积法的缺点是，在边沿部分发生轻微锯齿，并且噪声分量增加。

作为解决这些问题的尝试，已经在JP-A-7-182503，JP-A-2000-228723，JP-A-2000-253238，“利用自适应二维抽样函数的高质量图像放大重构”(图像电子学会杂志第2卷第5号p.p.620-626)中提出了一些技术。

在JP-A-7-182503中，从围绕一个显著像素(notable pixel)的N×M区域(例如3×3)的像素中检测最大值和最小值，并且进一步计算出对比度和一个中间值，并根据该对比度导出该最大值或该最小值和一个其它值的平均值来作为代表值。接着，进行显著像素到N×M像素的线性插值或双线性处理，利用所计算的中间值作为一个阈值来进行二值化，并根据二值化结果配置这两个代表值。如果对比度小，则按原样使用线性插值或双线性处理的像素值，从而提供一个最终放大图像。

因此，不发生锯齿，并且甚至在自然图像中进行没有插值模糊的良好变换也是可能的。但是，存在的一个问题是，仅基于对比度来确定边沿部分，并且难以再现边沿方向。还有一个问题是，由于N×M区域仅由两个值组成，在边沿部分中发生块状失真。

在JP-A-2000-228723中，把一个原始图像二值化，并通过进行与一个提供的二维图形(矩阵数据)的匹配确定来从该二值图像中求出原始图像中包含的倾斜分量的方向，并且沿着所求出的倾斜方向进行插值处理。在其它部分中，进行线性插值或双线性处理。

由于在进行倾斜分量的方向确定之前根据一个预定阈值对原始图像进行二值化，该方法对具有大浓度差(density difference)的边沿是有效的，但是在对具有小浓度差的边沿进行再现时存在问题。

在JP-A-2000-253238中，对原始图像进行线性插值或双线性处理以放大原始图像，并且并行地对原始图像中每个包含显著像素的周围N×M区域进行二值化，并进行与一个预设斜线检测图形的匹配确定。如果显著像素属于一个边沿区域(与斜线检测图形匹配)，它的方向信息被映射到该显著像素。此外，把方向信息映射到通过进行线性插值或双线性处理所提供的放大图像上，并沿着映射方向信息的方向进行平滑滤波，从而进行抑制了锯齿发生的放大处理。

但是，JP-A-2000-253238中描述的技术是放大原始图像、图形匹配(pattern matching)、放大方向信息、和对放大图像进行依赖于方向的平滑滤波这些一系列处理，使得该技术存在着当图像尺寸变大时处理负荷变得非常大的问题。

在三次卷积法中，sinc函数是一个无限级数，使用一个把sinc函数有限地丢弃的近似函数会造成误差，并且抽样理论以连续的可微分信号为对象；而“利用自适应二维抽样函数的高质量图像放大重构”(图像电子学会杂志第28卷第5号p.p.620-626)中描述的技术作为一个问题提出了一个图像包含大量不连续点的事实，使用一个与sinc函数不同的适于不连续性的并具有局部性的函数作为插值函数，全局地检测边沿方向，并在检测到的边沿方向使插值函数变形，从而提供具有减少模糊和锯齿的放大图像。

该技术中使用的函数是局部的，但是相对于倍率n的卷积矩阵尺寸变为4n，并且全局地检测边沿方向，因此存在计算量大的问题。

发明内容

因此，本发明的目的是提供一种图像处理装置，一种图像处理方法，一种图像处理程序，和存储该图像处理程序的计算机可读记录介质，使得能够以高速在小处理负荷下提供具有较少模糊和锯齿的放大图像。

根据本发明，为包含一显著像素的第一图像区域估计边沿方向信息，根据所估计的预定边沿方向信息和包含显著像素的第一图像区域中的像素值选择与该边沿方向对应的第一图像区域所对应的边沿形状图形，并增强包含显著像素的第一图像区域的像素值。使用所选择的边沿形状图形和第一图像区域的增强像素值来产生放大图像区域，并且根据预定方法配置该放大图像区域。

在本发明中，为包含显著像素的第一图像区域估计边沿方向信息，根据所估计的预定边沿方向信息和包含显著像素的第一图像区域中的像素值选择与该边沿方向对应的第一图像区域所对应的边沿形状图形，使得能够仅通过执行简单的图形匹配来确定对应于边沿信息的边沿形状图形。此外，增强包含显著像素的第一图像区域的像素值，使用所选择的边沿形状图形和第一图像区域的增强像素值来产生放大图像区域，并根据预定方法配置该放大图像区域，使得能够考虑该边沿方向产生一个放大图像，并以高速在小处理负荷下提供具有较少模糊和锯齿的放大图像。

附图说明

图1是显示本发明一个实施例的基本配置的方框图；

图2是显示本发明该实施例的处理流程的流程图；

图3A和3B是显示由图像块设置部提取的图像块、和显著区域及周围区域的例子的图；

图4A和4B是描述显著区域和周围区域和显著区域中的边沿方向的具体例子的图；

图5是显示边沿方向估计部的边沿方向估计处理的流程的流程图；

图6A到6C是显示用于边沿方向估计的参考区域的例子的图；

图7是显示用于边沿方向估计部中的RGB颜色空间彩色图像的边沿方向估计处理的流程的流程图；

图8是显示图4中所示显著区域中的一个估计边沿方向的图；

图9是显示边沿图形表的具体例子的图；

图10A到10E是具体描述用于选择图4中显著区域的第一边沿图形的方法的图；

图11是显示图4中显著区域中的第二边沿图形的图；

图12A到12C是显示用于图像增强部的增强核心(enhancementkernels)的具体例子的图；

图13是显示利用图12A中的增强核心对像素P进行增强的例子的图；

图14是描述利用增强核心进行对比度增强以把输入图像数据放大8倍的例子的图；

图15是显示放大图像块产生部的放大图像块产生处理的流程的流程图；

图16是显示3×3放大图像块产生的具体例子的图；

图17是显示利用与图16中第二边沿图形不同的第二边沿图形进行的3×3放大图像块产生的例子的图；

图18是显示3×4放大图像块产生的具体例子的图；

图19是描述根据估计的边沿方向来选择参考像素的图；

图20是显示4×4放大图像块产生的具体例子的图；

图21是显示当估计的边沿方向是方向0或4时4×4放大图像块产生的例子的图；

图22是显示显著区域的放大图像块的图；

图23是显示图像块配置部中的4×4放大图像块配置的具体例子的图。

具体实施方式

现在参考附图，其中显示了本发明优选实施例。图1是显示根据本发明一个实施例的图像处理装置的用于进行放大处理的处理部的方框图。在图中，放大处理部1包括：图像块设置部10，边沿方向估计部11，图像增强部12，边沿方向选择部13，放大图像块产生部14，图像块配置部15，和图像数据存储部16。下面对该实施例中各部件及其操作进行概括说明。

在图1中，图像数据以一种可以在图像处理装置中处理的图像格式(例如BMP，TIFF，PNG)来描述，并且是在诸如个人计算机或数字相机的图像处理机(未示出)中从用于进行创建和编辑处理的应用程序中准备的图像数据中产生的。

图像数据存储部16包括：在从输入单元(未示出)输入的图像数据在放大处理部1中进行放大处理之前临时存储该图像数据的功能，和在放大图像数据被输出到输出单元(未示出)之前临时存储接受分辨率变换或放大处理的放大图像数据。

图像块设置部10包括以下功能：设置边沿方向估计部11和图像增强部12的处理所需的每个块尺寸，依次从图像数据存储部16中存储的输入图像数据中提取上述块尺寸的图像块，和把图像块发送到边沿方向估计部11和图像增强部12。

边沿方向估计部11包括以下功能：根据以下各区域中的像素值分布来计算由图像块设置部10依次提取的每个图像块中的显著区域和该显著区域的周围的参考区域中的边沿方向，并根据这些区域中计算的边沿方向来估计显著区域的边沿方向。

图像增强部12包括以下功能：利用与放大处理部1中的放大处理的放大率对应的元素和尺寸的核心，增强由图像块设置部10提取的每个图像块中的显著区域和显著区域的周围区域中的图像数据的对比度。

边沿图形选择部13包括以下功能：选择与由边沿方向估计部11估计的显著区域的边沿方向所对应的显著区域尺寸相同的第一边沿图形，并指定与第一边沿图形尺寸不同的第二边沿图形，其中第一和第二边沿图形以一对一的相互对应关系提供。

放大图像块产生部14包括以下功能：利用由边沿方向估计部11估计的边沿方向、由边沿图形选择部13提供的第二边沿图形、和由图像增强部12提供的对比度增强的像素值，产生用于显著区域的放大图像块。

图像块配置部15包括以下功能：依次配置从放大图像块产生部14输出的放大图像块，并把受到分辨率变换和放大的图像数据输出到图像数据存储部16。

接着，将参考图2的流程图对本发明实施例中放大处理的流程概况进行说明。在以下说明中，图2中未示出的标号可参考图1。

首先，在步骤S20，图像块设置部10为来自输入单元(未示出)并存储在图像数据存储部16中的输入图像数据设置边沿方向估计部11和图像增强部12的处理所需的每个块尺寸，并从输入图像数据中提取该块尺寸的图像块。

例如如图3所示，如果显著区域是2×2尺寸并且包含显著区域的周围区域是4×4尺寸，那么对于2倍放大则提取图3A所示的6×6尺寸块，对于4倍放大则提取图3B所示的8×8尺寸块。

接着，在步骤S21，边沿方向估计部11计算所提取的图像块中的显著区域和包含该显著区域的周围区域中的参考区域的边沿方向，并根据所提供的边沿方向来估计显著区域的边沿方向θ。

接着，在步骤S22，边沿图形选择部13利用由边沿方向估计部11估计的边沿方向和显著区域的像素分布图形来选择第一和第二边沿图形。第一和第二边沿图形被提供用于后述的每个边沿图形和每个像素分布图形，并且以诸如表信息的形式存储在一个存储部(图1未示出)中。

随后，在步骤S23，图像增强部12利用具有与放大率对应的元素值和尺寸的核心，增强由图像块设置部10提取的图像块中的显著区域及其周围区域中的图像数据。

接着，在步骤S24，放大图像块产生部14利用由边沿方向估计部11估计的显著区域中的边沿方向θ、由边沿图形选择部13选择的边沿图形、和由图像增强部12增强的显著区域和周围区域的像素值，产生用于显著区域的放大图像块。

然后，在步骤S25，图像块配置部15根据下面所述的预定方法配置由放大图像块产生部14产生的显著区域的放大图像块，并把配置的图像块存储在图像数据存储部16中。

在步骤S26，确定针对输入图像数据所要输出的放大图像数据的产生是否已经完成。如果放大图像数据的产生未完成，该处理返回步骤S20，提取另一个图像块并重复上述处理。如果放大图像数据的产生已完成，则输出放大图像数据并终止放大处理。

已经说明了本发明该实施例中图像处理装置的概况和操作。下面，将对图像处理装置的主要部分的边沿方向估计部11，图像增强部12，边沿图形选择部13，放大图像块产生部14，和图像块配置部15进行详细说明。

下面以先前图3所示的显著区域是2×2尺寸区域和包含显著区域的周围区域是4×4尺寸块的情况为例对该实施例的边沿方向估计部11的边沿方向估计进行详细说明。

图4A是显示显著区域和周围区域的例子的图。在图4中，显著区域是由一个框围绕的像素{a，b，c，d}＝{15，177，86，203}，其中这些数字表示像素值。下面参考图5的流程图对边沿方向估计部11的边沿方向估计处理的流程进行说明。

首先，在步骤S50，根据下面的表达式(1)计算图4中由粗框围绕的显著块中的边沿方向θ。角度参考的数量是一个用于在后面说明的步骤S55对用于显著区域的边沿方向估计的边沿角度参考的数量进行计数的变量，被设置为1。

gx＝(a+c-b-d)/2

gy＝(a+b-c-d)/2

θ＝acrtan(gy/gx)    (1)

例如，对于具体如图4A所示的显著区域{15，104，86，203}，根据表达式(1)，gx＝-103并且gy＝-85，如图4A中所示的显著区域中的边沿方向θ变为等于-140.5°。此外，如图4B所示，如果求出的边沿方向θ被以22.5°正规化(8个方向)，那么当θ＝-145.2°时得到方向2。

接着，在步骤S51，根据在步骤S50计算的显著区域中的边沿方向θ，从图4A显示的周围区域内选择用于边沿方向估计的参考区域。

图6A到6C显示基于显著区域中的边沿方向的参考区域选择的例子。对于该显著区域，正规化边沿方向是方向2，因此选择图6C中显示的四个参考区域(包含显著区域的上、下、左、右4个2×2区域)。参考区域选择不限于图6所示。例如，在图6C中，可以使用8个参考区域(包含显著区域的上、下、左、右、斜的8个2×2区域)。

接着，在步骤S52，对于在步骤S51选择的每个参考区域，根据与步骤S50同样的表达式(1)计算边沿方向θ。

然后，在步骤S53，把步骤S52计算的所选择参考区域中的边沿方向和在步骤S50计算的显著区域中的边沿方向进行比较。

如果两个边沿方向之差小于一个预设阈值Th，则在步骤S54把角度参考的数量递增1，并且该处理转移到步骤S55。如果两个边沿方向之差大于预设阈值Th，则确定出参考区域对于边沿方向估计不适当，并且该处理转移到步骤S55。

接着，在步骤S55，确定在所有选择的参考区域中的边沿方向计算是否已经完成。如果边沿方向计算已完成，该处理转移到步骤S56；如果边沿方向计算尚未完成，重复步骤S52到S54。

在步骤S56，计算显著区域中的边沿方向和在步骤S53被确定为适合于边沿方向估计的参考区域中的边沿方向的总和，并采用把边沿方向总和除以角度参考的数量所得到的平均边沿方向作为显著区域中的估计边沿方向。

因此，还考虑从仅在显著区域中计算的边沿方向导出的参考区域中的边沿方向来估计显著区域中的边沿方向，使得能够仅通过进行简单计算来以高精度进行边沿方向检测。

已经对边沿方向估计部11中的输入图像数据是灰度级图像的情况进行了说明。但是，本发明不限于使用灰度级图像。作为例子，下面参考图7的流程图对用于RGB颜色空间彩色图像的边沿方向估计处理的流程进行说明。

首先，在步骤S70，利用上述表达式(1)和下面的表达式(2)，为显著区域中的每个RGB颜色空间块计算边沿强度G：

G＝gx*gx+gy*gy    (2)

接着，在步骤S71，从根据表达式(2)计算的RGB颜色空间块的边沿强度中选择最大边沿强度，并且选择对应于所选择最大边沿强度的颜色空间块。

接着，在步骤S72，在步骤S71中选择的颜色空间块中执行上述参考图5描述的边沿方向估计处理的步骤S50到S56。

然后，在步骤S73，采用最大边沿强度的颜色空间块中的估计边沿方向作为其它颜色空间块中的估计边沿方向，并且为每个颜色空间块执行后面所述的边沿图形选择部13和放大图像块产生部14的处理。

由于执行步骤S70到S73，使得能够抑制彩色图像中放大图像数据的每个边沿部分中的诸如色移(color shift)的图像质量劣化因素。

上述实施例中假设在显著区域和参考区域中利用表达式(1)的边沿方向计算后的正规化是8个方向，但是本发明不限于这个实施例。如果需要更高精度的边沿方向，可以进行到12方向(15.0°)或16方向(12.25°)的正规化。

下面，将对边沿图形选择部13的操作进行详细说明。边沿图形选择部13使用例如图9所示的边沿图形表来选择与由边沿方向估计部11估计的显著区域中的边沿方向对应的第一边沿图形，并确定对应于所选择的第一边沿图形的第二边沿图形。

具体地说，如图4A所示，在下面的说明中使用由该框围绕的显著区域和该显著区域的周围区域。根据上述边沿方向估计部11的处理步骤，图4A中显示的显著区域的估计边沿方向被估计为图8所示的方向1(显著区域和四个参考区域中的边沿方向的总和(-737.3)/角度参考的数量(5)＝-147.5，正规化方向1)。

根据显著区域中的估计边沿方向(方向1)，从图9所示的边沿图形表中选出与显著区域中的边沿图形对应的图形候选。在此情况下，方向1的第一边沿图形的四个图形0到3成为用于图4A所示显著区域的第一边沿图形的候选。

接着，边沿图形选择部13如下所述选择图形0到3中任何一个作为用于显著区域的第一边沿图形。

图10A到10E是具体说明从用于图4A所示显著区域的四个边沿图形候选中选择一个边沿图形的方法的图。首先，第一边沿图形候选被变换为图10B所示的位图形(白色部分被设置为0，其它为1)。但是，图9所示的边沿图形表可以被预先转换为一个位图形表，并且该位图形表可以被存储在存储部(图1中未示出)中，在此情况下可以省略该步骤。

接着，根据下面的表达式(3)，计算显著区域中的平均像素值(在图4A中，102)，把该平均值从显著区域的每个像素值中减去，基于该符号准备显著区域的像素值图形(图10C)。此外，把该像素值图形变换为一个位图形(图10D)。

Mean＝(a+b+c+d)/4

a_sign＝a-Mean

b_sign＝b-Mean

c_sign＝c-Mean

d_sign＝d-Mean    (3)

接着，在图10B中的每个边沿图形候选的位图形和图10D中的显著区域的位图形之间进行图形匹配，并选择一个用于显著区域的第一边沿图形(图10E)。在此情况下，选择图形2作为用于显著区域的第一边沿图形。

当选择第一边沿图形时，最后确定对应于第一边沿图形提供的第二边沿图形。在此情况下，选择图11所示的第二边沿图形。第二边沿图形用于在后面所述的放大图像块产生部14中产生用于显著区域的放大图像块。

第一和第二边沿图形不限于图9所示的那些。例如，可以根据输入图像数据的类型使用与图9所示图形不同的边沿图形，并且可以增加或减少每个角度的第一和第二边沿图形候选的数量。

下面，对图像增强部12进行详细说明。图像增强部12使用与放大处理部1中的放大处理的放大率对应的元素和尺寸的核心来增强图3所示的由图像块设置部10提取的图像块中的显著区域及其周围区域的图像数据的对比度。

图12A到12C显示用于图像增强部12的增强核心的具体例子。图13是显示如何利用图12A所示核心O对像素P进行增强的图。在此情况下，根据以下表达式(4)计算像素P的像素值P’：

显著像素值P’＝1.60*P-0.15*(a+b+c+d)    (4)

(其中，a，b，c，d和P表示图13所示各个位置的像素值)

图14显示利用图12A到12C所示增强核心把输入图像数据放大8倍的对比度增强的例子。首先，为了把输入图像数据放大2倍，使用图12A所示的核心0执行输入图像数据的对比度增强。

接着，为了把已放大2倍的输入图像数据放大2倍，使用图12B所示核心1执行被放大2倍的输入图像数据的对比度增强。同样，为了把输入图像数据放大8倍，使用图12C所示的核心2执行被放大4倍的输入图像数据的对比度增强。

用于进行对比度增强的核心不限于图12A到12C所示的核心，可以根据输入图像数据的类型或尺寸使用在元素和元素间距离上与图12A到12C所示核心不同的核心。

下面对放大图像块产生部14进行说明。放大图像块产生部14使用由边沿图形选择部13提供的第二边沿图形和在图像增强部12中受到对比度增强的像素值，产生用于显著区域的放大图像块。

下面参考图15的流程图对放大图像块产生部14的放大图像块产生处理的流程例子进行说明。首先，在步骤S150，如图16所示，使用在图像增强部12中受到对比度增强的显著区域和由边沿图形选择部13选择的第二边沿图形，产生3×3放大图像块。根据图16所示表达式计算3×3放大图像块的像素值。为每个第二边沿图形确定像素值计算表达式。图17显示在其它第二边沿图形中的像素值计算表达式的具体例子。

接着，在步骤S151，确定由边沿方向估计部11估计的显著区域中的边沿方向。如果估计的边沿方向是方向1到3或方向5到7中的任何一个，该处理转移到步骤S152；如果估计的边沿方向是方向0或4，该处理转移到步骤S153。

在步骤S152(当显著区域中的估计边沿方向是方向1到3或方向5到7中的任何一个时)，从在步骤S150产生的3×3放大图像块产生一个4×4放大图像块。

如图18所示，首先，使用3×3放大图像块和在图像增强部12中受到对比度增强的周围区域中的参考像素(r0到r5)，产生一个3×4放大图像块。根据图18所示的计算表达式确定3×4放大图像块的像素值。根据显著区域中的估计边沿方向选择周围区域中的参考像素(r0到r5)。

图19显示根据估计边沿方向选择的参考像素的具体例子。参考像素的选择不限于图19所示的两个图形的选择例子，可以根据估计边沿方向提供更大数量的参考像素选择图形。

接着，如图20所示，使用3×4放大图像块和在图像增强部12中受到对比度增强的周围区域中的参考像素(r0到r7)来产生一个4×4放大图像块。根据图20所示计算表达式确定4×4放大图像块的像素值。

在上述步骤S152的4×4放大图像块产生中，显示了3×3块→3×4块→4×4块的产生处理流程，但是也可以采用3×3块→4×3块→4×4块的产生处理流程，在此情况下适当地改变参考像素选择。

在步骤S153(当显著区域中的估计边沿方向是方向0或4时)，从在步骤S150产生的3×3放大图像块产生一个4×4放大图像块。

图21显示在步骤S153的4×4放大图像块产生处理的概况。首先，把在图像增强部12中受到对比度增强的显著区域和周围区域块(4×4)放大1.25倍。在此情况下，放大技术可以是线性放大或投影放大。

接着，所提供的5×5块的中心部分(3×3块)被在步骤S150产生的3×3放大图像块替换，并且进一步把所得的5×5块放大1.2倍。同样，在此情况下，放大技术可以是线性放大或投影放大。

最后，提取所提供的6×6块的中心部分(4×4块)作为用于显著区域的4×4放大图像块。由于执行步骤S150到S153，产生了例如图22所示的用于显著区域的放大图像块。

下面对图像块配置部15进行说明。图像块配置部15根据预定方法对由放大图像块产生部14产生的用于显著区域的放大图像块依次进行配置。

图23显示配置由放大图像块产生部14产生的4×4放大图像块的具体例子。在图23所示的例子中，依次产生的放大图像块0和1被配置为彼此重叠。每个重叠像素被配置为把该像素值和前一像素值进行平均。

为了由本实施例的图像处理装置和图像处理方法进行图像放大处理，可以仅通过执行简单的图形匹配来选择对应于边沿方向的边沿形状图形，并且根据所选择的边沿形状图形、考虑边沿方向、使用像素值来产生放大图像，使得能够在小处理负荷下提供抑制了模糊和锯齿的放大图像。

上述图像处理方法可以作为图像处理程序在个人计算机或数字相机中执行，或者可以成为通过因特网的通信线路发布的形式，或者可以记录在诸如CD-ROM的计算机可读记录介质上。

这种图像处理程序还可以应用于以下情况，即，在一个用于处理数字图像的机器(例如数字静止相机、数字视频相机、移动电话或PDA(个人数字助理))中数字地放大输入图像。

如上所述，在本发明的图像放大处理中，检测准确的边沿方向并且从对应于边沿方向的像素值产生放大图像，使得能够以高速在小负荷下完成抑制了模糊和锯齿缺陷的高质量图像放大处理。

尽管已经参考特定优选实施例对本发明进行了说明，但是本领域技术人员很明显可以根据本发明的教导进行各种变化和修改。这些变化和修改被认为落入权利要求所限定的本发明的精神、范围和构思内。

Claims (21)

1.一种用于进行图像放大处理的图像处理装置，所述图像处理装置包括：

边沿方向估计部，用于估计包含显著像素的第一图像区域的边沿方向信息；

边沿图形选择部，用于根据边沿方向信息和第一图像区域中的像素值，选择与由边沿方向信息指示的边沿方向对应的第一图像区域所对应的边沿形状图形；

图像增强部，用于增强第一图像区域的像素值；

放大图像区域产生部，用于通过使用由所述边沿图形选择部选择的边沿形状图形和由所述图像增强部增强的第一图像区域的像素值，产生一个放大图像区域；和

图像配置部，用于根据预定方法配置由所述放大图像区域产生部产生的放大图像区域。

2.根据权利要求1所述的图像处理装置，其中

所述边沿方向估计部根据包含显著像素的第一图像区域和一个位于第一图像区域周围的图像区域之间的像素值差来计算每个边沿角度，并根据所计算的边沿角度来估计包含显著像素的第一图像区域中的边沿方向信息。

3.根据权利要求1所述的图像处理装置，其中

所述边沿方向估计部选择用于对包含显著像素的第一图像区域中的边沿方向信息进行估计的图像区域。

4.根据权利要求1所述的图像处理装置，其中

由所述边沿方向估计部估计的边沿方向信息在确定数量的方向中被正规化。

5.根据权利要求1所述的图像处理装置，其中

所述边沿方向估计部计算第一图像区域中的边沿强度信息。

6.根据权利要求5所述的图像处理装置，其中

所述边沿方向估计部根据边沿强度信息从多个颜色空间数据中选择一个颜色空间数据，并使用所选择的颜色空间数据来估计边沿方向信息。

7.根据权利要求1所述的图像处理装置，其中

所述边沿图形选择部从多个边沿形状图形中为特定边沿方向信息选择边沿形状图形。

8.根据权利要求1所述的图像处理装置，其中

当为特定边沿方向信息可以选择两个或更多边沿形状图形时，所述边沿图形选择部把第一图像区域中的像素变换为一个二值图形，并进行二值图形和每个边沿形状图形之间的图形匹配以选择边沿形状图形。

9.根据权利要求1所述的图像处理装置，其中

所述边沿图形选择部从对应于第一图像区域的多个不同尺寸的边沿形状图形中选择边沿形状图形，其中所提供的每个边沿形状图形与不同尺寸对应。

10.根据权利要求1所述的图像处理装置，其中

所述图像增强部根据放大率从多个其核心元素以及元素间距离不同的增强核心中选择一个增强核心，并应用所选择的增强核心来增强第一图像区域的像素值。

11.根据权利要求1所述的图像处理装置，其中

所述放大图像区域产生部包括第一放大图像区域产生部和第二放大图像区域产生部。

12.根据权利要求11所述的图像处理装置，其中

第一放大图像区域产生部通过使用由所述图像增强部增强的第一图像区域中的像素值，或者通过使用一个利用由所述图像增强部增强的第一图像区域中的两个或多个像素值计算的值，来为每个边沿形状图形放大第一图像区域以产生第一放大图像区域。

13.根据权利要求11所述的图像处理装置，其中

第二放大图像区域产生部包括多个放大单元，这些放大单元通过使用不同处理来放大第一放大图像区域；并且第二放大图像区域产生部根据由所述边沿方向估计部估计的边沿方向信息从多个放大单元中选择一个放大单元来使用。

14.根据权利要求13所述的图像处理装置，其中

其中一个放大单元通过利用第一放大图像区域中的像素值和由所述图像增强部增强的第一图像区域的周围的像素值进行的预定计算来产生第二放大图像区域。

15.根据权利要求13所述的图像处理装置，其中

其中一个放大单元根据由所述边沿方向估计部估计的边沿方向信息来选择第一图像区域的周围的像素值。

16.根据权利要求13所述的图像处理装置，其中

其中一个放大单元使用通过预定计算对由所述图像增强部增强的第一图像区域的周围的像素值进行变换所得的值，来产生第二放大图像区域。

17.根据权利要求1所述的图像处理装置，其中

所述图像配置部顺序地配置由所述放大图像区域产生部产生的放大图像区域，以便与每个放大图像区域重叠。

18.一种图像处理装置，包括：

图像数据获取部，用于获得图像数据；

图形数据存储装置，用于存储图形数据；和

图像替换装置，用于把一个与图像数据中包含的图像的特定区域对应的区域图像数据用与该区域图像数据具有相似性的图形数据替换，该特定区域的尺寸小于区域图像数据。

19.一种用于进行图像放大处理的图像处理方法，所述图像处理方法包括以下步骤：

为包含显著像素的第一图像区域估计边沿方向信息；

根据边沿方向信息和第一图像区域中的像素值，选择与由边沿方向信息指示的边沿方向对应的第一图像区域所对应的边沿形状图形；

增强第一图像区域的像素值；

通过使用边沿形状图形和第一图像区域的增强像素值来产生一个放大图像区域；以及

根据预定方法配置该放大图像区域。

20.一种用于进行图像放大处理的图像处理程序，所述图像处理程序包括以下步骤：

为包含显著像素的第一图像区域估计边沿方向信息；

根据边沿方向信息和第一图像区域中的像素值，选择与由边沿方向信息指示的边沿方向对应的第一图像区域所对应的边沿形状图形；

增强第一图像区域的像素值；

通过使用边沿形状图形和第一图像区域的增强像素值来产生一个放大图像区域；以及

根据预定方法配置该放大图像区域。

21.一种记录一图像处理程序的计算机可读记录介质，该图像处理程序包括以下步骤：

为包含显著像素的第一图像区域估计边沿方向信息；

根据边沿方向信息和第一图像区域中的像素值，选择与由边沿方向信息指示的边沿方向对应的第一图像区域所对应的边沿形状图形；

增强第一图像区域的像素值；

通过使用边沿形状图形和第一图像区域的增强像素值来产生一个放大图像区域；以及

根据预定方法配置该放大图像区域。

Images