CN101998053A - 图像处理方法、图像处理设备和成像设备 - Google Patents

Abstract

本发明提供了图像处理方法、图像处理设备和成像设备。图像处理方法包括划分步骤、执行步骤和叠加步骤。在划分步骤中，将图像分成多个局部部分。在执行步骤中，对多个局部部分中至少一个局部部分执行虚化处理。在叠加步骤中，将人工噪声叠加到所述至少一个局部部分上。

Description

图像处理方法、图像处理设备和成像设备

相关申请的交叉引用

本申请基于2009年8月13日提交的日本专利申请2009-187830并要求其优选权。

技术领域

本发明涉及在图像局部区域的部分中执行虚化的图像处理方法、图像处理设备、计算机可读介质和成像设备。

背景技术

如果一个人采用相机(成像设备)以设置到人像模式的拍摄模式来进行拍摄，会将光阑孔径设置得宽，而将景深取得浅。所得的图像为目标人物的图像轮廓清楚而背景图像虚化，即，目标人物的图像从背景图像中清晰地显现出来。同样，如果采用相机以设置到微距模式下的拍摄模式在很近的距离拍摄例如一朵花，则可以得到背景部分虚化因而不显眼、而花(主目标)的图像清楚的图像。

如上所述，在采用相机在某种场景下拍摄一个目标时，使背景图像虚化很重要。然而，虽然在相机具有大直径镜头的情况下很容易使背景图像虚化，但在具有小镜头的相机(比如紧凑的数码相机)的情况下拍摄背景虚化的图像就很难。

在上述情况中，例如下述专利文献JP-A-2008-271240、JP-A-2008-271241和JP-A-7-021365中所披露的传统技术所述，不得不执行图像处理，以对从目标图像提取并要被虚化的部分执行虚化。

通过对以相机拍摄的目标图像的局部部分(在上面的示例中为背景部分)而非主目标部分进行虚化，来得到具有较好的虚化效果的图像。

然而，仅在对以低ISO感光度(例如ISO 80或ISO 100)拍摄的图像执行虚化的情况下，才能够实现通过虚化来提高图像质量。如果对以高ISO感光度(例如ISO 400，ISO 800或更高)拍摄的图像执行虚化，则会发生主目标部分相对于受到虚化的背景部分而言显得太粗糙和多噪的问题，结果是图像失去和谐，整体感觉不协调。

本发明的目的是提供一种图像处理方法、图像处理设备、图像处理程序和成像设备，其中即使在对以高感光度拍摄而得到的图像的局部部分执行虚化时，也能产生整体上不会感觉不协调的图像。

发明内容

[1]根据本发明的一个方面，一种图像处理方法包括划分步骤、执行步骤和叠加步骤。在划分步骤中，将图像分成多个局部部分。在执行步骤中，对多个局部部分中至少一个局部部分执行虚化处理。在叠加步骤中，将人工噪声叠加到所述至少一个局部部分上。

[2]根据[1]的配置的图像处理方法，其中根据多条距离信息将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

[3]根据[1]的配置的图像处理方法，其中基于图像的噪声特性来确定人工噪声的量。

[4]根据[3]的配置的图像处理方法，其中基于拍摄图像时的拍摄感光度来确定噪声特性。

[5]根据[3]的配置的图像处理方法，其中基于减噪处理参数来确定噪声特性。

[6]根据本发明的另一方面，一种图像处理方法包括：

将图像分成多个局部部分；

除了多个局部部分的至少一个局部部分中的目标的边缘以外，对多个局部部分的所述至少一个局部部分执行虚化处理，同时保持所述边缘的锐度；以及

对除了所述至少一个局部部分以外的局部部分执行虚化处理，而不保持在除了所述至少一个局部部分以外的局部部分中的目标的边缘的锐度。

[7]根据[6]的配置的图像处理方法，其中根据多条距离信息将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

[8]根据本发明的又一方面，一种图像处理方法包括：

对图像的每个像素执行第一滤波；

对图像的每个像素执行第二滤波，第二滤波具有与第一滤波不同的特性；

将图像分成多个局部部分；

选择从第一滤波得到的像素值作为该图像中除了多个局部部分的至少一个局部部分中的目标的边缘以外的像素的像素值；以及

选择从第二滤波得到的像素值作为该图像中除了被赋予从第一滤波得到的像素值的像素以外的像素的像素值。

[9]根据[8]的配置的图像处理方法，其中第一滤波是虚化处理，第二滤波是将输入的像素值不加改变地输出的滤波。

[10]根据[8]的配置的图像处理方法，其中根据多条距离信息将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

[11]根据本发明的又一方面，一种图像处理设备包括：

局部区域区分单元，其将图像分成多个局部部分；

虚化单元，其对多个局部部分的至少一个局部部分执行虚化处理；以及

噪声叠加单元，其将人工噪声叠加到所述至少一个局部部分上。

[12]根据[11]的配置的图像处理设备，其中根据多条距离信息将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

[13]根据[11]的配置的图像处理设备，其中基于图像的噪声特性确定人工噪声的量。

[14]根据[13]的配置的图像处理设备，其中基于拍摄图像时的拍摄感光度来确定噪声特性。

[15]根据[13]的配置的图像处理设备，其中基于减噪处理参数来确定噪声特性。

[16]根据本发明的又一方面，一种图像处理设备包括：

局部区域区分单元，其将图像分成多个局部部分；

第一虚化单元，除了多个局部部分的至少一个局部部分中的目标的边缘以外，所述第一虚化单元对多个局部部分的所述至少一个局部部分执行虚化处理，同时保持所述边缘的锐度；以及

第二虚化单元，其对除了所述至少一个局部部分以外的局部部分执行虚化处理，而不保持在除了所述至少一个局部部分以外的局部部分中的目标的边缘的锐度。

[17]根据[16]的配置的图像处理设备，其中根据多条距离信息将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

[18]根据本发明的又一方面，一种图像处理设备包括：

第一滤波单元，其对图像的每个像素执行第一滤波；

第二滤波单元，其对图像的每个像素执行第二滤波，第二滤波具有与第一滤波不同的特性；

局部区域区分单元，其将图像分成多个局部部分；

输出选择单元，其选择从第一滤波得到的像素值作为该图像中除了多个局部部分的至少一个局部部分中的目标的边缘以外的像素的像素值，并且选择从第二滤波得到的像素值作为该图像中除了被赋予从第一滤波得到的像素值的像素以外的像素的像素值。

[19]根据[18]的配置的图像处理设备，其中第一滤波是虚化处理，第二滤波是将输入的像素值不加改变地输出的滤波。

[20]根据[18]的配置的图像处理设备，其中根据多条距离信息将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

[21]根据本发明的又一方面，一种成像设备包括：

图像处理设备，该图像处理设备包括：

局部区域区分单元，其将图像分成多个局部部分；

虚化单元，其对多个局部部分的至少一个局部部分执行虚化处理；以及

噪声叠加单元，其将人工噪声叠加到除了所述至少一个局部部分以外的局部部分上；以及

形成图像的成像系统。

在[1]至[21]的配置中，对受到虚化处理的局部区域添加了与未受到虚化处理的局部区域大致相同的噪声量，或者两种局部区域都降低了相同的噪声量。使所得到的图像粗糙度一致，从而整体上不会感到不协调。

附图说明

图1是示出根据本发明示例实施例的数码静物相机的配置的框图；

图2是示出图1所示数字信号处理部件的详细配置的框图；

图3是示出由图1的数码静物相机执行的处理的流程图；

图4示出将由图1的数码静物相机拍摄的目标；

图5A和图5B示出通过对焦包围曝光(focus bracket)拍摄的两次拍摄操作所得到的两个图像A和B；

图6示出图4所示目标的局部区域参考数据；

图7示出示例平滑滤波器；

图8是示出图7所示各个平滑滤波器的频率特性的曲线图；

图9示出通过对图5A的图像A执行虚化处理得到的图像；

图10A和10B分别示出图5A的图像A的一部分和图9的图像的一部分的放大版本；

图11是示出图1所示噪声叠加部件的详细配置的框图；

图12示出叠加了噪声的图像的重要部分的放大版本；

图13是示出根据与图11的示例实施例不同的一个示例实施例的噪声叠加部件的详细配置的框图；

图14是示出如何根据拍摄感光度确定噪声量的曲线图；

图15是示出根据与图13的示例实施例不同的一个示例实施例的噪声叠加部件的详细配置的框图；

图16是示出如何根据降噪处理参数值确定噪声量的曲线图；

图17是示出根据与图2的示例实施例不同的一个示例实施例的数字信号处理部件的详细配置的框图；

图18是示出图17所示的每个第一噪声滤波部件的详细配置的框图；

图19是示出图17所示的每个第二噪声滤波部件的详细配置的框图；

图20详细示出图17所示的每个组合电路；

图21是示出根据与图19的示例实施例不同的一个示例实施例的每个噪声滤波部件的详细配置的框图；

图22是由图21所示的输出选择部件执行的处理的流程图。

具体实施方式

下面将参照附图描述本发明的示例实施例。

图1所示的数码静物相机配备了拍摄透镜10和固态成像装置11。在拍摄透镜10与固态成像装置11之间布置了光阑12、红外截止滤光片13和光学低通滤光片14。对整个数码静物相机进行控制的CPU 15控制用于闪光的发光单元16和光检测单元17，控制透镜驱动单元18以将拍摄透镜10的位置调节到聚焦位置，并且经由光阑驱动单元19控制光阑12的孔径以将曝光调节到适当值。

另外，CPU 15经由成像装置驱动单元20驱动固态成像装置11，以使固态成像装置11输出通过拍摄镜头10拍摄的目标图像的色彩信号。用户指令信号经由操作单元21输入CPU 15，并且CPU 15根据如此接收到的指令信号执行各种控制。固态成像装置11是像素排列成蜂窝形式的CCD传感器或者是像素排列成Bayer形式的CCD或CMOS传感器。

数码静物相机的电控系统具有连接到固态成像装置11的输出端的模拟信号处理部件22，以及用于将从模拟信号处理部件22输出的RGB色彩信号转换为数字信号的A/D转换电路23。部件22和电路23由CPU 15来控制。

数码静物相机的电控系统还具有：连接到主存储器24的存储器控制部件25；用于执行图像处理的数字信号处理部件26；用于将拍摄图像压缩成JPEG图像并将压缩图像进行扩展的压缩/扩展处理部件27；用于对从A/D转换电路23输出的每个RGB数字图像数据进行积分并将积分值输出到数字信号处理部件26的积分部件28；将要连接可拆卸记录介质29的外部存储器控制部件30；和连接了例如被安装到相机背面的显示单元31的显示控制部件32。

电控系统还包括按照下文所述进行操作的定位部件33、距离信息计算部件34、虚化部件35和噪声叠加部件36。构成电控系统的上述部件经由控制总线37和数据总线38互相连接，并由来自CPU 15的指令进行控制。

如图2所示，数字信号处理部件26配备有：偏移校正电路41，其引入从A/D转换电路23输出的RGB图像信号并对其执行偏移处理；增益校正电路42，其引入偏移校正电路41的输出信号、接收积分部件28(见图1)的积分结果并对每个RGB信号执行增益调节以实现白平衡；线性矩阵电路43，用于对经白平衡调节后的图像信号执行线性矩阵处理；以及伽马校正电路44，用于对经线性矩阵处理后的图像信号执行伽马校正。

数字信号处理部件26还配备有：同步电路45，用于通过对经伽马校正后的RGB色彩信号(图像信号)执行插值处理来确定每个像素位置的RGB信号；RGB/YC转换电路46，用于从同步后的RGB信号计算亮度信号Y和色差信号C(Cr和Cb)；噪声滤波部件47，用于对从RGB/YC转换电路46输出的亮度信号Y执行降噪处理；噪声滤波部件48，用于对从RGB/YC转换电路46输出的色差信号C执行降噪处理；轮廓校正电路49，用于对从噪声滤波部件47输出的亮度信号Y执行轮廓校正处理；和色差校正电路50，用于通过将从噪声滤波部件48输出的色差信号C乘以色差矩阵来执行色调校正。

图3是图1的数码静物相机的控制处理的流程图。首先，在步骤S 1，判断聚焦位置。在该步骤，主目标的聚焦位置以这种方式来判断：采用固态成像装置11预先拍摄主目标，同时透镜驱动单元18驱动透镜10，并且积分部件28分析所得到的图像数据(即，在完全按下快门之前从固态成像装置11输出的并且显示在显示单元31上的所有图像数据)。

即，在步骤S1执行所谓的AF(自动对焦)操作。此时，利用上述数据计算与相机具有不同距离的多个目标的聚焦位置。

如图4所示，假设在如下例子中计算了一个主目标(人物)和其它背景目标(树)的聚焦位置，并且执行了两个连续拍摄操作(被称作对焦包围曝光拍摄)。不用说，所判断的聚焦位置的数量和连续拍摄操作的数量可以是三个或更多。

在图3所示的步骤S2，驱动透镜10以聚焦在主目标上。在步骤S3执行拍摄操作。在步骤S4，判断判断拍摄操作是否已经执行了预定次数(在该例子中为两次)。如果拍摄操作还未执行到预定次数，则处理返回到步骤S2，将透镜10聚焦到背景目标上。在步骤S3执行拍摄操作。

如果在步骤S4判断拍摄操作已经执行了预定次数(在该例子中，将透镜10分别聚焦到主目标和背景目标上而得到了图像A和图像B)，该处理行进到步骤S5。

图5A示出两个图像中将透镜10聚焦到主目标上所得到的图像A，其中主目标(人物)的轮廓清楚而背景目标(树)虚化。另一方面，图5B示出将透镜10聚焦到背景目标上所得到的图像B，其中主目标(人物)的轮廓虚化而背景目标的轮廓清楚。

在得到该两个图像之后，执行步骤S5至S10，它们是示例实施例重要特征的图像处理程序的步骤。首先，在步骤S5，通过图1所示定位部件33将已连续拍摄到的两个图像A和B彼此定位。定位处理使得可以对由于连续拍摄操作期间发生的相机抖动或聚焦位置变化而引起的图像A与图像B之间视角的微小改变进行补偿。

各种定位技术是已知的。一个方法是在两个图像A和B之间执行块匹配，并基于所得到的运动矢量通过仿射变换之类的变换来使这些图像变形。

在步骤S6，通过图1所示的距离信息计算部件34执行距离信息计算处理。在该步骤，基于两个图像A和B来计算拍摄场景的多条距离信息。更具体地说，逐像素地相互比较图像A的锐度与图像B的锐度，并采用锐度更高的每个像素的聚焦位置。可以使用例如已知的拉普拉斯滤波器来计算锐度。

结果，如图6所示，得到了表示各个像素聚焦位置的距离图像，即，得到了其中图像被分成局部区域的局部区域区分图像。在图6的示例中，具有距离0的图像区域(人物图像区域)中图像A的锐度较高，而具有距离1的图像区域(背景图像区域)中图像B的锐度较高。

由于拍摄图像A和图像B的各自的聚焦位置是已知的，因此可以确定距离0和距离1的物理距离。该距离图像可以在下文将描述的步骤S8(虚化处理)和步骤S10(噪声叠加处理)中用作参考数据。即，当对图像的各个局部区域(部分区域)执行具有不同特性的多个图像处理时，该距离图像作为局部区域参考数据在将每个局部区域与其它局部区域区进行区分时被引用。

在步骤S7，CPU 15引用距离图像，并且利用在拍摄操作中采用的各个参考值和焦距、孔径等来计算虚化量。CPU 15以这种方式计算虚化量：当距离0与距离1之间的差(物理距离)较大时、在多次拍摄操作中采用的焦距之间的差较大时、或者孔径接近于全开值时，设置较大的虚化量。这使得能够提供与在包括浅景深的拍摄条件下实际执行拍摄时所得到的效果相同的虚化效果。

在步骤S8，图1所示的虚化部件35根据在步骤S7计算的虚化量执行虚化处理。在将透镜10聚焦到主目标上时所得到的图像A的较低锐度局部区域(在该例子中为背景区域)上执行该虚化处理。

当虚化量较大时，通过选择具有较低截止频率的平滑滤波器来执行虚化处理(滤波)。例如，通过根据虚化量选择图7所示的五种11抽头数字滤波器中之一并且在水平方向和垂直方向的每一个方向上执行平滑滤波，来执行计算的虚化量的虚化处理。

图8是示出图7所示五个数字滤波器各自的频率特性的曲线图。由于图像A是将透镜10聚焦到主目标上而得到的，因此将没有虚化效果的滤波器0应用于距离0的部分，或者对距离0的部分不执行虚化处理。结果，如图9所示，通过强调背景部分的虚化，得到了以较浅的景深拍摄的图像。

然而，虚化处理具有降噪处理的方面。因此，如果要受到虚化处理的图像A是以高感光度摄得的图像，即，如果图像A整体显得粗糙和多噪，仅对背景部分虚化将产生仅降低了背景部分的噪度的图像，从而整体上不自然(即感觉不协调)。

如果虚化前的图像如图10A所示那样整体上多噪，仅对背景部分虚化将会降低具有大虚化量的背景部分的噪声量，使得背景部分的噪声量不同于没有被虚化的主目标部分的噪声量，即产生了一个局部区域与另一个局部区域的噪声特性不同的图像(见图10B)。这样的图像感觉不协调，即，呈现出经过了人工处理的效果。因此，从噪声角度出发最好不执行虚化处理。

考虑到上述方面，在示例实施例中，在图3所示的步骤S9和S10，对虚化的局部区域(该例子中是背景区域；见图10B)执行叠加人工噪声的处理，使得该局部区域的噪声量等于没有虚化的局部区域(在该例子中是主目标区域)的噪声量。在步骤S11，将所得图像数据记录在记录介质29(见图1)中。

图11是示出图1所示噪声叠加部件36的详细配置的框图。噪声叠加部件36配备有：噪声量确定部件55，其引入在步骤S7计算的虚化量并确定噪声量；随机数产生部件56；正态随机数产生部件57，其引入随机数产生部件56的输出和噪声量确定部件55的输出，并产生正态随机数；以及相加部件58，其引入正态随机数产生部件57的输出和虚化的图像，并将人工噪声叠加到每个虚化的局部区域上。

噪声量确定部件55按照噪声的标准差σ随着每个像素的虚化量增加而增加的方式来确定噪声。随机数产生部件56产生两个随机数(α，β)，它们是从0至预定最大值M之间的范围内的整数。可以通过任何已知方法来产生随机数，比如混合同余法、平方取中法和马特赛特旋转法。

正态随机数产生部件57根据下述公式1(巴克斯-米勒法，Box-Muller method)利用所产生的随机数(α，β)来产生具有标准差σ的正态随机数n。在公式1中“ln”表示自然对数。

[公式1]

$n=\mathrm{\σ}\·\sqrt{-2\·\ln \left(\frac{\mathrm{\α}}{M+1}\right)}\·\cos (2\mathrm{\π}\·\frac{\mathrm{\β}}{M+1})$

相加部件58将针对虚化图像的每个像素而产生的一个正态随机数加到该像素的像素值上。

利用上述处理，将具有较大标准差的噪声叠加到具有较大虚化量的像素上(即，那些通过虚化处理被更多降噪的像素)，从而通过添加人工噪声可以补偿由于虚化处理而引起的降噪。结果，如图12所示，可以使位于局部区域边界两侧的两个区域中的粗糙度和噪度一致，从而可以产生不会感觉不协调的图像。

如上所述，在示例实施例中，根据虚化特性在由图像处理(通过根据与每个目标的距离局部地将目标图像虚化来减小表观景深)产生的图像上叠加人工噪声。这使得能够减小会由这种图像处理引起的不自然噪度。

图13是示出根据本发明另一示例实施例的噪声叠加部件36a的详细配置的框图。噪声叠加部件36a与图11的噪声叠加部件36在配置上基本相同，与后者的不同之处在于噪声量确定部件55a还利用拍摄感光度信息来确定噪声量。拍摄感光度信息是表示所摄图像的噪声特性的参数之一。因此，根据该另一示例实施例的噪声叠加部件36a确定噪声量时不仅考虑虚化量而且还考虑了图像噪声特性。

图像噪声特性是虚化前的图像的噪声特性，没有受到虚化处理的主目标区域即使在虚化处理执行以后仍然具有由该特性表示的噪声。

在该示例实施例中，拍摄感光度信息是指表示图像噪声特性的参数。一般而言，当拍摄感光度较高时，照射到固态成像装置11上的光量较小。为了以这么小的光量得到恰当的亮度，在例如成像设备的模拟信号处理部件22中采用了高增益，结果是噪声也被放大。

因此，如图14所示，通过确定噪声量可以叠加用于对已被虚化处理降低的噪声进行补偿的人工噪声，使得噪声的标准差σ随着虚化量或拍摄感光度的增大而增大。通过使用预调节表或根据预定等式执行计算，可以引用图14的关系。

该示例实施例使得能够更恰当地消除已受到虚化处理的图像的不自然噪度，这是因为要叠加的噪声量是根据拍摄感光度来确定的。

图15是示出根据本发明又一示例实施例的噪声叠加部件36b的详细配置的框图。噪声叠加部件36b与图11的噪声叠加部件36在配置上基本相同，与后者的不同之处在于噪声量确定部件55b不仅利用虚化量还利用降噪处理参数来确定噪声量。

在普通成像设备中，当拍摄感光度高时，时常通过降噪处理(图像处理)来抑制噪声。在各种降噪处理中，有仅使用简单平滑滤波器的处理，也有检测信号边缘并且不对边缘部分进行平滑而对其它平坦部分进行平滑的处理。

使用降噪处理参数使得能够识别虚化前的图像具有何种噪声特性。在图16所示的方式中，根据降噪处理参数和虚化量来确定要叠加的噪声的标准差σ。

例如，当降噪处理参数是低水平时，虚化前的图像的噪声量大。因此，在特定虚化量下，在降噪处理参数为低水平时添加到虚化图像的噪声量比在降噪处理参数为高水平时添加到虚化图像的噪声量大。

根据降噪处理参数来确定要叠加的噪声量使得可以更恰当地消除不自然噪度。

在图13和图15的示例实施例中，根据拍摄感光度信息或降噪处理参数来计算要叠加到已受到虚化处理的局部区域上的噪声量。替代方式是，可以通过图像处理以直接检测未受到虚化处理的局部区域的平坦部分(非边缘部分)的噪声量来计算噪声量。

图17是示出根据本发明又一示例实施例的数字信号处理部件26a的配置的框图。数字信号处理部件26a与上文参照图2所述的数字信号处理部件26在配置上基本相同。因此，对与图2相同的部件和电路分配了与后者相同的参考数字并且不再对其详细描述。即，下面仅详细描述不相同的部件和电路。

在根据该示例实施例的数字信号处理部件26a中，并行地提供第一噪声滤波部件61和第二噪声滤波部件62，作为用于降低亮度信号Y中包含的噪声的两个降噪滤波器。组合电路63选择噪声滤波部件61和62中的一个的输出信号并将其输出到下游的轮廓校正电路49。

同样，并行地提供第一噪声滤波部件64和第二噪声滤波部件65，作为用于降低色差信号C中包含的噪声的两个降噪滤波器。组合电路66选择噪声滤波部件64和65中的一个的输出信号并将其输出到下游的色差校正电路50。

如上所述，在该示例实施例中，对图像A(见图5A)的亮度信号Y执行具有不同特性的两种降噪处理。同样，对色差信号C执行具有不同特性的两种降噪处理。通过组合处理，对每个像素选择出通过执行这两种降噪处理所得到的信号的一个(一组)。

图18是示出第一噪声滤波部件61和64的每一个的配置的框图。为了在降低图像中噪声的同时执行虚化处理，第一噪声滤波部件61和64的每一个都配备了平滑部件67。例如，平滑部件67是如图7所示的一个简单平滑滤波器。

图19是示出第二噪声滤波部件62和65的每一个的配置的框图。第二噪声滤波部件62和65的每一个在保持其锐度的同时执行降低图像中噪声的处理。如图19所示，第二噪声滤波部件62和65的每一个都配备了边缘提取部件71，用于引入处理目标图像数据；边缘判断部件72，用于利用阈值来判断由边缘提取部件71所提取的输出数据是否表示边缘；平滑部件73，用于引入处理目标图像数据并对其进行平滑；以及输出选择部件74，其接收边缘判断部件72的判断结果、处理目标图像的每个像素值、和平滑部件73的输出，并且选择和输出处理目标图像的像素值和平滑后的像素值中的一个。

在上述配置的第二噪声滤波部件62和65的每一个中，边缘提取部件71例如采用拉普拉斯滤波器检测处理目标图像的每个像素的边缘成分，下游的边缘判断部件72判断拉普拉斯滤波器的输出的绝对值是否大于或等于阈值。如果该绝对值大于或等于阈值，则边缘判断部件72判断边缘提取部件71所提取的边缘成分确实表示边缘部分。平滑部件73(其是图7中所示的简单平滑滤波器)对处理目标图像进行平滑。

输出选择部件74针对被边缘判断部件72判断为构成边缘的像素来输出所输入的处理目标图像的像素值，并且针对被判断为构成除边缘之外的平坦部分的像素来输出被平滑部件73滤波的像素值。以上述方式操作，第二噪声滤波部件62和65的每一个可以执行能够在保持处理目标图像锐度的同时降低其平坦部分的噪声的降噪处理。

图20所示的组合电路63和66的每一个对亮度信号Y或色差信号C执行组合处理。即，组合电路63和66的每一个引入第一噪声滤波部件61或64的输出以及第二噪声滤波部件62或65的输出，并根据上文参考图6所述的距离信息来针对每个像素选择那些降噪后的输出中的一个。

更具体地说，如果像素属于具有距离0的部分(主目标部分)，则组合电路63和66的每一个选择第二噪声滤波部件62或65的输出以保持锐度，而如果像素属于在距离1处的部分(背景部分)，则组合电路63和66的每一个选择能够进行虚化的第一噪声滤波部件61或64的输出。使噪声滤波部件61和64的每一个的平滑部件67的滤波特性等于噪声滤波部件62和65的每一个的平滑部件73的滤波特性，从而即使是具有不同距离信息的部分也能被施加相同的降噪量，从而能够减小在具有不同距离信息的局部区域之间的边界处出现的不自然噪度阶跃。

该示例实施例可以缩短处理时间，这是因为可以同时执行降噪处理和虚化处理。另外，噪声叠加处理是不必要的，这是因为对具有不同距离信息的局部区域施加了相同的降噪量。

图21是示出根据本发明又一示例实施例的噪声滤波部件47和48的每一个的配置的框图。根据该示例实施例的数字信号处理部件26与根据图2的实施例的数字信号处理部件相同，并且图21所示的噪声滤波部件47或48是图2所示的噪声滤波部件47或48的详细版本。

根据该示例实施例的噪声滤波部件47和48的每一个与图19所示第二噪声滤波部件62和65的每一个的配置基本相同，并且对具有图19中的相同部件的部件分配了与后者相同的参考数字。根据该示例实施例的噪声滤波部件47和48的每一个与根据图19的示例实施例的第二噪声滤波部件62和65的每一个的不同之处在于，将距离信息输入到平滑部件73a和输出选择部件74a。

在该示例实施例的平滑部件73a中，根据距离信息通过具有不同截止频率的平滑滤波器(例如图7所示的滤波器)来对处理目标图像进行处理。例如，以滤波器0来对图6中所示的具有距离0的局部部分进行滤波，并且以滤波器4对具有距离1的局部部分进行滤波。在输出选择部件74a中，根据距离信息来选择并输出处理目标图像本身的像素值或者被平滑部件73a平滑后的像素值。

图22是上文参考图21描述的输出选择处理的流程图，其由输出选择部件74a执行。首先，在步骤S21，判断作为输出选择处理的目标的像素的距离信息是否为焦点对准(in-focus)的距离，即距离0。

如果判断结果是肯定的，即，如果距离信息是焦点对准的距离(距离0)，则处理行进到步骤S22，在这里边缘判断部分72判断该像素是否属于边缘。如果判断结果是肯定的，即，如果该像素的距离信息是距离0并且属于边缘，则处理行进到步骤S23，在这里选择并输出处理目标像素本身的像素值。对当前像素的输出选择处理完成，将对下一像素进行处理。

如果步骤S21的判断结果是否定的(即，像素属于具有距离1的背景区域)，或者步骤S22的判断结果是否定的(即，像素属于具有距离0的局部区域但不属于边缘)，则处理行进到步骤S24，在这里输出由平滑部件73a滤波的像素值。对当前像素的输出选择处理完成，将对下一像素进行处理。

在该示例实施例中，图像A的焦点对准的主目标部分的平坦部分降低了噪声，而同时保持了其边缘部分的锐度。可以将背景部分虚化，同时将背景部分的噪声降低与主目标部分的平坦部分相同的噪声量。因此能够降低不自然噪度。

根据该示例实施例，可以如附图17的示例实施例一样同时执行降噪处理和虚化处理，因此能够缩短处理时间。由于具有不同距离信息的局部区域降低了相同的噪声量，因此噪声叠加处理是不必要的。而且，与图17中所示的示例实施例不同，不必使用两种噪声滤波部件61和62或64和65，组合电路63和66也是不必要的，这意味着的优点是简化了电路构造。另外，与图17所示示例实施例的不同还在于，不必对同一像素执行多种处理，这意味着另一优点是加快了处理速度。

虽然上述示例实施例针对的是数码静物相机，但本发明还可以应用于其它类型的数码相机，比如数码摄像机以及被结合在结合了相机的移动电话、PDA和笔记本个人电脑之类的电子设备中的相机。此外，虽然上述示例实施例针对的是单镜头相机，然而本发明还可应用于如立体摄像机之类的双镜头相机。

另外，虽然上述示例实施例针对的是在数码静物相机中结合的图像处理功能的图像处理，然而本发明还可以应用于对引出到外部个人计算机等的目标图像数据执行的图像处理。

如上所述，根据一个示例实施例的图像处理方法、图像处理设备、和图像处理程序特征在于，将图像分成多个局部部分；对多个局部部分的至少一个局部部分执行虚化处理；在除了所述至少一个局部部分以外的局部部分上叠加人工噪声。

根据这个示例实施例的图像处理方法、图像处理设备、和图像处理程序特征还在于，根据多条距离信息来将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

根据这个示例实施例的图像处理方法、图像处理设备、和图像处理程序特征还在于，基于图像的噪声特性来确定人工噪声的量。

根据这个示例实施例的图像处理方法、图像处理设备、和图像处理程序特征在于，基于拍摄图像的拍摄感光度来确定噪声特性。

根据这个示例实施例的图像处理方法、图像处理设备、和图像处理程序特征在于，基于降噪处理参数来确定噪声特性。

根据另一示例实施例的图像处理方法、图像处理设备、和图像处理程序特征在于，将图像分成多个局部部分；除目标边缘以外，对多个局部部分的至少一个局部部分执行虚化处理，而同时保持边缘部分的锐度；并且对除所述至少一个局部部分以外的局部部分执行虚化处理，而不保持其它局部部分的每一个的目标边缘的锐度。

根据该示例实施例的图像处理方法、图像处理设备、和图像处理程序特征在于，根据多条距离信息来将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

根据又一示例实施例的图像处理方法、图像处理设备、和图像处理程序特征在于，对图像的每个像素执行具有不同特性的第一滤波和第二滤波；将图像分成多个局部部分；并且针对多个局部部分的至少一个的目标边缘的每个像素，选择受到第一滤波的像素值，并且对多个局部部分没有受到第一滤波的每个像素，选择受到第二滤波的像素值。

根据该示例实施例的图像处理方法、图像处理设备、和图像处理程序特征在于，第一滤波是将输入的像素值按照其原样来输出的滤波，而第二滤波是虚化处理。

根据该示例实施例的图像处理方法、图像处理设备、和图像处理程序特征在于，根据多条距离信息来将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

在上述每个示例实施例中，没有受到虚化处理的局部区域的噪声量等于受到了虚化处理的局部区域的噪声量，从而能够产生整体不会感到不协调的图像。

[工业应用]

根据本发明的图像处理方法等能够产生即使受到如虚化处理之类的图像处理也不会整体上感觉不协调的图像，因此在应用于图像处理设备、成像设备等时十分有用。

Claims (21)

1.一种图像处理方法，包括：

将图像分成多个局部部分；

对多个局部部分的至少一个局部部分执行虚化处理；以及

将人工噪声叠加到所述至少一个局部部分上。

2.根据权利要求1的图像处理方法，其中根据多条距离信息将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

3.根据权利要求1的图像处理方法，其中基于图像的噪声特性来确定人工噪声的量。

4.根据权利要求3的图像处理方法，其中基于拍摄图像时的拍摄感光度来确定噪声特性。

5.根据权利要求3的图像处理方法，其中基于减噪处理参数来确定噪声特性。

6.一种图像处理方法，包括：

将图像分成多个局部部分；

除了多个局部部分的至少一个局部部分中的目标的边缘以外，对多个局部部分的所述至少一个局部部分执行虚化处理，同时保持所述边缘的锐度；以及

对除了所述至少一个局部部分以外的局部部分执行虚化处理，而不保持在除了所述至少一个局部部分以外的局部部分中的目标的边缘的锐度。

7.根据权利要求6的图像处理方法，其中根据多条距离信息将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

8.一种图像处理方法，包括：

对图像的每个像素执行第一滤波；

对图像的每个像素执行第二滤波，第二滤波具有与第一滤波不同的特性；

将图像分成多个局部部分；

选择从第一滤波得到的像素值作为该图像中除了多个局部部分的至少一个局部部分中的目标的边缘以外的像素的像素值；以及

选择从第二滤波得到的像素值作为该图像中除了被赋予从第一滤波得到的像素值的像素以外的像素的像素值。

9.根据权利要求8的图像处理方法，其中第一滤波是虚化处理，第二滤波是将输入的像素值不加改变地输出的滤波。

10.根据权利要求8的图像处理方法，其中根据多条距离信息将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

11.一种图像处理设备，包括：

局部区域区分单元，其将图像分成多个局部部分；

虚化单元，其对多个局部部分的至少一个局部部分执行虚化处理；以及

噪声叠加单元，其将人工噪声叠加到所述至少一个局部部分上。

12.根据权利要求11的图像处理设备，其中根据多条距离信息将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

13.根据权利要求11的图像处理设备，其中基于图像的噪声特性确定人工噪声的量。

14.根据权利要求13的图像处理设备，其中基于拍摄图像时的拍摄感光度来确定噪声特性。

15.根据权利要求13的图像处理设备，其中基于减噪处理参数来确定噪声特性。

16.一种图像处理设备，包括：

局部区域区分单元，其将图像分成多个局部部分；

第一虚化单元，除了多个局部部分的至少一个局部部分中的目标的边缘以外，所述第一虚化单元对多个局部部分的所述至少一个局部部分执行虚化处理，同时保持所述边缘的锐度；以及

第二虚化单元，其对除了所述至少一个局部部分以外的局部部分执行虚化处理，而不保持在除了所述至少一个局部部分以外的局部部分中的目标的边缘的锐度。

17.根据权利要求16的图像处理设备，其中根据多条距离信息将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

18.一种图像处理设备，包括：

第一滤波单元，其对图像的每个像素执行第一滤波；

第二滤波单元，其对图像的每个像素执行第二滤波，第二滤波具有与第一滤波不同的特性；

局部区域区分单元，其将图像分成多个局部部分；

输出选择单元，其选择从第一滤波得到的像素值作为该图像中除了多个局部部分的至少一个局部部分中的目标的边缘以外的像素的像素值，并且选择从第二滤波得到的像素值作为该图像中除了被赋予从第一滤波得到的像素值的像素以外的像素的像素值。

19.根据权利要求18的图像处理设备，其中第一滤波是虚化处理，第二滤波是将输入的像素值不加改变地输出的滤波。

20.根据权利要求18的图像处理设备，其中根据多条距离信息将图像分成多个局部部分，所述距离信息表示到达图像中包含的各个目标的距离。

21.一种成像设备，包括：

根据权利要求11至20中任一项所述的图像处理设备；以及

形成图像的成像系统。

Images