CN103843033B

CN103843033B - 图像处理设备和方法以及程序

Info

Publication number: CN103843033B
Application number: CN201280048155.1A
Authority: CN
Inventors: 田中康一
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2011-09-30
Filing date: 2012-09-24
Publication date: 2015-11-25
Anticipated expiration: 2032-09-24
Also published as: CN103843033A; WO2013047405A1; US20140211034A1; JPWO2013047405A1; JP5554453B2; US8860848B2

Abstract

如果对图像进行模糊，则执行所述模糊的区域中的噪声根据模糊滤波的特性而减小，结果是执行了所述模糊的区域和未执行模糊的区域之间的噪声量出现差异。鉴于这类情形，根据本发明的实施例的图像处理设备将噪声添加到执行了所述模糊的区域，凭借这种方法，所述噪声量的差异能够被减小，由此创建了自然的模糊增强图像。此外，考虑到模糊量越多，伴随模糊的噪声减小得越多的情况，根据本发明的实施例的图像处理设备根据由所述模糊滤波提供的模糊量来确定并添加噪声量。

Description

图像处理设备和方法以及程序

技术领域

本发明涉及图像处理设备和方法以及程序，特别涉及创建模糊增强（blurring-emphasized）图像的技术。

背景技术

在诸如数字相机的成像设备以及图像处理设备领域，对通过所谓聚焦包围成像（focusbracketimaging）所获取的图像执行对应点检测和图像变换，并且对基于上述处理所指定的图像执行模糊化，由此完成具有浅景深的图像。例如，在PTL1中，基于聚焦包围的多个图像来计算将对基准图像施加的高斯滤波的多个滤波特性，并且基于这些特性来局部平坦该基准图像，从而创建模糊增强图像。PTL2公开了当对图像施加加噪滤波时，对包括人物之类并且不意图添加噪声的区域进行检测，对该区域执行软对焦处理，并且对除了上述区域外的其他区域执行加噪处理。

{引用列表}

{专利文献}

{PTL1}日本专利申请公开第2008-271240号

{PTL2}日本专利申请公开第2007-241424号

发明内容

{技术问题}

当在图像上执行如专利文献中的传统技术的模糊处理的情况中，采用平坦滤波器等的常用技术遗憾地生成了不舒服的图像，在这种图像中模糊部分的噪声量与其他部分的噪声量之间存在差异，从而造成不均匀。例如，在前述PTL1中，因为未考虑模糊处理，所以图像中的噪声量之间存在差异。在PTL2中，将噪声添加至特定区域。在包括人物之类并且不意图添加噪声的区域中的噪声依照软对焦处理中的滤波特性而减少，同时噪声被添加到其他区域。因而，在处理后的图像中遗憾地存在噪声差异，由此导致问题。

鉴于这类情况完成本发明，并且本发明具有这样的目标：提供图像处理设备和方法以及程序来减小模糊部分的噪声量与其他部分的噪声量之间的差异，并且创建具有自然纹理的模糊增强图像。

{解决方案}

为了解决前述问题，根据本发明的第一方面的图像处理设备包括：基准图像获取装置，其用于获取被摄体的基准图像；模糊处理装置，其对所获取的基准图像中的模糊目标区域施加模糊处理滤波；噪声量确定装置，其用于确定将对模糊处理后的模糊目标区域添加的噪声量；以及噪声添加装置，其用于将确定的噪声量添加到模糊处理后的模糊目标区域，其中噪声量确定装置根据模糊处理滤波的模糊量来确定用于模糊目标区域的噪声量，并且噪声添加装置将确定的噪声量添加至模糊目标区域。

当如上所述对图像执行模糊处理时，在模糊处理的目标区域中的噪声依照模糊处理滤波的特性而减少。因而，与模糊处理的非目标区域存在噪声量差异。根据本发明的第一实施例的图像处理设备将噪声添加至模糊目标区域。因而，能够减少噪声量差异，并能创建具有自然纹理的模糊增强图像。此外，根据本发明的第一实施例的图像处理设备在考虑到模糊量越大则被模糊处理减少的噪声越多的情况下，根据模糊处理滤波的模糊量来确定噪声量，并添加噪声。

在根据第一方面的图像处理设备中，噪声添加装置可以将噪声添加至模糊目标区域中具有至少为阈值的模糊量的像素。如上所述，在根据第一方面的图像处理设备中，噪声被添加到模糊目标区域。就这方面而言，为了执行该处理，在参考模糊目标区域中的模糊量的同时添加噪声是有效的。

根据第一方面的图像处理设备可进一步包括距离图像创建装置，其用于根据所获取的基准图像和除了该基准图像以外的其他图像来创建距离图像。模糊处理滤波可以以如下模糊量来执行模糊处理，即，该模糊量取决于从所创建的距离图像获取的被摄体距离。例如，可以配置为对诸如前景上的人物之类的主被摄体不执行模糊处理，而对离该主被摄体距离较远的背景等设置大模糊量。由此执行模糊处理，从而允许获取具有自然纹理的模糊增强图像。

在根据第一方面的图像处理设备中，噪声量确定装置可以根据基准图像的成像灵敏度确定噪声量，噪声添加装置可以添加根据成像灵敏度确定的噪声量。典型地，如果成像灵敏度高，则噪声量大。例如，在如ISO1600这样的高灵敏度的情况下，噪声量大。因而，如果对具有如此大噪声量的图像执行模糊处理，则在将被模糊处理的区域中减少噪声，同时原始图像中包括的噪声不幸的原样保留在未经过该处理的区域中，从而导致该图像中的噪声不均匀性被凸显。因此，在本发明这一方面的图像处理设备中，通过确定并添加依据成像灵敏度确定的噪声量来解决上述问题。本发明这一方面的图像处理设备针对这种情况是极为有效的。

如本发明的第二方面描述的，根据第一方面的图像处理设备可进一步包括噪声提取装置，其用于从所获取的基准图像提取噪声。噪声量确定装置可采用提取的噪声来确定用于模糊目标区域的噪声量。由模糊处理引起什么噪声取决于将要进行模糊处理的图像中所包括的噪声。因而，就这一方面而言，采用从原始基准图像提取出的噪声来计算将被添加到模糊目标区域的噪声，从而允许添加具有自然纹理的噪声。

在根据第二方面的图像处理设备中，噪声量确定装置可将提取的噪声乘以取决于模糊处理滤波的模糊量的系数，以确定用于模糊目标区域的噪声量。就这一方面而言，将所提取的噪声乘以系数，并对将被添加至模糊目标区域的噪声量进行调整，从而允许进一步减小噪声量差异。

如本发明的第三方面描述的，根据第一方面的图像处理设备可进一步包括噪声量预估装置，其用于根据所获取的基准图像的成像条件来预估该基准图像的噪声量。噪声量确定装置可利用预估的噪声来确定用于模糊目标区域的噪声量。如上所述，从基准图像提取的噪声可以用作将被添加到模糊处理后的图像的噪声。或者，就这一方面而言，可以使用根据由基准图像的成像条件得到的模型而预估的噪声。

在根据第三方面的图像处理设备中，噪声量确定装置可将预估的噪声量乘以取决于模糊处理滤波的模糊量的系数，以确定用于模糊目标区域的像素的噪声量。就这一方面而言，将预估的噪声乘以系数，并对将被添加至模糊目标区域的噪声量进行调整，从而允许进一步减小噪声量差异。

在根据第三方面的图像处理设备中，成像条件可以是所获取的基准图像的像素值。典型地，出现在图像传感器中的噪声量取决于由光电二极管接收的光量，即，图像的像素值。因而，该方面将噪声量作为像素值的函数进行处理。

为了实现上述目标，根据本发明的第四方面的图像处理设备包括：基准图像获取装置，其用于获取被摄体的基准图像；平坦度检测装置，其用于检测所获取的基准图像的平坦度；模糊量设置装置，其根据检测到的平坦度来设置基准图像的模糊目标区域中的模糊量；以及模糊处理装置，其采用设置的模糊量来处理将被模糊的模糊目标区域。

由模糊处理引起的噪声量差异在平坦部分尤为可见地凸显。因此，根据第四方面的图像处理设备根据平坦度来设置模糊量。因此，能够获取具有均匀噪声量的自然纹理的模糊增强图像。

根据第三方面的上述图像处理设备不会将提取自基准图像的噪声添加到模糊图像。替换地，该设备添加的是基于成像条件预估的噪声，因此在这一点上，该设备与根据第二方面的图像处理设备不同，但是在单独添加一些噪声到所创建的模糊图像这一点上，该设备与根据第一到第三方面的图像处理设备相同。不同于根据第一到第三方面的图像处理设备，根据本发明的第四方面的图像处理设备不添加噪声本身，而作为代替的是设置模糊量，以使得作为模糊处理结果生成的模糊增强图像中的噪声均匀。

在根据第四方面的图像处理设备中，模糊量设置装置可以将未考虑基准图像的平坦度的情况下的模糊量乘以取决于检测到的平坦度的系数，以设置模糊量。这方面表示了根据平坦度设置模糊量的特定方面。

根据第四方面的图像处理设备可进一步包括：噪声量确定装置，其用于根据基准图像的成像灵敏度确定噪声量；噪声添加装置，其用于添加根据成像灵敏度确定的噪声量。

为了实现上述目标，根据本发明的第五方面的图像处理设备包括：基准图像获取装置，其用于获取被摄体的基准图像；模糊量设置装置，其用于设置针对基准图像的模糊量；模糊图像创建装置，其利用设置的模糊量来对所获取的基准图像施加模糊处理滤波以生成模糊图像，被创建的模糊图像的噪声取决于模糊处理滤波的特性而减小；差异计算装置，其针对获取的基准图像来计算获取的基准图像与生成的模糊图像之间的差异值；以及合并图像生成装置，其用于根据计算出的差异值来对基准图像和模糊图像进行加权并相加，以生成合并图像。

根据第五方面的图像处理设备与第四方面在一点上相同，即，不是通过添加噪声到生成的模糊图像上来使噪声均匀。然而，不同于第四方面，第五方面对包括一定等级噪声的基准图像和具有减小的噪声的模糊图像进行加权并相加，从而使得噪声在合并图像中均匀。在这种情况下，基准图像与模糊图像之间的差异值的大小意味着模糊处理的大小以及平坦度。因而，为了表示上述两种图像的噪声量之间的差异，根据第五方面的图像处理设备使得利用根据所述差异值进行加权并相加得到的合并图像中的噪声均匀。因而，根据第五方面的图像处理设备能够减小模糊部分和其他部分中的噪声量之间的差异，并且创建具有自然纹理的模糊增强图像。

在根据第五方面的图像处理设备中，如果计算出的差异值在规定范围内，则合并图像生成装置可以设置这样的权重：该权重使得差异值越小，则基准图像的权重越大而模糊图像的权重越小；并且可以设置这样的权重：该权重使得差异值越大，则基准图像的权重越小而模糊图像的权重越大。大的差异值（其总值）意味着模糊处理很大程度地增强了模糊的事实（即，噪声被大量减小）。同时，小的差异值（其绝对值）意味着模糊未被增强或增强程度较小（即，噪声未被大量减小或根本没有减小）。差异值在平坦部分也较小。因而，在具有小差异值的区域中，将基准图像的权重设置为大，从而使得合并图像包括大量噪声。相反，在具有大差异值的区域中，将模糊图像的权重设置为大，从而使得包括在合并图像中的噪声量被抑制。因此在整个合并图像上使得噪声量均匀。

需注意，在根据第五方面的图像处理设备中，差异值的“规定范围”可以根据成像条件、成像设备的特性等被适当地设置。在差异值超出规定范围的情况下，例如差异值极小或极大的情况下，可以不考虑差异值而都设置常数值。

根据第一到第五方面的图像处理设备可包括：聚焦包围成像装置，其将焦点位置离散地移动预定的移动量并连续拍摄图像以获取多幅图像；对应点检测装置，其用于检测由聚焦包围成像装置拍摄的多幅图像之间的被摄体对应点；以及图像变换装置，其用于对除了从多幅图像中针对规定基准选出的一幅基准图像之外的其他多幅图像进行变换，使得对应点的位置重合。在这种情况下，基准图像获取装置可以从聚焦包围成像装置所获取的多幅图像之中获取被摄体的基准图像。

需注意，根据第一到第五方面的图像处理设备以区域为单位来执行诸如噪声量确定之类的处理。可替换地，可以以一个像素为单位或者以各自包括多个像素的多个图像块为单位来执行这些处理。

为了实现所述目标，本发明的第六方面提供了一种图像处理方法，包括：基准图像获取步骤，用于获取被摄体的基准图像；模糊处理步骤，用于对所获取的基准图像中的模糊目标区域施加模糊处理滤波；噪声量确定步骤，用于确定将被添加到模糊处理后的模糊目标区域中的噪声量；以及噪声添加步骤，用于将所确定的噪声量添加到模糊处理后的模糊目标区域，其中噪声量确定步骤根据模糊处理滤波的模糊量来确定用于模糊目标区域的噪声量，并且噪声添加步骤将确定的噪声量添加到模糊目标区域。

在根据第六方面的图像处理方法中，噪声添加步骤可将噪声添加到模糊目标区域中具有至少为阈值的模糊量的像素。

根据第六方面的图像处理方法可进一步包括距离图像创建步骤，用于根据所获取的基准图像和除了该基准图像以外的其他图像来创建距离图像。模糊处理滤波可利用取决于从所创建的距离图像获取的被摄体距离的模糊量来执行模糊处理。

根据第六方面的图像处理方法可进一步包括：噪声量确定步骤，用于根据基准图像的成像灵敏度确定噪声量；噪声添加步骤，用于添加根据成像灵敏度确定的噪声量。

如本发明的第七方面描述的，根据第六方面的图像处理方法可进一步包括噪声提取步骤，用于从所获取的基准图像提取噪声。噪声量确定步骤可采用提取的噪声来确定用于模糊目标区域的噪声量。

在根据第七方面的图像处理方法中，噪声量确定步骤可将提取的噪声乘以取决于模糊处理滤波的模糊量的系数，以确定用于模糊目标区域的噪声量。

如本发明的第八方面所描述的，根据第六方面的图像处理方法可进一步包括噪声量预估步骤，用于根据所获取的基准图像的成像条件来预估基准图像的噪声量。噪声量确定步骤可使用预估的噪声来确定用于模糊目标区域的噪声量。

在根据第八方面的图像处理方法中，噪声量确定步骤可将预估的噪声量乘以取决于模糊处理滤波的模糊量的系数，以确定用于模糊目标区域的噪声量。

在根据第八方面的图像处理方法中，成像条件可以是所获取的基准图像的像素值。

根据第六到第八方面的上述图像处理方法对应于根据第一到第三方面的上述图像处理设备。与根据第一到第三方面的图像处理设备一样，通过将噪声添加到模糊目标区域可以减小模糊处理后的图像的噪声量差异，从而可以创建具有自然纹理的模糊增强图像。

为了实现上述目标，本发明的第九方面提供了一种图像处理方法，包括：基准图像获取步骤，用于获取被摄体的基准图像；平坦度检测步骤，用于检测所获取的基准图像的平坦度；模糊量设置步骤，用于根据检测到的平坦度来设置基准图像的模糊目标区域中的模糊量；以及模糊处理步骤，用于采用设置的模糊量来处理将被模糊的模糊目标区域。

根据本发明的第九方面的图像处理方法对应于根据第四方面的上述图像处理设备。与根据第四方面的图像处理设备一样，模糊量根据基准图像的每个像素的平坦度来设置。

在根据第九方面的图像处理方法中，模糊量设置步骤可将未考虑基准图像的平坦度的情况下的模糊量乘以取决于检测到的平坦度的系数，以设置模糊量。

根据第九方面的图像处理方法可进一步包括：噪声量确定步骤，用于根据基准图像的成像灵敏度来确定噪声量；噪声添加步骤，用于添加根据所述成像灵敏度确定的噪声量。

为了实现上述目标，本发明的第十方面提供了图像处理方法，包括：基准图像获取步骤，用于获取被摄体的基准图像；模糊量设置步骤，用于对基准图像设置模糊量；模糊图像创建步骤，用于利用设置的模糊量来对所获取的基准图像施加模糊处理滤波，以生成模糊图像，被创建的模糊图像的噪声取决于模糊处理滤波的特性而减少；差异计算步骤，用于针对所获取的基准图像来计算所获取的基准图像与生成的模糊图像之间的差异值；以及合并图像生成步骤，用于根据计算出的差异值来对基准图像和模糊图像进行加权并相加，以生成合并图像。

根据本发明的第十方面的图像处理方法对应于根据第五方面的上述图像处理设备。与根据第五方面的图像处理设备一样，通过对基准图像和具有减小的噪声的模糊图像进行加权并相加，使得在合并图像中的噪声均匀。因而，可以减小在模糊部分和其他部分中的噪声量之间的差异，并且能够创建具有自然纹理的模糊增强图像。

在根据所述第十方面的图像处理方法中，如果计算出的差异值在规定范围内，则合并图像生成步骤可以设置这样的权重：该权重使得差异值越小，则基准图像的权重越大而模糊图像的权重越小；并且可以设置这样的权重：该权重使得差异值越大，则基准图像的权重越小而模糊图像的权重越大。

根据第十方面的图像处理方法可进一步包括：噪声量确定步骤，用于根据基准图像的成像灵敏度来确定噪声量；噪声添加步骤，用于添加根据成像灵敏度确定的噪声量。

与根据第一到第五方面的图像处理设备一样，根据第六到第十方面的图像处理方法可包括：聚焦包围成像步骤；对应点检测步骤；以及图像变换步骤。

根据第六到第十方面的图像处理方法以区域为单位执行诸如噪声量确定之类的处理。或者，可以以一个像素为单位或者以各自包括多个像素的多个图像块为单位来执行这些处理。

为了实现上述目标，根据本发明的第十一方面的图像处理程序使图像处理设备执行根据第六到第十方面中任意一个方面的图像处理方法。根据第十一方面的图像处理程序可以嵌入在诸如数字相机之类的成像设备中。或者，该程序可被用作个人计算机（PC）等的图像处理和编辑软件。此外，根据本发明的第十二方面的记录介质在其中记录了使图像处理设备执行根据第六到第十方面中任意一个方面的图像处理方法的程序的计算机可读代码。不仅数字相机或PC的ROM或RAM，而且CD、DVD、BD、HDD、诸如SSD或各类存储卡的非临时性半导体记录介质、或磁光记录介质都可以用作第十二方面的记录介质的示例。

{发明的有益效果}

如上所述，根据本发明的图像处理设备和方法以及程序能够减小在模糊部分和其他部分中的噪声量之间的差异，并创建具有自然纹理的模糊增强图像。

附图说明

图1是示出根据本发明的第一实施例的成像设备10的配置的框图。

图2是示出根据本发明的第一实施例的图像处理的概况的示意图。

图3是示出根据本发明的第一实施例的图像处理的步骤的流程图。

图4是示出噪声提取处理的示例的流程图。

图5是示出噪声添加处理的示例的流程图。

图6是示出模糊度和噪声的系数之间的关系的示例的示意图。

图7是示出根据本发明的第二实施例的图像处理的概况的示意图。

图8是示出根据本发明的第二实施例的图像处理的步骤的流程图。

图9是示出添加基于噪声模型的噪声的示例的流程图。

图10是根据本发明的第三实施例的图像处理的概况的示意图。

图11是根据本发明的第三实施例的图像处理的步骤的流程图。

图12是示出关注像素的平坦度与模糊增强强度的系数之间的关系的示意图。

图13是示出根据本发明的第四实施例的图像处理的概况的示意图。

图14是示出根据本发明的第四实施例的图像处理的步骤的流程图。

图15是示出基准图像和模糊增强图像之间的差异与用于图像合并的加权系数之间的关系的示意图。

具体实施方式

用于实施根据本发明的图像处理设备和方法以及程序的实施例通过参考附图在下文中进行详细描述。

{成像设备的配置}

图1是示出根据本发明的第一实施例的成像设备10的实施例的框图。通过中央处理单元（CPU）40整体控制整个成像设备10的操作。CPU40的操作所需的程序（包括用于后续提及的模糊处理或噪声添加处理的程序）以及参数被存储在EEPROM（电可擦除可编程只读存储器）46中。

成像设备10具有操作单元38，例如快门释放按钮、模式盘、回放按钮、菜单/确认键、方向键、后退键等。来自操作单元38的信号被输入到CPU40。如后续描述的，CPU40基于该输入信号控制成像设备10中的每个电路。

快门释放按钮是用于发出开始成像的指令的操作按钮，该快门释放按钮包括两步程开关，该开关具有半按时导通的S1开关和全按时导通的S2开关。模式盘是用于选择静止/移动成像模式、手动/自动成像模式、成像场景等的部件。此外，可设置成像灵敏度（例如，ISO100、400、800、1600等）。

回放按钮是用于将模式切换到在液晶监视器30上显示已拍摄或录制的静止图像或移动图像的回放模式的按钮。菜单/确认键具有发出在液晶监视器30的屏幕上显示菜单的指令的功能以及发出确定并执行选择的指令的功能。方向键是在四个方向上（垂直和水平方向）输入指令的操作单元，并且在回放模式等期间起到光标移动操作部件、缩放切换、帧前进按钮的作用。后退键用于删除诸如被选择的项目之类的期望对象、取消指示的详情、或返回前面的操作状态。这些按钮和键例如在用户指定模糊度的情况下可用于模糊处理和噪声添加处理所需的操作。

在成像模式下，表示被摄体的图像光通过成像透镜12和光圈14被图像形成（image-formed）在固态图像拾取元件（在下文中，称之为“CCD”）的光接收表面上。成像透镜12包括聚焦透镜和变焦透镜，成像透镜12被由CPU40控制的透镜驱动器36驱动，并且被进行聚焦控制、变焦控制等。

透镜驱动器36根据来自CPU40的指令在光轴方向上移动聚焦透镜以改变焦点位置。透镜驱动器36根据来自CPU40的指令在光轴方向上向前和向后移动变焦透镜以改变焦距。

CPU40通过光圈驱动器34控制光圈14、通过CCD控制器32控制CCD16中的电荷存储时间（快门速度）、并且执行对从CCD16读取图像信号的控制。根据基于由CCD控制器32施加的读取信号的信号电荷，存储在CCD16中的信号电荷被读取为电压信号，并被施加到模拟信号处理器20。

模拟信号处理器20根据相关双采样处理针对从CCD16输出的电压信号来从每个像素采样保持R、G和B信号，对这些信号进行放大并随后将这些信号添加到A/D转换器21。A/D转换器21连续将输入的模拟R、G和B信号转换为数字R、G和B信号，并将这些信号输出到图像输入控制器22。

数字信号处理器24对经由图像输入控制器22输入的数字图像信号执行包括补偿处理、白平衡校正以及灵敏度校正在内规定的信号处理，例如增益控制处理、伽马校正处理、YC处理。

由数字信号处理器24处理的图像数据被输入到VRAM50。VRAM50包括A区域和B区域，每个区域存储表示图像的一帧的图像数据。表示一帧的图像数据被交替地在A区域和B区域之间重写。写入的图像数据从不同于图像数据正被写入的区域的另一区域中读取。从VRAM50中读取的图像数据被视频编码器28编码，并被输出到液晶监视器30，从而使被摄体图像显示在液晶监视器30上。

在操作单元38的快门释放按钮的第一级按下（半按）的情况下，CPU40开始AF操作和AE操作，并通过透镜驱动器36对成像透镜12执行自动对焦控制。在快门释放按钮被半按时从A/D转换器21输出的图像数据被AE检测器44捕捉。

CPU40根据来自AE检测器44的G信号的积分值来计算被摄体的亮度（成像Ev值），基于该成像Ev值确定光圈14的光圈值以及CCD16的电子快门（快门速度），并基于确定结果控制光圈14以及CCD16的电荷存储时间。

AF处理器42是用于执行对比度AF处理和相位AF处理的部件。在执行对比度AF处理的情况下，控制成像透镜12中的聚焦透镜，以使得通过对规定聚焦区域中的图像数据的高频分量进行积分而计算出的表示了聚焦状态的AF评价值最大化。在执行相位差AF处理的情况下，控制成像透镜12中的聚焦透镜，使得根据图像数据中规定聚焦区域中的主像素和子像素的图像数据之间的相位差而获取的散焦量变为0。

当AE操作和AF操作完成并且之后执行第二级按下（全按）时，响应于该按下，从图像输入控制器22将A/D转换器21所输出的图像数据输入到存储器（SDRAM）48，并临时存储在其中。

在将数据临时存储在存储器48中之后，通过在数字信号处理器24中的诸如YC处理之类的信号处理以及在压缩和解压处理器26中的压缩处理等，将图像文件生成为JPEG（联合图像专家组）格式等。图像文件被介质控制器52读取并被记录在存储卡54中。可以通过对操作单元38的回放按钮的操作来回放记录在存储卡54中的图像并将它们显示在液晶监视器30上。

[本发明的图像处理]

<第一实施例>

下面，描述根据本发明的第一实施例的图像处理。图2是示出根据本发明的图像处理的第一实施例的示意图。此处，如图2的示例，考虑的是人物靠着背景站立并且对背景执行模糊处理的情况。图3是示出这种情况下图像处理步骤的流程图。图3中示出的步骤被大致分为五个阶段，包括：（1）聚焦包围成像（直到S106；图2的（a））；（2）创建距离图像（直到S116；图2的（b）至（d））；（3）基于距离图像的模糊处理（直到S118；图2的（e））；（4）提取噪声（S120；图2的（f））；以及（5）添加噪声（S122；图2的（f））。下文描述各个阶段中的处理。

（1）聚焦包围成像

在S100，当处理开始时，确定针对聚焦包围成像所包括的规定次数成像的每一次成像的焦点位置和基准焦点位置。在S102，CPU40移动透镜12以聚焦在第一焦点位置上。在S104，拍摄图像。如果成像次数未达到规定次数（S106为否），则处理返回到S102并且移动透镜12以聚焦在下一个焦点位置上，并重复成像。如果成像次数达到规定次数（S106为是），则处理前进到S108以创建距离图像。

（2）创建距离图像

在S108，将直到S106的成像所获取的多个图像之中的在S100所确定的基准焦点位置处拍摄的图像设置为基准图像I₀。下一步，处理前进到S110，将不同于基准图像I₀的另一图像选择作为非基准图像I₁。在S112，对准非基准图像I₁。执行这种对准是因为可能存在通过聚焦包围拍摄的图像之间成像时机略微不同而导致视角偏离的情况。这样执行对准：首先提取基准图像I₀的特征点；在非基准图像I₁中检测对应于该特征点的对应点；变换非基准图像I₁使得对应点重叠在特征点上，从而创建变换图像I₁'。对所有非基准图像I₁执行该过程（在S114为否的情况下），从而完成对准（S114为是），处理前进到S116并且根据基准图像I₀和变换图像I₁'创建距离图像I₂。

距离图像I₂可利用各种技术生成。例如，可使用日本专利申请公开第2010-20758号中公开的方法。更具体地，如日本专利申请公开第2010-20758中第一实施例描述的，计算创建距离图像所根据的多个图像的多个像素的每一个的锐度，针对每个像素计算第一基准值，该第一基准值表示多个图像中具有最高锐度的图像，基于该像素周围的各像素的第一基准值来对计算出的第一基准值进行空间平滑以计算第二基准值，并且基于计算出的第二基准值对多个图像中的至少一个执行图像处理，从而使得表示聚焦分布的各第二基准值之间的连接平滑化。由此，可获取第二基准值分布图，即，距离图像。如日本专利申请公开第2010-20758中第二实施例描述的，第一基准值未被表示为具有最高锐度的图像编号的标量值。相反，可将第一基准值表示为二维矢量（锐度矢量），在二维矢量中锐度被额外地提供有标量值，可以在考虑锐度的大小来执行平滑化，由此获取第二基准值的分布图，即，距离图像。

在图2的（d）的示意图中，距离图像I₂以两种颜色表示，即，黑色（前景）和白色（背景）。然而，距离图像I₂不必限于二值图像。

（3）模糊处理

在S118，基于在直到S116所创建的距离图像I₂中所包括的距离信息来针对基准图像I₀执行模糊处理。该模糊处理可采用不同滤波。此处，使用由下列表达式表示的高斯滤波。

[表达式1]f(x)=(2πσ²)^-1/2×exp(-x²/(2σ²))

在以上表达式中，σ表示由模糊处理导致的模糊增强度。σ越低，模糊增强度越低。σ越高，模糊增强度越高。不同尺寸（即，3×3、5×5）的核函数等可被用于施加该高斯滤波。施加该高斯滤波，并且基于距离信息对基准图像I₀执行模糊处理以生成模糊图像I₀'。例如，在具有小距离的像素上，将高斯滤波的σ设置为小，从而使得模糊增强度为小。在具有大距离的像素上，将σ设置为大，从而使得模糊增强度为大。

在模糊处理中需注意，图像中的哪部分被模糊到什么程度被记录为模糊信息，然后被用到后面提及的添加噪声的情况（图3中的S122和图5中的S300到S308）。该模糊信息表示向每个像素施加了什么样的模糊量强度。如果使用由前述表达式表示的高斯滤波执行模糊处理，则可以认为表达式中的σ是模糊度。该σ被记录为针对每个像素的模糊信息。

直到S118的处理根据用于模糊处理的滤波的特性（上述示例中高斯滤波的σ值的大小）来对基准图像I₀的背景部分进行模糊。在背景部分中，包括在原始基准图像I₀中的噪声由于模糊处理而减少。相反，没有执行模糊处理（或进行了很小程度的模糊处理）的人物区域中的噪声未被减少。为了减小执行了模糊处理的区域与未执行模糊处理的区域中的噪声之间的差异，在本发明的图像处理中执行下面的噪声提取和噪声添加。

（4）提取噪声

在S120，从基准图像I₀（将要进行模糊处理的图像）提取噪声分量。可以采用各种方法执行该噪声分量的提取。例如，图4的流程图中所示的技术。根据图4的示例，在S200，生成通过对基准图像I₀施加平滑滤波获取的平滑图像。在S202，获取基准图像I₀与平滑图像之间的差异，以提取基准图像I₀的高频分量。考虑到高频分量不仅包括噪声，而且还包括实际信号，为了从高频分量提取噪声分量，可确定高频分量中具有小数值的部分为噪声。在该实施例中，在S206，对高频分量执行边沿检测，并且基于边沿检测结果提取噪声。

更具体而言，将HPF（高通滤波）施加至在水平方向、垂直方向、右上倾斜方向、左上倾斜方向上包括高频分量的高频图像的关注像素。例如，使用[-1:2:-1]一维滤波。HPF在各个方向上的输出值的绝对值Hh、Hv、Hne、Hnw之中具有最高数值的那个被认为是Hmax。

Hmax值的大小表示边沿度（每个像素接近边沿的程度）。将该Hmax与阈值hpf_th1相互比较，并且，

（A）如果Hmax>hpf_th1，则确定该关注像素属于边沿部分，而，

（B）如果Hmax<hpf_th1，则确定该关注像素是噪声，并且生成具有与基准图像I₀相同尺寸的噪声图像I_n。

（5）添加噪声

在图4的示例中所示的处理生成了噪声图像I_n之后，在图3的S122，执行向模糊图像I₀'添加所生成的噪声的处理。在这种情况下，只需要向已经被利用模糊处理进行了模糊的区域添加噪声。因此，基于在模糊处理（图3中S118）中记录的模糊信息（高斯滤波的σ）来添加噪声。

图5的流程图中示出了在S122中的噪声添加处理的细节。首先，在S300，在模糊图像I₀'中设置将被处理的像素（关注像素）。在S302，从模糊处理期间所记录的模糊信息读取针对模糊图像I₀'中的关注像素的模糊增强度σ。如果读取的σ至少是阈值sigma_th（304为是），则在执行模糊处理的同时减小该像素处的噪声。因此，处理前进到S306，并且将所生成的噪声图像中的相应像素的值（即，噪声量）添加到该关注像素。处理前进到S308。如果在S302读取的σ小于阈值sigma_th（304为否），则不添加噪声并且处理前进到S306。将另一个像素设置为关注像素，并且重复这些处理（S308为否期间）。如果所有像素都已经被处理（S308为是），则噪声添加处理完成。由此，获取加噪图像I₃。

在噪声添加期间，优选地，可根据读取的σ值改变将被添加的噪声量。例如，假设关注像素的像素值是p并且噪声量是n，正如(p+α×n)所示，噪声n乘以取决于σ的系数α（=G(σ)）(α=0.0至1.0)，以获取像素值。σ和α之间的关系的示例在图6中示出。

在图像处理中，优选地，将被添加到模糊图像的噪声量根据由模式设置盘设置的成像灵敏度来被调整。

如上所述，在第一个实施例中，根据模糊处理的强度σ来将从基准图像I₀提取的噪声添加到模糊图像I₀'中的模糊处理区域。因此，减小了在已执行模糊处理的区域中的噪声量和未执行模糊处理的区域中的噪声量之间的差异，从而允许创建具有自然纹理的模糊增强图像。

<第二实施例>

下面，描述根据第二实施例的图像处理。图7是示出根据本发明的图像处理的第二实施例的示意图。与图2中的示例一样，考虑人物靠着背景站立并且对背景执行模糊处理的情况。图8是示出这种情况下的图像处理的流程图。在图8中示出的图像处理的步骤中，聚焦包围成像（直到S406；图7的（a））、距离图像的创建（直到S416；图7的（b）至（d））、以及基于该距离图像的模糊处理（直到S418；图7的（e））与描述第一实施例使用的前述图3的流程图中的处理相似。因此，省略其描述。在下文中，详细描述模型噪声计算（S420；图7的（f））和噪声添加处理（S422；图7的（f））。在第一实施例中，从基准图像提取噪声，并且将该噪声添加到模糊图像。然而，在第二实施例中，不执行噪声提取。替换地，根据成像设备10中的噪声传播模型来预估噪声量，并添加到模糊图像。

（1）模型噪声计算

与第一实施例一样，在第二实施例中，如果模糊图像中的关注像素的σ至少是阈值sigma_th，则考虑在该像素处执行了模糊处理并且同时减小了噪声。如果该条件满足，可将噪声n添加到关注像素的值p。

在该第二实施例中，根据成像设备10中的噪声出现和传播模型来预估噪声量n。通常，出现在诸如CCD的图像传感器中的噪声量取决于光电二极管中的光接收量。因为光电二极管中的光接收量是图像的像素值，所以噪声量n被认为是基准图像I₀中的像素值v的函数(n(v))。出现在诸如CCD的图像传感器中的噪声的特性在每次经历“成像设备的配置”部分中所描述的每个不同的信号处理时发生变化。因此，认为针对像素值v的噪声量n（v）在信号处理之后变成n'(v)。

由此将根据基准图像I0的像素值预估的噪声量n'(v)添加到模糊图像I₀'的关注像素p，以创建加噪图像I₃。此处，优选地，将噪声n乘以取决于σ的系数α（=G(σ)）(α=0.0至1.0)，例如(p+α×n)，以获取像素值。

（2）添加噪声

在直到S420的处理生成噪声图像I_n'之后，执行图8的S422中将所生成的噪声添加到模糊图像I₀'的处理。该处理在图9的流程图中示出。图9的流程图中的S500到S504以及S508的处理与图5中所示流程图的S300到S304以及S308相似。因此，省略详细的描述。如果在直到S504的步骤中确定了σ至少是阈值sigma_th，则处理前进到S506并且将根据模型预估的噪声添加到关注像素，并且之后处理前进到S508。如果在S502读取的σ小于阈值sigma_th（S504为否），则不添加噪声并且处理前进到S506。将另一个像素设置为关注像素并重复这些处理（在508为否期间）。如果所有像素已经被处理（S508为是），则噪声添加处理完成。由此，获得加噪图像I₃。

在前述第二实施例中，基于模型预估噪声并添加该噪声，这可以如第一实施例一样减小由于模糊处理造成的噪声量之间的差异，并且创建具有自然纹理的模糊增强图像。此外，使用了基于噪声传播的模型噪声，这可以消除提取噪声的需求，简化处理，从而允许高速执行处理。在第二实施例中同样需要注意，与第一实施例一样，优选地，添加到模糊图像的噪声量根据通过模式设置盘设置的成像灵敏度来被调整。

<第三实施例>

下面，描述根据本发明的第三实施例的图像处理。图10是示出本发明的图像处理的第三实施例的示意图。与第一和第二实施例一样，考虑人物靠着背景站立并且对背景执行模糊处理的情况。图11是示出这种情况下图像处理步骤的流程图。图11的流程图中的聚焦包围处理（S600到S606；图10的（a））和距离图像生成处理（S608到S616；图10的(b)至(d)）与根据图3所示的第一实施例的流程图的聚焦包围处理（S100到S106）和距离图像生成处理（S108到S116）相似。因此，省略详细的描述。替换地，描述基于第三实施例的特定处理，即，平坦部分检测（S618；图10的（e））以及模糊增强处理（S620；图10的（f））。

噪声量差异（即本发明所要解决的问题）特别在平坦部分可见地凸显。此外，不管是否在平坦部分上增强模糊，在外观上都不存在很大的差异。因此，对图像质量的不利影响很小。因此，在第三实施例中，对平坦部分不增强模糊或模糊增强度较弱，从而减少平坦部分上噪声量的不均匀。在第三实施例中需要注意，不添加噪声本身，这与根据第一和第二实施例的图像处理方法不同。替换地，对模糊量的设置根据图像各部分的特性而变化。该变化对由于模糊处理而造成的噪声减小程度进行调整，并且在由此产生的模糊增强图像中使得噪声均匀。

（1）平坦部分检测

在S618，检测基准图像中的平坦部分。可以通过任意的不同技术来检测平坦部分。此处，通过像素值的方差值Var来测量平坦部分的程度。提供了以关注像素为中心的具有预定大小的操作窗口。基于在该窗口中的所有像素的像素值来计算方差值Var。如果方差值小，则该部分为平坦部分。如果方差值大，则该部分为边沿部分。

（2）模糊增强处理

在S620，基于平坦部分检测结果执行模糊增强处理。在基准图像的规定像素被认为是关注像素的情况下，在未考虑平坦部分检测时根据距离图像确定的对关注像素的模糊增强强度被定义为σ1。该强度乘以基于关注像素的平坦度（方差值Var）的系数β(Var)（β=0.0至1.0），由此最终计算出模糊增强强度σ2。即，σ2=β(Var)×σ1。

图12示出了β(Var)的示例。在该示例中，当Var为小时，即，在平坦部分中，β为小并且最终模糊增强强度σ2不大。相反，当Var为大时，即，在边沿部分时，β为大并且最终模糊增强强度σ2为大。

如上所述，根据第三实施例的图像处理方法根据平坦度设置模糊量。因此，可以获取具有带有均匀噪声量的自然纹理的模糊增强图像。此外，不需要如第一实施例和第二实施例的噪声提取、预估以及添加，简化了处理，从而允许高速执行处理。在第三实施例中同样需注意，与第一和第二实施例一样，优选地，根据通过模式设置盘设置的成像灵敏度来调整将被添加到模糊图像的噪声量。

<第四实施例>

下面，描述根据本发明的第四实施例的图像处理。图13是示出根据本发明的图像处理的第四实施例的示意图。与第一至第三实施例一样，考虑人物靠着背景站立并且对背景执行模糊处理的情况。图14是示出这种情况下图像处理步骤的流程图。在图14示出的流程图中，聚焦包围处理（S700到S706）和距离图像生成处理（S708到S716）与根据图3所示的第一实施例的流程图的聚焦包围处理（S100到S106）和距离图像生成处理（S108到S116）相似。因此，省略详细的描述。描述第四实施例特有的基于差异图像的差异处理（图11中S720）以及图像合并处理（S722）。

（1）差异处理

首先，在S720中，在基准图像I₀以及模糊增强图像I₀'中计算每个像素的差异值（的绝对值）以获取差异图像I₄。差异值（的绝对值）为大的部分是被利用模糊增强处理进行了较大模糊增强并且其噪声被大大减小的部分。相反，差异值为小的部分是未被模糊增强或模糊增强度较弱的部分。此外，平坦部分上的差异值也小。这些部分是目前未减小噪声的部分。

（2）图像合并处理

随后，在S722，基于作为S720中差异处理的结果获取的差异值，合并基准图像I₀和模糊增强图像I₀'。噪声量的差异在平坦部分尤其可见地凸显。因此，优选地，在增强基准图像的同时执行针对平坦部分的合并。使用了在平坦部分和未被模糊增强区域中的差异值较小的特性，基准图像和模糊增强图像之间的融合率（blendrate，合并的权重）针对每个像素来根据差异值的大小而发生变化。

如果定义基准图像的像素值为p（x，y），定义模糊增强图像的像素值为q（x，y），定义差异值为d（x，y），定义合并图像的像素值为r（x，y），则通过下列表达式2执行合并以产生合并图像I₃。

[表达式2]r(x,y)=w(d(x,y))×p(x,y)+[1-w(d(x,y))]×q(x,y)

其中w（d）是取决于差异值d的融合率（权重）。例如，可以实现如图15的特性。在图15中，在差异值的中间部分（图的右下部分）中，差异值d越大，权重w越小。在该部分以外的部分中，w的值恒定而与d值无关。需注意，d和w之间的关系不限于图15的示例。

根据第一和第二实施例的图像处理将噪声添加到模糊处理所生成的图像，从而使噪声均匀。不同于该处理，根据第四实施例的图像处理对包括一定噪声量的基准图像和具有减小了的噪声的模糊图像进行加权和相加，从而使合并图像中的噪声均匀。因此，根据第四方面的图像处理可减小在模糊部分中的噪声量和其他部分中的噪声量之间的差异，并创建具有自然纹理的模糊增强图像。此外，不需要和第一和第二实施例一样的噪声提取、预估以及添加。简化了处理，从而允许高速执行处理。

在第四实施例中同样需要注意，与第一到第三实施例一样，优选地，添加到模糊图像的噪声量根据由模式设置盘设置的成像灵敏度而被调整。

前述第一到第四实施例对每个像素执行模糊处理以及提取、预估和添加噪声等处理。或者，以区域为单位或以构成区域的每个部分为单位或以包括多个像素的像素块为单位来执行这些处理。

此外，在前述第一到第四实施例中已描述，执行图像处理的设备是成像设备10。然而，根据本发明的图像处理不限于由成像设备执行。替换地，该处理可由具有摄像头的手机、个人计算机（PC）等执行。

本发明使用实施例描述如上。然而，本发明的技术范围不限于在实施例中描述的范围。对本领域技术人员显而易见的是，可对实施例应用不同的修改和改进。从权利要求的描述中，显而易见的是，经过这种修改或改进的模式同样包含在本发明的技术范围内。

未通过使用“之前”、“随后”等具体限定权利要求、说明书和附图中所描述的在设备、系统、程序和方法中的操作、过程、步骤和阶段的执行顺序。应当注意到的是，实施方式可以通过任意顺序完成，除非在后处理中使用了在前处理的输出。即使为了便于描述而使用“首先”以及“下一步”描述权利要求、说明书以及附图中的操作流程，该描述也不意味着必须根据该顺序执行。

{参考标记列表}

10…成像设备；30…液晶监视器；38…操作单元；40…CPU；46…EEPROM；48…存储器；54…存储卡；I₀…基准图像；I₀'.…模糊图像；I₁…非基准图像；I₂…距离图像；I₃…加噪图像；I_n,I_n'…噪声图像。

Claims

1.一种图像处理设备，包括：

基准图像获取装置，其用于获取被摄体的基准图像；

模糊量设置装置，其用于设置针对所述基准图像的模糊量；

模糊图像创建装置，其利用所设置的模糊量来对所获取的基准图像施加模糊处理滤波，以生成模糊图像，所创建的模糊图像的噪声取决于所述模糊处理滤波的特性而减小；

差异计算装置，其针对所获取的基准图像来计算所获取的基准图像与所述生成的模糊图像之间的差异值；以及

合并图像生成装置，其用于根据所计算出的差异值来对所述基准图像和所述模糊图像进行加权和相加，以生成合并图像,

其中如果所计算出的差异值在规定范围内，

则所述合并图像生成装置设置这样的权重：该权重使得所述差异值越小，则所述基准图像的权重越大而所述模糊图像的权重越小，并且

设置这样的权重：该权重使得所述差异值越大，则所述基准图像的权重越小而所述模糊图像的权重越大。

2.根据权利要求1所述的图像处理设备，进一步包括：

噪声量确定装置，其用于根据所述基准图像的成像灵敏度来确定噪声量，以及

噪声添加装置，其用于添加根据所述成像灵敏度确定的噪声量。

3.一种图像处理方法，包括：

基准图像获取步骤，用于获取被摄体的基准图像；

模糊量设置步骤，用于对所述基准图像设置模糊量；

模糊图像创建步骤，用于利用所设置的模糊量来对所获取的基准图像施加模糊处理滤波，以生成模糊图像，所创建的模糊图像的噪声取决于所述模糊处理滤波的特性而减小；

差异计算步骤，用于针对所获取的基准图像来计算所获取的基准图像与所生成的模糊图像之间的差异值；以及

合并图像生成步骤，用于根据计算出的差异值来对所述基准图像和所述模糊图像进行加权并相加，以生成合并图像,

其中如果计算出的差异值在规定范围内，

则所述合并图像生成步骤设置这样的权重：该权重使得所述差异值越小，则所述基准图像的权重越大而所述模糊图像的权重越小，并且

4.根据权利要求3所述的图像处理方法，进一步包括：

噪声量确定步骤，用于根据所述基准图像的成像灵敏度来确定噪声量；以及

噪声添加步骤，用于添加根据所述成像灵敏度确定的噪声量。