CN102842110A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明公开了图像处理设备及图像处理方法。该图像处理设备包括：图像获取器，用于获取图像；场深度计算器，用于基于由所述图像获取器获取的图像的附属信息计算代表所述图像的场深度的估计值；图像分割器，用于将所述图像分割成多个评价区域；以及模糊评价器，用于检测由所述图像分割器分割成的每个评价区域中的散焦模糊或移动造成的模糊，执行用于计算用于评价散焦模糊或相机/对象移动造成的模糊的程度的评价值的模糊评价，以及基于场深度的估计值来根据各评价区域的评价值计算所述图像的评价值。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及图像处理设备和图像处理方法，该图像处理方法判断包含相机/对象移动引起的模糊和/或散焦模糊（下文中可以将这些模糊简称为模糊）的图像是其中模糊是由用户（拍摄者）有意造成的成功图像还是失败图像。

背景技术

存在着许多这样的情况，即用户期望从利用数码相机等成像设备拍摄的大量图像中优先选择不包含模糊的成功图像。然而，由于一些图像包含由用户有意造成的模糊，因此，用户难以判断包含模糊的图像是其中模糊是由用户有意造成的成功图像还是失败图像（模糊图像）。

在这点上，JP 2006-217472A描述了一种图像产生方法，该方法用于对对象进行成像以产生图像数据、基于在拍摄时使用的拍摄条件判断该图像数据是否包含可能在拍摄时发生的相机/对象移动所导致的模糊、以及与图像数据相关联地存储判断结果信息。JP2006-217472A还描述了当图像数据是模糊图像数据时基于移动造成的模糊信息校正模糊图像数据中包含的移动造成的模糊。

JP 3797346B描述了一种图像处理设备，该图像处理设备用于实现当从光圈值信息获取的光圈值由用户手动设置且不小于给定值时的清晰度调节比在标准拍摄条件下设置光圈值时的清晰度调节更高，其中，该设备根据操作模式信息判断是否进行用于调节图像数据的清晰度的图像调节，并且当做出实现图像调节的判断结果时，该设备基于光圈值信息和镜头焦距信息来确定清晰度调节的程度。

JP 2005-122688A描述了一种图像处理方法，该方法判断数字照片图像是否具有小的场深度、设置用于利用代表被判断为具有小的场深度的数字照片图像的主对象区域的图像来校正散焦模糊的参数、设置用于利用数字照片图像的除主对象区域之外的整个区域来校正模糊的参数、以及利用这些设置参数校正所述数字照片图像中的散焦模糊。

发明内容

根据JP 2006-217472A中描述的方法，为了在拍摄后判断获取的图像的图像数据是否是包含移动造成的模糊的模糊图像数据，需要在拍摄时预先判断该图像是否会包含移动造成的模糊，并且需要与图像数据相关联地存储判断结果信息。此外，JP 2006-217472A中描述的方法不能判断图像是包含由用户有意造成的模糊的成功图像还是失败图像。

JP 3797346B中描述的设备需要用于判断是否进行用于调节图像数据的清晰度的图像调节的操作模式信息。JP 3797346B中描述的设备进行清晰度调节但不进行关于图像中的模糊的判断，从而不能判断图像是包含由用户有意造成的模糊的成功图像还是失败图像。

JP 2005-122688A中描述的方法校正具有小的场深度的数字照片图像中的散焦模糊，但不判断图像是包含由用户有意造成的模糊的成功图像还是失败图像。

在仅对象聚焦而前景和/或背景散焦的情况下，大量用户会发现图像的吸引力。此外，根据所使用的镜头，首先难以获取整个区域都聚焦的图像。如果在评价图像时仅使用图像的像素信息来检测该图像中的模糊，则用户有意造成的模糊和由于使用一些类型的镜头必然会造成的模糊也会导致差的图像等级，这将不能提供用户期望的评价。

本发明的一个目的是提供一种图像处理设备和一种图像处理方法，用于正确判断包含模糊的图像是其中模糊是由用户有意造成的成功图像还是失败图像。

为了实现上述目的，本发明的第一方面提供了一种图像处理设备，其包括：

图像获取器，用于获取图像；

场深度计算器，用于基于由所述图像获取器获取的图像的附属信息计算代表所述图像的场深度的估计值；

图像分割器，用于将所述图像分割成多个评价区域；以及

模糊评价器，用于检测由所述图像分割器分割成的每个评价区域中的散焦模糊或移动造成的模糊，执行用于计算用于评价散焦模糊或移动造成的模糊的程度的评价值的模糊评价，以及基于场深度的估计值来根据各评价区域的评价值计算所述图像的评价值。

此外，本发明的第二方面提供了一种图像处理方法，包括：

图像获取步骤，用于获取图像；

场深度计算步骤，用于基于在所述图像获取步骤中获取的图像的附属信息计算代表所述图像的场深度的估计值；

图像分割步骤，用于将所述图像分割成多个评价区域；以及

模糊评价步骤，用于检测在所述图像分割步骤中分割成的每个评价区域中的散焦模糊或移动造成的模糊，以执行用于计算用于评价散焦模糊或移动造成的模糊的程度的评价值的模糊评价，以及基于场深度的估计值来根据各评价区域的评价值计算所述图像的评价值。

此外，本发明的第三方面提供了一种图像处理设备，其包括：

图像获取器，用于获取图像；

场深度计算器，用于基于由所述图像获取器获取的图像的附属信息计算代表所述图像的场深度的估计值；

场深度判断单元，用于基于由所述场深度计算器计算出的场深度的估计值来判断所述图像的场深度是小于基准深度还是大于所述基准深度；以及

模糊评价器，在所述场深度判断单元判断出所述图像的场深度小于所述基准深度时，所述模糊评价器执行以下处理之一：

（A）不执行用于检测所述图像中的散焦模糊或移动造成的模糊、以及计算用于评价所述图像中的散焦模糊或移动造成的模糊的程度的评价值的模糊评价；

（B）针对从所述图像提取的特定区域执行模糊评价以及根据该特定区域的评价值计算所述图像的评价值；以及

（C）接收用户输入的评价值。

此外，本发明的第四方面提供了一种图像处理方法，包括：

图像获取步骤，用于获取图像；

场深度计算步骤，用于基于在所述图像获取步骤中获取的图像的附属信息计算代表所述图像的场深度的估计值；

场深度判断步骤，用于基于在所述场深度计算步骤中计算出的场深度的估计值来判断所述图像的场深度是小于基准深度还是大于所述基准深度；以及

模糊评价步骤，在所述场深度判断步骤中判断出所述图像的场深度小于所述基准深度时，所述模糊评价步骤执行以下处理之一：

（A）不执行用于检测所述图像中的散焦模糊或移动造成的模糊、以及计算用于评价所述图像中的散焦模糊或移动造成的模糊的程度的评价值的模糊评价；

（B）针对从所述图像提取的特定区域执行模糊评价以及根据该特定区域的评价值计算所述图像的评价值；以及

（C）接收用户输入的评价值。

本发明利用关于图像的附属信息使得能够针对包含模糊的图像是其中模糊是由用户有意造成的成功图像还是失败图像进行准确判断。此外，本发明通过将每个图像分割成多个评价区域并针对不同图像利用不同标准来基于场深度的估计值计算各个评价区域的评价值，使得能够在考虑了用户的意图、各图像的状态、各图像中的主要特征（诸如代表对象的区域）的情况下进行图像的评价。

附图说明

图1是示出根据本发明第一方面的图像处理设备的实施例的构造概念的框图。

图2是表示图1所示的图像处理设备的操作的第一实施例的流程图。

图3是图像的16个分割评价区域的示例。

图4是示出场深度和模糊图像之间的关系的曲线示例。

图5A和图5B示出了成功图像和失败图像的示例。

图6是表示图1所示的图像处理设备的操作的第二实施例的流程图。

图7A示出了包含对象的图像的示例；图7B示出了从图7A所示的图像提取的对象区域；以及图7C示出了从图7A所示的图像提取的背景。

图8是示出场深度和加权系数之间的关系示例的曲线图。

图9A和图9B分别示出了不包含模糊的图像和在包含焦点的区域中包含模糊的图像。

图10是示出根据本发明第三方面的图像处理设备的实施例的构造概念的框图。

图11是表示图10所示的图像处理设备的操作的第一示例的流程图。

图12是表示图10所示的图像处理设备的操作的第二示例的流程图。

图13是表示图10所示的图像处理设备的操作的第三示例的流程图。

图14是表示图10所示的图像处理设备的操作的第四示例的流程图。

图15A示出了图像的示例；图15B示出了无模糊的对象的面部区域；以及图15C示出了模糊的对象的面部区域。

具体实施方式

下面将参照附图所示的优选实施例详细描述本发明的图像处理设备和图像处理方法。

图1是示出根据本发明第一方面的图像处理设备的实施例的构造概念的框图。该图中所示的图像处理设备10A判断包含模糊的图像是其中模糊是用户有意造成的成功图像还是失败图像，并且该图像处理设备10A包括图像获取器12、场深度计算器14、图像分割器18A、模糊评价器20A、图像处理器22、存储器26、和监控器28。

图像获取器12获取将要进行模糊评价的图像（图像数据）。图像获取器12没有特别限制，只要其能够获取图像以及可以通过例如包括USB（通用串行总线）存储器、存储卡、光盘、或有线/无线网络的网络获取图像即可。由图像获取器12获取的图像存储在存储器26中。

场深度计算器14基于由图像获取器12获取的图像的附属信息计算代表该图像的场深度的估计值DV。

本文中的图像的附属信息包含各种信息，包括例如镜头焦距、光圈值（f数）、相机和对象间的距离（拍摄距离）、和快门速度。附属信息可以是与相应图像分离的文件，只要该附属信息与该图像相关联即可。可替换地，当以图像文件格式（例如Exif（可交换图像文件格式））记录利用例如数码相机拍摄的图像时，上述各种信息被记录为附属于拍摄图像数据的头部信息（Exif信息）。

场深度计算器14利用镜头焦距和光圈值（f数）作为图像的附属信息来利用以下的公式（1）计算场深度的估计值DV。随着场深度的估计值DV减小，场深度增加；随着DV增加，场深度减小。

场深度的估计值DV=镜头焦距/光圈值    （1）

利用大的场深度，在几乎任何场景中整个区域基本都聚焦，并且由于背景中的散焦模糊程度很小，因此在图像中看到的模糊有可能是由对象/相机移动或不良聚焦造成的。另一方面，当场深度很小时，较佳聚焦的范围减小，因此在图像中检测到的模糊可能是由用户利用用于使背景去焦的拍摄模式有意造成的模糊。

场深度的估计值DV不特别限于利用上述公式（1）计算的值；例如，可以将光圈值本身用作场深度的估计值DV。随着光圈值减小，场深度减小。可以利用拍摄距离来调节场深度的估计值DV。随着拍摄距离减小，场深度减小。考虑于此，可以进行调节以使得场深度的估计值DV随着拍摄距离减小而增加。

然而，可以利用镜头焦距和光圈值而不是利用光圈值自己来根据公式（1）更精确地计算场深度的估计值DV。此外，当光圈值自己被用作场深度的估计值DV，并且当利用镜头焦距和光圈值来根据公式（1）进行计算时，利用拍摄距离对场深度的估计值DV的调节使得能够进行更加精确的计算。

接下来，图像分割器18A将由图像获取器12获取的图像分割成多个评价区域。根据稍后描述的第一实施例，图像分割器18A将图像分割成对象区域和该对象区域以外的一个或多个区域。根据稍后描述的第二实施例，图像分割器18A将图像分割成多个区域，诸如分成4个、9个和16个区域。

此时，从图像中提取的对象区域中的对象可以是人或除人之外的其他物体，包括例如动物、植物、汽车、和建筑物。

模糊评价器20A检测由图像分割器18A将图像分割成的每个评价区域中的模糊，进行模糊评价以计算用于评价模糊程度的估计值，以及基于场深度的估计值DV针对不同的图像利用不同的标准来根据各评价区域的评价值计算图像的评价值，其中所述标准在第一实施例中是允许模糊区域的数量RV，而在第二实施例中是加权系数。

根据第一实施例，模糊评价器20A基于场深度的估计值DV确定允许模糊区域的数量RV，其代表被判断为模糊区域或失败区域的评价区域的最大允许数量，其中具有该数量的模糊区域或失败区域的图像还未被判断为模糊图像（失败图像），模糊评价器20A对各评价区域进行模糊评价以计算其估计值，并将其数量等于“评价区域的总数减去允许模糊区域的数量RV”的多个评价区域的评价值相加以获得其平均值，按照评价值的降序选择用于该加法的各评价区域，从而计算图像的评价值。

根据第二实施例，模糊评价器执行模糊评价以计算由图像分割器将图像分成的对象区域和一个或多个其他区域的评价值，以及基于场深度的估计值DV执行对象区域和一个或多个其他区域的评价值的加权加法，以计算图像的评价值。

根据图像（区域）中的模糊程度确定评价值。根据该实施例，评价值处于0至1的范围内。评价值在模糊程度相对较大时接近0，而在模糊程度相对较小时接近1。

随着光圈值减小，场深度减小。随着光圈值减小，其中图像呈现可接受清晰度的区域减小，从而模糊评价器20A给出较小的评价值。因此，优选地进行调节以使评价值随着光圈值减小而增加。

模糊评价器20A基于评价值判断图像（区域）是否是模糊图像（模糊区域）。当评价值小于给定基准值（例如0.3）时，模糊评价器20A将图像判断为模糊图像。

检测图像中的模糊的方法和计算用于评价图像中的模糊程度的评价值的方法不限于任何方式，只要能够评价图像中的模糊程度即可。例如，可以不通过检测图像中的模糊而是通过检测图像的清晰度并评价图像的清晰度的程度来进行模糊评价。

接下来，图像处理器22根据评价值按照升序或降序排列多个图像。这协助用户评价图像中的模糊，帮助用户优先选择不包含模糊或包含较少模糊的有利图像。

当模糊评价器20A将图像判断为模糊图像时，图像处理器22执行校正以减小图像中的模糊。校正图像中的模糊的方法不限于任何方式，而可以是任何已知的方法，诸如用于执行图像清晰度处理的方法。例如，可以利用这样的方法，其中图像被分成高频成分、中频成分、和低频成分，并且中频成分被抑制而高频成分被增强，以减小图像中的模糊。

存储器26可以是诸如硬盘的存储装置，并且存储由图像获取器12获取的图像。由图像获取器12获取的图像首先存储在存储器26中，存储器26将该图像提供给例如图像分割器18A和图像处理器22。存储器26还存储已由图像处理器22进行了校正从而减小了模糊的图像。存储在存储器26中的图像显示在监控器28上。

监控器28可以是例如液晶显示器并显示例如存储在存储器26中的图像，即由图像获取器12获取的图像、已由图像处理器22进行了校正从而减小了模糊的图像。

接下来，将参照图2所示的流程图描述其中利用根据本发明第二方面的图像处理方法对图像进行评价的图像处理设备10A的第一实施例的操作。

在图像处理设备10A中，图像获取器12首先获取用于进行模糊评价的图像。例如当获取了Exif图像文件格式的图像时，在步骤ST1中，从头部信息（Exif信息）获取镜头焦距和光圈值作为该图像的附属信息。图像获取器12获取的图像存储在存储器26中，该图像的附属信息被提供给场深度计算器14。

然后，在步骤ST2中，场深度计算器14利用作为由图像获取器12获取的图像的附属信息的镜头焦距和光圈值，来利用上述公式（1）计算该图像的场深度的估计值DV。

接下来，在步骤ST3中，模糊评价器20A基于场深度的估计值DV确定允许模糊区域的数量RV。

例如，可以使用表示场深度和允许模糊区域的数量RV之间的关系的LUT（查询表）来获得与场深度的估计值DV对应的允许模糊区域的数量RV。LUT中已经基于统计获得的随着场深度而变化的聚焦深度与图像呈现聚焦的范围之间的关系而预先定义了取决于场深度的允许模糊区域的数量与评价区域的总数的比值。

图4是示出场深度与模糊图像之间的关系示例的曲线图。该图在横轴上示出了场深度，在纵轴上示出了模糊区域的数量BN。在该曲线图示出的示例中，随着场深度的减小，允许模糊区域的数量RV（即，被判断为模糊区域的评价区域的最大允许数量，具有该数量的模糊区域的图像仍然不被判断为模糊图像）增加；相反，随着场深度增加，允许模糊区域的数量RV减小。

假设LUT定义了如曲线图所示的场深度和允许模糊区域的数量RV之间的关系，例如在基于场深度的估计值DV对图像的16个评价区域进行评价时，当有12个或更多个评价区域是模糊区域时，将该图像判断为模糊图像；当模糊区域的数量BN是11或更小时，不将该图像判断为模糊图像。在此情况中，允许模糊区域的数量RV为11。

接下来，在步骤ST4中，图像分割器18A将图像分割成多个区域，诸如4个、9个、和16个区域，并且在步骤ST5中，模糊评价器20A对各区域进行模糊评价以计算它们的评价值。此处，如图3所示，图像被分成四个水平行A至D和四个垂直列1至4，或被分成总共16个分区，并对各评价区域进行模糊评价。

然后在步骤ST5中，基于每个评价值来判断每个评价区域是否是模糊区域，以获得模糊区域的数量BN。例如，当区域的评价值小于0.3时，将该区域判断为模糊区域。

接下来，在步骤ST6中，将模糊区域的数量BN与允许模糊区域的数量RV进行比较。当模糊区域的数量BN小于允许模数区域的数量RV（即，例如图5A所示的11，其中以“BLUR”指示的评价区域是模糊区域，以“O”表示的评价区域是成功区域）时，将该图像判断为没有模糊的成功图像，而当数量BN大于数量RV时，即，例如当如图5B所示所有16个评价区域都是模糊区域时，则在步骤ST6中将该图像判断为模糊图像。

除了图像的模糊评价以外，在步骤ST7中，将数量等于“评价区域的总数减去允许模糊区域的数量RV”的多个评价区域的评价值相加，并获取其平均值，以计算图像的评价值，其中从最大评价值（最佳评价值）开始按照评价值的降序对用于该加法的评价区域进行选择。在图3至图5所示的情况中，将16-11=5个评价区域的评价值相加以获得平均值。

然后，图像处理器22对被判断为模糊图像的图像进行校正以较小模糊。校正后的图像存储在存储器26中，此后对多个图像重复同样的处理。在对给定数量的图像完成了该处理时，图像处理器22按照例如评价值的降序排列各图像，以将各图像显示在监控器28上。

可替换地，图像处理器22可以确保显示一个指示，以基于阈值BLt显示每个图像是否是模糊图像。在该实施例中，假设阈值BLt小于0.5。例如，当评价值小于0.3时，显示图像是模糊图像的指示。

当通过根据关于图像像素的信息检测模糊来对多个图像进行评价时，无法在包含例如相机移动模糊、对象移动模糊、和散焦模糊的失败图像与包含例如用户有意造成的背景中的散焦模糊的成功图像之间进行区分。因此，对背景中具有较大散焦模糊的图像给予较低的评价值，而不管模糊是否是有意造成的。然而，背景中的散焦模糊经常是用户喜欢的。

根据本发明，根据在拍摄图像时获取的图像的附属信息，对例如背景中包含散焦模糊的图像是其中模糊是用户有意造成的成功图像还是失败图像进行估计，以切换评价方法。从而，省去了对例如背景中具有用户有意造成的模糊的成功图像的不利评价，而是对其给出适当的评价，从而可以适当地协助用户从大量图像中优先选择成功图像而不是模糊图像。

根据本发明，图像被分成多个区域，并对各区域进行评价以确定该图像是否是模糊图像。此外，可以给出与该图像的场深度对应的评价值。更进一步，由于基于场深度的估计值DV针对不同图像利用不同的标准（允许模糊区域的数量RV）而产生各评价区域的评价值，因此可以考虑用户意图和各图像的状态进行评价。

现在，将参照图6的流程图描述根据第二实施例的图像处理设备10A的操作。

用于计算代表图像的场深度的估计值DV的步骤ST1至ST2与第一实施例中的相同。

接下来，在步骤ST8中，图像分割器18A将图像分割成对象区域和除对象区域之外的一个或多个区域，以在步骤ST9中对各区域进行模糊评价，从而产生评价值。

如图7A所示，例如，在步骤ST8中，从包含对象区域的图像中提取对象区域，图像被分割成图7B所示的对象区域和如图7C所示的除了对象区域以外的背景区域，以在步骤ST9中执行各区域的模糊评价。在此情况中，假设对象区域的评价值为0.9，而背景的评价值为0.6。

接下来，在步骤ST10中，基于场深度的估计值DV，对对象区域的评价值和背景区域的评价值进行加权并相加，来计算图像的评价值，以基于评价值判断图像是否是模糊图像。如图8所示，例如，获取预先根据场深度定义的对象区域和背景区域的加权系数，从而对对象区域和背景区域的评价值进行加权和组合。

图8是示出场深度与加权系数之间的关系的曲线示例。图8的曲线示出了横轴上的场深度和垂直轴上的加权系数。在该曲线中，对于大于一定程度的场深度，对象区域的加权系数与背景区域的加权系数相等；对于小于一定程度的场深度，对象区域的加权系数增加的同时背景区域的加权系数减小。

即使场深度被判断为大，但是当场深度仍然相对较小时，可以认为背景区域中的散焦模糊程度大于对象区域中的散焦模糊程度。因此，在将对象区域和背景区域的评价值进行组合时，为对象区域设置比背景区域大的权重（重要性）。在该图所示的示例中，对象区域的评价值0.9乘以加权系数0.7，而背景区域的评价值0.6乘以加权系数0.3，并对这些评价值进行组合。

另一方面，当场深度大于一定程度时，可以认为对象区域和背景区域二者中的散焦模糊程度降低。从而，由于对象区域和背景区域的重要性被看作基本相等，因此对这两个区域给予相等的权重来对这些评价值进行相加。在该图所示的示例中，对象区域的评价值0.9和背景区域的评价值0.6在相加前都乘以加权系数0.5。

图8的曲线代表了对象区域和另一区域这两个区域的场深度和加权系数之间的关系，但是本发明不限于此，而是可以应用于其中将图像分割成三个或更多个区域的情况。其中，例如，图像被分割成包含人物（主对象区域）、建筑物、和天空的三个区域，针对建筑物和天空的加权系数根据其与主对象区域的距离而减小。

图像分割器18A可以以包括已知方法的任何方式来从图像中检测对象区域。例如，可以使用诸如面部检测、人物检测、宠物检测、以及聚焦区检测的图像处理来确定对象区域，或者可以采用在自动聚焦中使用的关于焦点的信息来确定与用于聚焦为对象区域的焦点对应的区域。可替换地，用户可以选择对象区域。

在自动聚焦中将焦点放置在给定区域（图9A中以“+”表示的区域）上的情况中，例如，当放置了焦点的区域不模糊时，图像被判断为不包含模糊的图像，并且放置了焦点的区域被用作对象区域。另一方面，当放置了焦点的区域包含如图9B所示的移动模糊时，该图像被判断为模糊图像，并且放置了焦点的区域不被用作对象区域。

当图像包含确切的对象并且背景距离对象很远时，增大场深度可能避免不了背景模糊。

另一方面，如上所述单独评价对象区域和背景区域使得能够不使用户具有异常感觉而评价这样的图像。针对不同的图像利用不同的标准（加权系数）来基于场深度的估计值DV来计算对象区域和背景区域的评价值使得能够在考虑了用户的意愿、图像各自的状态、图像中的主要点（诸如对象区域）的情况下对图像进行评价。

此外，当场深度较小时，仅评价对象区域使得能够对于期望无散焦模糊的区域是否是无模糊拍摄的进行适当的评价。

接下来，将描述根据本发明第三方面的图像处理设备。

图10是示出根据本发明第三方面的图像处理设备的实施例的构造概念的框图。该图中所示的图像处理设备10B判断包含模糊的图像是其中模糊是用户有意造成的成功图像还是失败图像，并且图像处理设备10B包括图像获取器12、场深度计算器14、场深度判断单元16、图像分割器18B、模糊评价器20B、图像处理器22、输入单元24、存储器26、监控器28、和警告产生器30。

图像获取器12、场深度计算器14、图像处理器22、存储器26、和监控器28与根据第一方面的图像处理设备10A中的对应部件相同，从而此处不重复相同的描述。

场深度判断单元16基于场深度计算器14计算出的场深度的估计值DV判断图像的场深度是小于基准深度还是大于基准深度。场深度判断单元16将场深度的估计值DV与阈值Dt进行比较，当场深度的估计值DV小于阈值Dt（DV＜Dt）时，判断场深度大于与阈值Dt对应的给定基准深度，而反过来，当DV大于Dt（DV＞Dt）时，场深度判断单元16判断场深度小于所述给定基准深度。

基准深度是用作判断包含模糊的图像是其中模糊是由用户有意造成的成功图像还是失败图像的基准的场深度。

由于在场深度大于基准深度（下文中简单表达为“场深度较大”）时，在几乎任何场景下整个区域基本都聚焦，并且背景散焦的程度很小，从而在图像中观察到的模糊极有可能是由对象/相机移动或不正确的聚焦造成的。另一方面，在场深度小于基准深度（下文中简单表达为“场深度较小”）时，图像聚焦的范围很小，从而在图像中检测到的模糊可能是用户利用使背景去焦的拍摄模式有意造成的模糊。

图像处理设备10B利用这些特征来根据拍摄时使用的场深度相关的信息估计用户的意图（场深度的估计值DV），以使得能够根据用户的观点对图像中的模糊进行评价。

接下来，图像分割器18B从图像获取器12获取的图像中提取特定区域。图像分割器18B将图像分割成例如对象区域和该对象区域之外的一个或多个区域，并仅提取对象区域或各分割区域作为特定区域。图像分割器18B将图像分割成多个区域，例如4个、9个、和16个区域，并提取各分割区域作为特定区域。

当从图像中提取了对象区域作为特定区域时，对象可以是人物或除人物之外的任何其他物体，例如，动物、植物、汽车、或建筑物。

当场深度判断单元16判断出图像的场深度较小时，模糊评价器20B执行下列处理（A）、（B）、和（C）之一。

（A）不执行用于在图像中检测模糊以及计算用于评价图像中的模糊程度的评价值的模糊评价。

（B）针对从图像提取的特定区域执行模糊评价，以根据各特定区域的评价值计算图像的评价值。根据图像中的模糊程度来确定评价值。根据该实施例，评价值处于0至1的范围内。当模糊的程度相对较大时，评价值接近于0，而当模糊的程度相对较小时，评价值接近于1。

（C）接收由用户输入的评价值。

当场深度较小时，包含模糊的图像可能是其中模糊是用户有意造成的成功图像。在此情况中，模糊评价器20B执行上述处理（A）、（B）、和（C）之一，并给出接近于1的评价值，例如，大于作为0至1的中值的0.5的值。

当场深度判断单元16判断出图像的场深度较大时，模糊评价器20B执行上述图像的模糊评价，以计算图像的评价值。

当图像的场深度较大时，包含模糊的图像可能是失败图像。在此情况中，模糊评价器20B给予图像接近于0的评价值，例如，小于0.5的值。

当图像被判断为具有大的场深度，以及当附属信息中包含的拍摄模式是用于在图像背景中造成模糊的拍摄模式时，可以执行处理（A）、（B）、和（C）之一。

模糊评价器20B基于评价值判断图像（区域）是否是模糊图像（模糊区域）。当评价值小于给定基准值（例如，0.3）时，模糊评价器20B将图像判断为模糊图像。

在例如场深度判断单元16判断出图像具有小的场深度时，输入单元24用于使用户输入图像的评价值。输入单元24可以是例如用于操作监控器28上显示的GUI（图形用户界面）的诸如键盘、鼠标、和触摸面板的输入装置，用以输入评价值。

当场深度判断单元16判断出图像具有小的场深度以及当该图像的附属信息中包含的快门速度低于给定值（例如，相当于35mm胶片的焦距的倒数）时，警告产生器30给出警告以警告用户该图像可能是包含相机移动模糊或散焦模糊的失败图像的可能性。尽管根据该实施例的警告产生器30允许在监控器28上显示警告消息，但是警告可以是声音警告。

接下来，将参照图11所示的流程图描述其中通过根据本发明第四方面的图像处理方法对图像进行评价的图像处理设备10B的操作。

图像处理设备10B中的步骤ST11至ST12中执行的操作与图像处理设备10A中的步骤ST1至ST2相同。

接下来，在步骤ST13中，场深度判断单元16将场深度计算器14计算出的场深度的估计值DV与阈值Dt进行比较，从而判断出图像的场深度是小于基准深度还是大于基准深度。

当场深度的估计值DV被判断为小于阈值Dt时，即，当图像的场深度被判断为较大时（步骤ST13中为否），模糊评价器20B在步骤ST14中执行模糊评价以确定图像的评价值。当场深度被判断为较大时，该图像可能是失败图像，从而给出小于0.5的评价值。

另一方面，当场深度的估计值DV被判断为大于阈值Dt时，即，当图像被判断为具有较小的场深度时（步骤ST13中为是），模糊评价器20B执行以下处理之一：步骤ST15中的（A）不进行模糊评价；步骤ST16中的（B）提取特定区域以执行模糊评价；以及步骤ST17中的（C）用户输入评价值。

图像处理设备10B利用关于图像的附属信息来估计用户的意图以正确判断包含模糊的图像是其中模糊是用户有意造成的成功图像还是失败图像。

下面描述执行处理（A）至（C）的情况。

首先，参照图12的流程图描述处理（A）。

在处理（A）中，模糊评价器20B执行以下处理（D）至（F）之一。

D）给予图像特定的、均匀评价值，其（例如，在该实施例中为0.7）被定义为背景去焦了的图像的评价值（步骤ST18）。

（E）给予图像大于阈值BOt（例如，该实施例中为0.5）的随机评价值（步骤ST19）。

（F）根据评价值排除图像（步骤ST20）。

当场深度被判断为较小时（步骤ST13中为是），图像可能是其中模糊是用户有意造成的成功图像，因此给予大于0.5的评价值。

因此针对多个图像重复相同的处理。在针对给定数量的图像完成该处理时，图像处理器22例如按照评价值的降序排列图像，从而将这些图像显示在监控器28上。

可替换地，图像处理器22可以保证显示一个指示，以基于阈值BLt显示每个图像是否是模糊图像。该情况中的阈值BLt小于等于上述阈值BOt。从而，在该实施例中，阈值BLt小于0.5。例如，当评价值小于0.3时，显示图像是模糊图像的指示。

同样，省去了对例如背景中具有用户有意造成的模糊的成功图像的不利评价，而是可以对其进行适当的评价，这适当地帮助用户从大量图像中优先选择成功图像而不选择模糊图像。

接下来，参照图13的流程图描述处理（B）。

在处理（B）中，执行处理（G）或（H）。

（G）利用图像分割器18B将图像分割成多个评价区域，利用模糊评价器20B对各评价区域进行模糊评价以计算各区域的评价值，并基于场深度的估计值DV而根据各区域的评价值来计算图像的评价值（步骤ST24）。

（H）利用图像分割器18B将图像分成对象区域和除该对象区域以外的一个或多个区域，并利用模糊评价器20B而利用根据场深度的估计值DV添加的权重将对象区域的评价值与所述一个或多个区域的评价值相加（步骤ST25）。

在处理（G）中，首先基于场深度的估计值DV确定代表被判断为模糊区域（失败区域）的评价区域的最大允许数量的允许模糊区域的数量，其中具有该数量的模糊区域（失败区域）的图像还未被判断为模糊图像（失败图像）。

此后由步骤ST14至ST16执行的操作与图像处理设备10A中由步骤ST5至ST7执行的操作相同。

即使场深度较小，通过将图像分割成多个区域并对各区域进行评价也可以进行图像是否是模糊图像的检测。此外，可以给定与图像的场深度对应的评价值。更进一步，基于场深度的估计值DV针对不同图像利用不同的标准（允许模糊区域的数量）来产生各评价区域的评价值，使得能够在考虑用户的意图和各图像的状态的情况下来进行评价。

在处理（H）中，当场深度判断单元16判断出图像具有较大的场深度时，该图像被分割成对象区域和除该对象区域以外的一个或多个区域，以执行各区域的模糊评价，从而产生评价值。

此后由步骤ST21至ST23执行的操作与图像处理设备10A中由步骤ST8至ST10执行的操作相同。

在处理（H）中，当场深度判断单元16判断出该图像具有较小的场深度时，图像分割器18B仅从图像中提取对象区域，模糊评价器20B仅对提取的对象区域进行模糊评价以计算评价值（步骤ST25），从而对象区域的评价值可以用作该图像的评价值（步骤ST26）。

接下来，参照图14的流程图描述处理（C）。

在处理（C）中，首先对包含在图像的附属信息中的拍摄时使用的快门速度是否足够快进行确认（步骤ST27）。

当拍摄时使用的快门速度低于给定速度时（步骤ST27中为是），警告产生器30使监控器28显示图15A所示的警告消息，诸如“注意不良聚焦！”以及“注意相机抖动！”（步骤ST28）。从而，警告用户图像是包含例如相机移动造成的模糊和/或散焦模糊的失败图像的可能性。

另一方面，当快门速度快于给定速度时（步骤ST27中为否），图像分割器18B从该图像提取对象区域，并且图像处理器22使监控器28显示放大了的提取到的对象区域（步骤ST29）。从而，观看放大显示的图像的用户可以容易地评价图像中包含的模糊。

接下来，观看如图15B和图15C所示的放大显示的对象区域的用户确认该对象区域是否包含模糊，并经由输入单元24输入该图像的评价值（步骤ST30）。

从而，当有意造成图像中的模糊的用户自己评价该图像时，可以对图像做出更好的表达用户意图的评价。对于其他失败图像，可以减少用户必须执行的工作量。

本发明不仅可以用于对用户已经拍摄的图像中的模糊进行评价，还可以在用户拍摄图像时（即，在用户拍摄图像之前）进行模糊评价。

本发明的图像处理方法可以实现为用于使计算机执行该图像处理方法的每个步骤的图像处理程序。该图像处理方法可以实现为记录有上述图像处理程序的计算机可读记录介质。

以上对本发明进行了基本描述。

尽管上面已经对本发明进行了详细描述，但本发明不限于上述实施例，在不背离本发明的思想和范围的情况下，可以做出各种改进和修改。

Claims (14)

1.一种图像处理设备，包括：

图像获取器，用于获取图像；

场深度计算器，用于基于由所述图像获取器获取的图像的附属信息计算代表所述图像的场深度的估计值；

图像分割器，用于将所述图像分割成多个评价区域；以及

模糊评价器，用于检测由所述图像分割器分割成的每个评价区域中的散焦模糊或移动造成的模糊，执行用于计算用于评价散焦模糊或移动造成的模糊的程度的评价值的模糊评价，以及基于场深度的估计值来根据各评价区域的评价值计算所述图像的评价值。

2.根据权利要求1所述的图像处理设备，

其中，所述模糊评价器用于：

基于场深度的估计值确定代表被判断为模糊区域的评价区域的最大允许数量的允许模糊区域的数量，其中具有该数量的模糊区域的图像未被判断为模糊图像；

对所述图像分割器分割成的各评价区域进行模糊评价，以计算各评价区域的评价值；以及

将数量等于“评价区域的总数减去允许模糊区域的数量”的多个评价区域的评价值相加以获得其平均值，按照评价值减小的顺序选择用于该加法的各评价区域，从而计算所述图像的评价值。

3.根据权利要求2所述的图像处理设备，其中，

所述模糊评价器用于基于各评价区域的评价值判断各评价区域是否是模糊区域，以及

当被判断为模糊区域的评价区域的数量超过允许模糊区域的数量时，判断所述图像为模糊图像。

4.根据权利要求1所述的图像处理设备，

其中，所述图像分割器用于将所述图像分割成对象区域和除所述对象区域以外的一个或多个区域作为评价区域，

其中，所述模糊评价器用于对所述对象区域和除所述对象区域以外的所述一个或多个区域执行模糊评价，以计算评价值，以及

基于场深度的估计值对所述对象区域和除所述对象区域以外的所述一个或多个区域的评价值进行加权求和，以计算所述图像的评价值。

5.根据权利要求4所述的图像处理设备，

其中，当所述图像被分割为所述对象区域和除所述对象区域以外的两个或更多区域时，所述模糊评价器用于根据除所述对象区域以外的所述两个或更多区域距所述对象区域的距离来减小除所述对象区域以外的所述两个或更多区域的权重。

6.根据权利要求4或5所述的图像处理设备，

其中，所述图像分割器用于利用面部检测、人物检测、宠物检测、和聚焦区检测之一来从所述图像中提取所述对象区域。

7.根据权利要求4或5所述的图像处理设备，

其中，所述图像分割器用于将与自动聚焦中焦点所在的聚焦点相对应的区域确定为所述对象区域。

8.根据权利要求1至7中任一项所述的图像处理设备，

其中，所述场深度计算器用于利用拍摄所述图像时作为附属信息而获取的光圈值来作为所述场深度的估计值。

9.根据权利要求1至7中任一项所述的图像处理设备，

其中，所述场深度计算器用于利用拍摄所述图像时作为附属信息而获取的镜头焦距和光圈值，来根据“镜头焦距除以光圈值”计算所述场深度的估计值。

10.根据权利要求8或9所述的图像处理设备，

其中，所述场深度计算器用于利用拍摄所述图像时作为附属信息而获取的相机和对象之间的距离来进行调整，以使得随着所述距离减小，所述场深度的估计值增大。

11.根据权利要求1至7中任一项所述的图像处理设备，

其中，当模糊评价器计算所述图像的评价值时，所述模糊评价器用于根据包含在所述附属信息中的拍摄所述图像时的光圈值进行调整，以使得随着所述光圈值减小，所述图像的评价值增大。

12.根据权利要求1至11中任一项所述的图像处理设备，还包括：

图像处理器，用于基于多个图像的评价值重新排列所述多个图像。

13.根据权利要求3所述的图像处理设备，还包括：

图像处理器，当所述模糊评价器将所述图像判断为模糊图像时，所述图像处理器基于所述评价值执行校正，以减小所述图像中的散焦模糊或移动造成的模糊。

14.一种图像处理方法，包括：

图像获取步骤，用于获取图像；

场深度计算步骤，用于基于在所述图像获取步骤中获取的图像的附属信息计算代表所述图像的场深度的估计值；

图像分割步骤，用于将所述图像分割成多个评价区域；以及

模糊评价步骤，用于检测在所述图像分割步骤中分割成的每个评价区域中的散焦模糊或移动造成的模糊，以执行用于计算用于评价散焦模糊或移动造成的模糊的程度的评价值的模糊评价，以及基于场深度的估计值来根据各评价区域的评价值计算所述图像的评价值。

Images