CN101685542B - 电子设备、模糊图像分拣方法 - Google Patents

Abstract

本发明提供电子设备以及模糊图像分拣方法。该电子设备包括：提取部件，用于从图像中提取在图像中具有预定特征的被摄体区域；第一计算部件，用于计算指示所提取的被摄体区域的模糊度的第一模糊度；第二计算部件，用于当从其计算第一模糊度的图像中的被摄体区域的个数是一个时，基于第一模糊度计算指示整个图像的模糊度的第二模糊度，而当从其计算第一模糊度的图像中的被摄体区域的个数是多个时，基于通过依照多个被摄体区域的尺寸对多个第一模糊度执行加权平均获得的值，计算第二模糊度；以及分拣部件，用于从多个图像中分拣具有等于或大于预定阈值的所算出的第二模糊度的图像作为模糊图像。

Description

电子设备、模糊图像分拣方法

技术领域

本发明涉及能够存储并且输出多个静止图像的电子设备、该电子设备中的模糊图像分拣方法和程序。 

背景技术

过去已经存在了具有用于组织诸如已经被拍摄并存储的图片之类的图像的相簿创建功能以及用于图像的幻灯片功能的电子设备。在由电子设备执行这些功能的情况下，用户需要选择想要图像来进行存储或显示，但用户很难从大量图像中分拣想要的图像。 

在这点上，从多个图像中选择所谓最佳照片(shot)(也就是被假定为值得用户观看的图像)的技术，已知一种从通过连续拍摄获得的多个图像中选择最佳照片的技术(例如，请看日本专利申请公开No.2006-311340；此后称其为专利文档1)。 

另外，还已知一种基于图像的清晰度(sharpness)、面部图像的质量以及闪光存在/不存在来评价作为图片的图像的质量的技术(例如，请看日本专利翻译公开No.2005-521927；此后称其为专利文档2)。此外，还已知一种从图像中检测面部并且依照检测结果选择和剪辑出最佳作品(composition)的技术(例如，请看日本专利申请公开No.2007-27971；此后称其为专利文档3)。 

发明内容

然而，在上述技术中，关于图像是否被假定为值得用户观看，也就是说，图像的被摄体(subject)是否模糊，很难可靠地评价一个评价目标图像，然后分拣它。 

例如，在从通过连续拍摄获得的图像中选择最佳照片的技术，即在专利文档1中描述的技术中，评价了整个图像中的模糊度和曝光量。然而，即使当对不是通过连续拍摄获得的普通图像执行了模糊度和曝光量评价，也不是总能分拣出模糊图像。换句话说，一般地，其中被摄体处于焦点位置而背景 是模糊的图片可能是适当地被拍摄的照片或者所谓的最佳照片，因为被摄体被拍摄得很清晰。然而，当专利文档1的技术用于不是通过连续拍摄获得的图像时，存在这样的风险，将其中被摄体处于焦点位置而背景是模糊的图像判断为模糊图像。 

在专利文档2所述的技术中，假定被摄体是人脸来评价图像的质量，并且在未从图像中检测到面部的情况下，基于清晰度和闪光的存在/不存在评价图像的质量。因此，同样在这样的情况下，将其中被摄体处于焦点位置而背景是模糊的图像判断为模糊图像。 

另外，在专利文档3中描述的技术中，可剪裁出最佳作品，但很难评价图像是否模糊。在这种技术中，在人脸不作为被摄体存在在图像中的情况下，剪裁出最佳作品也许是不可能的。 

考虑到上述状况，存在对能够可靠地分拣出其中吸引注意的被摄体是模糊的、用户不需要的图像的电子设备、模糊图像分拣方法和程序的要求。 

根据本发明的实施方式，提供了包括提取装置、第一计算装置、第二计算装置和分拣装置的电子设备。 

提取装置从图像中提取在图像中具有预定特征的被摄体区域。 

第一计算装置计算指示所提取的被摄体区域的模糊度的第一模糊度。 

当从其计算第一模糊度的图像中的被摄体区域的个数是一个时，第二计算装置基于第一模糊度计算指示整个图像的模糊度的第二模糊度。另外，当从其计算第一模糊度的图像中的被摄体区域的个数是多个时，第二计算装置基于通过与多个被摄体区域的尺寸成比例地对多个第一模糊度执行加权平均获得的值，计算第二模糊度。 

分拣装置从多个图像中分拣具有等于或大于预定阈值的所算出的第二模糊度图像作为模糊图像。 

其中，所述被摄体区域是人脸的面部区域。 

利用这种结构，通过基于被摄体区域的尺寸计算在图像中的被摄体的模糊度(第一模糊度)和整个图像的模糊度(第二模糊度)，电子设备可以从多个图像中分拣出模糊图像。具有预定特征的被摄体是各种对象，包括人、动物、植物和建筑物。例如，第一模糊度由被摄体区域内的边缘强度计算。具有预定特征的被摄体区域是图像中吸引观众注意的区域。也就是说，当吸引注意的区域是一个时，电子设备基于该区域的模糊度计算整个图像的模糊 度。另外，当存在吸引注意的多个区域时，电子设备通过依照各个区域的尺寸对各个区域的模糊度执行加权平均，来计算整个图像的模糊度。这是因为更大的尺寸更可能吸引注意。通过这种处理，电子设备可以精确地计算图像的模糊度并且分拣出用户不需要的模糊图像。用户可以依照分拣结果，删除模糊图像并且从原始电影或类似的素材中移除它们。从而提升用户的便捷性。 

电子设备可能还包括优化装置，用于优化所提取的被摄体区域，以使得所提取的被摄体区域具有足够第一模糊度的计算的预定大小。 

这里，优化指的是大到需要花费很长时间计算第一模糊度的区域的大小减小，以及小到以至于不能精确地计算第一模糊度的区域的移除。利用这种优化，电子设备可以更精确地计算第一模糊度，并且作为其结果，可以更精确地计算第二模糊度。 

提取装置可以计算指示被摄体区域的提取的确定性的得分。 

在这种情况下，当从其计算第一模糊度的图像中的被摄体区域的个数是多个时，第二计算装置可以基于通过与多个被摄体区域的尺寸和所算出的得分成比例地对多个第一模糊度执行加权平均而获得的值，计算第二模糊度。 

这里，得分是指示与其他区域比较，被摄体区域的特征的度的评价值，该特征包括亮度、色彩、边缘(方向)和面部。一般认为，随着得分越来越高，该得分的被摄体区域越可能吸引观众的注意。在第一模糊度是从多个被摄体区域中所算出的情况下，除了多个被摄体区域的尺寸以外，电子设备还依照得分对第一模糊度执行加权平均。从而，有可能更精确地计算第二模糊度并且更精确地分拣出模糊图像。 

此外，提取装置还包括面部识别装置和特征识别装置。 

面部识别装置识别人脸的面部区域作为被摄体区域，并且计算指示识别出的面部区域的得分的第一得分。 

特征识别装置识别视觉上显著的特征区域作为被摄体区域，并且计算指示识别出的特征区域的得分的第二得分。 

在从其计算出第一模糊度的图像中的被摄体区域的个数是多个的情况下，当面部区域通过面部识别装置被识别为被摄体区域时，第二计算装置可以在加权平均中不使用第一得分来计算第二模糊度。另外，当特征区域通过特征识别装置被识别为被摄体区域时，第二计算装置可以在加权平均中使用第二得分来计算第二模糊度。 

在这种结构中，当多个面部被识别为被摄体区域时，电子设备通过仅依照面部区域的尺寸对第一模糊度执行加权平均来计算第二模糊度。另一方面，当多个面部被识别为被摄体区域时，电子设备通过依照面部区域的尺寸和区域的得分，对第一模糊度执行加权平均来计算第二模糊度。也就是说，当所提取的被摄体区域是面部区域时，电子设备仅依照尺寸执行加权平均，而与面部的得分无关，并且当所提取的被摄体区域是特征区域时，电子设备依照特征区域的得分及其尺寸执行加权平均。在这种方式下的处理中提供差值，因为认为面部区域无条件地比特征区域吸引观众的更多注意。因此，利用电子设备可更精确地计算整个图像的模糊度的结果，电子设备更精确地区分在图像中吸引注意的区域并且执行操作，以使得当吸引注意的区域越模糊时整个图像的模糊度变得越高。 

当没有被摄体区域被提取时，第一计算装置可以以整个图像为被摄体区域，计算第一模糊度。 

从而，即使当图像中吸引注意的区域不存在时，电子设备也可以通过将整个图像认为被摄体区域来计算整个图像的模糊度。 

电子设备还可以包括用于接收用户的操作的操作接收装置，以及用于显示多个图像的显示装置。 

在这种情况下，分拣装置可以依照用户的预定操作分拣出模糊图像。 

在这种情况下，当接收到预定操作时，显示装置可以仅显示多个显示图像中被分拣出的模糊图像。 

从而，仅通过执行预定操作，用户就可以分拣并且仅看到多个图像中的模糊图像，并轻而易举地删除和移除不需要的模糊图像。预定操作指诸如按钮的图标之类的GUI，但不仅限于此。 

根据本发明的另一种实施方式，提供包括从图像中提取具有图像中的预定特征的被摄体区域的模糊图像分拣方法。 

在这种方法中，计算指示所提取的被摄体区域的模糊度的第一模糊度。 

当从其计算第一模糊度的图像中的被摄体区域的个数是一个时，基于第一模糊度计算指示整个图像的模糊度的第二模糊度。当从其计算第一模糊度的图像中的被摄体区域的个数是多个时，基于通过与多个被摄体区域的尺寸成比例地对多个第一模糊度执行加权平均而获得的值，计算第二模糊度。 

然后，从多个图像中分拣出具有等于或大于预定阈值的所算出的第二模 糊度的图像作为模糊图像。 

其中，所述被摄体区域是人脸的面部区域。 

根据这种方法，有可能可靠地计算出图像的模糊度并且分拣出用户不需要的模糊图像。 

根据本发明的再另一种实施方式，提供包括优化具有预定特征的被摄体区域的模糊图像分拣方法，该被摄体区域被从图像中提取以使得该被摄体区域具有预定大小。 

在这种方法中，获取了从经优化的被摄体区域中所算出的、指示被摄体区域的模糊度的第一模糊度。 

当从其计算第一模糊度的图像中的被摄体区域的个数是一个时，基于第一模糊度计算指示整个图像的模糊度的第二模糊度。另外，当从其计算第一模糊度的图像中的被摄体区域的个数是多个时，基于通过与多个被摄体区域的尺寸成比例地对多个第一模糊度执行加权平均获得的值，计算第二模糊度。 

然后，从多个图像中分拣出具有等于或大于预定阈值的所算出的第二模糊度的图像作为模糊图像。 

其中，所述被摄体区域是人脸的面部区域。 

根据这种方法，通过优化每一个所提取的被摄体区域的大小并且基于从被摄体区域中所算出的模糊度来计算整个图像的模糊度，可以可靠地分拣出模糊图像。 

根据本发明的再另一种实施方式，提供使电子设备执行提取步骤、第一计算步骤、第二计算步骤和分拣步骤的程序。 

在提取步骤中，从图像中提取在图像中具有预定特征的被摄体区域。 

在第一计算步骤中，计算指示所提取的被摄体区域的模糊度的第一模糊度。 

在第二计算步骤中，当从其计算第一模糊度的图像中的被摄体区域的个数是一个时，基于第一模糊度计算指示整个图像的模糊度的第二模糊度。另外，在第二计算步骤中，当从其计算第一模糊度的图像中的被摄体区域的个数是多个时，基于通过依照多个被摄体区域的尺寸对多个第一模糊度执行加权平均而获得的值，计算第二模糊度。 

在分拣步骤中，从多个图像中分拣出具有等于或大于预定阈值的所算出的第二模糊度的图像作为模糊图像。 

根据这种程序，有可能精确地计算出图像的模糊度并且分拣出用户不需要的模糊图像。 

根据本发明的再另一种实施方式，提供使电子设备执行优化步骤、获取步骤、计算步骤和分拣步骤的程序。 

在优化步骤中，优化具有预定特征的被摄体区域，该被摄体区域从图像中提取以使得其具有预定大小。 

在获取步骤中，获取从经优化的被摄体区域中所算出的、并且指示被摄体区域的模糊度的第一模糊度。 

在计算步骤中，当从其计算第一模糊度的图像中的被摄体区域的个数是一个时，基于第一模糊度计算指示整个图像的模糊度的第二模糊度。另外，在计算步骤中，当从其计算第一模糊度的图像中的被摄体区域的个数是多个时，基于通过依照多个被摄体区域的尺寸对多个第一模糊度执行加权平均而获得的值，计算第二模糊度。 

在分拣步骤中，从多个图像中分拣出具有等于或大于预定阈值的所算出的第二模糊度的图像作为模糊图像。 

根据这种程序，通过优化每一个所提取的被摄体区域的大小并且基于从被摄体区域中所算出的模糊度来计算整个图像的模糊度，可以可靠地分拣出模糊图像。 

根据本发明的再另一种实施方式，提供包括提取部件、第一计算部件、第二计算部件和分拣部件的电子设备。 

提取部件从图像中提取具有图像中预定特征的被摄体区域。 

第一计算部件计算指示所提取的被摄体区域的模糊度的第一模糊度。 

第二计算部件当从其计算第一模糊度的图像中的被摄体区域的个数是一个时，基于第一模糊度计算指示整个图像的模糊度的第二模糊度，并且当从其计算第一模糊度的图像中的被摄体区域的个数是多个时，基于通过依照多个被摄体区域的尺寸对多个第一模糊度执行加权平均而获得的值，计算第二模糊度。 

分拣部件从多个图像中分拣出具有等于或大于预定阈值的所算出的第二模糊度的图像来作为模糊图像。 

如上所述，根据本发明的实施方式，有可能可靠地分拣出在其中吸引注意的被摄体是模糊的、用户不需要的模糊图像。 

根据如图所示的最佳模式实施方式的以下详细描述，本发明的这些和其他目的、特征以及优点将变得更加明显。 

附图说明

图1是示出根据本发明的实施方式的PC的硬件配置的简图； 

图2是用于描述根据本发明的实施方式的PC的图像分拣功能的简图； 

图3是示出根据本发明的实施方式的PC的元数据分析部件的粗略操作流程的流程图； 

图4是示出在本发明的实施方式中的特征识别处理的流程的流程图； 

图5是详细示出由本发明的实施方式中的特征识别引擎执行的特征识别处理的流程的流程图； 

图6是示出在本发明的实施方式中的模糊识别处理的流程的流程图； 

图7是详细示出由本发明的实施方式中的特征识别引擎执行的模糊识别处理的流程的流程图； 

图8A到8D是用于描述在本发明的实施方式中检测到的边缘的类型的简图； 

图9是示出在本发明的实施方式中的图像模糊指数的计算处理的流程的流程图； 

图10是示出在本发明的实施方式中所算出的图像模糊指数的计算公式的简图； 

图11是示出在本发明的实施方式中的模糊图像分拣部件和图像显示部件的处理的流程的流程图；并且 

图12A和图12B是示出在本发明的实施方式中的素材选择屏幕的简图。 

具体实施方式

以下将参考附图描述本发明的实施方式。 

(PC的硬件配置) 

图1是示出根据本发明的实施方式的PC的硬件配置的简图。 

如图1所示，PC 100包括CPU(中央处理器)1、ROM(只读存储器)2和RAM(随机存取存储器)3，并且由数据传输总线4将这些彼此连接。 

PC 100还包括输入输出(I/O)接口5、输入部件6、输出部件7、存储 部件8、通信部件9和驱动器10。在PC 100中，输入部件6、输出部件7、存储部件8、通信部件9和驱动器10都连接到输入输出接口5。 

当执行各种操作时，CPU 1根据需要存取RAM 3等并且集中控制PC 100的整个块。ROM 2是非易失性存储器，其固定地存储OS(操作系统)、程序、固件，诸如由CPU 1执行的各种参数。RAM 3用作用于CPU 1的工作区域等，并且临时存储操作系统、正在执行的各种程序和正在处理的各种数据片段。 

输入部件6是键盘、鼠标、触摸垫、按钮等，并且接收用户的各种操作和输出输入的操作信号给CPU 1。输出部件7是输出各种内容的视频信号的显示部件(如LCD(液晶显示屏)和OEL(有机电致发光)显示器)以及输出各种内容的音频信号的扬声器。 

例如，存储部件8是非易失性存储器(如HDD(硬盘驱动器)和闪存)。存储部件8在其内置硬盘或存储器装置中存储操作系统、各种程序和应用以及各种数据片段。此外，存储部件8读取那些程序和数据片段给RAM 3。 

特别地，在这种实施方式中，存储部件8存储电影创作应用。存储部件8也存储变成用于创作电影的素材的运动图像文件、静止图像文件和音乐文件以及已创作的电影文件。电影创作应用是用于使用包含用户已经拍摄并存储在存储部件8的图像的运动图像文件和静止图像文件以及音乐文件作为素材，创作用户自己的原始运动图像(电影)的应用。具体地说，电影创作应用通过插入由用户选择的运动图像或静止图像到拥有预先设定的运动图像帧、静止图像帧等的模板并且组合图像为文件来创作电影。 

例如，通信部件9包括网络接口卡和调制解调器，并且与其他设备通过网络(如因特网)通信。例如，通信部件9可以经由网络从其他设施接收程序和数据。 

驱动器10加载可移动介质11来读取记录在可移动介质11上的程序和数据，并且在存储单元8中存储它们或者由输出部件7经由输入输出接口5再现它们。 

可移动介质11是包括光盘(如DVD、BD和CD)和半导体存储器(如存储卡)的介质。 

(电影创作应用的功能) 

电影创作应用具有这样的功能，其在创作电影前，从存储在存储部件8 的多个静止图像中分拣出用户不需要并且难以成为电影的素材的模糊的图像(此后称作模糊图像)。以下将描述模糊图像分拣功能。图2是用于描述模糊图像分拣功能的简图。 

如图2所示，电影创作应用20包括元数据分析部件21、元数据累积部件22、模糊图像分拣部件23和图像显示部件24。此外，PC 100存储面部识别引擎120和特征识别引擎130作为电影创作应用20的外部引擎。 

面部识别引擎120从由电影创作应用20提供的素材图像中识别人脸作为被摄体区域并且提取包括人脸在内的矩形区域(面部区域)。然后，人脸识别引擎120输出元数据给电影创作应用20，其中该元数据包括人脸区域的数据、其大小信息(高度、宽度、倾斜度)、指示识别的确定性的面部识别得分等。 

在面部识别引擎120中将各种已知技术作为面部识别技术。例如，面部识别引擎120可以使用特征过滤器识别面部的特征。特征过滤器是这样的过滤器，其在图像中检测矩形的特定部分并且屏蔽矩形的不同部分。通过特征过滤器，检测面部中的眼睛、眉毛、鼻子、脸颊等之间的位置关系作为图像中包括面部的面部特征，并且检测对象除面部外的形状和对象的组成元素之间的位置关系作为图像中不包括面部的非面部特征。面部识别引擎120用特征过滤器过滤图像，同时改变特征过滤器的帧(frame)的大小和位置。然后，面部识别引擎120识别当获得最确定的检测值时得到的特征过滤器的大小作为面部区域的大小，并提取面部区域。作为特征过滤器，除矩形过滤器外，特征过滤器还可以在特殊方向上用检测圆形特征(circular feature)的可分离性过滤器和通过边缘检测各面部部分的位置关系的Gabor过滤器。此外，例如，作为面部识别技术，除了特征过滤器之外，也可以使用图像中的亮度分布信息和肤色信息。 

特征识别引擎130有特征区域识别功能和模糊识别功能。特征区域识别功能从电影创作应用20给定的图像中识别并提取视觉上显著的特征区域作为被摄体区域。模糊识别功能在所给图像中确定模糊度。 

作为特征区域识别功能，特征识别引擎130识别所给图像的特征，以产生特征映像，然后整合特征映像以产生显著映像(saliency map)，因此识别并且提取矩形特征区域。识别出的特征包括亮度特征、色彩特征和边缘(方向)特征。特征识别引擎130分别从图像的亮度特征、色彩特征和边缘特征 产生亮度映像、色彩映像和边缘映像，将这些映像经历线性结合来产生显著映像。然后，图像识别引擎130基于显著映像提取矩形特征区域，并且输出元数据给电影创作应用20，其中该元数据包括所提取的特征区域的数据、其大小信息(高度、宽度、倾斜度)、指示识别的确定性的特征识别得分等。 

另外，作为模糊识别功能，特征识别引擎130按照需要使用显著映像从所给面部区域和特征区域提取边缘点，并分析边缘点来计算各个区域的模糊指数。然后，特征识别引擎130输出所算出的模糊指数给电影创作应用20。 

元数据分析部分21包括分别与面部识别引擎120和特征识别引擎130合作的面部识别插件和特征识别插件。元数据分析部分21提供素材图像(静止图像)给面部识别引擎120和特征识别引擎130，并且获得关于素材图像的面部区域和特征区域的元数据。此外，元数据分析部分21针对用于模糊识别处理的足够大小，处理所获得的面部区域和特征区域，然后将它们提供给特征识别引擎130，以基于作为模糊识别的结果获得的各模糊指数计算整个图像的模糊指数。此后，将由特征识别引擎130所算出的每个面部区域和特征区域的模糊指数称为区域模糊指数，并且将由元数据分析部分21所算出的整个图像的模糊指数将称为图像模糊指数。 

元数据累积部件22累积关于从面部识别引擎120和特征识别引擎130获得的面部区域和特征区域的元数据。元数据累积部件22也累积由元数据分析部件21所算出的图像模糊指数。 

模糊图像分拣部件23基于上述模糊指数、根据用户的操作，从多个素材图像中分拣模糊图像。图像显示部件24显示多个素材图像的列表，并且根据用户的操作仅显示由模糊图像分拣部件23分拣出的模糊图像。 

(PC的操作) 

下面，将描述这样配置的PC 100的操作。此后，将电影创作应用20、面部识别引擎120和特征识别引擎130中的每一个软件作为操作的主要构成进行描述，但整个操作是在硬件(如CPU 1等)的控制下执行。 

(元数据分析部分的操作概要) 

图3是示出这种实施方式中的元数据分析部件21的粗略操作流程的流程图。 

如图3所示，首先，元数据分析部分21的面部识别插件提供在存储部件8中累积的素材图像给面部识别引擎120(步骤31)。 

面部识别引擎120关于输入的素材图像执行面部识别处理，并且作为处理的结果，输出各个元数据(如所提取的面部区域的数据、面部区域的大小和面部识别得分)给面部识别插件(步骤32)。 

面部识别插件判断矩形区域是否在面部识别引擎120提供的元数据中存在(步骤33)。如果矩形区域存在(是)，则面部识别插件在元数据累积部件22中登记矩形区域上的所有元数据(步骤34)。 

接下来，特征识别插件与特征识别引擎130合作，以使用素材图像来执行特征识别处理(步骤35)。后面将详细描述特征识别处理。 

随后，特征识别插件通过特征识别处理判断矩形区域是否在从特征识别引擎130提供的元数据中存在(步骤36)。如果矩形区域存在(是)，则特征识别插件在元数据累积部件22中登记矩形区域上的所有元数据(步骤37)。 

然后，特征识别插件提供登记在元数据累积部件22中的矩形区域给特征识别引擎130，并且对矩形区域执行模糊识别处理(步骤38)。后面也将详细描述模糊识别处理。 

特征识别插件基于模糊识别处理的结果，计算每个图像(整个图像)的图像模糊指数(步骤39)。后面将详细描述这种处理。然后，特征识别插件在元数据累积部件22中登记计算出的每个素材图像的图像模糊指数(步骤40)。 

(元数据分析部件的特征识别处理) 

图4是详细示出上述步骤35中的特征识别处理的流程的流程图。 

如图4所示，特征识别插件首先判断从存储部件8中获得的素材图像的图像大小是否等于或大于特征识别引擎130的特征识别处理中的最小有效大小(步骤41)。例如，最小有效大小是256×256(像素)，但不仅限于此。在该处理中，判断素材图像是否大到足够容许(tolerate)特征识别处理。 

这之后，特征识别插件判断素材图像的大小是否等于或小于在特征识别引擎130的特征识别处理中的最大分析对象大小(步骤42)。例如，最大分析对象大小是3200×3200(像素)，但不仅限于此。在素材图像的大小大于最大分析对象大小的情况下(否)，特征识别插件减小素材图像的大小，以使得其变成等于或小于最大分析对象大小的大小(步骤43)。素材图像的大小减小的原因如下。在素材图像具有等于或大于最大分析对象大小的大小的情况下，特征识别引擎130可以自行执行特征识别处理，但消耗过长时间以 致于不能完成处理。换句话说，通过减小处理，可以减轻特征识别引擎130上的处理负荷。 

然后，特征识别插件提供具有根据需要减小了的大小的素材图像给特征识别引擎130(步骤44)。特征识别引擎130对所提供的素材图像执行特征识别处理(步骤45)。然后，特征识别插件从特征识别引擎130获取特征区域上的元数据作为特征处理的结果(步骤46)。 

(特征识别引擎的特征识别处理) 

图5是详细示出在上述步骤45中、由特征识别引擎130执行的特征识别处理的流程的流程图。 

如图5所示，特征识别引擎130首先根据提供的素材图像产生亮度映像(步骤51)。 

具体地说，特征识别引擎130产生具有素材图像的各个像素的亮度值作为像素值的亮度图像。然后，通过使用亮度图像，特征识别引擎130产生每个都具有不同分辨率的多个亮度图像(渐变图像(pyramid image))。例如，根据划分为8个分辨率等级L1到L8的分辨率层次产生渐变图像。L1等级的渐变图像具有最高的分辨率，并且以从L1到L8的升序降低分辨率。将在特定等级的渐变图像中包含的一个像素的像素值设置为在紧接在该等级之上的等级的渐变图像中包含的四个相邻像素的像素值的平均值。

随后，特征识别引擎130从多个渐变图像中选择两个不同等级的渐变图像，并且获得这两个渐变图像之间的差值来产生关于亮度的差值图像。该差值图像的像素值指示在不同等级的渐变图像中的亮度值之间的差值，也就是在素材图像中的预定像素的亮度与素材图像中的该像素周围的平均亮度之间的差值。然后，特征识别引擎130基于这样算出的预定数量的差值图像产生亮度映像。 

接下来，特征识别引擎130从素材图像产生色彩映像(步骤52)。色彩映像的产生也基本由与亮度映像类似的方法来执行。 

首先，特征识别引擎130产生RG差值图像和BY差值图像。在RG差值图像中，将素材图像中的像素的R(红色)成份和G(绿色)成份之间的差值设置为像素值。在BY差值图像中，将素材图像中的像素的B(蓝色)成份和Y(黄色)成份之间的差值设置为像素值。 

然后，通过使用RG差值图像，特征识别引擎130产生每个都具有不同 分辨率的多个RG特征图像(渐变图像)。特征识别引擎130从多个渐变图像中选择不同等级的两个渐变图像，并且获得渐变图像之间的差值来产生关于RG差值的差值图像。对BY差值图像执行相同的处理。这样，特征识别引擎130基于这样算出的预定数量的差值图像，产生关于RG和BY的色彩映像。 

接下来，特征识别引擎130从素材图像产生边缘映像(步骤53)。边缘映像的产生也基本上由与亮度映像和色彩映像类似的方法来执行。 

首先，特征识别引擎130通过Gabor过滤器对素材图像执行过滤，并且产生在其中将各个方向例如0度、45度、90度和135度上的边缘强度设置为像素值的边缘图像。 

然后，通过使用每个方向上的边缘图像，特征识别引擎130产生每个都具有不同分辨率的多个边缘图像(渐变图像)。随后，特征识别引擎130从多个渐变图像中选择不同等级的两个渐变图像，并且获得这些渐变图像之间的差值来产生关于每个方向上的边缘的差值图像。这样，特征识别引擎130基于这样算出的预定数量的差值图像，产生关于各个方向的边缘映像。 

然后，特征识别引擎130对从素材图像产生的亮度映像、色彩映像和边缘映像执行线性整合，并且产生显著映像。换句话说，特征识别引擎130关于在相同位置(重叠区域)上的每个区域对亮度映像、色彩映像和边缘映像的每个区域的信息(特征量)执行加权求和，从而产生显著映像(步骤54)。 

这里，在加权求和中使用的权重通过例如神经网络学习获得。具体地说，特征识别引擎130通过与上述相同的处理，对于预定学习图像(learningimage)产生显著映像。然后，特征识别引擎130使用在产生显著映像的处理中使用的权重来获得权重差值和图像标签，并且将权重差值加到在产生被摄体映像(subject map)的处理中使用的权重上，从而更新权重。图像标签是这样的标签，其中以像素为基础的学习图像中的实际特征(被摄体(subject))的存在/不存在由0和1来指示。也就是说，图像标签是理想的显著映像。特征识别引擎130重复更新权重的处理和产生显著映像的处理，从而最终确定合适的权重。 

基于显著映像，特征识别引擎130从素材图像中提取具有高特征数量的区域作为矩形区域(步骤55)。然后，特征识别引擎130输出元数据(如矩形区域的数据、其大小和特征识别得分)到元数据分析部分21的特征识别插 件(步骤56)。 

(元数据分析部件的模糊识别处理) 

图6是详细示出在上述步骤38中的模糊识别处理的流程的流程图。 

如图6所示，特征识别插件首先判断作为模糊识别的目标的素材图像的大小是否等于或大于由特征识别引擎130的模糊识别处理中的最小有效大小(步骤61)。例如，最小有效大小是64×64(像素)，但不仅限于此。从而，判断素材图像是否足够大以致容许模糊识别处理。在已经在上述特征识别处理中减小素材图像的大小的情况下，将已减小的图像当做模糊识别的目标图像。 

在素材图像的大小低于模糊识别处理的最小有效大小的情况下(否)，因为假定了该素材图像是模糊不能识别的图像，所以特征识别插件停止素材图像的模糊识别处理。 

在素材图像的大小等于或大于模糊识别处理的最小有效大小的情况下(是)，特征识别插件从元数据累积部件22获取面部区域上的元数据(步骤62)。这里，在作为面部区域的提取源的素材图像的大小在特征识别处理中已经减小的情况下，面部区域的大小依照素材图像的原始大小进行转换。 

随后，特征识别插件判断面部区域是否是特征识别引擎130的模糊识别处理中的有效矩形(步骤63)。这里，有效矩形指的是满足特征识别引擎130的模糊识别处理的最小有效大小的矩形，或者其中其短边上的像素数量是作为该矩形的提取源的素材图像的短边上的像素数量的20％或更多的矩形。 

如果面部区域是有效矩形(是)，则特征识别插件提供面部区域给特征识别引擎130(步骤67)并且使特征识别引擎130对面部区域执行模糊识别处理(步骤68)。在这种情况下，不使用显著映像来执行特征识别引擎130的模糊识别处理。 

如果面部区域不是有效矩形(否)，则特征识别插件判断作为面部区域的提取源的素材图像的大小是否等于或大于特征识别引擎130的特征识别处理的最小有效大小(256×256像素)(步骤64)。 

如果素材图像的大小等于或大于特征识别处理的最小有效大小(是)，则特征识别插件从数据累积部件22获取关于特征区域的元数据(步骤65)。这里，在作为特征区域的提取源的素材图像的大小在特征识别处理中已经减小的情况下，特征区域的大小依照素材图像的原始大小进行转换。 

随后，特征识别插件判断特征区域是否是特征识别引擎130的模糊识别处理中的有效矩形(步骤66)。这里，有效矩形指的是满足特征识别引擎130的模糊识别处理的最小有效大小的矩形。 

如果特征区域是有效矩形(是)，则特征识别插件提供特征区域给特征识别引擎130(步骤67)并且使特征识别引擎130对面部区域执行模糊识别处理(步骤68)。在这种情况下，使用显著映像来执行特征识别引擎130的模糊识别处理。 

如果特征区域不是有效矩形(否)，则特征识别插件将作为特征区域的提取源的素材图像作为矩形区域，提供给特征识别引擎130(步骤69)，并且使特征识别引擎130对素材图像执行模糊识别处理(步骤70)。也就是说，对整个素材图像而不是特征区域执行模糊识别处理。使用显著映像执行在这种情况下的特征识别引擎130的模糊识别处理。 

在上述步骤64中，如果素材图像的大小低于特征识别处理的最小有效大小(否)，则特征识别插件提供素材图像给特征识别引擎130(步骤71)并且使特征识别引擎130对整个素材图像执行模糊识别处理(步骤72)。不用显著映像执行在这种情况下的特征识别引擎130的模糊识别处理。 

(特征识别引擎的模糊识别处理的细节) 

图7是详细示出在上述步骤68、70和72中的、特征识别引擎130执行的模糊识别处理的流程的流程图。 

如图7所示，特征识别引擎130首先从所提供的面部区域、特征区域或素材图像产生边缘映像(步骤81)。如果所提供的图像是面部区域，则显著映像不用于边缘映像的产生。如果所提供的图像是特征区域，则显著映像用于边缘映像的产生。此外，如果所提供的图像是整个素材图像，则在素材图像具有等于或大于特征识别处理的最小有效大小的大小的情况下，显著映像用于边缘映像的产生，而在素材图像具有小于特征识别处理的最小有效大小的大小的情况下，显著映像不用于边缘映像的产生。以下，将从特征识别插件提供的包括面部区域的图像、特征区域和整个素材图像统称为“被摄体区域”。 

具体地说，特征识别引擎130将所提供的被摄体区域划分为每个具有2×2个像素的大小的块。然后，特征识别引擎130计算每个块内的各像素的像素值之间的差值的绝对值，并且随后计算这些绝对值的平均值。该平均值指示 块内的垂直、水平和倾斜方向上的边缘强度的平均值。然后，特征识别引擎130按与被摄体区域中的相对应块相同的顺序排列这样算出的平均值，从而产生比例(scale)SC1的边缘映像。另外，特征识别引擎130基于其中将比例SC1的块内的像素值的平均值设置为一个像素值的平均图像，产生比例SC2的边缘图像。类似地，特征识别引擎130基于其中将一块内的像素值的平均值设置为一个像素值的平均图像，产生比例SC3的边缘图像，其中该块是通过划分比例SC2的平均图像为具有2×2像素的大小的区域而获得的。因此，为了抑制边缘强度的变化，基于不同大小的块产生不同比例的边缘映像。 

随后，特征识别引擎130使用边缘映像检测被摄体区域的动态范围(步骤82)。具体地说，特征识别引擎130从上述比例SC1到SC3的边缘映像中检测像素值的最大值和最小值，并且检测最大值和最小值之间的差值作为被摄体区域的边缘强度的动态范围。 

这之后，特征识别引擎130依照检测到的动态范围设置操作参数的初始值(步骤83)。这里，操作参数包括边缘参考值和提取参考值。边缘参考值用于边缘点的判断。提取参考值用于判断边缘点提取量是否合适。 

换句话说，特征识别引擎130依照动态范围是否超过预定阈值，将被摄体区域划分为低动态范围的图像和高动态范围的图像，并且为每个图像的操作参数设置初始值。假定用于低动态范围的图像的操作参数小于用于高动态范围的图像的操作参数。这是因为，低动态范围的图像具有比高动态范围的图像更小数量的边缘并且具有更小量的所提取的边缘点，所以也从低动态范围的图像中提取足够保持模糊识别的准确性的边缘点。 

然后，特征识别引擎130使用所产生的边缘映像产生局部最大值(步骤84)。具体地说，特征识别引擎130将比例SC1的边缘映像划分为具有2×2像素的大小的块。特征识别引擎130提取边缘映像的每一个块的最大值，并且按与对应的块相同的顺序排列这样提取的最大值，从而产生比例SC1的局部最大值LM1。也就是说，提取各个块中的像素值的最大值。 

类似地，特征识别引擎130将比例SC2的边缘映像划分为具有4×4像素的大小的块，提取每个块的最大值，并且按与对应的块相同的顺序排列这样提取的最大值。这样，产生比例SC2的局部最大值LM2。通过同样的方式，特征识别引擎130将比例SC3的边缘映像划分为具有8×8像素的大小的块， 并且从各个块的最大值产生比例SC3的局部最大值LM3。 

然后，使用以上产生的局部最大值，特征识别引擎130从被摄体区域提取边缘点。对于边缘点提取处理，如上所述，依照被摄体区域是面部区域和特征区域的哪一个来使用显著映像。此外，在被摄体区域是整个素材图像的情况下，依照被摄体区域是否具有等于或大于特征识别处理的最小有效大小，一起使用显著映像。 

具体地说，特征识别引擎130选择被摄体区域内的一个像素并且将其设置为焦点像素。使用显著映像的情况下，从在被摄体区域中高度显著并且像素值等于或高于预定值的特征区域中选择焦点像素。 

此外，特征识别引擎130通过下面的表达式(1)，获得与焦点像素相应的局部最大值LM1的像素的坐标(x1，y1)，假设在包括所选焦点像素的被摄体区域上的x-y坐标系统的坐标是(x，y)。 

(x1，y1)＝(x/4，y/4)...(1) 

从被摄体区域的4×4像素块中产生局部最大值LM1的一个像素。因此，与被摄体区域的焦点像素相应的局部最大值LM1的像素的坐标值是焦点像素的x坐标和y坐标的1/4。 

类似地，特征识别引擎130通过下面的表达式(2)获得与焦点像素相应的局部最大值LM2的像素的坐标(x2，y2)，以及通过下面的表达式(3)获得与焦点像素相应的局部最大值LM3的像素的坐标(x3，y3)。 

(x2，y2)＝(x/16，y/16)...(2) 

(x3，y3)＝(x/64，y/64)...(3) 

在坐标(x1，y1)、(x2，y2)和(x3，y3)的各个像素值等于或大于边缘参考值的情况下，特征识别引擎130在局部最大值LM1、局部最大值LM2和局部最大值LM3下提取焦点像素作为边缘点(步骤85)。然后，特征识别引擎130彼此关联地存储局部像素的坐标(x，y)与局部最大值LM1、LM2和LM3的坐标(x1，y1)、(x2，y2)和(x3，y3)的像素值。特征识别引擎130重复上述处理直到被摄体区域内的所有像素均已被当做焦点像素为止。 

从而，基于局部最大值LM1，提取包括在来自被摄体区域中的4×4像素块的、其中边缘强度等于或大于边缘参考值的块中的像素作为边缘点。 

类似地，基于局部最大值LM2，提取包括在来自被摄体区域中的16×16像素块的、其中边缘强度等于或大于边缘参考值的块中的像素作为边缘点。 另外，基于局部最大值LM3，提取包括在来自被摄体区域中的64×64像素块的、其中边缘强度等于或大于边缘参考值的块中的像素作为边缘点。 

从而，提取包括在其中边缘强度等于或大于边缘参考值的被摄体区域的4×4像素块、16×16像素块、64×64像素块中的至少一个中的像素作为边缘点。 

特征识别引擎130产生边缘点表格ET1作为这样的表格，在其中基于局部最大值LM1提取的边缘点的坐标(x，y)和与边缘点相应的局部最大值LM1的像素值彼此关联。 

类似地，特征识别引擎130产生边缘点表格ET2，在其中基于局部最大值LM2提取的边缘点的坐标(x，y)和与边缘点相应的局部最大值LM2的像素值彼此关联。另外，特征识别引擎130还产生边缘点表格ET3，在其中基于局部最大值LM3提取的边缘点的坐标(x，y)和与边缘点相应的局部最大值LM3的像素值彼此关联。 

然后，使用以上产生的边缘点表格ET1到ET3，特征识别引擎130判断边缘点提取量是否合适(步骤86)。例如，在所提取边缘点的总数，即边缘点表格ET1到ET3的数据项的总数小于提取参考值的情况下，判断边缘点提取量不合适。 

当判断边缘点提取量不合适(否)时，特征识别引擎130调整操作参数(步骤87)。例如，特征识别引擎130设置边缘参考值为小于当前时间设置的预定值，以提取比当前更大数量的边缘点。当调整了操作参数，处理返回到上述步骤85。这以后，重复上述处理直到判断为边缘点提取数量合适为止。 

为了通过以上处理提高模糊识别的精确度，关于低动态范围的图像，也从具有低边缘强度的块中提取边缘点，以便可以确保足够数量的边缘点来保持模糊识别精确度在确定级别之上。另一方面，关于高动态范围的图像，从具有尽可能高的边缘强度的块中提取边缘点，以使得提取构成具有更高强度的边缘的边缘点。 

在判断为边缘点提取量合适(是)的情况下，特征识别引擎130使用边缘参考值、边缘点表格和局部最大值执行边缘分析(步骤88)。 

具体地说，基于边缘点表格ET1到ET3，特征识别引擎130设置从被摄体区域提取的一个边缘点作为焦点像素。然后，利用像(x，y)的焦点像素的x-y坐标系统的坐标，特征识别引擎130通过上述表达式(1)到(3)， 获得关于与焦点像素相应的局部最大值LM1到LM3的像素的坐标(x1，y1)到(x3，y3)。 

特征识别引擎130给局部最大值1(x1，y1)设置在其中局部最大值LM1的坐标(x1，y1)的像素处于左上角的、具有m×m像素(例如，4×4像素)的局部最大值LM1的块中的像素的像素值的最大值。类似地，特征识别引擎130给局部最大值2(x2，y2)设置其中局部最大值LM2的坐标(x2，y2)的像素处于左上角的、具有n×n像素(例如，2×2像素)的局部最大值LM2的块中的像素的像素值的最大值。另外，特征识别引擎130给局部最大值3(x3，y3)设置局部最大值LM3的坐标(x3，y3)的像素的像素值。 

这里，用于局部最大值1(x1，y1)的设置的参数(m×m)和用于局部最大值2(x2，y2)的设置的参数(n×n)中的每一个都是用于调整被摄体区域的块的大小的差值的参数，该参数与局部最大值LM1到LM3中的一个像素相应。 

特征识别引擎130判断局部最大值1(x1，y1)、局部最大值2(x2，y2)和局部最大值3(x3，y3)是否满足下面的条件表达式(4)。 

局部最大值1(x1，y1)＞边缘参考值或 

局部最大值2(x2，y2)＞边缘参考值或 

局部最大值3(x3，y3)＞边缘参考值...(4) 

在局部最大值1(x1，y1)、局部最大值2(x2，y2)和局部最大值3(x3，y3)满足条件表达式(4)的情况下，特征识别引擎130按一递增变量Nedge的值。 

假定满足条件表达式(4)的边缘点为构成具有确定等级或更高等级的强度的边缘的边缘点，而不管与边缘点结构如何。 

图8A到8D是用于描述边缘种类的简图。图8A中示出的边缘是陡峭的脉冲式(impulse-like)边缘，图8B示出的边缘是具有比图8A中示出的边缘更缓和的坡度的脉搏式(pulse-like)边缘，图8C所示的边缘是阶梯型边缘，其具有基本上垂直的坡度，而图8D中示出的边缘是具有比图8C中示出的边缘更缓和的坡度的阶梯型边缘。 

当局部最大值1(x1，y1)、局部最大值2(x2，y2)和局部最大值3(x3，y3)满足条件表达式(4)时，特征识别引擎130进一步判断它们满足下面的条件表达式(5)还是(6)。 

局部最大值1(x1，y1)＜局部最大值2(x2，y2)＜最大值3(x3，y3)...(5) 

局部最大值2(x2，y2)＞局部最大值1(x1，y1)以及 

局部最大值2(x2，y2)＞局部最大值3(x3，y3)...(6) 

当局部最大值1(x1，y1)、局部最大值2(x2，y2)和局部最大值3(x3，y3)满足条件表达式(5)或(6)时，特征识别引擎130按一递增变量Nsmallblur的值。 

假定满足条件表达式(4)和条件表达式(5)或(6)的边缘点为构成具有拥有确定等级或更高等级的强度但该强度低于图8A或8C的边缘强度的图8B或8D的结构的边缘的边缘点。 

当局部最大值1(x1，y1)、局部最大值2(x2，y2)和局部最大值3(x3，y3)满足条件表达式(4)和条件表达式(5)或(6)时，特征识别引擎130进一步判断局部最大值1(x1，y1)是否满足下面的条件表达式(7)。 

局部最大值1(x1，y1)＜边缘参考值...(7) 

当局部最大值1(x1，y1)满足条件表达式(7)时，特征识别引擎130按一递增变量Nlargeblur的值。 

假定满足条件表达式(4)、条件表达式(5)或(6)和条件表达式(7)的边缘点为构成来自具有确定等级或更高等级的强度的、在其中引起模糊并且损失清晰度的边缘和图8B或8D的结构的边缘点。换句话说，假定在边缘点引起模糊。 

特征识别引擎130重复以上处理直到从被摄体区域提取的所有边缘点都是焦点像素为止。通过该处理，从提取的边缘点获得Nedge边缘点数量Nedge、边缘点数量Nsmallblur和边缘点数量Nlargeblur。 

这里，数量Ndege是满足条件表达式(5)的边缘点数量，而数量Nsmallblur是满足条件表达式(4)和条件表达式(5)或(6)的边缘点数量。数量Nlargeblur是满足条件表达式(4)、条件表达式(5)或(6)以及条件表达式(7)的边缘点数量。 

随后，特征识别引擎130使用所算出的数量Nsmallblur和数量Nlargeblur并且计算条件表达式(8)来计算成为被摄体区域的模糊度的指标(indicator)的区域模糊指数(步骤89)。 

区域模糊指数＝Nlargeblur/Nsmallblur...(8) 

这就是说，区域模糊指数是被假定为构成引起模糊的边缘的边缘点，与 被假定为构成具有确定等级或更高等级的强度和图8B或8D的结构的边缘的边缘点的比率。因而，假定随着区域模糊指数越来越高，被摄体区域的模糊度越来越大，并且随着区域模糊指数越来越小，被摄体区域的模糊度越来越小。将区域模糊指数计算为例如在0到1000变化的一个值。 

特征识别引擎130输出所算出的区域模糊指数到特征识别插件，并且终止模糊识别处理。 

(元数据分析部件的图像模糊指数的计算处理) 

接下来，元数据分析部分21的特征识别插件基于从特征识别引擎130获取的被摄体区域的区域模糊指数，计算整个图像的图像模糊指数(图3的步骤38)。图9是详细示出图像模糊指数的计算处理的流程的流程图。 

如图9所示，特征识别插件从特征识别引擎130获取单个素材图像中的被摄体区域的区域模糊指数(步骤91)，然后判断是否已经获取了有效的模糊识别结果(步骤92)。 

在没有获取有效地模糊识别结果的情况下(否)，特征识别插件设置图像模糊指数为无效值“-1”(步骤97)。这里，还没有获取有效的模糊识别结果的情况指的是从特征识别引擎130获取的区域模糊指数是异常值的情况，或在如图6中的步骤64的情况(否)所示，首先未将矩形区域提供给特征识别引擎130。图像模糊指数登记在元数据累积部件22中。 

在已经获取有效模糊识别结果的情况下(是)，特征识别插件判断是否已经从一个素材图像的多个被摄体区域获取了有效的模糊识别结果(步骤92)。 

在已经从一个素材图像的仅一个被摄体区域获取了有效模糊识别结果的情况下(否)，特征识别插件设置所获取的区域模糊指数作为图像模糊指数(步骤98)。在这种情况下，虽然图像模糊指数被计算为从0到100变化的值，但由特征识别引擎130所算出的区域模糊指数从0到1000变化。因此，特征识别插件将通过把区域模糊指数除以10得到的值设置为图像模糊指数。这种图像模糊指数也被登记在元数据部件22中。 

在已经从一个素材图像的多个被摄体区域获取了有效模糊识别结果的情况下(是)，特征识别插件判断来自被摄体区域的模糊识别结果是否是从面部区域或特征区域获取的(步骤94)。 

在已经从多个面部区域获取了模糊识别结果的情况下(是)，特征识别 插件与面部区域的尺寸成比例地对面部区域的区域模糊指数执行加权平均。作为结果，计算关于作为区域模糊指数的计算源的一个素材图像的一个图像模糊指数(步骤95)。 

在已经从多个特征区域获取模糊识别结果的情况下(否)，特征识别插件与特征区域的尺寸和其特征识别得分成比例地对特征区域的区域模糊指数执行加权平均。作为结果，计算关于作为特征识别得分的计算源的一个素材图像的一个图像模糊指数(步骤96)。 

图10是示出在上述步骤96和96中计算的图像模糊指数的计算公式的简图。 

如图10所示，通过使用被摄体区域n的尺寸(Sn)和被摄体区域n的识别得分(Dn)作为权重，对一个素材图像中的被摄体区域n的区域模糊指数(Bn)执行加权求和，并且求和结果除以权重的总和，来计算图像模糊指数。当被摄体区域是特征区域时，Dn是特征区域的区域模糊指数。当被摄体区域使面部区域时，Dn固定为1。也就是说，当被摄体区域是面部区域时，不执行与面部识别得分成比例的加权。这里，n是用于标识从一个素材图像中识别的多个被摄体区域的值。应当注意的是，因为如上所述，从表示在值在0到1000的范围的区域模糊指数中所算出的图像模糊指数被表达在从0到100的范围内，因此在这个计算公式中，分母被乘以10。 

因为一般认为，随着每个被摄体区域的尺寸越大，被摄体区域越有可能吸引观众的注意，因此与各个被摄体区域的尺寸成比例地执行加权。另外，关于面部区域，不与面部识别得分成比例地执行加权。这是因为，通常认为，当识别到被摄体是面部时，观众有很大可能无条件地盯着面部区域，而不管面部区域的识别得分(特征量)如何。另一方面，关于特征区域，因为特征识别插件可能很难识别特征区域的被摄体是什么以及该被摄体是否易于吸引注意，所以在计算图像模糊指数时与特征识别得分成比例地执行加权。 

图像识别指数的计算处理在素材图像被装入(take in)PC 100的存储部件8中时开始。在元数据累积部件22中与素材图像关联地登记所算出的图像模糊指数。在下述的模糊图像分拣处理中，基于已经所算出的图像模糊指数执行模糊图像的分拣。 

(模糊图像分拣处理) 

接下来，将描述基于如上述所算出的图像模糊指数的模糊图像分拣处理。 

图11是示出模糊图像分拣部件23和图像显示部件24的处理的流程的流程图。 

如图11所示，图像显示部件24显示素材选择屏幕，其用于使得用户在由电影创作应用20执行的电影创作步骤的开始选择电影的素材(步骤101)。 

图12A和12B是示出素材选择屏幕的简图。如图12A和12B所示，素材选择屏幕110包括模糊图像分拣按钮111，其用于仅仅分拣和显示来自在存储部件8中存储并且可以成为用于电影的素材的多个静止图像的模糊图像。素材选择屏幕110还包括人图像分拣按钮112、微笑图像分拣按钮113、声音图像分拣按钮114、语音图像分拣按钮115、运动图像分拣按钮116和静止图像分拣按钮117。人图像分拣按钮112是用于按图像内的人的数量，仅仅分拣并显示有人在其内的静止图像的按钮。微笑图像分拣按钮113是用于仅仅分拣并显示有人的微笑在其内的静止图像的按钮。声音图像分拣按钮114是用于仅仅分拣并且显示包括除人语音以外的声音的运动图像的按钮。语音图像分拣按钮115是用于仅仅分拣并且显示包括人的语音的运动图像的按钮。运动图像分拣按钮116和静止图像分拣按钮117是用于仅仅分拣并且显示来自多个素材(运动图像和静止图像)中的运动图像或静止图像的按钮。图12A示出了由静止图像分拣按钮117显示仅仅静止图像118的列表的情况。在显示的多个静止图像118中，静止图像118a和118b是模糊图像。 

返回图11，模糊图像分拣部件23判断用户是否按下模糊图像分拣按钮111(步骤102)。当判断已经按下了模糊图像分拣按钮111时(是)，模糊图像分拣部件23从元数据累积部件22获取每一个静止图像的上述图像模糊指数(步骤103)。 

随后，模糊图像分拣部件23关于多个静止图像一个一个地判断所获取的图像模糊指数是否等于或大于预定阈值(步骤104)。例如，预定阈值是60，但不仅限于此。 

当静止图像的图像模糊指数小于阈值时(否)，模糊图像分拣部件23对下一个静止图像执行判断。 

当静止图像的图像模糊指数等于或大于阈值(是)，模糊图像分拣部件23分拣静止图像作为模糊图像，并且指令图像显示部件24仅显示分拣出的模糊图像(步骤105)。 

然后，按照来自模糊图像分拣部件23的指令，图像显示部件24切换显 示以仅显示从到目前为止已经显示的多个静止图像中的模糊图像(步骤106)。 

图12B示出由正在按下模糊图像分拣按钮111仅仅分拣出模糊图像的情形。如图12B所示，在图12A所示的静止图像118中，仅仅分拣并显示模糊图像118a和118b。 

用户可以通过删除它们或在不同于其他静止图像的存储区域存储它们，来从用于电影的素材中移除已经分拣出并显示了的模糊图像118a和118b。也就是说，用户可以仅通过在素材选择屏幕110上按下模糊图像分拣按钮111，立即抓取不需要的模糊图像。 

(总结) 

如上所述，在本实施方式中，PC 100可以基于素材图像内的一个或多个被摄体区域(面部区域或特征区域)的一个区域模糊指数或多个区域模糊指数，为一个素材图像计算一个图像模糊指数。在从素材图像内的多个被摄体区域计算有效区域模糊指数的情况下，将各个区域模糊指数与被摄体区域的尺寸(和识别得分)成比例地经历加权平均，从而计算图像模糊指数。然后，当在素材选择屏幕110上按下模糊图像分拣按钮111时，基于图像模糊指数仅分拣并显示模糊图像。从而，利用可以更精确地分拣出模糊图像的结果，PC 100区分在更可能吸引观众的注意的素材图像中的被摄体区域，另外还处理被摄体区域以使得当更吸引注意的被摄体区域变得更模糊时，整个图像的模糊指数变的更高。 

(变型) 

本发明不仅限于上述实施方式，可以做出各种变型，而不偏离本发明的主旨。 

在上述的实施方式中，当在素材选择屏幕110上按下模糊图像分拣按钮111，并分拣出并在其上显示模糊图像时，用户适当地做出各种处理，如删除。然而，当素材图像被装入PC 100中时，电影创作应用20可以执行图像模糊指数计算处理和模糊图像的分拣处理，并且自动删除模糊图像。此外，在这种情况下，电影创作应用20可以为用户显示确认信息，例如，“装入的图像包括模糊图像。删除模糊图像？”，并且依照用户的指令删除模糊图像。当装入素材图像时，电影创作应用20可以执行模糊图像的分拣处理，并且关于模糊图像，停止提取它们到PC 100中。同样在这个情况下，可以显示用户用于确认停止装入模糊图像的信息。此外，电影创作应用20可以有规律地执行 模糊图像的分拣处理，例如，一天一次或一周一次，而不是在装入素材图像的时间，并且依照用户的指令自动地删除模糊图像。 

在上述实施方式中，特征识别引擎130通过产生显著映像从图像中提取特征区域。然而，特征区域的提取不仅限于使用显著映像的情况。例如，可以将在以所谓黄金分割的比率划分图像的线上存在的对象检测为被摄体。 

在上述实施方式中，特征识别引擎130基于亮度映像、色彩映像和边缘映像产生显著映像。然而，显著映像也可以基于关于其他特征的映像，例如，从连续图像的运动矢量上的特征产生的运动矢量映像来产生。 

在上述实施方式中，电影创作应用20从多个静止图像执行模糊图像分拣。然而，电影创作应用20也可以通过相似的方式从多个运动图像中分拣模糊图像。在这种情况下，电影创作应用20可以通过将构成多个运动图像的帧处理成上述静止图像，来分拣出包含模糊图像的视频作为模糊视频。在这种情况下，在所有帧中，可以分拣出包括预定帧比率或更高的模糊图像的运动图像作为模糊图像。 

在上述实施方式中，已经描述了模糊图像分拣功能作为电影创作应用的功能。然而，除电影创作应用外的应用可能包括上述模糊图像分拣功能，或者仅具有模糊图像分拣功能的通用应用可以独立存在。在这种情况下，面部识别引擎120和特征识别引擎130可以作为与具有模糊图像分拣功能的应用相分离的外部引擎存在，或者可以作为内部引擎存在。 

在上述实施方式中，对存储在作为PC 100的局部存储部件的存储部件8中的静止图像执行模糊图像分拣。然而，PC 100可以对存储在经由通信部件9连接的网络上的存储部件中的静止图像执行模糊图像分拣处理。 

在上述实施方式中，由软件执行在模糊图像分拣处理中的各个处理。然而，包括面部识别处理、特征识别处理、模糊识别处理和模糊图像分拣处理在内的各个处理可以由各种硬件(诸如实现那些处理的电路板)执行。 

在上述实施方式中，PC作为电子设备的示范。然而，本发明可以以相同方式，应用于其他电子设备，包括电视设备、使用记录介质(如HDD(硬盘驱动器)、DVD和BD(蓝光盘))的记录/再现设备、数字照相机、数字录像机、便携式AV设备、便携式电话以及游戏设备。 

本申请包含涉及于2008年9月24在日本专利局提交的日本优先权专利申请JP 2008-244816中公开的主题的主题，该优先权专利申请的完整内容通 过引用合并在这里。 

本领域普通技术人员应该理解，在所附权利要求书或其等同物的范围内，依据迄今的设计要求和其他因素可以呈现各种变型、组合、部件组合和变更。 

Claims (8)

1.一种电子设备，包括：

提取装置，用于从图像中提取在图像中具有预定特征的被摄体区域；

第一计算装置，用于计算指示所提取的被摄体区域的模糊度的第一模糊度；

第二计算装置，用于当从其计算第一模糊度的图像中的被摄体区域的个数是一个时，基于第一模糊度计算指示整个图像的模糊度的第二模糊度，而当从其计算第一模糊度的图像中的被摄体区域的个数是多个时，基于通过与多个被摄体区域的尺寸成比例地对多个第一模糊度执行加权平均获得的值，计算第二模糊度；以及

分拣装置，用于从多个图像中分拣具有等于或大于预定阈值的所算出的第二模糊度的图像作为模糊图像，

其中所述被摄体区域是人脸的面部区域。

2.如权利要求1所述的电子设备，还包括：

优化装置，用于优化所提取的被摄体区域，以使所提取的被摄体区域将具有足够第一模糊度的计算的预定大小。

3.如权利要求2所述的电子设备，

其中，该提取装置计算得分，其指示被摄体区域的提取的确定性，以及

其中，当从其计算第一模糊度的图像中的被摄体区域的个数是多个时，该第二计算装置基于通过与多个被摄体区域的尺寸和所算出的得分成比例地对多个第一模糊度执行加权平均而获得的值，计算第二模糊度。

4.如权利要求3所述的电子设备，

其中，该提取装置包括

面部识别装置，用于识别人脸的面部区域，并且计算指示识别出的面部区域的得分的第一得分，和

特征识别装置，用于识别视觉上显著的特征区域作为被摄体区域，并且计算指示识别出的特征区域的得分的第二得分，以及

其中，在从其计算第一模糊度的图像中的被摄体区域的个数是多个的情况下，当面部区域被面部识别装置识别为被摄体区域时，该第二计算装置在加权平均中不使用第一得分来计算第二模糊度，而当特征区域被特征识别装置识别为被摄体区域时，第二计算装置在加权平均中使用第二得分来计算第二模糊度。

5.如权利要求2所述的电子设备，

其中，当没有提取到被摄体区域时，该第一计算装置用整个图像作为被摄体区域来计算第一模糊度。

6.如权利要求2所述的电子设备，还包括：

操作接收装置，用于接收用户的操作；以及

显示装置，用于显示多个图像，

其中，分拣装置依照用户的预定操作分拣出模糊图像，以及

其中，当接收到预定操作时，显示装置仅显示该多个显示图像中被分拣出的模糊图像。

7.一种模糊图像分拣方法，包括：

从图像中提取在图像中具有预定特征的被摄体区域；

计算指示所提取的被摄体区域的模糊度的第一模糊度；

当从其计算第一模糊度的图像中的被摄体区域的个数是一个时，基于第一模糊度计算指示整个图像的模糊度的第二模糊度，而当从其计算第一模糊度的图像中的被摄体区域的个数是多个时，基于通过与多个被摄体区域的尺寸成比例地对多个第一模糊度执行加权平均获得的值，计算第二模糊度；以及

从多个图像中分拣具有等于或大于预定阈值的所算出的第二模糊度的图像作为模糊图像，

其中所述被摄体区域是人脸的面部区域。

8.一种模糊图像分拣方法，包括：

优化具有预定特征的被摄体区域，其从图像中被提取以使该被摄体区域具有预定大小；

获取从经优化的被摄体区域中算出并且指示被摄体区域的模糊度的第一模糊度；

当从其计算第一模糊度的图像中的被摄体区域的个数是一个时，基于第一模糊度计算指示整个图像的模糊度的第二模糊度，而当从其计算第一模糊度的图像中的被摄体区域的个数是多个时，基于通过与多个被摄体区域的尺寸成比例地对多个第一模糊度执行加权平均获得的值，计算第二模糊度；以及

从多个图像中分拣具有等于或大于预定阈值的所算出的第二模糊度的图像作为模糊图像，

其中所述被摄体区域是人脸的面部区域。

Images