CN101959018B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理设备、图像处理方法和程序。具体地，本发明公开了一种用于改善所拍摄图像的质量的设备和方法，所述设备可以包括第一计算单元、第二计算单元和建议生成单元。第一计算单元可以被配置为计算第一值，所述第一值表示第一图像的质量的第一方面。第二计算单元可以被配置为计算第二值，所述第二值表示第一图像的质量的第二方面。建议生成单元可以被配置为根据计算的第一值和第二值的至少一个生成用于拍摄第二图像的建议。

Description

图像处理设备和图像处理方法

对相关申请的交叉引用 

本申请要求2009年7月17日提交的日本专利申请No.2009-168500的优先权，其整体内容通过引用合并于此。 

技术领域

本公开涉及图像处理设备、图像处理方法和程序，具体地，涉及允许用户拍摄非常有吸引力的图像的图像处理设备、图像处理方法和程序。 

背景技术

为了用户拍摄非常有吸引力的图像，已经开发了当用户拍摄图像时向用户提供建议的摄像设备。 

一些这样的摄像设备检测要拍摄的图像中人的脸部图像的位置，并且输出用于指示摄像设备的适当方向的语音消息，以使得所检测的脸部图像位于要拍摄的图像中的预定位置处(参见例如日本未审查专利申请公布No.2005-269562)。 

另外，一些这样的摄像设备检测要拍摄的图像的构图距响应于用户指令预先拍摄的预备图像的位移量，并且显示指示根据检测结果应当移动摄像设备的方向的子图像(参见例如日本未审查专利申请公布No.2006-222690)。如果用户转动摄像设备以使其面向由所述子图像指示的方向，则用户可以拍摄具有与预备图像相同构图的图像。 

发明内容

但是，在上述技术中，难于向用户提供适当的建议，以使用户拍摄非常有吸引力的图像。 

例如，如果主题不是人，则使用人的脸部图像的位置来输出指示摄像设备的适当方向的语音消息的摄像设备不能向用户提供建议。另外，仅可以使用摄像设备来拍摄具有预定构图的图像。 

另外，检测要拍摄的图像的构图距预备图像的构图的位移量的摄像设备可以重建与预备图像的构图相同的构图。但是，因为预备图像由用户拍摄，所以预备图像可能不是广受赞扬的图像，即不是非常有吸引力的图像。因此，即使当用户在遵循摄像设备给出的建议拍摄图像时，也不一定拍摄到有吸引力的图像。 

因此，公开了一种用于改善所拍摄图像的质量的设备。所述设备可以包括第一计算单元，可以被配置为计算表示第一图像的质量的第一方面的第一值。所述设备还可以包括第二计算单元，可以被配置为计算表示第一图像的质量的第二方面的第二值。另外，所述设备可以包括建议生成单元，可以被配置为根据计算的所述第一值和第二值的至少一个生成用于拍摄第二图像的建议。 

附图说明

图1图示了根据本发明的一个实施例的图像处理设备的示例配置； 

图2图示了模糊度点数计算单元的示例配置； 

图3图示了亮度点数计算单元的示例配置； 

图4图示了主题提取单元的示例配置； 

图5图示了亮度信息提取单元的示例配置； 

图6图示了色彩信息提取单元的示例配置； 

图7图示了边缘信息提取单元的示例配置； 

图8图示了脸部信息提取单元的示例配置； 

图9图示了运动信息提取单元的示例配置； 

图10图示了边缘点数计算单元的示例配置； 

图11图示了饱和度点数计算单元的示例配置； 

图12是示例图像拍摄处理的流程图； 

图13是示例模糊度点数计算处理的流程图； 

图14图示了边缘图的生成； 

图15图示了局部最大值的生成； 

图16A至16D图示了边缘结构的示例； 

图17图示了示例模糊度分数转换表； 

图18图示了用于向模糊度分数分配点数的方法； 

图19是示例亮度点数计算处理的流程图； 

图20是示例主题图生成处理的流程图； 

图21是示例亮度信息提取处理的流程图； 

图22是示例色彩信息提取处理的流程图； 

图23是示例边缘信息提取处理的流程图； 

图24是示例脸部信息提取处理的流程图； 

图25是示例运动信息提取处理的流程图； 

图26是示例边缘点数计算处理的流程图； 

图27是示例饱和度点数计算处理的流程图； 

图28是示例建议生成处理的流程图；以及 

图29图示了计算机的示例配置。 

具体实施方式

下面参照附图描述本发明的示例实施例。 

图像处理设备的配置 

图1图示了根据本发明的一个实施例的图像处理设备的示例配置。 

图1中所示的图像处理设备11的示例是诸如照像机等的摄像设备。图像处理设备11计算用于指示输入图像是否拍摄地有吸引力的值(点数)，即输入的拍摄图像的评价级别。随后，为了获得非常有吸引力的输入图像，图像处理设备11根据输入图像的计算的点数来显示建议消息。 

在评价输入图像时，输入图像越类似于由专业摄影师拍摄的图像，则输入图像收到越高的评价，从而具有越高的点数。即，具有较高点数的输入图像表示较好的拍摄图像。另外，针对从输入图像提取的每个特征、即每个评价指标计算输入图像的点数。 

图像处理设备11包括摄像单元21、获取单元22、模糊度点数计算单元23、亮度点数计算单元24、边缘点数计算单元25、色彩饱和度点数计算单元26、建议生成单元27、显示控制单元28和显示单元29。 

摄像单元21包括例如图像传感器。响应于用户执行的操作，摄像单元21拍摄输入图像，并且将所拍摄的输入图像提供给获取单元22和显示控制单元28。例如，输入图像是运动图像，并且输入图像的每个像素具有像素值形式的R(红色)、G(绿色)和B(蓝色)分量的值。 

获取单元22拍摄从摄像单元21提供的一个帧的输入图像。其后，获取单元22将所获得的输入图像(静止图像)提供给模糊度点数计算单元23、亮度点数计算单元24、边缘点数计算单元25和色彩饱和度点数计算单元26。另外，响应于用户执行的操作，获取单元22将所拍摄的输入图像以拍摄的静止图像的形式提供给记录单元(未示出)。从而，所拍摄的输入图像被记录单元记录。 

从模糊度点数计算单元23到色彩饱和度点数计算单元26的单元从自获取单元22提供的输入图像中提取预定类型的特征，并且对每个所提取的特征计算指示输入图像质量(例如吸引力)的点数。因此，从模糊度点数计算单元23到色彩饱和度点数计算单元26的每个单元被配置为计算表示输入图像的质量的一个方面的值。 

即，模糊度点数计算单元23从输入图像中提取作为预定特征之一的边缘强度，并且根据边缘强度计算作为输入图像的模糊度(模糊)的指标的模糊度点数。亮度点数计算单元24从输入图像中提取作为预定特征之一的亮度值，并且使用亮度值来计算亮度点数。亮度点数指示根据输入图像的主题部分(前景部分)中的亮度级别的分布计算的评价级别。 

边缘点数计算单元25从输入图像中提取作为预定特征之一的边缘强度，并且使用边缘强度来计算边缘点数，其指示根据输入图像的背景部分中的边缘的复杂度计算的背景复杂度的评价级别。色彩饱和度点数计算单元26从输入图像中提取作为预定特征之一的色彩饱和度，并且使用色彩饱和度来计算色彩饱和度点数，其指示根据输入图像中的色彩饱和度的分布的平均值和方差计算的评价级别。 

从模糊度点数计算单元23到色彩饱和度点数计算单元26的单元向建议生成单元27提供所计算的模糊度、亮度、边缘和色彩饱和度的点数。注意以下，当在模糊度、亮度、边缘和色彩饱和度的点数之间的区别不必 要时，所述点数被称为“特征的点数”。 

为了允许用户拍摄非常有吸引力的图像，建议生成单元27使用从自模糊度点数计算单元23到色彩饱和度点数计算单元26的单元接收的各个特征的点数来生成建议消息。其后，建议生成单元27将所述建议消息提供给显示控制单元28。例如，所述建议消息具有文本数据的形式。针对从输入图像提取的每个特征(每个特征的点数)准备预定的文本建议消息。 

显示控制单元28将从摄像单元21提供的输入图像提供给显示单元29。从而显示输入图像。另外，显示控制单元28将从建议生成单元27提供的建议消息提供给显示单元29。从而，在显示单元29上显示建议消息。显示单元29例如包括液晶显示器。在显示控制单元28的控制下，显示单元29显示输入图像和建议消息。 

显示单元29上显示的输入图像是由图像处理设备11拍摄的预览图像。在观察显示单元29上显示的输入图像的同时，用户移动图像处理设备11并改变图像处理设备11相对于主题的角度。从而用户可以确定构图。 

在确定构图后，用户操作图像处理设备11以便指示图像处理设备11拍摄图像。然后，当指示图像拍摄时获取单元22拍摄输入图像的帧，并且将帧记录为拍摄的输入图像。 

此时，如果用户通过根据显示单元29上显示的建议通过操作图像处理设备11来改变输入图像的构图或者控制白平衡并且指示图像处理设备11拍摄图像，则可以获得更有吸引力的输入图像。 

模糊度点数计算单元的配置 

图1中所示的模糊度点数计算单元23具有如图2中详细图示的配置。 

即，模糊度点数计算单元23包括边缘图生成单元61、动态范围检测单元62、计算参数控制单元63、局部最大值生成单元64、边缘像素提取单元65、提取量确定单元66、边缘分析单元67、模糊度检测单元68和转换单元69。 

边缘图生成单元61针对具有不同尺寸的每个块以每块为基础检测从获取单元22提供的输入图像的边缘的强度(边缘强度)。其后，边缘图生成单元61生成包括指示所检测的边缘强度的像素值的边缘图。针对每个块尺寸生成边缘图。因此，按块尺寸的升序生成具有规模SC1到SC3的 边缘图。边缘图生成单元61将三个生成的边缘图提供给动态范围检测单元62和局部最大值生成单元64。 

动态范围检测单元62使用从边缘图生成单元61提供的边缘图检测动态范围，动态范围定义为输入图像的边缘强度的最大值和最小值之间的差。其后，动态范围检测单元62将检测结果提供给计算参数控制单元63。 

计算参数控制单元63使用从动态范围检测单元62提供的检测结果来控制用于提取边缘像素的计算参数，以使得所提取的边缘像素的数量为适当值。所提取的边缘像素的数量用于检测输入图像的模糊度(以下也称为“所提取的边缘像素数量”)。在此使用的术语“边缘像素”表示构成图像中边缘的像素。 

另外，计算参数包括用于确定像素是否是边缘像素的边缘参考值和用于确定所提取的边缘像素数量是否适当的提取参考值。计算参数控制单元63将边缘参考值提供给边缘像素提取单元65和提取量确定单元66，并且将提取参考值提供给提取量确定单元66。 

局部最大值生成单元64将从边缘图生成单元61提供的边缘图分割为分别具有预定尺寸的块。其后，局部最大值生成单元64提取每个块的最大像素值，并且生成局部最大值。针对每个边缘图规模生成局部最大值。局部最大值生成单元64将局部最大值提供给边缘像素提取单元65和边缘分析单元67。以下，从具有规模SC1到SC3的边缘图生成的局部最大值分别被称为“局部最大值LM1到LM3”。 

边缘像素提取单元65使用从计算参数控制单元63提供的边缘参考值和从局部最大值生成单元64提供的局部最大值从输入图像提取边缘像素。另外，边缘像素提取单元65生成表示关于所提取的边缘像素的信息的边缘像素表，并且将所生成的边缘像素表提供给提取量确定单元66。以下，从局部最大值LM1到LM3生成的边缘像素表分别被称为“边缘像素表ET1到ET3”。 

提取量确定单元66使用从边缘像素提取单元65提供的边缘像素表和从计算参数控制单元63提供的提取参考值来确定所提取的边缘像素数量是否是适当的。如果所提取的边缘像素数量不适当，则提取量确定单元66向计算参数控制单元63发送指示所提取的边缘像素数量不适当的消息。但是，如果所提取的边缘像素数量适当，则提取量确定单元66向边缘分析单元67提供当前的边缘参考值和边缘像素表。 

边缘分析单元67基于从提取量确定单元66提供的边缘像素表分析输入图像的边缘像素。其后，边缘分析单元67将分析结果提供给模糊度检测单元68。模糊度检测单元68检测作为输入图像的模糊的指标的模糊度，并且将模糊度转换为模糊度分数。其后，模糊度检测单元68将模糊度分数提供给转换单元69。注意，模糊度分数表示输入图像的模糊度。当所述分数提高时，输入图像整体更模糊。 

转换单元69使用预先存储的转换表将从模糊度检测单元68提供的模糊度分数转换为模糊度点数，并且将模糊度点数提供给建议生成单元27。在此使用的术语“模糊度点数”表示使用模糊度作为指标时输入图像的吸引力的评价值。当输入图像的模糊量增大时，模糊度点数降低。 

亮度点数计算单元的配置 

图1中所示的亮度点数计算单元24具有如图3中详细图示的配置。 

即亮度点数计算单元24包括平均亮度计算单元91、主题提取单元92、乘法器单元93、直方图生成单元94、规范化单元95、分数计算单元96和转换单元97。从获取单元22提供的输入图像被提供给平均亮度计算单元91、主题提取单元92和乘法器单元93。 

使用从获取单元22提供的输入图像，平均亮度计算单元91计算作为输入图像的像素的亮度值的平均值的平均亮度，并且将所述平均亮度提供给转换单元97。 

主题提取单元92将输入图像的前景部分与输入图像的背景部分分离。例如，主题提取单元92使用从获取单元22提供的输入图像生成用于提取包括主题的输入图像的区域的主题图，并且将所生成的主题图提供给乘法器单元93。 

例如，如果在主题的区域中包括位于与主题图的像素同一位置处的输入图像的像素，则主题图的像素的像素值被设置为“1”。但是，如果在主题的区域中不包括位于与主题图的像素同一位置处的输入图像的像素，则主题图的像素的像素值被设置为“0”。在此使用的术语“主题”指的是当用户扫视输入图像时看起来吸引用户的注意力的输入图像中的对象。因此，主题不一定是人。 

乘法器单元93将从获取单元22提供的输入图像的每个像素的像素值乘以从主题提取单元92提供的主题图的对应像素的像素值。因此，乘法 器单元93生成作为输入图像中主题区域的图像的主题图像，并且将所生成的主题图像提供给直方图生成单元94。在主题图像中，主题的像素的像素值与位于同一位置处的输入图像的像素的像素值相同，并且不包括主题的背景图像的像素的像素值被设置为“0”。即，通过由乘法器单元93执行的乘法处理，识别(提取)出输入图像中的主题区域，并且生成仅包括主题的主题图像。 

直方图生成单元94使用从乘法器单元93提供的主题图像生成主题图像的亮度值的直方图，并且将所生成的直方图提供给规范化单元95。规范化单元95规范化从直方图生成单元94提供的直方图，并且将规范化的直方图提供给分数计算单元96。 

分数计算单元96使用从规范化单元95提供的直方图计算亮度分数，并且将亮度分数提供给转换单元97。亮度分数表示输入图像的前景部分的亮度分布与先前准备的有吸引力的图像的前景部分的亮度分布之间的相似度。 

转换单元97使用预先存储的转换表将从分数计算单元96提供的亮度分数转换为亮度点数。通过转换获得的亮度点数使用输入图像的前景的亮度分布作为指示来表示输入图像的吸引力。另外，转换单元97将通过转换获得的亮度点数和从平均亮度计算单元91提供的平均亮度提供给建议生成单元27。 

主题提取单元的配置 

图3中所示的主题提取单元92具有如图4中详细图示的配置。 

即，主题提取单元92包括亮度信息提取单元121、色彩信息提取单元122、边缘信息提取单元123、脸部信息提取单元124、运动信息提取单元125和主题图生成单元126。另外，从获取单元22提供的输入图像被提供给主题提取单元92的从亮度信息提取单元121到运动信息提取单元125的单元。 

从亮度信息提取单元121到运动信息提取单元125的单元从自获取单元22提供的输入图像中提取主题区域比非主题区域具有更大程度的特征。其后，所述单元生成指示输入图像的每个区域作为主题区域的可能性的信息图。 

更具体地，亮度信息提取单元121从输入图像提取亮度值，并且生成 指示关于输入图像的每个区域的亮度的信息的亮度信息图。其后，亮度信息提取单元121将所生成的亮度图提供给主题图生成单元126。色彩信息提取单元122从输入图像中提取预定的色彩分量，并且生成指示关于输入图像的每个区域的色彩的信息的色彩信息图。其后，色彩信息提取单元122将所生成的色彩信息图提供给主题图生成单元126。 

边缘信息提取单元123从输入图像中提取边缘强度，并且生成指示关于输入图像的每个区域的边缘的信息的边缘信息图。其后，边缘信息提取单元123将所生成的边缘信息图提供给主题图生成单元126。脸部信息提取单元124从输入图像中提取人脸的特征，并且生成指示关于输入图像的每个区域的作为主题的人脸的信息的脸部信息图。其后，脸部信息提取单元124将所生成的脸部信息图提供给主题图生成单元126。运动信息提取单元125从输入图像中提取运动向量，并且生成指示输入图像的每个区域的运动的运动信息图。其后，运动信息提取单元125将所生成的运动信息图提供给主题图生成单元126。 

注意，以下，当在从亮度信息提取单元121到运动信息提取单元125输出的亮度信息图、色彩信息图、边缘信息图、脸部信息图和运动信息图之间的区别不必要时，所述图被简称为“信息图”。信息图中包含的信息表示在包括主题的区域中比在不包括主题的区域中更大程度地包含的信息。每个区域的信息被布置为对应于一个区域，并且形成信息图。即，信息图包含指示输入图像的各个区域的特征的信息。 

因此，在每个信息图中包含比其他区域更多的信息量的区域、即对应于具有大量信息的区域的输入图像的区域被当作很可能包括主题的区域。因此，通过使用信息图，可以识别包括主题的输入图像的区域。 

主题图生成单元126线性地组合从自亮度信息提取单元121到运动信息提取单元125的单元提供的信息图，并且生成主题图。即，关于位于同一位置处的亮度信息图到运动信息图的区域的信息项(特征)被加权并求和。对于图的整个区域重复该求和运算。从而生成主题图。主题图生成单元126将所生成的主题图提供给乘法器单元93。 

亮度信息提取单元的配置 

将参照图5至图9更详细地描述图4中所示的从亮度信息提取单元121到运动信息提取单元125的单元的配置。 

图5更详细地图示了亮度信息提取单元121的示例配置。 

亮度信息提取单元121包括亮度图像生成单元151、金字塔图像生成单元152、差计算单元153和亮度信息图生成单元154。 

亮度图像生成单元151使用从获取单元22提供的输入图像生成亮度图像，并且将所生成的亮度图像提供给金字塔图像生成单元152。亮度图像包括具有与输入图像相同像素值的像素。即，在任何点的亮度图像的像素的像素值和位于与该点相同位置处的输入图像的像素的亮度值相同。 

金字塔图像生成单元152使用从亮度图像生成单元151提供的亮度图像生成具有不同分辨率的多个亮度图像，并且以亮度图像的金字塔图像的形式向差计算单元153提供所生成的亮度图像。 

例如，生成具有L1到L8级的8层的金字塔图像。L1级中的金字塔图像具有最高的分辨率，并且金字塔图像的分辨率从L1级向L8级降低。 

在这种情况下，由亮度图像生成单元151生成的亮度图像用作L1级中的金字塔图像。另外，在Li(1≤i≤7)级的金字塔图像中，四个相邻像素的像素值的平均值表示L(i+1)级的金字塔图像的像素的像素值。因此，L(i+1)级的金字塔图像具有在横向和纵向上为Li级的金字塔图像的尺寸的一半的尺寸(如果尺寸不能被2除，则尺寸四舍五入)。 

差计算单元153从金字塔图像生成单元152提供的多个金字塔图像中选择不同层的两个金字塔图像，并且计算所选择的金字塔图像之间的差。以这种方式，差计算单元153生成亮度上的差图像。注意，不同层中的金字塔图像的尺寸(像素的数量)彼此不同。因此，当生成差图像时，金字塔图像中的较小的一个被上变换，以使得所述较小的一个的尺寸变为与较大的一个的尺寸相同。 

在差计算单元153生成预定数量的亮度方面的差图像后，差计算单元153规范化所述差图像，并且将规范化的差图像提供给亮度信息图生成单元154。亮度信息图生成单元154使用从差计算单元153提供的差图像生成亮度信息图，并且将所生成的亮度信息图提供给主题图生成单元126。色彩信息提取单元的配置 

图6详细图示了图4中示出的色彩信息提取单元122的示例配置。 

色彩信息提取单元122包括RG差图像生成单元181、BY差图像生 成单元182、金字塔图像生成单元183、金字塔图像生成单元184、差计算单元185、差计算单元186、色彩信息图生成单元187和色彩信息图生成单元188。 

RG差图像生成单元181使用从获取单元22提供的输入图像生成RG差图像，并且将RG差图像提供给金字塔图像生成单元183。RG差图像包括具有分别等于输入图像的对应像素的R(红色)分量和G(绿色)分量之间的差的像素值的像素。即，在RG差图像的任何点处的像素的像素值表示在位于与那个点相同位置处的输入图像的像素的R分量和G分量之间的差。 

BY差图像生成单元182使用从获取单元22提供的输入图像生成BY差图像，并且将BY差图像提供给金字塔图像生成单元184。BY差图像包括具有分别等于输入图像的对应像素的B(蓝色)分量和Y(黄色)分量之间的差的像素值的像素。即，在BY差图像的任何点处的像素的像素值表示在位于与那个点相同位置处的输入图像的像素的B分量和Y分量之间的差。 

金字塔图像生成单元183和金字塔图像生成单元184分别使用从RG差图像生成单元181和BY差图像生成单元182提供的RG差图像和BY差图像生成具有不同分辨率的多个RG差图像和具有不同分辨率的多个BY差图像。其后，金字塔图像生成单元183和金字塔图像生成单元184将生成的RG差图像和BY差图像分别提供给差计算单元185和差计算单元186作为在RG差方面的金字塔图像和在BY差方面的金字塔图像。 

例如，像在亮度方面的金字塔图像那样，在RG差方面和在BY差方面生成具有在L1级到L8级上的8个分辨率的金字塔图像。 

差计算单元185和差计算单元186的每一个从自金字塔图像生成单元183或者金字塔图像生成单元184提供的多个金字塔图像中选择不同层的两个金字塔图像，并且计算所选择的金字塔图像之间的差。以这种方式，差计算单元185和差计算单元186分别生成在RG差方面的差图像和在BY差方面的差图像。注意，在不同层中的金字塔图像的尺寸彼此不同。因此，当生成差图像时，所述金字塔图像的较小的一个被上变换，以使得较小的一个的尺寸变为与较大的一个的尺寸相同。 

在差计算单元185和差计算单元186分别生成在RG差方面的预定数量的差图像和在BY差方面的预定数量的差图像后，差计算单元185和差 计算单元186规范化所生成的差图像，并且将规范化的差图像提供给色彩信息图生成单元187和色彩信息图生成单元188。色彩信息图生成单元187和色彩信息图生成单元188使用从差计算单元185和差计算单元186提供的差图像生成色彩信息图。其后，色彩信息图生成单元187和色彩信息图生成单元188将色彩信息图提供给主题图生成单元126。在色彩信息图生成单元187中，生成在RG差方面的色彩信息图。另外，在色彩信息图生成单元188中，生成在BY差方面的色彩信息图。 

边缘信息提取单元的配置 

图7详细图示了图4中示出的边缘信息提取单元123的示例配置。 

边缘信息提取单元123包括边缘图像生成单元211至214、金字塔图像生成单元215至218、差计算单元219至222和边缘信息图生成单元223至226。 

边缘图像生成单元211至214对从获取单元22提供的输入图像使用Gabor滤波器执行滤波处理。例如，边缘图像生成单元211至214分别在0度、45度、90度和135度的方向上生成包括具有表示边缘强度的像素值的像素的边缘图像。其后，边缘图像生成单元211至214分别将所生成的边缘图像提供给金字塔图像生成单元215至218。 

例如，由边缘图像生成单元211在任何点生成的边缘图像的像素的像素值表示位于与那个点相同位置处的输入图像的像素的0度方向的边缘强度。在此使用的术语“边缘方向”指的是由用于实现Gabor滤波器的Gabor函数的角分量指示的方向。 

金字塔图像生成单元215至218使用从边缘图像生成单元211至214提供的不同方向的边缘图像生成具有不同分辨率的多个边缘图像。其后，金字塔图像生成单元215至218将所生成的不同方向的边缘图像作为不同边缘方向的金字塔图像提供给差计算单元219至222。 

例如，像在亮度方面的金字塔图像那样，生成从L1级到L8级的8层的金字塔图像作为不同边缘方向的金字塔图像。 

差计算单元219至222的每一个从自金字塔图像生成单元215至218提供的多个金字塔图像中选择不同层的两个金字塔图像，并且计算所选择的金字塔图像之间的差。以这种方式，差计算单元219至222生成不同边缘方向的差图像。注意，在不同层上的金字塔图像的尺寸彼此不同。因此， 当生成差图像时，上变换金字塔图像的较小一个。 

在差计算单元219至222针对不同边缘方向的每一个生成预定数量的差图像之后，差计算单元219至222规范化所生成的差图像，并且将规范化的差图像分别提供给边缘信息图生成单元223至226。边缘信息图生成单元223至226分别使用从差计算单元219至222提供的差图像生成不同边缘方向的边缘信息图。其后，边缘信息图生成单元223至226将不同方向的边缘信息图提供给主题图生成单元126。 

脸部信息提取单元的配置 

图8更详细地图示了图4中示出的脸部信息提取单元124的示例配置。 

脸部信息提取单元124包括脸部检测单元251和脸部信息图生成单元252。 

脸部检测单元251从自获取单元22提供的输入图像中检测人脸区域作为主题，并且将检测结果提供给脸部信息图生成单元252。脸部信息图生成单元252基于从脸部检测单元251提供的检测结果生成脸部信息图，并且将脸部信息图提供给主题图生成单元126。 

运动信息提取单元的配置 

图9更详细地图示了图4中示出的运动信息提取单元125的示例配置。 

运动信息提取单元125包括局部运动向量提取单元281、全局运动向量提取单元282、差计算单元283和运动信息图生成单元284。 

局部运动向量提取单元281使用从获取单元22提供的输入图像和具有与输入图像不同的图像拍摄时间的另一个输入图像来检测输入图像的每个像素的运动向量作为局部运动向量。其后，局部运动向量提取单元281将局部运动向量提供给差计算单元283。全局运动向量提取单元282使用从获取单元22提供的输入图像和具有与输入图像不同的图像拍摄时间的另一个输入图像来检测输入图像的每个像素的运动向量。其后，全局运动向量提取单元282计算像素的运动向量的平均值作为全局运动向量，并且将全局运动向量提供给差计算单元283。全局运动向量指示整个输入 图像的运动方向。 

差计算单元283计算从局部运动向量提取单元281提供的局部运动向量和从全局运动向量提取单元282提供的全局运动向量之间的差的绝对值，并且生成在运动方面的差图像。其后，差计算单元283将所生成的差图像提供给运动信息图生成单元284。注意，在运动差图像任何点处的像素的像素值表示在位于与该点相同位置处的输入图像的像素的局部运动向量和整个输入图像的全局运动向量之间的差的绝对值。因此，运动差图像的像素的像素值指示由像素指示的对象(或者前景)相对于整个输入图像(即背景)的运动。 

运动信息图生成单元284基于从差计算单元283提供的运动差图像生成运动信息图，并且将所生成的运动信息图提供给主题图生成单元126。 

边缘点数计算单元的配置 

图1中所示的边缘点数计算单元25具有如图10中详细图示的配置。 

即，边缘点数计算单元25包括主题提取单元311、反转单元312、滤波处理单元313、规范化单元314、乘法器单元315、区域边缘强度计算单元316、直方图生成单元317、分数计算单元318和转换单元319。 

主题提取单元311基于从获取单元22提供的输入图像生成主题图，并且将所生成的主题图提供给反转单元312。注意，主题提取单元311具有与图4中所示的主题提取单元92的配置类似的配置，因此不再重复其描述。 

反转单元312将从主题提取单元311提供的主题图的像素的像素值反转，并且将主题图提供给乘法器单元315。即，在主题图中，像素的像素值“1”被改变为“0”，而像素的像素值“0”被改变为“1”。因此，在反转后，如果位于与像素相同位置处的输入图像的区域被估计为包括主题，则主题图的像素的像素值被设置为“0”。但是，如果位于与像素相同位置处的输入图像的区域被估计为不包括主题，则主题图的像素的像素值被设置为“1”。即，反转的主题图用作用于识别输入图像中不包括主题图像的背景区域的图。 

滤波处理单元313对从获取单元22提供的输入图像使用拉普拉斯(Laplacian)滤波器执行滤波处理，并且生成拉普拉斯图像。拉普拉斯图像包括具有表示输入图像的每个区域中其边缘强度的像素值的像素，并 且滤波处理单元313将拉普拉斯图像提供给规范化单元314。规范化单元314规范化从滤波处理单元313提供的拉普拉斯图像，并且将规范化的拉普拉斯图像提供给乘法器单元315。 

乘法器单元315将从规范化单元314提供的拉普拉斯图像的每个像素的像素值乘以从反转单元312提供的反转的主题图的对应像素的像素值。因此，乘法器单元315生成背景图像，其是输入图像中的背景区域的边缘强度的图像。乘法器单元315将所生成的背景图像提供给区域边缘强度计算单元316和直方图生成单元317。 

在背景图像中，不包括主题的背景部分的像素的像素值与在同一位置处的拉普拉斯图像的像素的像素值相同。在背景图像中，主题的像素的像素值是“0”。即，通过由乘法器单元315执行的乘法处理，从输入图像中识别(提取)背景区域。以这种方式，生成包括背景部分的边缘强度的背景图像。 

区域边缘强度计算单元316计算从乘法器单元315提供的背景图像的每个外边缘附近的区域的区域边缘强度。 

以下，当例如在显示单元29上显示输入图像时并且如果用户从前方观看显示单元29的显示屏幕，则由用户观看的输入图像中的背景图像的上端边缘和右端边缘分别被简称为“上边缘”和“右边缘”。另外，背景图像中彼此正交的两个方向被称为“x方向”和“y方向”。x方向上的背景图像的端边缘是“右边缘”，y方向上的背景图像的端边缘是“上边缘”。另外，在与x方向相反的方向上的背景图像的边缘是“左边缘”，在与y方向相反的方向上的背景图像的边缘是“下边缘”。 

在这种情况下，区域边缘强度计算单元316将上边缘附近的区域定义为“上边缘区域”，将下端附近的区域定义为“下端区域”，将左端附近的区域定义为“左端区域”，并且将右边缘附近的区域定义为“右边缘区域”。然后区域边缘强度计算单元316将这些区域的每一个中的像素的像素值的和定义为所述区域的区域边缘强度。 

例如，以下，在背景图像中的x方向上布置的一系列像素被称为“x方向线”。然后，区域边缘强度计算单元316将从背景图像的上边缘开始并且在与y方向相反的方向上布置的10条连续的x方向线定义为上边缘区域。另外，区域边缘强度计算单元316将在上边缘区域中包括的像素的像素值的和定义为上边缘区域的区域边缘强度。 

类似地，区域边缘强度计算单元316将从背景图像的下边缘开始并且在y方向上布置的10条连续的x方向线定义为下边缘区域。另外，以下，将在背景图像中y方向上布置的一系列像素称为“y方向线”。然后，区域边缘强度计算单元316将从背景图像的左边缘开始并且在x方向上布置的10条连续的y方向线定义为左边缘区域。另外，区域边缘强度计算单元316将从背景图像的右边缘开始并且在与x方向相反的方向上布置的10条连续的y方向线定义为右边缘区域。 

因为背景图像的像素的像素值表示边缘强度的值，所以每个区域边缘强度表示在输入图像的端边缘附近的区域中的背景部分的区域的边缘强度。区域边缘强度计算单元316将针对每个区域计算的区域边缘强度提供给转换单元319。 

直方图生成单元317使用从乘法器单元315提供的背景图像生成背景图像的边缘强度的直方图，并且将直方图提供给分数计算单元318。分数计算单元318使用从直方图生成单元317提供的直方图来计算边缘分数，并且将边缘分数提供给转换单元319。在此，边缘分数表示输入图像中背景部分的边缘的复杂度。 

转换单元319使用预先存储的转换表将从分数计算单元318提供的边缘分数转换为边缘点数。通过转换获得的边缘点数使用输入图像中背景部分的边缘复杂度作为指标来表示输入图像的吸引力的评价级别。另外，转换单元319将通过转换获得的边缘点数和从区域边缘强度计算单元316提供的区域边缘强度提供给建议生成单元27。 

色彩饱和度点数计算单元的配置 

图1中所示的色彩饱和度点数计算单元26具有如图11中详细图示的配置。 

即，色彩饱和度点数计算单元26包括转换单元341、直方图生成单元342、分数计算单元343和转换单元344。 

转换单元341将从获取单元22提供的并且包括R、G和B分量的输入图像转换为包括H(色调)、S(饱和度)、V(明暗)分量的输入图像，并且将所转换的输入图像提供给直方图生成单元342。 

直方图生成单元342生成在从转换单元341提供的输入图像的像素中的、满足预定条件的像素的饱和度的直方图，并且将直方图提供给分数计 算单元343。分数计算单元343使用从直方图生成单元342提供的直方图来计算饱和度分数，并且将饱和度分数提供给转换单元344。注意，饱和度分数由输入图像的所有饱和度分量的平均值和方差值形成。 

转换单元344使用预先存储的转换表将从分数计算单元343提供的饱和度分数转换为饱和度点数，并且将饱和度点数提供给建议生成单元27。通过转换获得的饱和度点数使用输入图像的所有饱和度分量的平均值和方差值作为指标来表示输入图像的吸引力的评价级别。 

图像拍摄处理的描述 

当用户操作图1中所示的图像处理设备11并且选择其中拍摄图像的图像拍摄模式时，图像处理设备11响应于用户指令而开始图像拍摄处理。 

下面参照图12中所示的流程图描述由图像处理设备11执行的图像拍摄处理。 

在步骤S11中，获取单元22获取由摄像单元21拍摄的输入图像，并且将输入图像提供给从模糊度点数计算单元23到色彩饱和度点数计算单元26的单元。 

例如，获取单元22从摄像单元21获取一个帧的输入图像的图像数据。另外，显示控制单元28将从摄像单元21提供的输入图像提供给显示单元29，并且指示显示单元29显示输入图像。以这种方式，用户可以在观看所显示的输入图像的同时确定要拍摄的输入图像的构图。 

在步骤S12中，模糊度点数计算单元23执行模糊度点数计算处理，以便计算输入图像的模糊度的点数，并且将所计算的点数提供给建议生成单元27。另外，在步骤S13中，亮度点数计算单元24执行亮度点数计算处理，以便计算输入图像的亮度点数和平均亮度，并且将所计算的点数提供给建议生成单元27。 

在步骤S14中，边缘点数计算单元25执行边缘点数计算处理，以便计算输入图像的边缘的点数和区域边缘强度，并且将针对边缘计算的点数和区域边缘强度提供给建议生成单元27。在步骤S15中，色彩饱和度点数计算单元26执行饱和度点数计算处理，以便计算输入图像的饱和度的点数，并且将针对饱和度计算的点数提供给建议生成单元27。 

注意，下面更详细地描述在步骤S12到S15中执行的从模糊度点数 计算处理到饱和度计算处理的处理。 

在步骤S16中，建议生成单元27使用从自模糊度点数计算单元23到色彩饱和度点数计算单元26的单元提供的每个特征的点数、平均亮度和区域边缘强度执行建议生成处理，以便生成建议消息。基本上，将每个特征的点数与阈值相比较，并且根据比较结果从针对所述特征预先准备的建议消息中选择建议消息。所选择的建议消息从建议生成单元27提供给显示控制单元28。注意，下面更详细地描述建议生成处理。 

在步骤S17中，显示控制单元28将从建议生成单元27接收的建议提供给显示单元29，显示单元29显示该建议。所显示的建议具有文本消息的形式。文本消息向用户建议要做什么以提高输入图像的每个特征的点数。具体地，例如，在显示单元29上显示建议文本消息“打开闪光灯”。 

如果用户遵循以这种方式显示的建议拍摄输入图像，则用户可以拍摄具有更高点数的输入图像，即更有吸引力的图像。当用户遵循所述建议操作图像处理设备11时，图像处理设备11根据所述操作来执行处理。例如，当用户操作图像处理设备11以便调整白平衡时，图像处理设备11根据用户操作调整输入图像的白平衡。 

在步骤S18中，获取单元22确定用户是否已经指示图像处理设备11拍摄输入图像。如果在步骤S18中确定用户已经指示图像处理设备11拍摄输入图像，则摄像单元21在步骤S19中拍摄输入图像。获取单元22从自摄像单元21提供的帧中拍摄与指示图像拍摄的时刻对应的帧，并且将所述帧的图像认为是拍摄的输入图像。其后，获取单元22将所获取的输入图像提供给记录输入图像的记录单元(未示出)。注意，此时，可以在显示单元29上显示拍摄的输入图像。 

但是，如果在步骤S18中确定用户还没有指示图像处理设备11拍摄输入图像，则不拍摄输入图像。处理进行到步骤S20。 

如果在步骤S18中确定用户还没有指示图像处理设备11拍摄输入图像或者如果在步骤S19中拍摄了输入图像，则图像处理设备11在步骤S20中确定是否结束了所述处理。例如，如果用户指示图像处理设备11结束图像拍摄模式，则确定要结束所述处理。 

如果在步骤S20中确定不要结束所述处理，则处理返回到步骤S11，并且重复上述处理。即，显示表示对应于另一个时间点的帧的输入图像，并且显示针对输入图像生成的建议消息。 

但是，如果在步骤S20中确定要结束所述处理，则图像处理设备11停止当前处理。从而结束图像拍摄处理。 

以这种方式，图像处理设备11获得输入图像的每个特征的点数。随后，图像处理设备11生成建议以拍摄更有吸引力的图像，并且显示所述建议。通过使用每个特征的点数来生成建议并且以这种方式显示建议，可以向用户提供最佳的建议。 

即，通过从输入图像中提取每个特征并且使用基于特征的指标来评价输入图像，可以不管输入图像的构图和主题是什么而可靠地执行输入图像的评价。如果例如各个特征的点数之一低，则基于该特征的指标的评价低，从而降低了输入图像的吸引力。在这种情况下，通过向用户提供针对该特征的预定建议，即向用户提供用于提高该特征的点数的建议，可以提高输入图像的吸引力。 

在图像处理设备11中，由于按照每个特征评价输入图像的吸引力并且给出根据评价的建议，因此可以对任何主题而不仅是人提供最佳建议。另外，因为按照每个特征评价输入图像，所以输入图像的构图不限于特定的一个。 

虽然已经参照其中当拍摄输入图像时提供建议的示例进行了以上描述，但是可以对已经拍摄的输入图像提供建议。在这种情况下，选择记录的输入图像之一。其后，对于所选择的输入图像执行图12中所示的步骤S12到S17中的处理，并且针对输入图像提供建议。 

模糊度点数计算处理的描述 

接下来参照图13中所示的流程图来描述对应于图12中所示的步骤S12中执行的处理的示例模糊度点数计算处理。 

在步骤S51中，边缘图生成单元61使用从获取单元22提供的输入图像生成边缘图。 

更具体地，边缘图生成单元61将输入图像分割为每个包含2×2像素阵列的块。其后，边缘图生成单元61如下计算每个块中的像素之间的像素值的差的绝对值M_TL-TR到M_BL-BR： 

M_TL-TR＝|a-b|...(1) 

M_TL-BL＝|a-c|...(2) 

M_TL-BR＝|a-d|...(3) 

M_TR-BL＝|b-c|...(4) 

M_TR-BR＝|b-d|...(5) 

M_BL-BR＝|c-d|...(6) 

在式(1)至(6)中，a、b、c和d表示2×2像素块中像素的像素值。例如，如图14中所示，像素值a表示块中的左上像素的像素值。另外，像素值b表示块中的右上像素的像素值。像素值c表示块中的左下像素的像素值。像素值d表示块中的右下像素的像素值。 

因此，绝对值M_TL-TR到M_BL-BR的每一个表示块中的像素方向之一上的相邻像素之间的像素值的差的绝对值。 

随后，边缘图生成单元61如下计算绝对值M_TL-TR到M_BL-BR的平均值M_AVE： 

$M_{\mathrm{Ave}}=\frac{M_{\mathrm{TL}-\mathrm{TR}}+M_{\mathrm{TL}-\mathrm{BL}}+M_{\mathrm{TL}-\mathrm{BR}}+M_{\mathrm{TR}-\mathrm{BL}}+M_{\mathrm{TR}-\mathrm{BR}}+M_{\mathrm{BL}-\mathrm{BR}}}{6}...\left(7\right)$

注意，平均值M_AVE表示垂直方向、水平方向、左上对角方向和右上对角方向上的边缘强度的平均值。 

边缘图生成单元61布置输入图像的块的所计算的平均值M_AVE，以使得所计算的平均值M_AVE的布置与块的布置相同。以这种方式，生成具有规模SC1的边缘图。 

另外，为了生成具有规模SC2的边缘图和具有规模SC3的边缘图，边缘图生成单元61如下生成具有规模SC2和规模SC3的平均图像： 

$P_{(m,n)}^{i+1}=\frac{P_{(2m,2n)}^i+P_{(2m,2n+1)}^i+P_{(2m+\mathrm{1,2}n)}^i+P_{(2m+\mathrm{1,2}n+1)}^i}{4}...\left(8\right)$

注意，在式(8)中，Pⁱ(x，y)表示位于具有规模SC_i(i＝1或2)的平均图像中的坐标(x，y)处的像素的像素值。另外，Pⁱ⁺¹(x，y)表示位于具有规模SC_i+1的平均图像中的坐标(x，y)处的像素的像素值。具有规模SC1的平均图像表示输入图像。 

因此，具有规模SC2的平均图像具有分别具有等于通过将输入图像分割为2×2像素块而获得的块中像素的像素值的平均值的像素值的像素。另外，具有规模SC3的平均图像具有分别具有等于通过将具有规模SC2的平均图像分割为2×2像素块而获得的块中像素的像素值的平均值 的像素值的像素。 

边缘图生成单元61对具有规模SC2的平均图像和具有规模SC3的平均图像执行与使用式(1)至(7)对输入图像执行的处理相同的处理。因此，边缘图生成单元61生成具有规模SC2和规模SC3的边缘图。 

因此，具有规模SC2和SC3的边缘图表示通过从输入图像中提取不同频率范围中的边缘分量而获得的图像。注意，具有规模SC1的边缘图的像素的数量是输入图像的1/4(垂直方向上的1/2和水平方向上的1/2)，具有规模SC2的边缘图的像素的数量是输入图像的1/16(垂直方向上的1/4和水平方向上的1/4)，具有规模SC3的边缘图的像素的数量是输入图像的1/64(垂直方向上的1/8和水平方向上的1/8)。 

边缘图生成单元61将所生成的具有规模SC1至SC3的边缘图提供给动态范围检测单元62和局部最大值生成单元64。通过以这种方式使用具有不同尺寸的块生成具有不同规模的边缘图，可以防止边缘强度的变化。 

在步骤S52中，动态范围检测单元62使用从边缘图生成单元61提供的边缘图来检测输入图像的动态范围，并且将检测的结果提供给计算参数控制单元63。 

更具体地，动态范围检测单元62从具有规模SC1到SC3的边缘图中检测像素值的最大值和最小值。其后，动态范围检测单元62从所检测的最大值中减去所检测的最小值。得到的值作为输入图像的边缘强度的动态范围。即，输入图像的边缘强度的最大值和最小值之间的差被检测为动态范围。 

作为对于上述方法的替代，例如，可以针对每个边缘图检测动态范围，并且可以将所检测的动态范围的最大值或者平均值用作要实际使用的动态范围。 

在步骤S53中，计算参数控制单元63根据从动态范围检测单元62提供的动态范围来设置计算参数的初始值。 

即，如果动态范围小于预定阈值，则计算参数控制单元63将输入图像定义为低动态范围图像。但是，如果动态范围大于或者等于预定阈值，则计算参数控制单元63将输入图像定义为高动态范围图像。 

随后，如果输入图像是低动态范围图像，则计算参数控制单元63将计算参数设置为低动态范围图像的初始值。但是，如果输入图像是高动态范围图像，则计算参数控制单元63将计算参数设置为高动态范围图像的 初始值。 

注意，很可能低动态范围图像比高动态范围图像具有更少的边缘，从而比高动态范围图像具有更少的提取边缘像素。因此，为了提取足以将输入图像的模糊度的检测精度保持在预定水平或者更高的数量的边缘像素，低动态范围图像的边缘参考值的初始值被设置为小于高动态范围图像的边缘参考值的初始值的值。另外，低动态范围图像的提取参考值的初始值被设置为小于高动态范围图像的提取参考值的初始值的值。 

计算参数控制单元63将根据动态范围设置的边缘参考值提供给边缘像素提取单元65，并且将边缘参考值和提取参考值提供给提取量确定单元66。 

在步骤S54中，局部最大值生成单元64使用从边缘图生成单元61提供的边缘图来生成局部最大值，并且将所生成的局部最大值提供给向边缘像素提取单元65和边缘分析单元67。 

例如，如图15的左手侧所示，局部最大值生成单元64将具有规模SC1的边缘图分割为2×2的像素块。其后，局部最大值生成单元64提取边缘图每个块的最大值，并且将所提取的最大值以与从其提取最大值的块的模式相同的模式布置。因此，局部最大值生成单元64生成规模SC1的局部最大值LM1。即，可以提取每个块中像素的像素值的最大值。 

另外，如图15的中间所示，局部最大值生成单元64将具有规模SC2的边缘图分割为4×4像素块。其后，局部最大值生成单元64提取边缘图每个块的最大值，并且将所提取的最大值以与从其提取最大值的块的模式相同的模式布置。因此，局部最大值生成单元64生成规模SC2的局部最大值LM2。 

另外，如图15的右手侧所示，局部最大值生成单元64将边缘图分割为8×8像素块。其后，局部最大值生成单元64提取边缘图的每个块的最大值，并且将所提取的最大值以与从其提取最大值的块的模式相同的模式布置。因此，局部最大值生成单元64生成规模SC3的局部最大值LM3。 

在步骤S55中，边缘像素提取单元65使用从计算参数控制单元63提供的边缘参考值和从局部最大值生成单元64提供的局部最大值从输入图像中提取边缘像素。 

更具体地，边缘像素提取单元65将输入图像的像素之一选择为感兴趣的像素。另外，边缘像素提取单元65将输入图像的所选择的感兴趣的 像素的坐标在x-y坐标系中定义为(x，y)，并且如下计算对应于感兴趣的像素的局部最大值LM1的像素的坐标(x1，y1)： 

(x1，y1)＝(x/4，y/4)...(9) 

注意，在式(9)中，x/4和y/4的每个被截短为整数。 

因为局部最大值LM1的像素之一是从输入图像的4×4像素块形成的，所以与输入图像的感兴趣的像素对应的局部最大值LM1的像素的坐标是感兴趣的像素的x坐标的1/4和y坐标的1/4。 

以类似的方式，边缘像素提取单元65如下计算与感兴趣的像素对应的局部最大值LM2的像素的坐标(x2，y2)和与感兴趣的像素对应的局部最大值LM3的像素的坐标(x3，y3)： 

(x2，y2)＝(x/16，y/16)...(10) 

(x3，y3)＝(x/64，y/64)...(11) 

注意，在式(10)和(11)中，x/16、y/16、x/64和y/64的每一个被截短为整数。 

另外，如果位于局部最大值LM1的坐标(x1，y1)处的像素的像素值大于或者等于边缘参考值，则边缘像素提取单元65提取感兴趣的像素作为局部最大值LM1的边缘像素。其后，边缘像素提取单元65将感兴趣的像素的坐标(x，y)与在局部最大值LM1的坐标(x1，y1)处的像素值相关联，并且存储该信息。 

以类似的方式，如果位于局部最大值LM2的坐标(x2，y2)处的像素的像素值大于或者等于边缘参考值，则边缘像素提取单元65提取感兴趣的像素作为局部最大值LM2的边缘像素。其后，边缘像素提取单元65将感兴趣的像素的坐标(x，y)与局部最大值LM2的坐标(x2，y2)处的像素值相关联，并且存储该信息。另外，如果位于局部最大值LM3的坐标(x3，y3)处的像素的像素值大于或者等于边缘参考值，则边缘像素提取单元65提取感兴趣的像素作为局部最大值LM3的边缘像素。其后，边缘像素提取单元65将感兴趣的像素的坐标(x，y)与局部最大值LM3的坐标(x3，y3)处的像素值相关联，并且存储该信息。 

边缘像素提取单元65重复上述处理，直到已经将输入图像的所有像素选择为感兴趣的像素为止。 

以这种方式，使用局部最大值LM1，在输入图像中的4×4像素块中， 选择在具有大于或者等于边缘参考值的边缘强度的块中包括的像素作为边缘像素。 

类似地，使用局部最大值LM2，在输入图像中的16×16像素块中，选择在具有大于或者等于边缘参考值的边缘强度的块中包括的像素作为边缘像素。另外，使用局部最大值LM3，在输入图像中的64×64像素块中，选择在具有大于或者等于边缘参考值的边缘强度的块中包括的像素作为边缘像素。 

因此，提取包括具有大于或等于边缘参考值的边缘强度的输入图像的4×4像素块、16×16像素块和64×64像素块的至少一个的像素作为边缘像素。 

边缘像素提取单元65生成边缘像素表ET1，其包括使用局部最大值LM1提取的边缘像素的坐标(x，y)和与边缘像素对应的局部最大值LM1的像素的像素值之间的对应。 

以类似的方式，边缘像素提取单元65生成边缘像素表ET2，其包括使用局部最大值LM2提取的边缘像素的坐标(x，y)和与边缘像素对应的局部最大值LM2的像素的像素值之间的对应。另外，边缘像素提取单元65生成边缘像素表ET3，其包括使用局部最大值LM3提取的边缘像素的坐标(x，y)和与边缘像素对应的局部最大值LM3的像素的像素值之间的对应。 

随后，边缘像素提取单元65将所生成的边缘像素表提供给提取量确定单元66。 

在步骤S56中，提取量确定单元66使用从边缘像素提取单元65提供的边缘像素表来确定所提取的边缘像素的数量是否适当。例如，如果所提取的边缘像素的数量的和、即边缘像素表ET1到ET3中包括的数据项的和小于从计算参数控制单元63提取的提取参考值，则提取量确定单元66确定所提取的边缘像素数量是不适当的。 

如果在步骤S56中，提取量确定单元66确定所提取的边缘像素数量不适当，则提取量确定单元66向计算参数控制单元63发送指示所提取的边缘像素数量不适当的消息。其后，处理进行到步骤S57。 

在步骤S57中，计算参数控制单元63根据从提取量确定单元66接收的消息调整计算参数。 

例如，计算参数控制单元63将当前设置的边缘参考值减少预定量， 以便提取大于当前设置的数量的边缘像素。计算参数控制单元63将所调整的边缘参考值提供给边缘像素提取单元65和提取量确定单元66。 

在调整了计算参数后，处理返回到步骤S55。其后，重复上述处理，直到确定所提取的边缘像素的数量适当为止。 

但是，如果在步骤S56中提取量确定单元66确定所提取的边缘像素数量不适当，则提取量确定单元66将从计算参数控制单元63提供的边缘参考值和边缘像素表提供给边缘分析单元67。其后，处理进行到步骤S58。 

通过上述处理，为了提高低动态范围输入图像的模糊度的检测精度，从甚至具有低边缘强度的块提取边缘像素，以便可以获得足以将模糊度的检测精度提高到某一水平的数量的边缘像素。相反，对于高动态范围输入图像，从具有最大边缘强度的块提取边缘像素。因此，可以提取构成较强边缘的边缘像素。 

在步骤S58中，边缘分析单元67使用从提取量确定单元66提供的边缘参考值和边缘像素表以及从局部最大值生成单元64提供的局部最大值来执行边缘分析。 

更具体地，边缘分析单元67使用边缘像素表ET1至ET3选择从输入图像提取的边缘像素之一作为感兴趣的像素。其后，边缘分析单元67将感兴趣的像素在x-y坐标系中的坐标定义为(x，y)。随后，边缘分析单元67使用如上所述的式(9)至(11)来计算局部最大值LM1至LM3的坐标(x1，y1)到(x3，y3)。 

边缘分析单元67聚焦于局部最大值LM1中的m×m像素块(例如4×4像素块)，所述块的左上角被布置在局部最大值LM1的坐标(x1，y1)处。然后，边缘分析单元67将m ×m像素块中的像素的最大像素值设置在Local Max1(x1，y1)中。另外，边缘分析单元67聚焦于局部最大值LM2中的n×n像素块(例如2×2像素块)，所述块的左上角被布置在局部最大值LM2的坐标(x2，y2)处。然后，边缘分析单元67将在n×n像素块中像素的最大像素值设置在Local Max2(x2，y2)中。此外，边缘分析单元67将位于局部最大值LM3的坐标(x3，y3)处的像素的像素值设置在Local Max3(x3，y3)中。 

注意，用于设置Local Max1(x1，y1)的参数“m×m”和用于设置LocalMax2(x2，y1)的参数“n×n”是用于控制在与局部最大值LM1到局部最大值LM3的一个像素对应的输入图像中的块的尺寸之间的差的参数。 

边缘分析单元67确定Local Max1(x1，y1)、Local Max2(x2，y2)和Local Max3(x3，y3)是否满足下面的条件表达式： 

Local Max1(x1，y1)＞边缘参考值 

Local Max2(x2，y2)＞边缘参考值，或者 

Local Max3(x3，y3)＞边缘参考值...(12) 

如果Local Max1(x1，y1)、Local Max2(x2，y2)和Local Max3(x3，y3)满足条件表达式(12)，则边缘分析单元67将变量N_edge递增1。 

注意，很可能满足条件表达式(12)的边缘像素是构成具有大于或者等于预定值的强度的边缘的边缘像素，而与边缘的结构无关(例如图16A至16D中所示的边缘)。 

在图16A中，示出了陡峭的脉冲边缘。在图16B中，示出了具有比图16A中缓和的斜率的脉冲边缘。在图16C中，示出了具有几乎垂直的斜率的阶梯边缘。在图16D中，示出了具有比图16C中缓和的斜率的阶梯边缘。 

如果Local Max1(x1，y1)、Local Max2(x2，y2)和Local Max3(x3，y3)满足条件表达式(12)，则边缘分析单元67还确定Local Max1(x1，y1)、Local Max2(x2，y2)和Local Max3(x3，y3)是否满足下面的条件表达式(13)或者(14)： 

Local Max1(x1，y1)＜Local Max2(x2，y2)＜Local Max3(x3，y3)(13) 

Local Max2(x2，y2)＞Local Max1(x1，y1)，以及 

Local Max2(x2，y2)＞Local Max3(x3，y3)(14) 

如果Local Max1(x1，y1)、Local Max2(x2，y2)和Local Max3(x3，y3)满足条件表达式(13)或者(14)，则边缘分析单元67将变量N_smallblur递增1。 

注意，很可能满足条件表达式(12)并且满足条件表达式(13)或者(14)的边缘像素具有大于或者等于预定值的边缘强度；但是，该边缘像素包括在具有小于图16A或者16C的边缘强度并且构成图16B或者16D中所示的边缘的边缘中。 

另外，如果Local Max1(x1，y1)、Local Max2(x2，y2)和Local Max3(x3，y3)满足条件表达式(12)并且满足条件表达式(13)或者(14)，则边缘分析单元67还确定Local Max1(x1，y1)是否满足下面的条件表达式： 

Local Max1(x1，y1)＜边缘参考值...(15) 

如果Local Max1(x1，y1)满足条件表达式(15)，则边缘分析单元67将变量N_largeblur递增1。 

注意，很可能满足条件表达式(12)、满足条件表达式(13)或者(14)并且满足条件表达式(15)的边缘像素构成具有大于或者等于预定值并且具有在图16B或者16D中所示的结构的边缘；但是，边缘具有模糊，因此边缘不清楚。即，在边缘像素处出现模糊。 

边缘分析单元67重复上述处理，直到从输入图像中提取的所有边缘像素已经被选择为感兴趣的像素为止。以这种方式，从所提取的边缘像素中，可以获得边缘像素数N_edge、边缘像素数N_smallblur和边缘像素数N_largeblur。 

注意，数量N_edge表示满足条件表达式(12)的边缘像素的数量，数量N_smallblur表示满足条件表达式(12)与条件表达式(13)和(14)之一的边缘像素的数量。另外，数量N_largeblur表示满足条件表达式(12)与条件表达式(13)和(14)之一并且满足条件表达式(15)的边缘像素的数量。 

边缘分析单元67将所获得的数量N_smallblur和N_largeblur提供给模糊度检测单元68。 

在步骤S59中，模糊度检测单元68使用从边缘分析单元67提供的数量N_smallblur和N_largeblur计算下式(16)，并且获得用作指示输入图像的模糊有多大的指标的模糊度BlurEstimation作为模糊度分数： 

$\mathrm{BlurEstimation}=\frac{N_{l\arg \mathrm{eblur}}}{N_{\mathrm{smallblur}}}...\left(16\right)$

即，模糊度BlurEstimation是被估计为构成发生模糊的边缘的边缘像素的数量与被估计为构成具有大于或者等于预定值的边缘强度并且具有图16B或者16D中所示的结构的边缘的边缘像素的数量的比率。因此，当模糊度BlurEstimation增大时，输入图像更模糊。 

在计算了模糊度分数后，模糊度检测单元68将所计算的模糊度分数提供给转换单元69。由于在计算模糊度分数时，针对每个输入图像适当地控制用于提取边缘像素的条件和所提取的边缘像素的数量，因此可以高度精确地检测输入图像的模糊度。 

在步骤S60中，转换单元69使用预先存储的转换表将从模糊度检测 单元68提供的模糊度分数转换为模糊度的点数，并且将模糊度的点数提供给建议生成单元27。 

例如，假定模糊度分数的范围从0到1，并且当模糊度分数增加时，整个输入图像的模糊增加。然后，转换单元69使用图17中所示的模糊度分数转换表来获得模糊度的点数。 

即，当模糊度分数低于0.2时，模糊度的点数是10。当模糊度分数高于或者等于0.2并且低于0.3时，模糊度的点数是9。当模糊度分数高于或者等于0.3并且低于0.5时，模糊度的点数是8。 

另外，当模糊度分数高于或者等于0.5并且低于0.7时，模糊度的点数是7。当模糊度分数高于或者等于0.7并且低于0.9时，模糊度点数是5。当模糊度分数高于0.9时，模糊度点数是0。 

在此，使用从预先获得的专业图像和业余图像获得的模糊度分数来确定根据模糊度分数的范围确定的点数。在此使用的术语“专业图像”和“业余图像”分别指的是由专业摄影师拍摄并且具有高的公共评价(高吸引力)的图像和由业余摄影师拍摄并且具有低的公共评价(低吸引力)的图像。 

例如，假定针对多个专业图像和业余图像的每一个获得模糊度分数，并且获得如图18所示的结果。注意，在图18中，纵坐标表示样本专业图像的数量或者样本业余图像的数量，并且横坐标表示模糊度分数。 

在图18中，上部分中示出了专业图像的模糊度分数的分布，而下部分中示出了业余图像的模糊度分数的分布。 

几乎所有的样本专业图像的模糊度分数均低于0.3，而没有专业图像具有高于或者等于0.8的模糊度分数。即，当图像的模糊度降低时，模糊度分数降低。因此，在专业图像中，很少存在模糊的图像。 

相反，几乎所有的样本业余图像的模糊度分数低于0.4。但是，几个样本业余图像的模糊度分数高于或者等于0.4。即，在样本业余图像中包括几个完全模糊的图像。 

从专业图像的模糊度分数和业余图像的模糊度分数的比较可以看出，在专业图像的分布中没有专业图像出现在由箭头A11指示的范围中。即，没有专业图像具有高于或者等于0.8的模糊度分数。相反，在业余图像的分布中有几个业余图像出现在由箭头A12指示的范围中。即，几个业余图像具有高于或者等于0.8的模糊度分数。 

因此，如果输入图像的模糊度分数高于或者等于0.8，则很可能输入图像是业余图像，即拍摄较差和吸引力较小的图像。因此，如果输入图像具有大于或者等于0.8的模糊度分数，即如果很可能输入图像是业余图像，则给予模糊度的点数被确定为具有小值，以便降低基于模糊度点数的评价。另外，通常，如果图像整体不太模糊，则图像评价较高。因此，当模糊度分数降低时，给予模糊度的点数被确定为具有较大值。 

注意，对于其他每个特征的分数，也通过将预先准备的专业图像的特征的分数与业余图像的相比较来确定对于每个分数范围给出的点数，并且预先生成特征分数的转换表。 

此时，通过向针对每个特征其中在专业图像和业余图像之间的分数分布上的差很大的分数范围给出较高的点数或者较低的点数，可以在图像的吸引力方面对输入图像执行更适当(正确)的评价。即，可以提高评价的准确度。 

返回参照图13中所示的流程图，在使用转换表将模糊度分数转换为模糊度点数后，模糊度点数计算处理结束，并且处理进行到如图12中所示的步骤S13。 

如上所述，模糊度点数计算单元23从输入图像检测模糊度，并且根据检测结果来计算指示输入图像的吸引力的评价的模糊度点数。虽然以上已经关于指示整个输入图像的模糊度的模糊度分数描述了所述处理，但是可以仅使用输入图像的主题部分的模糊度来计算模糊度分数。亮度点数计算处理的描述 

接着，参照图19中所示的流程图描述与图12中所示的步骤S13中执行的处理对应的示例亮度点数计算处理。 

在步骤S81中，平均亮度计算单元91使用从获取单元22提供的输入图像计算输入图像的平均亮度，并且将该平均亮度提供给转换单元97。例如，平均亮度计算单元91使用像素的像素值计算输入图像的每个像素的亮度值，并且还计算像素的亮度值的平均值作为平均亮度。 

在步骤S82中，主题提取单元92执行主题图生成处理，并且从自获取单元22提供的输入图像生成主题图。其后，主题提取单元92将所生成的主题图提供给乘法器单元93。注意，下面更详细地描述主题图生成处理。 

在步骤S83中，乘法器单元93将从获取单元22提供的输入图像乘以从主题提取单元92提供的主题图，并且生成主题图像。其后，乘法器单元93将所生成的主题图像提供给直方图生成单元94。即，当选择主题图像的像素之一作为感兴趣的像素时，主题图的像素的像素值和位于与感兴趣的像素相同位置处的输入图像的像素的像素值的乘积被定义为感兴趣的像素的像素值。主题图像表示输入图像的仅仅主题部分的图像。 

在步骤S84中，直方图生成单元94使用从乘法器单元93提供的主题图像生成亮度的直方图，其包含有表示主题图像的像素的亮度值范围的柱(bin)，并且直方图生成单元94将所生成的直方图提供给规范化单元95。规范化单元95规范化从直方图生成单元94提供的直方图，并且将直方图提供给分数计算单元96。 

在步骤S85中，分数计算单元96使用从规范化单元95提供的直方图和例如K-最近邻(K-NN)方法来计算亮度分数。其后，分数计算单元96将所计算的亮度分数提供给转换单元97。 

例如，分数计算单元96预先存储通过对预先准备的专业图像和业余图像执行与在步骤S82到S84中执行的处理相同的处理而生成的多个亮度直方图。分数计算单元96计算预先存储的专业图像和业余图像的直方图的每一个与从规范化单元95提供的直方图之间的距离。 

即，分数计算单元96将主题图像的亮度直方图和预先存储的直方图之一之间的每个柱的频率值上的差的和定义为直方图之间的差。即，计算具有相同的代表值的柱之间的频率值上的差，并且将所述差的和定义为直方图之间的差。 

随后，从主题图像的直方图和每个预先存储的直方图之间的差中，分数计算单元96按升序选择k个差。 

另外，在所选择的k个差中，分数计算单元96从主题图像的直方图和专业图像的直方图之间的差的数量中减去主题图像的直方图和业余图像的直方图之间的差的数量。然后分数计算单元96将得到的值定义为亮度分数。 

如上所述，主题图像的直方图和专业图像与业余图像的直方图的每一个之间的距离被定义为直方图的柱的频率值之间的差的和。因此，当图像的亮度分布彼此更类似时，距离变得更小。即，当距离变得更小时，主题图像更类似于要处理的专业图像或者业余图像。 

另外，如前所述，主题图像的直方图和专业图像的直方图之间的距离的数量与主题图像的直方图和业余图像的直方图之间的距离的数量之间的差被用作亮度分数。因此，当具有与主题图像类似的亮度分布的专业图像的数量增加时，亮度分数提高。即，亮度分数指示在亮度分布方面主题图像与专业图像的类似度。输入图像的亮度分数越高，则输入图像可接收到的评价越高，即图像越有吸引力。 

在步骤S86中，转换单元97使用预先存储的转换表将从分数计算单元96提供的亮度分数转换为亮度点数。例如，转换单元97以与针对图2中所示的转换单元69中预先存储的转换表相同的方式来预先存储预先生成的转换表。转换单元97使用转换表将亮度分数转换为亮度点数。当亮度分数提高时，主题部分的亮度分布更类似于专业图像的亮度分布。因此，当亮度分数提高时，亮度分数被转换为更高的点数。 

在转换单元97将亮度分数转换为亮度点数后，转换单元97将所转换的亮度点数和从平均亮度计算单元91提供的平均亮度提供给建议生成单元27。其后，亮度点数计算处理结束，处理进行到图12中所示的步骤S14。 

如上所述，亮度点数计算单元24从输入图像提取主题区域，并且将主题区域的亮度分布与预先存储的专业图像和业余图像的每一个的主题区域的亮度分布相比较。从而，亮度点数计算单元24计算亮度分数。其后，亮度点数计算单元24使用转换表将计算的亮度分数转换为亮度点数。 

以这种方式，通过仅比较输入图像的主题区域中的亮度分布并且计算亮度点数，可以使用前景(主题)部分的亮度分布作为指示来进一步适当地评价输入图像的吸引力。 

例如，通常，即使当背景为暗时，具有高亮度的主题部分的图像也被高度评价为好图像。在这种情况下，当使用亮度分布作为指示来评价图像整体的吸引力时，可能将具有与专业图像不同的背景亮度分布的图像评价为差图像，尽管主题部分的亮度分布接近专业图像。 

因此，当使用亮度分布作为指示来评价图像的吸引力时，图像的主题区域的亮度分布是重要的，而背景区域的亮度分布对于评价并不总是必要的。即，可以使用主题区域的亮度分布充分地评价输入图像。如果考虑背景区域的亮度分布，则用于评价图像的方法可能复杂，或者不能正确地评价图像。 

因此，亮度点数计算单元24仅处理输入图像的主题区域并且计算亮 度的点数。以这种方式，可以更简单并且适当地评价输入图像的吸引力。主题图生成处理的描述 

接着，参照图20中所示的流程图描述与图19中所示的步骤S82中执行的处理对应的示例主题图生成处理。 

在步骤S111中，亮度信息提取单元121执行亮度信息提取处理，使用从获取单元22提供的输入图像来生成亮度信息图，并且将所生成的亮度信息图提供给主题图生成单元126。在步骤S112中，色彩信息提取单元122执行色彩信息提取处理，并且使用从获取单元22提供的输入图像生成色彩信息图。其后，色彩信息提取单元122将色彩信息图提供给主题图生成单元126。 

在步骤S113中，边缘信息提取单元123执行边缘信息提取处理，并且使用从获取单元22提供的输入图像生成边缘信息图，并且将所生成的边缘信息图提供给主题图生成单元126。在步骤S114中，脸部信息提取单元124执行脸部信息提取处理，并且使用从获取单元22提供的输入图像生成脸部信息图。其后，脸部信息提取单元124将脸部信息图提供给主题图生成单元126。在步骤S115中，运动信息提取单元125执行运动信息提取处理，并且使用从获取单元22提供的输入图像生成运动信息图。其后，运动信息提取单元125将运动信息图提供给主题图生成单元126。 

注意，下面更详细地描述亮度信息提取处理、色彩信息提取处理、边缘信息提取处理、脸部信息提取处理和运动信息提取处理。 

在步骤S116中，主题图生成单元126使用从自亮度信息提取单元121到运动信息提取单元125的单元提供的亮度信息图到运动信息图生成主题图，并且将所生成的主题图提供给图3中所示的乘法器单元93。 

例如，主题图生成单元126使用预先针对每个信息图获得的信息权重Wb线性地组合信息图。其后，主题图生成单元126通过将得到的图的每个像素的像素值乘以预定主题权重Wc来规范化得到的图。从而，生成主题图。 

即，要生成的主题图的像素之一被选择为感兴趣的像素。将位于与感兴趣的像素相同位置处的每一个信息图的像素的像素值乘以针对该信息图确定的信息权重Wb，并且对得到的像素值求和。和定义为感兴趣的像素的像素值。另外，以这种方式获得的主题图的每个像素的像素值乘以预 先针对该主题图获得的主题权重Wc。其后，规范化得到的像素值。从而可以生成最终的主题图。 

更具体地，通过使用RG差的色彩信息图和BY差的色彩信息图作为色彩信息图并且使用0度、45度、90度和135度方向的边缘图作为边缘信息图，生成主题图。另外，通过预先执行的学习处理来确定主题权重Wc。执行规范化处理以使得主题图像的每个像素的像素值被设置为0或者1。即，在规范化处理中，通过使用预定阈值的阈值处理来二进制化像素的像素值。 

在以这种方式生成主题图并且将主题图提供给乘法器单元93后，主题图生成处理结束，处理进行到图19中所示的步骤S83。 

如上所述，主题提取单元92从输入图像中提取每个信息项，并且生成主题图。 

亮度信息提取处理的描述 

接着，参照图21到25中所示的流程图描述与图20中所示的步骤S111到S115中执行的处理对应的处理。 

首先参照图21中所示的流程图描述与图20中所示的步骤S111中执行的处理对应的示例亮度信息提取处理。 

在步骤S151中，亮度图像生成单元151使用从获取单元22提供的输入图像生成亮度图像，并且将所生成的亮度图像提供给金字塔图像生成单元152。例如，亮度图像生成单元151将输入图像的像素的R、G和B分量的值的每一个乘以对应分量的预定系数，并且将R、G和B分量的得到的值的和定义为位于与输入图像的像素相同位置处的亮度图像的像素的像素值。即，可以获得由亮度分量(Y)和色差分量(Cb，Cr)形成的分量信号的亮度分量。注意，像素的R、G和B分量的值的平均值可以用作亮度图像的像素的像素值。 

在步骤S152中，金字塔图像生成单元152使用从亮度图像生成单元151提供的亮度图像来生成从L1级到L8级的每层的金字塔图像，并且将所生成的金字塔图像提供给差计算单元153。 

在步骤S153中，差计算单元153使用从金字塔图像生成单元152提供的金字塔图像生成差图像，并且规范化所述差图像。其后，差计算单元 153将规范化的差图像提供给亮度信息图生成单元154。执行规范化以使得差图像的像素的像素值的范围在例如0和255之间。 

更具体地，在所有层中的亮度金字塔图像的图像中，差计算单元153计算在L6级和L3级的层中的图像之间的差、在L7级和L3级的层中的图像之间的差、在L7级和L4级的层中的图像之间的差、在L8级和L4级的层中的图像之间的差以及在L8级和L5级的层中的图像之间的差。因此，总共可以获得5个亮度差图像。 

例如，当生成在L6级和L3级的层中的金字塔图像之间的差图像时，L6级的金字塔图像被上变换以便具有与L3级的金字塔图像相同的尺寸。即，要上变换的L6级的金字塔图像的像素的像素值被用作与该像素相邻并且对应于该像素的多个像素的每一个的像素值。随后，计算L6级的金字塔图像的像素的像素值和位于同一位置处的L3级的金字塔图像的像素的像素值之间的差。所述差用作差图像的像素的像素值。 

这样生成差图像的处理等同于使用带通滤波器对亮度图像执行滤波处理并且从亮度图像中提取预定频率分量的处理。通过这样的处理获得的差图像的像素的像素值指示不同级的金字塔图像的亮度值之间的差，即输入图像的给定像素的亮度值和该像素附近的亮度值的平均值之间的差。 

通常，具有与其附近的亮度显著不同的亮度的图像的区域是吸引目光的区域。因此，很可能该区域是主题区域。因此，在每个差图像中，具有较大像素值的像素指示具有为主题区域的较高可能性的区域。 

在步骤S154中，亮度信息图生成单元154使用从差计算单元153提供的差图像生成亮度信息图，并且将所生成的亮度信息图提供给主题图生成单元126。在亮度信息图生成单元154将亮度信息图提供给主题图生成单元126后，亮度信息提取处理结束，处理进行到图20中所示的步骤S112。 

例如，亮度信息图生成单元154使用作为分配给各个差图像的预定权重的差权重Wa对所提供的5个差图像进行加权和求和，并且生成单个图像。即，位于相同位置处的不同图像的每一个的每个像素的像素值乘以对应的差权重Wa，并且计算乘以差权重Wa的像素值的和。 

注意，当生成亮度信息图时，差图像被上变换以便具有相同的尺寸。 

以这种方式，亮度信息提取单元121根据输入图像计算亮度图像，并且使用亮度图像生成亮度图。在亮度信息提取单元121中，将输入图像的每个区域的亮度值和该区域附近的区域的亮度值的平均值之间的差提取 为特征。其后，生成指示所述特征的亮度信息图。通过使用以这种方式生成的亮度信息图，可以容易地检测到具有很大亮度差的输入图像的区域，即吸引扫视输入图像的观众的注意力的区域。 

色彩信息提取处理的描述 

接着参照图22中所示的流程图描述与图20中所示的步骤S112中执行的处理对应的示例色彩信息提取处理。 

在步骤S181中，RG差图像生成单元181使用从获取单元22提供的输入图像生成RG差图像，并且将所生成的RG差图像提供给金字塔图像生成单元183。 

在步骤S182中，BY差图像生成单元182使用从获取单元22提供的输入图像生成BY差图像，并且将所生成的BY差图像提供给金字塔图像生成单元184。 

在步骤S183中，金字塔图像生成单元183和金字塔图像生成单元184使用从RG差图像生成单元181提供的RG差图像和从BY差图像生成单元182提供的BY差图像生成金字塔图像。 

例如，金字塔图像生成单元183生成具有不同分辨率的多个RG差图像，从而生成具有L1级到L8级的层的金字塔图像。其后，金字塔图像生成单元183将所生成的金字塔图像提供给差计算单元185。类似地，金字塔图像生成单元184生成具有不同分辨率的多个BY差图像，从而生成具有L1级到L8级的层的金字塔图像。其后，金字塔图像生成单元184将所生成的金字塔图像提供给差计算单元186。 

在步骤S184中，差计算单元185和差计算单元186使用从金字塔图像生成单元183和金字塔图像生成单元184提供的金字塔图像生成差图像，规范化所述差图像，并且将规范化的差图像分别提供给色彩信息图生成单元187和色彩信息图生成单元188。在差图像的规范化处理中，规范化像素的像素值，以使得每个像素的像素值的范围在0和255之间。 

例如，在所有层中的RG差金字塔图像的图像中，差计算单元185计算在L6级和L3级的层中的图像之间的差、在L7级和L3级的层中的图像之间的差、在L7级和L4级的层中的图像之间的差、在L8级和L4级的层中的图像之间的差以及在L8级和L5级的层中的图像之间的差。从而，总共可以获得5个RG差图像。 

类似地，在所有层中的BY差金字塔图像的图像中，差计算单元185计算在L6级和L3级的层中的图像之间的差、在L7级和L3级的层中的图像之间的差、在L7级和L4级的层中的图像之间的差、在L8级和L4级的层中的图像之间的差以及在L8级和L5级的层中的图像之间的差。从而，总共可以获得5个BY差图像。 

这样的生成差图像的处理等同于使用带通滤波器对RG差图像或者BY差图像执行滤波处理并且从RG差图像和BY差图像中提取预定频率分量的处理。通过这样的处理获得的差图像的像素的像素值指示不同级的金字塔图像的特定色彩分量之间的差，即输入图像的给定像素的特定色彩分量和该像素附近的色彩分量的平均值之间的差。 

通常，与其附近的色彩相比较具有明显色彩的图像的区域是吸引目光的区域。因此，很可能该区域是主题区域。因此，在每个差图像中，具有较大像素值的像素指示具有为主题区域的较高可能性的区域。 

在步骤S185中，色彩信息图生成单元187和色彩信息图生成单元188分别使用从差计算单元185和差计算单元186提供的差图像生成色彩信息图，并且将所生成的色彩信息图提供给主题图生成单元126。 

例如，色彩信息图生成单元187使用作为分配给各个差图像的预定义权重的差权重Wa对从差计算单元185提供的5个RG差图像进行加权和求和。从而生成在RG差方面的色彩信息图。 

类似地，色彩信息图生成单元188使用作为分配给各个差图像的预定义权重的差权重Wa对从差计算单元186提供的5个BY差图像进行加权和求和。从而生成在BY差方面的色彩信息图。注意，当生成色彩信息图时，差图像被上变换以具有相同的尺寸。 

在色彩信息图生成单元187和色彩信息图生成单元188将通过上述方式获得的RG差和BY差方面的色彩信息图提供给主题图生成单元126后，色彩信息提取处理结束，处理进行到图20中所示的步骤S113。 

以这种方式，色彩信息提取单元122根据输入图像计算特定色彩分量的差图像，并且使用差图像生成色彩信息图。即，在色彩信息提取单元122中，输入图像每个区域的预定色彩的分量和该区域附近区域的预定色彩的平均分量的平均值之间的差被提取为特征。其后，生成指示该特征的色彩信息图。通过使用以这种方式生成的色彩信息图，可以容易地检测到具有显著色差的输入图像的区域，即吸引扫视输入图像的观众的注意力的 区域。 

虽然以上已经关于提取R(红色)分量和G(绿色)分量之间的差与B(蓝色)分量和Y(黄色)分量之间的差的色彩信息提取单元122进行了描述，但是色彩信息提取单元122可以例如提取色差分量Cr和色差分量Cb。注意，色差分量Cr是R分量和亮度分量之间的差，并且色差分量Cb是在B分量和亮度分量之间的差。 

边缘信息提取处理的描述 

图23是与图20中所示的步骤S113中执行的处理对应的示例边缘信息提取处理的流程图。接着描述边缘信息提取处理。 

在步骤S211中，从边缘图像生成单元211到边缘图像生成单元214的单元对从获取单元22提供的输入图像执行使用加伯滤波器的滤波处理，并且分别在0度、45度、90度和135度方向上生成包括具有表示边缘强度的像素值的像素的边缘图像。其后，边缘图像生成单元211至214分别将所生成的边缘图像提供给金字塔图像生成单元215至218。 

在步骤S212中，从金字塔图像生成单元215到金字塔图像生成单元218的单元使用从自边缘图像生成单元211到边缘图像生成单元214的单元提供的边缘图像生成金字塔图像，并且将所述金字塔图像提供给从差计算单元219到差计算单元222的单元。 

例如，金字塔图像生成单元215在0度方向上生成具有不同分辨率的多个边缘图像，并且生成具有L1级到L8级的层的金字塔图像。其后，金字塔图像生成单元215将所生成的金字塔图像提供给差计算单元219。类似地，金字塔图像生成单元216到金字塔图像生成单元218生成分别具有L1级到L8级的层的金字塔图像，并且将所生成的金字塔图像分别提供给差计算单元220到差计算单元222。 

在步骤S213中，差计算单元219至222使用从金字塔图像生成单元215至218提供的金字塔图像生成差图像，并且规范化所述差图像。其后，差计算单元219至222将规范化的差图像分别提供给边缘信息图生成单元223至226。执行差图像的规范化以使得差图像的像素的像素值的范围在例如0和255之间。 

例如，在从金字塔图像生成单元215提供的0度边缘方向上的金字塔图像的所有层中的图像中，差计算单元219计算在L6级和L3级的层中 的图像之间的差、在L7级和L3级的层中的图像之间的差、在L7级和L4级的层中的图像之间的差、在L8级和L4级的层中的图像之间的差以及在L8级和L5级的层中的图像之间的差。因此，总共可以获得5个边缘差图像。 

类似地，在所提供的金字塔图像的所有层中的图像中，差计算单元220至222的每一个计算在L6级和L3级的层中的图像之间的差、在L7级和L3级的层中的图像之间的差、在L7级和L4级的层中的图像之间的差、在L8级和L4级的层中的图像之间的差以及在L8级和L5级的层中的图像之间的差。因此，对于每个边缘方向总共可以获得5个差图像。 

这样的生成差图像的处理等同于使用带通滤波器对边缘图像执行滤波处理并且从边缘图像中提取预定频率分量的处理。通过这样的处理获得的差图像的像素的像素值指示在不同级的金字塔图像的边缘强度之间的差，即输入图像的给定位置的边缘强度和所述位置附近的边缘强度的平均值之间的差。 

通常，具有比其附近的边缘强度高的边缘强度的图像的区域是吸引目光的区域。因此，很可能该区域是主题区域。因此，在每个差图像中，具有较大像素值的像素指示具有为主题区域的较高可能性的区域。 

在步骤S214中，边缘信息图生成单元223至226分别使用从差计算单元219至222提供的差图像生成针对不同方向的边缘信息图，并且向主题图生成单元126提供所生成的边缘信息图。 

例如，边缘信息图生成单元223使用为分配给各个差图像的预定义的权重的差权重Wa对从差计算单元219提供的差图像进行加权求和，并且生成0度方向上的边缘信息图。 

类似地，边缘信息图生成单元224至226使用差权重Wa对从差计算单元220至222提供的差图像进行加权求和，并且分别生成45度方向、90度方向和135度方向的边缘信息图。注意，当生成边缘信息图时，差图像被上变换以具有相同的尺寸。 

在边缘信息图生成单元223至226将以这种方式针对不同方向生成的四个边缘信息图提供给主题图生成单元126后，边缘信息提取处理结束，处理进行到图20中所示的步骤S114。 

以这种方式，边缘信息提取单元123根据输入图像计算特定方向的边缘差图像，并且使用所述差图像生成边缘信息图。即，在边缘信息提取单 元123中，输入图像每个区域在特定方向上的边缘强度和所述特定方向上所述区域附近的区域的边缘强度的平均值之间的差被提取为特征。其后，生成指示所述特征的边缘信息图。通过使用以这种方式针对不同方向生成的边缘信息图，可以容易地检测到具有比在所述特定方向上所述区域附近的区域更高边缘强度的输入图像的区域，即吸引扫视输入图像的观众的注意力的区域。 

虽然已经关于用于提取边缘的加伯滤波器进行了上述描述，但是可以使用诸如索贝尔(Sobel)滤波器或者罗伯特(Roberts)滤波器等不同的边缘提取滤波器来代替加伯滤波器。 

脸部信息提取处理的描述 

接着参照图24中所示的流程图描述与图20中所示的步骤S114中执行的处理对应的示例脸部信息提取处理。 

在步骤S241中，脸部检测单元251从获取单元22提供的输入图像中检测人脸部的区域，并且将检测结果提供给脸部信息图生成单元252。例如，脸部检测单元251使用加伯滤波器对输入图像执行滤波处理，并且从输入图像中检测人的特征区域，诸如眼、嘴和鼻子等的区域。因此，脸部检测单元251从输入图像中检测脸部的区域。 

在步骤S242中，脸部信息图生成单元252使用从脸部检测单元251提供的检测结果生成脸部信息图，并且将所生成的脸部信息图提供给主题图生成单元126。 

例如，假定作为脸部检测的结果，从输入图像中检测到可能包括脸部的多个矩形区域(以下称为“候选区域”)。此时，在输入图像的某一位置附近检测到多个候选区域，并且一些候选图像可能部分彼此重叠。即，例如，当在输入图像中检测到脸部区域之一时并且如果获得每一个包括脸部的多个候选区域，则候选区域彼此部分重叠。 

对于通过脸部检测获得的每个候选图像，脸部信息图生成单元252生成具有与输入图像的尺寸相同尺寸的检测图像。在该检测图像中，要处理的候选区域的像素的像素值被设置为大于除了候选区域之外的区域的像素的像素值的值。 

另外，在检测图像的像素的像素值方面，位于与被确定为包括人的脸部的候选区域的像素相同位置处的像素更可能具有较高的像素值。脸部信 息图生成单元252将以这种方式获得的检测图像汇总为单个图像。其后，脸部信息图生成单元252规范化所生成的图像，并且使用该图像作为脸部信息图。因此，在脸部信息图中，位于与其中多个候选区域彼此部分重叠的区域对应的区域中的像素具有大的像素值，因此，很可能该区域包括脸部。注意，执行规范化，以使得脸部信息图的像素的像素值的每一个的范围在0和255之间。 

在生成了脸部信息图后，脸部信息提取处理结束，处理进行到图20中所示的步骤S115。 

以这种方式，脸部信息提取单元124从输入图像中检测脸部，并且使用检测结果生成脸部信息图。通过使用以这种方式获得的脸部信息图，可以容易地检测到作为主题的人脸部的区域。 

运动信息提取处理的描述 

接着，参照图25中所示的流程图描述与图20中所示的步骤S115中执行的处理对应的示例运动信息提取处理。 

在步骤S271中，局部运动向量提取单元281使用例如梯度方法检测从获取单元22提供的输入图像的每个像素的局部运动向量。其后，局部运动向量提取单元281将局部运动向量提供给差计算单元283。 

在步骤S272中，全局运动向量提取单元282使用从获取单元22提供的输入图像检测全局运动向量，并且将全局运动向量提供给差计算单元283。 

在步骤S273中，差计算单元283计算从局部运动向量提取单元281提供的局部运动向量和从全局运动向量提取单元282提供的全局运动向量之间的差的绝对值。因此，差计算单元283生成运动差图像。其后，差计算单元283将所生成的运动差图像提供给运动信息图生成单元284。 

在步骤S274中，运动信息图生成单元284规范化从差计算单元283提供的运动差图像，并且生成运动信息图。其后，差计算单元283将运动信息图提供给主题图生成单元126。注意，执行规范化以使得像素的像素值的每一个在范围0和255之间。在生成了运动信息图后，运动信息提取处理结束，处理进行到图20中所示的步骤S116。 

以这种方式，运动信息提取单元125从输入图像中检测运动，并且使 用检测结果生成运动信息图。通过使用运动信息图，可以容易地检测到输入图像中的运动对象的区域。输入图像中运动对象的区域是吸引扫视输入图像的观众的注意力的区域。因此，很可能该区域表示主题。 

如图4中所示，主题提取单元92以上述方式生成多个信息图，并且使用所述信息图生成主题图。 

边缘点数计算处理的描述 

下面，参照图26至28描述与图12中所示的步骤S14到S16中执行的处理对应的示例边缘点数计算处理、饱和度点数计算处理和建议生成处理。 

首先参照图26中所示的流程图描述与图12中所示的步骤S14中执行的处理对应的边缘点数计算处理。通过图10中所示的边缘点数计算单元25来执行该边缘点数计算处理。 

在步骤S301中，主题提取单元311执行主题图生成处理，根据自获取单元22提供的输入图像生成主题图，并且将所述主题图提供给反转单元312。注意，由于所述主题图生成处理类似于图20中所示的主题图生成处理，因此不重复其描述。 

在步骤S302中，反转单元312对从主题提取单元311提供的主题图执行反转处理，并且将反转的主题图提供给乘法器单元315。即，在主题图中，像素的像素值“1”被改变为“0”，而像素的像素值“0”被改变为“1”。因此，通过使用反转的主题图，可以提取输入图像的背景部分。 

在步骤S303中，滤波处理单元313对从获取单元22提供的输入图像执行使用拉普拉斯滤波器的滤波处理，生成拉普拉斯图像，并且将拉普拉斯图像提供给规范化单元314。规范化单元314规范化从滤波处理单元313提供的拉普拉斯图像，并且将规范化的拉普拉斯图像提供给乘法器单元315。 

在步骤S304中，乘法器单元315将从规范化单元314提供的拉普拉斯图像乘以从反转单元312提供的反转主题图，并且生成主题图像。其后，乘法器单元315将所生成的主题图像提供给区域边缘强度计算单元316和直方图生成单元317。即，乘法器单元315计算拉普拉斯图像的每个像素的像素值和位于相同位置处的反转主题图的像素的像素值的乘积，并且使用该乘积作为背景图像的像素的像素值。以这种方式获取的背景图像是 指示除了主题之外的部分，即背景部分的边缘强度的图像。 

在步骤S305中，区域边缘强度计算单元316使用从乘法器单元315提供的背景图像计算上边缘区域、下端区域、左端区域和右边缘区域的边缘强度，并且将每个区域的边缘强度提供给转换单元319。例如，区域边缘强度计算单元316计算背景图像的上边缘区域的像素的像素值的和，并且使用该和作为上边缘区域的区域边缘强度。 

在步骤S306中，直方图生成单元317使用从乘法器单元315提供的背景图像生成直方图。所述直方图指示在输入图像的背景部分中的边缘的复杂度。 

即，直方图生成单元317对背景图像执行阈值处理。更具体地，在主题图像的像素中，具有大于或者等于阈值的像素值的像素继续具有所述像素值。但是，具有小于阈值的像素值的像素被改变为0。 

随后，直方图生成单元317生成边缘直方图，其使用背景图像的像素的像素值的范围、即边缘强度的范围作为柱。其后，直方图生成单元317将所生成的边缘直方图提供给分数计算单元318。 

在步骤S307中，分数计算单元318使用从直方图生成单元317提供的直方图来计算边缘分数，并且将所述边缘分数提供给转换单元319。 

例如，假定进行了阈值处理的背景图像的像素值在0到1的范围中。然后，分数计算单元318从在自0.1的像素值(边缘强度)到0.2的像素值的范围中包括的一个或更多个柱中选择具有最高频率值的柱，并且提取该值作为最高频率值Ma。即，从具有0.1到0.2之间的代表值的柱中选择具有最高频率值的柱，并且将最高频率值用作最高频率值Ma。 

另外，分数计算单元318从在自0.8的像素值(边缘强度)到0.9的像素值的范围中包括的一个或更多个柱中选择具有最低频率值的柱，并且提取该值作为最低频率值Mb。即，从具有0.8到0.9之间的代表值的柱中选择具有最低频率值的柱，并且将最低频率值用作最低频率值Mb。 

随后，分数计算单元318从最高频率值Ma中减去最低频率值Mb，并且使用结果值作为边缘分数。以这种方式获得的边缘分数表示输入图像的背景部分中具有小边缘强度的像素的数量和具有大边缘强度的像素的数量之间的差，即背景部分的边缘的复杂度。 

通常，在业余图像中，背景部分的边缘复杂，因此，最高频率值Ma趋向于提高而最低频率值Mb趋向于降低。即，很可能类似于业余图像的 图像的边缘分数提高。相反，在专业图像中，背景部分的边缘简单，即具有大边缘强度的像素的数量小，因此，最高频率值Ma和最低频率值Mb趋向于降低。即，很可能与专业图像类似的图像的边缘分数降低。因此，当边缘分数降低时，输入图像更有吸引力。 

在步骤S308中，转换单元319使用预先存储的转换表将从分数计算单元318提供的边缘分数转换为边缘点数。例如，转换单元319包括以与图2中所示的转换单元69中存储的转换表相同方式生成的转换表。转换单元319使用转换表将边缘分数转换为边缘点数。当边缘分数降低时，背景部分的边缘的复杂度降低，因此，输入图像更类似于专业图像。因此，当边缘分数降低时，边缘分数被转换为更高的点数。 

在将边缘分数转换为边缘点数后，转换单元319将所获得的边缘点数和从区域边缘强度计算单元316提供的区域边缘强度提供给建议生成单元27。其后，边缘点数计算处理结束，处理进行到图12中所示的步骤S15。 

以这种方式，边缘点数计算单元25从输入图像中提取背景部分，并且使用背景部分的边缘强度来计算指示背景部分的边缘强度的复杂度的边缘分数。其后，边缘点数计算单元25使用转换表将边缘分数转换为边缘点数。 

如上所述，通过仅处理背景部分并且计算边缘点数，可以更正确地评价输入图像的吸引力。 

即，业余图像趋向于包括具有复杂边缘的背景部分，而专业图像趋向于包括具有简单边缘的背景部分。因此，为了利用这样的趋势，计算指示仅在背景部分中的边缘复杂度的边缘分数，并且将所述边缘分数转换为边缘点数。从而，可以不管主题部分中的边缘复杂度而更简单和正确地评价输入图像的吸引力。 

饱和度点数计算处理的描述 

接着，参照图27中所示的流程图描述与图12中所示的步骤S15中执行的处理对应的饱和度点数计算处理。 

在步骤S331中，转换单元341将从获取单元22提供的输入图像转换为由H(色调)、S(饱和度)、V(明暗)分量的值形成的输入图像，并且将转换的输入图像提供给直方图生成单元342。 

在步骤S332中，直方图生成单元342使用从转换单元341提供的输入图像生成饱和度分量的直方图，并且将所生成的直方图提供给分数计算单元343。例如，直方图生成单元342从输入图像的像素中提取具有大于或者等于预定阈值th1的H(色调)分量和大于或者等于预定阈值th2的V(明暗)分量的像素。其后，直方图生成单元342使用所提取的像素生成具有指示S(饱和度)的值的范围的柱的直方图。 

在步骤S333中，分数计算单元343使用从直方图生成单元342提供的直方图计算饱和度分数，并且将饱和度分数提供给转换单元344。 

例如，分数计算单元343对饱和度直方图执行GMM(高斯混和模型)近似，并且计算一个或更多个分布的重要性、平均值和方差。在此使用的术语“分布”指的是从具有峰值的近似获得的整体分布曲线的一部分。 

分数计算单元343使用分布中的最重要的分布的方差和平均值的每一个作为饱和度分数。以这种方式获得的饱和度分数表示整个输入图像的饱和度分量的平均值和方差。通过使用所述平均值和方差值，可以确定输入图像与专业图像或者业余图像是否相似。因此，通过使用饱和度分数，可以评价输入图像的吸引力。 

在步骤S334中，转换单元344使用预先存储的转换表将从分数计算单元343提供的饱和度分数转换为饱和度点数。 

例如，转换单元344对作为饱和度分数的平均值和方差的每一个预先存储以与图2中所示的转换单元69中存储的转换表相同的方式生成的转换表，并且使用转换表将饱和度分数转换为点数。因此，可以获得平均值的点数和方差的点数。 

例如，转换饱和度分数以使得当输入图像的饱和度分量的平均值和方差更类似于专业图像的那些时，针对平均值给出的点数和针对方差给出的点数具有较高值。即，当饱和度分量的平均值和饱和度分量的方差用作评价指标时，输入图像更类似于专业图像(即输入图像较有吸引力)，因为针对平均值给出的点数和针对方差给出的点数具有较高值。 

在计算饱和度点数后，转换单元344将所计算的饱和度点数提供给建议生成单元27。其后，饱和度点数计算处理结束，处理进行到图12中所示的步骤S16。 

如上所述，色彩饱和度点数计算单元26计算饱和度值的平均值和方差作为饱和度分数，并且将饱和度分数转换为饱和度点数。通过计算整个 输入图像中饱和度值的平均值和方差并且计算饱和度点数，可以进一步正确地评价输入图像的吸引力。 

即，当使用饱和度作为指标评价输入图像的吸引力时，必须以整个图像为评价目标。因此，通过计算整个输入图像中的饱和度值的平均值和方差，可以进一步正确地评价输入图像的吸引力。 

建议生成处理的描述 

接着，参照图28中所示的流程图描述与图12中所示的步骤S16中执行的处理对应的建议生成处理。 

在步骤S361中，建议生成单元27确定从模糊度点数计算单元23提供的模糊度点数是否小于或者等于预定阈值thb。 

如果在步骤S361中确定模糊度点数不小于也不等于预定阈值thb，则处理进行到步骤S365。 

当整个输入图像的模糊度降低时，模糊度点数增加。因此，如果模糊度点数高于预定阈值thb，则输入图像不完全模糊。因此，不必减小输入图像的模糊。因此，不输出用于提高由模糊度确定的分数的建议消息。 

但是，如果在步骤S361中确定模糊度点数小于或者等于预定阈值thb，则建议生成单元27在步骤S362中确定从边缘点数计算单元25提供的边缘分数是否低于或者等于预定阈值the。 

如果在步骤S362中确定边缘分数低于或者等于预定阈值，则建议生成单元27在步骤S363中生成用户应当聚焦于主题的建议消息，并且将该建议消息提供给显示控制单元28。 

当输入图像的背景部分中的边缘变得更复杂时，边缘分数降低。因此，如果边缘分数低于某一值，则输入图像的背景部分对准焦点。即，输入图像的前景(主题)模糊，而输入图像的背景部分对准焦点。 

因此，当模糊度分数低于或者等于预定阈值thb并且如果边缘分数低于或者等于预定阈值the时，尽管输入图像在一定程度上整体模糊，但是背景部分在一定程度上对准焦点。 

因此，在这种情况下，为了提高模糊度分数，建议生成单元27生成指示主题应当对准焦点的建议消息。通过根据该建议来控制聚焦，用户可以获得其中主题对准焦点的更有吸引力的图像。 

但是，如果在步骤S362中确定边缘分数不低于也不等于预定阈值the，则建议生成单元27在步骤S364中生成指示图像应当对准焦点的建议消息，并且将建议消息提供给显示控制单元28。 

当模糊度分数低于或者等于预定阈值thb时并且如果边缘分数高于预定阈值the，则整个输入图像模糊，并且背景部分也模糊。即，输入图像的任何点都不对准焦点。 

因此，在这种情况下，为了减小输入图像的模糊，建议生成单元27生成指示图像应当对准焦点的建议消息。通过根据该建议来控制聚焦，用户可以获得其中主题对准焦点的更有吸引力的图像。 

但是，如果在步骤S361中确定模糊度点数不小于也不等于预定阈值thb，或者如果在步骤S363或者S364中生成建议消息，则处理进行到步骤S365。 

在步骤S365中，建议生成单元27确定从边缘点数计算单元25提供的边缘点数是否小于或者等于预定阈值the。 

如果在步骤S365中确定边缘点数不小于也不等于预定阈值the，则处理进行到步骤S368。 

当输入图像的背景部分变得更简单时，边缘点数增加。当边缘点数增加时，输入图像更类似于专业图像，即输入图像更有吸引力。因此，如果边缘点数大于预定阈值the，则输入图像的背景部分中的边缘简单。当使用边缘的复杂度作为指标评价输入图像时，输入图像是足够有吸引力的图像。因此，不必降低输入图像的背景的边缘复杂度。因此，不输出用于提高在边缘复杂度方面的点数的建议消息。 

相反，如果在步骤S365中确定边缘分数低于或者等于预定阈值the，则建议生成单元27在步骤S366中生成指示背景应当模糊的建议消息，并且将该建议消息提供给显示控制单元28。 

具有低于或者等于预定阈值the的边缘分数的输入图像是包括具有复杂边缘的背景图像的无吸引力的图像。因此，为了提高使用背景的边缘复杂度作为指标评价的吸引力，建议生成单元27生成指示背景应当模糊的建议消息。通过根据该建议控制聚焦，用户可以获得包括简单背景的更有吸引力的图像。 

另外，在步骤S367中，建议生成单元27使用从边缘点数计算单元25提供的区域边缘强度生成指示应当在必要时改变输入图像的构图的建 议消息。其后，建议生成单元27将建议消息提供给显示控制单元28。 

即，建议生成单元27将上边缘区域、下端区域、左端区域和右边缘区域的每一个与预定阈值相比较，并且输出指示应当在必要时根据比较的结果改变输入图像的构图的建议消息。 

每个区域的区域边缘强度表示背景图像的每个区域中的像素的边缘强度的和。因此，具有较高区域边缘强度的区域具有背景图像的更复杂的边缘。 

例如，如果左端区域和右边缘区域的区域边缘强度的每一个高于阈值，则在背景中包括复杂边缘。因此，建议生成单元27生成指示背景应当具有更简单的构图的建议消息。更具体地，例如，生成建议消息“向主题靠近”。 

如果用户根据建议拍摄图像，则用户可以获得其中主题占输入图像的大区域并且背景较模糊的构图。因此，用户可以获得包括简单背景图像的更有吸引力的图像。即，在背景中边缘复杂度被用作评价指标方面，可以获得更有吸引力的输入图像。 

另外，例如，如果左端区域的区域边缘强度低于阈值而右边缘区域的区域边缘强度高于或者等于阈值，则输入图像中背景的左端部分中的边缘简单，但是背景的右边缘区域中的边缘复杂。 

在这种情况下，建议生成单元27生成指示应当改变构图的建议消息，以便简化输入图像的右端侧的背景部分。更具体地，例如生成建议消息“将照像机向左移动”。如果用户根据建议拍摄图像，则用户可以获得其中简化了输入图像的任何一侧上的背景部分中的边缘的构图。因此，当背景中边缘复杂度用作评价指标时，用户可以获得更有吸引力的输入图像。 

但是，如果在步骤S365中确定边缘点数不小于也不等于预定阈值the，或者如果在步骤S367中生成建议消息，则处理进行到步骤S368。在步骤S368中，建议生成单元27确定从亮度点数计算单元24提供的亮度点数是否小于或者等于预定阈值thl。 

如果在步骤S368中确定亮度点数不小于也不等于预定阈值thl，则处理进行到步骤S374。 

当输入图像的前景部分的亮度分布更类似于专业图像时，亮度的点数变得更高，因此图像被看作更有吸引力的图像。因此，如果亮度的点数高于预定阈值thl，则输入图像的前景部分的亮度分布类似于被广泛高度欣 赏的专业图像。当前景图像的亮度分布被用作评价指标时，输入图像足够有吸引力。因此，改变输入图像的前景部分的亮度分布不必要，并且不输出用于提高亮度点数的建议消息。 

但是，如果在步骤S368中确定亮度点数不低于也不等于预定阈值thl，则建议生成单元27在步骤S369中确定从亮度点数计算单元24提供的平均亮度是否低于或者等于预定阈值thd。 

如果在步骤S369中确定平均亮度低于或者等于预定阈值thd，则建议生成单元27在步骤S370中生成指示应当打开闪光灯的建议消息，并且将该建议消息提供给显示控制单元28。 

当亮度点数低于或者等于预定阈值thl时，输入图像具有与专业图像不相似的前景部分的亮度分布。通常，这样的输入图像包括太亮或者太暗的前景部分。另外，低于或者等于预定阈值thd的输入图像的平均亮度指示整个输入图像为暗。 

因此，很可能具有低于或者等于预定阈值thl的亮度点数并且具有低于或者等于预定阈值thd的平均亮度的输入图像整体太暗(不仅前景部分暗)。因此，为了提高整个输入图像的亮度，建议生成单元27生成指示应当打开闪光灯的建议消息。通过根据该建议拍摄图像，由于闪光至少输入图像的前景部分可以具有足够的亮度。因此，当前景的亮度分布用作评价指标时，用户可以获得更有吸引力的输入图像。 

但是，如果在步骤S369中确定平均亮度不低于也不等于预定阈值thd，则建议生成单元27在步骤S371中确定平均亮度是否高于或者等于预定阈值thu。在此，预定阈值thu大于预定阈值thd。预定阈值thu用于确定整个输入图像是否太亮。 

如果在步骤S371中确定平均亮度高于或者等于预定阈值thu，则建议生成单元27在步骤S372中生成指示应当调整白平衡以降低亮度的建议消息，并且将该建议消息提供给显示控制单元28。 

很可能具有低于或者等于预定阈值thl的亮度点数并且具有高于或者等于预定阈值thu的平均亮度的输入图像整体太亮。因此，为了降低整个输入图像的亮度，建议生成单元27生成指示应当调整白平衡的建议消息。通过根据该建议控制白平衡，可以降低整个输入图像的亮度。因此，当前景部分的亮度分布用作评价指标时，用户可以获得更有吸引力的输入图像。 

但是，如果在步骤S371中确定平均亮度不高于也不等于预定阈值thu，则建议生成单元27在步骤S373中生成指示应当调整主题部分的白平衡的建议消息，并且将该建议消息提供给显示控制单元28。 

很可能具有低于或者等于预定阈值thl的亮度点数并且具有高于预定阈值thd而低于预定阈值thu的平均亮度的输入图像包括太亮的前景部分或者整体太暗。因此，为了适当地调整前景部分(即主题)的亮度，建议生成单元27生成指示应当调整主题部分的白平衡的建议消息。通过根据该建议控制前景的白平衡，可以将输入图像中的主题的亮度设置为适当的亮度。因此，当前景的亮度分布用作评价指标时，用户可以获得更有吸引力的输入图像。 

另外，如果在步骤S368中确定亮度点数不低于也不等于预定阈值thl，或者如果在步骤S370、S372或者S373中生成建议，则处理进行到步骤S374。 

在步骤S374中，建议生成单元27确定从色彩饱和度点数计算单元26提供的饱和度点数是否低于或者等于预定阈值ths。 

更具体地，建议生成单元27确定作为饱和度点数的饱和度分量的平均值的点数是否低于或者等于预定阈值ths1，或者作为饱和度点数的饱和度分量的方差的点数是否低于或者等于预定阈值ths2。 

随后，如果平均值的点数和方差的点数的至少一个低于或者等于预定阈值ths1或者预定阈值ths2，则建议生成单元27确定饱和度点数低于或者等于预定阈值ths。 

如果在步骤S374中确定饱和度点数不低于也不等于预定阈值ths，则建议生成处理结束，处理进行到图12中所示的步骤S17。 

当输入图像的饱和度分量的方差和平均值类似于专业图像时，饱和度点数增大。当饱和度点数增大时，整个输入图像变得更亮和更有吸引力。因此，如果饱和度点数高于预定阈值ths，则输入图像的饱和度分量的方差和平均值类似于被广泛称赞的专业图像。即，当饱和度用作评价指标时，输入图像是明亮和有吸引力的图像。因此，不必提高输入图像的亮度，从而不输出用于提高饱和度点数的建议消息。 

但是，如果在步骤S374中确定饱和度的点数低于预定阈值ths，则建议生成单元27在步骤S375中生成指示应当调整白平衡以使得主题的色彩在视觉上显著的建议消息。其后，建议生成单元27将该建议消息提供给 显示控制单元28。 

当饱和度点数低于预定阈值ths时，输入图像的饱和度的平均值或者方差不接近专业图像。通常，这样的输入图像褪色并且整体不鲜艳。因此，建议生成单元27生成指示应当调整白平衡以使得整个输入图像的色彩特别是主题的色彩高度明显的建议消息。通过根据该建议调整主题的白平衡，整个输入图像的色彩特别是主题的色彩可以变得鲜艳。因此，当饱和度用作评价指标时，用户可以获得更有吸引力的输入图像。 

注意，在步骤S375中，可以输出指示应当调整曝光度而不是白平衡以提高输入图像的亮度的建议消息。 

在指示应当调整白平衡以使得主题的色彩高度明显的建议消息后，建议生成处理结束，处理进行到图12中所示的步骤S17。 

以这种方式，建议生成单元27根据每个特征的点数输出预定的建议消息。通过输出建议消息以使得以上述方式根据点数的数量进一步提高特征的点数，可以提高特征的点数。结果，可以拍摄到更有吸引力的输入图像。即可以向用户提供更适当的建议。 

注意，整个输入图像中的色彩分布也可以用作评价指标。在这种情况下，例如，使用例如输入图像与专业图像或者业余图像的相似来计算色彩分布的点数，并且根据色彩分布的点数输出建议消息。例如，通过使用色彩分布，可以向用户提供指示应当如何调整白平衡的建议。 

不仅可以通过硬件而且可以通过软件来执行上述的系列处理。当通过软件执行上述的系列处理时，从程序记录介质将软件的程序安装到专用硬件中包含的计算机或者可以通过在其中安装各种程序来执行各种功能的计算机(例如通用个人计算机)中。 

图29是执行程序并且进行上述系列处理的计算机的示例硬件配置的框图。 

在计算机中，中央处理单元(CPU)601、只读存储器(ROM)602和随机存取存储器(RAM)603经由总线604彼此连接。 

输入/输出接口605还连接到总线604。下面的装置连接到输入/输出接口605：输入单元606，其包括键盘、鼠标和麦克风；输出单元607，其包括显示器和扬声器；记录单元608，其包括硬盘和半导体存储器；通信单元609，其包括网络接口；以及驱动器610，其驱动诸如磁盘、光盘、磁光盘或者半导体存储器等可移除介质611。 

在具有上述配置的计算机中，CPU 601经由输入/输出接口605和总线604将存储在例如记录单元608中的程序加载到RAM 603中，并且执行所加载的程序。因此，可以执行上述系列处理。 

由计算机(CPU 601)执行的程序记录在可移除介质611中，并且被分发，可移除介质611是封装的非暂态计算机可读存储介质，包括例如磁盘(包括软盘)、光盘(例如致密盘只读存储器(CD-ROM)或者数字通用盘(DVD))、磁光盘或者半导体存储器。或者，可以经由诸如局域网、因特网或者数字卫星广播系统等有线或者无线传输介质来分发所述程序。 

通过在驱动器610中安装可移除介质611，可以经由输入/输出接口605将程序安装在记录单元608中。或者，程序可以由通信单元609经由有线或者无线传输介质接收，并且可以安装在记录单元608中。又或者，程序可以预先安装在ROM 602或者记录单元608中。 

由计算机执行的程序可以具有其中按如上所述的顺序执行处理的结构，或者可以具有其中在必要时(例如并行地或者当调用每个处理时)执行处理的结构。 

本领域内的技术人员应当理解，本发明的实施例不限于上述示例实施例，在不背离本发明的精神和范围的情况下可以进行各种修改。 

Claims (15)

1.一种用于改善所拍摄图像的质量的设备，包括：

第一计算单元，被配置为计算第一值，所述第一值表示第一图像的质量的第一方面；

第二计算单元，被配置为计算第二值，所述第二值表示所述第一图像的质量的第二方面，所述第二值与所述第一图像的背景复杂度、模糊度、色彩饱和度之一相关联；以及

建议生成单元，被配置为根据计算的所述第一值和第二值的至少一个生成用于拍摄第二图像的建议；

其中，所述第一计算单元包括：

平均亮度计算单元，被配置为计算所述第一图像的平均亮度；

主题提取单元，被配置为根据所述第一图像生成用于提取包括主题的第一图像的区域的主题图；

乘法器单元，被配置为根据所述第一图像和所述主题图生成作为第一图像中主题区域的图像的主题图像；

直方图生成单元，被配置为根据所述主题图像生成主题图像的亮度值的直方图；

规范化单元，被配置为规范化所述直方图；

分数计算单元，被配置为根据规范化的直方图计算亮度分数，所述亮度分数指示在亮度分布方面主题图像与专业图像的类似度；以及

转换单元，被配置为使用预先存储的转换表将所述亮度分数转换为亮度点数，并将所述亮度点数与所述平均亮度作为所述第一值提供给所述建议生成单元。

2.根据权利要求1所述的设备，其中，所述第二计算单元被配置为将所述第一图像的前景部分与所述第一图像的背景部分分离，所述第二值与所述第一图像的背景复杂度相关联，并且根据所述背景部分计算所述第二值。

3.根据权利要求1所述的设备，其中，根据所述第一图像的前景部分和背景部分两者计算所述第二值。

4.根据权利要求1所述的设备，其中，根据所述第一值的计算未基于的、所述第一图像的一部分计算所述第二值。

5.根据权利要求1所述的设备，其中，所述建议生成单元被配置为将所述第一值与第一预定阈值相比较，并且用于拍摄所述第二图像的建议基于所述第一值和所述第一预定阈值之间的比较的结果。

6.根据权利要求5的设备，其中，所述建议生成单元被配置为将所述第二值与第二预定阈值相比较，并且用于拍摄所述第二图像的建议还基于所述第二值和所述第二预定阈值之间的比较的结果。

7.根据权利要求1所述的设备，还包括第三计算单元，被配置为计算第三值，所述第三值表示所述第一图像的质量的第三方面，其中，用于拍摄所述第二图像的建议还基于所述第三值。

8.根据权利要求7所述的设备，还包括第四计算单元，被配置为计算第四值，所述第四值表示所述第一图像的质量的第四方面，其中，用于拍摄所述第二图像的建议还基于所述第四值。

9.根据权利要求1所述的设备，还包括显示单元，被配置为显示所生成的建议。

10.根据权利要求9所述的设备，其中，所述生成的建议包括文本。

11.根据权利要求1所述的设备，其中，所述生成的建议包括指示所述第二图像的一部分应当对准焦点的建议。

12.根据权利要求1所述的设备，其中，所述生成的建议包括指示是否应当打开闪光灯的建议。

13.根据权利要求1所述的设备，其中，所述生成的建议包括指示应当如何调整白平衡的建议。

14.一种照像机，包括：

第一计算单元，被配置为计算第一值，所述第一值表示第一图像的质量的第一方面；

第二计算单元，被配置为计算第二值，所述第二值表示所述第一图像的质量的第二方面，所述第二值与所述第一图像的背景复杂度、模糊度、色彩饱和度之一相关联；

建议生成单元，被配置为根据计算的所述第一值和第二值的至少一个生成用于拍摄第二图像的建议；以及

显示单元，被配置为显示所生成的建议；

其中，所述第一计算单元包括：

平均亮度计算单元，被配置为计算所述第一图像的平均亮度；

主题提取单元，被配置为根据所述第一图像生成用于提取包括主题的第一图像的区域的主题图；

乘法器单元，被配置为根据所述第一图像和所述主题图生成作为第一图像中主题区域的图像的主题图像；

直方图生成单元，被配置为根据所述主题图像生成主题图像的亮度值的直方图；

规范化单元，被配置为规范化所述直方图；

分数计算单元，被配置为根据规范化的直方图计算亮度分数，所述亮度分数指示在亮度分布方面主题图像与专业图像的类似度；以及

转换单元，被配置为使用预先存储的转换表将所述亮度分数转换为亮度点数，并将所述亮度点数与所述平均亮度作为所述第一值提供给所述建议生成单元。

15.一种用于改善所拍摄的图像的质量的方法，包括：

计算第一值，所述第一值表示第一图像的质量的第一方面；

计算第二值，所述第二值表示所述第一图像的质量的第二方面，所述第二值与所述第一图像的背景复杂度、模糊度、色彩饱和度之一相关联；

并且

根据计算的所述第一值和第二值的至少一个生成用于拍摄第二图像的建议；

其中，所述计算第一值包括：

计算所述第一图像的平均亮度；

根据所述第一图像生成用于提取包括主题的第一图像的区域的主题图；

根据所述第一图像和所述主题图生成作为第一图像中主题区域的图像的主题图像；

根据所述主题图像生成主题图像的亮度值的直方图；

规范化所述直方图；

根据规范化的直方图计算亮度分数，所述亮度分数指示在亮度分布方面主题图像与专业图像的类似度；以及

使用预先存储的转换表将所述亮度分数转换为亮度点数，并将所述亮度点数与所述平均亮度作为所述第一值提供。

Images