CN102113335B - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN102113335B
CN102113335B CN2010800022570A CN201080002257A CN102113335B CN 102113335 B CN102113335 B CN 102113335B CN 2010800022570 A CN2010800022570 A CN 2010800022570A CN 201080002257 A CN201080002257 A CN 201080002257A CN 102113335 B CN102113335 B CN 102113335B
Authority
CN
China
Prior art keywords
evaluation
input picture
unit
estimate
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010800022570A
Other languages
English (en)
Other versions
CN102113335A (zh
Inventor
横川昌俊
相坂一树
村山淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102113335A publication Critical patent/CN102113335A/zh
Application granted granted Critical
Publication of CN102113335B publication Critical patent/CN102113335B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种能够更适当地评价图像的图像捕获状态的图像处理设备和方法以及程序。模糊度分数计算单元(23)至色度分数计算单元(27)从输入图像提取预先指定的特征的特征量,并且基于这些特征计算逐个特征分数,所述逐个特征分数指示输入图像的评价。例如,亮度分数计算单元(24)从输入图像提取亮度值作为特征量,并且基于输入图像的主题部分中的亮度值的分布来计算指示评价的亮度分数。整体分数计算单元(28)基于各个特征分数计算整体分数,所述整体分数指示输入图像的图像捕获状态的评价。如上所述,当计算各个特征分数时,通过从对各个特征适当的输入图像的区域中提取各个特征量来获得分数。可以更适当地评价输入图像。本发明可以应用于图像处理设备。

Description

图像处理设备和方法
技术领域
本发明涉及一种图像处理设备和方法以及程序,具体地说涉及一种能够更适当地评价所捕获的图像的图像捕获状态的图像处理设备和方法以及程序。 
背景技术
迄今为止,存在一种用于计算评价值的已知技术,所述评价值是用于指示关于是否已经令人满意地捕获了通过使用图像捕获装置执行图像捕获而获得的图像的评价的评价值,即,用于指示图像的图像捕获状态的评价的评价值。 
一种用于计算图像捕获状态的评价值的技术的示例是下述技术,其中,从整个图像提取每一个特征的特征量,对关于图像的每一个特征获得评价,并且,合计那些特征的每一个的评价,从而计算整体评价(参见例如,NPL1)。具体地说,在NPL1公开的技术中,作为每一个特征的评价,计算基于边缘的复杂度、边界框的大小和模糊度等的评价。 
引用列表 
非专利文献 
NPL 1:Yan Ke,Xiaoou Tang,Feng Jing“The Design of High-LevelFeatures for Photo Quality Assessment”,[online],[searched on June 3,2009],Internet<URL:http://www.cs.cmu.edu/toyke/photoqual/cvpr06photo.pdf#search=‘The Design of HighLevelFeatures for Photo Quality Assessment’> 
发明内容
技术问题 
然而,在上述技术中,难以适当地评价图像的图像捕获状态。即,在 NPL 1公开的技术中,从整个图像提取每一个特征的特征量,并且,执行评价值的计算。因此,根据用于图像的评价的特征,变得不可能计算适当的评价值。 
例如,通常,其中背景部分简单的图像,即其中边缘在背景部分中不复杂的图像被假定已经被令人满意地捕获,并且被假定是具有高评价的图像。这里,假定存在具有高评价的典型图像,其中,图像中的主题部分的面积大,并且主题部分具有复杂的边缘,但是背景部分中的边缘不复杂。在该情况下,如果从图像提取边缘强度作为一个特征并且获得基于边缘的复杂度的评价,则边缘被认为在整个图像中复杂,所获得的评价值变为比原本应当获得的评价更低的评价。 
考虑到这样的情形作出本发明,并且本发明旨在使得可以更适当地评价图像的图像捕获状态。 
对于问题的解决方案 
根据本发明的一个方面的图像处理设备包括:第一评价值计算装置,用于从输入图像的整体提取第一特征的特征量,以及用于根据所述第一特征的所述特征量来计算第一部分评价值,所述第一部分评价值指示基于所述第一特征的所述输入图像的评价;第二评价值计算装置,用于从所述输入图像的预定区域提取第二特征的特征量,以及用于根据所述第二特征的所述特征量来计算第二部分评价值,所述第二部分评价值指示基于所述第二特征的所述输入图像的评价;以及,整体评价值计算装置,用于基于所述第一部分评价值和所述第二部分评价值来计算整体评价值,所述整体评价值指示所述输入图像的图像捕获状态的评价。 
所述第二部分评价值计算装置可以包括:主题区域识别装置,用于从所述输入图像的各个区域提取由所述输入图像中的主题区域拥有的第三特征的特征量,以识别所述输入图像中的所述主题区域;以及,计算装置,用于从所述输入图像中包含所述主题的主题区域以及所述输入图像中不包含所述主题的背景区域之一提取所述第二特征的所述特征量,以及用于计算所述第二部分评价值。 
可以使得所述计算装置提取所述输入图像中的所述主题区域的各个区域中的亮度值作为所述第二特征的所述特征量,并计算基于所述主题区域中的所述亮度值的分布的所述第二部分评价值。 
可以使得所述计算装置提取所述输入图像中的所述背景区域的各个区域中的边缘强度作为所述第二特征的所述特征量,并计算基于所述背景区域中的所述边缘的复杂度的所述第二部分评价值。 
可以使得所述第一评价值计算装置计算基于所述输入图像的整体中的模糊度、颜色分布、色度的平均值和色度的方差中的至少一个的所述第一部分评价值。 
可以使得所述整体评价值计算装置将对于所述第一部分评价值的值预先指定的值和对于所述第二部分评价值的值预先指定的值相加,以计算所述整体评价值。 
可以基于具有图像捕获状态的不同评价的多个图像的所述第一部分评价值来确定对于所述第一部分评价值的值预先指定的值,所述评价是预先获得的,以及其中,可以基于具有图像捕获状态的不同评价的多个图像的所述第二部分评价值来确定对于所述第二部分评价值的值预先指定的值,所述评价是预先获得的。 
根据本发明的一个方面的图像处理方法或程序包括步骤:从输入图像的整体提取第一特征的特征量,并根据所述第一特征的所述特征量来计算第一部分评价值,所述第一部分评价值指示基于所述第一特征的所述输入图像的评价;从所述输入图像的预定区域提取第二特征的特征量,并根据所述第二特征的所述特征量来计算第二部分评价值,所述第二部分评价值指示基于所述第二特征的所述输入图像的评价;以及,根据所述第一部分评价值和所述第二部分评价值来计算整体评价值,所述整体评价值指示所述输入图像的图像捕获状态的评价。 
在本发明的一个方面,从输入图像的整体提取第一特征的特征量。根据所述第一特征的所述特征量来计算第一部分评价值,所述第一部分评价值指示基于所述第一特征的所述输入图像的评价。从所述输入图像的预定区域提取第二特征的特征量。根据所述第二特征的所述特征量来计算第二部分评价值,所述第二部分评价值指示基于所述第二特征的所述输入图像的评价。根据所述第一部分评价值和所述第二部分评价值来计算整体评价值,所述整体评价值指示所述输入图像的图像捕获状态的评价。 
本发明的有益效果 
根据本发明的一个方面,可以更适当地评价图像的图像捕获状态。 
附图说明
图1图示应用了本发明的图像处理设备的实施例的配置的示例。 
图2图示模糊度分数计算单元的配置的示例。 
图3图示亮度分数计算单元的配置的示例。 
图4图示主题提取单元的配置的示例。 
图5图示亮度信息提取单元的配置的示例。 
图6图示颜色信息提取单元的配置的示例。 
图7图示边缘信息提取单元的配置的示例。 
图8图示面部信息提取单元的配置的示例。 
图9图示边缘分数计算单元的配置的示例。 
图10图示颜色分布分数计算单元的配置的示例。 
图11图示色度分数计算单元的配置的示例。 
图12是图示幻灯片显示处理的流程图。 
图13图示模糊度分数的转换表的示例。 
图14图示确定关于模糊度分数的分数点数的方式。 
图15是图示模糊度计算处理的流程图。 
图16图示边缘图的建立。 
图17图示本地最大值的建立。 
图18图示边缘的示例。 
图19是图示亮度分数计算处理的流程图。 
图20是图示主题图建立处理的流程图。 
图21是图示亮度信息提取处理的流程图。 
图22是图示颜色信息提取处理的流程图。 
图23是图示边缘信息提取处理的流程图。 
图24是图示面部信息提取处理的流程图。 
图25是图示边缘分数计算处理的流程图。 
图26是图示颜色分布分数计算处理的流程图。 
图27是图示色度分数计算处理的流程图。 
图28图示计算机的配置的示例。 
具体实施方式
下面将参考附图描述应用了本发明的实施例。 
[图像处理设备的配置] 
图1图示应用了本发明的图像处理设备的实施例的配置的示例。 
该图像处理设备11对于通过使用诸如照相机的图像捕获装置执行的图像捕获所获得的输入图像计算评价值(下文称为整体分数),该评价值指示关于是否已经令人满意地捕获了输入图像,即输入图像的图像捕获状态(输入图像的外观)的评价。假定输入图像与由更专业的拍摄者捕获的图像越接近,则输入图像的评价将越高,并且输入图像的整体分数的值越小。即,假定整体分数的值越小,则已经越令人满意地捕获了图像。 
图像处理设备11包括记录单元21、获得单元22、模糊度分数计算单元23、亮度分数计算单元24、边缘分数计算单元25、颜色分布分数计算单元26、色度分数计算单元27、整体分数计算单元28、显示控制单元29和显示单元30。 
记录单元21由硬盘等构成,并且在其中记录了由用户使用图像捕获装置捕获的多个输入图像。例如,假定输入图像是其中每一个像素具有R(红色)、G(绿色)和B(蓝色)分量的值作为像素值的图像。获得单元22从记录单元21获得输入图像,并且将输入图像提供给模糊度分数计算单元23至色度分数计算单元27以及显示控制单元29。 
模糊度分数计算单元23至色度分数计算单元27从自获得单元22提供的输入图像提取预先指定的特征的特征量,并且基于特征来计算每一个特征的分数,该分数指示对于输入图像的评价。 
即,模糊度分数计算单元23从输入图像提取边缘强度作为预先指定的特征的特征量,并且基于边缘强度来计算模糊度分数,该模糊度分数用于指示输入图像的模糊度。亮度分数计算单元24从输入图像提取亮度值作为预先指定的特征的特征量,并且基于亮度值来计算亮度分数,该亮度分数指示基于在输入图像的主题部分(前景部分)中的亮度值的分布的评价。 
边缘分数计算单元25从输入图像提取边缘强度作为预先指定的特征的特征量,并且基于边缘强度来计算边缘分数,该边缘分数表示基于在输入图像的背景部分中的边缘的复杂度的评价。颜色分布分数计算单元26从输入图像提取每个颜色分量作为预先指定的特征的特征量,并且基于该颜色分量来计算颜色分布分数,该颜色分布分数指示基于在输入图像中的颜色的分布的评价。 
色度分数计算单元27从输入图像提取色度作为预先指定的特征的特征量,并且基于该色度来计算色度分数,该色度分数指示基于在输入图像中的色度的分布的平均值和方差的评价。模糊度分数计算单元23至色度分数计算单元27向整体分数计算单元28提供所计算的模糊度分数、亮度分数、边缘分数、颜色分布分数和色度分数。 
下文中,当不特别需要在模糊度分数、亮度分数、边缘分数、颜色分布分数和色度分数之间区分时,这些分数也被简称为逐个特征分数。 
整体分数计算单元28基于从模糊度分数计算单元23至色度分数计算单元27提供的逐个特征分数来计算整体分数,并且将整体分数提供给显示控制单元29。基于来自整体分数计算单元28的整体分数,显示控制单元29在从获得单元22提供的输入图像中选择具有高评价的若干输入图像。此外,显示控制单元29向显示单元30提供所选择的输入图像,以控制输入图像的显示。显示单元30例如由液晶显示器形成,并且在显示控制单元29的控制下显示输入图像。 
[模糊度分数计算单元的配置] 
此外,更详细而言,如图2中所示配置图1的模糊度分数计算单元23。 
即,模糊度分数计算单元23包括边缘图建立单元61、动态范围检测单元62、计算参数调整单元63、本地最大值产生单元64、边缘点提取单元65、提取量确定单元66、边缘分析单元67和模糊度检测单元68。 
根据从获得单元22提供的输入图像,边缘图建立单元61以具有相互不同的大小的三种类型的块为单位来检测输入图像的边缘的强度(边缘强度),并且建立其中所检测的边缘强度是像素值的边缘图。对于块的每一个大小建立这个边缘图,并且从小块起依次开始,将边缘图设置为比例SC1到SC3的边缘图。边缘图建立单元61向动态范围检测单元62和本地最大值产生单元64提供这些建立的三个边缘图。 
动态范围检测单元62通过使用来自边缘图建立单元61的边缘图来检 测作为输入图像的边缘强度的最大值和最小值之间的差的动态范围,并且将检测结果提供给计算参数调整单元63。 
根据从动态范围检测单元62提供的检测结果,计算参数调整单元63调整用于提取边缘点的计算参数,使得用于检测输入图像的模糊度的边缘点的提取数量(下文中也称为边缘点提取量)变为适当值。这里,术语“边缘点”指形成图像中边缘的像素。 
此外,计算参数包含提取参考值和边缘参考值,该提取参考值用于确定边缘点提取量是否适当,该边缘参考值用于确定边缘点是否是边缘点。计算参数调整单元63向边缘点提取单元65和提取量确定单元66提供边缘参考值,并且向提取量确定单元66提供提取参考值。 
本地最大值产生单元64将从边缘图建立单元61提供的每一个边缘图划分为预定大小的块,并且提取每个块的像素值的最大值,从而产生本地最大值。对于边缘图的每一个比例产生本地最大值,并且将本地最大值从本地最大值产生单元64向边缘点提取单元65和边缘分析单元67提供。下文中,从比例SC1到比例SC3的边缘图产生的本地最大值分别被称为本地最大值LM1至本地最大值LM3。 
边缘点提取单元65基于来自计算参数调整单元63的边缘参考值和来自本地最大值产生单元64的本地最大值来从输入图像提取边缘点。此外,边缘点提取单元65产生用于指示所提取的边缘点的信息的边缘点表,并且将边缘点表提供给提取量确定单元66。同时,从本地最大值LM1至本地最大值LM3分别获得的边缘点表分别被称为边缘点表ET1至边缘点表ET3。 
提取量确定单元66基于来自边缘点提取单元65的边缘点表和来自计算参数调整单元63的提取参考值来确定边缘点提取量是否适当。在边缘点提取量不适当的情况下,提取量确定单元66向计算参数调整单元63通知边缘点提取量不适当的情况。在边缘点提取量适当的情况下,提取量确定单元66向边缘分析单元67提供那时的边缘参考值和边缘点表。 
边缘分析单元67基于来自提取量确定单元66的边缘点表来执行输入图像的边缘点分析,并且将分析结果提供给模糊度检测单元68。基于分析结果和边缘点,模糊度检测单元68检测作为指示输入图像的模糊度的指数的模糊度,并且将作为模糊度分数的模糊度提供给整体分数计算单元28。 
[亮度分数计算单元的配置] 
此外,更详细地,如图3所示配置图1的亮度分数计算单元24。 
即,亮度分数计算单元24由主题提取单元91、乘法单元92、直方图产生单元93、归一化单元94和分数计算单元95构成。来自获得单元22的输入图像被提供给主题提取单元91和乘法单元92。 
基于从获得单元22提供的输入图像,主题提取单元91建立用于提取在输入图像中的主题包含区域的主题图,并且将主题图提供给乘法单元92。 
例如,在与像素处于同一位置的输入图像的区域被估计为主题包含区域的情况下,主题图的像素的像素值被设置为“1”,并且,在与像素处于同一位置的输入图像的区域被估计为其中不包含主题的区域的情况下,主题图的像素的像素值被设置为“0”。此外,假定这里所称的主题是在用户快速看一眼输入图像的情况下用户注意到的、输入图像中的对象主体,即,估计用户将他的/她的注意力转向的对象主体。因此,主题不必局限为人。 
通过将来自获得单元22的输入图像的像素的像素值乘以来自主题提取单元91的主题图的像素的像素值,乘法单元92产生作为输入图像中的主题区域的图像的主题图像,并且将主题图像提供给直方图产生单元93。在主题图像中,主题部分的像素的像素值变为与位于与像素相同位置的输入图像的像素的像素值相同的值。在主题图像中,其中不包含主题的背景部分的像素的像素值被设置为0。即,在乘法单元92中的相乘处理使得可以识别(提取)输入图像中的主题区域,并且产生从主题部分形成的主题图像。 
基于来自乘法单元92的主题图像,直方图产生单元93产生主题图像的亮度值的直方图,并且将该直方图提供给归一化单元94。归一化单元94归一化来自直方图产生单元93的直方图,并且将其提供给分数计算单元95。此外,基于从归一化单元94提供的直方图,分数计算单元95计算亮度分数,并且将其提供给整体分数计算单元28。 
[主题提取单元的配置] 
这里,更详细地,如图4中所示配置图3的主题提取单元91。 
即,主题提取单元91由亮度信息提取单元121、颜色信息提取单元122、边缘信息提取单元123、面部信息提取单元124和主题图建立单元125构成。此外,来自获得单元22的输入图像被提供给主题提取单元91的亮度信息提取单元121至面部信息提取单元124。 
亮度信息提取单元121至面部信息提取单元124从自获得单元22提供的输入图像中提取由主题区域拥有的特征的特征量,并且建立信息图,该信息图指示区域是输入图像的各个区域中的主题的概率。 
具体地说,亮度信息提取单元121从输入图像提取亮度值,建立用于指示关于输入图像的各个区域中的亮度的信息的亮度信息图,并且将亮度信息图提供给主题图建立单元125。颜色信息提取单元122从输入图像提取预定颜色的分量,建立用于指示关于输入图像的各个区域中的颜色的信息的颜色信息图,并且将颜色信息图提供给主题图建立单元125。 
边缘信息提取单元123从输入图像提取边缘强度,建立用于指示关于输入图像的各个区域中的边缘的信息的边缘信息图,并且将边缘信息图提供给主题图建立单元125。面部信息提取单元124从输入图像提取由人的面部拥有的特征的特征量,建立用于指示关于输入图像的各个区域中的、作为主题的人的面部的信息的面部信息图,并且将面部信息图提供给主题图建立单元125。 
同时,在下文中,在不必单独地区分从亮度信息提取单元121至面部信息提取单元124输出的亮度信息图至面部信息图的情况下,这些图也被简称为信息图。在这些信息图中包含的信息是用于指示在其中包含主题的区域中较大程度地包含的特征的特征量的信息,并且,被以这样的方式布置以对应于输入图像的各个区域的信息被做成信息图。即,可以说信息图是指示在输入图像的各个区域中的特征量的信息。 
因此,与较大程度地具有信息量的区域对应的输入图像的区域,即具有较多特征量的区域是具有较大程度地包含主题的高概率的区域,从而使得可以基于每一个信息图识别其中包含输入图像中的主题的区域。 
主题图建立单元125线性组合从亮度信息提取单元121至面部信息提取单元124提供的信息图,以建立主题图。即,对于在同一位置的每一个区域将亮度信息图至面部信息图的各个区域的信息(特征量)进行加权相加,以形成主题图。主题图建立单元125向乘法单元92提供所建立的主题图。 
[亮度信息提取单元的配置] 
接下来,将参考图5至图8描述图4的亮度信息提取单元121至面部信息提取单元124的更详细的配置。 
图5图示亮度信息提取单元121的更详细的配置的示例。 
亮度信息提取单元121由亮度图像产生单元151、金字塔图像产生单元152、差分计算单元153和亮度信息图建立单元154构成。 
亮度图像产生单元151通过使用从获得单元22提供的输入图像来产生其中输入图像的像素的亮度值是该像素的像素值的亮度图像,并且将该亮度图像提供给金字塔图像产生单元152。这里,亮度图像的任意像素的像素值指示在与该任意像素相同位置处的输入图像的像素的亮度值。 
金字塔图像产生单元152通过使用从亮度图像产生单元151提供的亮度图像来产生具有相互不同的分辨率的多个亮度图像,并且将那些亮度图像作为亮度的金字塔图像提供给差分计算单元153。 
例如,产生具有从级L1到级L8的8个分辨率的分级的金字塔图像L1至L8。级L1的金字塔图像L1具有最高分辨率,并且,假定金字塔图像的分辨率被设置以从级L1到级L8的顺序依次降低。 
在该情况下,由亮度图像产生单元151产生的亮度图像被设置为级L1的金字塔图像。此外,在级Li(其中,1≤i≤7)的金字塔图像中的四个相互邻近的像素的像素值的平均值被设置为与那些像素对应的、级L(i+1)的金字塔图像的一个像素的像素值。因此,级L(i+1)的金字塔图像变为级Li的金字塔图像的大小的在垂直和水平上一半(当不可精确地划分时丢弃)的大小的图像。 
差分计算单元153在从金字塔图像产生单元152提供的多个金字塔图像中选择不同分级的两个金字塔图像,并且获得所选择的金字塔图像的差,以产生亮度的差分图像。同时,因为每一个分级的金字塔图像的大小(像素的数量)彼此不同,所以当要产生差分图像时,按照较大的金字塔图像来上变换较小的金字塔图像。 
当差分计算单元153产生预定数量的亮度差分图像时,差分计算单元153归一化那些产生的差分图像,并且将它们提供给亮度信息图建立单元154。亮度信息图建立单元154基于从差分计算单元153提供的差分图像来产生亮度信息图,并且将亮度信息图提供给主题图建立单元125。 
[颜色信息提取单元的配置] 
图6图示图4的颜色信息提取单元122的更详细的配置的示例。 
颜色信息提取单元122由RG差分图像产生单元181、BY差分图像产生单元182、金字塔图像产生单元183、金字塔图像产生单元184、差分计算单元185、差分计算单元186、颜色信息图产生单元187和颜色信息图产 生单元188构成。 
通过使用从获得单元22提供的输入图像,RG差分图像产生单元181产生其中像素的像素值是输入图像的R(红色)分量和G(绿色)分量之间的差的RG差分图像,并且将RG差分图像提供给金字塔图像产生单元183。RG差分图像的任意像素的像素值指示在与该任意像素相同位置处的输入图像的像素的R分量和G分量之间的差的值。 
通过使用从获得单元22提供的输入图像,BY差分图像产生单元182产生其中像素的像素值是输入图像的B(蓝色)分量和Y(黄色)分量之间的差的BY差分图像,并且将BY差分图像提供给金字塔图像产生单元184。BY差分图像的任意像素的像素值指示在与该任意像素相同位置处的输入图像的像素的B(蓝色)分量和Y(黄色)分量之间的差的值。 
金字塔图像产生单元183和金字塔图像产生单元184通过使用从RG差分图像产生单元181和BY差分图像产生单元182分别提供的RG差分图像和BY差分图像来产生具有相互不同的分辨率的多个RG差分图像和BY差分图像。然后,金字塔图像产生单元183和金字塔图像产生单元184分别向差分计算单元185和差分计算单元186提供作为RG的差分的金字塔图像和BY的差分的金字塔图像的所产生的RG差分图像和BY差分图像。 
例如,作为RG的差分的金字塔图像和BY的差分的金字塔图像,与亮度的金字塔图像的情况类似,对应地产生从级L1至级L8的8个分辨率的分级的金字塔图像。 
差分计算单元185和差分计算单元186在从金字塔图像产生单元183和金字塔图像产生单元184提供的多个金字塔图像中选择具有相互不同的分级的两个金字塔图像,并且获得所选择的金字塔图像的差,以产生RG的差分的差分图像和BY的差分的差分图像。同时,因为每一个分级的金字塔图像的大小彼此不同,所以当要产生差分图像时,较小的金字塔图像被上变换使得它具有与较大的金字塔图像相同的大小。 
当差分计算单元185和差分计算单元186产生预先指定数量的RG的差分的差分图像和BY的差分的差分图像时,差分计算单元185和差分计算单元186归一化那些所产生的差分图像,并且将它们提供给颜色信息图产生单元187和颜色信息图产生单元188。颜色信息图产生单元187和颜色信息图产生单元188基于从差分计算单元185和差分计算单元186提供 的差分图像来建立颜色信息图,并且将它们提供给主题图建立单元125。在颜色信息图产生单元187中,建立RG的差分的颜色信息图,并且在颜色信息图产生单元188中,建立BY的差分的颜色信息图。 
[边缘信息提取单元的配置] 
图7图示图4的边缘信息提取单元123的更详细的配置的示例。 
边缘信息提取单元123由边缘图像产生单元211至边缘图像产生单元214、金字塔图像产生单元215至金字塔图像产生单元218、差分计算单元219至差分计算单元222以及边缘信息图建立单元223至边缘信息图建立单元226构成。 
边缘图像产生单元211至边缘图像产生单元214使用Gabor滤波器来对于从获得单元22提供的输入图像执行滤波处理,产生其中在例如0度、45度、90度和135度的方向上的边缘强度是像素的像素值的边缘图像,并且将它们分别提供给金字塔图像产生单元215至金字塔图像产生单元218。 
例如,由边缘图像产生单元211产生的边缘图像的任意像素的像素值指示在与该任意像素相同位置处的输入图像的像素中在0度方向上的边缘强度。同时,每一个边缘的方向指的是由在形成Gabor滤波器的Gabor函数中的角度分量指示的方向。 
金字塔图像产生单元215至金字塔图像产生单元218通过使用从边缘图像产生单元211至边缘图像产生单元214分别提供的每一个方向的边缘图像来产生具有相互不同的分辨率的多个边缘图像。然后,金字塔图像产生单元215至金字塔图像产生单元218分别向差分计算单元219至差分计算单元222提供作为边缘的各个方向的金字塔图像的、那些产生的各个方向的边缘图像。 
例如,作为边缘的每一个方向的金字塔图像,与亮度的金字塔图像的情况类似,对应地产生级L1至级L8的8个分级的金字塔图像。 
差分计算单元219至差分计算单元222在从金字塔图像产生单元215至金字塔图像产生单元218提供的多个金字塔图像中选择相互不同分级的两个金字塔图像,并且获得所选择的金字塔图像的差,以产生边缘的每一个方向的差分图像。同时,因为每一个分级的金字塔图像具有相互不同的大小,所以当要产生差分图像时,较小的金字塔图像被上变换。 
当差分计算单元219至差分计算单元222产生预先指定数量的边缘的每一个方向的差分图像时,它们归一化那些产生的差分图像,并且将它们 分别提供给边缘信息图建立单元223至边缘信息图建立单元226。基于从差分计算单元219至差分计算单元222提供的差分图像,边缘信息图建立单元223至边缘信息图建立单元226建立每一个方向的边缘信息图,并且将它们提供给主题图建立单元125。 
[面部信息提取单元的配置] 
图8示出图4的面部信息提取单元124的更详细的配置的示例。 
面部信息提取单元124由面部检测单元251和面部信息图建立单元252构成。 
面部检测单元251从自获得单元22提供的输入图像检测作为主题的人的面部的区域,并且将检测结果提供给面部信息图建立单元252。面部信息图建立单元252基于来自面部检测单元251的检测结果来建立面部信息图,并且将面部信息图提供给主题图建立单元125。 
[边缘分数计算单元的配置] 
另外,更详细地,如图9中所示配置图1的边缘分数计算单元25。 
即,边缘分数计算单元25由主题提取单元281、反转单元282、滤波处理单元283、归一化单元284、乘法单元285、直方图产生单元286和分数计算单元287构成。 
主题提取单元281基于从获得单元22提供的输入图像来建立主题图,并且将主题图提供给反转单元282。同时,因为这个主题提取单元281具有与图4的主题提取单元91相同的配置,所以省略其描述。 
反转单元282将从主题提取单元281提供的主题图的像素的像素值反转,并且将像素值提供给乘法单元285。即,在主题图中,其像素值是1的像素被设置为像素值0,并且与此相反,其像素值是0的像素被设置在像素值1。因此,当在与该像素相同位置的输入图像的区域是其中估计要包含主题的区域时,反转后的主题图的像素的像素值被设置为“0”,并且当在与该像素相同位置的输入图像的区域是其中估计不包含主题的区域时,反转后的主题图的像素的像素值被设置为“1”。即,反转后的主题图是用于识别背景区域的图,所述背景区域中不包含输入图像的主题。 
滤波处理单元283使用拉普拉斯滤波器对于从获得单元22提供的输入图像执行滤波处理,以产生其中在输入图像的各个区域中的边缘强度是像素的像素值的拉普拉斯图像,并且将拉普拉斯图像提供给归一化单元 284。归一化单元284归一化来自滤波处理单元283的拉普拉斯图像,并且将拉普拉斯图像提供给乘法单元285。 
乘法单元285将来自归一化单元284的拉普拉斯图像的像素的像素值乘以来自反转单元282的反转主题图的像素的像素值,以产生作为在输入图像中的背景的区域的图像的背景图像,并且将背景图像提供给直方图产生单元286。在背景图像中,其中不包含主题的背景部分的像素的像素值具有与背景部分的像素相同位置处的拉普拉斯图像的像素的像素值相同的值。在背景图像中,主题部分的像素的像素值变为0。即,在乘法单元285中的相乘处理允许识别(提取)在输入图像中的背景的区域,并且产生从在背景部分中的边缘强度形成的背景图像。 
基于来自乘法单元285的背景图像,直方图产生单元286产生背景图像的边缘强度的直方图,并且将直方图提供给分数计算单元287。分数计算单元287基于来自直方图产生单元286的直方图来计算边缘分数,并且将边缘分数提供给整体分数计算单元28。 
[颜色分布分数计算单元的配置] 
此外,更详细地,如图10中所示配置图1的颜色分布分数计算单元26。 
即,颜色分布分数计算单元26由R分量直方图产生单元311、G分量直方图产生单元312、B分量直方图产生单元313、归一化单元314至归一化单元316、直方图产生单元317和分数计算单元318构成。 
R分量直方图产生单元311至B分量直方图产生单元313从自获得单元22提供的输入图像产生R(红色)、G(绿色)和B(蓝色)的每一个分量的直方图,并且将它们分别提供给归一化单元314至归一化单元316。归一化单元314至归一化单元316分别归一化来自R分量直方图产生单元311至B分量直方图产生单元313的每一个分量的直方图,并且将它们提供给直方图产生单元317。 
通过使用从归一化单元314至归一化单元316提供的每一个颜色分量的直方图,直方图产生单元317产生其中一种颜色的值的范围是由R、G和B的每一个分量构成的仓(bin)的一个直方图,并且将该直方图提供给分数计算单元318。分数计算单元318基于从直方图产生单元317提供的直方图来计算颜色分布分数,并且将颜色分布分数提供给整体分数计算单元28。 
[色度分数计算单元的配置] 
另外,更详细地,如图11中所示配置图1的色度分数计算单元27。 
即,色度分数计算单元27由转换单元341、直方图产生单元342和分数计算单元343构成。 
转换单元341将从获得单元22提供的R、G和B的每一个分量所形成的输入图像转换为由H(色相)、S(色度)和V(亮度)的每一个分量的值构成的输入图像,并且将该输入图像提供给直方图产生单元342。 
直方图产生单元342产生在从转换单元341提供的输入图像的像素中满足特定条件的像素的色度分量的直方图,并且将直方图提供给分数计算单元343。分数计算单元343基于来自直方图产生单元342的直方图来计算色度分数,并且将色度分数提供给整体分数计算单元28。 
[幻灯片显示处理的描述] 
顺便提及,当用户操作图1的图像处理设备11,指定在记录单元21中记录的多个输入图像并且指令那些输入图像的幻灯片显示时,图像处理设备11响应于用户的指令来开始幻灯片显示处理。 
下面参考图12的流程图来描述由图像处理设备11进行的幻灯片显示处理。 
在步骤S11中,获得单元22从记录单元21获得由用户指定的输入图像之一,并且将输入图像提供给模糊度分数计算单元23至色度分数计算单元27和显示控制单元29。 
例如,当用户指定在记录单元21中记录的文件夹并且指令在文件夹中存储的输入图像的幻灯片显示时,获得单元22获得在由用户指定的文件夹内的一个输入图像。同时,术语“输入图像的幻灯片显示”指的是依次显示多个输入图像的处理。 
在步骤S12中,模糊度分数计算单元23执行模糊度计算处理,以计算关于输入图像的模糊度分数,并且将模糊度分数提供给整体分数计算单元28。此外,在步骤S13中,亮度分数计算单元24执行亮度分数计算处理,以计算输入图像的亮度分数,并且将亮度分数提供给整体分数计算单元28。 
在步骤S14中,边缘分数计算单元25执行边缘分数计算处理以计算输入图像的边缘分数,并且将其提供给整体分数计算单元28。在步骤S15 中,颜色分布分数计算单元26执行颜色分布分数计算处理,以计算输入图像的颜色分布分数,并且将该颜色分布分数提供给整体分数计算单元28。 
另外,在步骤S16中,色度分数计算单元27执行色度分数计算处理,以计算输入图像的色度分数,并且将色度分数提供给整体分数计算单元28。 
同时,下面将描述在步骤S12至S16中执行的模糊度计算处理至色度分数计算处理的细节。 
在步骤S17中,整体分数计算单元28基于从模糊度分数计算单元23至色度分数计算单元27提供的逐个特征分数来计算输入图像的整体分数。 
即,通过使用对于每一个逐个特征分数预先存储的转换表,整体分数计算单元28将逐个特征分数的值转换为逐个特征分数的值的预先指定的分数点数,并且将对于每一个逐个特征分数获得的分数点数的总和(总计)设置为整体分数。 
例如,当假定作为逐个特征分数的模糊度分数可以采用的值是0至1并且模糊度分数的值越大,则整个输入图像越模糊时,整体分数计算单元28基于在图13中所示的模糊度分数的转换表来获得模糊度分数的分数点数。 
即,当模糊度分数小于0.2时,模糊度分数的分数点数被设置为0,当模糊度分数大于或等于0.2并且小于0.3时,模糊度分数的分数点数被设置为1,并且当模糊度分数大于或等于0.3并且小于0.5时,模糊度分数的分数点数被设置为2。 
此外,当模糊度分数大于或等于0.5并且小于0.7时,模糊度分数的分数点数被设置为3,并且当模糊度分数大于或等于0.7并且小于0.9时,模糊度分数的分数点数被设置为5,并且当模糊度分数大于或等于0.9时,模糊度分数的分数点数被设置为10。 
这里,基于从预先准备的专业图像和业余图像获得的模糊度分数来确定对于模糊度分数的值的每一个范围而确定的分数点数。同时,术语“专业图像”指的是已经由专业拍摄者捕获的、具有通常较高的评价(令人满意的捕获)的图像,并且业余图像指的是由业余者捕获的、具有通常较低的评价(不良地捕获)的图像。 
例如,假定对于多个专业图像和业余图像获得模糊度分数,并且获得在图14中所示的结果。同时,在附图中,垂直轴指示样本专业图像或业余 图像的数量,并且水平轴指示模糊度分数的值。 
在图14中,附图的上侧指示专业图像的模糊度分数的分布,并且在附图的下侧指示业余图像的模糊度分数的分布。 
专业图像的模糊度分数的大多数样本小于0.3,并且没有其模糊度分数大于或等于0.8的样本。即,图像的模糊度越小,则模糊度分数越小。因此,在专业图像中基本上没有任何模糊图像。 
相比较而言,对于业余图像的大多数样本,其模糊度分数小于0.4。然而,存在其模糊度分数大于或等于0.4的一些业余图像。即,业余图像包括一些整体模糊的图像。 
当将专业图像的模糊度分数与业余图像的模糊度分数作比较时,没有在专业图像的分布中由箭头A11指示的范围中存在的专业图像,即,其模糊度分数大于或等于0.8的图像。相比较而言,存在在业余图像的分布中由箭头A12指示的范围中存在的若干业余图像,即,其模糊度分数大于或等于0.8的图像。 
因此,当对于输入图像获得的模糊度分数大于或等于0.8时,输入图像具有作为业余图像,即不良地捕获的图像的高概率。此外,关于每一个逐个特征分数的分数点数的总值成为整体分数,并且整体分数指示其越小,则图像捕获状态越好。 
因此,当模糊度分数大于或等于0.8时,即,当输入图像是业余图像的概率高时,模糊度分数的分数点数被设置为大数值,以使得整体分数变大。此外,通常,图像的模糊度越小,则已经令人满意地捕获图像的程度越高。因此,模糊度分数的分数点数被设置为小数值。 
类似地,关于另一个逐个特征分数,通过将预先准备的专业图像的逐个特征分数与业余图像的逐个特征分数作比较,确定每一个逐个特征分数的值的范围的分数点数,并且预先获得每一个逐个特征分数的转换表。 
此时,对于其中标注了在专业图像和业余图像之间的逐个特征分数的分布的差的值的范围,通过根据该差来确定较大分数点数和较小分数点数,可以更适当地(精确地)评价输入图像的图像捕获状态。即,可以改善评价的精度。 
此外,甚至对于一个特征分数的使用,难以适当地的评价输入图像的图像捕获状态。然而,因为从多个逐个特征分数获得整体分数,所以可以更适当地评价输入图像的图像捕获状态。 
例如,在图14的示例中,存在许多具有小于0.2的模糊度分数的专业图像和业余图像。出于这个原因,当输入图像的模糊度分数小于0.2时,难以仅基于模糊度分数来精确地评价输入图像是否接近专业图像或接近业余图像。 
然而,在每一个特征分数中,存在这样的值的范围:在这样的范围处可以更精确地识别输入图像是否接近专业图像或业余图像。因此,如果对于每一个逐个特征分数的值的范围确定分数点数并且每一个逐个特征分数的分数点数被总计以被设置为整体分数,则可以更适当地评价输入图像的图像捕获状态。 
如上所述,其中通过使用转换表将每一个逐个特征分数转换为分数点数并且获得那些分数点数的总和的情况对应于其中每一个逐个特征分数进行加权相加以获得整体分数的情况。 
回来参考图12的流程图的描述,当获得整体分数时,整体分数计算单元28向显示控制单元29提供所获得的整体分数。然后,处理从步骤S17进行到步骤S18。 
在步骤S18中,图像处理设备11确定是否已经关于所有的输入图像获得整体分数。例如,在获得由用户指定的、对其执行幻灯片显示的所有输入图像的整体分数的情况下,确定已经对于所有的输入图像获得整体分数。 
当在步骤S18中确定尚未关于所有的输入图像获得整体分数时,处理返回到步骤S11,并且重复上述处理。即,获得单元22获得下一个输入图像,并且获得关于输入图像的整体分数。 
相反,当在步骤S18中确定已经关于所有的输入图像获得整体分数时,在步骤S19中,显示控制单元29选择对其执行幻灯片显示的输入图像。 
例如,基于从整体分数计算单元28提供的每一个输入图像的整体分数,显示控制单元29将在从获得单元22提供的输入图像中选择其整体分数小于或等于预定阈值的那些输入图像作为要显示的输入图像。同时,整体分数的值越低,指示输入图像的图像捕获状态的评价越高。 
如上所述,如果选择其整体分数小于或等于阈值的输入图像,则可以对于幻灯片显示仅显示其图像捕获状态的评价高到特定程度的输入图像,即仅在一定程度上接近专业图像的输入图像。同时,可以例如以整体分数的升序来以对应于预先指定的数量的数量来选择要显示的输入图像。 
在步骤S20中,显示控制单元29使得在步骤S19中选择的输入图像依次被提供给显示单元30,在显示单元30显示输入图像,从而执行输入图像的幻灯片显示。然后,当幻灯片显示输入图像时,幻灯片显示处理完成。以上述方式,当幻灯片显示所选择的输入图像时,用户可以仅欣赏具有高评价的输入图像。 
如上所述,图像处理设备11获得每一个输入图像的逐个特征分数,并且基于那些逐个特征分数来计算整体分数。如上所述,通过基于多个逐个特征分数来计算整体分数,可以更适当地评价输入图像的图像捕获状态。 
[模糊度计算处理的描述] 
接下来,将参考图15的流程图来描述与图12的步骤S12的处理对应的模糊度计算处理。 
在步骤S51中,边缘图建立单元61通过使用从获得单元22提供的输入图像来建立边缘图。 
具体地说,边缘图建立单元61将输入图像划分为2×2像素的大小的块,并且根据下面的表达式(1)至(6)来计算在每一个块内的像素之间的像素值的差的绝对值MTL-TR至绝对值MBL-BR。 
[数学式1] 
MTL-TR=|a-b|...(1) 
MTL-BL=|a-c|...(2) 
MTL-BR=|a-d|...(3) 
MTR-BL=|b-c|...(4) 
MTR-BR=|b-d|...(5) 
MBL-BR=|c-d|...(6) 
同时,在表达式(1)至(6)中,a、b、c和d每一个表示在输入图像的2×2像素的大小的块内的像素的像素值。例如,如图16中所示,像素值a指示在图中的块的左上区域中的像素的像素值。此外,像素值b指示在图中的块的右上区域中的像素的像素值。像素值c指示在块的左下区域中的像素的像素值。像素值d指示在块的右下区域中的像素的像素值。 
因此,绝对值MTL-TR至绝对值MBL-BR的每一个指示在块中的每一个方向上的相邻像素之间的像素值的差的绝对值,即在每一个方向上的边缘 强度。 
接下来,边缘图建立单元61根据下面的表达式(7)来计算绝对值MTL-TR至绝对值MBL-BR的平均值MAve。这个平均值MAve指示块之上、之下、右侧、左侧和斜向的边缘强度的平均值。 
[数学式2] 
M Ave = M TL - TR + M TL - BL + M TL - BR + M TR - BL + M TR - BR + M BL - BR 6 · · · ( 7 )
边缘图建立单元61以与输入图像的对应块相同的顺序来布置每一个块的所计算的平均值MAve,以建立比例SC1的边缘图。 
另外,为了建立比例SC2和SC3的边缘图,边缘图建立单元61根据下面的表达式(8)来产生比例SC2和比例SC3的平均图像。 
[数学式3] 
P ( m , n ) i + 1 = P ( 2 m , 2 n ) i + P ( 2 m , 2 n + 1 ) i + P ( 2 m + 1,2 n ) i + P ( 2 m + 1,2 n + 1 ) i 4 · · · ( 8 )
同时,在表达式(8)中,Pi(x,y)指示位于比例SCi(其中,i=1、2)的平均图像中的坐标(x,y)处的像素的像素值。此外,pi+1(x,y)指示位于比例SCi+1的平均图像中的坐标(x,y)处的像素的像素值。同时,假定比例SC1的平均图像是输入图像。 
因此,比例SC2的平均图像是其中在每一个块中(其中,输入图像被划分为2×2像素大小的块)的像素的像素值的平均值被设置为一个像素的像素值的图像。此外,比例SC3的平均图像是其中在比例SC2的平均图像被划分为2×2像素的大小的块的情况下、在每一个块中的像素的像素值的平均值被设置为一个像素的像素值的图像。 
边缘图建立单元61对于比例SC2和比例SC3的平均图像执行与通过使用表达式(1)至(7)对于输入图像执行的处理相同的处理,以建立比例SC2和比例SC3的边缘图。 
因此,比例SC1至比例SC3的边缘图是通过从输入图像提取相互不同的频带的边缘分量而获得的图像。同时,比例SC1的边缘图的像素的数量是输入图像的1/4(垂直1/2×水平1/2),比例SC2的边缘图的像素的数量是输入图像的1/16(垂直1/4×水平1/4),并且,比例SC3的边缘图的像素的数量是输入图像的1/64(垂直1/8×水平1/8)。 
边缘图建立单元61向动态范围检测单元62和本地最大值产生单元64提供所建立的比例SC1至比例SC3的边缘图。如上所述,通过以不同大小的块为单位来建立不同比例的边缘图,可以抑制边缘强度的变化。 
在步骤S52中,通过使用从边缘图建立单元61提供的边缘图,动态范围检测单元62检测输入图像的动态范围,并且将检测结果提供给计算参数调整单元63。 
具体地说,动态范围检测单元62从比例SC1至比例SC3的边缘图中检测像素值的最大值和最小值,并且,将通过从所检测的像素值的最大值减去最小值而获得的值设置为输入图像的边缘强度的动态范围。即,将在输入图像的边缘强度的最大值和最小值之间的差检测为动态范围。 
同时,除了上述方法之外,例如,考虑对于每一个边缘图检测动态范围,并且采用所检测的动态范围的最大值和平均值作为实际使用的动态范围。 
在步骤S53中,计算参数调整单元63基于从动态范围检测单元62提供的动态范围设置计算参数的初始值。 
即,当动态范围小于预定阈值时,计算参数调整单元63将输入图像设置为低动态范围的图像,并且当动态范围大于或等于阈值时,计算参数调整单元63将输入图像设置为高动态范围的图像。 
然后,当输入图像是低动态范围的图像时,计算参数调整单元63在计算参数中设置低动态范围的图像的初始值。此外,当输入图像是高动态范围的图像时,计算参数调整单元63在计算参数中设置高动态范围的图像的初始值。 
这里,估计低动态范围的图像具有与高动态范围的图像相比而言较小的边缘,并且所提取的边缘点的数量小。因此,为了可以抽取出使得输入图像的模糊度的检测精度为固定水平或更高的足够数量的边缘点,低动态范围的图像的边缘参考值的初始值被设置为小于高动态范围的图像的边缘参考值的初始值的值。此外,低动态范围的图像的提取参考值的初始值被设置为小于高动态范围的图像的提取参考值的初始值的值。 
计算参数调整单元63向边缘点提取单元65提供基于动态范围设置的边缘参考值,并且向提取量确定单元66提供边缘参考值和提取参考值。 
在步骤S54中,本地最大值产生单元64通过使用从边缘图建立单元61提供的边缘图来产生本地最大值,并且将本地最大值提供给边缘点提取 单元65和边缘分析单元67。 
例如,如在图17的左侧中所示,本地最大值产生单元64将比例SC1的边缘图划分为2×2像素的块。然后,本地最大值产生单元64提取边缘图的每一个块的最大值,并且以与对应块的顺序相同的顺序来布置所提取的最大值,从而产生比例SC1的本地最大值LM1。即,提取在每一个块中的像素的像素值的最大值。 
此外,如在附图中的中心所示,本地最大值产生单元64将比例SC2的边缘图划分为像素4×4的块。然后,本地最大值产生单元64提取边缘图的每一个块的最大值,并且以与对应块的顺序相同的顺序来布置所提取的最大值,产生比例SC2的本地最大值LM2。 
另外,如在附图中的右侧所示,本地最大值产生单元64将比例SC3的边缘图划分为像素8×8的块。然后,本地最大值产生单元64提取边缘图的每一个块的最大值,并且以与对应块的顺序相同的顺序来布置所提取的最大值,从而产生比例SC3的本地最大值LM3。 
在步骤S55中,边缘点提取单元65通过使用来自计算参数调整单元63的边缘参考值和从本地最大值产生单元64提供的本地最大值来从输入图像中提取边缘点。 
具体地说,边缘点提取单元65选择输入图像的像素之一,并且将其设置为感兴趣的像素。此外,边缘点提取单元65根据下面的表达式(9)从所选择的感兴趣的像素在输入图像中的xy坐标系的坐标(x,y)获得与感兴趣的像素对应的本地最大值LM1的像素的坐标(x1,y1)。 
(x1,y1)=(x/4,y/4)    …(9) 
同时,在表达式(9)中,假定丢弃值x/4和y/4的小数点右面的所有数字。 
从输入图像的4×4像素的块产生本地最大值LM1的一个像素。因此,与输入图像的感兴趣的像素对应的本地最大值LM1的像素的坐标是其中对应地使得感兴趣的像素的x坐标和y坐标是1/4的值。 
类似地,根据下面的表达式(10)和(11),边缘点提取单元65获得与感兴趣的像素对应的本地最大值LM2的像素的坐标(x2,y2)以及与感兴趣的像素对应的本地最大值LM3的像素的坐标(x3,y3)。 
(x2,y2)=(x/16,y/16)    …(10) 
(x3,y3)=(x/64,y/64)    …(11) 
同时,在表达式(10)和表达式(11)中,丢弃值x/16、y/16、x/64和y/64的小数点右侧的所有数字。 
另外,在本地最大值LM1的坐标(x1,y1)的像素的像素值大于或等于边缘参考值的情况下,边缘点提取单元65提取感兴趣的像素作为在本地最大值LM1中的边缘点。然后,边缘点提取单元65以彼此相关联的方式存储在感兴趣的像素的坐标(x,y)处的像素值以及本地最大值LM1的坐标(x1,y1)。 
类似地,在本地最大值LM2的坐标(x2,y2)处的像素的像素值大于或等于边缘参考值的情况下,边缘点提取单元65提取感兴趣的像素作为在本地最大值LM2中的边缘点,并且以彼此相关联的方式存储感兴趣的像素的坐标(x,y)以及本地最大值LM2的坐标(x2,y2)处的像素值。此外,在本地最大值LM3的坐标(x3,y3)的像素的像素值大于或等于边缘参考值的情况下,边缘点提取单元65提取感兴趣的像素作为在本地最大值LM3中的边缘点,并且,以彼此相关联的方式存储感兴趣的像素的坐标(x,y)处和在本地最大值LM3的坐标(x3,y3)处的像素值。 
边缘点提取单元65重复上面的处理,直到输入图像的所有像素被设置为感兴趣的像素。 
结果,基于本地最大值LM1,在输入图像中的4×4像素块中的、其中边缘强度大于或等于边缘参考值的块中包含的像素被提取为边缘点。 
类似地,基于本地最大值LM2,在输入图像中的16×16像素块中的、其中边缘强度大于或等于边缘参考值的块中包含的像素被提取为边缘点。此外,基于本地最大值LM3,在输入图像中的64×64像素块中的、其中边缘强度大于或等于边缘参考值的块中包含的像素被提取为边缘点。 
因此,其中边缘强度大于或等于边缘参考值的、输入图像的4×4像素、16×16像素和64×64像素的块的至少一个中包含的像素被提取为边缘点。 
边缘点提取单元65产生边缘点表ET1,该边缘点表ET1是其中基于本地最大值LM1提取的边缘点的坐标(x,y)和与边缘点对应的本地最大值LM1的像素的像素值彼此相关联的表格。 
类似地,边缘点提取单元65产生边缘点表ET2,其中,基于本地最大值LM2提取的边缘点的坐标(x,y)和与边缘点对应的本地最大值LM2的 像素的像素值彼此相关联。此外,边缘点提取单元65也产生边缘点表ET3,其中,基于本地最大值LM3提取的边缘点的坐标(x,y)和与边缘点对应的本地最大值LM3的像素的像素值彼此相关联。 
然后,边缘点提取单元65向提取量确定单元66提供那些产生的边缘点表。 
在步骤S56中,提取量确定单元66通过使用从边缘点提取单元65提供的边缘点表来确定边缘点提取量是否适当。例如,当所提取的边缘点的总数,即边缘点表ET1至边缘点表ET3的数据项的数量的总和小于从计算参数调整单元63提供的提取参考值时,提取量确定单元66确定边缘点提取量不适当。 
当在步骤S56中确定边缘点提取量不适当时,提取量确定单元66向计算参数调整单元63通知边缘点提取量不适当的情况,并且处理随后进行到步骤S57。 
在步骤S57中,计算参数调整单元63基于来自提取量确定单元66的通知来调整计算参数。 
例如,计算参数调整单元63将边缘参考值从在当前时刻设置的值减小与预定值对应的数量,以使得比当前时刻提取更多的边缘点。计算参数调整单元63向边缘点提取单元65和提取量确定单元66提供调整的边缘参考值。 
当调整计算参数时,其后,处理返回到步骤S55,并且重复上述处理,直到确定边缘点提取量是适当的。 
此外,当在步骤S56中确定边缘点提取量适当时,提取量确定单元66向边缘分析单元67提供来自计算参数调整单元63的边缘参考值以及边缘点表。处理随后进行到步骤S58。 
作为上面的处理的结果,为了改善检测模糊度的精度,对于低动态范围的输入图像,也从其中边缘强度弱的块提取边缘点,使得可以确保具有使得检测模糊度的精度是固定水平或更高的足够数量的边缘点。另一方面,对于高动态范围的输入图像,从其中边缘强度尽可能强的块提取边缘点,使得形成较强边缘的边缘点被提取。 
在步骤S58中,边缘分析单元67通过使用从提取量确定单元66提供的边缘点表和边缘参考值以及从本地最大值产生单元64提供的本地最大值来进行边缘分析。 
具体地说,基于边缘点表ET1至边缘点表ET3,边缘分析单元67将从输入图像提取的边缘点之一设置为感兴趣的像素。然后,边缘分析单元67将感兴趣的像素的xy坐标系的坐标设置为(x,y),并且根据上面的表达式(9)至(11)来获得与感兴趣的像素对应的本地最大值LM1至本地最大值LM3的坐标(x1,y1)至坐标(x3,y3)。 
边缘分析单元67将其中本地最大值LM1的坐标(x1,y1)的像素是左上角的像素的m×m像素(例如,4×4像素)的本地最大值LM1的块中的像素的像素值的最大值设置为Local Max1(x1,y1)。此外,边缘分析单元67将其中本地最大值LM2的坐标(x2,y2)的像素是左上角的像素的n×n像素(例如,2×2像素)的块中的像素值的最大值设置为Local Max2(x2,y2),并且将本地最大值LM3的坐标(x3,y3)的像素值设置为Local Max3(x3,y3)。 
同时,用于设置Local Max1(x1,y1)的m×m和用于设置LocalMax2(x2,y2)的n×n的参数是用于调整与本地最大值LM1至本地最大值LM3的一个像素对应的、输入图像的块的大小的差的参数。 
边缘分析单元67确定Local Max1(x1,y1)、Local Max2(x2,y2)和LocalMax3(x3,y3)是否满足下面的条件表达式(12)。当Local Max1(x1,y1)、Local Max2(x2,y2)和Local Max3(x3,y3)满足条件表达式(12)时,边缘分析单元67将变量Nedge的值递增1。 
[数学式4] 
Local max1(x1,y1)>边缘参考值 
或 
Local max2(x2,y2)>边缘参考值    ...(12) 
或 
Local max3(x3,y3)>边缘参考值 
同时,估计满足条件表达式(12)的边缘点是形成具有固定强度或更高强度的边缘的边缘点,而与其结构无关,诸如在图18的A至图18的D处指示的边缘。 
这里,在图18的A处指示的边缘形成为具有尖脉冲形状的边缘,在图18的B处指示的边缘形成为具有脉冲形状的边缘,该脉冲形状具有比图18的A的边缘更缓和的倾角,并且在图18的C处指示的边缘是具有阶 梯形状的边缘,其倾角大体是垂直的。此外,在图18的D处指示的边缘是具有阶梯形状的边缘,其倾角比在图18的C处指示的边缘的倾角更缓和。 
当Local Max1(x1,y1)、Local Max2(x2,y2)和Local Max3(x3,y3)满足条件表达式(12)时,边缘分析单元67进一步确定是否满足下面的条件表达式(13)或(14)。当Local Max1(x1,y1)、Local Max2(x2,y2)和LocalMax3(x3,y3)满足条件表达式(13)或条件表达式(14)时,边缘分析单元67将变量Nsmallblur的值递增1。 
[数学式5] 
Local max1(x1,y1)<Local max2(x2,y2)<Local max3(x3,y3) 
…(13) 
Local max2(x2,y2)>Local max1(x1,y1) 
以及…(14) 
Local max2(x2,y2)>Local max3(x3,y3) 
同时,估计满足条件表达式(12)和满足条件表达式(13)或条件表达式(14)的边缘点是形成具有图18的B或图18的D的结构的边缘的边缘点,该结构具有固定或更高的强度,但是具有比图18的A或图18的C的边缘更弱的强度。 
另外,当Local Max1(x1,y1)、Local Max2(x2,y2)和Local Max3(x3,y3)满足条件表达式(12)并且满足条件表达式(13)或条件表达式(14)时,边缘分析单元67确定Local Max1(x1,y1)是否满足下面的条件表达式(15)。当Local Max1(x1,y1)满足条件表达式(15)时,边缘分析单元67将变量Nlargeblur的值递增1。 
[数学式6] 
Local max1(x1,y1)<边缘参考值    ...(15) 
同时,估计满足条件表达式(12)、满足条件表达式(13)或条件表达式(14)和满足条件表达式(15)的边缘点是形成其中在具有图18的B或图18的D的结构的边缘内已经出现模糊并且不清楚的边缘的边缘点,该边缘具有固定或更高的强度。换句话说,估计已经在该边缘点处出现模糊。 
边缘分析单元67重复上面的处理,直到从输入图像提取的所有边缘点被用作感兴趣的像素。结果,在所提取的边缘点中,获得边缘点数量Nedge、边缘点数量Nsmallblur和边缘点数量Nlargeblur。 
这里,数量Nedge是满足条件表达式(12)的边缘点的数量,数量Nsmallblur是满足条件表达式(12)并且满足条件表达式(13)或条件表达式(14)的边缘点的数量。此外,数量Nlargeblur是满足条件表达式(12)并且满足条件表达式(13)或条件表达式(14)并且满足条件表达式(15)的边缘点的数量。 
边缘分析单元67向模糊度检测单元68提供所计算的数量Nsmallblur和数量Nlargeblur。 
在步骤S59中,模糊度检测单元68通过使用来自边缘分析单元67的数量Nsmallblur和数量Nlargeblur来计算下面的表达式(16),并且获得作为模糊度分数的模糊度BlurEstimation,模糊度BlurEstimation用作输入图像的模糊度的指数。 
[数学式7] 
BlurEstimation = N l arg eblur N smallblur · · · ( 16 )
即,模糊度BlurEstimation是被估计形成已经出现模糊的边缘的边缘点在被估计形成具有固定或更高的强度的图18的B或图18的D的边缘的边缘点中的比例。因此,模糊度BlurEstimation越大,则输入图像的模糊度被估计得越大。 
当模糊度检测单元68获得模糊度分数时,模糊度检测单元68向整体分数计算单元28提供所获得的模糊度分数,并且完成模糊度计算处理。处理然后进行到图12的步骤S13。 
以上述方式,模糊度分数计算单元23从输入图像计算用于指示整个输入图像的模糊度的模糊度分数。当要计算模糊度分数时,由于根据输入图像来适当地控制用于提取边缘点的条件和边缘点的提取量,所以可以以较高精度检测输入图像的模糊度。 
同时,以上已经以获得整个输入图像的模糊作为模糊度分数的这样的方式进行了描述。然而,可以通过仅以输入图像中的主题部分为目标来获得主题部分的模糊度作为模糊度分数。 
[亮度分数计算处理的描述] 
接下来,将参考图19的流程图来描述与图12的步骤S13的处理对应的亮度分数计算处理。 
在步骤S81中,主题提取单元91执行主题图建立处理,以从获得单元22提供的输入图像建立主题图,并将主题图提供给乘法单元92。同时,随后将描述主题图建立处理的细节。 
在步骤S82中,乘法单元92将来自获得单元22的输入图像与从主题提取单元91提供的主题图相乘,以产生主题图像,并且将该主题图像提供给直方图产生单元93。即,当使得主题图像的被关注的像素成为感兴趣的像素时,使得主题图的像素的像素值和在与感兴趣的像素相同位置的输入图像的像素的像素值的乘积成为感兴趣的像素的像素值。这个主题图像是仅显示输入图像中的主题部分的图像。 
在步骤S83中,基于从乘法单元92提供的主题图像,直方图产生单元93产生其中主题图像的像素的亮度值的范围是仓的亮度直方图,并且将亮度直方图提供给归一化单元94。此外,归一化单元94归一化来自直方图产生单元93的直方图,并且将该直方图提供给分数计算单元95。 
在步骤S84中,基于从归一化单元94提供的直方图,分数计算单元95根据K-NN(K最近邻域)方法等来计算亮度分数,并且将亮度分数提供给整体分数计算单元28。 
例如,对于已经预先准备的专业图像和业余图像,分数计算单元95存储已经通过与步骤S81至S83的处理相同的处理所产生的多个亮度直方图。分数计算单元95计算在预先保存的多个专业图像和业余图像的直方图的每一个与来自归一化单元94的直方图之间的距离。 
即,分数计算单元95将在输入图像的亮度直方图和预先保存的一个直方图之间的每一个仓的频率值的差的总和值设置为在那些直方图之间的距离。即,获得在相同的代表值的仓之间的频率值的差,并且将对于每一个仓的获得的差的总和设置为直方图之间的距离。 
然后,分数计算单元95在主题图像的直方图和预先保存的直方图之间的距离中以距离值的升序选择K个距离。 
另外,分数计算单元95从所选择的K个距离中的、主题图像和专业图像的直方图的距离的数量减去主题图像和业余图像的直方图的距离的数量,并且将这样获得的值设置为亮度分数。 
这里,在主题图像的直方图和专业图像或业余图像的直方图之间的距离是每一个仓的频率值的差的总和。因此,那些图像的亮度的分布越类似,则距离的值越小。即,距离越小,则主题图像越接近对其执行了处理的专业图像或业余图像。 
然后,在到专业图像的直方图的距离的数量和到业余图像的直方图的距离的数量之间的差被设置为亮度分数。因此,具有与主题图像相似的亮度分布的专业图像的数量越大,则亮度分数的值越大。即,这个亮度分数指示主题图像相对于专业图像的亮度分布的类似程度,并且输入图像的亮度分数的值越大,则图像的图像捕获状态的评价越高。 
如上所述,当计算亮度分数时,分数计算单元95向整体分数计算单元28提供所计算的亮度分数,并且,完成亮度分数计算处理。然后,其后,处理进行到图12的步骤S14。 
以上述方式,亮度分数计算单元24从输入图像提取主题区域,将主题区域中的亮度分布与专业图像和业余图像的主题区域中的亮度分布作比较,以计算亮度分数。如上所述,通过仅以输入图像的主题区域为目标来比较亮度分布以计算亮度分数,使得可以更适当地评价输入图像的图像捕获状态。 
例如,通常,其中在图像中的主题部分的亮度比较亮的图像被看作令人满意地捕获的、有高评价的图像,即使背景部分较暗。在该情况下,当整个图像是要处理的目标,并且通过使用亮度分布作为指数来评价图像的图像捕获状态时,如果尽管主题部分的亮度分布接近专业图像的主题部分的亮度分布但是背景部分的亮度分布不同,则图像的评价低。 
如上所述,在要通过使用亮度分布作为指数评价图像的图像捕获状态的情况下,图像内的主题区域的亮度分布是重要的,并且,不必然需要背景部分的亮度分布来用于评价。即,从主题部分的亮度分布足以进行输入图像的评价。相反,当考虑背景部分的亮度分布时,存在下述风险:评价方法将变得复杂,或将进行错误的评价。 
因此,在亮度分数计算单元24中,通过仅以输入图像的主题区域作为处理目标来计算亮度分数,可以更简单和更适当地评价输入图像的图像捕获状态。 
[主题图建立处理的描述] 
另外,下面参考图20的流程图来描述与图19的步骤S81的处理对应 的主题图建立处理。 
在步骤S11中,亮度信息提取单元121基于从获得单元22提供的输入图像来执行亮度信息提取处理,以建立亮度信息图,并且将亮度信息图提供给主题图建立单元125。然后,在步骤S112中,颜色信息提取单元122基于从获得单元22提供的输入图像来执行颜色信息提取处理,以建立颜色信息图,并且将颜色信息图提供给主题图建立单元125。 
在步骤S113中,边缘信息提取单元123基于从获得单元22提供的输入图像来执行边缘信息提取处理,以建立边缘信息图,并且将边缘信息图提供给主题图建立单元125。此外,在步骤S114中,面部信息提取单元124基于从获得单元22提供的输入图像来执行面部信息提取处理,以建立面部信息图,并且将该面部信息图提供给主题图建立单元125。 
同时,下面将描述亮度信息提取处理、颜色信息提取处理、边缘信息提取处理和面部信息提取处理的细节。 
在步骤S115中,主题图建立单元125通过使用从亮度信息提取单元121至面部信息提取单元124分别提供的亮度信息图至面部信息图来建立主题图,并且将主题图提供给图3的乘法单元92。 
例如,主题图建立单元125通过使用作为已经对于每一个信息图预先获得的权重的信息权重Wb来线性组合信息图,并且通过将这样获得的像素值与作为预先获得的权重的主题权重Wc相乘来归一化信息图,以形成主题图。 
即,如果在要获得的主题图中的被关注的像素被设置为感兴趣的像素,则在与感兴趣的像素相同位置处的每一个信息图的像素的像素值乘以每一个信息图的信息权重Wb,并且乘以信息权重Wb的像素值的总和被设置为感兴趣的像素的像素值。另外,以这种方式获得的主题图的每一个像素的像素值乘以对于主题图预先获得的主题权重Wc以被归一化,并且形成为最后的主题图。 
同时,更详细地,作为颜色信息图,使用RG的差分的颜色信息图和BY的差分的颜色信息图。作为边缘信息图,使用在0度、45度、90度和135度的每一个的方向上的边缘信息图。这样,建立了主题图。此外,已经通过学习来预先获得主题权重Wc,并且归一化使得主题图的每一个像素的像素值取值0和值1之一。即,在归一化中,使用预定阈值的阈值处理使得每一个像素的像素值二进制化。 
当主题图以上述方式被建立和提供给乘法单元92时,完成主题图建立处理。其后,处理进行到图19的步骤S82。 
以上述方式,主题提取单元91从输入图像的区域提取每一个信息,并且建立主题图。 
[亮度信息提取处理的描述] 
接下来,将参考图21-图24的流程图来描述与图20的步骤S111至S114的对应处理相对应的处理。 
首先,下面参考图21的流程图描述与图20的步骤S111的处理对应的亮度信息提取处理。 
在步骤S151中,亮度图像产生单元151通过使用从获得单元22提供的输入图像来产生亮度图像,并且将亮度图像提供给金字塔图像产生单元152。例如,亮度图像产生单元151将输入图像的像素的R、G和B的每一个分量的值乘以每一个分量的预先指定的系数,并且将其中乘以该系数的每一个分量的值的和设置为与输入图像的像素相同位置的、亮度图像的像素的像素值。即,获得由亮度分量(Y)和色差分量(Cb,Cr)构成的分量信号的亮度分量。同时,可以将像素的R、G和B的每一个分量的值的平均值设置为亮度图像的像素的像素值。 
在步骤S152中,基于从亮度图像产生单元151提供的亮度图像,金字塔图像产生单元152产生从级L1至级L8的每一个分级的金字塔图像,并且将金字塔图像提供给差分计算单元153。 
在步骤S153中,差分计算单元153通过使用从金字塔图像产生单元152提供的金字塔图像来产生和归一化差分图像,并且将其提供给亮度信息图建立单元154。以如下的方式执行归一化:使得该差分图像的像素的像素值变为例如在0至255之间的值。 
具体地说,差分计算单元153获得在每一个分级的亮度的金字塔图像中的、在级L6和级L3、级L7和级L3、级L7和级L4、级L8和级L4以及级L8和级L5的分级组合的金字塔图像之间的差。结果,获得总共5个亮度的差分图像。 
例如,在要产生级L6和级L3的组合的差分图像的情况下,根据级L3的金字塔图像的大小来上变换级L6的金字塔图像。即,在上变换之前的级L6的金字塔图像的一个像素的像素值被设置为对应于一个像素的、在上变换后的级L6的金字塔图像的若干相互邻近的像素的像素值。然后, 获得在级L6的金字塔图像的像素的像素值和在与级L6的金字塔图像的像素相同位置的级L3的金字塔图像的像素的像素值之间的差,并且,将该差设置为差分图像的像素的像素值。 
用于产生这些差分图像的处理等同于其中对于亮度图像执行使用带通滤波器的滤波处理并且从亮度图像提取预定频率分量的处理。以这种方式获得的差分图像的像素的像素值指示在每级的金字塔图像的像素值之间的差,即在输入图像中的预定像素中的亮度和在该像素的周围区域的平均亮度之间的差。 
通常,在图像中相对于周围区域具有大亮度差的区域是吸引观看该图像的人的注意的区域。因此,该区域具有作为主题区域的高概率。因此,可以说,在每一个差分图像中具有较大像素值的像素是具有成为主题区域的高概率的区域。 
在步骤S154中,亮度信息图建立单元154基于从差分计算单元153提供的差分图像来建立亮度信息图,并且向主题图建立单元125提供亮度信息图。当从亮度信息图建立单元154向主题图建立单元125提供亮度信息图时,完成亮度信息提取处理,并且处理然后进行到图20的步骤S112。 
例如,亮度信息图建立单元154通过使用作为每一个差分图像的权重的差分权重Wa来执行5个提供的差分图像的加权相加,以获得一个图像。即,在与每一个差分图像相同位置的像素的像素值的每一个乘以差分权重Wa,并且获得乘以差分权重Wa的像素值的总和。 
同时,当要建立亮度信息图时,执行差分图像的上变换,以使得差分图像具有相同的大小。 
以上述方式,亮度信息提取单元121从输入图像获得亮度图像,并且从亮度图像建立亮度信息图。在亮度信息提取单元121中,在输入图像的各个区域的亮度和在输入图像的区域周围的区域的平均亮度之间的差被提取为特征量,并且,建立用于指示特征量的亮度信息图。根据以这种方式获得的亮度信息图,可以容易地检测输入图像中具有大亮度差的区域,即能够被快速看一眼输入图像的观察者容易识别的区域。 
[颜色信息提取处理的描述] 
接下来,将参考图22的流程图来描述与图20的步骤S112的处理对应的颜色信息提取处理。 
在步骤S181中,RG差分图像产生单元181通过使用从获得单元22 提供的输入图像来产生RG差分图像,并且将RG差分图像提供给金字塔图像产生单元183。 
在步骤S182中,BY差分图像产生单元182通过使用从获得单元22提供的输入图像来产生BY差分图像,并且将BY差分图像提供给金字塔图像产生单元184。 
在步骤S183中,金字塔图像产生单元184和金字塔图像产生单元183通过分别使用来自RG差分图像产生单元181的RG差分图像和来自BY差分图像产生单元182的BY差分图像来产生金字塔图像。 
例如,金字塔图像产生单元183产生具有不同分辨率的多个RG差分图像,以产生级L1至级L8的每一个分级的金字塔图像,并且向差分计算单元185提供多个RG差分图像。类似地,金字塔图像产生单元184产生具有不同分辨率的多个BY差分图像,以产生级L1至级L8的每一个分级的金字塔图像,并且将多个BY差分图像提供给差分计算单元186。 
在步骤S184中,差分计算单元186和差分计算单元185基于从金字塔图像产生单元183和金字塔图像产生单元184提供的金字塔图像来产生和归一化差分图像,并且将差分图像分别提供给颜色信息图产生单元187和颜色信息图产生单元188。在差分图像的归一化中,例如,将像素的像素值设置为在0和255之间的值。 
例如,差分计算单元185获得在每一个分级的RG的差分的金字塔图像中的、在级L6和级L3、级L7和级L3、级L7和级L4、级L8和级L4和级L8和级L5的组合的金字塔图像之间的差。结果,获得总共5个RG的差分的图像。 
类似地,差分计算单元186获得在每一个分级的BY的差分的金字塔图像中的、在级L6和级L3、级L7和级L3、级L7和级L4、级L8和级L4和级L8和级L5的组合的金字塔图像之间的差。结果,获得总共5个BY的差分的图像。 
用于产生这些差分图像的处理等同于其中对于RG差分图像或BY差分图像执行使用带通滤波器的滤波处理以从RG差分图像或BY差分图像提取预定频率分量的处理。以这种方式获得的差分图像的像素的像素值指示在每级的金字塔图像的特定颜色分量之间的差,即输入图像中的像素中的特定颜色的分量和在该像素的周围区域的平均特定颜色的分量之间的差。 
通常,在图像中与周围区域比较而言具有显著颜色的区域,即相对于特定颜色分量的周围区域具有大差别的区域是吸引观看该图像的人的注意的区域。因此,该区域具有作为主题区域的高概率。因此,可以说,在每一个差分图像中具有较大像素值的像素指示该区域更可能是主题区域。 
在步骤S185中,颜色信息图产生单元188和颜色信息图产生单元187通过使用分别来自差分计算单元185和差分计算单元186的差分图像来建立颜色信息图,并且将它们提供给主题图建立单元125。 
例如,颜色信息图产生单元187通过使用预先获得的每一个差分图像的差分权重Wa来执行从差分计算单元185提供的RG的差分图像的加权相加,从而形成RG的差分的一个颜色信息图。 
类似地,颜色信息图产生单元188通过使用预先获得的差分权重Wa来执行从差分计算单元186提供的BY的差分图像的加权相加,从而形成BY的差分的一个颜色信息图。同时,当要建立颜色信息图时,执行差分图像的上变换以使得差分图像具有相同的大小。 
当颜色信息图产生单元187和颜色信息图产生单元188分别向主题图建立单元125提供以上述方式获得的RG的差分的颜色信息图和BY的差分的颜色信息图时,完成颜色信息提取处理。处理然后进行到图20的步骤S113。 
以上述方式,颜色信息提取单元122从输入图像获得特定颜色的分量的差的图像,并且从该图像产生颜色信息图。即,在颜色信息提取单元122中,在输入图像的各个区域的特定颜色分量和输入图像的该区域周围的区域的平均特定颜色分量之间的差被提取为特征量,并且建立用于指示特征量的颜色信息图。根据以上述方式获得的颜色信息图,可以容易地检测具有特定颜色分量的较大差别的区域,即能够被快速看一眼输入图像的观察者容易识别的区域。 
同时,在颜色信息提取单元122中,已经描述了提取在R(红色)分量和G(绿色)分量之间的差和在B(蓝色)分量和Y(黄色)分量之间的差作为从输入图像提取的关于颜色的信息。或者,可以提取色差分量Cr和色差分量Cb。这里,色差分量Cr是在R分量和亮度分量之间的差,并且色差分量Cb是在B分量和亮度分量之间的差。 
[边缘信息提取处理的描述] 
图23是图示与图20的步骤S113的处理对应的边缘信息提取处理的流 程图。下面将描述这个边缘信息提取处理。 
在步骤S211中,边缘图像产生单元211至边缘图像产生单元214使用Gabor滤波器来对于从获得单元22提供的输入图像执行滤波处理,并且产生其中在例如0度、45度、90度和135度的方向上的边缘强度是像素的像素值的边缘图像。然后,边缘图像产生单元211至边缘图像产生单元214将所产生的边缘图像分别提供给金字塔图像产生单元215至金字塔图像产生单元218。 
在步骤S212中,金字塔图像产生单元215至金字塔图像产生单元218分别通过使用来自边缘图像产生单元211至边缘图像产生单元214的边缘图像来产生金字塔图像,并且分别向差分计算单元219至差分计算单元222提供金字塔图像。 
例如,金字塔图像产生单元215产生具有不同分辨率的、在0度方向上的多个边缘图像,以产生级L1至级L8的每一个分级的金字塔图像,并且将金字塔图像提供给差分计算单元219。类似地,金字塔图像产生单元216至金字塔图像产生单元218产生级L1至级L8的每一个分级的金字塔图像,并且分别向差分计算单元220至差分计算单元222提供金字塔图像。 
在步骤S213中,差分计算单元219至差分计算单元222分别通过使用来自金字塔图像产生单元215至金字塔图像产生单元218的金字塔图像来产生和归一化差分图像,并且将该差分图像分别提供给边缘信息图建立单元223至边缘信息图建立单元226。例如在差分图像的归一化中,像素的像素值被设置为0至255之间的值。 
例如,差分计算单元219获得从金字塔图像产生单元215提供的、每一个分级的0度方向上的边缘的金字塔图像中的、在级L6和级L3、级L7和级L3、级L7和级L4、级L8和级L4以及级L8和级L5的组合的金字塔图像之间的差。结果,获得总共5个边缘的差分图像。 
类似地,差分计算单元220至差分计算单元222获得在每一个分级的金字塔图像中的、在级L6和级L3、级L7和级L3、级L7和级L4、级L8和级L4以及级L8和级L5的组合的金字塔图像之间的差。结果,对于在每一个方向上的边缘获得总共5个边缘的差分图像。 
用于产生这些差分图像的处理等同于其中对于边缘图像执行使用带通滤波器的滤波处理以从边缘图像提取预定频率分量的处理。以这种方式获得的差分图像的像素的像素值指示在每一个级的金字塔图像的边缘强 度之间的差,即在输入图像的预定位置处的边缘强度和在该位置的周围区域中的平均边缘强度之间的差。 
通常,在图像中与周围区域相比较具有更强边缘强度的区域是吸引观看该图像的人的注意的区域。因此,该区域具有作为主题区域的高概率。因此,可以说,在每一个差分图像中具有较大像素值的像素指示该区域更可能是主题区域。 
在步骤S214中,边缘信息图建立单元223至边缘信息图建立单元226分别通过使用来自差分计算单元219至差分计算单元222的差分图像来在每一个方向上建立边缘信息图,并且将它们提供给主题图建立单元125。 
例如,边缘信息图建立单元223通过使用预先获得的差分权重Wa来执行从差分计算单元219提供的差分图像的加权相加,以在0度的方向上形成边缘信息图。 
类似地,边缘信息图建立单元224至边缘信息图建立单元226分别通过使用差分权重Wa来执行来自差分计算单元220至差分计算单元222的差分图像的加权相加,以分别在45度、90度和135度的每一个的方向上建立边缘信息图。同时,当要建立边缘信息图时,执行差分图像的上转换,以使得差分图像具有相同的大小。 
当边缘信息图建立单元223至边缘信息图建立单元226向主题图建立单元125提供以上述方式获得的总共四个边缘信息图时,完成边缘信息提取处理。该处理然后进行到图20的步骤S114。 
以上述方式,边缘信息提取单元123从输入图像获得在特定方向上的边缘的差分图像,并且从该差分图像建立边缘信息图。即,在边缘信息提取单元123中,输入图像的各个区域中在特定方向上的边缘强度和输入图像的该区域周围的区域的特定方向上的平均边缘强度之间的差被提取为特征量,并且,建立用于指示该特征量的边缘信息图。根据以上述方式获得的每一个方向的边缘信息图,可以容易地检测与在输入图像的周围区域相比在特定方向上具有大边缘强度的区域,即能够被快速看一眼输入图像的观察者容易识别的区域。 
同时,在边缘信息提取处理中,已经描述了使用Gabor滤波器提取边缘。或者,可以使用诸如Sobel滤波器或Roberts滤波器之类的边缘提取滤波器。 
[面部信息提取处理的描述] 
接下来,参考图24的流程图来描述与图20的步骤S114的处理对应的面部信息提取处理。 
在步骤S241中,面部检测单元251从获得单元22提供的输入图像检测人的面部的区域,并且将检测结果提供给面部信息图建立单元252。例如,面部检测单元251对于输入图像执行使用Gabor滤波器的滤波处理,并且通过从输入图像提取诸如人的眼睛、嘴和鼻子等的特征区域来检测输入图像中的面部区域。 
在步骤S242中,面部信息图建立单元252通过使用来自面部检测单元251的检测结果来建立面部信息图,并且将面部信息图提供给主题图建立单元125。 
假定,例如,检测其中估计包含面部的、输入图像中的多个矩形区域(以下称为候选区域)作为来自输入图像的面部的检测结果。这里,还假定,在输入图像中的预定位置附近检测到多个候选区域,并且那些候选区域的部分可以彼此重叠。即,例如,在对于输入图像中的一个面部的区域获得多个包含面部的区域作为候选区域的情况下,那些候选区域的部分彼此重叠。 
面部信息图建立单元252对于通过检测面部获得的候选区域产生具有与每一个候选区域的输入图像相同大小的检测图像。这个检测图像被形成使得在与要在检测图像中处理的候选区域相同区域中的像素的像素值是大于在与候选区域不同的区域中的像素的像素值的值。 
此外,与被估计具有包含人的面部的可能的候选区域相同位置的像素的像素值越接近,则检测图像中的像素的像素值越大。面部信息图建立单元252累加以上述方式获得的检测图像,以产生和归一化一个图像,从而形成面部信息图。因此,在面部信息图中,增大在与输入图像中的多个候选区域的部分重叠的区域相同的区域中的像素的像素值,并且,包含面部的概率更高。同时,在归一化中,将像素的像素值设置为0和255之间的值。 
当建立面部信息图时,完成面部信息提取处理,处理然后进行到图20的步骤S15。 
以上述方式,面部信息提取单元124从输入图像检测面部,并从检测结果建立面部信息图。根据以上述方式获得的面部信息图,可以容易地检测作为主题的人的面部的区域。 
在图4的主题提取单元91中,如上所述建立每一个信息图,并且从那些信息图建立主题图。 
[边缘分数计算处理的描述] 
此外,下面参考图25至图27来描述与图12的步骤S14至S16的处理对应的边缘分数计算处理、颜色分布分数计算处理和色度分数计算处理。 
首先,将参考图25的流程图来描述与图12的步骤S14的处理对应的边缘分数计算处理。通过图9的边缘分数计算单元25来执行这个处理。 
在步骤S271中,主题提取单元281执行主题图建立处理,以从获得单元22提供的输入图像建立主题图,并且将主题图提供给反转单元282。同时,这个主题图建立处理是与参考图20描述的主题图建立处理相同的处理,因此,省略其描述。 
在步骤S272中,反转单元282对于从主题提取单元281提供的主题图执行反转处理,并且将主题图提供给乘法单元285。即,主题图的每一个像素的像素值被从1反转为0或从0反转为1。结果,反转后的主题图的使用使得能够提取输入图像中的背景部分。 
在步骤S273中,滤波处理单元283使用拉普拉斯滤波器来对从获得单元22提供的输入图像执行滤波处理,以产生拉普拉斯图像,并将拉普拉斯图像提供给归一化单元284。此外,归一化单元284归一化来自滤波处理单元283的拉普拉斯图像,并且将拉普拉斯图像提供给乘法单元285。 
在步骤S274中,乘法单元285通过将来自归一化单元284的拉普拉斯图像乘以来自反转单元282的反转的主题图来产生背景图像,并且向直方图产生单元286提供该背景图像。即,获得拉普拉斯图像和在同一位置的主题图的像素的像素值的乘积,并将该乘积设置为背景图像的像素的像素值。以这种方式获得的背景图像是用于指示不是在输入图像中的主题区域的部分,即背景部分的边缘强度的图像。 
在步骤S275中,通过使用从乘法单元285提供的背景图像,直方图产生单元286产生直方图,该直方图指示输入图像的背景部分中的边缘的复杂度。 
即,首先,直方图产生单元286对背景图像执行阈值处理。具体地说,在背景图像的像素中的、其像素值大于或等于阈值的像素的像素值被原样保持其值,并且,其像素值小于阈值的像素的像素值被设置为0。 
接下来,直方图产生单元286产生边缘直方图,其中,背景图像的像素的像素值的范围,即边缘强度的值的范围是仓。然后,直方图产生单元286向分数计算单元287提供所产生的边缘直方图。 
在步骤S276中,分数计算单元287通过使用从直方图产生单元286提供的直方图来计算边缘分数,并且将边缘分数提供给整体分数计算单元28。 
例如,假定阈值处理后的背景图像的像素值可以采用的值的范围是从0到1。此时,分数计算单元287提取在直方图中的像素值(边缘强度)“0”至“0.1”的范围中包含的一个或多个仓中的、具有最大频率值的仓的频率值作为最大频率值Ma。即,在其代表值在0和0.1之间的仓中,选择具有最大频率值的仓,并且将该仓的频率值设置为最大频率值Ma。 
此外,分数计算单元287提取直方图中的像素值(边缘强度)“0.8”至“0.9”的范围中包含的一个或多个仓中的、其频率值最小的仓的频率值作为最小频率值Mb。即,选择其代表值在0.8和0.9之间的仓中的、具有最小频率值的仓,并且将该仓的频率值设置为最小频率值Mb。 
然后,分数计算单元287从最大频率值Ma减去最小频率值Mb,并且将这样获得的值设置为边缘分数。以这种方式获得的边缘分数指示输入图像的背景部分中的、在具有小边缘强度的像素的数量和具有大边缘强度的像素的数量之差,即背景部分中的边缘的复杂度。 
通常,在业余图像中,背景部分的边缘是复杂的,并且经常地,最大频率值Ma被提高,并且最小频率值Mb被降低。即,接近业余图像的图像的边缘分数具有变为大数值的高概率。另一方面,在专业图像中,背景部分的边缘较为简单,即,其边缘强度大的像素的数量小,并且经常地,最大频率值Ma和最小频率值Mb较小。即,接近专业图像的图像的边缘分数具有变为小数值的高概率。因此,边缘分数的值越小,则输入图像的图像捕获状态的评价越高。 
当从分数计算单元287向整体分数计算单元28提供所计算的边缘分数时,完成边缘分数计算处理。其后,处理进行到图12的步骤S15。 
以上述方式,边缘分数计算单元25从输入图像提取背景部分,并且基于背景部分的边缘强度来计算用于指示背景部分的边缘强度的复杂度的边缘分数。如上所述,通过仅以背景部分为目标来计算边缘分数,可以更适当地评价输入图像的图像捕获状态。 
即,存在业余图像的背景部分的边缘较为复杂而专业图像的背景部分的边缘较为简单的趋势。因此,通过使用这样的趋势,获得用于仅指示背景部分的边缘的复杂度的边缘分数。结果,可以更容易和更适当地评价输入图像的图像捕获状态,而与在主题部分中的边缘是否复杂无关。 
[颜色分布分数计算处理的描述] 
接下来,将参考图26的流程图来描述与图12的步骤S15的处理对应的颜色分布分数计算处理。 
在步骤S301中,R分量直方图产生单元311至B分量直方图产生单元313从获得单元22提供的输入图像产生R(红色)、G(绿色)和B(蓝色)的每一个分量的直方图,并且将该直方图分别提供给归一化单元314至归一化单元316。例如,产生其中输入图像的R分量的值的范围是仓的直方图作为R分量的直方图。 
此外,归一化单元314至归一化单元316分别归一化来自R分量直方图产生单元311至B分量直方图产生单元313的每一个分量的直方图,并将这些直方图提供给直方图产生单元317。 
在步骤S302中,通过使用从归一化单元314至归一化单元316提供的每一个颜色分量的直方图,直方图产生单元317产生由R、G和B的每一个分量构成的颜色的直方图,并且将该直方图提供给分数计算单元318。 
例如,在从16个仓形成R、G和B的每一个分量的直方图的情况下,产生从关于由R、G和B的分量构成的颜色的163个仓形成的一个直方图。这个直方图指示整个输入图像中的颜色分布。 
在步骤S303中,基于从直方图产生单元317提供的直方图,分数计算单元318通过使用K-NN方法等来计算颜色分布分数,并且将颜色分布分数提供给整体分数计算单元28。 
例如,分数计算单元318存储对于预先准备的专业图像和业余图像而言的、由与步骤S301和S302的处理相同的处理产生的多个颜色的直方图。分数计算单元318计算在预先保存的多个专业图像和业余图像的各个直方图和来自直方图产生单元317的直方图之间的距离。 
这里,直方图之间的距离是输入图像的颜色的直方图和预先保存的一个直方图之间的每一个仓的频率值的差的总和值。 
另外,分数计算单元318从多个所获得的距离中以距离值的升序选择 K个距离,并从所选择的距离中的输入图像和专业图像的直方图的距离的数量减去输入图像和业余图像的直方图的距离的数量。然后,分数计算单元318将作为相减的结果获得的值设置为颜色分布分数。 
关于以这种方式获得的颜色分布分数,与上述的亮度分数类似地,其颜色分布与输入图像相似的专业图像的数量越多,则其值越大。即,颜色分布分数指示其中输入图像的颜色分布与专业图像的颜色分布相似的程度。输入图像的颜色分布分数的值越大,则图像的图像捕获状态的评价越高。 
当计算颜色分布分数时,分数计算单元318向整体分数计算单元28提供所计算的颜色分布分数,并且完成颜色分布分数计算处理。其后,处理随后进行到图12的步骤S16。 
如上所述,颜色分布分数计算单元26将输入图像中的颜色分布与预先准备的专业图像和业余图像的颜色分布作比较,以计算颜色分布分数。通过以这种方式比较整个输入图像的颜色分布以计算颜色分布分数,可以更适当地评价输入图像的图像捕获状态。 
即,在要通过使用颜色分布作为指数评价图像的图像捕获状态的情况下,必须观看整个图像。因此,通过以整个输入图像为目标并且通过将输入图像的颜色分布与另一个图像的颜色分布相比较,可以更适当地评价输入图像的图像捕获状态。 
[色度分数计算处理的描述] 
接下来,将参考图27的流程图来描述与图12的步骤S16的处理对应的色度分数计算处理。 
在步骤S331中,转换单元341将从自获得单元22提供的输入图像转换为由H(色相)、S(色度)和V(亮度)的每一个分量的值构成的输入图像,并且将该输入图像提供给直方图产生单元342。 
在步骤S332中,直方图产生单元342通过使用来自转换单元341的输入图像来产生色度分量的直方图,并且将该直方图提供给分数计算单元343。例如,直方图产生单元342从输入图像的像素提取其H(色度)分量是预定阈值th1或更大并且其V(亮度)分量大于或等于预定阈值th2的像素,并且通过使用所提取的像素来产生其中像素的S(色度)分量的值的范围是仓的直方图。 
在步骤S333中,分数计算单元343通过使用从直方图产生单元342 提供的直方图来计算色度分数,并且将其提供给整体分数计算单元28。 
例如,分数计算单元343对于色度的直方图执行使用GMM(高斯混合模型)的近似,并且对于一个或多个分布获得每一个分布的重要程度、平均值和方差。同时,这里引用的术语“分布”指的是在通过所述近似获得的整个分布曲线中具有一个峰值的部分。 
分数计算单元343将具有最高重要程度的分布的方差和平均值的每一个设置为色度分数。因此,在图12的步骤S17的处理中,通过使用转换表来将作为色度分数的色度的方差和平均值的每一个转换为分数点数。 
以这种方式获得的色度分数指示整个输入图像的色度分量的平均值和方差。平均值和方差的值使得可以识别输入图像接近专业图像和业余图像的哪个。因此,色度分数使得可以评价输入图像的图像捕获状态。 
当计算色度分数时,分数计算单元343向整体分数计算单元28提供所计算的色度分数,并且色度分数计算处理完成。其后,该处理随后进行到图12的步骤S17。 
如上所述,色度分数计算单元27将输入图像中的色度的平均值和方差计算为色度分数。通过以上述方式将整个输入图像为目标来获得色度的平均值和方差以被设置为色度分数,可以更适当地评价输入图像的图像捕获状态。 
即,在要通过使用色度作为指数来评价图像的图像捕获状态的情况下,必须查看整个图像。因此,通过将整个输入图像为目标来计算色度的平均值和方差,可以更适当地评价输入图像的图像捕获状态。 
可以通过硬件和软件来执行上述系列处理。在要通过软件来执行该系列处理的情况下,从程序记录介质向在专用硬件中内置的计算机或例如能够通过在其上安装各种程序来执行各种功能的通用个人计算机内安装形成软件的程序。 
图28是图示根据程序来执行上述系列处理的计算机的配置的示例的框图。 
在计算机中,CPU(中央处理单元)601、ROM(只读存储器)602和RAM(随机存取存储器)603通过总线604彼此互连。 
输入/输出接口605还连接到总线604。下述部分连接到输入/输出接口605:输入单元606,包括键盘、鼠标和麦克风等;输出单元607,包括显 示器和扬声器等;记录单元608,包括硬盘和非易失性存储器等;通信单元609,包括网络接口等;以及,驱动器610,用于驱动可装卸介质611,诸如磁盘、光盘、磁光盘或半导体存储器。 
在如上所述配置的计算机中,CPU 601通过输入/输出接口605和总线604向RAM 603内载入例如在记录单元608中记录的程序,并且执行该程序,从而执行上述系列处理。 
例如通过下述方式来提供由计算机(CPU 601)执行的程序:将其记录在可装卸介质611上,可装卸介质611是封装介质,诸如磁盘(包括软盘)、光盘(包括CD-ROM(致密盘只读存储器)或DVD(数字通用盘)等)、磁光盘或半导体存储器等。或者,经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供该程序。 
然后,可以通过将可装卸介质611安装到驱动器610上来经由输入/输出接口605向记录单元608内安装程序。或者,可以经由有线或无线传输介质在通信单元609处接收程序,并将该程序安装到记录单元608内。或者,可以预先在ROM 602或记录单元608中预先安装该程序。 
同时,由计算机执行的程序可以是使用其来根据在本说明书中描述的顺序以时序的方式执行处理的程序,或可以是使用其来并行或在必要的时间(诸如当被调用时)执行处理的程序。 
同时,本发明的实施例不限于上述实施例,并且可以在不偏离本发明的范围和精神的情况下进行各种修改。 
附图标记列表 
23  模糊度分数计算单元,24  亮度分数计算单元,25  边缘分数计算单元,26  颜色分布分数计算单元,27  色度分数计算单元,28  整体分数计算单元,29  显示控制单元,91  主题提取单元 

Claims (8)

1.一种图像处理设备,包括:
第一评价值计算装置,用于从输入图像的整体提取第一特征的特征量,以及用于根据所述第一特征的所述特征量来计算第一部分评价值,所述第一部分评价值指示基于所述第一特征的所述输入图像的评价;
第二评价值计算装置,用于从所述输入图像的预定区域提取第二特征的特征量,以及用于根据所述第二特征的所述特征量来计算第二部分评价值,所述第二部分评价值指示基于所述第二特征的所述输入图像的评价;以及
整体评价值计算装置,用于基于所述第一部分评价值和所述第二部分评价值来计算整体评价值,所述整体评价值指示所述输入图像的图像捕获状态的评价;
其中,所述第二评价值计算装置包括:
主题区域识别装置,用于从所述输入图像的各个区域提取由所述输入图像中的主题区域拥有的第三特征的特征量,以识别所述输入图像中的所述主题区域;以及
计算装置,用于从所述输入图像中包含主题的主题区域以及所述输入图像中不包含所述主题的背景区域之一提取所述第二特征的所述特征量,以及用于计算所述第二部分评价值。
2.根据权利要求1所述的图像处理设备,
其中,所述计算装置提取所述输入图像中的所述主题区域的各个区域中的亮度值作为所述第二特征的所述特征量,并计算基于所述主题区域中的所述亮度值的分布的所述第二部分评价值。
3.根据权利要求1所述的图像处理设备,
其中,所述计算装置提取所述输入图像中的所述背景区域的各个区域中的边缘强度作为所述第二特征的所述特征量,并计算基于所述背景区域中的所述边缘的复杂度的所述第二部分评价值。
4.根据权利要求1所述的图像处理设备,
其中,所述第一评价值计算装置计算基于所述输入图像的整体中的模糊度、颜色分布、色度的平均值和色度的方差中的至少一个的所述第一部分评价值。
5.根据权利要求1所述的图像处理设备,
其中,所述整体评价值计算装置将对于所述第一部分评价值的值预先指定的值和对于所述第二部分评价值的值预先指定的值相加,以计算所述整体评价值。
6.根据权利要求5所述的图像处理设备,
其中,基于具有图像捕获状态的不同评价的多个图像的所述第一部分评价值来确定对于所述第一部分评价值的值预先指定的值,所述评价是预先获得的,以及
其中,基于具有图像捕获状态的不同评价的多个图像的所述第二部分评价值来确定对于所述第二部分评价值的值预先指定的值,所述评价是预先获得的。
7.一种用于图像处理设备的图像处理方法,所述图像处理设备包括:
第一评价值计算装置,用于从输入图像的整体提取第一特征的特征量,以及用于根据所述第一特征的所述特征量来计算第一部分评价值,所述第一部分评价值指示基于所述第一特征的所述输入图像的评价;
第二评价值计算装置,用于从所述输入图像的预定区域提取第二特征的特征量,以及用于根据所述第二特征的所述特征量来计算第二部分评价值,所述第二部分评价值指示基于所述第二特征的所述输入图像的评价;以及
整体评价值计算装置,用于根据所述第一部分评价值和所述第二部分评价值来计算整体评价值,所述整体评价值指示所述输入图像的图像捕获状态的评价;
其中,所述第二评价值计算装置包括:
主题区域识别装置,用于从所述输入图像的各个区域提取由所述输入图像中的主题区域拥有的第三特征的特征量,以识别所述输入图像中的所述主题区域;以及
计算装置,用于从所述输入图像中包含主题的主题区域以及所述输入图像中不包含所述主题的背景区域之一提取所述第二特征的所述特征量,以及用于计算所述第二部分评价值;
所述图像处理方法包括步骤:
通过使用所述第一评价值计算装置基于所述输入图像来计算所述第一部分评价值;
通过使用所述第二评价值计算装置基于所述输入图像来计算所述第二部分评价值;以及
通过使用所述整体评价值计算装置基于所述第一部分评价值和所述第二部分评价值来计算所述整体评价值;
其中,所述计算第二部分评价值包括:
从所述输入图像的各个区域提取由所述输入图像中的主题区域拥有的第三特征的特征量,以识别所述输入图像中的所述主题区域;以及
从所述输入图像中包含主题的主题区域以及所述输入图像中不包含所述主题的背景区域之一提取所述第二特征的所述特征量,以及计算所述第二部分评价值。
8.一种图像处理方法,包括步骤:
从输入图像的整体提取第一特征的特征量,并根据所述第一特征的所述特征量来计算第一部分评价值,所述第一部分评价值指示基于所述第一特征的所述输入图像的评价;
从所述输入图像的预定区域提取第二特征的特征量,并根据所述第二特征的所述特征量来计算第二部分评价值,所述第二部分评价值指示基于所述第二特征的所述输入图像的评价;以及
根据所述第一部分评价值和所述第二部分评价值来计算整体评价值,所述整体评价值指示所述输入图像的图像捕获状态的评价;
其中,所述计算第二部分评价值包括:
从所述输入图像的各个区域提取由所述输入图像中的主题区域拥有的第三特征的特征量,以识别所述输入图像中的所述主题区域;以及
从所述输入图像中包含主题的主题区域以及所述输入图像中不包含所述主题的背景区域之一提取所述第二特征的所述特征量,以及计算所述第二部分评价值。
CN2010800022570A 2009-06-09 2010-05-31 图像处理设备和方法 Expired - Fee Related CN102113335B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009138269A JP5544764B2 (ja) 2009-06-09 2009-06-09 画像処理装置および方法、並びにプログラム
JP2009-138269 2009-06-09
PCT/JP2010/059177 WO2010143549A1 (ja) 2009-06-09 2010-05-31 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN102113335A CN102113335A (zh) 2011-06-29
CN102113335B true CN102113335B (zh) 2013-06-05

Family

ID=43308804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800022570A Expired - Fee Related CN102113335B (zh) 2009-06-09 2010-05-31 图像处理设备和方法

Country Status (9)

Country Link
US (1) US8611615B2 (zh)
EP (1) EP2323418A1 (zh)
JP (1) JP5544764B2 (zh)
KR (1) KR20120023591A (zh)
CN (1) CN102113335B (zh)
BR (1) BRPI1004219A2 (zh)
RU (1) RU2494460C2 (zh)
TW (1) TWI431549B (zh)
WO (1) WO2010143549A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5737745B2 (ja) 2010-12-24 2015-06-17 Necエナジーデバイス株式会社 放電制御装置、放電制御方法およびプログラム
JP5768590B2 (ja) * 2011-08-22 2015-08-26 富士通株式会社 画像処理装置、画像処理方法及びプログラム
CN102289813B (zh) * 2011-08-30 2012-11-28 西安交通大学 一种无参考图像的模糊程度评价方法
CN103020947B (zh) * 2011-09-23 2016-04-06 阿里巴巴集团控股有限公司 一种图像的质量分析方法及装置
TWI440884B (zh) 2011-11-07 2014-06-11 Largan Precision Co Ltd 攝影系統
JP5903292B2 (ja) * 2012-02-21 2016-04-13 株式会社ニコンシステム 画像評価装置および画像評価プログラム
US8441548B1 (en) * 2012-06-15 2013-05-14 Google Inc. Facial image quality assessment
CN103778600B (zh) * 2012-10-25 2019-02-19 北京三星通信技术研究有限公司 图像处理系统
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
JP2015187602A (ja) * 2014-03-14 2015-10-29 株式会社リコー 測色装置、方法、及びプログラム
JP6576690B2 (ja) * 2014-05-29 2019-09-18 キヤノンメディカルシステムズ株式会社 医用画像処理装置
KR102445762B1 (ko) * 2014-06-25 2022-09-22 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 이미지 프로세싱 방법 및 디바이스
CN104063864B (zh) * 2014-06-26 2017-04-12 上海交通大学 基于四元相位叠合模型的图像模糊度评估方法
WO2016195927A1 (en) * 2015-06-02 2016-12-08 Life Technologies Corporation Systems and methods for calibrating a structured illumination imaging system and for capturing a structured illumination image
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US9904871B2 (en) * 2016-04-14 2018-02-27 Microsoft Technologies Licensing, LLC Deep convolutional neural network prediction of image professionalism
US10043254B2 (en) 2016-04-14 2018-08-07 Microsoft Technology Licensing, Llc Optimal image transformation based on professionalism score of subject
US10043240B2 (en) 2016-04-14 2018-08-07 Microsoft Technology Licensing, Llc Optimal cropping of digital image based on professionalism score of subject
WO2017203701A1 (ja) 2016-05-27 2017-11-30 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
US10180678B2 (en) 2016-07-28 2019-01-15 Young Optics Inc. Method for improved 3-D printing system and system thereof
CN111066060B (zh) 2017-07-13 2024-08-02 资生堂株式会社 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
JP7401968B2 (ja) * 2018-12-07 2023-12-20 ルネサスエレクトロニクス株式会社 撮影制御装置、撮影システム及び撮影制御方法
JP7005477B2 (ja) * 2018-12-25 2022-01-21 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP2019096364A (ja) * 2019-03-18 2019-06-20 株式会社ニコン 画像評価装置
KR102661672B1 (ko) * 2019-05-02 2024-05-03 삼성전자주식회사 전자 기기의 성능 평가 방법
CN111212223B (zh) * 2020-01-10 2021-01-22 奥比中光科技集团股份有限公司 一种设定成像参数的方法、系统及计算机可读存储介质
CN113992861B (zh) * 2020-07-27 2023-07-21 虹软科技股份有限公司 一种图像处理方法及图像处理装置
CN115034994A (zh) * 2022-06-17 2022-09-09 谢文军 基于视频内容的区域颜色处理的方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0295091A (ja) * 1988-09-30 1990-04-05 Omron Tateisi Electron Co 画像処理制御装置
RU2105351C1 (ru) * 1995-02-06 1998-02-20 Товарищество с ограниченной ответственностью "Информ Инжиниринг" Способ анализа изображения текстуры объекта
JP2003250047A (ja) * 2002-02-22 2003-09-05 Konica Corp 画像処理方法、記憶媒体、画像処理装置、及び画像記録装置
JP3964297B2 (ja) * 2002-09-19 2007-08-22 株式会社リコー 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム
ATE412223T1 (de) * 2002-10-24 2008-11-15 L 1 Identity Solutions Ag Prüfung von bildaufnahmen von personen
JP4510583B2 (ja) * 2004-10-28 2010-07-28 日本電信電話株式会社 双方向マルチモーダルサービス品質推定装置および方法
RU2312395C1 (ru) * 2006-05-29 2007-12-10 Самсунг Электроникс Ко., Лтд. Способ сортировки цифровых изображений для качественной печати
US8249358B2 (en) * 2006-10-19 2012-08-21 Nec Corporation Image quality evaluation method, image quality evaluation system and image quality evaluation program
US7826657B2 (en) * 2006-12-11 2010-11-02 Yahoo! Inc. Automatically generating a content-based quality metric for digital images
JP2008311821A (ja) * 2007-06-13 2008-12-25 Sony Corp 画像入力処理装置、操作処理方法およびプログラム
JP2009060359A (ja) * 2007-08-31 2009-03-19 Seiko Epson Corp 画像処理装置、画像処理方法および画像印刷装置
JP2009134350A (ja) * 2007-11-28 2009-06-18 Toshiba Corp 画像の高品質化方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2008-311821A 2008.12.25

Also Published As

Publication number Publication date
JP2010287948A (ja) 2010-12-24
US8611615B2 (en) 2013-12-17
JP5544764B2 (ja) 2014-07-09
WO2010143549A1 (ja) 2010-12-16
CN102113335A (zh) 2011-06-29
KR20120023591A (ko) 2012-03-13
TWI431549B (zh) 2014-03-21
EP2323418A1 (en) 2011-05-18
US20120070102A1 (en) 2012-03-22
TW201104624A (en) 2011-02-01
RU2494460C2 (ru) 2013-09-27
RU2011104483A (ru) 2012-08-20
BRPI1004219A2 (pt) 2016-02-23

Similar Documents

Publication Publication Date Title
CN102113335B (zh) 图像处理设备和方法
CN110399929B (zh) 眼底图像分类方法、装置以及计算机可读存储介质
CN101959018B (zh) 图像处理设备和图像处理方法
CN101828201B (zh) 图像处理装置及方法、学习装置及方法
US8675960B2 (en) Detecting skin tone in images
CN109146856A (zh) 图像质量评定方法、装置、计算机设备及存储介质
Cavalcante et al. Measuring streetscape complexity based on the statistics of local contrast and spatial frequency
Zhang et al. An unsupervised evaluation method for remotely sensed imagery segmentation
US9330336B2 (en) Systems, methods, and media for on-line boosting of a classifier
CN104103082A (zh) 一种基于区域描述和先验知识的图像显著性检测方法
CN102521581B (zh) 结合生物特征与局部图像特征的并行人脸识别方法
CN111160284A (zh) 人脸照片质量评估方法、系统、设备及存储介质
Casanova et al. Texture analysis using fractal descriptors estimated by the mutual interference of color channels
CN110705634B (zh) 一种鞋跟型号识别方法、装置及存储介质
CN103793717A (zh) 判断图像主体显著性及训练其分类器的方法和系统
Bora et al. A new efficient color image segmentation approach based on combination of histogram equalization with watershed algorithm
CN107169996A (zh) 一种视频中动态人脸识别方法
Krasula et al. FFTMI: Features fusion for natural tone-mapped images quality evaluation
Cvejic et al. A nonreference image fusion metric based on the regional importance measure
Zhu et al. PODB: A learning-based polarimetric object detection benchmark for road scenes in adverse weather conditions
JP2012048326A (ja) 画像処理装置及びプログラム
JP5407897B2 (ja) 画像分類方法、装置、及びプログラム
Zheng et al. A new region-primitive method for classification of colour meat image texture based on size, orientation, and contrast
JP5526805B2 (ja) 重み付け方法、装置、及びプログラム、並びに、特徴画像抽出方法、装置、及びプログラム
Tangwannawit et al. Feature extraction to predict quality of segregating sweet tamarind using image processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130605

Termination date: 20150531

EXPY Termination of patent right or utility model