CN101276419A - 类别划分装置、类别划分方法和存储程序的存储介质 - Google Patents

Abstract

一种类别划分装置，包括：整体分类器，其基于从图像数据获得的整体特征量，划分图像所属的类别，整体特征量指示由图像数据表示的图像的整体特征；以及局部分类器，其基于从图像数据中包括的局部图像数据获得的局部特征量，划分图像所属的类别，局部特征量指示图像的各部分的特征。

Description

类别划分装置、类别划分方法和存储程序的存储介质

相关申请的交叉引用

本申请要求于2007年2月19日提交的日本专利申请No.2007-038349和于2007年12月5日提交的日本专利申请No.2007-315243的优先权，将其结合于此作为参考。

技术领域

本发明涉及类别划分装置、类别划分方法和存储程序的存储介质。

背景技术

对于待分类的图像，已经提出了划分这些图像所属的类别并且执行适于所划分类别的处理的装置。例如，已经提出了一种装置，其基于图像数据来划分图像的类别并且执行适于所划分类别的增强处理(参见WO2004/30373)。利用这种装置，对象区域内的像素的颜色色调是基于图像数据计算的。这样，依据具有特定色调的像素的比例，划分图像的类别(肖像、风景等)。

对于这种类别划分而言，需要提高划分精确度。这是因为，如果提高了划分准确度，可以获得更好的结果，对于后续处理也是如此。例如，利用上述装置，如果以更高的精确度进行类别划分，则可能获得更为适合的增强。

发明内容

本发明一些方面的优点是可以提高类别划分的精确度。

本发明的方面是一种类别划分装置，所述类别划分装置包括用于基于从图像数据获得的整体特征量划分图像所属类别的整体分类器，所述整体特征量指示由所述图像数据所表示的图像的整体特征；以及用于基于从所述图像数据中包括的局部图像数据获得的局部特征量划分图像所属类别的局部分类器，所述局部特征量指示所述图像的各部分的特征。

通过参考附图阅读本说明书的描述，本发明的其它特征将变得清楚明白。

附图说明

为了更完整地理解本发明及其优点，现在结合附图参考以下描述，其中：

图1是示出了多功能装置1和数字静态摄像机的图；

图2A是示出了多功能装置1的印刷机构的配置的图；

图2B是示出了具有存储器的存储部的图；

图3是示出了由印刷机端控制器实现的功能的框图；

图4是示出了场景划分部的配置的概图；

图5是示出了场景划分部的具体配置的图；

图6是示出了如何获得局部特征量的流程图；

图7是示出了线性支持向量机的图；

图8是示出了非线性支持向量机的图；

图9是示出了回现率和精度的图；

图10是示出了由风景场景分类器获得的分类函数值和回现率之间的关系的图，以及示出了精度和该分类函数值之间的关系的图；

图11是示出了由夕景分类器获得的分类函数值和回现率之间的关系的图，以及示出了精度和分类函数值之间的关系的图；

图12是示出了由夜景分类器获得的分类函数值和回现率之间的关系的图，以及示出了精度和分类函数值之间的关系的图；

图13是示出了由花朵场景分类器获得的分类函数值和回现率之间的关系的图，以及示出了精度和分类函数值之间的关系的图；

图14是示出了由秋日场景分类器获得的分类函数值和回现率之间的关系的图，以及示出了精度和分类函数值之间的关系的图；

图15是示出了整体分类器中的风景场景分类器的概率阈值的图；

图16是示出了整体子分类器使用的概率阈值和局部子分类器的判断准则的图；

图17是示出了肯定阈值的图；

图18是示出了否定阈值的图；

图19是示出了其它否定阈值的图；

图20是示出了利用图像增强部进行的图像增强的细节的图；

图21是示出了图像分类过程的流程图；

图22是示出了整体分类过程的流程图；以及

图23是示出了局部分类过程的流程图。

具体实施方式

至少以下内容会通过本发明和附图而变得清楚明白。

能够实现一种类别划分装置，其包括：基于从图像数据所获得的整体特征量来划分图像所属类别的整体分类器，所述整体特征量指示由所述图像数据所表示的图像的整体特征；以及

基于从所述图像数据中包括的局部图像数据所获得的局部特征量来划分图像所属类别的局部分类器，所述局部特征量指示所述图像各部分的特征。

对于这样的类别划分装置，整体分类器基于整体特征量划分要分类的图像所属的类别，并且局部分类器基于局部特征量划分图像所属的类别。这样，能够提高类别划分的准确度。

在该类别划分装置中，优选地，整体分类器包括用于划分所述图像是否属于预定类别的多个整体子分类器，整体子分类器的数目对应于所述预定类别的数目。

利用这样的类别划分装置，能够对于每个整体子分类器单独地进行属性优化，并且能够提高分类准确度。

在该类别划分装置中，优选地，如果所述图像没有被第一整体子分类器划分为属于第一类别，则所述整体分类器使与所述第一整体子分类器不同的第二整体子分类器来划分所述图像是否属于与所述第一类别不同的第二类别。

利用这样的类别划分装置，由每个整体子分类器单独地执行分类，从而能够提高分类的可靠性。

在该类别划分装置中，根据用于指示图像属于预定类别的概率是大还是小的概率信息，如果由所述概率信息指示的概率处于由概率阈值指定的、能够确定图像属于预定类别的概率范围之内，则所述整体子分类器将所述图像划分为属于所述预定类别。

利用这样的类别划分装置，基于概率信息执行分类，从而能够获得高等级的处理速度和分类准确度。

在该类别划分装置中，优选地，整体子分类器中每一个均包括从所述整体特征量获得所述概率信息的支持向量机。

利用这样的类别划分装置，即使对于有限的训练数据也能够提高所获得概率信息的准确度。

在该类别划分装置中，优选地，图像数据包括多个像素，所述多个像素包括颜色信息，并且所述整体子分类器采用从所述颜色信息获得的特征量和附加到所述图像数据的附加信息作为所述整体特征量，来划分图像所属的类别。

利用这样的类别划分装置，能够以高准确度划分图像所属的类别。

在该类别划分装置中，优选地，所述附加信息是附加Exif信息。

利用这样的类别划分装置，能够以高准确度划分图像所属的类别。

在该类别划分装置中，优选地，从所述颜色信息获得的特征量包括：通过对多组颜色信息进行平均而获得的平均颜色信息；对基于多组颜色信息的方差进行指示的方差信息；以及对基于多组颜色信息的矩进行指示的矩信息。

利用这样的类别划分装置，能够以高准确度划分图像所属的类别。

在该类别划分装置中，优选地，如果利用所述整体分类器无法确定所述图像所属的类别，则由局部分类器划分所述图像所属的类别。

利用这样的类别划分装置，趋向于具有更大处理量的局部子分类器在整体子分类器之后执行分类，从而能够更有效的进行处理。

在该类别划分装置中，优选地，局部分类器包括用于划分所述图像是否属于预定类别的多个局部子分类器，所述局部子分类器的数目对应于所述预定类别的数目。

利用这样的类别划分装置，能够单独地优化局部子分类器的属性，从而能够提高分类准确度。

在该类别划分装置中，优选地，所述整体分类器包括用于划分所述图像是否属于预定类别的多个整体子分类器，所述整体子分类器的数目对应于所述预定类别的数目；以及所述局部分类器包括用于划分所述图像是否属于预定类别的多个局部子分类器，局部子分类器的数目小于能够由所述整体分类器划分的预定类别的数目。

利用这样的类别划分装置，趋向于具有更大处理量的局部子分类器的数目小于整体分类器的数目，从而能够更有效的进行处理。

在该类别划分装置中，优选地，如果所述图像还未被第一局部子分类器划分为属于第一类别，则所述局部分类器使与所述第一局部子分类器不同的第二局部子分类器来划分所述图像是否属于与所述第一类别不同的第二类别。

利用这样的类别划分装置，由每个局部子分类器单独执行分类，从而能够提高分类的可靠性。

在该类别划分装置中，优选地，局部子分类器针对从多组局部图像数据获得的多个局部特征量的每一个，划分由该局部图像数据表示的部分是否属于预定类别，并且基于已经被划分为属于预定类别的部分的数目，划分所述图像是否属于所述预定类别。

利用这样的类别划分装置，将对象划分为属于预定类别的分类是基于被划分为属于预定类别的部分的数目的，从而能够更为有效的进行分类处理。

在该类别划分装置中，优选地，局部子分类器基于指示了所述部分属于特定类别的概率是大还是小的概率信息，来划分所述部分是否属于预定类别。

利用这样的类别划分装置，能够更为有效的进行处理。

在该类别划分装置中，优选地，局部子分类器中每一个均包括从局部特征量获得概率信息的支持向量机。

利用这样的类别划分装置，即使利用有限的训练数据也能够提高所获得概率信息的准确度。

在该类别划分装置中，优选地，局部图像数据包括多个像素，所述多个像素包括颜色信息，并且局部子分类器采用从所述颜色信息获得的特征量作为局部特征量，来划分所述图像所属的类别。

利用这样的类别划分装置，能够以高准确度划分图像所属的类别。

在该类别划分装置中，优选地，从颜色信息获得的特征量包括：通过对多组颜色信息进行平均而获得的平均颜色信息；以及对基于多组颜色信息的方差进行指示的方差信息。

利用这样的类别划分装置，能够以高准确度划分图像所属的类别。

优选地，该类别划分装置包括统一(consolidated)分类器，其针对既不能由所述整体分类器也不能由所述局部分类器划分类别的图像，划分该图像所属的类别，以及划分具有概率信息的预定类别，作为该图像所属的类别，所述概率信息指示该预定类别的概率是针对多个预定类别中的每一个所获得的概率信息中最高的。

利用这样的类别划分装置，由统一分类器进一步提高了分类准确度。

优选地，该类别划分装置包括从图像数据获得所述整体特征量和所述局部特征量的特征量获得部。

应当进一步变得清楚的是，能够实现以下的类别划分方法。

也就是说，能够实现的类别划分方法包括：基于从图像数据获得的整体特征量，划分图像所述的类别，所述整体特征量指示由所述图像数据表示的图像的整体特征；以及基于从所述图像数据中包括的局部图像数据获得的局部特征量，划分所述图像所属的类别，所述局部特征量指示所述图像的各部分的特征。

应当进一步变得清楚的是，能够实现以下用于类别划分装置的程序。

也就是说，能够实现存储用于划分图像所属类别的类别划分装置的程序的存储介质，所述存储介质所存储的程序使得所述类别划分装置基于从图像数据获得的整体特征量，划分图像所属的类别，所述整体特征量指示由所述图像数据表示的图像的整体特征，以及基于从所述图像数据中包括的局部图像数据获得的局部特征量，划分所述图像所属的类别，所述局部特征量指示所述图像的各部分的特征。

第一实施例

以下是对本发明实施例的解释。应当注意的是，以下解释采用图1所示的多功能装置1作为示例。该多功能装置1包括通过读取印刷(print)在介质上的图像而获得图像数据的图像读取部10、以及基于所述图像数据将图像印刷在介质上的图像印刷部20。例如，图像印刷部20依据通过利用数字静态摄像机DC捕获图像而获得的图像数据或者利用图像读取部10获得的图像数据，将图像印刷在介质上。此外，该多功能装置1对作为目标的图像(以下也简称为“目标图像”)进行场景分类，并且依据分类结果增强目标图像的数据或者将所增强的图像数据存储在诸如存储卡MC之类的外部存储器中。这里，图像中的场景对应于要划分的类别。因此，该多功能装置1作为对待划分的未知类别的进行分类的类别划分装置。此外，该多功能装置1还作为基于所划分的类别来增强数据的数据增强装置和在外部存储器中存储所增强数据的数据存储装置。

多功能装置1的配置

如图2A所示，图像印刷部20包括印刷机端控制器30和印刷机构40。

印刷机端控制器30是执行诸如印刷机构40的控制之类的印刷控制的部件。在该示图中所示的印刷机端控制器30包括主控制器31、控制单元32、驱动信号生成部33、接口34和存储器插槽35。这些各个组件经由总线BU进行可通信的连接。

主控制器31是负责控制的中央组件，并包括CPU 36和存储器37。CPU 36用作中央处理单元，并且依据存储器37中存储的操作程序执行各种控制操作。因此，所述操作程序包括用于实现控制操作的代码。存储器37存储各种信息。例如图2B中所示的，存储器37的一部分具有用于存储操作程序的程序存储部37a、用于存储控制参数的的参数存储部37b、用于存储图像数据的图像存储部37c、用于存储Exif属性信息的属性信息存储部37d、用于存储特征量的特征量存储部37e、用于存储概率信息的概率信息存储部37f、用作计数器的计数器部37g、用于存储肯定标志的肯定标志存储部37h、用于存储否定标志的否定标志存储部37i和用于存储分类结果的结果存储部37j。稍后解释由主控制器31构成的各个部件。

控制单元32控制例如具有电机41的印刷机构40。驱动信号生成部33生成被施加到印刷头44的驱动元件(图中未示出)的驱动信号。接口34用于连接到诸如个人计算机之类的主机装置。存储器插槽35是用于安装存储卡MC的部件。当存储卡MC安装于存储器插槽35中时，存储卡MC和主控制器31以可通信的方式连接。因此，主控制器31能够读取存储在存储卡MC上的信息以及将信息存储在存储卡MC上。例如，主控制器31能够读取通过利用数字静态摄像机DC捕获图像而创建的图像数据或者能够存储增强的图像数据，增强的图像数据已经过了增强处理等。

印刷机构40是在诸如纸张之类的介质上进行印刷的部件。该图中所示的印刷机构40包括电机41、传感器42、印刷头控制器43和印刷头44。电机41基于来自控制单元32的控制信号进行操作。电机41的示例是用于输送介质的输送电机和用于移动印刷头44的移动电机(均未在图中示出)。传感器42用于检测印刷机构40的状态。传感器42的示例是用于检测是否存在介质的介质检测传感器，用于检测介质输送的输送检测传感器和用于检测印刷头44的位置的印刷头位置传感器(均为在图中示出)。印刷头控制器43对将驱动信号施加到印刷头44的驱动元件进行控制。在该图像印刷部20中，主控制器31依据要印刷的图像数据生成印刷头控制信号。接着，所生成的驱动信号被发送到印刷头控制器43。印刷头控制器基于所接收的印刷头控制信号，控制驱动信号的施加。印刷头44包括多个执行喷墨操作的驱动元件。已经通过印刷头控制器43的驱动信号的必需部分被施加到这些驱动元件。接着，这些驱动元件依据所施加的必需部分，执行喷墨操作。这样，喷射的墨水着落在介质上，从而将图像印刷在所述介质上。

由印刷机端控制器30实现的各个组件的配置

以下是对由印刷机端控制器30实现的各个组件的配置的解释。主控制器31的CPU36对于构成操作程序的多个操作模块(程序单元)中的每一个，执行不同的操作。此时，主控制器31单独或者结合控制单元32或驱动信号生成部33，对于每个操作模块完成不同的功能。在以下解释中，出于方便，假设印刷机端控制器30对于每个操作模块均表现为单独的设备。

如图3所示，印刷机端控制器30包括图像存储部37c、人脸检测部30A、场景分类部30B、图像增强部30C和机构控制器30D。图像存储部37c存储要受到场景分类处理或增强处理的图像数据。该图像数据是一种待分类数据，并对应于作为目标的图像数据。在该实施例中，目标图像数据由RGB图像数据构成。该RGB图像数据是一种由包含颜色信息的多个像素构成的图像数据。人脸检测部30A划分在目标图像的数据中是否存在人脸图像，并且将其划分为对应场景。例如，人脸检测部30A基于QVGA(320×240像素＝76800像素)大小的数据，判断是否存在人脸图像。接着，如果已经检测到人脸图像，则基于人脸图像的全部区域将目标图像归类为其中有人的场景或纪念照片(这在稍后解释)。场景分类部30B对于不能利用人脸检测部30A确定的场景，划分目标图像所属的场景。根据人脸检测部30A或场景分类部30B的分类结果，图像增强部30C依据目标图像所属的场景来执行增强。机构控制器30D依据目标图像的数据来控制印刷机构40。这里，如果已经利用图像增强部30C执行了目标图像的数据增强，则机构控制器30D依据增强的图像数据来控制印刷机构40。在这些部件中，人脸检测部30A、场景分类部30B和图像增强部30C由主控制器31构成。机构控制器30D由主控制器31、控制单元32和驱动信号生成部33构成。

场景分类部30B的配置

以下是对场景分类部30B的解释。本实施例的场景分类部30B对利用人脸检测部30A尚未确定其场景的目标图像进行分类，确定其是否属于风景场景、夕景、夜景、花朵场景、秋日场景或其它场景。如图4所示，场景分类部30B包括特征量获得部30E、整体分类器30F、局部图像分类器30G、统一分类器30H和结果存储部37j。其中，特征量获得部30E、整体分类器30F、局部图像分类器30G和统一分类器30H由主控制器31构成。此外，整体分类器30F、局部图像分类器30G和统一分类器30H构成执行如下过程的分类处理部30I：基于局部特征量和整体特征量中的至少一个来划分目标图像所属的场景(这对应于要划分的对象所属的类别)。

特征量获得部30E

特征量获得部30E从目标图像的数据获得指示了目标图像特征的特征量。该特征量被用于利用整体分类器30F和局部图像分类器30G进行分类。如图5所示，特征量获得部30E包括局部特征量获得部51和整体特征量获得部52。

局部特征量获得部51基于通过将要分类的数据进行分割而获得的局部数据，获得各个局部数据组的局部特征量。这些局部特征量表示对应于局部数据的要分类的一个部分的特征。在该实施例中，要对图像进行分类。因此，局部特征量表示已将整个图像分割而成的多个区域(也简单地称作“局部图像”)中的每一个的特征量。更具体地，局部特征量表示通过将整个图像分割为局部图像而获得得到1/64大小的局部图像的特征量，其中局部图像对应于将整个图像的宽度和高度划分为8个相等部分而获得的区域，也就是说，通过将整个图像分割为网格形状而获得的区域。此外，目标图像的数据对应于要分类的数据，局部图像数据对应于局部数据，并且构成局部图像数据的像素对应于构成局部数据的多个样本。应当注意的是，该实施例中的目标图像的数据是QVGA大小的数据。因此，局部图像数据是该大小的1/64的数据(40×30像素＝1200像素)。

局部特征量获得部51获得构成了局部图像数据的像素的颜色平均值和颜色方差，作为指示所述局部图像的特征的局部特征量。由此，局部特征量是基于局部图像数据而获得的，并且对应于从像素的颜色信息中获得的特征量。

像素的颜色可以由诸如YCC或HSV之类的颜色空间中的数值来表示。因此，可以通过将这些数值进行平均来获得颜色平均值。此外，方差指示了偏离所有像素的颜色平均值的扩展程度。这里，从局部图像数据获得的平均值对应于颜色的局部平均信息，并且从局部图像数据获得的方差对应于颜色的局部方差信息。

整体特征量获得部52从要分类的数据获得整体特征量。该整体特征量指示了要分类的图像的整体特征。该整体特征量的示例是构成目标图像的数据的像素的颜色平均值和颜色方差。这里，像素对应于构成要分类的数据的多个样本，并且像素的颜色平均值和颜色方差对应于颜色的整体平均值信息和整体方差信息。此外，所述整体特征量还可以是矩。该矩是指示颜色分布(质心(centroid))的特征量，并对应于矩信息。作为整体特征量的颜色平均值、颜色方差和矩是已直接从目标图像的数据获得的特征量。然而，该实施例的整体特征量获得部52使用局部特征量来获得这些特征量(这在稍后解释)。此外，如果已经通过数字静态摄像机DC捕获图像而生成了目标图像的数据，则整体特征量获得部52也获得Exif属性信息，作为整体特征量。例如，也获得诸如指示光圈的光圈信息、指示快门速度的快门速度信息和指示是否设置闪光灯的闪光灯信息之类的图像捕获信息，作为整体特征量。应当注意的是，Exif属性信息对应于附加到图像数据的一种附加信息。在该实施例中，给定在利用数字静态摄像机拍摄图片时所附加的Exif属性信息，作为附加信息的示例，但是并不局限于此。例如，还可以是通过执行图像处理的计算机程序而附加到由图像读取部10或扫描仪(图中未示出)生成的图像数据的Exif属性信息。此外，附加信息并不局限于Exif属性信息，而可以是相似类型的信息。

获得特征量

以下是对如何获得特征量的解释，如以上所提到的，在该实施例中，首先从目标图像的数据获得局部特征量，并且接着从所获得的局部特征量获得整体特征量。这是为了加速处理。以下对这方面进行解释。

如果从目标图像的数据获得特征量，则有必要从作为存储介质的存储卡MC中将图像数据读入主控制器31的存储器37(主存储器)中。在这种情况下，需要反复执行对存储卡MC的访问和对存储器37的写入，这需要很多时间。此外，如果目标图像的数据为JPEG格式(这样的数据也被简称为“JPEG图像数据”)，则有必要对该JPEG图像数据进行解码。为此，有必要执行哈夫曼(Huffman)解码或DCT逆变换，而且这些过程也需要很多时间。

为了减少访问存储卡MC的次数和对存储器37进行的写操作的次数，似乎提供相应容量的存储器就足够了，但是能够安装的存储器37的容量是有限的，从而这难以实现。为了解决这一问题，在获得整体特征量和局部特征量时，似乎有可能在每次获得整体特征量和局部特征量时将JPEG图像数据解码为RGB图像数据并且将RGB图像数据转换为YCC图像数据。然而，在采用该方法时，处理时间会变长。

考虑到这种情况，利用根据本发明的多功能装置1，局部特征量获得部51获得每个局部数据组的局部特征量。接着，所获得的局部特征量被存储在存储器37的特征量存储部37e(其对应于局部特征量存储部)中。整体特征量获得部52通过读出存储在特征量存储部37e中的局部特征量，获得整体特征量。接着，所获得的整体特征量被存储在特征量存储部37e(其对应于整体特征量存储部)中。采用这种配置，可以保持对目标图像的数据上执行的变换的次数较少，并且相比于分别获得局部特征量和整体特征量的配置，能够提高处理速度。此外，还能够将用于解码的存储器37容量保持为所必需的最小量。

获得局部特征量

以下是对如何通过局部特征量获得部51获得局部特征量的解释。如图6所示，局部特征量获得部51首先从存储器37的图像存储部37c中读出构成目标图像的一部分数据的局部图像数据(S11)。在该实施例中，局部特征量获得部51获得QVGA大小的1/64的RGB图像数据，作为局部图像数据。应当注意的是，在图像数据被压缩为JPEG等格式的情况下，局部特征量获得部51从图像存储部37c读出构成目标图像数据的单个部分的数据，并且通过对已经读出的数据进行解码来获得局部图像数据。在已经获得了局部图像数据时，局部特征量获得部51执行颜色空间变换(S12)。例如，将RGB图像数据变换为YCC图像数据。

接着，局部特征量获得部51获得局部特征量(S13)。在该实施例中，局部特征量获得部51获得局部图像数据的颜色平均值和颜色方差，作为局部特征量。这里，局部图像数据中的颜色平均值对应于局部平均信息。为了简便，局部图像数据的颜色平均值也被称作“局部颜色平均值”。此外，局部图像数据的方差对应于局部方差信息。为了简便，局部图像数据中的方差也被称作“局部颜色方差”。在第j(j＝1…64)组局部图像数据中，第i(i＝1…76800)个像素的颜色信息(例如YCC颜色空间中所表示的数值)为x_i。在这种情况下，第j组局部图像数据的局部颜色平均值x_avj能够由以下等式(1)表示：

$x_{\mathrm{avj}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i---\left(1\right)$

此外，对于该实施例的方差S²，使用以下等式(2)定义的方差。因此，第j组局部图像数据的局部颜色方差S_j ²能够由以下等式(3)表示，其是通过对等式(2)进行修改而获得的。

$S^2=\frac{1}{n-1}\underset{i}{\mathrm{\Σ}}{(x_i-x_{\mathrm{av}})}^2---\left(2\right)$

${S_j}^2=\frac{1}{n-1}(\underset{i}{\mathrm{\Σ}}{x_{\mathrm{ji}}}^2-{{\mathrm{nx}}_{\mathrm{avj}}}^2)---\left(3\right)$

由此，局部特征量获得部51通过执行计算等式(1)和等式(3)来获得对应局部图像数据的局部颜色平均值x_avj和局部颜色方差S_j ²。接着，局部颜色平均值x_avj和局部颜色方差S_j ²被存储在存储器37的特征量存储部37e中。

在已经获得局部颜色平均值x_avj和局部颜色方差S_j ²时，局部特征量获得部51判断是否剩余有未处理的局部图像数据(S14)。如果局部特征量是已经按照从最小数开始的顺序而获得的，则局部特征量获得部51判断还剩余有未处理的局部图像数据，直至获得了第64组局部图像数据的局部特征量为止。接着，当已经获得了第64组局部图像数据的局部特征量时，局部特征量获得部51判断未剩余有未处理的局部图像数据。如果判断还剩余有未处理的局部图像数据，则局部特征量获得部51回到步骤S11并且对下一组局部图像数据执行相同处理(S11-S13)。另一方面，如果在步骤S14判断了没有剩余未处理的局部图像数据，则局部特征量获得部51进行的处理结束。在这种情况下，在步骤S15中利用整体特征量获得部52获得整体特征量。

获得整体特征量

以下是对如何利用整体特征量获得部52获得整体特征量(S15)的解释。整体特征量获得部52基于在特征量存储部37e中存储的多个局部特征量，获得整体特征量。如以上所提到的，整体特征量获得部52获得目标图像的数据的颜色平均值和颜色方差，作为整体特征量。这些整体特征量是从目标图像的数据获得的，并且对应于从像素的颜色信息所获得的特征量。此外，目标图像的数据的颜色平均值对应于整体平均值信息。目标图像的数据的颜色平均值还被简称为“整体颜色平均值”。此外，目标图像的数据的颜色方差对应于整体方差信息。目标图像的数据的颜色变化还被简称为“整体颜色方差”。此外，如果64组局部图像数据中第j组局部图像数据的局部颜色平均值为x_avj，则整体颜色平均值x_av能够由以下的等式(4)表示。在该等式(4)中，m代表局部图像的数目。整体颜色方差S²能够由以下的等式(5)表示。能够看到，利用该等式(5)，可以从局部颜色平均值x_avj、局部颜色方差S_j ²和整体颜色平均值x_av获得整体颜色方差S²。

$x_{\mathrm{av}}=\frac{1}{m}\underset{j}{\mathrm{\Σ}}{x}_{\mathrm{avj}}---\left(4\right)$

$S^2=\frac{1}{N-1}(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x_{\mathrm{ji}}}^2-{{\mathrm{Nx}}_{\mathrm{av}}}^2)=\frac{1}{N-1}((n-1)\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{S}_j^2+n\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x_{\mathrm{avj}}}^2-{{\mathrm{Nx}}_{\mathrm{av}}}^2)---\left(5\right)$

由此，整体特征量获得部52通过计算等式(4)和(5)，获得目标图像的数据的整体颜色平均值x_av和整体颜色方差S²。接着，整体颜色平均值x_av和整体颜色方差S²被存储在存储器37的特征量存储部37e中。

整体特征量获得部52获得矩，作为另一整体特征量。在该实施例中，要对图像进行分类，从而能够通过矩而定量地获得颜色的位置分布。在该实施例中，整体特征量获得部52从每组局部图像数据的颜色平均值x_avj获得矩。这里，当构成目标图像数据的局部图像数据表示为水平I(I＝1…8)和垂直J(J＝1…8)的矩阵，并且由I和J指定的局部图像数据的局部颜色平均值表示为X_av(I，J)时，则局部颜色平均值的水平方向上的第n个矩m_nh如以下等式(6)表示。

m_nh＝∑_I，JIⁿ×X_av(I，J)                              (6)

这里，通过用简单的一阶矩除以局部颜色平均值X_av(I，J)的总和而获得的数值被称作“一阶质心矩”。该一阶质心矩如以下等式(7)所示并且指示局部颜色平均值的局部特征量的水平方向上的质心位置。第n个质心矩由以下等式(8)表示，是对该质心矩的广义化。在第n个质心矩中，奇数号的(n＝1，3…)质心矩通常用来指示质心位置。偶数号的质心矩通常用来指示质心位置附近的特征量的扩展程度。

$m_{\mathrm{glh}}=\frac{{\mathrm{\Σ}}_{I,J}I\×X_{\mathrm{av}}(I,J)}{{\mathrm{\Σ}}_{I,J}{X}_{\mathrm{av}}(I,J)}---\left(7\right)$

$m_{\mathrm{gnh}}=\frac{{\mathrm{\Σ}}_{I,J}{(I-m_{\mathrm{glx}})}^n\×X_{\mathrm{av}}(I,J)}{{\mathrm{\Σ}}_{I,J}{X}_{\mathrm{av}}(I,J)}---\left(8\right)$

该实施例的整体特征量获得部52获得6种矩。更具体地，其获得水平方向上的一阶矩、垂直方向上的一阶矩、水平方向上的一阶质心矩、垂直方向上的一阶质心矩、水平方向上的二阶质心矩和垂直方向上的二阶质心矩。应当注意的是，矩的组合并不局限于此。例如，还可能使用8种类别，增加了水平方向上的二阶矩和垂直方向上的二阶矩。

通过获得这些矩，可以识别出颜色质心和质心附近的颜色的扩展程度。例如，能够获得诸如“红色区域在图像顶部扩展”或“黄色区域集中在中心附近”之类的信息。对于分类处理部30I(见图4)的分类处理，可以考虑到颜色的质心位置和定位，从而能够提高分类的准确度。

特征量的标准化

构成分类处理部30I的一部分的整体分类器30F和局部分类器30G使用支持向量机(也写为“SVM”)执行分类，这将在稍后解释。这些支持向量机具有以下属性，即特征量的方差越大，支持向量机对分类的影响(加权程度)越大。因此，局部特征量获得部51和整体特征量获得部52对获得的局部特征量和整体特征量执行标准化。也就是说，对于每个特征量，计算平均值和方差，并进行标准化，以使平均值变为“0”且方差变为“1”。更具体地，当对于第i个特征量x_i，平均值为μ_i且方差为σ_i时，标准化的特征量x_i’能够由以下等式(9)来表示。

x′_i＝(x_i-μ_i)/σ_i                       (9)

因此，局部特征量获得部51和整体特征量获得部52通过执行等式(9)的计算，对每个特征量进行标准化。经标准化的特征量存储在存储器37的特征量存储部37e中，并用于分类处理部30I所进行的分类过程。这样，在分类处理部30I所进行的分类过程中，能够以相同的权重处理每个特征量。结果，能够提高分类准确度。

对特征量获得部30E的总结

如以上所解释的，当利用该实施例的特征量获得部30E获得用于分类的特征量时，首先基于局部图像数据获得局部特征量，并接着基于多个局部特征量获得整体特征量。由此，简化了在获得整体特征量时所执行的处理，并实现了处理提速。例如，可以将从存储器37中读出目标图像数据的次数限制到所必需的最小值。而对于图像数据转换，在获得局部特征量期间执行局部图像数据的转换，从而无需在获得整体特征量期间执行转换。有关这方面的还有，实现了处理提速。在这种情况下，局部特征量获得部51基于与将目标图像划分为网格形状而获得的部分相对应的局部图像数据，来获得局部特征量。利用这种配置，可以通过指定位于对角线上的两个像素(坐标)来指定局部图像数据。因此，简化了处理并实现了提速。

此外，局部特征量获得部51获得局部颜色平均值和局部颜色方差来作为局部特征量，而整体特征量获得部52获得整体平均值和整体颜色方差来作为整体特征量。这些特征量用于分类处理部30I对目标图像进行的分类过程。因此，能够提高分类处理部30I的分类准确度。这是因为在分类过程中，考虑了关于着色的信息和关于颜色定位的信息，这是针对整体目标图像以及局部图像而获得的。

整体特征量获得部52获得构成目标图像数据的多个像素的矩，作为整体特征量。利用这些矩，可以使整体分类器30F识别出颜色的质心位置以及颜色的扩展程度。结果，可以提高对目标图像进行分类的准确度。此外，整体特征量获得部52使用局部特征量来获得矩。这样，能够有效地获得这些矩，并且实现处理提速。

分类处理部30I

以下是对分类处理部30I的解释。首先，解释分类处理部30I的概况。如图4和5所示，分类处理部30I包括整体分类器30F、局部图像分类器30G和统一分类器30H。整体分类器30F基于整体特征量来划分目标图像的场景。局部图像分类器30G基于局部特征量来划分目标图像的场景。统一分类器30H对既不能由整体分类器30F也不能由局部分类器30G确定场景的目标图像的场景进行分类。这样，分类处理部30I包括具有不同属性的多个分类器。这是为了改善分类属性。也就是说，可以由整体分类器30F以高准确度对特征趋向于出现在整体目标图像中的场景进行分类。相反，可以由局部图像分类器30G以高准确度对其特征趋向于出现在目标图像的一部分中的场景进行分类。由此，可以改善目标图像的分类属性。此外，对于其场景既不能由整体分类器30F也不能由局部分类器30G确定的图像而言，可以由统一分类器30H对其场景进行分类。对于该方面，也可以改善目标图像的分类属性。

整体分类器30F

整体分类器30F包括子分类器(也被简称为“整体子分类器”)，子分类器的数目对应于能够划分的场景的数目。整体子分类器基于整体特征量来划分目标图像是否属于特定场景。如图5所示，整体分类器30F包括作为整体子分类器的风景场景分类器61、夕景分类器62、夜景分类器63、花朵场景分类器64和秋日场景分类器65。风景场景分类器61划分目标图像是否属于风景场景。夕景分类器62划分目标图像是否属于夕景。夜景分类器63划分目标图像是否属于夜景。花朵场景分类器64划分目标图像是否属于花朵场景。秋日场景分类器65划分目标图像是否属于秋日场景。此外，各个整体子分类器还划分目标图像不属于特定场景。如果已经利用各个整体子分类器确定了目标图像属于给定场景，则在肯定标志存储部37h的相应区域中设置肯定标志。而如果已经利用各个整体子分类器确定了目标图像不属于给定场景，则在否定标志存储部37i的相应区域中设置负定标志。

整体分类器30F以预定的顺序利用各个整体子分类器执行分类。为了更详细的解释这一点，整体分类器30F首先利用风景场景分类器61划分目标图像是否属于风景场景。接着，如果已经确定了它不属于风景场景，则利用夕景分类器62划分目标图像是否属于夕景。之后，利用夜景分类器63、花朵场景分类器64和秋日场景分类器65以该顺序执行分类。也就是说，如果整体分类器30F不能够利用给定的整体子分类器(第一整体子分类器)划分目标图像属于对应的特定场景(第一类别)，则其利用另一整体子分类器(第二整体子分类器)划分所述目标图像是否属于另一特定场景(第二类别)。这样，整体分类器30F使各个整体子分类器顺序地执行对目标图像的分类，从而能够提高分类的可靠性。

这些整体子分类器每一个均包括支持向量机和判定部。也就是说，风景场景分类器61包括风景场景支持向量机61a和风景场景判定部61b，而夕景分类器62包括夕景支持向量机62a和夕景判定部62b。夜景分类器63包括夜景支持向量机63a和夜景判定部63b，花朵场景分类器64包括花朵场景支持向量机64a和花朵场景判定部64b，并且秋日场景分类器65包括秋日场景支持向量机65a和秋日场景判定部65b。

支持向量机

以下是对支持向量机(风景场景支持向量机61a至秋日场景支持向量机65a)的解释。支持向量机对应于概率信息获得部，并且基于指示了要分类的图像的特征的特征量，来获得对要分类的对象属于特定类别的概率是大或小的概率信息进行指示。这里，概率信息是与图像属于给定类别的概率相关联的信息。也就是说，如果确定了概率信息的值，就依据该值确定要分类的对象是否属于特定类别的概率。在该实施例中，支持向量机的输出值(分类函数值)对应于概率信息。

支持向量机的基本形式是线性支持向量机。例如图7所示，线性支持向量机执行通过对以两类训练进行归类而确定的线性分类函数，确定该分类函数以使裕度(也就是说，训练数据中没有支持向量的区域)变为最大。在图7中，白色圆圈是属于特定类别CA1的支持向量，而带阴影的圆圈是属于另一类别CA2的支持向量。在将属于类别CA1的支持向量与属于类别CA2的支持向量分离的分离超平面处，确定该分离超平面的分类函数具有“0”值。可以确定多种分离超平面，但是在线性支持向量机中，确定分类函数以使属于类别CA1的给定支持向量到分离超平面的距离和属于类别CA2的特定支持向量到所述分离超平面的距离变为最大。图7示出了与通过属于类别CA1的支持向量SV11和SV12的直线平行的分离超平面HP1和与通过属于类别CA2的支持向量SV21和SV22的直线平行的分离超平面HP2，作为获得最大裕度的分离超平面的候选。在该示例中，分离超平面HP1的裕度比分离超平面HP2的更大，从而对应于分离超平面HP1的分类函数被确定为线性支持向量机。

现在，线性支持向量机能够以高准确度划分能够被线性分离的样本，但是它们对于不能线性分离的待分类图像的分类准确度却是较低的。应当注意的是，由多功能装置1处理的目标图像对应于不能线性分离的待分类对象。因此，对于这样的待分类对象而言，对特征量进行非线性转换(即，映射到更高维空间)，并且使用在该空间中执行线性分类的非线性支持向量机。利用这样的非线性支持向量机，采用由适当数目的非线性函数定义的新函数，作为用于线性支持向量机的数据。利用这样的非线性支持向量机，在更高维空间中执行线性分类，从而能够以高准确度对非线性函数所划分的样本进行分类。此外，非线性支持向量机使用核函数。通过使用核函数，可以通过核计算而相对容易地确定分类函数，甚至无需执行更高维空间中的复杂计算。

如图8所示，在非线性支持向量机中，分类边界BR变为弯曲的。在该示例中，由正方形表示的点是属于类别CA1的支持向量，而由圆圈表示的点是属于类别CA2的支持向量。用于这些支持向量的训练(分类训练)是由分类函数的参数确定的。在用于训练的支持向量中，接近分类边界BR的支持向量的子集被用于分类。在图8的示例中，在属于类别CA1的多个支持向量中，由黑色正方形表示的支持向量SV13和SV14被用于分类。类似地，在属于类别CA2的多个支持向量中，由黑色圆圈形表示的支持向量SV23至SV26被用于分类。应当注意的是，由白色正方形和白色圆圈表示的其它支持向量被用于训练，但是还达不到影响优化的程度。因此，可以通过使用用于分类的支持向量，来减少在分类期间使用的训练数据(支持向量)量。由此，即使利用有限的训练数据也可以提高所获得的概率信息的准确度。也就是说，实现了数据量减少和处理提速。

如图8所示，在该实施例中，整体特征量被指定为特征量X1和特征量X2。例如，如果特征量X1是整体颜色平均值而特征量X2是整体颜色方差，则采用指示整体颜色平均值的数值作为特征量X1，并且采用指示整体颜色方差的数值作为特征量X2。在本实施例中，整体颜色平均值是在YCC颜色空间中表示的连续值。此外，整体颜色方差是由上述等式(5)获得的连续值。类似地，Exif属性信息也能够被作为整体特征量。例如，快门速度的有关信息能够被作为特征量X1，而闪光灯光信息能够被作为特征量X2。在Exif版本2.1中，称为“APEX”(照相曝光加性系统)的单元系统被用于快门速度信息。在该单元系统中，使用对应于各个快门速度的数值，例如数值“4”对应于1/15秒，而数值“7”则对应于1/125秒。此外，闪光灯光信息给定为离散值，具有指示闪光发出的值(例如值“1”)和指示没有闪光发出的值(例如值“0”)。基于这些特征量X1和X2，支持向量机确定作为待分类对象的图像是否属于类别CA1(例如，风景场景的类别)或另一类别CA2(例如，不同于风景场景的类别)。

整体子分类器(风景场景分类器61至秋日场景分类器65)中每一个均包括这样的非线性支持向量机(即，分类函数)。在每个支持向量机(风景场景支持向量机61a至秋日场景支持向量机65a)中，通过基于不同的支持向量进行训练来，确定分类函数中的参数。由此，能够优化每个整体子分类器的属性，并且可以改善整体分类器30F的分类属性。每个支持向量机输出数值，即，分类函数值，该数值依赖于所输入的样本(图像数据)。该分类函数值指示所输入的样本属于特定类别的程度(概率)。为了利用图8的示例解释这一点，所输入样本具有与类别CA1共有的特征越多，或者换句话说，属于类别CA1的概率越大，由分类函数值采用的正值越大。相反，所输入样本具有与类别CA2共有的特征越多，由分类函数值采用的负值越大。此外，如果所输入样本均匀地共享类别CA1和类别CA2的特征，则计算出数值“0”作为分类函数值。这样，每次输入样本，支持向量机都根据待分类样本属于特定类别(预定类别)的程度来计算分类函数值。因此，该分类函数值对应于概率信息。此外，由支持向量机所确定的概率信息存储在存储器37的概率信息存储部37f中。

判定部

以下是对判定部(风景场景判定部61b至秋日场景判定部65b)的解释。基于利用支持向量机所获得的分类函数值(概率信息)，这些判定部确定目标图像是否属于对应的场景。每个判定部基于以上所提及的概率阈值进行判定。也就是说，如果基于由对应支持向量机获得的分类函数值的概率等于或大于由概率阈值指示的概率，则每个判定部确定目标图像属于相应的场景。利用这样的概率阈值进行确定的原因是为了提高处理速度，同时保持判定的准确度。如果使用概率执行场景的归类，则通常对于所有可能的场景，获得图像属于该场景的概率，并且根据这些概率中的最大值来对所述图像进行归类。利用该方法，有必要获得针对所有场景的概率，从而处理量变大并且处理速度趋向变慢。关于这个方面，该实施例的判定部能够基于特定场景的概率信息来判定目标图像是否被归类为该特定场景，从而实现了处理的简化。也就是说，可以利用分类函数值(概率信息)和概率阈值的简单比较来对此进行处理。此外，可以依据概率阈值的设置来设定错误判定的程度，从而可以容易地调整处理速度和判定准确度之间的平衡。

如图9所示，作为对由判定部进行的判定的准确度进行指示的手段，使用回现率和精度(正确答案的比率)。这里，回现率是确定为属于特定场景的图像与必须确定为属于特定场景的目标图像的比例。也就是说，回现率是确定为属于特定场景的图像的数目与由确定部处理的该特定场景的图像总数的比例。为了给出特定示例，如果利用风景场景分类器61划分属于风景场景类别的多个图像，回现率对应于实际被划分为属于风景场景类别的图像的比例。因此，可以通过确保属于该场景的概率略低的样本也被确定为属于该类别，来增加回现率。精度指示在已经由判定部确定为属于对应的风景类别的图像中，进行的判定正确的图像所占的比例。也就是说，精度是对于其进行了正确判定的图像的数目与已被判定部确定为属于所处理的场景的图像的总数的比例。为了给出特定示例，精度对应于由风景场景分类器61划分为属于风景场景的多个目标图像中实际属于风景场景类别的目标图像所占的比例。因此，能够通过确保具有属于风景场景的较高概率的样本被选择性地确定为属于该风景场景，来提高精度。

图10至14是示出了由各个整体子分类器获得的分类函数值(整体子分类器的计算结果)和回现率之间的关系以及分类函数值和精度之间的关系的图。在这些图中，图10示出了风景场景分类器61的关系，而图11示出了夕景分类器62的关系。类似地，图12示出了夜景分类器63的关系，而图13示出了花朵场景分类器64的关系，而图14示出了秋日场景分类器65的关系。在这些图中，横轴标记由包括各个整体子分类器的支持向量机所获得的分类函数值，而纵轴标记回现率和精度。从这些图将会理解的是，回现率和精度彼此是逆反关系。如以上所提及的，为了提高回现率，即使在目标图像属于该场景的概率略低时，也应当确保该目标图像(样本)被划分为属于特定场景。然而，在这种情况下，不属于该场景的目标图像被划分为属于该场景的概率也增大了。结果，精度就会降低。相反，为了提高精度，应当确保属于该场景类别的概率较高的目标图像被选择性地划分为属于该场景。然而，在这种情况下，属于该场景的目标图像被划分为不属于该场景的概率也增大了。结果，回现率就会降低。

概率阈值

采用精度(正确答案的比率)作为标准，来确定整体分类器30F的概率阈值。这是因为，即使可能存在一些错误结果，但是随后会由局部图像分类器30G和统一分类器30H执行分类。因此，对于整体分类器30F，重点是在可靠性上，并且有选择地对属于各个场景类别的目标图像进行分类。然而，如果可靠性被设定得过高，能够由整体分类器30F确定场景的目标图像数目会变得非常少。结果，几乎所有的目标图像都由后续阶段的分类器进行分类，将需要大量的时间进行处理。因此，确定概率阈值以使可靠性和处理时间达到平衡。例如，如图15和16所示，如果风景场景分类器61的概率阈值被设定为值“1.72”，并且由风景场景支持向量机61a所获得的分类函数值为大于值“1.72”的值，则目标图像被确定为风景场景。如图17所示，通过将概率阈值设定为值“1.72”，精度变为约“0.97”。因此，如果图像为风景场景的概率处于范围“0.97”到“1.00”，则目标图像被划分(确定)为风景图像。这样的概率阈值给出了目标图像属于由整体子分类器处理的场景(类别)的肯定判定。因此，在接下来的解释中，用于产生这样的肯定判定的该概率阈值也被称为“肯定阈值”。

比较图10至14能够看到，分类函数值和回现率之间的关系以及分类函数值与精度之间的关系是根据对应的整体子分类器而不同的。即使对于相同类别的整体子分类器而言，也是根据训练数据(用于训练的支持向量)而不同的。此外，肯定阈值依据整体子分类器的类别、训练数据和用于确定场景(类别)的概率范围而设定。如图16所示，该实施例中的肯定阈值对于夕景分类器62是“2.99”，对于夜景分类器63是“1.14”，对于花朵场景分类器64是“1.43”，而对于秋日场景分类器65是“0.54”。

如以上所提到的，利用各个支持向量机所获得的分类函数值(计算结果)对应于概率信息，如上所述，概率信息指示图像属于该场景的概率是大或小。图像属于该场景的概率较小意味着其不属于该场景的概率较大。因此，可以基于利用支持向量机所获得的分类函数值来划分图像不属于该场景。例如，如果利用支持向量机所获得的分类函数值是比划分图像不属于该类别的概率阈值小的数值，则可以将目标图像划分为不属于该场景。这样的概率阈值能够进行目标图像不属于该整体子分类器所处理的场景的否定判定。因此，在以下解释中，用于进行这样的否定判定的概率阈值也被称作“否定阈值”。如果能够划分目标图像不属于特定场景，则后续阶段的分类器无需执行对于相同场景的分类，从而简化并加速了处理。

图18示出了已被正确地排除为不是风景场景的图像的回现率(真否定回现率)和已被风景场景分类器61错误地排除的风景图像的回现率(假否定回现率)的示例。在图18的示例中，否定阈值被设定为“-2”。在这种情况下，被错误排除的图像的回现率几乎为“0”。因此，风景图像被错误排除的概率实质上为零。然而，被正确排除的图像的回现率约为“0.13”。因此，只可以排除风景图像之外的图像的大约13％。让我们现在考虑否定阈值被设定为“-1”的情况。在这种情况下，错误排除的图像的回现率约为“0.03”。因此，风景图像被错误排除的回现率被保持在约3％。在另一方面，正确排除的图像的回现率约为“0.53”。因此，约53％不是风景图像的的图像能够被排除。这样，考虑属于该场景类别的目标图像被错误排除的概率和不属于该场景的目标图像被正确排除的概率，来设定否定阈值。如图16所示，该实施例中的否定阈值对于风景场景分类器61为“-1.01”，对于夕景分类器62是“-2.00”，对于夜景分类器63是“-1.27”，对于花朵场景分类器64是“-1.90”，而对于秋日场景分类器65是“-1.84”。

以上解释的否定阈值是特定的整体子分类器用于判定待分类对象不属于由该整体子分类器所处理的类别的概率阈值。这里，让我们考虑特征显著不同的多个类别的情况。在这种情况下，特征显著不同，如果图像属于特定类别的概率高，则其属于另一类别的概率就趋于小。例如，考虑风景场景和夜景的情况。属于风景场景类别的风景图像具有基本色调绿和蓝，而属于夜景的夜晚图像具有基本色调黑。因此，对于具有基本色调绿和蓝的图像而言，它们属于风景场景的概率会高，而属于夜景的概率会低。而对于具有基本色调黑的图像而言，它们属于夜景的概率会高，而它们属于风景场景的概率会低。因此，能够看到，基于支持向量机所获得的分类函数值，可以划分出目标图像不属于该整体子分类器所处理的场景之外的场景。例如，如果利用支持向量机所获得的分类函数值大于划分目标图像不属于另一场景的概率阈值，则能够划分所述目标图像不属于另一场景。这样的概率阈值使得能够进行目标图像不属于该整体子分类器所处理的场景之外的场景(即，属于另一整体子分类器所处理的另一场景类别)的否定判定。因此，在以下解释中，用于进行这样的否定判定的概率阈值也被称作“其它否定阈值”(其它概率阈值)。

图19的示例示出了在图像已被判定为属于风景场景类别的情况下根据风景场景支持向量机61a的回现率，在图像已被判定属于花朵场景类别的情况下的回现率，以及在图像已被判定属于夜景类别的情况下的回现率。例如，对于夜景，设定值“-0.5”作为其它否定阈值，并且如果利用风景场景支持向量机61a所获得的分类函数值大于该其它阈值，则目标图像被划分为不属于夜景类别。在这种情况下，对应的回现率约为“0.03”。因此，夜晚图像被错误划分为不属于夜景的概率被保持在3％。在另一方面，能够将利用风景场景支持向量机61a所获得的分类函数值大于“-0.5”的目标图像划分为不属于夜景类别。结果，能够省略利用夜景分类器63的处理，并且能够加快分类处理。应当注意的是，如图15所示，对于整体分类器30F，在风景场景分类器61中，夕景的否定阈值被设定为“1.70”，夜景的否定阈值被设定为“-0.44”，花朵场景的否定阈值被设定为“1.83”，而秋日场景的否定阈值被设定为“1.05”。这样，如果利用风景场景支持向量机61a所获得的分类函数值大于“-0.44”但是不大于“1.72”，则不能确定风景场景，但是其被划分为不是夜景。并且，如果利用风景场景支持向量机61a所获得的分类函数值大于“1.05”但是不大于“1.72”，则不能够确定风景场景，但是其被划分为既不是秋日场景也不是夜景。类似地，如果利用风景场景支持向量机61a所获得的分类函数值大于“1.70”但是不大于“1.72”，则不能确定风景场景，但是其被划分为既不是夕景、秋日场景也不是夜景。

对于其它整体子分类器，同样地设置这样的否定阈值。例如，如图16所示，在夕景分类器62中，风景场景的否定阈值被设定为值“-0.75”，夜景的否定阈值被设定为值“-0.61”，花朵场景的否定阈值被设定为值“-0.66”，而秋日场景的否定阈值被设定为值“-0.62”。此外，在夜景分类器63中，风景场景的否定阈值被设定为值“-0.73”，夕景的否定阈值被设定为值“1.30”，花朵场景的否定阈值被设定为值“-0.57”，而秋日场景的否定阈值被设定为值“-0.64”。虽然省略了详细解释，但是在花朵场景分类器64和秋日场景分类器65中以类似的方式设定其它否定阈值。由此，基于给定整体子分类器的支持向量机所获得的分类函数值，可以对于其它场景(类别)执行分类，从而能够更为有效的进行处理。应当注意的是，以下进一步解释整体分类器30F的处理流程。

局部图像分类器30G

局部图像分类器30G包括若干个子分类器(以下也被简称为“局部子分类器”)，子分类器的数目对应于能够被分类的场景的数目。局部子分类器基于局部特征量，划分目标图像是否属于特定场景类别。也就是说，局部子分类器基于每个局部图像的特征(图像的每个部分的特征)，执行分类。局部子分类器还划分目标图像不属于特定场景。如果局部子分类器已经确定目标图像属于特定场景，则在肯定标志存储部37h的对应区域存储肯定标志。如果局部子分类器已经确定目标图像不属于特定场景，则在否定标志存储部37i的对应区域存储否定标志。

应当注意的是，在该实施例的局部图像分类器30G中，局部子分类器在获得分类函数值时，除了使用局部特征量之外还使用整体特征量。也就是说，在对局部图像进行分类时，局部子分类器除了考虑局部图像的特征之外，还考虑目标图像的整体特征。这是为了提高局部图像的分类准确度(这在下面进一步解释)。

如图5所示，局部图像分类器30G包括作为局部子分类器的夕景局部分类器71、花朵场景局部分类器72和秋日场景局部分类器73。夕景局部分类器71划分目标图像是否属于夜景类别。花朵场景局部分类器72划分目标图像是否属于花朵场景类别。秋日场景局部分类器73划分目标图像是否属于秋日场景类别。能够由整体图像分类器30F划分的场景类别的数目与能够由局部图像分类器30G划分的场景类别的数目相比，能够由局部图像分类器30G划分的场景类别的数目较少。这是因为局部图像分类器30G的目的是为了对整体分类器30F进行补充。局部图像分类器30G主要执行对难以利用整体分类器30F准确分类的图像的分类。因此，对于能够利用整体分类器30F获得充分准确度的分类对象，不提供局部子分类器。通过采用这种配置，能够简化局部图像分类器30G的配置。这里，局部图像分类器30G由主控制器31进行配置，从而其配置的简化意味着由CPU 36执行的操作程序的大小和/或所必需的数据量的减少。通过简化配置，能够减少所需的存储容量，并且能够加速处理。此外，将整体子分类器与局部子分类器进行比较，局部子分类器趋向于具有较大的处理量。这是由于它们对于多个局部图像的每一个都执行分类。在局部图像分类器30G中，局部子分类器的类别数目小于整体子分类器的类别数目，从而可以更有效的执行处理。

接下来，考虑适合利用局部图像分类器30G进行分类的图像。首先，考虑花朵场景和秋日场景。在这两个场景中，场景的特征趋向于局部出现。例如，在花圃或花园的图像中，多个花朵趋于聚集在图像的特定部分。在这种情况下，花朵场景的特征出现在多个花朵聚集的位置，而接近于风景场景的特征出现在其它部分。这对于秋日场景是相同的。也就是说，如果捕获到山坡部分上的落叶，则落叶聚集在图像的特定部分。同样在这种情况下，秋日场景的特征出现在山坡的一个部分，而风景场景的特征出现在其它部分。因此，通过使用花朵场景局部分类器72和秋日场景局部分类器73作为局部子分类器，即使对于花朵场景和秋日场景，也能够改善分类属性，而这对于利用整体分类器30F进行分类是困难的。也就是说，对于每个局部图像执行分类，从而即使图像中诸如花朵或落叶之类的实质对象的特征仅出现在图像的一部分中，也可以增加所述实质图像出现在局部图像内的比率。由此，能够执行高准确度的分类。接下来，考虑夕景。同样在夕景中，夕景的特征也会局部出现。例如，考虑捕获了落下地平线的夕阳的图像，以及紧接在完全日落之前捕获的图像。在该图像中，日落场景的特征出现在夕阳落下的部分，而夜景的特征出现在其它部分。因此，通过使用夕景局部分类器71作为局部子分类器，即使对于难以利用整体分类器30F进行分类的夕景，也能够改善分类属性。

在局部图像分类器30G中，像利用整体子分类器进行分类那样，利用局部子分类器所进行的分类是一个接一个连续执行的。对于该局部图像分类器30G，首先利用夕景局部分类器71划分目标图像是否属于夕景。接着，如果确定其不属于夕景，则利用花朵场景局部分类器72划分目标图像是否属于花朵场景。此外，如果确定其不属于花朵场景，则利用秋日场景局部分类器73划分目标图像是否属于秋日场景。也就是说，如果给定的局部子分类器(第一局部子分类器)没有将目标图像划分为属于对应的特定场景(第一类别)，则局部图像分类器30G利用另一局部子分类器(第二局部子分类器)划分该目标图像是否属于另一特定场景(第二类别)。这样，可以提高分类可靠性，原因在于该配置是利用每个局部子分类器独立地执行分类。

局部子分类器均包括局部支持向量机和检测计数器。也就是说，夕景局部分类器71包括夕景局部支持向量机71a和夕景检测计数器71b，花朵场景局部分类器72包括花朵场景局部支持向量机72a和花朵场景检测计数器72b，而秋日场景局部分类器73包括秋日场景局部支持向量机73a和秋日场景检测计数器73b。

局部支持向量机(夕景局部支持向量机71a至秋日场景局部支持向量机73a)与整体子分类器的支持向量机(风景场景支持向量机61a至秋日场景支持向量机65a)类似。局部支持向量机与整体子分类器的支持向量机的不同在于，它们的训练数据是局部数据。因此，局部支持向量机基于指示了待分类的各个部分的特征的局部特征量，来执行计算。应当注意的是，本实施例中的局部支持向量机除考虑局部特征量之外，还考虑整体特征量，来执行计算。

待分类的部分具有的给定待划分类别的特征越多，计算结果的值(即，分类函数值)越大。相反，该部分具有的另一非待划分类别的特征越多，计算结果的值越小。应当注意的是，如果该部分具有相等数量的给定类别的特征和其它类别的特征，则利用局部支持向量机获得的分类函数值变为“0”。因此，对于利用局部支持向量机获得的分类函数值具有正值的(目标图像的)部分而言，由局部支持向量机所处理的场景比其它场景包含更多的特征。这样，利用局部支持向量机所获得的分类函数值对应于指示该部分属于特定类别的概率的概率信息。

检测计数器(夕景检测计数器71b至秋日场景检测计数器73b)对利用局部支持向量机获得的分类函数值为正的部分的数目进行计数。换句话说，它们对在其中对应场景的特征比其它场景的特征更强的局部图像的数目进行计数。这些检测计数器构成了判断局部目标图像属于对应类别的判断部的一部分。也就是说，如果检测计数器的计数值已经超出了判断阈值，则主控制器31的CPU36基于检测计数器的计数值和判断阈值，判断局部目标图像属于对应的类别。因此，该判断部可以说是由主控制器31所构成的。此外，该判断阈值提供了目标图像属于局部子分类器所处理的场景的肯定判断。因此，在以下解释中，用于提供该肯定判断的判断阈值也被称为“肯定计数值”。对于每个局部子分类器，确定肯定计数值。在该实施例中，如图16所示，对于夕景局部分类器71确定值“5”，对于花朵场景局部分类器72确定值“9”，对于秋日场景局部分类器73确定值“6”，以作为肯定计数值(判断阈值)。

如果待分类对象的局部类别已知，则还可以基于该类别来判断其它类别。例如，如果待分类对象包含属于给定类别的部分，则能够判断该待分类对象不属于特征与该类别显著不同的另一类别。例如，如果在目标图像的分类期间有被确定为属于花朵场景的局部图像，则能够判断该目标图像不属于其特征与花朵场景非常不同的夜景。因此，如果检测计数器的计数值超出了另一判断阈值，则局部子分类器基于检测计数器的计数值和其它判断阈值，判断目标图像不属于对应类别。

该其它判断阈值能够进行目标图像不属于特定场景的否定判断，该特定场景与局部子分类器所处理的场景不同。因此，用于提供这样的否定判断的其它判断阈值在后面的解释中也被称作“否定计数值”。与肯定计数值类似，对于否定计数值而言，也对于每个局部子分类器设定值。在该实施例中，如图16所示，在夕景局部分类器71中，设置值“1”作为风景场景的否定计数值，并且设定值“2”作为夜景的否定计数值。此外，值“1”被设定作为花朵场景的否定计数值，并且值“1”还被设定作为秋日场景的否定计数值。虽然省略了详细解释，但是也以相似的方式对夕景局部分类器71和秋日场景局部分类器73设定否定计数值。应当注意的是，还对由局部子分类器所划分的场景之外的场景设定否定计数值。在图16的示例中，设定了风景场景和夜景的否定计数值。这样，通过还对其它场景设定否定计数值，可能提高判断条件并改善分类属性。

如以上所提到的，局部支持向量机除了考虑局部特征量之外，还考虑整体特征量，来执行计算。以下是对这方面的解释。局部图像比整体图像包含的信息少。因此，类别的划分困难。例如，如果给定的局部图像具有对于给定场景和另一场景都相同的特征，则分类就变得困难。让我们假设局部图像是具有强烈红色调的图像。在这种情况下，可能难以单独利用局部特征量来划分所述局部图像是否属于夕景或者其是否属于秋日场景。在这种情况下，可以通过考虑整体特征量来划分该局部图像所属的场景。例如，如果整体特征量指示图像主要为黑色，则具有强烈红色调的局部图像属于夜景的概率高。如果整体特征量指示图像主要为绿或蓝，则具有强烈红色调的局部图像属于秋日场景的概率高。这样，能够通过在执行计算时考虑整体特征量，而提高局部支持向量机的分类准确度。

统一分类器30H

如以上所提及的，统一分类器30H对于场景既不能利用整体分类器30F也不能利用局部图像分类器30G确定的目标图像的场景进行分类。本实施例的统一分类器30H基于整体分类器(支持向量机)所确定的概率信息，对场景进行分类。更具体地，统一分类器30H有选择地从存储在存储器37的概率信息存储部37f中的多组概率信息中读出正值的概率信息。接着，指定已被读出的多组概率信息中具有最大值的概率信息，并且取对应的场景作为目标图像的场景。例如，如果有选择地读出风景场景和秋日场景的概率信息，并且如果风景场景的概率信息具有数值“1.25”而秋日场景的概率信息具有数值“1.10”，则统一分类器30H将目标图像划分为风景场景。如果没有一组概率信息具有正值，则统一分类器30H将目标图像划分为属于其它场景。通过提供这样的统一分类器30H，即使在图像所属的场景的特征在目标图像中没有明显出现时，也能划分适当的场景。也就是说，可能改善分类属性。

结果存储部37j

结果存储部37j存储已经由分类处理部30I确定的待分类对象的分类结果。例如，基于整体分类器30F和局部图像分类器30G的分类结果，如果在肯定标志存储部37h中存储了肯定标志，则存储待分类对象属于对应于该肯定标志的类别的信息。如果设置了指示目标图像属于风景场景的肯定标志，则存储指示该目标图像属于风景场景的结果信息。类似地，如果设置指示了目标图像属于夜景的肯定标志，则存储指示该目标图像属于夜景的结果信息。应当注意的是，对于已经对所有场景都存储了否定标志的目标图像而言，存储指示该目标图像属于另一场景的结果信息。后续过程对存储在结果存储部37j中的分类结果(结果信息)进行查找。在多功能装置1中，图像增强部30C(见图3)查找分类结果并使用该分类结果来进行图像增强。例如，如图20所示，能够依据所分类场景，对对比度、亮度、颜色平衡等进行调整。

图像分类过程

以下是对由主控制器31执行的图像分类过程的解释。通过执行该图像分类过程，主控制器31作为人脸检测部30A和场景分类部30B(特征量获得部30E、整体分类器30F、局部图像分类器30G、统一分类器30H和结果存储部30j)。此外，由主控制器31执行的计算机程序包括用于实现所述图像分类过程的代码。

如图21所示，主控制器31读入待处理图像的数据，并且判断其是否包含人脸图像(S21)。能够通过各种方法判断人脸图像的存在。例如，主控制器31能够基于其标准颜色为肤色的区域存在并且在该区域内存在眼睛图像和嘴部图像，来确定存在人脸图像。在本实施例中，假设对至少特定面积(例如，至少20×20像素)的人脸图像进行检测。如果判断存在人脸图像，则主控制器31获得目标图像中人脸图像的面积所占的比例，并且判断该比例是否超出预定的阈值(S22)。例如，判断人脸图像的面积所占的比例是否超过30％。接着，如果超出了预定的阈值，则主控制器将目标图像划分为肖像场景。如果没有超出预定的阈值，则主控制器31将目标图像划分为纪念照片的场景。该分类结果存储在结果存储部37j中。

如果目标图像不包含人脸图像，则主控制器31执行获得特征量的过程(S23)。在获得特征量的过程中，基于目标图像的数据，获得特征量。也就是说，获得指示目标图像整体特征的整体特征量和指示目标图像局部特征的局部特征量。应当注意的是，以上已经解释了这些特征量的获得(见图6，S11至S15)，因此省略进一步的解释。接着，主控制器31将所获得的特征量存储在存储器37的特征量存储部37e中。

在已经获得了特征量时，主控制器31执行场景分类过程(S24)。在该场景分类过程中，主控制器31首先作为整体分类器30F并执行整体分类过程(S24a)。在该整体分类过程中，基于整体特征量执行分类。接着，在能够通过整体分类过程对目标图像进行分类时，主控制器31将目标图像的场景确定为所分类的场景(S24b中，是)。例如，确定图像是已经在整体分类过程中存储了肯定标志所针对的场景。接着，在结果存储部37j中存储分类结果。应当注意的是，稍后将解释整体分类过程的细节。如果在整体分类过程中未确定场景，则主控制器31作为局部图像分类器30G并执行局部图像分类过程(S24c)。在该局部图像分类过程中，基于局部特征量执行分类。接着，如果能够通过局部图像分类过程对目标图像进行分类，主控制器31将目标图像的场景确定为所分类的场景(S24d中，是)，并且在结果存储部37j中存储分类结果。应当注意的是，稍后将解释局部图像分类过程的细节。如果通过局部图像分类器30G未确定场景，则主控制器31作为统一分类器30H并执行统一分类过程(S24e)。如以上所解释的，在该统一分类过程中，主控制器31从概率信息存储部37f读出具有正值的概率信息，并且将图像确定为与具有最大值的概率信息相对应的场景。接着，如果能够通过统一分类过程对目标图像进行分类，主控制器31将目标图像的场景确定为所分类的场景(S24f中，是)。在另一方面，如果还不能通过统一分类过程对目标图像进行分类，并且已针对所有场景存储了否定标志，则目标图像被划分为另一场景(S24f中，否)。应当注意的是，在统一分类过程中，作为统一分类器30H的主控制器31首先判断是否对所有场景都存储了否定标志。接着，如果其判断对所有场景都存储了否定标志，则基于该判断将图像划分为另一场景。在这种情况下，能够仅通过确认否定标志来执行该过程，从而能够加速处理。

整体分类过程

以下是对整体分类过程的解释。如图22所示，主控制器31首先选择整体子分类器来执行分类(S31)。如图5所示，在该整体分类器30F中，风景场景分类器61、夕景分类器62、夜景分类器63、花朵场景分类器64和秋日场景分类器65是以该顺序进行优先级排序的。因此，在初始选择过程中选择具有最高优先级的风景场景分类器61。接着，在利用风景场景分类器61所进行的分类结束时，选择具有第二高优先级的夕景分类器62。这对于其它整体子分类器是类似的。也就是说，在夕景分类器62之后，选择具有第三高优先级的夜景分类器63，在夜景分类器63之后，选择具有第四高优先级的花朵场景分类器64，并且在花朵场景分类器64之后，选择具有最低优先级的秋日场景分类器65。

在已经选择了整体子分类器时，主控制器31判断是否对由所选整体子分类器划分的场景进行分类过程(S32)。该判断是基于肯定标志和否定标志而执行的。也就是说，如果已经针对给定场景存储了肯定标志，则目标图像被确定为对应于该肯定标志的场景。因此，无需对于其它场景进行分类。因此，能够从分类过程中排除其它场景。类似地，如果已经针对给定场景设置了否定标志，则不针对对应于该否定标志的场景进行目标图像的分类。因此，还能够从分类过程中排除对应于否定标志的场景。假设在利用风景场景分类器61进行分类的期间，已经针对风景场景存储了肯定标志。在这种情况下，无需利用剩余的分类器执行分类。因此，判断不对该场景进行处理(S32中，否)，并且跳过分类过程。现在假设在利用风景场景分类器61分类期间，已经针对夜景存储了否定标志。在这种情况下，无需利用夜景分类器63执行分类。因此，在利用夕景分类器62进行分类过程结束之后，判断不对该场景进行处理(S32中，否)，并且跳过分类过程。通过采用这样的配置，去除了不必要的分类处理，从而能够加速处理。

在另一方面，如果在步骤S32中判断要对场景进行处理，则执行利用支持向量机进行的计算。换句话说，基于整体特征量来获得概率信息。在这种情形下，主控制器31作为对应于被处理场景的整体子分类器，并且通过基于整体颜色平均值、整体颜色方差、矩以及附加Exif信息而进行的计算，获得用作概率信息的分类函数值。

在已经获得了分类函数值时，判断肯定判断的条件是否成立(S34)。也就是说，主控制器31判断用于确定目标图像为特定场景的条件是否成立。在该示例中，这是通过将分类函数值与肯定阈值进行比较而判断的。例如，如图15所示，如果风景场景分类器61中的分类函数值超过值“1.72”，则将对应于风景场景的肯定标志存储在肯定标志存储部37h中(S35)。并且如图16所示，如果夕景分类器62中的分类函数值超过值“2.99”，则将对应于夕景的肯定标志存储在肯定标志存储部37h中。

如果肯定条件还不成立，则判断否定条件是否成立(S36)。也就是说，主控制器31判断用于确定目标图像不属于给定场景的条件是否成立。在该示例中，这是通过将分类函数值与否定阈值进行比较而判断的。例如，如图15和16所示，如果风景场景分类器61中的分类函数值小于值“-1.01”，则将对应于风景场景的否定标志存储在否定标志存储部37i中(S37)。此外，如果分类函数值大于“1.70”，则存储对应于夕景的否定标志，如果分类函数值大于“1.05”，则存储对应于秋日场景的否定标志，并且如果分类函数值大于“-0.44”，则存储对应于夜景的否定标志。应当注意的是，花朵场景的否定阈值被设定为“1.83”，其大于风景场景的否定阈值。由于利用肯定阈值进行的判断比利用否定阈值进行的判断更加优先，所以风景场景分类器61不存储对应于花朵场景的否定标志。虽然没有进行进一步的详细解释，但是还以类似方式针对其它子分类器进行利用否定阈值的判断。

在存储了肯定标志(S35)或否定标志(S37)后，或在已经判断否定条件不成立(S36中，否)之后，判断是否还有其它整体子分类器(S38)。这里，主控制器31判断直到具有最低优先权的秋日场景分类器65的处理是否已经结束。接着，如果直到秋日场景分类器65的处理已经结束，则判断没有其它分类器，并且结束整体分类过程的序列。在另一方面，如果直到秋日场景分类器65的处理还没有结束，则选择具有下一个最高优先权的整体子分类器(S31)并重复上述过程。

局部图像分类过程

以下是对局部图像分类过程的解释。如图23所示，主控制器31首先选择局部子分类器来执行分类(S41)。如图5所示，在该局部图像分类器30G中，夕景局部分类器71、花朵场景局部分类器72和秋日场景局部分类器73是以该顺序进行优先级排序的。因此，在初始选择过程中，选择具有最高优先级的夕景局部分类器71。接着，在利用夕景局部分类器71进行分类结束时，选择具有第二高优先级的花朵场景局部分类器72，并且在花朵场景局部分类器72之后，选择具有最低优先级的秋日场景局部分类器73。

在已经选择了局部子分类器时，主控制器31判断是否对由所选择的局部子分类器所划分的场景进行分类处理(S42)。如同整体分类器30F一样，该判断是基于肯定标志和否定标志而执行的。这里，对于肯定标志而言，通过局部子分类器所进行的分类而存储的标志被用于该判断，而通过整体分类器所进行的分类而存储的标志不被用于该判断。这是因为在利用整体子分类器设定肯定标志时，场景由整体分类过程确定，而不执行局部图像分类过程。在另一方面，对于否定标志而言，通过局部子分类器所进行的分类和整体分类器所进行的分类而存储的标志被用于该判断。而且在局部图像分类过程中，如果判断不对场景进行处理，则跳过分类过程(S42中，否)。因此，去除了不必要的分类处理，从而能够加速处理。

在另一方面，如果在步骤S42判断对所述场景进行处理，则利用局部支持向量机执行计算(S43)。换句话说，基于局部特征量，获得局部图像的概率信息。在这种情形下，主控制器31作为对应于被处理场景的局部子分类器，并且通过基于局部颜色平均值和局部颜色方差的计算，来获得用作概率信息的分类函数值。接着，如果所获得的分类函数值是正值，则对应的检测计数器递增(+1)如果所述分类函数值不是正值，则检测计数器的计数值保持不变。应当注意的是，在处理新的目标图像(新的目标图像数据)时，检测计数器的计数值被重置。

在获得局部图像的概率信息并且已经执行了计数器处理时，判断肯定判断的条件是否成立(S44)。也就是说，主控制器31判断用于判定目标图像是被处理的场景的条件是否成立。在该示例中，通过将检测计数器的计数值与肯定计数值进行比较，来进行判断。例如，如图16所示，如果夕景局部分类器71中的计数值超出值“5”，则在肯定标志存储部37h中存储对应于夕景的肯定标志(S45)。如果花朵场景局部分类器72中的计数值超出值“9”，则在肯定标志存储部37h中存储对应于花朵场景的肯定标志。

如果肯定条件还不成立，则判断否定条件是否成立(S46)。也就是说，主控制器31判断用于确定目标图像不属于给定场景的条件是否成立。在该示例中，通过将检测计数器的计数值与否定计数值进行比较，来进行判断。例如，如图16所示，如果夕景局部分类器71中的计数值超过值“1”，则在否定标志存储部37i中存储对应于风景场景的否定标志(S47)。此外，如果计数值超过值“2”，则存储对应于夜景的否定标志。应当注意的是，这对于其它场景和其它局部子分类器是类似的。

如果否定条件还不成立(S46中，否)，则判断已经处理的局部图像的数目是否超过预定数目(S48)。这里，如果还未超过该预定数目，则过程进行至步骤S43并重复上述处理。在另一方面，如果超出了该预定数目或者如果已经存储了肯定标志或否定标志(S45，S47)，则判断是否还有其它局部子分类器(S49)。这里，主控制器31判断直到具有最低优先级的秋日场景局部分类器73的处理是否结束。接着，如果直到秋日场景局部分类器73的处理已经结束，其判断没有其它分类器，并且局部分类处理的序列结束。在另一方面，如果直到秋日场景局部分类器73的处理还没有结束，则选择具有下一个最高优先权的局部子分类器(S41)并且重复上述处理。

分类处理部30I的总结

如应当从以上解释所明了的，对于该分类处理部30I，整体分类器30F基于整体特征量来划分目标图像所属的场景，并且局部图像分类器30G基于局部特征量来划分目标图像所属的场景。这样，使用具有不同属性的多种类型的分类器，划分给定目标图像所属的类别，从而能够提高对场景进行分类的准确度。此外，整体分类器30F包括用于划分目标图像是否属于特定场景(预定类别)的多个整体子分类器，整体子分类器的数目对应于能够划分的特定场景类别的数目(预定类别的数目)。这样，能够单独地对于每个整体子分类器进行属性优化，并且能够提高分类准确度。

整体子分类器基于对目标图像属于特定场景的概率是高或低进行指示的概率信息(分类函数值)，执行目标图像的分类。也就是说，如果由概率信息指示的概率处于由概率阈值指定的、能够确定待分类对象属于给定类别的概率范围内，则将目标图像划分为属于该特定类别。这样，能够在保证分类准确度的同时加速处理。也就是说，可以实现较高级别的处理速度和分类准确度。此外，基于概率信息，局部子分类器对于从多组局部图像数据中获得的多个局部特征量中的每一个，单独地划分图像部分是否属于特定场景(预定类别)，并且利用检测计数器来统计被划分为属于特定场景的部分的数目。接着，基于该计数值，划分整体目标图像是否属于特定场景。这样，计数值作为判断的基础，从而能够有效地执行分类处理。

在该分类处理部30I中，使用统一分类器30H对于其场景既不能够利用整体分类器30F也不能够利用局部图像分类器30G进行分类的目标图像执行分类。该统一分类器30H将与指示了对于目标图像的多个场景所获得的概率信息的最高概率的概率信息(分类函数值)相对应的场景划分为目标图像所属的场景。通过提供该统一分类器30H，即使不能够利用整体分类器30F和局部图像分类器30G对图像所属的场景进行分类，也能够利用该统一分类器30H执行分类。因此，能够提高分类准确度。

分类处理部30I的整体分类器30F包括具有不同分类目标的多个整体子分类器。如果能够在较早阶段利用整体子分类器来确定目标图像所属的场景，则不执行后续阶段的整体子分类器进行的分类。也就是说，如果较早阶段的整体子分类器利用其支持向量机获得概率信息，并且如果由该概率信息所指示的概率处于概率阈值指定的、能够确定目标图像属于该场景的概率范围之内，则存储肯定标志。依据所存储的肯定标志，判断后续阶段的整体子分类器不对该目标图像执行分类。在这种情况下，它们的支持向量机不获得概率信息。因此，能够加速场景分类的处理。这里，较早阶段的整体子分类器的支持向量机和后续阶段的整体子分类器的支持向量机使用相同的特征量。这样，共享了获得特征量的过程，从而能够使处理更有效率。

此外，分类处理部30I的整体分类器30F和局部图像分类器30G包括执行相同场景分类的子分类器。在上述实施例中，整体分类器30F的夕景分类器62和局部图像分类器30G的夕景局部分类器71都对夕景进行分类。这对于花朵场景分类器64和花朵场景局部分类器72以及对于秋日场景分类器65和秋日场景局部分类器73是类似的。此外，如果目标图像所属的场景是能够利用整体子分类器(夕景分类器62、花朵场景分类器64和秋日场景分类器65)来确定的，则局部子分类器(夕景局部分类器71、花朵场景局部分类器72和秋日场景局部分类器73)不对目标图像执行分类。这样，加速了场景分类的处理。此外，整体子分类器基于指示目标图像的整体特征的整体特征量，划分图像所属的场景，而局部子分类器基于指示目标图像的局部特征的局部特征量，划分图像所属的场景。这样，使用适合于分类器属性的特征量，能够提高分类的准确度。例如，利用整体子分类器，分类可以考虑到目标图像的整体特征，而利用局部子分类器，分类可以考虑到目标图像的局部特征。

此外，对于整体子分类器，依据由给定整体子分类器的支持向量机获得的概率信息，不执行由其它整体子分类器进行的分类。也就是说，给定的整体子分类器将所获得的概率信息与概率阈值进行比较，并且能够判断目标图像不属于与另一整体子分类器相对应的另一场景。接着，如果已经判断了图像不属于该另一场景，则存储对应于该另一场景的否定标志。基于该否定标志，判断其它整体子分类器不对该目标图像执行分类。利用这种配置，使得处理能够更加有效。此外，将给定的整体子分类器的支持向量机获得的概率信息用于判断对应于给定该整体子分类器的场景以及判断对应于其它整体子分类器的场景。这样，以各种方式利用了概率信息，从而使得处理能够在这方面更为有效。

此外，如果整体分类器30F已经基于整体子分类器获得的概率信息而确定图像不属于任何场景，则局部图像分类器30G不对该目标图像执行分类。因此，能够加速处理。

其它实施例

在上述实施例中，待分类对象是基于图像数据的图像，并且分类装置是多功能装置1。然而，对图像进行分类的分类装置并不局限于多功能装置1。例如，分类装置可以是数字静态摄像机DC、扫描仪或能够执行图像处理的计算机程序(例如，修描软件)的计算机。此外，分类装置还可以是能够基于图像数据而显示图像的图像显示设备或者存储图像数据的图像数据存储设备。此外，待分类对象不局限于图像。也就是说，能够使用多个分类器归类到多个类别的任何对象都能够作为待分类对象。

此外，在以上实施例中，描述了多功能装置1，其划分目标图像的场景，但是这里还公开了类别划分装置、类别划分方法、使用所划分的类别的方法(例如，增强图像的方法、印刷方法和基于场景的喷液方法)、计算机程序以及存储计算机程序或代码的存储介质。

此外，对于分类器，上述实施例解释了支持向量机，但是只要能够对目标图像的类别进行归类，分类器并不局限于支持向量机。例如，还可以使用神经网络或AdaBoost算法作为分类器。

Claims (21)

1.一种类别划分装置，包括：

整体分类器，用于基于从图像数据获得的整体特征量，划分图像所属的类别，所述整体特征量指示由所述图像数据表示的图像的整体特征；以及

局部分类器，用于基于从所述图像数据中包括的局部图像数据获得的局部特征量，划分图像所属的类别，所述局部特征量指示所述图像的各部分的特征。

2.如权利要求1所述的类别划分装置，

其中所述整体分类器包括用于划分所述图像是否属于预定类别的多个整体子分类器，所述整体子分类器的数目对应于所述预定类别的数目。

3.如权利要求2所述的类别划分装置，

其中，如果所述图像没有被第一整体子分类器划分为属于第一类别，则所述整体分类器使与所述第一整体子分类器不同的第二整体子分类器来划分所述图像是否属于与所述第一类别不同的第二类别。

4.如权利要求2所述的类别划分装置，其中

根据用于指示图像属于预定类别的概率是大还是小的概率信息，如果由所述概率信息指示的概率处于由概率阈值指定的、能够确定图像属于预定类别的概率范围之内，

则所述整体子分类器将所述图像划分为属于所述预定类别。

5.如权利要求4所述的类别划分装置，

其中所述整体子分类器中的每一个均包括从所述整体特征量获得所述概率信息的支持向量机。

6.如权利要求2所述的类别划分装置，

其中所述图像数据包括多个像素，所述多个像素包括颜色信息；并且

所述整体子分类器采用从所述颜色信息获得的特征量和附加到所述图像数据的附加信息作为所述整体特征量，来划分图像所属的类别。

7.如权利要求6所述的类别划分装置，

其中所述附加信息是附加Exif信息。

8.如权利要求6所述的类别划分装置，

其中从所述颜色信息获得的特征量包括：

通过对多组颜色信息进行平均而获得的平均颜色信息；

对基于多组颜色信息的方差进行指示的方差信息；以及

对基于多组颜色信息的矩进行指示的矩信息。

9.如权利要求1所述的类别划分装置，

其中，如果利用所述整体分类器无法确定所述图像所属的类别，则由局部分类器划分所述图像所属的类别。

10.如权利要求1所述的类别划分装置，

其中所述局部分类器包括用于划分所述图像是否属于预定类别的多个局部子分类器，所述局部子分类器的数目对应于所述预定类别的数目。

11.如权利要求10所述的类别划分装置，

其中所述整体分类器包括用于划分所述图像是否属于预定类别的多个整体子分类器，所述整体子分类器的数目对应于所述预定类别的数目；以及

所述局部分类器包括用于划分所述图像是否属于预定类别的多个局部子分类器，所述局部子分类器的数目小于能够由所述整体分类器划分的预定类别的数目。

12.如权利要求10所述的类别划分装置，

其中，如果所述图像还未被第一局部子分类器划分为属于第一类别，则所述局部分类器使与所述第一局部子分类器不同的第二局部子分类器来划分所述图像是否属于与所述第一类别不同的第二类别。

13.如权利要求10所述的类别划分装置，

其中所述局部子分类器针对从多组局部图像数据获得的多个局部特征量中的每一个，划分由该局部图像数据表示的部分是否属于预定类别，并且基于已经被划分为属于预定类别的部分的数目，划分所述图像是否属于所述预定类别。

14.如权利要求13所述的类别划分装置，

其中所述局部子分类器基于指示了所述部分属于特定类别的概率是大还是小的概率信息，来划分所述部分是否属于预定类别。

15.如权利要求14所述的类别划分装置，

其中所述局部子分类器中的每一个均包括从局部特征量获得概率信息的支持向量机。

16.如权利要求10所述的类别划分装置，

其中所述局部图像数据包括多个像素，所述多个像素包括颜色信息，并且

所述局部子分类器采用从所述颜色信息获得的特征量作为局部特征量，来划分所述图像所属的类别。

17.如权利要求16所述的类别划分装置，

其中从颜色信息获得的特征量包括：

通过对多组颜色信息进行平均而获得的平均颜色信息；以及

对基于多组颜色信息的方差进行指示的方差信息。

18.如权利要求1所述的类别划分装置，包括：

统一分类器，用于

针对既不能由所述整体分类器也不能由所述局部分类器划分类别的图像，划分所述图像所属的类别；以及

划分具有概率信息的预定类别，作为所述图像所属的类别，所述概率信息指示所述预定类别的概率是针对多个预定类别中的每一个所获得的概率信息中最高的。

19.如权利要求1所述的类别划分装置，包括从图像数据获得所述整体特征量和所述局部特征量的特征量获得部。

20.一种类别划分方法，包括：

基于从图像数据获得的整体特征量，划分图像所述的类别，所述整体特征量指示由所述图像数据表示的图像的整体特征；以及

基于从所述图像数据中包括的局部图像数据获得的局部特征量，划分所述图像所属的类别，所述局部特征量指示所述图像的各部分的特征。

21.一种存储有程序的存储介质，所述程序用于对图像所属的类别进行划分的类别划分装置，所述存储介质存储的程序使所述类别划分装置

基于从图像数据获得的整体特征量，划分图像所属的类别，所述整体特征量指示由所述图像数据表示的图像的整体特征；以及

基于从所述图像数据中包括的局部图像数据获得的局部特征量，划分所述图像所属的类别，所述局部特征量指示所述图像的各部分的特征。

Images