CN102725756B - 图像分类装置、方法、程序、记录程序的记录介质及集成电路 - Google Patents

Abstract

以由多张图像构成的图像组为单位，计算表示该图像组的特征的图像组特征信息，基于计算出的图像组特征信息和表示作为图像组的分类目标的事件的特征的信息，以图像组为单位将图像分类为事件。

Description

图像分类装置、方法、程序、记录程序的记录介质及集成电路

技术领域

本发明涉及将图像分类的图像分类装置。

背景技术

数字静止像照相机(still camera)及带有照相机功能的便携电话机等的数字图像摄影设备得到普及，用来对摄影的图像进行记录的硬盘等的记录介质也以低成本提供。

一般而言，数字图像摄影设备等的用户（以下，简称为用户）将摄影的各图像储存在大容量的硬盘等的记录介质中。

如果储存的图像为大量，则难以从储存的图像中寻找目的图像，所以有以使用户进行的图像的检索变得容易为目的而将各图像分类为一些类别的情况。

作为将图像分类的技术，例如如专利文献1、专利文献2中记载那样，已知有从1张图像中提取该图像的特征、使用所提取的特征将该图像分类的技术，此外，例如如专利文献3中记载那样，已知有根据图像的摄影时刻的信息将图像分类的技术。

专利文献1：日本专利特许第4232774号公报

专利文献2：日本特开2006-350546号公报

专利文献3：日本特开2001-333352号公报

发明概要

发明要解决的技术问题

另一方面，用户摄影图像的机会例如是郊游或河流钓鱼等的活动的情况较多，此外，用户鉴赏图像的目的是鲜明地想起将图像摄影的活动中的事情的情况较多。

因而，希望将属于如在某个活动中摄影的图像的集合那样相互有关联的图像的集合——即图像组——的图像分类到相同的类别中。

但是，在从1张图像中提取该图像的特征、使用所提取的特征将该图像分类的技术中，在该图像具有与属于包括该图像的图像组的其他图像不同的特征的情况下，有该图像的分类目标(即，分类的结果)成为与属于该图像组的其他图像的分类目标不同的类别的情况。

例如，在分类目标的类别中有郊游的类别和河流钓鱼的类别的情况下，当在由在去郊游时摄影的图像构成的图像组中有摄影了在河边玩的场景的图像时，有仅这个在河边玩的场景的图像被分类到河流钓鱼的类别中、其他图像被分类到郊游的类别中的情况等。

此外，在根据图像的摄影时刻的信息将图像分类的技术中，不能基于摄影时刻以外的图像的特征将图像分类。

发明内容

所以，本发明是鉴于这样的问题而做出的，目的是提供一种能够基于摄影时刻以外的图像的特征将图像分类，以使得属于同一图像组的图像不会被分类为相互不同的类别的图像分类装置。

用于解决技术问题的手段

为了解决上述问题，有关本发明的图像分类装置的特征在于，具备：图像组特征计算部，基于图像特征信息，计算表示图像组的特征的图像组特征信息，该图像特征信息是关于属于1个图像组的图像中的全部图像或一部分的两张以上的图像的、表示图像的特征的信息；以及图像组分类部，基于1个图像组的图像组特征信息、和分类用的基准信息，将该图像组分类为相互不同的多个分类目标中的某个分类目标。

发明效果

具备上述结构的有关本发明的图像分类装置能够根据基于不限于图像的摄影时刻的信息的图像的特征而计算出的图像组特征信息，以图像组为单位将图像分类。

因而，该图像分类装置具有能够基于摄影时刻以外的图像的特征将图像分类，以使得属于同一图像组的图像不会被分类为相互不同的类别的效果。

附图说明

图1是表示图像分类装置100的硬件结构的硬件框图。

图2是表示图像分类装置100的功能结构的功能框图。

图3是表示图像存储部231的目录构造的目录构造图。

图4是存储在图像特征信息存储部232中的图像特征信息的数据结构图。

图5是存储在图像组特征信息存储部233中的图像组特征信息的数据结构图。

图6是存储在事件特征信息存储部234中的事件特征信息的数据结构图。

图7是图像分类装置100进行的图像组分类动作的流程图。

图8是表示属于图像组的图像的图。

图9是存储在图像组特征信息存储部233中的图像组特征信息的数据结构图。

图10是图像分类装置100进行的事件特征信息生成动作的流程图。

图11是存储在图像组特征信息存储部233中的图像组特征信息的数据结构图。

图12是表示图像分类装置1200的功能结构的功能框图。

图13是存储在脸对应表存储部1201中的脸对应表的数据结构图。

图14是存储在图像组特征信息存储部1233中的图像组特征信息的数据结构图。

图15是记录在事件特征信息存储部1234中的事件特征信息的数据结构图。

图16是图像分类装置1200进行的脸对应表生成动作的流程图。

图17是表示属于图像组的图像的图。

图18是图像分类装置1200进行的图像组分类动作的流程图。

图19是表示属于图像组的图像的图。

图20是表示属于图像组的图像的图。

图21是表示属于图像组的图像的图。

图22是表示图像分类装置2200的功能结构的功能框图。

图23是图像分类装置2200进行的聚类动作的流程图。

图24是示意地表示图像分类装置2200进行的聚类动作的图。

图25是事件特征信息的数据结构图。

图26是表示属于图像组的图像的图。

图27是表示图像分类装置2700的功能结构的功能框图。

具体实施方式

<实施方式1>

以下，作为有关本发明的图像分类装置的一实施方式，对以由多张图像构成的图像组为单位，计算表示该图像组的特征的图像组特征信息、基于计算出的图像组特征信息和表示作为图像组的分类目标的事件的特征的信息，以图像组单位将图像分类为相互不同的事件中的某个事件的图像分类装置进行说明。

这里，所谓图像组，是通过由用户指定的多个图像构成的图像的集合，是例如在2009年初夏去六甲山郊游时摄影的图像的集合、或例如在2008年冬天去志贺高原滑雪时摄影的图像的集合等。

此外，这里所谓的事件，表示了具有共同的特征的图像组的内容，例如将由去郊游时摄影的图像构成的图像组的集合分类为郊游的事件，将由去滑雪时摄影的图像构成的图像组的集合分类为滑雪的事件等。

<结构>

<图像分类装置100的硬件结构>

图1是表示图像分类装置100的主要的硬件结构的硬件框图。

图像分类装置100将作为数字照片的图像作为以JPEG（JointPhotographic Experts Group：联合图像专家组）方式编码的数据存储，将存储的图像分类。

图像分类装置100与以数字静止像照相机192为代表的、记录图像的设备经由可拆装的USB线缆195连接，与用来显示图像的显示器193经由监视器线缆196连接，与网络194连接，与受理来自用户的操作命令的遥控器197进行无线通信，对以SD存储卡191等为代表的外部记录介质进行数据的读出和写入。

图像分类装置100由系统LSI（Large Scale Integrated circuit：大规模集成电路）110、硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、和通信装置180构成。

系统LSI110是将CPU101、ROM102、RAM103、硬盘装置接口104、外部记录介质读取写入装置接口105、USB（Universal Serial Bus：通用串行总线）控制装置接口106、输出装置接口107、输入装置接口108、通信装置接口109、解码器111、和总线120综合为1个集成电路的LSI、与硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、通信装置180连接。

CPU101与总线120连接，通过执行存储在ROM102或RAM103中的程序，控制ROM102、RAM103、硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、通信装置180、解码器111，实现各种各样的功能，例如从硬盘装置130将编码的图像数据读出并解码，将解码后的图像数据向显示器193输出的功能等。

ROM与总线120连接，存储有规定CPU101的动作的程序、和CPU利用的数据。

RAM103与总线120连接，将随着CPU101执行程序而产生的数据暂时存储，此外，将从硬盘装置130、外部记录介质读取写入装置140读取的数据或写入的数据、通信装置180接收到的数据或发送的数据等暂时存储。

解码器111是具有对编码的图像数据进行解码的功能的DSP（DigitalSignal Processor：数字信号处理器），与总线120连接，受CPU101控制，具有JPEG解码功能。

硬盘装置接口104连接在硬盘装置130和总线120上，对硬盘装置130与总线120的信号的交换进行中介。

外部记录介质读取写入装置接口105连接在外部记录介质读取写入装置140和总线120上，对外部记录介质读取写入装置140与总线120的信号的交换进行中介。

USB控制装置接口106连接在USB控制装置150和总线120上，对USB控制装置150与总线120的信号的交换进行中介。

输出装置接口107连接在输出装置160和总线120上，对输出装置160与总线120的信号的交换进行中介。

输入装置接口108连接在输入装置170和总线120上，对输入装置170与总线120的信号的交换进行中介。

通信装置接口109连接在通信装置180和总线120上，对通信装置180与总线120的信号的交换进行中介。

硬盘装置130与硬盘装置接口104连接，受CPU101控制，具有向内置的硬盘写入数据的功能和将写入在内置的硬盘中的数据读取的功能。

外部记录介质读取写入装置140与外部记录介质读取写入装置接口105连接，受CPU101控制，具有向外部记录介质写入数据的功能和将写入在外部记录介质中的数据读取的功能。

这里，所谓外部记录介质，是DVD（Digital Versatile Disc：数字多功能盘）、DVD-R、DVD-RAM、BD（Blu-ray Disc：蓝光光盘）、BD-R、BD-RE、SD存储卡191等，外部记录介质读取写入装置140能够进行从这些DVD、BD等的数据的读取、及向DVD-R、BD-R、BD-RE、SD存储卡等的数据的写入和读取。

USB控制装置150与USB控制装置接口106连接，受CPU101控制，具有经由可拆装的USB线缆195向外部设备写入数据的功能和将写入在外部设备中的数据读取的功能。

这里，所谓外部设备，是数字静止像照相机192、个人计算机、带有照相机功能的便携电话机等的将图像存储的设备，USB控制装置150能够经由USB线缆195进行向这些外部设备的数据的写入和读取。

输出装置160连接在输出装置接口107和监视器线缆196上，受CPU101控制，经由监视器线缆196将向显示器193显示的数据输出。

输入装置170与输入装置接口108连接，受CPU10控制，具有受理从遥控器197以无线方式发送的来自用户的操作命令、将所受理的操作命令向CPU101发送的功能。

通信装置180连接在通信装置接口109和网络194上，受CPU10控制，具有经由网络194与外部通信设备进行数据的收发的功能。

这里，所谓网络194，通过光通信线路、电话线路、无线线路等实现，与外部通信设备及因特网等连接。

此外，所谓外部通信设备，是外部硬盘装置等的、存储图像及规定CPU101的动作的程序等的设备，通信装置180能够经由网络194从这些外部通信设备进行数据的读取。

用以上那样的硬件实现的图像分类装置100通过CPU101执行存储在ROM102或RAM103中的程序，并控制ROM102、RAM103、硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、通信装置180、解码器111，实现各种各样的功能。

以下，使用附图说明图像分类装置100的功能结构。

<图像分类装置100的功能结构>

图2是表示图像分类装置100的主要的功能块的结构的功能框图。

图像分类装置100由图像组数据受理部201、图像写入读出部202、图像特征信息写入读出部203、图像组特征信息写入读出部204、图像特征计算部205、图像组特征计算部206、事件特征计算部207、图像组分类部208、事件特征信息写入读出部209、分类结果输出部210、图像组信息受理部211、事件信息受理部212、图像存储部231、图像特征信息存储部232、图像组特征信息存储部233、事件特征信息存储部234构成。

图像特征计算部205还由图像特征计算控制部221、脸特征量提取部222、颜色特征量提取部223、物体特征量提取部224构成。

图像组数据受理部201与图像写入读出部202连接，具有受理由两张以上的图像构成的图像组241的图像的指定、将所指定的图像群作为包含在1个图像组中的图像群读入的功能。

在图像组数据受理部201受理图像的情况下，有经由外部记录介质读取写入装置140从外部记录介质受理图像的情况、经由USB控制装置150从外部设备受理图像的情况、和经由通信装置180从外部通信设备受理图像的情况。

此外，图像组数据受理部201具有在受理图像时赋予用来确定该图像的图像ID的功能。

图像存储部231是用来将作为图像的数字照片作为以JPEG方式编码的图像数据存储的存储区域，作为内置在硬盘装置130中的硬盘的一部分区域实现。

存储在图像存储部231中的各数据在文件系统属下在逻辑上通过目录构造管理。

图3是表示图像存储部231的目录构造的目录构造图。

如该图所示，图像存储部231的目录构造由最高层级310、第1目录层级320、和第2目录层级330的合计3层级构成。

在第1目录层级320中，存在焰火事件目录321、郊游事件目录322、滑雪事件目录323等的多个事件目录和实际数据保管目录324。

这里，所谓事件目录，是具有与作为图像组的分类目标的事件相同的名称的目录，相同名称的目录仅存在1个。

实际数据保管目录324是保持图像的目录，图像的数据仅保持在该实际数据保管目录324中。

在第2目录层级330中，存在Y川焰火大会2004图像组目录331、P公司焰火大会2005图像组目录332、六甲山2009初夏图像组目录等的多个图像组目录。

图像组目录是与由图像组数据受理部201受理的图像群构成的图像组对应的目录，是通过保持表示保持在实际数据保管目录324中的数据中的属于该图像组的全部的图像的数据的地址的信息，成为链接着该图像的数据的状态的目录。

各图像组目录存在于与对应的图像组被分类的事件相对应的事件目录之下。

假如在存在被分类为多个事件的图像组的情况下，存在被分类的事件的数量的、以相同名称链接相同的图像的目录。

再次回到图2，继续图像分类装置100的功能结构的说明。

图像写入读出部202连接在图像特征计算部205、图像特征计算控制部221、和图像组分类部208上，具有将存储在图像存储部231中的图像读出的功能、向图像存储部231写入图像的功能、变更图像存储部231的目录构造的功能、和变更图像数据的链接的功能。

脸特征量提取部222与图像特征计算控制部221连接，保持表示人的脸的特征的预先设定的脸的模型，通过参照所保持的脸的模型，尝试包含在1张图像中的脸的识别，具有计算识别出的脸的个数、和图像整体的面积相对于识别出的脸的区域的面积的面积比率作为脸特征量的功能，和对识别出的识别脸分别顺序地赋予用来确定该识别脸的脸ID的功能。

这里，所谓脸的模型，例如是关于眼、鼻、口等的形成脸的部分的亮度及相对的位置关系的信息等。

颜色特征量提取部223与图像特征计算控制部221连接，具有对于包含在图像中的各像素根据构成该像素的颜色成分、例如Red(红)、Green(绿)、Blue(蓝)的各亮度确定该像素的颜色例如是黑、蓝、绿、白等中的哪个颜色的功能，和对所确定的颜色分别计算包含在图像中的全像素数相对于被确定为该颜色的像素数的比率作为颜色特征量的功能。

这里，作为确定某个像素例如是黑的方法，例如有在该像素的Red的亮度、Green的亮度、和Blue的亮度都不到10%的情况下确定该像素是黑的方法。

物体特征量提取部224与图像特征计算控制部221连接，保持表示物体的特征的预先设定的物体的模型、和与该模型对应的物体的名称，具有通过参照保持的物体的模型来尝试包含在1张图像中的物体的识别、在物体的识别成功的情况下计算与该识别出的物体的模型对应的物体的名称作为物体特征量的功能。

这里，所谓物体的模型，例如如果是车的模型，在例如是关于前玻璃、轮胎、头灯等的形成车的部分的亮度、相对的位置关系的信息等。

图像特征计算控制部221连接在图像写入读出部202、图像特征信息写入读出部203、脸特征量提取部222、颜色特征量提取部223、和物体特征量提取部224上。

图像特征计算控制部221具有经由图像写入读出部202从图像存储部231读出1张图像，对所读出的1张图像使用脸特征量提取部222、颜色特征量提取部223、和物体特征量提取部224计算图像特征信息的功能。

关于图像特征信息的详细情况在后面叙述。

图像特征信息存储部232是用来存储图像特征信息的存储区域，作为内置在硬盘装置130中的硬盘的一部分的区域实现。

图4是表示存储在图像特征信息存储部232中的图像特征信息的数据结构的图。

如该图所示，存储在图像特征信息存储部232中的各图像特征信息由表示对应的图像的图像ID401、表示对应的图像的颜色的特征的颜色特征量403、表示包含在对应的图像中的由脸特征量提取部222识别的脸（以下，称作识别脸）的特征的脸特征量404、表示包含在对应的图像中的识别的物体的特征的物体特征量405构成。

颜色特征量403由通过颜色特征量提取部223计算出的各颜色的像素数比率构成，是表示包含在该图像中的颜色的特征的值。

例如，与图像ID401是01001的图像对应的图像特征信息的颜色特征量403表示是黑431为10%、蓝432为20%、绿433为60%、白435为10%的图像。

脸特征量404由通过脸特征量提取部222计算出的、包含在各图像中的每个识别脸的该识别脸的脸ID、该识别脸的区域的面积比率和该识别脸的区域的坐标、作为包含在该图像中的识别脸的数量的脸数444、和在包含在该图像中的识别脸中面积比率最高的脸的面积比率即最大脸面积445构成，表示包含在该图像中的识别脸的特征。

这里，识别脸的区域的坐标由包围由脸特征量提取部222识别的脸的区域的长方形中的最小面积的长方形的左上的顶点的坐标和右下的顶点的坐标的组构成。

例如，与图像ID401是01001的图像对应的图像特征信息的脸特征量404表示识别出了面积比率30%的脸0001、面积比率10%的脸0002、和面积比率20%的脸0003等的脸，识别脸的数量是5个，在识别脸之中最高的脸的面积比率是0.3。

物体特征量405是表示由物体特征量提取部224计算出的、包含在各图像中的被识别出的物体的名称的。

例如，与图像ID401是01001的图像对应的图像特征信息的物体特征量405表示识别出在该图像中包含有车的图像。

再次回到图2，继续图像分类装置100的功能结构的说明。

图像特征信息写入读出部203连接在图像特征计算控制部221和图像组特征计算部206上，具有对图像特征信息存储部232进行图像特征信息的读出、写入的功能。

图像组信息受理部211与图像组特征计算部206连接，具有受理图像组的名称的功能。

图像组特征计算部206与图像组信息受理部211、图像特征信息写入读出部203、和图像组特征信息写入读出部204连接。

图像组特征计算部206具有经由图像特征信息写入读出部203从图像特征信息存储部232读出与属于1个图像组的全部的图像对应的图像特征信息，使用所读出的图像特征信息和从图像组信息受理部211输入的图像组的名称计算图像组特征信息的功能。

关于图像组特征信息的详细情况在后面叙述。

此外，图像组特征计算部206具有对计算出的图像组特征信息赋予用来确定该图像组特征信息的图像组ID的功能。

图像组特征信息存储部233是用来存储图像组特征信息的存储区域，作为内置在硬盘装置130中的硬盘的一部分的区域实现。

图5是表示存储在图像组特征信息存储部233中的各图像组特征信息的数据结构的图。

如该图所示，存储在图像组特征信息存储部233中的各图像组特征信息由表示对应的图像组的图像组ID501、表示属于对应的图像组的图像的颜色的特征的颜色特征量平均502、表示属于对应的图像组的图像的识别脸的特征的脸特征量503、表示属于对应的图像组的图像的物体的名称的物体特征量504、表示属于对应的图像组的图像的张数的总张数505、表示对应的图像组的名称的组名506、和表示对应的图像组被分类的事件的事件名的事件名507构成。

颜色特征量平均502是属于对应的图像组的图像的颜色特征量的平均值，表示该图像组的颜色的特征。

例如，与图像组ID是0001的图像组对应的颜色特征量平均502表示是黑421为10%、蓝522为20%、绿523为40%、白524为30%的图像组。

脸特征量503由通过在包含在属于对应的图像组的图像中的识别脸的ID构成的脸ID531、属于对应的图像组的图像的最大脸面积445中的最大者即总最大脸面积532、属于对应的图像组的图像的脸数444的总和即合计脸数533、包含识别脸的图像的张数即脸张数534、和属于对应的图像组的图像的脸数444中的最大者即最大脸数535构成，表示包含在该图像组中的识别脸的特征。

例如，与图像组ID是0001的图像组对应的脸特征量503表示识别出了脸0001、0002、0003等的脸、总最大脸面积是40%、合计脸数533是7、脸张数534是两张、最大脸数535是5。

物体特征量504表示包含在属于对应的图像组的图像中的识别出的物体的特征。

例如，与图像组ID是0001的图像组对应的物体特征量504，表示在属于对应的图像组的图像中存在识别出的车和识别出的花。

组名506表示对应的图像组的名称，是由用户指定的。上述图像组目录的目录名是由该组名506决定的。

事件名507表示对应的图像组的分类目标的事件的名称，由组名506决定的图像组目录名的目录的所属的事件目录是由该事件名507决定的。

再次回到图2，继续图像分类装置100的功能结构的说明。

图像组特征信息写入读出部204与图像组特征计算部206、事件特征计算部207、和图像组分类部208连接，具有对图像组特征信息存储部233进行图像组特征信息的读出、写入的功能。

事件信息受理部212与事件特征信息写入读出部209连接，具有受理事件特征信息的功能。

这里，所谓事件特征信息，是作为用来将图像组分类为事件的基准的信息，关于详细情况在后面叙述。

事件特征信息存储部234是用来存储事件特征信息的存储区域，作为内置在硬盘装置130中的硬盘的一部分的区域实现。

图6是表示存储在事件特征信息存储部234中的事件特征信息的数据结构的图。

如该图所示，事件特征信息由表示用来将图像组分类的基准的基准信息601、和表示由该基准信息601分类的分类目标的事件的事件名611的组构成。

以下，对各个基准信息601和事件名611的组进行说明。

黑0.4以上602的基准信息和焰火的事件名的组表示分类为焰火的事件的基准是在颜色特征量平均502中黑为40%以上。

蓝0.4以上603的基准信息和水肺潜水的事件名的组表示分类为水肺潜水的事件的基准是在颜色特征量平均502中蓝为40%以上。

绿0.4以上604的基准信息和郊游的事件名的组表示分类为郊游的事件的基准是在颜色特征量平均502中绿为40%以上。

白0.4以上605的基准信息和滑雪的事件名的组表示分类为滑雪的事件的基准是在颜色特征量平均502中白为40%以上。

人数5人以上606的基准信息和多人数的事件名的组表示分类为多人数的事件的基准是合计脸数533是5以上。

人数4人以下607的基准信息和少人数的事件名的组表示分类为少人数的事件的基准是合计脸数533为4以下。

事件特征信息写入读出部209与事件信息受理部212、事件特征计算部207、和图像组分类部208连接，具有对事件特征信息存储部234进行事件特征信息的读出、写入的功能。

图像组分类部208连接在图像写入读出部202、图像组特征信息写入读出部204、事件特征信息写入读出部209、和分类结果输出部210上。

图像组分类部208具有经由图像组特征信息写入读出部204从图像组特征信息存储部233读出图像组特征信息，基于所读出的图像组特征信息和存储在事件特征信息存储部234中的事件特征信息将对应于所读出的图像组特征信息的图像组分类为事件的功能。

事件特征计算部207与图像组特征信息写入读出部204和事件特征信息写入读出部209连接。

事件特征计算部207具有经由图像组特征信息写入读出部204从图像组特征信息存储部233读出1个以上的图像组特征信息，使用所读出的图像组特征信息制作事件特征信息的功能。

分类结果输出部210与图像组分类部208连接，具有在图像组分类部将图像组分类的情况下将分类结果向显示器193显示的功能。

以下，使用附图对如以上那样构成的图像分类装置100进行的动作进行说明。

<动作>

作为图像分类装置100进行的主要的动作，有被输入属于图像组的图像、将被输入的图像组分类为事件的图像组分类动作，和指定两个以上的图像组、通过提取所指定的图像组中共同的特征来新生成事件特征信息的事件特征信息生成动作。

以下，使用附图对各个动作进行说明。

<图像组分类动作>

图7是图像分类装置100进行的图像组分类动作的流程图。

遥控器197通过从用户受理开始图像组分类动作的操作，图像分类装置100开始图像组分类动作的处理。

如果开始图像组分类动作的处理，则图像组数据受理部201开始1个图像组的图像的读入，图像组信息受理部211开始该图像组的名称的受理（步骤S700）。

图像组数据受理部201可以从安装在外部记录介质读取写入装置140中的外部记录介质、或经由连接在USB控制装置150上的USB线缆195，从外部设备、或者从连接在网络194上的通信装置180读入图像。

这里，例如假设将记录在作为外部存储介质的SD存储卡191中的图像组的图像从外部记录介质读取写入装置140进行读入。

图像组数据受理部201将记录在SD存储卡191中的图像一张张读入，对读入的图像顺序地赋予图像ID，使用图像写入读出部写入到图像存储部231的实际数据保管目录324中。

图像组信息受理部211通过来自用户的遥控器197的操作，受理图像组的名称。

如果将属于图像组的图像全部写入到图像存储部231中，则图像特征计算控制部221使用图像写入读出部202，将属于由图像组数据受理部201受理的图像组的图像一张张读出（步骤S705）。

脸特征量提取部222对于由图像特征计算控制部221读出的1张图像，通过参照保持的脸的模型，来尝试包含在1张图像中的脸的识别，计算识别出的脸的个数和识别出的脸的区域的面积相对于图像整体的面积的比率，作为脸特征量（步骤S710）。

颜色特征量提取部223如果由脸特征量提取部222计算出脸特征量，则对包含在图像中的各像素，根据该像素的颜色成分的各亮度确定该像素的颜色，对所确定的颜色分别计算被确定为该颜色的像素数相对于包含在图像中的全部像素数的比率，作为颜色特征量（步骤S715）。

物体特征量提取部224如果由颜色特征量提取部223计算出颜色特征量，则通过参照保持的物体的模型，尝试包含在1张图像中的物体的识别，在物体的识别成功的情况下，计算该识别出的物体的名称作为物体特征量（步骤S720）。

然后，图像特征计算控制部221根据计算出的脸特征量、颜色特征量、和物体特征量，计算图像特征信息，使用图像特征信息写入读出部203将计算出的图像特征信息向图像特征信息存储部232写入（步骤S725）。

图像特征计算控制部221在没有对于图像组数据受理部201受理的1个图像组的全部的图像结束图像特征信息的计算的情况下（步骤S730：否），对还没有结束图像特征信息的计算的图像再次开始步骤S705的处理。

图像特征计算控制部221在对图像组数据受理部201受理的全部的图像结束了图像特征信息的计算的情况下（步骤S730：是），图像组特征计算部206将图像特征信息存储部232存储的、与属于图像组数据受理部201读入的图像组的图像对应的全部的图像特征信息，使用图像特征信息写入读出部203读出。

图像组特征计算部206如果将与属于图像组的图像对应的全部的图像特征信息读出，则计算由通过属于图像组的图像的全部的识别脸的ID构成的脸ID、属于图像组的图像的最大脸面积中的最大者即总最大脸面积、属于图像组的图像的脸数的总和即合计脸数、包含识别脸的图像的张数即脸张数、和属于图像组的图像的脸数中的最大者即最大脸数所构成的图像组的脸特征量（步骤S735）。

图像组特征计算部206还计算属于图像组的图像的颜色特征量的按照每个颜色的平均值，计算由计算出的按照每个颜色的平均值构成的图像组的颜色特征量平均（步骤S740），计算由包含在属于图像组的图像中的识别出的物体的全部的名称构成的图像组的物体特征量（步骤S745）。

然后，图像组特征计算部206使用计算出的图像组的脸特征量、计算出的图像组的颜色特征量平均、计算出的物体特征量、和由图像组信息受理部211受理的图像组的名称，计算图像组特征信息，将计算出的图像组特征信息使用图像组特征信息写入读出部204向图像组特征信息存储部233写入（步骤S750）。

图像组分类部208使用图像组特征信息写入读出部204将刚才写入的图像组特征信息读出，使用事件特征信息写入读出部209将记录在事件特征信息存储部234中的事件特征信息读出。

进而，图像组分类部208将所读出的图像组特征信息与事件特征信息比较（步骤S755），在构成图像组特征信息的构成要素之中能找到满足构成事件特征信息的基准信息的要素的情况下，与该读出的图像组特征信息对应的图像组应被分类的事件，是与该找到的基准信息对应的事件。

图像组分类部208在没有找到符合的事件特征信息的情况下，认为与该读出的图像组特征信息对应的图像组应被分类的事件，是所谓其他事件的事件。

图像组分类部208如果决定了应被分类的事件，则使用图像写入读出部202，在与图像存储部231的应被分类的事件对应的事件目录之下，制作与图像组的名称相同名称的图像组目录，通过在该图像组目录之下保持表示属于图像组的全部的图像的数据的地址的信息，使属于该图像组的全部的图像的数据成为被链接的状态，由此将图像组分类（步骤S760）。

然后，分类结果输出部210将由图像组分类部208计算出的应被分类的事件的事件名与图像组信息受理部211受理的图像组的名称一起显示在显示器193上，图像分类装置100结束该图像组分类动作。

<图像组分类动作的具体例>

以下，对关于图像组分类动作的具体例、特别是在步骤S755、步骤S760中图像组分类部208进行的将图像组分类的处理，使用附图进行说明。

在图8（a）中表示将作为由用户摄影的照片的图像801～804作为构成要素的图像组800。

该图像组800例如是将图像组的名称设为箱根2008夏的图像组，假设图像组ID是0010。

图像801～804在树林中摄影的较多，其中还包括在湖边摄影的图像804，但由于树木的叶子的颜色所占的面积较大，所以作为在包含于图像组800中的图像中包含的颜色，较多地包含绿。

在图8（b）中表示将作为由用户摄影的照片的图像821～823作为构成要素的图像组820。

该图像组820例如是将图像组的名称设为新雪谷2009冬的图像组，假设图像组ID是0011。

图像821～823以积雪的滑雪場为背景摄影的较多，所以作为包含在图像组820中的图像的颜色，较多地含有作为雪的颜色的白。

在图8（c）中表示将作为由用户摄影的照片的图像841、842作为构成要素的图像组840。

该图像组840例如是将图像组的名称设为宫古岛2009夏的图像组，假设图像组ID是0012。

图像841、842在海中摄影的较多，所以作为包含在图像组840中的图像的颜色，较多地包含作为海水的颜色的蓝。

图9是表示存储在图像组特征信息存储部233中的、与图像组ID为0010、0011、0012的图像组对应的图像组特征信息的数据结构图。

在步骤S755中，在图像组分类部208从图像组特征信息存储部233读出了图像组ID是0010的图像组特征信息的情况下，将读出的图像组ID是0010的图像组特征信息与从事件特征信息存储部234读出的事件特征信息（参照图6）比较。

图像组ID0010的图像组特征信息由于在颜色特征量平均502中绿523是0.4、在脸特征量503中合计脸数533是7，所以图像组分类部208判断为图像组ID0010的图像组特征信息符合绿0.4以上604的基准信息601、和人数5人以上606的基准信息601，计算出应将图像组ID0010的图像组分类为图6所示的郊游的事件、和多人数的事件。

然后，图像组分类部208使用图像写入读出部202，在图像存储部231的郊游事件目录322的事件目录下制作箱根2008夏的名称的图像组目录，在制作出的箱根2008夏的目录下制作向与图像801～804对应的图像数据的链接。

此外，图像组分类部208使用图像写入读出部202，在图像存储部231的未图示的多人数的事件目录下制作箱根2008夏的名称的图像组目录，在制作出的箱根2008夏的目录下制作向与图像801～804对应的图像数据的链接。

在步骤S755中，在图像组分类部208从图像组特征信息存储部233读出了图像组ID是0011的图像组特征信息的情况下，将所读出的图像组ID是0011的图像组特征信息与从事件特征信息存储部234读出的事件特征信息比较。

图像组ID0011的图像组特征信息由于在颜色特征量平均502中白524是0.5、在脸特征量503中合计脸数533是4，所以图像组分类部208判断为图像组ID0010的图像组特征信息符合白0.4以上605的基准信息601、和人数4人以下607的基准信息601，计算出图像组ID0011的图像组应被分类为滑雪的事件、和少人数的事件。

然后，图像组分类部208使用图像写入读出部202，在图像存储部231的滑雪事件目录323的事件目录下制作新雪谷2009冬的名称的图像组目录，在制作出的新雪谷2009冬的目录下制作向对应于图像821～823的图像数据的链接。

此外，图像组分类部208使用图像写入读出部202，在图像存储部231的未图示的少人数的事件目录下制作新雪谷2009冬的名称的图像组目录，在制作出的新雪谷2009冬的目录下制作向对应于图像821～823的图像数据的链接。

在步骤S755中，在图像组分类部208从图像组特征信息存储部233读出了图像组ID是0012的图像组特征信息的情况下，将所读出的图像组ID是0012的图像组特征信息与从事件特征信息存储部234读出的事件特征信息比较。

图像组ID0012的图像组特征信息由于在颜色特征量平均502中蓝522是0.8、在脸特征量503中合计脸数533是2，所以图像组分类部208判断为图像组ID0012的图像组特征信息满足蓝0.4以上603的基准信息601、和人数4人以下607的基准信息601（参照图6），计算出图像组ID0012的图像组应被分类为水肺潜水的事件、和少人数的事件。

然后，图像组分类部208使用图像写入读出部202，在图像存储部231的未图示的水肺潜水事件的事件目录下，制作宫古岛2009夏的名称的图像组目录，在制作出的宫古岛2009夏的目录下制作向对应于图像841、842的图像数据的链接。

此外，图像组分类部208使用图像写入读出部202，在图像存储部231的未图示的少人数的事件目录下制作宫古岛2009夏的名称的图像组目录，在制作出的宫古岛2009夏的目录下制作向对应于图像841、842的图像数据的链接。

接着，使用附图说明图像分类装置100进行的事件特征信息生成动作。

<事件特征信息生成动作>

图10是图像分类装置100进行的事件特征信息生成动作的流程图。

通过遥控器197从用户受理开始事件特征信息生成动作的操作，开始事件特征信息生成动作。

如果开始事件特征信息生成动作，则图像组信息受理部211从用户受理图像组ID的指定（步骤S1000），事件信息受理部212受理与新制作的事件特征信息对应的事件名。

图像组特征计算部206使用图像组特征信息写入读出部204从图像组特征信息存储部233读出与所受理的图像组ID对应的图像组特征信息，将所读出的图像组特征信息向事件特征计算部207发送。

事件特征计算部207根据所获取的图像组特征信息，尝试共同的特征的计算（步骤S1010）。

这里，事件特征计算部207进行的共同的特征的计算，例如是在图像组特征信息的颜色特征量平均502中的某个颜色的值在全部的图像组中是0.4以上的情况下将该颜色作为共同特征的计算。

在步骤S1010中，在与指定的全部的图像组对应的图像组特征信息中、颜色特征量平均502中的0.4以上的比例的颜色是相同的颜色（例如，假设为X色）的情况下（步骤S1010：是），新作为基准信息601而制作X色0.4以上的基准信息，将由事件信息受理部212受理的事件名作为对应的事件名。

事件特征计算部207将制作出的基准信息与事件名建立对应，使用事件特征信息写入读出部209存储到事件特征信息存储部234中（步骤S1020）。

在步骤S1010中，在没有计算出共同的特征的情况下（步骤S1010：否）、和步骤S1020的处理结束的情况下，图像分类装置100结束该事件特征信息生成动作。

<事件特征信息生成动作的具体例>

以下，使用附图对关于事件特征信息生成动作的具体例进行说明。

图11是表示存储在图像组特征信息存储部233中的、与图像组ID是0001、0010的图像组对应的图像组特征信息的数据结构的图。

在步骤S1000中，图像组信息受理部211从用户受理图像组ID0001和0010的指定，事件信息受理部212在作为与新制作的事件特征信息对应的事件名而受理了例如郊游的情况下，事件特征计算部207获取存储在图像组特征信息存储部233中的图像组ID0001和0010的图像组特征信息。

以下，使用图10说明事件特征信息生成动作的具体例。

事件特征计算部207如果根据获取的图像组特征信息尝试共同的特征的计算（步骤S1010），则由于图像组ID是0001的图像组特征信息中的颜色特征量平均502的绿523的比例是0.4、图像组ID是0010的图像组特征信息中的颜色特征量平均502的绿523的比例是0.4（步骤S1010：是），所以作为共同特征而制作绿0.4以上的基准信息。

然后，事件特征计算部207将绿0.4以上的基准信息与郊游的事件名建立对应，使用事件特征信息写入读出部209存储到事件特征信息存储部234中（步骤S1020）。

如果步骤S1020的处置结束，则图像分类装置100结束该事件特征信息生成动作。

<实施方式2>

以下，作为有关本发明的图像分类装置的一实施方式，对将在实施方式1中说明的图像分类装置100的一部分变形、追加了将包含在存储的全部图像中的识别出的脸判断为家人、友人、其他人的某1个的功能的图像分类装置1200进行说明。

此外，在该图像分类装置1200的存储的图像组特征信息中，包含基于家人、友人、其他人的判断的脸特征量。

<结构>

<图像分类装置1200的硬件结构>

图像分类装置1200的硬件结构与图像分类装置100的硬件结构相同。因而，这里省略说明。

<图像分类装置1200的功能结构>

图12是表示图像分类装置1200的主要的功能块结构的功能框图。

与实施方式1的图像分类装置100的不同点是，新追加作为用来存储脸对应表（后述）的存储区域的脸对应表存储部1201，图像组特征信息存储部233被变形为作为用来将实施方式1的图像组特征信息和其构成要素的一部分不同的图像组特征信息存储的单元的图像组特征信息存储部1233，事件特征信息存储部234被变形为作为用来将实施方式1的事件特征信息和其构成要素的一部分不同的事件特征信息存储的单元的事件特征信息存储部1234，图像组特征计算部206被变形为追加了新的功能（后述）的图像组特征计算部1206。

以下，省略与实施方式1的图像分类装置100相同的部分的说明，对上述不同点进行说明。

图像组特征计算部1206是进行了变形、以对实施方式1的图像组特征计算部206新添加了脸区分功能、脸集合判断功能、脸对应表更新功能、和脸对应表读出功能等的单元。

所谓脸区分功能，是对由包含在记录于图像特征信息存储部232中的图像特征信息中的全部的脸ID表示的识别脸提取脸的特征，基于所提取的脸的特征，以使得被判断为是相同人物的识别脸成为相同的集合的方式对识别脸进行区分，对所区分的各识别脸群的集合添加用来确定该集合的标签的功能。

这里，所谓脸的特征，是例如眼、鼻、口等的形成脸的部分的相对的位置关系、及这些部分的面积比率等。

所谓脸集合判断功能，是判断通过执行脸区分功能而区分为相同人物的脸的集合是家人、友人或其他人中的哪个的功能。

将区分为相同人物的识别脸判断为家人的基准，是被区分为该相同人物的识别脸存在于多个图像组中的情况。

此外，将区分为相同人物的识别脸判断为友人的基准，是被区分为该相同人物的识别脸仅存在于单一的图像组中、并且被区分为相同人物的识别脸的数量存在两个以上的情况。

进而，将区分为相同人物的识别脸判断为其他人的基准，是被区分为没有被判断为家人且没有被判断为友人的相同人物的识别脸，即，是被区分为该相同人物的识别脸仅存在1个的情况。

所谓脸对应表更新功能，是在执行了脸区分功能和脸集合判断功能的情况下，基于脸区分功能和脸集合判断功能的执行结果制作后述的脸对应表，用制作出的脸对应表将存储在脸对应表存储部1201中的脸对应表更新的功能。

所谓脸对应表读出功能，是将存储在脸对应表存储部1201中的脸对应表读出的功能。

脸对应表存储部1201是用来存储脸对应表的存储区域，作为内置在硬盘装置130中的硬盘的一部分区域安装。

图13是表示存储在脸对应表存储部1201中的脸对应表的数据结构的图。

如该图所示，存储在脸对应表存储部1201中的脸对应表由用来确定被区分为相同人物的识别脸的集合的标签1301、表示被区分为相同人物的识别脸的集合被判断为家人、友人、或其他人中的哪个的判断结果1302、和表示属于被区分为相同人物的识别脸的集合的识别脸的ID的脸ID1303～1305构成。

例如，被区分为标签1301是A的识别脸的集合，是被区分为判断是家人的人物的脸的集合，表示是由脸ID0001、脸ID0003、脸ID0101等表示的识别脸属于的集合。

图14是表示存储在图像组特征信息存储部1233中的各图像组特征信息的数据结构的图。

如该图所示，存储在图像组特征信息存储部1233中的各图像组特征信息由表示对应的图像组的图像组ID1401、表示属于对应的图像组的图像的识别脸的特征的脸特征量1402、表示属于对应的图像组的图像的张数的总张数1403、表示对应的图像组的名称的组名1404、和表示对应的图像组被分类的事件的事件名的事件名1405构成。

脸特征量1402由有关被判断为家人的人物的识别脸（以后，称作家人的脸）的信息、有关被判断为友人的人物的识别脸（以后，称作友人的脸）的信息、和关于被判断为其他人的人物的识别脸（以后，称作其他人的脸）的信息构成。

有关家人的脸的信息，由包含在属于对应的图像组的图像中的家人的脸的脸ID即家人脸ID1421、包含在属于对应的图像组的图像中的家人的脸中的脸面积比率最大者即家人最大脸面积1422、包含在1张图像中的家人的脸的数量中的最大的数量即家人最大脸数1423、包含家人的脸的图像的张数相对于属于对应的图像组的图像的张数的比率即家人脸张数比率1424、包含在1张图像中的家人的脸的数量的平均即家人脸数量比率1425、和将各图像中的家人的脸中的脸面积比率最大者即家人最大脸面积比率除以包含家人的脸的图像的张数而得到的值——即家人脸面积比率1426构成。

假如在属于图像组的图像中不存在家人的脸的情况下，家人脸ID1421为没有符合ID，家人最大脸面积1422、家人最大脸数1423、家人脸张数比率1424、家人脸数量比率1425、家人脸面积比率1426为0。

有关友人的脸的信息，由包含在属于对应的图像组的图像中的友人的脸的脸ID即友人脸ID1431、包含在属于对应的图像组的图像中的友人的脸中的脸面积比率最大者即友人最大脸面积1432、包含在1张图像中的友人的脸的数量中的最大的数量即友人最大脸数1433、包含友人的脸的图像的张数相对于属于对应的图像组的图像的张数的比率即友人脸张数比率1434、包含在1张图像中的友人的脸的数量的平均即友人脸数量比率1435、和将各图像中的友人的脸中的脸面积比率最大者即友人最大脸面积比率除以包含友人的脸的图像的张数而得到的值——即友人脸面积比率1436构成。

假如在属于图像组的图像中不存在友人的脸的情况下，友人脸ID1431为没有符合ID，友人最大脸面积1432、友人最大脸数1433、友人脸张数比率1434、友人脸数量比率1435、友人脸面积比率1436为0。

有关其他人的脸的信息，由包含在属于对应的图像组的图像中的其他人的脸的脸ID即其他人脸ID1441、包含在属于对应的图像组的图像中的其他人的脸中的脸面积比率最大者即其他人最大脸面积1442、包含在1张图像中的其他人的脸的数量中的最大的数量即其他人最大脸数1443、包含其他人的脸的图像的张数相对于属于对应的图像组的图像的张数的比率即其他人脸张数比率1444、包含在1张图像中的其他人的脸的数量的平均即其他人脸数量比率1445、和将各图像中的其他人的脸中的脸面积比率最大者即其他人最大脸面积比率除以包含其他人的脸的图像的张数而得到值——即其他人脸面积比率1446构成。

假如在属于图像组的图像中不存在其他人的脸的情况下，其他人脸ID1441为没有符合ID，其他人最大脸面积1442、其他人最大脸数1443、其他人脸张数比率1444、其他人脸数量比率1445、其他人脸面积比率1446为0。

例如，与图像组ID是0020的图像组对应的脸特征量1402表示，识别出家人脸ID0001、0002的脸，家人最大脸面积是40%，家人最大脸数是2枚，家人脸张数比率是100%，家人脸数量比率是1.5，家人脸面积比率是30%，友人的脸和其他人的脸不存在。

图15是表示记录在事件特征信息存储部1234中的事件特征信息的数据结构的图。

如该图所示，事件特征信息由表示用来将图像组分类的基准的基准信息1501、和表示由该基准信息1501分类的分类目标的事件的事件名1511的组构成。

以下，对各个基准信息1501和事件名1511的组进行说明。

家人脸面积比率0.1以上的基准信息和生日聚会的事件名的组，表示分类为生日聚会的事件的基准为家人脸面积比率1426是10%以上。

该基准是基于设想生日聚会庆祝家人的生日的情况较多，此外迎接生日的家人的脸的特写较多。

家人以外的脸张数比率不到0.5、家人以外的脸数量比率不到1、家人以外的最大脸数不到3的基准信息和昆虫采集的事件名的组，表示分类为昆虫采集的事件的基准是，家人以外的脸张数比率不到50%、并且家人以外的脸数量比率不到1、并且家人以外的最大脸数不到3。

该基准是基于设想昆虫采集中摄影对象是昆虫或作为背景的草木的情况较多，虽然同行的家人有可能进入到摄影对象中，但家人以外的人物进入到摄影对象中的可能性较低。

家人以外的脸张数比率0.8以上、家人以外的脸数量比率1.5以上、家人以外的最大脸数3以上的基准信息和运动会的事件名的组，表示分类为运动会的事件的基准为家人以外的脸张数比率是80%以上、并且家人以外的脸数量比率是1.5以上、并且家人以外的最大脸数是3以上。

该基准是基于设想运动会由于是在学校中进行的活动，所以虽然家人也有可能包含在摄影对象中，但至少学校的同学等的家人以外的人物被摄影许多。

以下，说明如上述那样构成的图像分类装置1200进行的动作。

<动作>

作为图像分类装置1200进行的主要的动作，除了实施方式1的图像分类装置100进行的主要的动作以外，还有对由包含在记录于图像特征信息存储部232中的全部的图像特征信息中的全部的脸ID所表示的识别脸，提取脸的特征，基于所提取的脸的特征对作为相同人物的脸赋予相同的标签，通过判断赋予了相同的标签的脸的集合是家人、友人、或其他人中的哪个而生成脸对应表，用所生成的脸对应表将由脸对应表存储部1201存储的脸对应表更新的脸对应表生成动作。

此外，作为图像分类装置1200进行的主要的动作之一的图像组分类动作为将实施方式1的图像分类装置100进行的动作的一部分变更的动作。

以下，使用附图对各个动作进行说明。

<脸对应表生成动作>

图16是图像分类装置1200进行的脸对应表生成动作的流程图。

图像分类装置1200，如果在图像组分类动作中由图像组数据受理部201读入的图像被记录在图像存储部231中，对应的图像特征信息被记录到图像特征信息存储部232中，则开始脸对应表生成动作。

如果开始脸对应表生成动作，则图像组特征计算部1206使用图像特征信息写入读出部203将存储在图像特征信息存储部232中的全部的图像特征信息读出。

图像组特征计算部1206从所读出的全部的图像特征信息中，提取识别脸的脸ID、由该脸ID确定的脸的区域的坐标、和与包含该脸ID的图像特征信息对应的图像ID（步骤S1600）。

图像组特征计算部1206使用图像写入读出部202从图像存储部231将由包含在包括脸ID的图像特征信息中的图像ID确定的图像读出，对由与所提取的脸ID对应的脸的区域的坐标确定的脸的区域的全部，提取脸的特征（步骤S1603）。

图像组特征计算部1206在所提取的脸的特征中将具有相同的脸的特征的脸的集合判断为相同人物的脸，以使被判断为相同人物的识别脸成为相同的集合的方式对识别脸进行区分，对所区分的各识别脸群的集合赋予用来确定该集合的标签（步骤S1605）。

然后，图像组特征计算部1206选择1个图像组（步骤S1610），选择对包含在该图像组中的识别脸赋予的标签中的1个标签（步骤S1615），检索被赋予了所选择的标签的识别脸是否存在于其他图像组中（步骤S1620）。

在检索的结果是被赋予了所选择的标签的识别脸存在于其他图像组中的情况下（步骤S1620：是），图像组特征计算部1206将被赋予了该选择的标签的、被区分为相同人物的识别脸判断为家人（步骤S1625）。

在步骤S1620中，在检索的结果是被赋予了所选择的标签的识别脸不存在于其他图像组中的情况下（步骤S1620：否），图像组特征计算部1206再检索被赋予了该选择的标签的识别脸是否存在多个（步骤S1630）。

在检索的结果是被赋予了该选择的标签的识别脸存在多个的情况下

（步骤S1630：是），图像组特征计算部1206将被赋予了该选择的标签的被区分为相同人物的识别脸判断为友人（步骤S1635）。

在步骤S1630中，在检索的结果是被赋予了该选择的标签的识别脸仅存在1个的情况下（步骤S1630：否），图像组特征计算部1206将被赋予了该选择的标签的脸判断为其他人（步骤S1640）。

在步骤S1625的处理结束的情况下、步骤S1635的处理结束的情况下、或步骤S1640的处理结束的情况下，图像组特征计算部1206检查在所选择的图像组的标签中是否还剩余有未选择的标签（步骤S1645），在剩余有未选择的标签的情况下（步骤S1645：否），图像分类装置1200重复步骤S1615～步骤S1645：否的处理，直到没有未选择的标签。

在步骤S1645中没有剩余未选择的标签的情况下（步骤S1645：是），图像组特征计算部1206检查是否剩余有未选择的图像组（步骤S1650），在剩余有未选择的图像组的情况下（步骤S1650：否），图像分类装置1200重复步骤S1610～步骤S1650：否的处理，直到没有未选择的图像组。

在步骤S1650中没有剩余未选择的图像组的情况下（步骤S1640：是），图像特征信息存储部232按照每个标签，将该标签、表示判断被区分为该标签的脸的集合是家人、友人、或其他人中的哪个的判断结果、和被赋予了该标签的脸ID建立关联，制作脸对应表，用制作出的脸对应表将存储在脸对应表存储部1201中的脸对应表更新（步骤S1655）。

如果步骤S1655的处理结束，则图像分类装置1200结束该脸对应表生成动作。

以下，对于被区分为相同人物的识别脸的集合是家人的情况、是友人的情况、和是其他人的情况，使用具体例进行补充说明。

图17是表示属于图像组1700、图像组1720、和图像组1740的图像的图。

图像1701～图像1704是属于图像组1700的图像，图像1721～图像1724是属于图像组1720的图像，图像1741、图像1742是属于图像组1740的图像。

包含在图像中的识别脸中的脸1711、脸1712、脸1715、脸1732、脸1739、脸1751是由图像组特征计算部1206判断是相同人物的识别脸，例如假设是被赋予了标签E的识别脸。

包含在图像中的识别脸中的脸1713、脸1731是由图像组特征计算部1206判断是相同人物的识别脸，例如假设是被赋予了标签F的识别脸。

包含在图像中的识别脸中的脸1733、脸1736、脸1737是由图像组特征计算部1206判断是相同人物的识别脸，例如假设是被赋予了标签G的识别脸。

包含在图像中的识别脸中的脸1714、脸1734、脸1735、脸1738、和脸1752分别是由图像组特征计算部1206区分为相同人物的识别脸不存在于其他之中的识别脸。

以下，假设存储在图像分类装置1200中的图像只是图像1701～图像1704、图像1721～图像1724、图像1741、图像1742而展开说明。

被赋予了标签E的识别脸由于包含在图像组1700、图像组1720、和图像组1740中，所以被图像组特征计算部1206判断是家人。

被赋予了标签F的识别脸由于包含在图像组1700和图像组1720中，所以被图像组特征计算部1206判断是家人。

被赋予了标签G的识别脸由于仅存在于图像组1720中、并且有多个被区分为相同人物的脸，所以被图像组特征计算部1206判断是友人。

脸1714、脸1734、脸1735、脸1738、和脸1752分别是由图像组特征计算部1206区分为相同人物的识别脸不存在于其他之中，所以被图像组特征计算部1206判断是其他人。

接着，使用附图说明图像分类装置1200进行的图像组分类动作。

<图像组分类动作>

图18是图像分类装置1200进行的图像组分类动作的流程图。

通过遥控器197从用户受理开始图像组分类动作的操作，图像分类装置1200开始图像组分类动作。

步骤S1800～步骤S1830：是为止的动作与实施方式1的图像分类装置100进行的图像组分类动作中的步骤S700～步骤S730：是（参照图7）为止的动作相同，所以这里省略说明。

在步骤S1830中，在对图像组数据受理部201受理的全部的图像结束了图像特征信息的计算的情况下（步骤S1830：是），图像分类装置1200进行上述脸对应表生成动作（步骤S1833）。

如果脸对应表生成动作结束，则图像组特征计算部1206将图像特征信息存储部232存储的、与属于图像组数据受理部201读入的图像组的图像对应的全部的图像特征信息使用图像特征信息写入读出部203读出。

图像组特征计算部1206如果将与属于图像组的图像对应的全部的图像特征信息读出，则一边参照存储在脸对应表存储部1201中的脸对应表，一边计算包含在属于对应的图像组中的图像中的家人的脸的脸ID即家人脸ID1421、包含在属于对应的图像组的图像中的家人的脸中的脸面积比率最大者即家人最大脸面积1422、包含在1张图像中的家人的脸的数量中的最大的数量即家人最大脸数1423、包含家人的脸的图像的张数相对于属于对应的图像组的图像的张数的比率即家人脸张数比率1424、包含在1张图像中的家人的脸的数量的平均即家人脸数量比率1425、和将各图像中的家人的脸中的脸面积比率最大者即家人最大脸面积比率除以包含家人的脸的图像的张数而得到的值——即家人脸面积比率1426，作为家人的脸特征量（步骤S1835）。

接着，图像组特征计算部1206一边参照存储在脸对应表存储部1201中的脸对应表，一边计算包含在属于对应的图像组中的图像中的友人的脸的脸ID即友人脸ID1431、包含在属于对应的图像组的图像中的友人的脸中的脸面积比率最大者即友人最大脸面积1432、包含在1张图像中的友人的脸的数量中的最大的数量即友人最大脸数1433、包含友人的脸的图像的张数相对于属于对应的图像组的图像的张数的比率即友人脸张数比率1434、包含在1张图像中的友人的脸的数量的平均即友人脸数量比率1435、和将各图像中的友人的脸中的脸面积比率最大者即友人最大脸面积比率除以包含友人的脸的图像的张数而得到的值——即友人脸面积比率1436，作为友人的脸特征量（步骤S1840）。

进而，图像组特征计算部1206一边参照存储在脸对应表存储部1201中的脸对应表，一边计算包含在属于对应的图像组中的图像中的其他人的脸的脸ID即其他人脸ID1441、包含在属于对应的图像组的图像中的其他人的脸中的脸面积比率最大者即其他人最大脸面积1442、包含在1张图像中的其他人的脸的数量中的最大的数量即其他人最大脸数1443、包含其他人的脸的图像的张数相对于属于对应的图像组的图像的张数的比率即其他人脸张数比率1444、包含在1张图像中的其他人的脸的数量的平均即其他人脸数量比率1445、和将各图像中的其他人的脸中的脸面积比率最大者即其他人最大脸面积比率除以包含其他人的脸的图像的张数而得到的值——即其他人脸面积比率1446，作为其他人的脸特征量（步骤S1845）。

然后，图像组特征计算部1206使用计算出的家人的脸特征量、计算出的友人的脸特征量、计算出的其他人的脸特征量、和由图像组信息受理部211受理的图像组的名称，计算图像组特征信息，将计算出的图像组特征信息使用图像组特征信息写入读出部204向图像组特征信息存储部1233写入（步骤S1850）。

图像组分类部208使用图像组特征信息写入读出部204将刚才写入的图像组特征信息读出，使用事件特征信息写入读出部209将记录在事件特征信息存储部234中的事件特征信息读出。

进而，图像组分类部208将所读出的图像组特征信息与事件特征信息比较（步骤S1855），通过在图像组特征信息中找到符合的事件特征信息，计算与该图像组特征信息对应的图像组应被分类的事件。

图像组分类部208在不能找到符合的事件特征信息的情况下，计算为与该图像组特征信息对应的图像组应被分类为所谓其他事件的图像组。

图像组分类部208如果计算出应被分类的事件，则使用图像写入读出部202，在与图像存储部231的应被分类的事件对应的事件目录下制作与图像组的名称相同名称的图像组目录，通过在该图像组目录下制作向属于图像组的图像的链接，将图像组分类（步骤S1860）。

然后，分类结果输出部210将由图像组分类部208计算出的应被分类的事件的事件名显示在显示器193上，图像分类装置1200结束该图像组分类动作。

<图像组分类动作的具体例>

以下，对关于图像组分类动作的具体例、特别是在步骤S1855、步骤S1860中图像组分类部208进行的将图像组分类的处理使用附图进行说明。

图19是将作为由用户摄影的16张照片的图像作为构成要素的图像组1900。

该图像组1900例如是将图像组的名称设为甲山昆虫采集的图像组，假设图像组ID是0021。

这些图像由于将作为摄影对象的昆虫摄影者较多，所以有摄影的人的数量比较少的特征。

假设与图像组1900对应的图像组特征信息例如为图14中的图像组ID1401是0021的图像组特征信息。

这里，图像组ID1401是0021的图像组特征信息的事件名1405为昆虫采集，但在决定事件名之前，该事件名为空栏，在决定事件名后才被赋予所决定的事件名。

图20是将作为由用户摄影的3张照片的图像作为构成要素的图像组2000。

该图像组2000例如是将图像组的名称设为T川小运动会2009的图像组，假设图像组ID是0022。

这些图像由于作为摄影对象而参加运动会的小学生较多，所以具有摄影的人的数量比较多的特征。

假设与图像组2000对应的图像组特征信息例如为图14中的图像组ID1401是0022的图像组特征信息。

这里，图像组ID1401是0022的图像组特征信息的事件名1405为运动会，但在决定事件名之前，该事件名为空栏，在决定事件名后才被赋予所决定的事件名。

图21是将作为由用户摄影的照片的图像2101和图像2103作为构成要素的图像组2100。

该图像组2100例如是将图像组的名称设为A男3岁生日的图像组，假设图像组ID是0020。

识别脸2102和识别脸2104是相同人物A男，图像2101和图像2103是作为在A男的生日聚会中摄影的照片的图像。

这里，假设由图像组特征计算部1206判断A男是家人。

这些图像由于是将A男的脸特写拍摄的图像，所以具有关于包含在图像中的识别脸中的最大的面积的脸的脸面积比率较大的特征。

假设与图像组2100对应的图像组特征信息例如为图14中的图像组ID1401是0020的图像组特征信息。

这里，图像组ID1401是0020的图像组特征信息的事件名1405为A男3岁生日，但在决定事件名之前，该事件名为空栏，在决定事件名后才被赋予所决定的事件名。

在步骤S1855中，在图像组分类部208从图像组特征信息存储部233读出了图像组ID是0021的图像组特征信息的情况下，将所读出的图像组ID是0021的图像组特征信息与从事件特征信息存储部1234读出的事件特征信息比较。

在图像组ID0021的图像组特征信息中，作为家人以外的脸张数比率，友人脸张数比率是0.44，作为家人以外的脸数量比率，友人脸数量比率是0.56，作为家人以外的最大脸数，友人最大脸数是2，所以判断图像组ID0021的图像组特征信息符合家人以外的脸张数比率不到0.5、并且家人以外的脸数量比率不到1、并且家人以外的最大脸数不到3的基准信息1501，判断图像组ID0021的图像组应被分类为昆虫采集的事件。

然后，图像组分类部208使用图像写入读出部202，在图像存储部231的未图示的昆虫采集事件目录的事件目录下，制作甲山昆虫采集的名称的图像组目录，在制作出的甲山昆虫采集的目录下，制作向属于图像组ID0021的图像的图像数据的链接。

在步骤S1855中，在图像组分类部208从图像组特征信息存储部233读出了图像组ID是0022的图像组特征信息的情况下，将读出的图像组ID是0022的图像组特征信息与从事件特征信息存储部1234读出的事件特征信息比较。

在图像组ID0022的图像组特征信息中，作为家人以外的脸张数比率，其他人脸张数比率是1，作为家人以外的脸数量比率，其他人脸数量比率是3，作为家人以外的最大脸数，其他人最大脸数是4，所以判断图像组ID0022的图像组特征信息符合家人以外的脸张数比率是0.8以上、并且家人以外的脸数量比率是1.5以上、并且家人以外的最大脸数是3以上的基准信息1501，判断图像组ID0022的图像组应被分类为运动会的事件。

然后，图像组分类部208使用图像写入读出部202，在图像存储部231的未图示的运动会事件目录的事件目录下，制作T川小运动会2009的名称的图像组目录，在制作出的T川小运动会2009的目录下，制作向属于图像组ID0022的图像的图像数据的链接。

在步骤S1855中，在图像组分类部208从图像组特征信息存储部233读出了图像组ID是0020的图像组特征信息的情况下，将所读出的图像组ID是0020的图像组特征信息与从事件特征信息存储部1234读出的事件特征信息比较。

在图像组ID0020的图像组特征信息中，由于家人脸面积比率是0.3，所以图像组分类部208判断图像组ID0020的图像组特征信息符合家人脸面积比率0.1以上的基准信息1501，判断图像组ID0021的图像组应被分类为生日聚会的事件。

然后，图像组分类部208使用图像写入读出部202，在图像存储部231的未图示的生日事件目录的事件目录下，制作A男3岁生日的名称的图像组目录，在制作出的A男3岁生日的目录下，制作向属于图像组ID0020的图像的图像数据的链接。

<实施方式3>

以下，作为有关本发明的图像分类装置的一实施方式，对将在实施方式1中说明的图像分类装置100的一部分变形、不使用事件特征信息而将图像组分类的图像分类装置2200进行说明。

<结构>

<图像分类装置2200的硬件结构>

图像分类装置2200的硬件结构与图像分类装置100的硬件结构是相同的。因而，这里省略说明。

<图像分类装置2200的功能结构>

图22是表示图像分类装置2200的主要的功能块结构的功能框图。

与实施方式1的图像分类装置100的不同点是，去除了事件信息受理部212、事件特征计算部207、图像组分类部208、事件特征信息写入读出部209、和事件特征信息存储部234，新追加了具有仅基于图像组特征信息将图像组分类的功能的聚类(clustering)部2207。

以下，将与实施方式1的图像分类装置100相同的部分的说明省略，对上述不同点进行说明。

聚类部2207与图像写入读出部202、图像组特征信息写入读出部204、和分类结果输出部210连接。

聚类部2207具有使用图像组特征信息写入读出部204从图像组特征信息存储部233读出多个图像组特征信息，基于包含在所读出的多个图像组特征信息中的颜色特征量平均中的各颜色的像素数比率，将与所读出的图像组特征信息对应的图像组分类为事件的聚类功能。

关于该聚类部2207的聚类功能的详细情况，在后面作为聚类动作使用附图进行说明。

关于如以上那样构成的图像分类装置2200进行的动作，以下使用附图进行说明。

<动作>

作为图像分类装置2200进行的主要的动作，除了在实施方式1的图像分类装置100进行的主要的动作中说明的动作以外，还有不使用事件特征信息而将图像组分类为事件的聚类动作。

所谓图像分类装置2200进行的聚类动作，是聚类部2207（1）将图像组群分类为聚类(cluster)、以使得关于颜色特征量平均中的1个颜色相互具有相似的值的图像组成为相同的聚类；（2）按照分类后的每个聚类对未选择的颜色进行与（1）同样的分类；（3）重复（2）直到没有未选择的颜色；

（4）对作为图像组群的分类目标的各聚类赋予事件名的动作。

以下，使用附图对该聚类动作详细地说明。

<聚类动作>

图23是图像分类装置2200进行的聚类动作的流程图。

遥控器197通过从用户受理表示作为聚类动作的对象的多个图像组的多个图像组ID的指定、和开始聚类动作的操作，图像分类装置2200开始聚类动作的处理。

如果开始聚类动作，则聚类部2207将与由用户指定的图像组ID对应的图像组特征信息使用图像组特征信息写入读出部204从图像组特征信息存储部233读出（步骤S2400）。

聚类部2207使用读出的图像组特征信息中的颜色特征量平均的黑的值，将所读出的图像组特征信息聚类（以后，称作根据黑色的聚类）（步骤S2405）。

该根据黑色的聚类，是（1）找出黑的值中的最小值，将具有是找出的最小值以上、最小值+聚类值（这里，假设为0.25，以后，不记作聚类值而直接记入0.25的数值）以下的黑的值的图像组分类为第1个聚类；（2）找出黑的值中的最大值，将具有最大值－0.25以上、最大值以下的黑的值的图像组特征信息分类为第2个聚类；（3）将没有被分类为第1个聚类或第2个聚类的图像组分类为第3个聚类。

这里，所谓聚类值，是用来判断颜色特征量平均的颜色（这里是黑）的值是否相互相似的基准值，由聚类部2207预先保持。

如果根据黑色的聚类结束，则聚类部2007选择通过根据黑色的聚类进行了聚类后的聚类中的1个（步骤S2410）。

聚类部2007使用包含在所选择的聚类中的图像组特征信息中的颜色特征量平均的蓝的值，将包含在所选择的聚类中的图像组特征信息聚类（以后，称作根据蓝色的聚类）（步骤S2415）。

该根据蓝色的聚类，与上述的根据黑色的聚类是同样的，是将黑替换为蓝的动作。

如果根据蓝色的聚类结束，则聚类部2007选择通过根据蓝色的聚类进行了聚类后的聚类中的1个（步骤S2420）。

聚类部2007使用包含在所选择的聚类中的图像组特征信息中的颜色特征量平均的绿的值，将包含在所选择的聚类中的图像组特征信息聚类（以后，称作根据绿色的聚类）（步骤S2425）。

该根据绿色的聚类，与上述的根据黑色的聚类是同样的，是将黑替换为绿的动作。

如果根据绿色的聚类结束，则聚类部2007选择通过根据绿色的聚类进行了聚类后的聚类中的1个（步骤S2430）。

聚类部2007使用包含在所选择的聚类中的图像组特征信息中的颜色特征量平均的白的值，将包含在所选择的聚类中的图像组特征信息聚类（以后，称作根据白色的聚类）（步骤S2435），将分类后的各聚类作为不进一步聚类的分类聚类（步骤S2440）。

该根据白色的聚类，与上述的根据黑色的聚类是同样的，是将黑替换为白的动作。

如果步骤S2240的处理结束，则聚类部2207检索在通过根据绿色的聚类形成的聚类中是否存在没有被选择的聚类（步骤S2450），在存在未选择的聚类的情况下（步骤S2450：是），选择该未选择的聚类中的1个，重复执行步骤S2430～步骤S2450的处理，直到没有未选择的聚类。

在步骤S2450中，在通过根据绿色的聚类形成的聚类中不存在没有被选择的聚类的情况下（步骤S2450：否），聚类部2207检索在通过根据蓝色的聚类形成的聚类中是否存在没有被选择的聚类（步骤S2455），在存在未选择的聚类的情况下（步骤S2455：是），选择该未选择的聚类中的1个，重复执行步骤S2420～步骤S2455的处理，直到没有未选择的聚类。

在步骤S2455中，在通过根据蓝色的聚类形成的聚类中不存在没有被选择的聚类的情况下（步骤S2455：否），聚类部2207检索在通过根据黑色的聚类形成的聚类中是否存在没有被选择的聚类（步骤S2460），在存在未选择的聚类的情况下（步骤S2460：是），选择该未选择的聚类中的1个，重复执行步骤S2410～步骤S2460的处理，直到没有未选择的聚类。

在步骤S2460中，在通过根据黑色的聚类形成的聚类中不存在没有被选择的聚类的情况下（步骤S2460：否），成为分类对象的图像组都被分类为某个分类聚类。

因而，在步骤S2400～步骤S2650：否为止的处理中，图像组的分类完成，但为了决定各分类聚类的事件名，聚类部2207进行以下的处理。

在步骤S2460中，在通过根据黑色的聚类形成的聚类中不存在没有被选择的聚类的情况下（步骤S2460：否），聚类部2207按照每个分类聚类计算被分类为该分类聚类的图像组的各颜色的值的平均值（步骤S2465），按照每个分类聚类，提取计算出的平均值中的最大的平均值的颜色（步骤S2470）。

然后，聚类部2207按照每个分类聚类，将所提取的最大的平均值的颜色决定为该分类聚类的事件名（步骤S2475），图像分类装置2200结束该聚类动作。

<聚类动作的具体例>

以下，使用附图对关于聚类动作的具体例进行说明。

图24是示意地表示图像分类装置2200进行的聚类动作的、聚类动作的示意图。

该图是示意地表示聚类部2207使用图像组特征信息存储部存储的图像组特征信息中的、作为聚类动作的对象的图像组的颜色特征量平均2301，将作为聚类动作的对象的图像组分类为黑事件2302、蓝事件2303、绿事件2304、和白事件2305的图。

使用该图对上述的根据各颜色的聚类具体地说明。

首先，聚类部2207进行根据黑色的聚类。

颜色特征量平均2301的黑的值中的最小值是与图像组1008对应的0.0，所以聚类部2207将与具有0.0以上0.25以下的黑的值的图像组ID1001对应的图像组特征信息（以下，称作图像组1001。其他也同样）、图像组1001、图像组1003、图像组1005、图像组1006、图像组1007、和图像组1008例如分类为黑第1聚类。

颜色特征量平均2301的黑的值中的最大值是与图像组1002对应的0.6，所以聚类部2207将具有0.35以上0.6以下的黑的值的图像组1002和图像组1004例如分类为黑第2聚类。

这里，不存在被分类为第3个聚类的图像组信息。

接着，聚类部2207选择黑第1聚类，进行根据蓝色的聚类。

由于图像组1001、图像组1003、图像组1005、图像组1006、图像组1007、和图像组1008被分类为黑第1聚类，所以在它们之中，颜色特征量平均2301的蓝的值中的最小值是与图像组1003、图像组1006、和图像组1008对应的0.1，所以聚类部2207将具有0.1以上0.35以下的蓝的值的图像组1003、图像组1006、图像组1007、和图像组1008例如分类为蓝第1聚类。

由于被分类为黑第1聚类的图像组中的、颜色特征量平均2301的蓝的值中的最大值是与图像组1005对应的0.7，所以聚类部2207将具有0.45以上0.7以下的蓝的值的图像组1001和图像组1005例如分类为蓝第2聚类。

这里，不存在被分类为第3个聚类的图像组。

这样，如果反复进行根据黑色、蓝色、绿色、白色的聚类，则虽然省略了详细情况，但全部的图像组被分类为由图像组ID1006构成的第1分类聚类、由图像组ID1003、1007、1008构成的第2分类聚类、由图像组ID1001、1005构成的第3分类聚类、和由图像组ID1002、1004构成的第4分类聚类。

第1分类聚类由于其最大的平均值的颜色为白的0.7，所以第1分类聚类的事件名为白事件。

第2分类聚类由于其最大的平均值的颜色为绿的0.63，所以第2分类聚类的事件名为绿事件。

第3分类聚类由于其最大的平均值的颜色为蓝的0.65，所以第3分类聚类的事件名为蓝事件。

第4分类聚类由于其最大的平均值的颜色为黑的0.5，所以第4分类聚类的事件名为黑事件。

这样，如图23所示，图像分类装置2200能够将与图像组ID1001～图像组ID1008对应的图像分类为黑事件2302、蓝事件2303、绿事件2304、白事件2305的某个。

<补充>

以上，关于有关本发明的图像分类装置的一实施方式，对进行图像组分类动作、事件特征信息生成动作、脸对应表生成动作、和聚类动作等的例子进行了说明，但也可以如以下这样变形，本发明当然并不限定于上述实施方式所示那样的图像分类装置。

（1）在实施方式1中，作为图像分类装置100存储的图像，设为以JPEG方式编码的数据，但只要能够将数字照片作为数据存储，也可以是用JPEG方式以外的编码方式、例如PNG（Portable Network Graphics）方式或GIF（Graphics Interchange Format）方式等编码的数据，也可以是没有编码的位图方式的数据。

此外，作为内容而以数字照片为例表示，但只要是能够作为数字数据存储的图像，例如也可以是由扫描仪读取的绘画的数据等。

（2）在实施方式1中，将CPU101、ROM102、RAM103、硬盘装置接口104、外部记录介质读取写入装置接口105、USB控制装置接口106、输出装置接口107、输入装置接口108、通信装置接口109、解码器111、和总线120综合为系统LSI110，但并不一定需要综合为1个LSI，也可以用多个集成电路等实现。

（3）在实施方式1中，假设解码器111是DSP，但只要有将编码的数据解码的功能，并不一定需要是DSP，例如也可以是CPU101兼任的结构，也可以是与CPU101不同的CPU，也可以是由ASIC等构成的专用电路。

（4）在实施方式1中，假设输入装置170是具有受理从遥控器197以无线方式发送的来自用户的操作命令的功能的结构，但只要有受理来自用户的操作命令的功能，也可以并不一定是具有受理从遥控器197以无线方式发送的操作命令的功能的结构，例如，也可以是具备键盘和鼠标、具有经由键盘和鼠标受理来自用户的操作命令的功能的结构，也可以是具备按钮群、具有经由按钮群受理来自用户的操作命令的功能的结构等。

（5）在实施方式1中，图像组数据受理部201受理两张以上的图像的指定，将所指定的图像群作为包含在1个图像组中的图像群，但只要能够取得图像和图像组的对应，则例如，图像组数据受理部201也可以是获取图像数据和属于图像组的图像的列表，基于所获取的列表将图像与图像组建立对应的结构，例如，图像组数据受理部201也可以是获取图像数据、将该图像数据摄影的摄影时刻的信息、和摄影时刻的信息与图像组的对应关系的信息，基于所获取的摄影时刻的信息将图像与图像组建立对应的结构。

此外，只要能够取得图像与图像组的对应，并不一定需要通过由用户指定来取得对应，也可以是利用已有的技术自动地进行图像与图像组的对应建立的结构。

（6）在实施方式1中，图像组数据受理部201对读入的图像顺序地赋予图像ID，但只要能够对图像赋予与图像1对1对应的图像ID，也可以并不一定顺序地赋予图像ID。

（7）在实施方式1中，作为颜色特征量提取部223确定的颜色，设为黑、蓝、绿、白，但并不需要限定为这些颜色，例如也可以是红、黄等。

（8）在实施方式1中，图像特征计算部205在计算脸特征量后计算颜色特征量、然后计算物体特征量，但只要能够计算脸特征量、颜色特征量、和物体特征量，并不一定需要以该顺序开始各特征量的计算，例如，也可以以颜色特征量、脸特征量、物体特征量的顺序开始特征量的计算，例如也可以同时开始各特征量的计算。

（9）在实施方式1中，颜色特征量提取部223将包含在图像中的全部的像素作为对象计算颜色特征量，但只要能够计算颜色特征量，并不一定需要将包含在图像中的全部的像素作为对象计算颜色特征量，例如也可以在对各像素确定颜色后、仅在确定为相互相同的颜色的像素相互相邻存在下限阈值数以上存在的情况下将这些像素作为对象来计算颜色特征量。

图26是表示属于图像组的图像的图。

图像2600包括由确定为黑的不到下限阈值数的像素构成的像素群2601～像素群2609。在这些像素群以外没有确定为黑的像素。

图像2610包括由确定为黑的下限阈值数以上的像素构成的像素群2611。

在该图像组中，对于图像2600不将黑作为颜色特征量提取，但对于图像2610将黑作为颜色特征量提取。

一般而言，被确定为相同的颜色的像素某种程度固定的区域例如是天空或地面等图像的背景的区域的情况较多。此外，在图像的背景的区域中包含作为分类目标的事件的特征的情况较多。

这样的结构的颜色特征量提取部223能够基于包含在图像的背景中的颜色计算颜色特征量。

（10）在实施方式1中，脸的模型例如是关于眼、鼻、口等的形成脸的部分的亮度及相对的位置关系的信息等，但只要是能够识别脸的信息，也可以是它们以外的信息。

（11）在实施方式1中，图像组分类部208进行的图像组的分类在符合的事件有多个的情况下是将符合的事件的全部作为应分类的事件的分类，但例如也可以对事件设置优先级，从优先级较高的事件起依次找到符合的事件，仅将最初找到的符合的事件作为应分类的事件那样的使应分类的事件仅为1个的分类。

（12）在实施方式1中，事件特征计算部207进行的共同的特征的计算例如在各图像组中的颜色特征量平均502中的0.4以上的比例的颜色是相同的颜色的情况下将该颜色作为共同特征，但只要能够进行共同的特征的计算，也可以通过其以外的方法、例如，逻辑回归分析法或SVM（SupportVector Machine：支持向量机）法等的方法来计算共同特征。

例如，如果是逻辑回归分析法，则事件特征计算部207获取图像组、其颜色特征量平均、和该图像应被分类的事件的事件名（以后，称作正解事件）的集合，使用所获取的颜色特征量平均对正解事件进行学习，按照每个正解事件计算对应于正解事件的基准信息。

此外，如果使用逻辑解析法，则可以使基准信息例如如果颜色特征量平均中的绿色的值是0.4以上则以80%的概率分类为绿色事件那样、包含概率的概念。

（13）在实施方式2中，图像组特征计算部1206提取的脸的特征例如是眼、鼻、口等的形成脸的部分的相对的位置关系、及这些部分的面积比率等，但只要表示能够区分脸的脸的特征，也可以是它们以外、例如眼睛的颜色、痣的位置、皮肤的颜色等的表示脸的特征的信息，也可以是多个表示脸的特征的信息的组合。

（14）在实施方式2中，将被区分为相同人物的识别脸判断为家人的基准是该被区分为相同人物的识别脸存在于多个图像组中的情况，判断为友人的基准是该被区分为相同人物的识别脸仅存在于单一的图像组中并且被区分为相同人物的识别脸的数量存在两个以上的情况，判断为其他人的基准是判断为不是家人且判断为不是友人的被区分为相同人物的识别脸，但并不一定是这样的判断基准，例如也可以是，将被区分为相同人物的识别脸判断为家人的基准是该被区分为相同人物的识别脸存在于3个以上的图像组中的情况，判断为友人的基准是该被区分为相同人物的识别脸存在于两个图像组中的情况，判断为其他人的基准是判断为不是家人且判断为不是友人的被区分为相同人物的识别脸。

此外，作为区分的名称，使用家人、友人、其他人的名称，但并不一定需要限定于家人、友人、其他人等的名称。

此外，例如也可以通过预先将应区分为家人的人物的脸的图像登记，将具有与该登记的将应区分为家人的人物脸的图像相同的特征的脸的人物区分为家人的方法将家人区分，也可以通过由用户的目视将拍摄在图像中的人物区分为家人的方法将家人区分。

（15）在实施方式1中，事件特征信息是图6所示的事件特征信息，但也可以是图6所示的基准信息以外的基准信息、或包含图6所示的事件名以外的事件名的事件特征信息。

此外，在实施方式2中，假设事件特征信息是图15所示的事件特征信息，但也可以是图15所示的基准信息以外的基准信息、或包含图15所示的事件名以外的事件名的事件特征信息。

将作为图6所示的事件特征信息和图15所示的事件特征信息以外的事件特征信息的一例的事件特征信息表示在图25中。

该图所示的事件特征信息为，（a）分类为篝火晚会的事件的基准是满足黑0.4以上2501、且其他人5人以上2511的条件的情况，（b）分类为焰火的事件的条件是满足黑0.4以上2501、且其他人不到5人2512的条件的情况，（c）分类为游泳池的事件的基准是满足蓝0.4以上0.8不到2502、并且其他人5人以上2511的条件的情况，（d）分类为钓鱼的事件的条件是满足蓝0.4以上0.8不到2502、且其他人不到5人2512的条件的情况，（e）分类为郊游的事件的基准是满足绿0.4以上2503、且其他人5人以上2511的条件的情况，（f）分类为昆虫采集的事件的条件是满足绿0.4以上2503、且其他人不到5人2512的条件的情况下，（g）分类为滑冰的事件的基准是满足白0.4以上2504、且其他人5人以上2511的条件的情况，（h）分类为滑雪的事件的条件是满足白0.4以上2504、且其他人不到5人2512的条件的情况，（i）分类为海水浴的事件的基准是满足蓝0.8以上2505、且其他人5人以上2511的条件的情况，（j）分类为水肺潜水的事件的条件是满足蓝0.8以上2505、且其他人不到5人2512的条件的情况，（k）分类为运动会的事件的基准是满足在图像的上半部的区域中是蓝0.4以上2506、且其他人5人以上2511的条件的情况，（l）分类为轮滑的事件的条件是是满足在图像的上半部的区域中是蓝0.4以上2506、且其他人不到5人2512的条件的情况，（m）分类为剑道的事件的基准是满足在图像的上半部的区域中蓝0.4不到2507、且其他人5人以上2511的条件的情况，（n）分类为家庭日常的事件的条件是满足在图像的上半部的区域中蓝0.4不到2507、且其他人不到5人2512的条件的情况。

（16）在实施方式3中，作为聚类部2207进行的分类为事件的方法的一例，对使用作为分类对象的图像组的颜色特征量进行的聚类动作进行了说明，但只要能够将作为分类对象的图像组分类，是怎样的分类方法都可以。例如，也可以是使用颜色特征量以外的特征量进行的聚类动作，例如，也可以通过使用K-means法等的方法将作为分类对象的图像组分类。

（17）在实施方式3中，假设聚类值是0.25，但只要是用来判断颜色特征量平均的颜色的值是否相互相似的基准，例如如0.1那样，也可以是0.25以外的值。

此外，聚类值由聚类部2207预先保持，但也可以是其以外的结构，例如，是由用户指定聚类值的结构。

（18）在实施方式3中，对聚类部2207将各图像组仅分类为1个聚类的例子进行了说明，但例如也可以将1个图像组分类为相互不同的两个聚类。

（19）也可以将用来使图像分类装置的CPU及连接在该CPU上的各种电路执行在实施方式1至3中表示的图像组分类动作等（参照图7、图10、图16、图18、图23）的由程序代码构成的控制程序记录到记录介质中、或经由各种通信路径等流通发布。在这样的记录介质中，有IC卡、硬盘、光盘、软盘、ROM等。被流通、发布的控制程序通过保存到能够由CPU读出的存储器等中而供使用，通过该CPU执行该控制程序，实现由各实施方式表示那样的各种功能。另外，也可以将控制程序的一部分经由各种通信路径等向与图像分类装置独立的能够执行程序的装置（CPU）发送，在该独立的能够执行程序的装置中执行该控制程序的一部分。

（20）在实施方式1中，脸特征量提取部222对于识别出的脸分别顺序地赋予用来确定该识别脸的脸ID，但只要能够避免重复而赋予，也可以不一定顺序地赋予。

（21）在实施方式1中，颜色特征量是对图像整体表示特征的量，但只要是表示图像的颜色的特征的，例如也可以是对于图像的上半部那样的一部分的量，也可以如图像的左10%的部分和图像的右10%的部分那样是对多个一部分的量。

（22）在实施方式2中，事件特征信息作为例子而表示了图15所示的由基准信息和事件名的组构成的情况，但并不限于图15所示的事件特征信息，例如，也可以将家人、友人或其他人的各种各样的参数用在基准信息中。

（23）在实施方式3中，聚类部基于由颜色特征量平均的值决定的聚类值将图像组分类，但只要能够将图像组分类，并不一定需要基于由颜色特征量平均的值决定的聚类值进行分类。

作为一例，聚类部也可以基于决定为使得分别被分类为各个分类目标类别的图像组的数量变得均等的聚类值将图像组分类。

（24）以下，再对有关本发明的一实施方式的图像分类装置的结构及其变形例和各效果进行说明。

（a）有关本发明的一实施方式的图像分类装置的特征在于，具备：图像组特征计算部，基于图像特征信息，计算表示图像组的特征的图像组特征信息，该图像特征信息是关于属于1个图像组的图像中的全部图像或一部分的两张以上的图像的、表示图像的特征的信息；以及图像组分类部，基于1个图像组的图像组特征信息、和分类用的基准信息，将该图像组分类为相互不同的多个分类目标中的某个分类目标。

通过做成这样的结构，能够根据基于并不限于图像的摄影时刻的信息的图像的特征计算出的图像组特征信息，以图像组为单位将图像分类。

因而，该图像分类装置具有能够基于摄影时刻以外的图像的特征将图像分类、以使属于相同的图像组的图像不会被分类为相互不同的类别的效果。

图27是表示上述变形例的图像分类装置2700的功能结构的功能框图。

如该图所示，图像分类装置2700由图像组特征计算部2701和图像组分类部2702构成。

图像组特征计算部2701与图像组分类部2702连接，具有基于关于属于1个图像组的图像中的全部或一部分的两张以上的图像的、表示图像的特征的图像特征信息，计算表示图像组的特征的图像组特征信息的功能。

该图像组特征计算部2701作为一例，实现为实施方式1（参照图2）中的、图像组特征信息写入读出部204、图像组特征计算部206、图像组信息受理部211、和图像组特征信息存储部233。

图像组分类部2702与图像组特征计算部2701连接，具有基于1个图像组的图像组特征信息和分类用的基准信息将该图像组分类为相互不同的多个分类目标中的某个分类目标的功能。

该图像组分类部2702作为一例，实现为实施方式1（参照图2）的、图像组分类部208、事件特征信息写入读出部209、分类结果输出部210、事件信息受理部212、和事件特征信息存储部234实现。

（b）此外，也可以具备基于多个图像组特征信息制作上述分类用的基准信息的基准信息制作部。

通过做成这样的结构，由于能够自己制作分类用的基准信息，所以具有即使不从外部提供基准信息也能够将图像组分类的效果。

（c）此外，也可以是，具备根据1张图像计算表示该图像的特征的图像特征信息的图像特征计算部；上述图像组特征计算部基于由上述图像特征计算部计算出的图像特征信息进行上述图像组特征信息的计算。

通过做成这样的结构，能够自己制作属于图像组的图像的图像特征信息，所以具有即使不从外部提供图像特征信息也能够将图像组分类的效果。

（d）此外，也可以是，上述图像特征计算部包括脸特征计算部，该脸特征计算部通过与表示脸的特征的预先设定的脸的模型进行对照来尝试进行包含在图像中的脸的检测，并且计算与包含在图像中的脸有关的信息即脸信息；由上述图像特征计算部计算的图像特征信息包括由上述脸特征计算部计算出的脸信息；上述图像组特征计算部使要计算的图像组特征信息中包含与脸有关的信息；上述分类用的基准信息包括用来决定将与脸有关的信息分类为相互不同的分类目标中的某个分类目标的信息即脸基准信息；上述图像组分类部基于包含在1个图像组的图像组特征信息中的与脸有关的信息和包含在分类用的基准信息中的脸基准信息，进行上述图像组的分类。

通过做成这样的结构，具有能够进行关注了作为属于图像组的图像的被摄体的人物的图像组的分类的效果。

（e）此外，也可以是，上述脸特征计算部使要计算的脸信息中包含与包含在图像中的检测到的脸的区域的面积有关的信息；上述图像组特征计算部使要计算的图像组特征信息中包含与在属于与该图像组特征信息对应的图像组的图像中所包含的由上述脸特征计算部检测到的脸的区域的面积有关的信息；上述脸基准信息包括用来决定将与脸的区域的面积有关的信息分类为相互不同的分类目标中的某个分类目标的脸面积基准信息；上述图像组分类部基于包含在1个图像组的图像组特征信息中的与脸的区域的面积有关的信息、和包含在分类用的基准信息中的脸基准信息中所包含的脸面积基准信息，进行上述图像组的分类。

在摄影人物的图像的摄影者中，有进行摄影以使关注较高的人物的脸变大、关注不怎么高的人物的脸变小的倾向。

由此，脸的区域的面积可以认为了反映了对于摄影者而言的对该人物的关注度的指标。

因而，通过做成这样的结构，具有能够进行关注了对于作为属于图像组的图像的被摄体的人物的关注度的图像组的分类的效果。

（f）此外，也可以是，上述脸信息的与检测到的脸的区域的面积有关的信息，是表示最大脸区域的面积的信息，该最大脸区域是包含在检测到脸的图像中的识别脸的区域中的、面积为最大的脸的区域；包含在上述图像组特征信息中的与脸的区域的面积有关的信息，是表示如下值的信息，该值是在属于与该图像组特征信息对应的图像组的图像中的检测到脸的图像中、通过将检测到该脸的图像的最大脸区域的面积的总和除以检测到该脸的图像的张数而得到的值。

最大脸区域的脸可以认为是作为1张图像的被摄体的人物群中的、作为对于摄影者而言最关注的人物的摄影中心人物。

由此，可以认为将检测到脸的图像的最大脸区域的面积的总和除以检测到该脸的图像的张数而得到的值，是将对于检测到脸的图像中的关注最高的人物的关注度平均的值。

因而，通过做成这样的结构，具有能够进行关注了作为属于图像组的图像的被摄体的摄影中心人物的关注度的平均值的图像组的分类的效果。

（g）此外，也可以是，具备用来存储属于多个图像组的图像的图像存储部；上述脸特征计算部对存储在上述图像存储部中的全部的图像尝试进行脸的检测；该图像分类装置还具备：脸聚类部，将在存储在上述图像存储部中的全部的图像中由上述脸特征计算部检测到的脸，基于该检测到的脸的特征，分类为多个脸组中的某个脸组；以及人物群区分部，将由上述脸聚类部分类为相同的脸组的脸存在于两个以上的图像组中的脸组区分为第1人物群，将由上述脸聚类部聚类为相同的脸组的脸仅存在于1个图像组中且存在有多个的脸组区分为第2人物群，将不属于上述第1人物群和上述第2人物群中任意一个的脸组区分为第3人物群；上述图像组特征计算部使要计算的图像组特征信息中包含与在属于与该图像组特征信息对应的图像组的图像所包含中的由上述脸特征计算部检测到的脸的区域的面积之中的属于上述第1人物群的脸的区域的面积、属于上述第2人物群的脸的区域面积、以及属于上述第3人物群的脸的区域的面积中的至少1个面积有关的信息；上述脸基准信息包括用来决定将与脸的区域的面积之中的属于上述第1人物群的脸的区域的面积、属于上述第2人物群的脸的区域面积、以及属于上述第3人物群的脸的区域的面积中的至少1个面积有关的信息分类为相互不同的分类目标中的某个分类目标的脸面积基准信息。

通过做成这样的结构，将作为被摄体的人物区分为存在于两个以上的图像组中的第1人物群、仅存在于1个图像组中且存在多个的第2人物群、和不属于上述第1人物群和上述第2人物群中任意一个的第3人物群，具有能够进行关注了对于这样区分的各人物群的人物的关注度的图像组的分类的效果。

（h）此外，也可以是，上述脸特征计算部使要计算的脸信息包含与包含在图像中的检测到的脸的数量有关的信息；上述图像组特征计算部使要计算的图像组特征信息包含与包含在属于与该图像组特征信息对应的图像组的图像中的、由上述脸特征计算部检测到的脸的数量有关的信息；上述脸基准信息包含用来决定将与脸的数量有关的信息分类为相互不同的分类目标中的某个分类目标的脸数基准信息；上述图像组分类部基于包含在1个图像组的图像组特征信息中的与脸的数量有关的信息、和包含在分类用的基准信息中所包含的脸基准信息中的脸数基准信息，进行上述图像组的分类。

通过做成这样的结构，具有能够进行关注了作为属于图像组的图像的被摄体的人物的数量的图像组的分类的效果。

（i）此外，也可以是，上述脸信息的与检测到的脸的数量有关的信息，是表示包含在检测到脸的图像中的检测到的脸的数量的信息；包含在上述图像组特征信息中的与脸的数量有关的信息，是如下信息中的至少一个信息，这些信息是：表示属于与该图像组特征信息对应的图像组的图像的张数与属于与该图像组特征信息对应的图像组的图像之中的包含检测到的脸的图像的张数之间的比率的信息；表示将在属于与该图像组特征信息对应的图像组的图像中的包含检测到的脸的图像中检测到的脸的数量的总和除以属于与该图像组特征信息对应的图像组的图像之中的包含检测到的脸的图像的张数而得到的值的信息；和表示属于与该图像组特征信息对应的图像组的图像之中的检测到的脸的数量最多的图像中包含的检测到的脸的数量的信息。

属于图像组的图像的张数与包含检测到的脸的图像的张数之间的比率，是属于图像组的图像中的、拍摄有检测到的脸的图像的比例。

此外，将在包含检测到的脸的图像中检测到的脸的数量的总和除以包含检测到的脸的图像的张数而得到的值，是在拍摄有检测到的脸的图像中拍摄的检测到的脸的数量的平均值。

因而，通过做成这样的结构，具有能够进行关注了属于图像组的图像中的拍摄有检测到的脸的图像的比例、在拍摄有检测到的脸的图像中拍摄的检测到的脸的数量的平均值、和包含在脸的数量最多的图像中的检测到的脸的数量中的至少1个值的图像组的分类。

（j）此外，也可以是，具备用来存储属于多个图像组的图像的图像存储部；上述脸特征计算部对存储在上述图像存储部中的全部的图像尝试进行脸的检测；该图像分类装置还具备：脸聚类部，将在存储在上述图像存储部中的全部的图像中由上述脸特征计算部检测到的脸，基于该检测到的脸的特征，分类为多个脸组中的某个脸组；以及人物群区分部，将由上述脸聚类部分类为相同的脸组的脸存在于两个以上的图像组中的脸组区分为第1人物群，将由上述脸聚类部聚类为相同的脸组的脸仅存在于1个图像组中且存在有多个的脸组区分为第2人物群，将不属于上述第1人物群和上述第2人物群中任意一个的脸组区分为第3人物群；上述图像组特征计算部使要计算的图像组特征信息中包含与在属于与该图像组特征信息对应的图像组的图像中所包含的由上述脸特征计算部检测到的脸的数量之中的属于上述第1人物群的脸的数量、属于上述第2人物群的脸的数量、以及属于上述第3人物群的脸的数量中的至少1个数量有关的信息；上述脸基准信息包括用来决定将与脸的数量之中的属于上述第1人物群的脸的数量、属于上述第2人物群的脸的数量、以及属于上述第3人物群的脸的数量中的至少1个数量有关的信息分类为相互不同的分类目标中的某个分类目标的脸数量基准信息。

通过做成这样的结构，将作为被摄体的人物区分为存在于两个以上的图像组中的第1人物群、仅存在于1个图像组中且存在多个的第2人物群、和不属于上述第1人物群和上述第2人物群中任意一个的第3人物群，具有能够进行关注了对于这样区分的各人物群的人物的数量的图像组的分类的效果。

（k）此外，也可以是，上述图像特征计算部包括计算与包含在图像中的颜色有关的信息即颜色信息的颜色特征计算部；由上述图像特征计算部计算的图像特征信息包括由上述颜色特征计算部计算出的颜色信息；上述图像组特征计算部使要计算的图像组特征信息中包含与颜色有关的信息；上述分类用的基准信息包括用来决定将与颜色有关的信息分类为相互不同的分类目标中的某个分类目标的信息即颜色基准信息；上述图像组分类部基于与包含在1个图像组的图像组特征信息中的与颜色有关的信息、和包含在分类用的基准信息中的颜色基准信息，进行上述图像组的分类。

通过做成这样的结构，具有能够进行基于属于图像组的图像的颜色的特征的图像组的分类的效果。

（l）此外，也可以是，上述图像特征计算部将反映到上述颜色信息中的像素值，限定为构成预先设定的数量以上的、由相互是相同颜色的、相互相邻的像素构成的像素群的像素，进行上述计算。

通过做成这样的结构，具有如下效果，即：能够将作为相同颜色的像素某种程度固定出现的例如天空或地面等的背景的颜色，与不会作为相同颜色的像素某种程度固定出现的例如人的衣服等的背景以外的颜色区别开来提取颜色特征量的效果。

（m）此外，有关本发明的一实施方式的图像分类装置的特征在于，具备：图像组特征计算部，基于图像特征信息，计算表示图像组的特征的图像组特征信息，该图像特征信息是关于属于图像组的全部图像或一部分的两张以上的图像的、表示图像的特征的信息；以及图像组分类部，基于多个图像组的图像组特征信息对该多个图像组进行分类，以使得具有相互相似的特征的图像组被分类为相同的分类目标。

具备上述结构的有关本实施方式的图像分类装置能够根据基于不限于图像的摄影时刻的信息的图像的特征计算出的图像组特征信息，以图像组为单位将图像分类。

因而，该图像分类装置具有能够基于摄影时刻以外的图像的特征将图像分类，以使属于相同的图像组的图像不会被分类为相互不同的类别的效果。

工业实用性

有关本发明的图像分类装置能够广泛地用在具有将多个数字图像存储的功能的设备中。

标号说明

100 图像分类装置

201 图像组数据受理部

202 图像写入读出部

203 图像特征信息写入读出部

204 图像组特征信息写入读出部

205 图像特征计算部

206 图像组特征计算部

207 事件特征计算部

208 图像组分类部

209 事件特征信息写入读出部

210 分类结果输出部

211 图像组信息受理部

212 事件信息受理部

231 图像存储部

232 图像特征信息存储部

233 图像组特征信息存储部

234 事件特征信息存储部

221 图像特征计算控制部

222 脸特征量提取部

223 颜色特征量提取部

224 物体特征量提取部

Claims (9)

1.一种图像分类装置，其特征在于，具备：

脸聚类部，对多个图像提取包含在各个图像中的脸的特征，基于所提取的脸的特征，将各个脸分类为被判断为相同人物的脸组中的某个脸组；

图像组特征计算部，基于属于由多个图像构成的图像组的图像中所包含的脸之中的至少1个脸被上述脸聚类部分类后的脸组，计算表示该图像组的特征的图像组特征信息；

图像组分类部，基于图像组的图像组特征信息，将该图像组分类为相互不同的多个分类目标中的某个分类目标；以及

人物群区分部，判断上述脸组属于表示规定的人际关系的1个以上的人物群中的哪个人物群；

上述图像组特征信息包括关于上述所判断的人物群的与脸有关的信息；

上述图像组分类部基于包含在图像组特征信息中的关于上述人物群的与脸有关的信息，进行上述图像组的分类。

2.如权利要求1所述的图像分类装置，其特征在于，

上述人物群区分部，进行上述判断，

以使得将由上述脸聚类部分类为相同的脸组的脸存在于两个以上的图像组中的脸组判断为属于第1人物群，将由上述脸聚类部聚类为相同的脸组的脸仅存在于1个图像组中的脸组、而且是存在有多个的脸组判断为属于第2人物群，将与上述第1人物群和上述第2人物群中的哪一个都不对应的脸组判断为属于第3人物群。

3.如权利要求2所述的图像分类装置，其特征在于，

上述第1人物群表示家人，上述第2人物群表示友人，上述第3人物群表示其他人。

4.如权利要求1所述的图像分类装置，其特征在于，

上述图像组特征计算部执行基于上述脸组而进行的图像组特征信息的计算，以使得与被分类到该脸组的脸之中的、包含在作为对象的图像组中的脸的面积有关的脸面积信息，被包含在与上述人物群有关的信息中。

5.如权利要求1所述的图像分类装置，其特征在于，

上述图像组特征计算部执行基于上述脸组而进行的图像组特征信息的计算，以使得与被分类到该脸组的脸之中的、包含在作为对象的图像组中的脸的数量有关的脸数量信息，被包含在与上述人物群有关的信息中。

6.如权利要求1所述的图像分类装置，其特征在于，

上述图像组分类部还基于按照上述多个分类目标的每个分类目标而定义的基准信息，执行基于上述脸组而进行的图像组的分类。

7.如权利要求6所述的图像分类装置，其特征在于，

上述图像分类装置还具备基准信息制作部，该基准信息制作部基于多个图像组特征信息制作上述基准信息。

8.一种图像分类方法，使用将图像分类的图像分类装置进行，其特征在于，具有：

脸聚类步骤，对多个图像提取包含在各个图像中的脸的特征，基于所提取的脸的特征，将各个脸分类为被判断为相同人物的脸组中的某个脸组；

图像组特征计算步骤，基于属于由多个图像构成的图像组的图像中所包含的脸之中的至少1个脸被上述脸聚类部分类后的脸组，计算表示该图像组的特征的图像组特征信息；

图像组分类步骤，基于图像组的图像组特征信息，将该图像组分类为相互不同的多个分类目标中的某个分类目标；以及

人物群区分步骤，判断上述脸组属于表示规定的人际关系的1个以上的人物群中的哪个人物群；

上述图像组特征信息包括关于上述所判断的人物群的与脸有关的信息；

上述图像组分类步骤基于包含在图像组特征信息中的关于上述人物群的与脸有关的信息，进行上述图像组的分类。

9.一种集成电路，其特征在于，具备：

脸聚类部，对多个图像提取包含在各个图像中的脸的特征，基于所提取的脸的特征，将各个脸分类为被判断为相同人物的脸组中的某个脸组；

图像组特征计算部，基于属于由多个图像构成的图像组的图像中所包含的脸之中的至少1个脸被上述脸聚类部分类后的脸组，计算表示该图像组的特征的图像组特征信息；

图像组分类部，基于图像组的图像组特征信息，将该图像组分类为相互不同的多个分类目标中的某个分类目标；以及

人物群区分部，判断上述脸组属于表示规定的人际关系的1个以上的人物群中的哪个人物群；

上述图像组特征信息包括关于上述所判断的人物群的与脸有关的信息；

上述图像组分类部基于包含在图像组特征信息中的关于上述人物群的与脸有关的信息，进行上述图像组的分类。