具体实施方式
<实施方式1>
下面,作为本发明的图像分类装置的一个实施方式,说明如下的图像分类装置:按照由与一个事件关联地拍摄的多张图像构成的图像群组单位,计算表示该图像群组中摄入的人物的重要度的指标即主角度,根据计算出的主角度,按照图像群组单位将图像分类为相互不同的分类目的地事件中的任意一个分类目的地事件。
这里,图像群组是由用户所指定的多个图像构成的图像的集合,例如在2009年初夏去六甲山旅行这样的事件中拍摄的图像的集合、例如在2010年孩子生日进行的生日会这样的事件中拍摄的图像的集合等。
<结构>
<图像分类装置100的硬件结构>
图1是示出图像分类装置100的主要硬件结构的硬件框图。
图像分类装置100由系统LSI(LargeScaleIntegratedcircuit)110、硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、通信装置180构成,具有存储数字照片即图像作为以JPEG(JointPhotographicExpertsGroup)方式进行编码后的数据、并对所存储的图像进行分类的功能。
并且,图像分类装置100具有如下功能:经由可装卸的USB电缆195与以数字静止照相机192为代表的记录图像的设备连接,经由监视器电缆196与用于显示图像的显示器193连接,与网络194连接,与受理来自用户的操作命令的遥控器197进行无线通信,针对以SD存储卡191等为代表的外部记录介质进行数据的读出和写入。
系统LSI110是将CPU101、ROM102、RAM103、硬盘装置接口104、外部记录介质读取写入装置接口105、USB(UniversalSerialBus)控制装置接口106、输出装置接口107、输入装置接口108、通信装置接口109、解码器111、总线120集成为1个集成电路的LSI,与硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、通信装置180连接。
CPU101与总线120连接,通过执行在ROM102或RAM103中存储的程序,对ROM102、RAM103、硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、通信装置180、解码器111进行控制,实现各种功能,例如实现如下功能等:从硬盘装置130读出被编码的图像数据并对其进行解码,将解码后的图像数据输出到显示器193。
ROM102与总线120连接,存储规定CPU101的动作的程序和CPU所利用的数据。
RAM103与总线120连接,临时存储伴随CPU101执行程序而产生的数据,并且,临时存储从硬盘装置130、外部记录介质读取写入装置140读取的数据或写入的数据、通信装置180接收的数据或发送的数据等。
解码器111是具有对编码后的图像数据进行解码的功能的DSP(DigitalSignalProcessor),与总线120连接,由CPU101控制,具有JPEG解码功能。
硬盘装置接口104、外部记录介质读取写入装置接口105、USB控制装置接口106、输出装置接口107、输入装置接口108、通信装置接口109是分别对硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、通信装置180与总线120之间的信号交换进行中介的接口。
硬盘装置130与硬盘装置接口104连接,由CPU101控制,具有在内置的硬盘中写入数据的功能、以及读取在内置的硬盘中写入的数据的功能。
外部记录介质读取写入装置140与外部记录介质读取写入装置接口105连接,由CPU101控制,具有在外部记录介质中写入数据的功能、以及读取在外部记录介质中写入的数据的功能。
这里,外部记录介质是DVD(DigitalVersatileDisc)、DVD-R、DVD-RAM、BD(Blu-rayDisc)、BD-R、BD-RE、SD存储卡191等,外部记录介质读取写入装置140能够从这些DVD、BD等读取数据,并且能够针对DVD-R、BD-R、BD-RE、SD存储卡等进行数据的写入和读取。
USB控制装置150与USB控制装置接口106连接,由CPU101控制,具有经由可装卸的USB电缆195在外部设备中写入数据的功能、以及读取在外部设备中写入的数据的功能。
这里,外部设备是数字静止照相机192、个人计算机、带照相机功能的便携电话机等的存储图像的设备,USB控制装置150能够经由USB电缆195针对这些外部设备进行数据的写入和读取。
输出装置160与输出装置接口107和监视器电缆196连接,由CPU101控制,具有经由监视器电缆196输出在显示器193上显示的数据的功能。
输入装置170与输入装置接口108连接,由CPU101控制,具有受理从遥控器197以无线方式发送的来自用户的操作命令、并向CPU101发送所受理的操作命令的功能。
通信装置180与通信装置接口109和网络194连接,由CPU101控制,具有经由网络194与外部通信设备进行数据收发的功能。
这里,网络194由光通信线路、电话线路、无线线路等实现,与外部通信设备或因特网等连接。
并且,外部通信设备是外部硬盘装置等的存储图像和规定CPU101的动作的程序等的设备,通信装置180能够经由网络194从这些外部通信设备读取数据。
CPU101执行在ROM102或RAM103中存储的程序,对ROM102、RAM103、硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、通信装置180、解码器111进行控制,由此,由以上的硬件实现的图像分类装置100实现各种功能。
下面,使用附图说明图像分类装置100的功能结构。
<图像分类装置100的功能结构>
图2是示出图像分类装置100的主要功能块的结构的功能框图。
图像分类装置100由图像群组数据受理部201、图像写入读出部202、图像特征信息写入读出部203、主角度信息写入读出部204、图像特征量提取部205、主角度信息计算部206、图像群组分类部208、事件特征信息写入读出部209、分类结果输出部210、事件名信息受理部211、事件特征信息受理部212、采样图像受理部213、采样图像写入部214、图像存储部231、图像特征信息存储部232、主角度信息存储部233、事件特征信息存储部234、面部对应表存储部235构成。
图像群组数据受理部201与图像写入读出部202连接,具有如下功能:受理由2张以上的图像构成的图像群组241的图像的指定,读入所指定的图像群作为1个图像群组中包含的图像群。
图像群组数据受理部201受理图像的情况包括:经由外部记录介质读取写入装置140从外部记录介质受理图像的情况、经由USB控制装置150从外部设备受理图像的情况、经由通信装置180从外部通信设备受理图像的情况。
并且,图像群组数据受理部201具有在受理图像时赋予用于确定该图像的图像ID的功能。
图像存储部231是用于存储作为图像的数字照片作为以JPEG方式编码后的图像数据的存储区域,作为在硬盘装置130中内置的硬盘的一部分区域进行安装。
各图像数据与包含拍摄该图像的日期时间的元数据对应,图像存储部231对应地存储图像数据和对应的元数据。
图像存储部231中存储的各数据在文件夹系统下,逻辑上通过目录构造进行管理。
图3是示出图像存储部231的目录构造的目录构造图。
如该图所示,图像存储部231的目录构造由最上位层级310、第1目录层级320、第2目录层级330的合计3个层级构成。
在第1目录层级320中存在生日会目录321、旅行目录322、运动会目录323等多个分类目的地事件目录以及实际数据保管目录324。
这里,分类目的地目录是具有与图像群组的分类目的地即分类目的地事件相同名称的目录,相同名称的目录仅存在一个。
实际数据保管目录324是对应地保持图像数据和元数据的目录,图像数据和元数据仅保持在该实际数据保管目录324中。
在第2目录层级330中存在2010年4月10日目录331、2009年4月10日目录332、六甲山2009初夏目录等多个事件目录。
事件目录是与图像群组数据受理部201受理的由图像群构成的图像群组对应的目录,是如下目录:通过保持实际数据保管目录324中保持的数据中的、表示属于该图像群组的全部图像数据的地址的信息,成为链接该图像数据的状态。
各事件目录存在于与被分类有对应的图像群组的分类目的地事件对应的分类目的地事件目录下。
在假设存在被分类到多个分类目的地事件的图像群组的情况下,存在被分类的事件的数量的用同一名称链接同一图像的目录。
再次返回图2,继续说明图像分类装置100的功能结构。
图像写入读出部202与图像群组数据受理部201、图像特征量提取部205、主角度信息计算部206、图像群组分类部208连接,具有读出在图像存储部231中存储的图像和元数据的功能、在图像存储部231中写入图像和元数据的功能、对图像存储部231的目录构造进行变更的功能、以及对图像数据的链接进行变更的功能。
图像特征量提取部205与图像写入读出部202和图像特征信息写入读出部203连接,具有以下3个功能。
功能1是如下功能:保持表示人的面部特征的预先确定的面部模型,通过参照所保持的面部模型,尝试识别1张图像中包含的面部,计算识别到的面部区域的面积、识别到的面部的位置、识别到的面部的朝向,对识别到的各个识别面部以时序赋予用于确定该识别面部的面部ID。
这里,面部模型例如是眼、鼻、口等形成面部的要素的亮度、相对位置关系的相关信息等。
功能2是如下功能:针对图像中包含的各像素,根据构成该像素的颜色成分、例如Red、Green、Blue的各亮度,确定该像素颜色例如是黑色、蓝色、绿色、白色等中的哪种颜色;针对所确定的各个颜色,计算图像中包含的全部像素数相对于确定为该颜色的像素数的比率,作为颜色特征量。
这里,作为确定某个像素例如是黑色的方法,例如有如下方法:在该像素的Red的亮度、Green的亮度、Blue的亮度全部小于10%的情况下,确定为该像素是黑色。
功能3是如下功能:根据识别到的面部区域的面积、识别到的面部区域的位置、识别到的面部的位置、识别到的面部的朝向、提取出的颜色特征量等,生成图像特征信息(后述)。
图像特征信息存储部232是用于存储图像特征信息的存储区域,作为在硬盘装置130中内置的硬盘的一部分区域进行安装。
图4是示出在图像特征信息存储部232中存储的图像特征信息的数据构造的图。
如该图所示,图像特征信息由用于确定对应图像的图像ID401、表示对应图像中包含的由图像特征量提取部205识别到的面部(以下称为识别面部。)的特征的面部特征量402、表示对应图像的颜色特征的颜色特征量403、表示拍摄对应图像的时刻的摄影时刻404构成。
进而,面部特征量402由用于确定识别面部的面部ID411、表示图像面积与识别面部面积的比率的面部面积412、表示识别面部的位置相对于图像中心的偏差程度的面部位置413、表示识别面部的朝向的面部朝向414、表示识别面部的区域坐标的坐标415构成。
面部面积412是识别面部面积相对于图像面积的比率,以在识别面部摄入画面全体的情况下为1的方式进行归一化。
面部位置413是表示识别面部的位置的值,以识别面部的位置为图像中心时为1、识别面部的位置为图像端部时为0的方式进行归一化。
例如,利用线段连接面部中心和图像中心,设该线段的长度为X,设使该线段从图像中心朝向面部中心延伸到图像端部时的长度为Y,从Y减去X而得到的值除以Y,由此,能够求出面部位置。
面部朝向414是表示识别面部相对于图像的正面方向所朝向的角度的值,以识别面部所朝向的角度相对于图像平面垂直时为1、识别面部所朝向的角度相对于图像平面水平时为0的方式进行归一化。
例如,设识别面部相对于图像的正面方向所朝向的角度为X度,从180减去X而得到的值除以180,由此,能够求出面部朝向。
坐标415由包围识别面部区域的长方形中的、最小面积的长方形的左上顶点的坐标和右下顶点的坐标的组构成。
颜色特征量403由通过图像特征量提取部205计算出的各颜色的像素数比率构成,表示该图像中包含的颜色的特征。
例如,与图像ID401为00001的图像对应的图像特征信息的颜色特征量403表示是红色421为10%、蓝色422为20%、绿色423为60%、白色424为10%的图像。
再次返回图2,继续说明图像分类装置100的功能结构。
图像特征信息写入读出部203与图像特征量提取部205和主角度信息计算部206连接,具有针对图像特征信息存储部232进行图像特征信息的读出和写入的功能。
事件名信息受理部211与主角度信息计算部206连接,具有受理由利用图像分类装置100的用户输入的图像群组的名称即事件名的功能。
采样图像受理部213与采样图像写入部214连接,具有受理摄入了特定人物面部的图像和用于确定该人物的名称的功能。
采样图像受理部213受理图像的情况包括:经由外部记录介质读取写入装置140从外部记录介质受理图像的情况、经由USB控制装置150从外部设备受理图像的情况、经由通信装置180从外部通信设备受理图像的情况。
采样图像存储部236是用于存储作为图像的数字照片作为以JPEG方式编码后的图像数据的存储区域,作为在硬盘装置130中内置的硬盘的一部分区域进行安装。
各图像数据与用于确定在该图像中摄入的人物的名称对应。
采样图像写入部214与采样图像受理部213连接,具有在采样图像存储部236中写入由采样图像受理部213受理的图像和用于确定人物的名称的功能。
主角度信息计算部206与图像写入读出部202、图像特征信息写入读出部203、主角度信息写入读出部204、事件名信息受理部211连接,具有以下5个功能。
功能1是如下功能:针对属于图像群组的图像中摄入的识别面部提取面部特征,根据提取出的面部特征,以使被判断为同一人物的识别面部成为同一集合的方式划分识别面部,对划分后的各识别面部群的集合赋予用于确定该集合的标签。
这里,面部特征例如是眼、鼻、口等形成面部的要素的相对位置关系、这些要素的面积比率等。
功能2是如下功能:生成表示标签与属于由该标签确定的集合的识别面部之间的对应关系的面部对应表(后述),将其写入面部对应表存储部235中。
功能3是如下功能:按照被赋予标签的每个人物计算其主角度(后述)。
功能4是如下功能:针对图像群组,根据该图像群组的图像中摄入的被赋予标签的人物的主角度,计算私密度(后述)。
功能5是如下功能:根据计算出的主角度、计算出的私密度、由事件名信息受理部211受理的事件名等,生成主角度信息(后述)。
面部对应表存储部235是用于存储面部对应表的存储区域,作为在硬盘装置130中内置的硬盘的一部分区域进行安装。
图5是示出在面部对应表存储部235中存储的面部对应表的数据构造的图。
如该图所示,面部对应表将用于确定被划分为同一人物的识别面部的集团的标签501与表示属于被划分为同一人物的识别面部的集团的识别面部的ID的面部ID502~面部ID504等对应起来。
例如,标签501表示面部ID0001、面部ID0003、面部ID0101等所示的识别面部属于被划分为儿子的识别面部的集团。
再次返回图2,继续说明图像分类装置100的功能结构。
主角度信息存储部233是用于存储主角度信息的存储区域,作为在硬盘装置130中内置的硬盘的一部分区域进行安装。
图6是示出在主角度信息存储部233中存储的主角度信息的数据构造的图。
如该图所示,主角度信息由用于确定图像群组的图像群组ID601、用于确定该图像群组中包含的已划分的识别面部的集团的标签602、与标签602对应的多样性603、与标签602对应的主角度604、与图像群组对应的事件名605、与图像群组对应的私密度606构成。
多样性603是表示由对应的图像群组ID601所确定的图像群组中包含的各个图像的摄影时间的顺序构成的集合中的、摄入了被赋予对应的标签602的人物的各个图像的摄影时刻的顺序的分散程度的信息,取0~1的值,分散程度越大,多样性603的值越大。
关于多样性603的计算方法,在随后<多样性计算处理>中详细说明。
主角度604是表示在由对应的图像群组ID601确定的图像群组中、被赋予对应的标签602的人物的重要度的信息,取0以上的值,该人物的重要度越高,主角度604的值越大。
关于主角度604的计算方法,在随后<主角度信息生成处理>中详细说明。
私密度606是表示在由对应的图像群组ID601确定的图像群组中、相对于家庭以外人物的重要度的家庭人物的重要度的指标,为“极高”、“高”、“普通”、“低”中的任意1个值。
关于私密度606的计算方法,在随后<私密度处理>中详细说明。
再次返回图2,继续说明图像分类装置100的功能结构。
主角度信息写入读出部204与主角度信息计算部206和图像群组分类部208连接,具有读出在主角度信息存储部233中存储的主角度信息的功能、以及在主角度信息存储部233中写入主角度信息的功能。
事件特征信息存储部234是用于存储事件特征信息的存储区域,作为在硬盘装置130中内置的硬盘的一部分区域进行安装。
图7是是示出在事件特征信息存储部234中存储的事件特征信息的数据结构的图。
如该图所示,事件特征信息将“生日会”、“运动会”、“远足”、“婚礼”、“旅行”这样的各个分类目的地事件与(1)可作为私密度701取得的4个值即极高711、高712、普通713、低714中的任意一方、以及(2)构成重要人物的4个值即儿子721、母亲722、父亲723、家庭全员824中的任意一方对应起来。
这里,重要人物是在图像群组中主角度的值例如为3以上的人物,重要人物为家庭全员则表示儿子的主角度的值、母亲的主角度的值、父亲的主角度的值的全部值例如为3以上。
例如,分类目的地事件“生日会”与私密度701为极高711以及重要人物702为儿子721对应,可知是私密度为极高、重要人物为儿子的分类目的地事件,分类目的地事件“旅行”与私密度701为极高711以及重要人物702为家庭全员724对应,可知是私密度为极高、重要人物为家庭全员的分类目的地事件。
再次返回图2,继续说明图像分类装置100的功能结构。
事件特征信息写入读出部209与图像群组分类部208和事件特征信息受理部212连接,具有读出在事件特征信息存储部234中存储的事件信息的功能、以及在事件特征信息存储部234中写入事件特征信息的功能。
事件特征信息受理部212与事件特征信息写入读出部209连接,具有受理由利用图像分类装置100的用户输入的事件特征信息的功能。
图像群组分类部208与图像写入读出部202、主角度信息写入读出部204、事件特征信息写入读出部209、分类结果输出部210连接,具有如下功能:经由主角度信息写入读出部204从主角度信息存储部233读出主角度信息,根据所读出的主角度信息和在事件特征信息存储部234中存储的事件特征信息,将与所读出的主角度信息对应的图像群组分类到分类目的地事件。
分类结果输出部210与图像群组分类部208连接,具有在图像群组分类部对图像群组进行了分类的情况下使显示器193显示分类结果的功能。
下面,使用附图说明如上构成的图像分类装置100进行的动作。
<动作>
图像分类装置100进行的特征性动作包括输入属于图像群组的图像并将所输入的图像群组分类到事件的图像群组分类处理。
并且,图像群组分类处理还包括生成面部对应表的面部对应表生成处理、计算多样性的多样性计算处理、生成主角度信息的主角度信息生成处理。
下面,使用附图说明各个处理。
<图像群组分类处理>
图8是图像分类装置100进行的图像群组分类处理的流程图。
遥控器197从用户受理表示开始图像群组分类处理的操作,由此,图像分类装置100开始图像群组分类处理的处理。
图像群组分类处理开始后,图像群组数据受理部201开始读入1个图像群组的图像,事件名信息受理部211开始受理拍摄属于该图像群组的图像的事件的事件名(步骤S800)。
图像群组数据受理部201能够从装配在外部记录介质读取写入装置140上的外部记录介质读入图像,或者经由与USB控制装置150连接的USB电缆195从外部设备读入图像,或者从与网络194连接的通信装置180读入图像。
这里,例如设为从外部记录介质读取写入装置140读入在作为外部存储介质的SD存储卡191中记录的图像群组的图像。
图像群组数据受理部201一组一组地读入在SD存储卡191中记录的图像和包含拍摄该图像的日期时间的元数据的组,以时序对所读入的图像赋予图像ID,将图像数据、元数据、图像ID对应起来,使用图像写入读出部202写入图像存储部231的实际数据保管目录324中。
事件名信息受理部211通过来自用户的遥控器197的操作,受理拍摄属于图像群组的图像的事件的事件名。
当属于图像群组的图像全部写入图像存储部231中后,图像特征量提取部205使用图像写入读出部202,从图像存储部231中一张一张地读出属于由图像群组数据受理部201受理的图像群组的图像(步骤S810)。
图像特征量提取部205针对由图像特征计算控制部221读出的1张图像,通过参照所保持的面部模型,尝试识别1张图像中包含的面部,针对各个识别面部计算面部特征量,对各识别面部以时序赋予用于确定识别面部的面部ID(步骤S820)。
步骤S820的处理结束后,图像特征量提取部205针对图像中包含的各像素,根据该像素的颜色成分的各亮度确定该像素的颜色,针对所确定的各个颜色,计算该确定的颜色的像素数相对于图像中包含的全部像素数的比率,作为颜色特征量403(步骤S830)。
步骤S830的处理结束后,图像特征量提取部205根据计算出的面部面积、面部位置、面部朝向、坐标、颜色特征量、以及与作为对象的图像对应的元数据中包含的摄影时刻的信息,生成图像特征信息,使用图像特征信息写入读出部203写入图像特征信息存储部232中(步骤S840)。
图像特征量提取部205针对图像群组数据受理部201受理的1个图像群组的全部图像,在图像特征信息的生成未结束的情况下(步骤S850:否),针对还未结束图像特征信息计算的图像,再次进行步骤S810以后的处理。
图像特征量提取部205针对图像群组数据受理部201受理的1个图像群组的全部图像,在图像特征信息的生成结束的情况下(步骤S850:是),主角度信息计算部206使用图像特征信息写入读出部203读出图像特征信息存储部232存储的、与属于图像群组数据受理部201读入的图像群组的图像对应的全部图像特征信息。
主角度信息计算部206读出与属于图像群组的图像对应的全部图像特征信息后,进行生成面部对应表的面部对应表生成处理(步骤S860)。
下面,使用附图说明主角度信息计算部206进行的面部对应表生成处理。
<面部对应表生成处理>
图9是主角度信息计算部206进行的面部对应表生成处理的流程图。
主角度信息计算部206开始面部对应表生成处理后,根据所读出的全部图像特征信息,提取识别面部的面部ID、由该面部ID确定的面部区域的坐标、与包含该面部ID的图像特征信息对应的图像ID(步骤S900)。
主角度信息计算部206使用图像写入读出部202从图像存储部231中读出由包含面部ID的图像特征信息中包含的图像ID确定的图像,针对由与提取出的面部ID对应的面部区域的坐标确定的全部面部区域,提取面部特征(步骤S910)。
主角度信息计算部206将提取出的面部特征中的具有相同面部特征的面部集团判断为同一人物的面部,以使被判断为同一人物的识别面部成为同一集合的方式划分识别面部,对划分后的各识别面部群的集合赋予用于确定该集合的标签,生成面部对应表(步骤920)。
步骤S920的处理结束后,主角度信息计算部206选择图像群组内的1个标签(步骤S930),调查在存储在采样图像存储部236中的图像(以下称为采样图像。)中摄入的人物中是否存在如下人物:该人物具有与被划分到由该标签确定的集合的识别面部的特征一致的面部(步骤S940)。
这里,例如,在采样图像存储部236中存储有摄入作为家庭一员的儿子的图像、摄入作为家庭一员的母亲的图像、摄入作为家庭一员的父亲的图像作为采样图像,作为用于确定在采样图像中摄入的人物的名称,分别设为儿子、母亲、父亲。
在步骤S940的处理中,在存在一致的人物的情况下(步骤S940:是),主角度信息计算部206将所选择的标签的名称变更为用于确定在采样图像存储部236中存储的一致的采样图像中摄入的人物的名称(步骤S950)。
在步骤S940的处理中,在不存在一致的人物的情况下(步骤S940:否),或者在步骤S950的处理结束的情况下,主角度信息计算部206调查是否还存在未选择的标签(步骤S960)。
在步骤S960的处理中,在存在未选择的标签的情况下(步骤S960:否),主角度信息计算部206选择未选择标签中的1个标签(步骤S970),再次返回步骤S940的处理,继续进行步骤S940以后的处理。
在步骤S960的处理中,在不存在未选择的标签的情况下(步骤S960:是),主角度信息计算部206在面部对应表存储部235中写入所生成的面部对应表(步骤S980),结束面部对应表生成处理。
再次返回图8,继续说明图像群组分类处理。
面部对应生成处理、即步骤S860的处理结束后,主角度信息计算部206进行针对图像群组内的各标签计算多样性的多样性计算处理(步骤S870)。
下面,使用附图说明主角度信息计算部206进行的多样性计算处理。
<多样性计算处理>
图10是主角度信息计算部206进行的多样性计算处理的流程图。
主角度信息计算部206开始多样性计算处理后,针对图像群组内的各标签,设多样性的初始值为0(步骤S1000),参照与图像对应地存储在图像存储部231中的元数据,将按照摄影时刻顺序排列时的顺序与属于图像群组的各图像对应起来(步骤S1005)。
步骤S1005的处理结束后,主角度信息计算部206选择图像群组内的1个标签(步骤S1010),设摄入所选择的标签的人物的图像的张数为出现张数(步骤S1015)。
步骤S1015的处理结束后,主角度信息计算部206计算图像群组中包含的图像的张数加上2后的数量除以出现张数加上1后的数量而得到的值,在小数点第1位的位对计算出的值进行四舍五入,计算为基准值(步骤S1020)。
步骤S1020的处理结束后,主角度信息计算部206设定为,在按照摄影时刻顺序排列图像时的最初的图像之前(即第0张)和最后的图像之后(即,如果图像张数为n张,则为第n+1张)存在摄入了所选择的标签的人物的图像(步骤S1025)。
步骤S1025的处理结束后,主角度信息计算部206在摄入了所选择的标签的人物的图像群中,将由按照摄影时刻顺序连续的2张图像构成的各个组作为连续图像组(步骤S1030)。
步骤S1030的处理结束后,主角度信息计算部206选择1个连续图像组(步骤S1035),计算与选择出的连续图像组的2张图像对应的顺序之差作为差分值(步骤S1040),对计算出的差分值与基准值进行比较(步骤S1045)。
在步骤S1045的处理中,在差分值为基准值以上的情况下(步骤S1045:是),主角度信息计算部206在选择出的标签的多样性中加上对出现张数加上1而得到数量的倒数,作为新的多样性(步骤S1050)。
在步骤S1050的处理结束的情况下,或者在步骤S1045的处理中差分值不为基准值以上的情况下(步骤S1045:否),主角度信息计算部206调查是否还存在未选择的连续图像组(步骤S1055)。
在步骤S1055的处理中,在存在未选择的连续图像组的情况下(步骤S1055:否),主角度信息计算部206选择未选择连续图像组中的1个连续图像组(步骤S1060),再次返回步骤S1040的处理,继续进行步骤S1040以后的处理。
在步骤S1055的处理中,在不存在未选择的连续图像组的情况下(步骤S1055:是),主角度信息计算部206调查是否还存在未选择的标签(步骤S1065)。
在步骤S1065的处理中,在存在未选择标签的情况下(步骤S1065:否),主角度信息计算部206选择未选择标签中的1个标签(步骤S1070),再次返回步骤S1015的处理,继续进行步骤S1015以后的处理。
在步骤S1065的处理中,在不存在未选择标签的情况下(步骤S1065:是),主角度信息计算部206结束多样性计算处理。
再次返回图8,继续说明图像群组分类处理。
多样性计算处理、即步骤S870的处理结束后,主角度信息计算部206进行生成图像群组的主角度信息并存储的主角度信息生成处理(步骤S880)。
下面,使用附图说明主角度信息计算部206进行的主角度信息生成处理。
<主角度信息生成处理>
图11是主角度信息计算部206进行的主角度信息生成处理的流程图。
主角度信息计算部206开始主角度信息生成处理后,选择图像群组内的1个标签(步骤S1100),按照属于选择出的标签的每个面部ID,将面部面积、面部位置、面部朝向、多样性进行相加,计算相加后的值作为该面部ID的子主角度(步骤S1105)。
步骤S1105的处理结束后,主角度信息计算部206计算所计算出的子主角度的总和,计算所计算出的值作为主角度(步骤S1110),调查是否还存在未选择的标签(步骤S1115)。
在步骤S1115的处理中,在存在未选择标签的情况下(步骤S1115:否),主角度信息计算部206选择未选择标签中的1个标签(步骤S1120),再次返回步骤S1105的处理,继续进行步骤S1105以后的处理。
在步骤S1115的处理中,在不存在未选择标签的情况下(步骤S1115:是),主角度信息计算部206计算与家庭(这里为儿子、母亲、父亲)的名称的标签对应的主角度中的最大的主角度,作为家庭主角度,计算与家庭的名称的标签以外的标签对应的主角度的总和,作为外人主角度(步骤S1125),调查外人主角度是否为家庭主角度的10%以下(步骤S1130)。
在步骤S1130的处理中,在外人主角度为家庭主角度的10%以下的情况下(步骤S1130:是),主角度信息计算部206将私密度设为“极高”(步骤S1135)。
在步骤S1130的处理中,在外人主角度不为家庭主角度的10%以下的情况下(步骤S1130:否),主角度信息计算部206调查外人主角度是否为家庭主角度的80%以下(步骤S1140)。
在步骤S1140的处理中,在外人主角度为家庭主角度的80%以下的情况下(步骤S1140:是),主角度信息计算部206将私密度设为“高”(步骤S1145)。
在步骤S1140的处理中,在外人主角度不为家庭主角度的80%以下的情况下(步骤S1140:否),主角度信息计算部206调查外人主角度是否为家庭主角度的120%以下(步骤S1150)。
在步骤S1150的处理中,在外人主角度为家庭主角度的120%以下的情况下(步骤S1150:是),主角度信息计算部206将私密度设为“普通”(步骤S1155)。
在步骤S1150的处理中,在外人主角度不为家庭主角度的120%以下的情况下(步骤S1160:否),主角度信息计算部206将私密度设为“低”。
在步骤S1135的处理结束的情况下,在步骤S1145的处理结束的情况下,在步骤S1155的处理结束的情况下,或者在步骤S1160的处理结束的情况下,主角度信息计算部206根据计算出的标签、与标签对应的计算出的多样性、与标签对应的计算出的主角度、由事件名信息受理部211受理的事件名、计算出的私密度,生成主角度信息,使用主角度信息写入读出部204在主角度信息存储部233中写入所生成的主角度信息(步骤S1165),结束主角度信息生成处理。
再次返回图8,继续说明图像群组分类处理。
主角度信息生成处理、即步骤S880的处理结束后,图像群组分类部208使用主角度信息写入读出部204读出刚才写入的主角度信息,使用事件特征信息写入读出部209读出在事件特征信息存储部234中记录的事件特征信息。
进而,图像群组分类部208对所读出的主角度信息与事件特征信息进行比较,在事件特征信息中包含的分类目的地事件中发现与主角度信息中包含的主角度和私密度的组合一致的分类目的地事件的情况下,设应该分类有与该读出的主角度信息对应的图像群组的分类目的地事件为该发现的分类目的地事件。
图像群组分类部208在未发现相应的分类目的地事件的情况下,设应该分类有与该读出的主角度信息对应的图像群组的分类目的地事件为其他事件这样的分类目的地事件。
图像群组分类部208决定应该分类的分类目的地事件后,使用图像写入读出部202,在图像存储部231的与应该分类的分类目的地事件对应的事件目录下,生成和与图像群组对应的事件名相同名称的事件目录,在该事件目录下保持表示属于图像群组的全部图像数据的地址的信息,从而成为链接属于该图像群组的全部图像数据的状态,由此,对图像群组进行分类(步骤S890)。
然后,分类结果输出部210使显示器193显示由图像群组分类部208计算出的应该分类的分类目的地事件的分类目的地事件名和与图像群组对应的事件名,图像分类装置100结束该图像群组分类处理。
<具体例>
下面,使用具体例补充说明。
图12是在家庭成员参加的事件中拍摄的图像群的一例。
这里,使用图12补充说明多样性计算处理的动作。
图像群组1200例如是由在家庭的儿子参加的“2009年富士山远足”这样的事件中拍摄的图像群构成的图像群组,由图像1201~图像1210构成。
并且,图像1201~图像1210是按照该顺序拍摄的图像,人物1221~人物1224是家庭中的儿子(标签:儿子),人物1231~人物1234是同一外人(标签:外人A)。
在图像群组1200中,总张数为10张。
儿子被摄入4张图像,所以,儿子的出现张数为4张,儿子的基准值为在小数点第1位的位对(10+2)÷(4+1)=2.4进行四舍五入而得到的值即2。
儿子的差分值依次为1、5、2、1、2,所以,儿子的多样性为[1÷(4+1)]×3=0.6。
外人A也被摄入4张图像,所以,与儿子的情况同样,外人A的出现张数为4张,外人A的基准值为在小数点第1位的位对(10+2)÷(4+1)=2.4进行四舍五入而得到的值即2。
外人A的差分值依次为2、1、1、1、6,所以,外人的多样性为[1÷(4+1)]×2=0.4。
这样,与被摄入照片的分布有所偏向的外人A相比,被摄入照片的分布分散的儿子的多样性高。
图13是在家庭成员参加的事件中拍摄的图像群的一例。
这里,使用图13补充说明图像群组分类部208进行的图像群组的分类处理。
图像群组1300例如是由在家庭去北海道旅行这样的事件(事件名:北海道2010春)中拍摄的图像1301~图像1304构成的图像群组,图像群组1310例如是由在儿子的运动会这样的事件(事件名:2009年运动会)中拍摄的图像1311~图像1314构成的图像群组,图像群组1320例如是由在亲戚的婚礼这样的事件(事件名:A子婚礼)中拍摄的图像1321~图像1324构成的图像群组。
在图像群组1300中,人物1351~人物1354是家庭中的儿子,人物1361是家庭中的母亲,人物1371是家庭中的父亲,人物1390是外人。
在图像群组1300中,外人仅摄入1张,并且,很小地摄入在端部,所以,外人主角度小。
另一方面,儿子、母亲、父亲较大地摄入中央附近,所以,各自的主角度大。特别地,儿子摄入全部图像中,所以,家庭主角度大。
因此,图像群组1300的私密度为“极高”,重要人物为“家庭全员”。
根据在事件特征信息存储部234中存储的事件特征信息(参照图7),私密度为“极高”、重要人物为“家庭全员”的分类目的地事件为“旅行”,所以,由在事件名“北海道2010春”这样的事件中拍摄的图像构成的图像群组1300被分类到分类目的地事件“旅行”。
在图像群组1310中,人物1355~人物1358是家庭中的儿子,人物1391、人物1392、人物1393、人物1394是外人,人物1341和人物1342是同一外人。
在图像群组1310中,外人被较多地摄入,所以,外人主角度为比图像群组1300的情况高的值。
另一方面,儿子在全部图像中较大地摄入,所以,儿子的主角度(即家庭主角度)为比外人主角度高的值。
因此,图像群组1310的私密度为“高”,重要人物为“儿子”。
根据在事件特征信息存储部234中存储的事件特征信息,私密度为“高”、重要人物为“儿子”的分类目的地事件为“运动会”,所以,由在事件名“2009年运动会”这样的事件中拍摄的图像构成的图像群组1310被分类到分类目的地事件“运动会”。
在图像群组1320中,人物1362~人物1364是家庭中的母亲,人物1395、人物1396、人物1397、人物1398、人物1399是外人,人物1381~人物1384是同一外人,人物1386~人物1388是同一外人。
在图像群组1320中,外人被较多地摄入中央附近,所以,外人主角度为比图像群组1310的情况高的值。
另一方面,母亲被摄入3张照片中,但是,较小地摄入端部,所以,母亲的主角度(即家庭主角度)为比外人主角度低的值。
因此,图像群组1320的私密度为“低”,重要人物为“母亲”。
根据在事件特征信息存储部234中存储的事件特征信息,私密度为“低”、重要人物为“母亲”的分类目的地事件为“婚礼”,所以,由在事件名“A子婚礼”这样的事件中拍摄的图像构成的图像群组1320被分类到分类目的地事件“婚礼”。
<总结>
根据上述图像分类装置100,按照图像群组单位将由在一个事件中拍摄的图像群构成的图像群组分类到分类目的地事件,所以,在一个事件中拍摄的图像不会被分类到相互不同的分类目的地事件。
<实施方式2>
下面,作为本发明的图像分类装置的一个实施方式,说明如下的第1变形图像分类装置:对在实施方式1中说明的图像分类装置100的一部分进行变形,多样性计算处理的算法与图像分类装置100进行的多样性计算处理的算法不同。
第1变形图像分类装置的硬件结构与图像分类装置100相同。
但是,在第1变形图像分类装置中,在第1变形图像分类装置的ROM102中存储的规定CPU105的动作的程序的一部分与在图像分类装置100的ROM102中存储的规定CPU105的动作的程序的一部分不同,所以,图像分类装置100中的主角度信息计算部206变形为第1变形主角度信息计算部,图像分类装置100中的多样性计算处理变形为第1变形多样性计算处理。
下面,针对实施方式2的第1变形图像分类装置,以与图像分类装置100的不同之处即第1变形多样性计算处理为中心,使用附图进行说明。
<第1变形多样性计算处理>
图14是第1变形主角度信息计算部进行的第1变形多样性计算处理的流程图。
第1变形主角度信息计算部开始第1变形多样性计算处理后,针对图像群组内的各标签,设多样性的初始值为1(步骤S1400),进行步骤S1405的处理和步骤S1410的处理。
步骤S1405的处理和步骤S1410的处理是分别与实施方式1中的多样性计算处理(参照图10)的步骤S1005的处理和步骤S1010的处理相同的处理,所以,这里省略说明。
步骤S1410的处理结束后,第1变形主角度信息计算部进行步骤S1425的处理~步骤S1440的处理。
步骤S1425的处理~步骤S1440的处理是分别与实施方式1中的多样性计算处理的步骤S1025的处理~步骤S1040的处理相同的处理,所以,这里省略说明。
步骤S1440的处理结束后,第1变形主角度信息计算部从多样性中减去由差分值的平方值除以总数加上1后的数量的平方值而得到的值,作为新的多样性(步骤S1450)。
步骤S1450的处理结束后,第1变形主角度信息计算部进行步骤S1455的处理~步骤S1470的处理。
步骤S1455的处理~步骤S1470的处理是分别与实施方式1中的多样性计算处理的步骤S1055的处理~步骤S1070的处理相同的处理,所以,这里省略说明。
在步骤S1465的处理中,在不存在未选择标签的情况下(步骤S1465:是),第1变形主角度信息计算部结束第1变形多样性计算处理。
<具体例>
下面,使用具体例补充说明。
这里,使用图12补充说明第1变形多样性计算处理的动作。
儿子的差分值依次为1、5、2、1、2,所以,儿子的多样性为1-(1÷10)×(1÷10)-(5÷10)×(5÷10)-(2÷10)×(2÷10)-(1÷10)×(1÷10)-(2÷10)×(2÷10)=0.65。
外人A的差分值依次为2、1、1、1、6,所以,外人的多样性为1-(2÷10)×(2÷10)-(1÷10)×(1÷10)-(1÷10)×(1÷10)-(1÷10)×(1÷10)-(6÷10)×(6÷10)=0.59。
这样,与被摄入照片的分布有所偏向的外人A相比,被摄入照片的分布分散的儿子的多样性高。
<总结>
根据上述第1变形图像分类装置,与图像分类装置100同样,按照图像群组单位将由在一个事件中拍摄的图像群构成的图像群组分类到分类目的地事件,所以,在一个事件中拍摄的图像不会被分类到相互不同的分类目的地事件。
<实施方式3>
下面,作为本发明的图像分类装置的一个实施方式,说明如下的第2变形图像分类装置:对在实施方式1中说明的图像分类装置100的一部分进行变形,多样性计算处理的算法与图像分类装置100进行的多样性计算处理的算法不同。
第2变形图像分类装置的硬件结构与图像分类装置100相同。
但是,在第2变形图像分类装置中,在第2变形图像分类装置的ROM102中存储的规定CPU105的动作的程序的一部分与在图像分类装置100的ROM102中存储的规定CPU105的动作的程序的一部分不同,所以,图像分类装置100中的主角度信息计算部206变形为第2变形主角度信息计算部,图像分类装置100中的多样性计算处理变形为第2变形多样性计算处理。
该第2变形多样性计算处理包括按照所拍摄的每个场景对属于图像群组的图像进行划分的动作即场景分割处理。
下面,针对实施方式3的第2变形图像分类装置,以与图像分类装置100的不同之处即第2变形多样性计算处理为中心,使用附图进行说明。
<第2变形多样性计算处理>
图15是第2变形主角度信息计算部进行的第2变形多样性计算处理的流程图。
第2变形主角度信息计算部开始第2变形多样性计算处理后,针对图像群组内的各标签,设多样性的初始值为0(步骤S1500),进行按照所拍摄的每个场景对属于图像群组的图像进行划分的场景分割处理(步骤S1510)。
下面,使用附图说明第2变形主角度信息计算部进行的场景分割处理。
<场景分割处理>
图16是第2变形主角度信息计算部进行的场景分割处理的流程图。
该场景分割处理是如下处理:根据在相同场景中拍摄的图像的最大颜色特征量相同这样的假设,根据该最大颜色特征量将各图像划分到场景。
第2变形主角度信息计算部开始场景分割处理后,选择摄影时刻顺序中的第1个图像(步骤S1600),生成第1场景,将选择出的第1个图像划分到所生成的第1场景(步骤S1610),调查是否存在摄影时刻顺序中的下一个图像(步骤S1620)。
在步骤S1620的处理中,在存在下一个图像的情况下(步骤S1620:是),第2变形主角度信息计算部参照在图像特征信息存储部232中存储的图像特征信息,临时存储选择中的图像的颜色特征量中的最大颜色(步骤S1630)。
步骤S1620的处理结束后,第2变形主角度信息计算部新选择摄影时刻顺序中的下一个图像,参照在图像特征信息存储部232中存储的图像特征信息,调查新选择出的图像的颜色特征量中的最大颜色是否与临时存储的上次选择出的图像的颜色特征量中的最大颜色一致(步骤S1650)。
在步骤S1650的处理中,在与颜色特征量中的最大颜色一致的情况下(步骤S1650:是),第2变形主角度信息计算部将选择中的图像划分到与上次选择出的图像相同的场景(步骤S1660)。
在步骤S1650的处理中,在颜色特征量中的最大颜色不一致的情况下(步骤S1650:否),第2变形主角度信息计算部生成新场景,将选择中的图像划分到所生成的新场景(步骤S1670)。
在步骤S1620的处理中,在不存在下一个图像的情况下(步骤S1620:否),第2变形主角度信息计算部结束该场景分割处理。
再次返回图15,继续说明第2变形多样性计算处理。
场景分割处理、即步骤S1510的处理结束后,第2变形主角度信息计算部选择图像群组内的1个标签(步骤S1520)。
步骤S1520的处理结束后,第2变形主角度信息计算部选择1个场景(步骤S1530),调查在被划分到所选择的场景的图像中是否摄入有所选择的标签的人物(步骤S1540)。
在步骤S1540的处理中,在摄入有所选择的标签的人物的情况下(步骤S1540:是),第2变形主角度信息计算部将场景数量的倒数与多样性相加,作为新的多样性(步骤S1550)。
在进行了步骤S1640的处理的情况下,或者在步骤S1540的处理中未摄入所选择的标签的人物的情况下(步骤S1540:否),第2变形主角度信息计算部调查是否还存在未选择的场景(步骤S1560)。
在步骤S1560的处理中,在存在未选择场景的情况下(步骤S1560:否),第2变形主角度信息计算部2选择未选择场景中的1个场景(步骤S1570),再次返回步骤S1530的处理,继续进行步骤S1530以后的处理。
在步骤S1560的处理中,在不存在未选择场景的情况下(步骤S1560:是),第2变形主角度信息计算部调查是否还存在未选择的标签(步骤S1580)。
在步骤S1580的处理中,在存在未选择标签的情况下(步骤S1580:否),第2变形主角度信息计算部选择未选择标签中的1个标签(步骤S1590),再次返回步骤S1520的处理,继续进行步骤S1520以后的处理。
在步骤S1580的处理中,在不存在未选择标签的情况下(步骤S1580:是),第2变形主角度信息计算部结束该第2变形多样性计算处理。
<具体例>
下面,使用具体例补充说明。
这里,使用图12补充说明第2变形多样性计算处理的动作。
在图像群组1200中,设图像1201~图像1205是被划分到第1场景的图像,图像1206~图像1208是被划分到第2场景的图像,图像1209和图像1210是被划分到第3场景的图像。
儿子被摄入第1场景、第2场景和第3场景,所以,儿子的多样性为(1÷3)×3=1。
外人A仅被摄入第1场景,所以,外人A的多样性为(1÷3)×1=0.33。
这样,与被摄入照片的分布有所偏向的外人A相比,被摄入照片的分布分散的儿子的多样性高。
<总结>
根据上述第2变形图像分类装置,与图像分类装置100同样,按照图像群组单位将由在一个事件中拍摄的图像群构成的图像群组分类到分类目的地事件,所以,在一个事件中拍摄的图像不会被分类到相互不同的分类目的地事件。
<发明的效果>
以上,作为本发明的图像分类装置的一个实施方式,在实施方式1、实施方式2、实施方式3中示出能够对事件进行分类,但是,通过使用事件的分类结果,能够对用户提示、选择和再现分类目的地相同的事件群,按照分类目的地分配同一图标,由此,能够容易地进行图像鉴赏时的用户导航。并且,在用户根据图像群组制作电子相册的应用中,通过使用事件分类的结果,能够按照事件的分类目的地,根据分类目的地,自动选择记述了例如按照婚礼或运动会的分类目的地准备的相册的背景图像、图像的配置信息、装饰用图像及其配置的模板,提示给用户。
<补充>
以上,作为本发明的图像分类装置的一个实施方式,在实施方式1、实施方式2、实施方式3中说明了进行图像群组分类处理的图像分类装置的例子,但是,也可以如下所述那样变形,本发明当然不限于上述实施方式所示的图像分类装置。
(1)在实施方式1中,图像分类装置100存储的图像为以JPEG方式编码后的数据,但是,只要能够将数字照片作为数据进行存储即可,也可以利用JPEG方式以外的编码方式、例如PNG(PortableNetworkGraphics)方式或GIF(GraphicsInterchangeFormat)方式等进行编码,也可以采用未编码的位图方式的数据。
并且,作为内容,示出数字照片作为例子,但是,只要是能够作为数字数据进行存储的图像即可,例如也可以是由扫描仪读取的绘图数据等。
(2)在实施方式1中,CPU101、ROM102、RAM103、硬盘装置接口104、外部记录介质读取写入装置接口105、USB控制装置接口106、输出装置接口107、输入装置接口108、通信装置接口109、解码器111、总线120集成在系统LSI110上,但是,只要能够实现与系统LSI110相同的功能即可,不是必须统合为1个LSI,也可以由多个集成电路等实现。
(3)在实施方式1中,解码器111为DSP,但是,只要具有对编码后的数据进行解码的功能即可,不是必须为DSP,例如,可以是兼用CPU101的结构,也可以是与CPU101不同的CPU,还可以是由ASIC等构成的专用电路。
(4)在实施方式1中,输入装置170构成为具有受理从遥控器197以无线方式发送的来自用户的操作命令的功能,但是,只要具有受理来自用户的操作命令的功能即可,不是必须构成为具有受理从遥控器197以无线方式发送的操作命令的功能,例如也可以构成为具有键盘和鼠标,具有经由键盘和鼠标受理来自用户的操作命令的功能,还可以构成为具有按钮群,具有经由按钮群受理来自用户的操作命令的功能等。
(5)在实施方式1中,图像群组数据受理部201受理2张以上的图像的指定,将所指定的图像群作为1个图像群组中包含的图像群,但是,只要能够取得图像与图像群组的对应即可,例如,图像群组数据受理部201也可以构成为,取得图像数据和属于图像群组的图像的列表,根据所取得的列表将图像和图像群组对应起来,例如,图像群组数据受理部201还可以构成为,取得图像数据、拍摄该图像数据的摄影时刻的信息、摄影时刻的信息与图像群组的对应关系的信息,根据所取得的摄影时刻的信息将图像和图像群组对应起来。
并且,只要能够取得图像与图像群组的对应即可,不是必须由用户进行指定来取得对应,也可以构成为,利用现有技术,自动进行图像与图像群组的对应。
(6)在实施方式1中,图像群组数据受理部201对所读入的图像以时序赋予图像ID,但是,只要能够进行赋予而避免重复即可,不是必须以时序赋予图像ID。
(7)在实施方式1中,图像特征量提取部205尝试识别人的面部,对识别到的各个识别面部赋予面部ID,但是,尝试识别的对象只要具有能够确定为对象物的特征即可,不必限定为人的面部,例如,也可以是狗或猫这样的宠物的面部、特定车型的车、特定建筑物等。
(8)在实施方式1中,面部模型例如是眼、鼻、口等形成面部的要素的亮度、相对位置关系的相关信息等,但是,只要是能够识别面部的信息即可,除此之外,例如也可以是眼的颜色、黑痣的位置、肌肤的颜色等表示面部特征的信息,还可以是多个表示面部特征的信息的组合。
(9)在实施方式1中,图像特征量提取部205确定的颜色为黑色、蓝色、绿色、白色,但是,不必限于这些颜色,例如,也可以是红色、黄色等。
(10)在实施方式1中,私密度为“极高”、“高”、“普通”、“低”4个阶段中的1个阶段,但是,只要是表示针对家庭以外人物的重要度的家庭人物的重要度的指标即可,不必限于4个阶段中的1个阶段,例如,也可以是10个阶段中的1个阶段,还可以利用数值连续表现。
并且,根据家庭主角度相对于外人主角度的比率进行私密度的情况划分,但是,只要能够唯一进行私密度的情况划分即可,不是必须根据家庭主角度相对于外人主角度的比率进行,例如,也可以根据外人主角度的绝对值进行私密度的情况划分,在外人主角度的绝对值为0的情况下,将私密度决定为“极高”。
进而,例如,也可以通过逻辑回归分析法、SVM(SupportVectorMachine)法等的使用学习模型实现的手法,进行私密度的情况划分。
(11)在实施方式1中,图像群组分类部208根据私密度和重要人物将图像群组分类到分类目的地事件,但是,只要能够根据反映了主角度的指标将图像群组分类到分类目的地事件即可,不是必须根据私密度和重要人物进行分类,例如,也可以仅根据某个特定人物的主角度将图像群组分类到分类目的地事件。
图17示出在图像群组分类部208仅根据图像装置用户的主角度的值将图像群组分类到分类事件的例子中、图像群组分类部208利用的事件特征信息的数据结构。
如该图所示,该事件特征信息将用户的主角度即主角度1701和分类目的地事件1702对应起来,例如,示出主角度小于1的图像群组应该被分类到“风景”作为分类目的地事件。
并且,例如,可以通过逻辑回归分析法、SVM法等的使用学习模型实现的手法进行图像群组的分类,也可以通过K-means法等聚类手法进行图像群组的分类。
(12)在实施方式1中,计算图像群组中包含的图像的张数加上2的数量除以出现张数加上1的数量而得到的值,在小数点第1位的位对计算出的值进行四舍五入,从而计算基准值,但是,只要基于图像群组中包含的图像的张数加上2的数量除以出现张数加上1的数量而得到的值即可,不是必须在小数点第1位的位进行四舍五入并计算,例如,也可以不进行四舍五入而计算为基准值,还可以舍弃小数点第2位以下的位进行计算。
(13)在实施方式1中,家庭主角度是与家庭的名称(儿子、母亲、父亲)的标签对应的主角度中的最大主角度,但是,只要反映家庭成员的主角度即可,不是必须为与家庭的名称的标签对应的主角度中的最大主角度,例如,也可以是家庭成员的主角度的总和。
并且,外人主角度是与家庭的名称的标签以外的标签对应的主角度的总和,但是,只要反映家庭以外的人物的主角度即可,不是必须为与家庭的名称的标签以外的标签对应的主角度的总和,例如,可以是家庭以外人物的主角度中的最大主角度,也可以是面部摄入多个图像中的家庭以外的人物的主角度的总和,还可以是面部摄入多个图像中的家庭以外的人物中的最大主角度,还可以是家庭以外的主角度中的比家庭成员的主角度高的主角度的人物的主角度的总和。
(14)在实施方式1中,子主角度是将面部面积、面部位置、面部朝向、多样性相加而得到的值,但是,只要反映面部面积、面部位置、面部朝向、多样性中的至少一方即可,不是必须将这些全部相加,例如,可以是将面部面积和多样性相加而得到的值,也可以是对面部面积、面部位置、面部朝向、多样性进行加权相加而得到的值,还可以是将面部面积、面部位置、面部朝向、多样性相加而得到的值除以该图像中包含的识别面部的数量而得到的值,还可以是将面部面积、面部位置、面部朝向、多样性相加而得到的值除以该图像中包含的家庭以外的识别面部的数量而得到的值。
(15)在实施方式1中,图像特征量提取部205对识别到的各个面部以时序赋予用于确定该识别面部的面部ID,但是,只要能够进行赋予而避免重复即可,不是必须以时序赋予。
(16)在实施方式1中,颜色特征量针对图像全体而示出特征,但是,只要示出图像的颜色特征即可,例如,也可以针对图像的上半部分这样的一部分而示出特征,还可以针对图像左10%的部分和图像右10%的部分这样的多个一部分而示出特征。
(17)在实施方式1中,通过与摄入采样图像中的人物进行比较,决定摄入图像中的人物是否是家庭成员,但是,只要能够识别为特定人物即可,不是必须通过与摄入采样图像中的人物进行比较来决定,例如,也可以将在多个图像群组中出现的人物决定为家庭成员。
(18)在实施方式1中,图像群组分类部208决定应该被分类的分类目的地事件后,在与应该被分类的分类目的地事件对应的事件目录下,制作和与图像群组对应的事件名相同名称的事件目录,在该事件目录下,展开属于图像群组的全部图像数据的链接,由此,对图像群组进行分类,但是,只要将属于图像群组的图像与相同的分类目的地事件对应起来即可,不是必须通过展开链接来对图像群组进行分类,例如,也可以对属于图像群组的图像赋予用于确定分类目的地事件的标签。
(19)在实施方式1中,由主角度信息计算部206计算出的多样性是通过进行所述多样性计算处理而计算出的,但是,例如,如针对通过进行所述多样性计算处理而计算出的多样性、乘以出现张数加上1的数量除以出现张数而得到的数量而得到的值那样,只要利用通过进行所述多样性计算处理而计算出的多样性进行计算即可,不必限于通过进行所述多样性计算处理而计算出的多样性本身。
关于这里例示的针对通过进行所述多样性计算处理而计算出的多样性、乘以出现张数加上1的数量除以出现张数而得到的数量而得到的值,以可取的最大值为1的方式进行归一化。
(20)也可以将用于使图像分类装置的CPU和与该CPU连接的各种电路执行实施方式1~3所示的图像群组分类动作等的由程序码构成的控制程序记录在记录介质中,或者经由各种通信路等流通、发行。这种记录介质具有IC卡、硬盘、光盘、软盘、ROM等。流通、发行的控制程序被存储在可由CPU读出的存储器等中加以利用,该CPU执行该控制程序,由此实现各实施方式所示的各种功能。另外,也可以经由各种通信路等将控制程序的一部分发送到与图像分类装置分开的可执行程序的装置(CPU),在该分开的可执行程序的装置中执行该控制程序的一部分。
(21)下面,进一步说明本发明的一个实施方式的图像分类装置的结构及其变形例和各效果。
(a)本发明的一个实施方式的图像分类装置的特征在于,具有:图像确定部,从由与一个事件关联地逐次拍摄的多个图像构成的图像群组中,确定摄入具有规定特征的目标的图像;评价值计算部,根据反映了所述图像群组中包含的各个图像的摄影时刻的时间信息的集合中的、反映了由所述图像确定部确定的各个图像的摄影时刻的时间信息的分布,计算具有所述规定特征的目标的评价值;以及图像群组分类部,根据由所述评价值计算部计算出的评价值,对与所述图像群组关联的所述事件进行分类。
这里,具有规定特征的目标例如是特定个人的面部、特定宠物的面部、特定车型的车、特定建筑物等。
具有上述结构的图像分类装置按照由与一个事件关联地拍摄的多个图像构成的图像群组单位对图像进行分类。
因此,能够对图像进行分类,以使得与某个事件关联的拍摄的多个图像不会被分类为相互不同的类别。
图18是示出上述变形例中的图像分类装置的功能结构的功能框图。
如该图所示,该图像分类装置由图像确定部1801、评价值计算部1802、图像群组分类部1803构成。
图像确定部1801具有如下功能:从由与一个事件关联地逐次拍摄的多个图像构成的图像群组中,确定摄入具有规定特征的目标的图像。作为一例,作为实施方式1(参照图2)中的图像群组数据受理部201、图像写入读出部202、图像特征信息写入读出部203、图像特征量提取部205、主角度信息计算部206的一部分(实现功能1和功能2的部分)、采样图像受理部213、采样图像写入部214、图像存储部231、图像特征信息存储部232、面部对应表存储部235、采样图像存储部236而实现。
评价值计算部1802具有如下功能:根据反映了图像群组中包含的各个图像的摄影时刻的时间信息的集合中的、反映了由图像确定部1801确定的各个图像的摄影时刻的时间信息的分布,计算具有规定特征的目标的评价值。作为一例,作为实施方式1中的主角度信息写入读出部204、主角度信息计算部206的一部分(实现功能3、功能4、功能5的部分)、事件名信息受理部211、主角度信息存储部233而实现。
图像群组分类部1803具有如下功能:根据由评价值计算部1802计算出的评价值,对与图像群组关联的事件进行分类。作为一例,作为实施方式1中的图像群组分类部208、事件特征信息写入读出部209、分类结果输出部210、事件特征信息受理部212、事件特征信息存储部234而实现。
(b)并且,所述图像分类装置也可以具有:信息受理单元,从利用所述图像分类装置的用户受理所述规定特征的信息;以及存储单元,根据由所述信息受理单元受理的信息生成所述规定信息并存储,所述图像确定部利用在所述存储单元中存储的规定特征进行所述图像的确定,所述时间信息是按照摄影时刻顺序排列所述图像群组中包含的各图像时的顺序,所述评价值计算部根据由所述图像群组中包含的各个图像的摄影时刻的顺序构成的集合中的、由所述图像确定部确定的各个图像的摄影时刻的顺序的分布,进行所述评价值的计算。
通过采用这种结构,利用图像分类装置的用户能够输入用于生成规定信息的信息,所以,能够使规定信息反映用户的嗜好。
进而,只要知道各图像的摄影顺序即可,即使无法准确地知道各图像的摄影时刻,也能够对事件进行分类。
(c)并且,所述图像分类装置也可以具有:基准值计算部,计算所述图像群组中包含的图像的张数加上2后的数量除以由所述图像确定部确定的图像的数量加上1后的数量而得到的基准值;以及差分值计算部,针对各个由所述图像确定部确定的图像中按照摄影时刻顺序连续的2张图像的组即连续图像组,计算2张图像在所述图像群组中包含的图像中的摄影时刻的顺序之差即差分值,所述评价值计算部针对各个连续图像组,进行由所述基准值计算部计算出的基准值与由所述差分值计算部计算出的差分值的比较,根据由所述差分值计算部计算出的差分值比由所述基准值计算部计算出的基准值大的连续图像组的数量,进行所述评价值的计算。
通过采用这种结构,能够利用四则运算和大小比较运算的组合来计算评价值,所以,能够通过已知手法的组合来实现评价值计算部进行的评价值的计算。
(d)并且,所述图像分类装置也可以具有差分平方值计算部,该差分平方值计算部针对各个由所述图像确定部确定的图像中按照摄影时刻顺序连续的2张图像的组即连续图像组,计算对2张图像在所述图像群组中包含的图像中的摄影时刻的顺序之差进行平方而得到的差分平方值,所述评价值计算部根据由所述图像确定部计算出的差分平方值的总和以及所述图像群组中包含的图像的数量,进行所述评价值的计算。
通过采用这种结构,能够利用四则运算的组合来计算评价值,所以,能够通过已知手法的组合来实现评价值计算部进行的评价值的计算。
(e)并且,所述图像分类装置也可以具有子图像群组划分部,该子图像群组划分部按照摄影时刻顺序将构成图像群组的图像群划分为多个子图像群组,以使得在同一场景中拍摄的图像为同一子图像群组,所述评价值计算部根据由所述图像确定部确定的摄入目标的图像所属的子图像群组的数量,进行所述评价值的计算。
通过采用这种结构,能够利用包含摄入了具有规定特征的目标的图像的场景的数量来计算评价值,所以,能够通过已知手法的组合来实现评价值计算部进行的评价值的计算。
(f)并且,所述图像分类装置也可以构成为,所述时间信息是摄影时刻,所述评价值计算部根据所述图像群组中包含的各个图像的摄影时刻的集合中的、由所述图像确定部确定的各个图像的摄影时刻的分布,进行所述评价值的计算。
通过采用这种结构,在属于图像群组的各图像预先与包含摄影时刻的信息的Exif(ExchangeableImageFileFormat)文件夹对应的情况下,即使不新生成时间信息,也能够直接利用已经存在的Exif文件夹中包含的摄影时刻的信息。
(g)并且,所述图像分类装置也可以具有:比较用图像确定部,从所述图像群组中,确定摄入具有与所述规定特征不同的特征的目标的图像;以及比较用评价值计算部,根据由反映了所述图像群组中包含的各个图像的摄影时刻的时间信息构成的集合中的、反映了由所述比较用图像确定部确定的各个图像的摄影时刻的时间信息的分布,计算具有与所述规定特征不同的特征的目标的比较用评价值,所述图像群组分类部还根据由所述比较用评价值计算部计算出的比较用计算值,进行所述事件的分类。
通过采用这种结构,与根据具有规定特征的目标为一个时的评价值进行的事件分类相比,能够进行更细致的事件分类。
(h)并且,所述图像分类装置也可以具有面积计算部,该面积计算部针对由所述图像确定部确定的各个图像,计算具有所述规定特征的目标的面积,所述评价值计算部还根据由所述面积计算部计算出的具有所述规定特征的目标的面积,进行所述评价值的计算。
通过采用这种结构,例如,能够根据具有规定特征的目标的面积来计算评价值,以使得具有规定特征的目标的面积越大,评价值越大。
(i)并且,所述图像分类装置也可以具有位置计算部,该位置计算部针对由所述图像确定部确定的各个图像,计算图像中心与具有所述规定特征的目标的位置之差,所述评价值计算部还根据由所述位置计算部计算出的所述差,进行所述评价值的计算。
通过采用这种结构,例如,能够根据具有规定特征的目标的位置来计算评价值,以使得具有规定特征的目标的位置越接近图像中心,评价值越大。
(j)并且,所述图像分类装置也可以构成为,具有所述规定特征的目标是具有规定特征的人的面部,所述图像分类装置具有面部角度计算部,该面部角度计算部针对由所述图像确定部确定的各个图像,计算具有所述规定特征的人的面部以正面朝向为基准的角度,所述评价值计算部还根据由所述面部角度计算部计算出的具有所述规定特征的人的面部的所述角度,进行所述评价值的计算。
通过采用这种结构,例如,能够根据具有规定特征的人的面部朝向来计算评价值,以使得具有规定特征的人的面部朝向越是朝向正面,评价值越大。
产业上的可利用性
本发明的图像分类装置能够广泛应用于具有存储多个数字图像的功能的设备。
标号说明
100:图像分类装置;201:图像群组数据受理部;202:图像写入读出部;203:图像特征信息写入读出部;204:主角度信息写入读出部;205:图像特征量提取部;206:主角度信息计算部;208:图像群组分类部;209:事件特征信息写入读出部;210:分类结果输出部;211:事件名信息受理部;212:事件特征信息受理部;213:采样图像受理部;214:采样图像写入部;231:图像存储部;232:图像特征信息存储部;233:主角度信息存储部;234:事件特征信息存储部;235:面部对应表存储部;236:采样图像存储部。