具体实施方式
以下,参照附图对作为本发明的实施方式的图像管理装置进行说明。
<1.概要>
图1是表示由作为本发明的实施方式的图像管理装置100、和与其关联的装置构成的图像管理系统10的例子的系统结构图。图像管理装置100与摄影装置110及显示装置120连接。此外,图像管理装置100也可以接受控制器130进行的用户的操作。
摄影装置110是能够摄影图像、此外能够将摄影的图像储存的装置,例如是数字照相机。经由UniversalSerialBus(USB)电缆等的电缆将储存的图像群向图像管理装置100输入。
这里所述的图像,是像素值的数据的集合。图像既可以是例如照片等的静止图像,也可以是运动图像。这里假设图像是照片、是静止图像。
显示装置120是通过经由High-DefinitionMultimediaInterface(HDMI)电缆等的电缆与图像管理装置100连接、将从图像管理装置100输出的影像显示的装置,例如是数字电视机。
图像管理装置100被从摄影装置110输入图像群,将输入的图像群基于作为图像的重要度的图像重要度分等级,将分等级结果向显示装置120输出。图像管理装置100从图像中检测具有特定的图案的目标,将较多包含有对于用户而言评价为重要度较高的目标的图像评价为图像重要度较高的图像。因此,通过从图像重要度较高的图像向图像重要度较低的图像依次搜索图像,用户能够容易地选择对于自己重要的图像。
这里,所谓目标,是通过图像管理装置100具有的样板在图像中检测的要素。样板具有用来确定目标的信息,该样板例如是表示有关人物的脸的特征量的图案的数据,如果使用该样板,则能够检测人物的脸作为目标。
图像管理装置100对于各目标,评价表示该目标对于用户而言是怎样程度重要的目标重要度。目标重要度基于图像管理装置100将目标分类为簇的结果,基于属于与评价目标的目标相同的簇的目标的个数评价。
这里,所谓簇,是将具有类似的目标特征量的目标汇总分类时的分类的单位。例如假设目标是人物,即使有摄影了同一人物的多个图像,因摄影状态的变化等而从各个图像提取的人物的目标特征量不完全相同的情况也较多。但是,如果是同一人物,则考虑即使不完全相同、也具有相互类似的目标特征量,属于相同的簇的可能性较高。因此,如果将属于相同的簇的目标看作是同一人物,则被许多摄影的人物属于相同的簇的目标的个数变多,将目标重要度较高地评价。
以下,对有关本发明的图像管理装置100的实施方式更详细地说明。
<2.实施方式1>
在实施方式1中,对作为目标而检测人物的脸、作为目标重要度而评价人物的重要度、基于该目标重要度评价图像的图像重要度而分等级的图像管理装置100进行说明。
<2-1.结构>
作为本发明的实施方式1的图像管理装置100关于硬件结构,具备输入图像的USB输入端子、输出影像的HDMI输出端子、存储数据和程序的存储器及执行程序的处理器。
图2是将有关本发明的实施方式1的图像管理装置100的功能结构也包括与其关联的装置而表示的块图。
在图2中,图像管理装置100由图像取得部201、图像存储部202、目标检测部203、样板存储部204、目标出现信息存储部205、目标特征量存储部206、目标分类部207、簇特征量存储部208、簇分类信息存储部209、同现信息生成部210、类似度计算部211、准确度计算部212、评价值计算部213、目标重要度评价部214、图像重要度评价部215、图像分等级部216、图像输出部217及操作输入部218构成。
图像取得部201具有通过USB输入端子等的输入接口取得摄影装置110储存的图像群的功能。图像取得部201对所取得的图像群的各图像赋予图像ID(IDentifier)301,在图像存储部202中将图像ID301与图像数据302建立对应而作为图像群300保存。
图像存储部202具有将包含在由图像取得部201取得的图像群300中的全部图像的图像ID301和图像数据302存储的功能。图像存储部202例如通过存储器实现。图3是表示图像存储部202存储的图像群300的例子的图。关于图3,在后面详细地说明。
目标检测部203具有从保存在图像存储部202中的图像群300的各图像中提取特征量、使用保存在样板存储部204中的样板检测目标、对检测到的目标赋予用来确定各目标的目标ID402的功能。目标检测部203的功能通过例如处理器执行保存在存储器中的程序来实现。对于特征量在后面详细地说明。图4是表示从图像中检测目标的例子的图。对于图4在后面详细地说明。目标检测部203还按照图像将图像ID301与在该图像中检测到的目标的目标ID402建立对应,作为目标出现信息500保存到目标出现信息存储部205中,按照检测到的目标将目标ID402与作为该目标的特征量的目标特征量601建立对应而保存到目标特征量存储部206中。
样板存储部204存储有具有用来由目标检测部203在图像中检测目标的信息的样板。样板存储部204例如通过存储器实现。这里,样板是表示有关人物的脸的特征量的图案的数据,假设样板存储部204存储有根据预先准备的学习数据生成的样板。
目标出现信息存储部205具有按照图像存储目标出现信息500的功能。目标出现信息存储部205例如通过存储器实现。图5表示目标出现信息存储部205存储的目标出现信息500的例子。对于图5在后面详细说明。
目标特征量存储部206具有将由目标检测部203检测到的目标具有的目标特征量601与目标ID402一起存储的功能。目标特征量存储部206例如通过存储器实现。图6是表示目标特征量存储部206存储的目标的目标特征量的例子的图。对于图6在后面详细说明。
目标分类部207具有基于保存在目标特征量存储部206中的目标的目标特征量、和保存在簇特征量存储部208中的簇的簇特征量702将目标分类为簇的功能。此外,还具有根据被分类为簇的目标的目标特征量计算簇的簇特征量702的功能。对于簇赋予用来识别各簇的簇ID703,将计算出的簇特征量702与该簇的簇ID703建立对应而保存在簇特征量存储部208中,将各簇的簇ID703、分类到该簇中的目标的目标ID402与分类到簇中的目标的个数建立对应,作为簇分类信息900保存到簇分类信息存储部209中。目标分类部207的功能例如通过处理器执行保存在存储器中的程序来实现。
簇特征量存储部208将簇具有的簇特征量702与簇ID703建立对应存储。簇特征量存储部208例如通过存储器实现。簇特征量存储部208存储的簇特征量702根据需要而被目标分类部207更新。
簇分类信息存储部209具有按照簇存储簇分类信息900的功能。簇分类信息存储部209例如通过存储器实现。图9表示簇分类信息存储部209存储的簇分类信息900的例子。对于图9在后面详细说明。
同现信息生成部210具有根据保存在目标出现信息存储部205中的目标出现信息500、和保存在簇分类信息存储部209中的簇分类信息900检测图像群300的各图像中的同现关系和非同现的状态、生成同现信息1100的功能。同现信息生成部210的功能例如通过处理器执行保存在存储器中的程序来。对于同现信息1100在后面详细说明。
类似度计算部211具有计算保存在目标特征量存储部206中的目标的目标特征量与保存在簇特征量存储部208中的簇的簇特征量702表示怎样程度类似的类似度1201的功能。类似度计算部211的功能例如通过处理器执行保存在存储器中的程序来实现。
准确度计算部212具有基于同现信息生成部210生成的同现信息1100和类似度计算部211计算出的类似度1201计算由评价值计算部213在评价值1401的计算处理中使用的准确度1301的功能。准确度计算部212的功能例如通过处理器执行保存在存储器中的程序来实现。
评价值计算部213具有根据由准确度计算部212计算出的准确度1301、和保存在簇分类信息存储部209中的被分类到簇中的目标的个数计算对于目标的簇的评价值1401的功能。评价值计算部213的功能例如通过处理器执行保存在存储器中的程序来实现。
目标重要度评价部214具有基于由评价值计算部213计算出的评价值1401评价目标的目标重要度1501的功能。目标重要度评价部214的功能例如通过处理器执行保存在存储器中的程序来实现。
图像重要度评价部215具有基于保存在目标出现信息存储部205中的目标出现信息500、和保存在目标重要度评价部214中的目标重要度1501评价图像的图像重要度1601的功能。图像重要度评价部215的功能例如通过处理器执行保存在存储器中的程序来实现。
图像分等级部216具有基于图像重要度评价部215评价的图像重要度1601对图像群300赋予顺序的功能。图像分等级部216的功能例如通过处理器执行保存在存储器中的程序来实现。
图像输出部217具有将存储在图像存储部202中的图像群300基于由图像分等级部216赋予了顺序的顺序通过HDMI输出端子等的输出接口显示在显示装置120上的功能。此外,可以通过从操作输入部218接收到的控制信号使输出图像的显示形态变化。例如,在图像数较多而不是全部图像包含在画面中的情况下,可以使画面滚动以将没有显示的图像显示。图像输出部217的功能例如通过处理器执行保存在存储器中的程序来实现。
操作输入部218具有通过红外线受光器等受理从控制器130发出的用户的操作、将对应于操作的控制信号向图像输出部217发送的功能。操作输入部218的功能例如通过处理器执行保存在存储器中的程序来实现。
<2-2.数据>
接着,对具备上述结构的图像管理装置100处理的信息进行说明。
<2-2-1.图像群>
图像群300是图像管理装置100分等级的目标的多个图像。图像群300根据由图像取得部201从摄影装置110输入的多个图像生成,保存在图像存储部202中,被目标检测部203及图像输出部217使用。
图3是表示图像群300的数据结构及内容例的图。如该图所示,图像群300由用来识别各图像的图像ID301和图像数据302构成。
图像ID301是用来在图像管理装置100内唯一识别各图像的识别码,由图像取得部201赋予,以使其对于图像数据302一对一地对应。图像ID301由图像取得部201生成。图像ID301例如是以图像取得部201从摄影装置110取得图像的顺序从1开始分配号码、对该号码的开头附加拉丁字母的“I”而成的。
在图3的例子中,对图像数据302a赋予I001、对图像数据302b赋予I002、对图像数据302c赋予I003、对图像数据302d赋予I004的图像ID301。
另外,以下当以在图3中举出的图像为具体例进行说明时,将该图像用图像ID301称呼。例如,将由I001的图像ID301识别的图像称作图像I001。
<2-2-2.目标出现信息>
目标出现信息500是表示在哪个图像中检测到了哪个目标的信息。目标出现信息500由目标检测部203生成,保存在目标出现信息存储部205中,由同现信息生成部210、准确度计算部212及图像重要度评价部215使用。
图4是表示目标检测部203检测到目标的区域401及在该区域401中检测到的目标的目标ID402的例子的图,图5是目标出现信息500的数据结构及对应于图4的内容例。
如图5所示,目标出现信息500按照图像用图像ID301与用来识别在该图像中被检测到的目标的各目标的目标ID402的组表示。包含在图像中的目标既有1个的情况,也有存在多个的情况,也有1个也不包括的情况。
目标ID402是用来在图像管理装置100内唯一识别各目标的识别码,由目标检测部203赋予,以使其对于目标一对一地对应。目标ID402由目标检测部203生成。目标ID402例如是目标检测部203检测到目标的顺序从1开始分配号码、对该号码的开头附加拉丁字母的“O”而成的。
在图4的例子中,分别对在区域401a中检测到的目标赋予O001、对在区域401b中检测到的目标赋予O002、对在区域401c中检测到的目标赋予O003、对在区域401d中检测到的目标赋予O004、对在区域401e中检测到的目标赋予O005、对在区域401f中检测到的目标赋予O006的目标ID402。
另外,以下在以在图4中举出的目标为具体例进行说明时,将该目标用目标ID402称呼。例如,由O001的目标ID402识别的目标称作目标O001。
如果使用目标出现信息500,则能够取得在特定的图像中包含的目标的目标ID402,相反也能够取得包含特定的目标的图像的图像ID301。
在图5的例子中,根据目标出现信息500可知在图像I002中包含目标O003、目标O004及目标O005。此外,可知包含有目标O002的图像是图像I001。
<2-2-3.特征量>
所谓特征量,是表示关于有关图像中的多个像素的像素值的分布的特征的量。例如特征量是以表示图像的特征的多个数值为成分的矢量。在图像的特征中,有使用Gabor过滤器得到的图像数据的像素值的分布的周期性及方向性等,在有关人物的脸的特征量的情况下,可以根据像素值的分布的周期性及方向性等将识别为眼睛的两个点之间的距离、和识别为鼻子的点与识别为嘴的点的距离等的量作为成分。
目标特征量601是由目标检测部203提取的特征量中的被作为目标检测到的特征量,由目标检测部203生成,与目标ID402一起保存在目标特征量存储部206中。并且,在目标分类部207及类似度计算部211中使用。
图6是保存在目标特征量存储部206中的目标特征量601的数据结构和内容例。这里,目标特征量601由包括特征量成分1、特征量成分2、特征量成分3的多个特征量成分构成。
在该图的例子中,在目标O001的目标特征量601中,特征量成分1作为90.3、特征量成分2作为98.4、特征量成分3作为71.4被保存。
<2-2-4.簇>
作为关于簇的数据,对簇ID703、簇特征量702、簇分类信息900进行说明。
图7是表示目标分类部207将目标分类为簇的形象图的图。这里,设601a、601b、601c、601d、601e及601f分别表示目标O001、目标O002、目标O003、目标O004、目标O005及目标O006的目标特征量601,以下,在实施方式1的说明中,同样设为标号与目标对应。
在该图中,在特征量空间700中有簇701a、簇701b、簇701c的3个簇,被簇的边界704划分。
簇ID703是用来在图像管理装置100内唯一地识别各簇的识别码,由目标分类部207赋予,以使其对于簇一对一地对应。簇ID703由目标分类部207生成。簇ID703例如是以目标分类部207生成簇的顺序从1开始分配号码、对该号码的开头附加拉丁字母“C”而成的。
在图7的例子中,对于簇701a赋予C001,对于簇701b赋予C002,对于簇701c赋予C003的簇ID703。
另外,以下当以在图7中举出的簇为具体例进行说明时,将该簇用簇ID703称呼。例如,由C001的簇ID703识别的簇称作簇C001。
簇特征量702是通过簇具有的特征量代表包含在簇中的全部目标的目标特征量601的值。簇特征量702保存在簇特征量存储部208中,根据需要而由目标分类部207生成、丢弃及更新。
图8是簇特征量702的数据结构及对应于图7的簇的数据的内容例。簇特征量702的数据结构与目标特征量601是同样的。
簇特征量702例如被作为包含在簇中的目标的目标特征量601的相加平均计算。
在图8的例子中,在簇C001的簇特征量702中,特征量成分1作为94.4、特征量成分2作为90.2、特征量成分3作为79.8被保存。
簇分类信息900是表示目标分类部207将哪个目标分类到哪个簇中的信息。簇分类信息900由目标分类部207生成、保存在簇分类信息存储部209中,在同现信息生成部210及评价值计算部213中使用。
图9是簇分类信息900的数据结构及对应于图7的簇的数据的内容例。簇分类信息900按照簇、由簇ID703、属于该簇的各目标的目标ID402、和属于该簇的目标的个数901的组构成。
在图7的例子中,分别具有601a、601b、601c的目标特征量601的目标O001、目标O003及目标O006属于由701a的标号表示的簇C001,在对应于图7的图9的例子中,目标O001、目标O003、目标O006属于簇C001的簇分类信息900,保存有属于簇C001的目标的个数901全部有30个的信息。
<2-2-5.同现信息>
这里,首先对同现及非同现进行说明,接着对同现信息1100进行说明。
一般而言,所谓同现,是指两个事件都发生。例如,当属于簇A的目标和属于簇B的目标都包含在1个图像中时,可以说在该图像中“包含属于簇A的目标”的事件和“包含属于簇B的目标”的事件同现。
这里,将在1个图像中“包含属于簇A的目标”的事件和“包含属于簇B的目标”的事件同现的情况称作簇A和簇B同现。即,当属于簇A的目标和属于簇B的目标都包含在1个图像中时,设为簇A和簇B同现。
此外,当簇A和簇B同现时,称作在簇A与簇B之间有同现关系,特别是当在发生“包含属于簇A的目标”的事件的情况下发生“包含属于簇B的目标”的事件时,设在有从簇A对簇B的同现关系。
图10是同现关系的形象图。虚线的箭头1001表示同现关系,将都包含在相同的图像中的目标彼此联系。
例如,在包含目标a的图像中一起包含有目标b的情况下,添加从目标a朝向目标b的箭头1001。此外,同时也可以说在包含目标b的图像中一起包含有目标a,所以也添加从目标b朝向目标a的箭头1001。并且,在从属于簇A的目标a朝向属于簇B的目标b添加了箭头1001的情况下,有从簇A对簇B的同现关系。
在图10的例子中,在包含有对应于601a的目标O001的图像中一起包含有对应于601b的目标O002,所以可以说有从分别属于的簇C001(701a)对簇C002(701b)的同现关系。同时,由于在包含有目标O002的图像中一起包含有目标O001,所以可以说也有从簇C002对簇C001的同现关系。
此外,所谓非同现,是指没有同现,这里,特别是指某个簇在1个图像中与哪个簇都不同现。即,这里,所谓非同现,是指属于簇的目标在1个图像中仅包含唯一1个的事件。
在图10的例子中,对应于没有用箭头连结的601f的目标O006单独包含在图像中,由于没有一起包含在相同的图像中的目标,所以在包含目标O006的图像中目标O006属于的簇C001(701a)可以说是非同现的状态。
同现信息1100是关于簇间的同现的信息,由同现信息生成部210生成,由准确度计算部212使用。
图11是同现信息1100的数据结构及内容例。同现信息1100由表示从哪个簇对哪个簇的同现关系在图像群300的全部图像中有怎样的程度的同现度1101、和表示哪个簇的非同现的状态在图像群300的全部图像中有怎样的程度的非同现度1102构成。
同现度1101这里为在图像群300之中检测到同现关系的次数。所谓簇A的对簇B的同现度1101,是在图像群300之中检测到簇A对簇B的同现关系的次数。
非同现度1102这里为在图像群300之中检测到非同现的状态的次数。所谓簇A的非同现度1102,是在图像群300之中检测到簇A的非同现的状态的次数,与单独包含属于簇A的目标的图像的张数一致。
在图11的例子中,簇C001的对簇C001的同现度1101是0,对簇C002的同现度1101是8,对簇C003的同现度1101是2,并且非同现度1102是5。
在上述例子中,簇C001的对于簇C001的同现度1101是0意味着在包含属于簇C001的目标的图像中除了该目标以外不包括属于簇C001的目标。
此外,簇C001的对簇C002的同现度1101是8,意味着在包含属于簇C001的目标的图像中包含属于簇C002的目标的次数是8次。
并且,簇C001的非同现度1102是5意味着在包含属于簇C001的目标的图像中不包含其他目标的次数是5次。即,单独包含属于簇C001的目标的图像的张数是5张。
<2-2-6.类似度>
类似度1201是表示目标的目标特征量601和簇的簇特征量702具有怎样程度接近的值的值。类似度1201由类似度计算部211生成,由准确度计算部212使用。
图12是类似度1201的数据结构及内容例。类似度1201由对于目标的目标ID402和簇的簇ID703的组合的数值构成。
类似度1201可以设为例如用表示特征量空间700中的目标的目标特征量601的矢量与表示簇的簇特征量702的矢量的内积表示的数值、或根据目标的目标特征量601与簇的簇特征量702的差计算的数值等。这里,类似度1201为根据目标的目标特征量601与簇的簇特征量702的差计算的。
在图12的例子中,目标O003的对于簇C001、簇C002及簇C003的类似度1201分别为0.50、0.46及0.42。
<2-2-7.准确度>
准确度1301是将目标的与簇的关联的高度不仅使用类似度1201、还使用同现信息1100表示的值。准确度1301由准确度计算部212生成,由评价值计算部213使用。通过使用准确度1301,与仅根据类似度1201判断关联的高度相比能够更高精度地评价关联的高度。
目标A的对簇B的准确度1301这里基于目标A的对簇B的类似度1201、和簇B的同现信息1100计算。计算方法在后面详细说明。
图13是准确度1301的数据结构和内容例。准确度1301是由对目标的目标ID402与簇的簇ID703的组合的数值构成。
在该图的例子中,目标O003的对簇C001、簇C002及簇C003的准确度1301分别为0.46、0.53及0.39。
<2-2-8.评价值>
评价值1401是对目标与簇的组合计算的重要度,后述的目标重要度1501基于评价值1401评价。评价值1401由评价值计算部213生成,由目标重要度评价部214使用。
目标A的对簇B的评价值1401这里作为目标A的对于簇B的准确度1301、与属于簇B的目标的个数901的乘积计算。
图14是评价值1401的数据结构及内容例。评价值1401由对目标的目标ID402与簇的簇ID703的组合的数值构成。
在该图的例子中,目标O003的对簇C001、簇C002及簇C003的评价值1401分别为13.6、14.2及7.77。
在上述例子中,目标O003的对簇C001的评价值1401为作为目标O003的对簇C001的准确度1301的0.46是作为属于簇C001的目标的个数901的30的乘积为13.6。
<2-2-8.目标重要度>
目标重要度1501是按照目标评价的重要度,后述的图像重要度1601基于目标的目标重要度1501评价。目标重要度1501由目标重要度评价部214生成,在图像重要度评价部215中使用。
目标的目标重要度1501这里作为该目标的对于各簇的评价值1401的合计评价。
图15是目标重要度1501的数据结构及内容例。目标重要度1501由对于目标的目标ID402的数值构成。
在该图的例子中,目标O001、目标O002及目标O003的目标重要度1501分别为40.3、25.6及38.1。
在上述例子中,目标O001将目标O001的对于簇C001的评价值1401的13.6、对簇C002的评价值1401的14.2、对簇C003的评价值1401的7.77、与对其他簇的评价值1401全部相加,为40.3。
<2-2-9.图像重要度>
图像重要度1601是按照图像评价的重要度,图像管理装置100将图像群300基于各图像的图像重要度1601分等级。图像重要度1601由图像重要度评价部215生成,在图像分等级部216中使用。
图像的图像重要度1601这里作为包含在该图像中的全部目标的目标重要度1501的合计评价。
图16是图像重要度1601的数据结构及内容例。图像重要度1601由对图像的图像ID301的数值构成。
在该图的例子中,图像I001、图像I002、图像I003及图像I004的图像重要度1601分别为65.9、89.4、28.8及0。
在上述例子中,图像I001的图像重要度1601将目标O001的目标重要度1501的40.3与目标O002的目标重要度1501的25.6相加而为65.9。
在图17中表示基于图像重要度1601将图像群300的各图像排列的结果的一例。在该图的例子中,在分等级结果1700中,具有128的图像重要度1601的图像I017的位次1701是1位,在2位以下接着图像I002、图像I001及图像I072。
<2-3.动作>
接着,对有关本发明的图像管理装置100的动作进行说明。
<2-3-1.动作的概要>
使用图18的流程图说明图像管理装置100进行的动作的概要。
首先,图像取得部201取得储存在摄影装置110中的图像群。并且,将所取得的图像群300的各图像数据302与用来识别各个图像的图像ID301一起保存到图像存储部202中(S1801)。
接着,目标检测部203在保存在图像存储部202中的各图像中提取目标特征量601,检测目标(S1802)。目标检测部203按照图像生成目标出现信息500,保存到目标出现信息存储部205中。并且,将检测到的目标的目标特征量601与目标ID402建立对应而保存到目标特征量存储部206中。对于目标的检测处理在后面详细说明。
接着,目标分类部207将目标检测部203检测到的全部目标通过保存在目标特征量存储部206中的各目标的目标特征量601分类为簇(S1803)。此外,代表簇的簇特征量702也由目标分类部207计算。将作为分类的结果的簇分类信息900保存到簇分类信息存储部209中。此外,将计算出的簇特征量702保存到簇特征量存储部208中。对于目标的分类处理在后面详细说明。
接着,类似度计算部211根据保存在目标特征量存储部206中的各目标的目标特征量601和保存在簇分类信息存储部209中的簇特征量702计算各目标与各簇的类似度1201(S1804~S1806)。
接着,同现信息生成部210根据保存在目标出现信息存储部205中的目标出现信息500、和保存在簇分类信息存储部209中的簇分类信息900,检测图像群300中的同现关系和非同现的状态,生成全簇的同现信息1100(S1807)。对于同现信息1100的生成处理在后面详细说明。
接着,准确度计算部212基于类似度计算部211计算出的类似度1201、和同现信息生成部210生成的同现信息1100,计算各目标的对各簇的准确度1301,评价值计算部213基于准确度计算部212计算出的准确度1301和保存在簇分类信息存储部209中的簇分类信息900计算各目标的对各簇的评价值1401(S1808~S1809)。对于准确度1301的计算处理及评价值1401的计算处理在后面详细说明。
接着,目标重要度评价部214基于评价值计算部213计算出的评价值1401评价各目标的目标重要度1501(S1810~S1811)。目标重要度1501在这里作为对作为评价对象的目标的各簇的全部评价值1401的合计评价。
接着,图像重要度评价部215基于目标重要度评价部214评价的目标重要度1501、和保存在目标出现信息存储部205中的目标出现信息500评价各图像的图像重要度1601(S1812~S1813)。图像的图像重要度1601这里设为包含在图像中的全部目标的目标重要度1501的合计。此外,在没有包含目标的情况下,使图像的图像重要度1601为0。
接着,图像分等级部216根据图像重要度评价部215评价的图像重要度1601将图像群300分等级(S1814)。这里,以图像重要度1601的数值的降序将各图像排列。
最后,图像输出部217输出图像分等级部216分等级后的结果(S1815)。基于由图像分等级部216重新排列后的顺序、和由操作输入部218受理的操作,将保存在图像存储部202中的图像群300整齐排列,对显示装置120输出。
<2-3-2.目标的检测处理>
这里,对目标检测部203进行的目标的检测处理(S1802)进行叙述。
目标检测部203首先从检测目标的目标的图像中提取特征量。在从图像中提取特征量的方法中,有使用Gabor过滤器提取图像数据的像素值的分布的周期性及方向性等的特征量的方法。
接着,目标检测部203将提取出的特征量与保存在样板存储部204中的样板对照,检测目标。这里,在所提取的特征量与样板具有的特征量的图案匹配的情况下检测到目标。
对于目标检测部203检测到的目标,赋予以检测到目标的顺序从1开始分配号码、对该号码的开头附加了拉丁字母“O”的目标ID402。
并且,目标检测部203将作为目标的检测目标的图像的图像ID301、与在该图像中检测到的全部目标的目标ID402的组作为目标出现信息500保存到目标出现信息存储部205中。此外,将从检测到目标的区域401提取的特征量作为目标特征量601与目标ID402建立对应而保存到目标特征量存储部206中。
图4是表示在图像中检测目标的例子的图。在该图的例子中,在图像数据302a中分别检测到目标O001和目标O002、在图像302b中检测到目标O003、目标O004和目标O005、在图像302c中检测到目标O006,在图像302d中没有检测到目标。
在上述例子中,目标检测部203从图像数据302a中提取特征量,在对应于图像数据302a的图像I001中从区域401a和区域401b中提取的特征量满足由保存在样板存储部204中的样板决定的基准,所以从区域401a和区域401b中检测到目标。
对于从区域401a和区域401b中检测到的目标,目标检测部203分别赋予O001及O002的目标ID402。
并且,目标检测部203如图5那样将目标出现信息500保存到目标出现信息存储部205中。此外,如图6那样将目标特征量601保存到目标特征量存储部206中。
<2-3-3.目标的分类处理>
这里,对目标分类部207进行的目标的分类处理(S1803)进行叙述。
目标分类部207将目标检测部203检测到的全部目标通过保存在目标特征量存储部206中的各目标的目标特征量601分类为簇。
在将目标分类为簇的方法中,有采用K-means法的方法。K-means法是自动地生成簇并将目标分类的分类方法。如果使用K-means法,自动地计算代表簇的簇特征量702,各目标被分类到具有与该目标具有的目标特征量601最接近的簇特征量702的簇中。
在图7中表示通过K-means法的分类的形象图。601a~601i表示分别对应的目标的目标特征量601的特征量空间700中的位置。701a~701c是通过K-means法生成的簇,分别具有由702a~702c的位置表示的簇特征量702。
在该图的例子中,目标O001、目标O003、目标O006由于目标特征量601最接近于簇C001的簇特征量702a,所以目标分类部207将该3个目标分类到簇701a中。同样,目标O002、目标O004、目标O007分类到簇701b中,目标O005、目标O008、目标O009分类到簇701c中。
目标分类部207对701a~701c用K-means法生成的簇以生成簇的顺序从1开始分配号码、赋予对该号码的开头附加了拉丁字母“C”的簇ID703。
分类后的结果的簇分类信息900保存到簇分类信息存储部209中。图9是将全部目标分类为簇的结果的簇分类信息900的例子。
此外,簇特征量702作为属于簇的全部目标的目标特征量601的相加平均计算。将计算出的簇特征量702保存到簇特征量存储部208中。图7是簇特征量702的例子。
<2-3-4.同现信息的生成处理>
这里,对同现信息生成部210对图像群300进行的同现信息1100的生成处理(S1807)进行叙述。
同现信息生成部210检测图像群300的各图像中的簇的同现关系和非同现的状态生成全簇的同现信息1100。另外,这里假设将对1个图像检测同现关系或非同现的状态而将同现信息1100更新的处理称作同现关系检测处理。
图19是同现信息生成部210生成同现信息1100时的流程图,是表示步骤S1807的详细情况的图。另外,假设在开始同现信息1100的生成处理之前将同现度1101及非同现度1102全部用0初始化。
首先,对图像群300中的1个图像k,根据保存在目标出现信息存储部205中的目标出现信息500判断在图像k中是否包含有目标(S1901)。
在包含有目标的情况下,进行关于后述的图像k的同现关系检测处理。假设在没有包含目标的情况下,什么处理都不进行而关于图像k的同现关系检测处理结束。
在关于图像k的同现关系检测处理结束后,判断是否存在还没有进行同现关系检测处理的图像(S1902)。在存在的情况下,将该图像中的1个作为下个图像k而回到S1901。在不存在的情况下,同现信息生成部210结束关于图像群300的同现信息1100的生成处理。
关于图像k的同现关系检测处理如以下这样进行。
首先,从目标出现信息500中调查包含在图像k中的目标的数量。此时,在目标的数量是1的情况和是2以上的情况下,分情况进行(S1903)。
在目标的数量是1的情况下,由于作为唯一包含的目标的目标a单独包含在图像中,所以目标a属于的簇A在图像k中可以说是非同现的状态。在此情况下,从保存在簇分类信息存储部209中的簇分类信息900取得目标a属于的簇A(S1904)。由此,从目标a检测到非同现的状态,将簇A的非同现度1102增加1(S1905)。并且,结束关于图像k的同现关系检测处理。
在目标的数量是2以上的情况下,可以说在各个目标属于的簇间存在同现关系。例如,在图像I001中,一起包含有属于簇C001的目标O001、和属于簇C002的目标O002。因此,在图像I001中,可以说存在簇C001的对簇C002的同现关系以及簇C002的对簇C001的同现关系的两个同现关系。
假设在目标的数量是2以上的情况下,如以下这样进行同现关系检测处理。但是,这里,当检测到目标a属于的簇A的对于目标b属于的簇B的同现关系时,分别将目标a称作同现源目标、将目标b称作目标a的同现目标目标。
首先,从包含在图像k中的目标之中,选出现在还没有被作为同现源目标使用的目标a。并且,从簇分类信息900中取得目标a属于的簇A(S1906)。
接着,从包含在图像k中的目标之中,选出是目标a以外、还没有被作为目标a的同现目标目标使用的目标b。并且,从簇分类信息900中取得目标b属于的簇B(S1907)。由此,根据同现源目标a与同现目标目标b检测同现关系,将簇A的对簇B的同现度1101增加1(S1908)。由此,目标b作为目标a的同现目标目标而使用结束。
进而,判断在图像k中是否存在还没有被作为目标a的同现目标目标使用的目标(S1909)。
在存在的情况下,将该目标中的1个作为下个目标b,回到S1907。在不存在的情况下,目标a作为同现源目标的使用结束。
如果目标a的作为同现源目标的使用结束,则判断在图像k中是否存在还没有被作为同现源目标使用的目标(S1910)。在存在的情况下,将该目标中的1个作为下个目标a,回到S1906。在不存在的情况下,结束关于图像k的同现关系检测处理。
<2-3-5.评价值的计算处理>
这里,对评价值计算部213进行的评价值1401的计算处理(S1808)进行叙述。
评价值计算部213基于由准确度计算部212计算的准确度1301、和保存在簇分类信息存储部209中的属于簇的目标的个数901,计算目标的对于簇的评价值1401。
在求出某个目标j的对某个簇I的评价值1401的情况下,评价值计算部213将由准确度计算部212计算的、目标j的对于簇I的准确度1301、和从簇分类信息存储部209取得的、属于簇I的目标的个数901相乘而计算该评价值1401。
关于由准确度计算部212计算目标j的对簇I的准确度1301的方法在后面叙述。
<2-3-6.准确度的计算处理>
这里,对准确度计算部212进行的准确度1301的计算处理进行叙述。
准确度计算部212计算目标的对簇的准确度1301。在图20中表示求出包含在图像k中的某个目标j的对于某个簇I的准确度1301的情况下的准确度计算部212的动作的流程图。
首先,从保存在目标出现信息存储部205中的目标出现信息500中调查存在于包含目标j的图像k中的目标的数量。并且,根据目标的数量是1还是2以上而分情况进行(S2001)。在是1的情况下基于非同现度1102计算准确度1301,在是2以上的情况下基于同现度1101计算准确度1301。
基于非同现度1102的准确度1301的计算处理如以下这样进行。
在存在于包含目标j的图像k中的目标的数量是1的情况下,准确度计算部212基于使用簇I的非同现度1102计算出的目标j的对簇I的确信度和支持度、和由类似度计算部211计算出的目标j的对簇I的类似度1201计算准确度1301。
所谓确信度及支持度,是数据挖掘技术中的、表示条件m与结论n的相关性的强度的指标的一种。所谓确信度,表示当发生了条件m时一起发生结论n的比例。所谓支持度,表示条件m和结论n都发生的数量相对于整体的比例。在确信度和支持度的值都较大的情况下,可以说在发生了条件m的情况下发生结论n的可能性较高。
在基于非同现度1102计算准确度1301的情况下,条件m是属于簇I的目标包含在图像中的事件,结论n是属于簇I的目标以非同现的状态包含在图像中的事件。
通过上述的条件m和结论n,将对1个簇I计算的确信度及支持度在这里分别称作簇I的非同现确信度2102、簇I的非同现支持度2202。即,在基于非同现度1102计算准确度1301的情况下,目标j的对于簇I的确信度是簇I的非同现确信度2102,目标j的对于簇I的支持度是簇I的非同现支持度2202。
在图21中表示确信度2100的数据构造及内容例。确信度2100由后述的同现确信度2101和上述非同现确信度2102构成。
在该图的例子中,簇C001的非同现确信度2102是0.17。这意味着当发生属于簇C001的目标包含在图像中的事件时、该目标以非同现的状态包含在图像中的事件以17%的比例发生。
在图22中表示支持度2200的数据构造及内容例。支持度2200由后述的同现支持度2201和上述的非同现支持度2202构成。
在该图的例子中,簇C001的非同现支持度2202是0.03。这意味着当从全部目标之中选择了1个目标时、该目标属于簇C001并且以非同现的状态包含在图像中的事件以3%的比例发生。
作为计算处理,首先使用簇I的非同现度1102计算目标j的对于簇I的非同现确信度2102及非同现支持度2202(S2008)。
这里,非同现确信度2102被作为簇I的非同现度1102的、相对于属于簇I的目标的个数901的比例计算。此外,非同现支持度2202被作为簇I的非同现度1102的、相对于全部目标的数量的比例计算。
将这样计算出的簇I的非同现确信度2102和非同现支持度2202、以及由类似度计算部211计算出的目标j的相对于簇I的类似度1201代入到计算准确度1301的公式中,计算准确度1301(S2009)。
这里,计算准确度1301的公式通过预先进行基于在图像中单独存在目标的情况的统计的数理逻辑回归分析而成为决定了系数的数理逻辑回归式。
所谓数理逻辑回归分析,与多重回归分析等同样,通过预先根据学习数据导出说明变量与目的变量的关系,来预测对应于任意的说明变量的目的变量。在此情况下,说明变量对应于目标j的对于簇I的类似度1201、确信度及支持度,目的变量对应于作为目标j所在的簇I的准确度1301。这里,对准确度的计算影响力越大的说明变量则系数越大。
以上,基于非同现度1102的准确度1301的计算结束。
基于同现度1101的准确度1301的计算处理如以下这样进行。
在存在于包含目标j的图像k中的目标的数量是2以上的情况下,准确度计算部212基于使用簇I的、对于作为存在于图像k中的目标j以外的目标之一的目标x属于的簇X的同现度1101计算的目标j的对于簇I的确信度和支持度、和由类似度计算部211计算出的目标j的对于簇I的类似度1201计算准确度1301。
首先,从包含在图像k中的目标j以外的目标中,选出在目标j的对于簇I的准确度1301的计算处理中没有使用的目标x(S2002)。
从保存在簇分类信息存储部209中的簇分类信息900中取得所选出的目标x属于的簇X(S2003)。并且,根据簇I的对于簇X的同现度1101,计算簇I的对于簇X的后述的同现确信度2101、簇I的对于簇X的后述的同现支持度2201(S2004)。
这里,簇I的对于簇X的同现确信度2101被作为簇I的对于簇X的同现度1101的、相对于属于簇X的目标的个数901的比例计算。此外,簇I的对于簇X的同现支持度2201被作为簇I的对于簇X的同现度1101的、相对于全部目标的数量的比例计算。
将这样计算出的簇I的、对于目标x属于的簇X的同现确信度2101和同现支持度2201分别称作目标j的对于簇I的关于目标x的同现确信度、目标j的对于簇I的关于目标x的同现支持度。
计算出目标j的对于簇I的关于目标x的同现确信度及同现支持度后,目标x向目标j的对于簇I的准确度1301的计算处理的使用结束。
并且,判断图像k中是否还有在目标j的对于簇I的准确度1301的计算处理中没有使用的目标(S2005)。
在有的情况下回到S2002,在没有的情况下,将关于包含在图像k中的目标j以外的目标中的同现支持度最高的目标的同现确信度及同现支持度作为目标j的对于簇I的确信度及支持度(S2006)。
将这样计算出的确信度和支持度、以及由类似度计算部211计算出的目标j的对于簇I的类似度1201代入到计算准确度1301的公式中,计算准确度1301(S2007)。
这里,计算准确度1301的公式为通过预先进行基于在图像中存在多个目标的情况的统计的数理逻辑回归分析而决定了系数的数理逻辑回归的式,对于准确度的计算影响力越大的说明变量则系数越大。
另外,簇I的对于簇X的同现确信度2101及同现支持度2201为对于属于簇X的目标包含在图像中的条件的、属于簇I的目标包含在相同的图像中的结论的确信度及支持度。
在图21的例子中,簇C001的对于簇C002的同现确信度2101是0.30。这意味着在发生了属于簇C002的目标包含在图像中的事件时、以30%的比例发生属于簇C001的目标包含在相同的图像中的事件。
在图22的例子中,簇C001的对于簇C002的同现支持度2201是0.04。这意味着当从全部目标之中选择了1个目标时、该目标属于簇C002并且在包含该目标的图像中一起包含属于簇C001的目标的事件以4%的比例发生。
<2-4.实施方式1的效果>
有关实施方式1的图像管理装置100基于属于表示是与包含在图像中的脸的人物为同一人物的簇的目标的出现次数求出相当于作为包含在图像中的目标的人物的脸的重要度的目标重要度,基于该目标重要度求出图像的重要度,通过用该图像重要度将图像分等级,能够将包含有出现次数较多的人物的图像排列在高等级。因为考虑到用户会较多地拥有拍摄了关注度较高的人物的图像,所以通过从分等级的高等级依次搜索图像,能够从庞大的张数的图像中容易地选择拍摄了关注度较高的重要的人物的图像、即重要度较高的图像。
这里,即使误将同一人物的目标分别分类到别的簇中,由于也使用属于与该目标类似度较高的周边的簇的目标的个数评价目标重要度,所以当将目标正确地判断为同一人物时能够评价为更接近的目标重要度。
进而,可以想到目标在仅通过特征量的类似度计算而被评价为是与出现次数较多的人物为同一人物的可能性较低的情况下、即使是与该人物为同一人物、目标重要度也被评价得较低,但由于不仅使用特征量的类似度、还使用人物彼此的同现关系评价是同一人物的可能性,所以即使在仅根据特征量认为目标是别的人物的可能性较高的情况下,也能够评价为与目标被判断为同一人物时更接近的目标重要度。
<3.实施方式2>
作为本发明的实施方式2,对将在实施方式1中使用人物的脸的目标属于的簇间的同现关系计算准确度1301的地方变更为使用人物的脸与人物以外的物体的同现关系计算准确度1301的方式的变形图像管理装置2300进行说明。
这里,所谓物体,是指由后述的物体部检测到的、作为人物的脸以外的规定的目标,以下为了与一般性的意义的“物体”区别而称作“同现物体”。同现物体例如是汽车、动物、植物、建筑物等。
另外,假设同现物体仅在使用同现信息的准确度1301的计算处理中使用,不考虑物体的重要度。
<3-1.结构>
变形图像管理装置2300的硬件结构与作为实施方式1的图像管理装置100相同。
图23是表示作为变形图像管理装置2300的整体的功能结构的图。但是,周边装置省略了记载,对于具有与图像管理装置100同样的功能的功能块分配与图2相同的标号。
变形图像管理装置2300对于图像管理装置100追加了将物体检测、分类的物体部2301、将同现信息生成部210及准确度计算部212分别变更为同现信息生成部210a及准确度计算部212a。以下,说明相当于与图像管理装置100的差别的部分。
图24是详细地表示物体部2301的块图。物体部2301由物体检测部2401、物体出现信息存储部2402、物体分类部2403及物体簇分类信息存储部2404构成。
物体检测部2401具有在保存在图像存储部202中的图像群300的各图像中提取作为同现物体的特征量的物体特征量、基于规定的条件检测同现物体、对检测到的同现物体赋予用来确定各同现物体的物体ID2502的功能。物体检测部2401的功能例如通过处理器执行保存在存储器中的程序来实现。图25是表示从图像中检测目标和同现物体的例子的图。对于图25在后面详细说明。物体检测部2401还按照图像将图像ID301与在该图像中检测到的同现物体的物体ID2502建立对应而作为物体出现信息2600保存到物体出现信息存储部2402中。
物体出现信息存储部2402具有按照图像存储物体出现信息2600的功能。物体出现信息存储部2402例如通过存储器实现。图26表示物体出现信息存储部2402存储的物体出现信息2600的例子。对于图26在后面详细说明。
物体分类部2403具有将物体检测部2401检测到的物体基于物体检测部2401提取的物体特征量分类到物体簇中的功能。物体分类部2403的功能例如通过处理器执行保存在存储器中的程序来实现。此外,物体分类部2403对物体簇赋予用来识别各物体簇的物体簇ID2701,将各物体簇的物体簇ID2701与分类到该物体簇中的同现物体的物体ID2502、分类到该物体簇中的物体的个数建立对应,作为物体簇分类信息2700保存到物体簇分类信息存储部2404中。
这里,所谓物体簇,是将同现物体基于规定的基准分类时的分类的单位,各物体簇对应于相互不同的物体特征量的范围。
物体簇分类信息存储部2404具有按照物体簇存储物体簇分类信息2700的功能。物体簇分类信息存储部2404例如通过存储器实现。图27是表示物体簇分类信息存储部2404存储的物体簇分类信息2700的例子的图。对于图27在后面详细说明。
<3-2.数据>
<3-2-1.物体出现信息>
物体出现信息2600是表示在哪个图像中检测到了哪个同现物体的信息。物体出现信息2600由物体检测部2401生成,保存在物体出现信息存储部2402中,被同现信息生成部210a及准确度计算部212a使用。
图25是表示物体检测部2401检测到同现物体的区域2501及在该区域2501中检测到的同现物体的物体ID2502的例子的图,图26是物体出现信息2600的数量据结构及对应于图25的内容例。
如图26所示,物体出现信息2600按照图像,用图像ID301、和用来识别在该图像中检测到的同现物体的各同现物体的物体ID的组表示。包含在图像中的同现物体既有1个的情况,也有存在多个的情况及1个也不包含的情况。
物体ID2502是用来在变形图像管理装置2300内唯一地识别各同现物体的识别码,由物体检测部2401赋予,以使其对于同现物体一对一地对应。物体ID2502由物体检测部2401生成。物体ID2502例如是以物体检测部2401检测到物体的顺序从1开始分配号码、对该号码的开头附加了拉丁字母的“B”而成的。
在图25的例子中,分别对在区域2501a中检测到的同现物体赋予B001、对在区域2501b中检测到的同现物体赋予B002、对在区域2501c中检测到的同现物体赋予B003的物体ID2502。
另外,以下在以在图25中举出的同现物体为具体例进行说明时,将该同现物体称作物体ID2502。例如,将由B001的物体ID2502识别的同现物体称作同现物体B001。
如果使用物体出现信息2600,则能够取得包含在特定的图像中的同现物体的物体ID2502,反之能够取得包含特定的同现物体的图像的图像ID301。
在图26的例子中可知,在图像I003中没有包含同现物体、在图像I004中包含有同现物体B001。此外,可知包含有同现物体B002的图像是图像I004。
<3-2-2.物体特征量>
所谓物体特征量,是有关物体的特征量。例如物体特征量是以表示图像的特征的多个数值为成分的矢量。在有关汽车的特征量的情况下,在具有识别为车轮的像素值(例如表示黑色的像素值)的像素以圆周状排列的情况下,可以将该圆的直径及中心点的位置等作为汽车的车轮的特征量。并且,可以将包含车轮的特征量及窗的特征量等为成分的矢量作为汽车的物体特征量。
物体特征量由物体检测部2401生成,被物体分类部2403使用。
<3-2-3.物体簇>
作为关于物体簇的数据,对物体簇ID2701及物体簇分类信息2700进行说明。
物体簇ID2701是用来在变形图像管理装置2300内唯一地识别各物体簇的识别码,由物体分类部2403赋予,以使其对于物体簇一对一地对应。物体簇ID2701由物体分类部2403生成。物体簇ID2701例如是以物体分类部2403生成簇的顺序从1开始分配号码、对该号码的开头附加了拉丁字母“BC”而成的。
物体簇分类信息2700是表示物体分类部2403将哪个同现物体分类到哪个物体簇中的信息。物体簇分类信息2700由物体分类部2403生成,保存在物体簇分类信息存储部2404中,由同现信息生成部210a及评价值计算部213a使用。
图27是物体簇分类信息2700的数量据结构及将图25的同现物体分类的结果的物体簇分类信息2700的内容例。物体簇分类信息2700按照物体簇,由物体簇ID2701、属于该物体簇的各同现物体的物体ID2502、和属于该物体簇的同现物体的个数2702的组构成。
另外,以下当以在图27中举出的物体簇为具体例进行说明时,将该物体簇用物体簇ID2701称呼。例如,将由BC001的物体簇ID2701识别的物体簇称作物体簇BC001。
在图27的例子中,在物体簇BC001的物体簇分类信息2700中,保存有物体B001及物体B003属于它、属于物体簇BC001的目标的个数2702全部是21个的信息。
<3-2-4.同现信息>
实施方式2的同现信息2800是表示簇与物体簇之间的关系的信息。
这里,首先对同现进行说明,接着对同现信息2800进行说明。
在实施方式2中,将在1个图像中“包含属于簇A的目标”的事件和“包含属于物体簇B的同现物体”的事件同现称作簇A与物体簇B同现。即,当在1个图像中同时包含属于簇A的目标和属于物体簇B的同现物体时,认为簇A与物体簇B同现。
此外,当簇A与物体簇B同现时,称作在簇A与物体簇B之间存在同现关系,特别是当在发生了“包含属于簇A的目标”的事件的情况下发生“包含属于物体簇B的同现物体”的事件时,称作有从簇A对物体簇B的同现关系。
同现信息2800是关于簇的对于物体簇的同现关系的信息,由同现信息生成部210a生成,由准确度计算部212a使用。
图28是同现信息2800的数量据结构及内容例。同现信息2800由表示从哪个簇对哪个物体簇的同现关系在图像群300的全部图像中有怎样的程度的同现度2801构成。
同现度2801这里为在图像群300中检测到同现关系的次数。就簇A的对于物体簇B的同现度2801而言,是在图像群300中检测到簇A的对于物体簇B的同现关系的次数。
在图28的例子中,簇C001的对于物体簇BC001的同现度2801是0,对于物体簇BC002的同现度2801是3,对于物体簇BC003的同现度2801是5。
在上述例子中,簇C001的对于物体簇BC002的同现度2801是3,意味着在包含属于簇C001的目标的图像中包含属于物体簇BC002的同现物体的次数是3次。
<3-3.动作>
图29是表示变形图像管理装置2300的动作的流程图。其中,对于与图像管理装置100相同的动作的部分分配与图18相同的标号。
变形图像管理装置2300的动作相对于图像管理装置100的动作,在目标的分类处理(S1803)之后追加了同现物体的检测处理(S2901)和同现物体的分类处理(S2902),变更了同现信息2800的生成处理(S1807)及评价值1401的计算处理(S1808)的内容(分别为S1807a、S1808a)。
以下,对作为与图像管理装置100动作不同的部分的同现物体的检测处理(S2901)、同现物体的分类处理(S2902)、同现信息2800的生成处理(S1807a)、评价值1401的计算处理(S1808a)进行说明。
<3-3-1.同现物体的检测处理>
这里,对物体检测部2401进行的同现物体的检测处理(S2901)进行叙述。
物体检测部2401首先从检测到同现物体的目标的图像中提取物体特征量。在从图像中提取物体特征量的方法中,与目标的检测处理中的特征量的提取方法同样,有使用Gabor过滤器提取图像数据的像素值的分布的周期性及方向性等的特征量的方法。
接着,物体检测部2401与物体检测部2401具有的样板对照,检测同现物体。这里,在所提取的物体特征量符合样板具有的物体特征量的图案的情况下检测到同现物体。
对于物体检测部2401检测到的同现物体,附加以检测到同现物体的顺序从1开始分配号码、对该号码的开头赋予拉丁字母“B”的物体ID2502。
并且,物体检测部2401将作为同现物体的检测目标的图像的图像ID301、与在该图像中检测到的全部同现物体的物体ID2502的组作为物体出现信息2600保存到物体出现信息存储部2402中。
图25是表示在图像中检测物体的例子的图。在该图的例子中,分别在图像302d中检测到同现物体B001、在图像302e中检测到同现物体B002、在图像302f中检测到同现物体B003,在图像302c中没有检测到同现物体。
在上述例子中,物体检测部2401从图像数据302d中提取物体特征量,由于在对应于图像数据302d的图像I004中从区域2501a提取的物体特征量满足由样板设定的基准,所以从区域2501a中检测到了同现物体。
对于从区域2501a检测到的同现物体,物体检测部2401赋予B001的物体ID2502。
并且,物体检测部2401如图26那样将物体出现信息2600保存到物体出现信息存储部2402中。
<3-3-2.同现物体的分类处理>
这里,对物体分类部2403进行的同现物体的分类处理(S2602)进行叙述。
物体分类部2403将物体检测部2401检测到的全部同现物体根据物体检测部2401提取的各同现物体的物体特征量分类为物体簇。
在将同现物体分类为物体簇的方法中,有例如施加SupportVectorMachine(以下称作“SVM”)的方法。SVM是基于预先给出的学习数据进行分类的方法之一。
将分类的结果的物体簇分类信息2700保存到物体簇分类信息存储部2404中。在图27中表示将全部同现物体分类为物体簇后的物体簇分类信息2700的一例。
<3-3-3.同现信息的生成处理>
这里,对同现信息生成部210a对图像群300进行的同现信息2800的生成处理(S1807a)进行叙述。
同现信息生成部210a检测图像群300的各图像中的簇的对于物体簇的同现关系,生成全部簇和全部物体簇的同现信息2800。另外,这里,将对于1个图像检测同现关系而将同现信息2800更新的处理称作同现关系检测处理。
图30是同现信息生成部210a生成同现信息2800时的流程图,表示步骤S1807a的详细情况。另外,假设在开始同现信息2800的生成处理之前将同现度2801全部用0初始化。
首先,对于图像群300中的1个图像k,根据保存在目标出现信息存储部205中的目标出现信息500判断在图像k中是否包含有目标(S3001)。
在包含有目标的情况下,进行后述的对于图像k的同现关系检测处理。在没有包含目标的情况下,什么处理都不进行,对图像k的同现关系检测处理结束。
在对图像k的同现关系检测处理结束后,判断是否存在还没有进行同现关系检测处理的图像(S3002)。在存在的情况下,将该图像中的1个设为下个图像k,回到S3001。在不存在的情况下,同现信息生成部210a结束对图像群300的同现信息2800的生成处理。
对于图像k的同现关系检测处理如以下这样进行。
首先,根据保存在物体出现信息存储部2402中的物体出现信息2600,判断在图像k中是否包含有同现物体(S3003)。
在不包含同现物体的情况下,什么处理都不进行,对于图像k的同现关系检测处理结束。
在包含有同现物体的情况下,可以说有各个目标属于的簇对于各个同现物体属于的物体簇的同现关系。
例如,在图像302f中,全部包含从区域401i中检测到的目标(以下设为目标O009)和物体B003。因此,在图像302f中,可以说有1个目标O009属于的簇的对于物体B003属于的物体簇的同现关系。
在目标和同现物体都包含的情况下,如以下这样进行同现关系检测处理。其中,这里在检测到目标a属于的簇A的、对于同现物体b属于的物体簇B的同现关系时,分别将目标a称作同现源目标、将同现物体b称作目标a的同现目标物体。
首先,从包含在图像k中的目标之中选出还没有作为同现源目标使用的目标a。并且,从保存在簇分类信息存储部209中的簇分类信息900取得目标a属于的簇A(S3004)。
接着,从包含在图像k中的同现物体之中,选出还没有作为目标a的同现目标物体使用的同现物体b。并且,取得同现物体b属于的物体簇B(S3005)。由此,根据同现源目标a和同现目标物体b检测到同现关系,将簇A的对于簇B的同现度1101增加1(S3006)。由此,同现物体b作为目标a的同现目标物体的使用结束。
进而,判断在图像k中是否存在还没有作为目标a的同现目标物体使用的同现物体(3007)。
在存在的情况下,将该同现物体中的1个作为下个同现目标物体b,回到S3005。在不存在的情况下,目标a作为同现源目标的使用结束。
在目标a的作为同现源目标的使用结束后,判断在图像k中是否存在还没有作为同现源目标使用的目标(S3008)。在存在的情况下,将该目标中的1个作为下个目标a,回到S3004。在不存在的情况下,结束对于图像k的同现关系检测处理。
<3-3-4.评价值的计算处理>
这里,对评价值计算部213进行的评价值1401的计算处理(S1808a)进行叙述。
评价值计算部213用与实施方式1同样的方法计算目标的对于簇的评价值1401。但是,目标的对于簇的准确度1301使用由准确度计算部212a计算的值。关于准确度计算部212a中的准确度1301的计算处理在以下叙述。
<3-3-5.准确度的计算处理>
这里,对准确度计算部212a进行的准确度1301的计算处理进行叙述。
准确度计算部212a计算目标的对于簇的准确度1301。在图31中表示求出包含在图像k中的某个目标j的对于某个簇I的准确度1301的情况下的准确度计算部212a的动作的流程图。
首先,根据保存在物体出现信息存储部2402中的物体出现信息2600判断在图像k中是否包含同现物体(S3101)。在不包含的情况下,将目标j的对于簇I的准确度1301设为0(S3108)。在包含的情况下,基于同现度2801计算准确度1301。
基于同现度2801的准确度1301的计算处理如以下这样进行。
在包含目标j的图像k中包含有同现物体的情况下,准确度计算部212a基于使用簇I的、对于使用作为存在于图像k中的同现物体之一的同现物体x属于的物体簇X的同现度2801计算的目标j的对于簇I的确信度和支持度、和由类似度计算部211计算出的目标j的对于簇I的类似度1201,计算准确度1301。
首先,从包含在图像k中的同现物体中,选出在目标j的对于簇I的准确度1301的计算处理中没有使用的同现物体x(S3102)。
从保存在物体簇分类信息存储部2404中的物体簇分类信息2700中取得选出的同现物体x属于的物体簇X(S3103)。并且,根据簇I的对于物体簇X的同现度2801,计算簇I的对于物体簇X的后述的同现确信度3201、簇I的对于物体簇X的后述的同现支持度3301(S3104)。
这里,簇I的对于物体簇X的同现确信度3201被作为簇I的对于簇X的同现度2801的、相对于属于物体簇X的目标的个数2702的比例计算。此外,簇I的对于物体簇X的同现支持度3301被作为簇I的对于物体簇X的同现度2801的、相对于全部目标的数量与全部同现物体的数量的和的比例计算。
将这样计算出的簇I的、对于同现物体x属于的物体簇X的同现确信度3201和同现支持度3301分别称作目标j的对于簇I的关于同现物体x的同现确信度、目标j的对于簇I的关于同现物体x的同现支持度。
在计算出目标j的对于簇I的关于同现物体x的同现确信度及同现支持度后,同现物体x向目标j的对于簇I的准确度1301的计算处理的使用结束。
并且,判断在图像k中是否还有在目标j的对簇I的准确度1301的计算处理中没有使用的同现物体(S3105)。
在有的情况下回到S3102,在没有的情况下,将关于包含在图像k中的同现物体中的同现支持度最高的同现物体的同现确信度及同现支持度作为目标j的对于簇I的确信度及支持度(S3106)。
将这样计算出的确信度和支持度、以及由类似度计算部211计算出的目标j的对于簇I的类似度1201代入到计算准确度1301的公式中,计算准确度1301(S3107)。
这里,计算准确度1301的公式为通过预先进行基于在图像中存在目标和同现物体的情况的统计的数理逻辑回归分析而决定了系数的数理逻辑回归式,对于准确度的计算影响力越大的说明变量则系数越大。
另外,簇I的对于物体簇X的同现确信度3201及同现支持度3301为对于属于物体簇X的同现物体包含在图像中的条件的、属于簇I的目标包含在相同的图像中的结论的确信度及支持度。
在图32的例子中,簇C001的对于物体簇BC002的同现确信度3201是0.60。这意味着当属于物体簇BC002的同现物体包含在图像中的事件发生时、属于簇C001的目标包含在相同的图像中的事件以60%的比例发生。
在图33的例子中,簇C001的对于物体簇BC002的同现支持度3301是0.008。这意味着当从全部目标和全部同现物体之中选择了1个目标或同现物体时、该目标或同现物体是属于物体簇BC002的同现物体、并且在包含该同现物体的图像中一起包含属于簇C001的目标的事件以0.8%的比例发生。
<3-4.实施方式2的效果>
有关实施方式2的变形图像管理装置2300与图像管理装置100同样,能够从庞大的张数的图像中容易地选择拍摄了关注度较高的重要的人物的图像。
这里,由于作为评价是同一人物的可能性的方法而使用与人物以外的物体的同现关系,所以在人物与汽车或建筑物等的物体一起拍摄到图像中的情况下,能够评价为更接近于目标被正确地判断为同一人物时的目标重要度。
<3-5.变形例(实施方式1、2的组合)>
作为实施方式2的变形例,对在使用簇的对于物体簇的同现关系的准确度1301的计算处理中、加上了在实施方式1中进行的使用簇间的同现关系的准确度1301的计算处理的图像管理装置进行说明。
使用该方法的图像管理装置是对上述的变形图像管理装置2300加上实施方式1的图像管理装置100的同现信息生成部210、变更了准确度计算部212a的动作的结构。
在图34中表示变更了动作的准确度计算部212a进行包含在图像k中的目标j的对于簇I的准确度1301的计算的处理的流程图。
首先,从保存在目标出现信息存储部205中的目标出现信息500中调查存在于包含目标j的图像k中的目标的数量。并且,根据目标的数量是1还是2以上而分情况进行(S3401)。
在是2以上的情况下,基于簇I的、对于一起包含的目标属于的簇的同现度1101,计算准确度1301。该处理与实施方式1中的步骤S2002~S2007的处理是同样的。
在是1的情况下,根据保存在物体出现信息存储部2402中的物体出现信息2600判断在图像k中是否包含同现物体(S3101)。
在包含的情况下,基于簇I的、对于一起包含的同现物体属于的物体簇的同现度2801计算准确度1301。该处理与实施方式2中的步骤S3004~S3008的处理是同样的。
在不包含的情况下,基于簇I的非同现度1102计算准确度1301。该处理与实施方式1中的步骤S2008~S2009的处理是同样的。
有关上述变形例的图像管理装置尽可能使用人物彼此的同现关系评价图像重要度,对于不能使用人物彼此的同现关系的图像基于与同现物体的同现关系或人物为1人拍摄的次数评价图像重要度。
<4.实施方式3>
作为本发明的实施方式3,对将在实施方式1中基于类似度、确信度和支持度计算准确度1301的地方变更为也基于簇的可靠度计算准确度1301的方式的变形图像管理装置3500进行说明。这里,所谓簇的可靠度,是表示属于簇的各目标的目标特征量以怎样重读集中于该簇的簇特征量、即属于簇的各目标的目标特征量的偏差的大小综合起来小到怎样的程度的量。例如在簇C001中,如图7所示,簇C001的簇特征量702a与作为属于簇C001的各目标的目标特征量的601a、603c及601f的距离表示特征量的差的大小。即,簇特征量与属于该簇的各目标的目标特征量的距离越近,表示各目标的目标特征量的对于簇特征量的集中程度越高、簇的可靠度越高。
在簇的可靠度较高的情况下、即在特征量的集中程度较高的情况下,该簇由同一人物构成的可能性较高,基于该簇的簇特征量计算的类似度及同现度的可靠性也变高。另一方面,在簇的可靠度较低的情况下、即在特征量的集中程度较低的情况下,在该簇中包含多个人物的可能性较高,基于该簇的簇特征量计算的类似度及同现度的可靠性也变低。因此,通过在准确度1301的计算中使用簇的可靠度,能够以更高的精度评价目标的重要度。
<4-1.结构>
变形图像管理装置3500的硬件结构与实施方式1的图像管理装置100是相同的。
图35是表示作为变形图像管理装置3500的整体的功能结构的图。其中,周边装置省略了记载,对具有与图像管理装置100同样的功能的功能块分配与图2相同的标号。
变形图像管理装置3500对图像管理装置100追加计算簇的可靠度的可靠度计算部3501,将准确度计算部212变更为准确度计算部212b。以下,说明对应于与图像管理装置100的差的部分。
可靠度计算部3501具有对全部簇计算该簇的可靠度的功能。关于可靠度的计算方法的详细情况在后面叙述。
准确度计算部212b具有除了由准确度计算部212使用的同现信息1100和类似度1201以外、还基于可靠度计算部3501计算出的可靠度3601、计算由计算评价值计算部213在评价值1401的计算处理中使用的准确度1301的功能。
<4-2.数据>
<4-2-1.可靠度信息>
可靠度信息3600是表示各簇的可靠度3601的信息。由可靠度计算部3501生成、更新、由准确度计算部212b使用。
图36是可靠度信息3600的数量据结构及内容例。
这里,设将簇的簇特征量与属于该簇的各目标的目标特征量的差的合计用属于该簇的目标的数量除得到的值的倒数为该簇的可靠度。这里,由于各特征量由多个成分构成,所以将对簇与目标的各特征量成分的差进行平方后的值合计,将该值的平方根设为簇特征量与目标特征量的差。
如果设“Pc”为簇特征量、“Po”为目标特征量、“n”为属于簇的目标的数量、“m”为特征量成分的数量,则簇的可靠度用(数式1)表示。
[数式1]
<4-3.动作>
图37是表示变形图像管理装置3500的动作的流程图。其中,对于与图像管理装置100相同的动作的部分分配与图18相同的标号。
变形图像管理装置3500的动作相对于图像管理装置100的动作,在目标的分类处理(S1803)之后追加了可靠度3601的计算处理(S3701)、变更了在评价值1401的计算处理中使用的准确度1301的计算处理的内容(S1808b)。
以下,对作为与图像管理装置100动作不同的部分的可靠度的计算处理(S3701)、在评价值的计算处理中使用的准确度的计算处理(S1808b)进行说明。
<4-3-1.可靠度的计算处理>
以下,对可靠度3601的计算处理进行说明。
在图38中表示有关可靠度3601的计算处理的流程图。
首先,可靠度计算部3501从簇特征量存储部208取得簇的簇特征量(步骤S3801),根据簇分类信息900着眼于属于该簇的目标的一个(步骤S3802)。然后,从目标特征量存储部206取得所着眼的目标的目标特征量(步骤S3803),计算所取得的目标特征量与簇特征量的差(步骤S3804)。例如,簇C001与目标O001的特征量的差为特征量成分1的差的平方(94.4-90.3)2、特征量成分2的差的平方(90.2-98.4)2、特征量成分3的差的平方(79.8-71.4)2的合计的平方根即12.43。重复步骤S3801到步骤S3805的处理,直到计算出属于该簇的全部的目标的目标特征量与簇特征量的差。
计算出属于该簇的全部的目标的目标特征量与簇特征量的差后,将计算出的差合计,将该值用属于该簇的目标的数量除(步骤S3806)。将得到的值的倒数作为该簇的可靠度(步骤S3807)。重复步骤S3801到步骤S3808的处理,直到对登录在簇分类信息900中的全部的簇计算可靠度。
<4-3-2.准确度的计算处理>
这里,对准确度计算部212b进行的准确度1301的计算处理进行叙述。
在图39中表示准确度计算处理的流程图。这里的准确度计算处理是在图20所示的准确度计算处理的步骤S2006的后面追加取得目标j属于的簇的可靠度、和支持度最高的目标属于的簇的可靠度的处理(步骤S3901)、将在步骤S2007中进行的准确度的计算处理替换为除了类似度、确信度、支持度以外还使用在步骤S3901中取得的可靠度的准确度的计算处理(步骤S3902)后的处理。
以下,以与图20的差异为中心进行说明。
在图像k中包含有两个以上的目标的情况下,与实施方式1同样,在与目标j属于的簇同现的目标之中选出支持度最高的簇的确信度和支持度(步骤S2001~步骤S2006)。
然后,从可靠度信息3600中取得目标j属于的簇I的可靠度、和支持度最高的簇的可靠度(步骤S3901)。
将在步骤S2006中选出的确信度和支持度、由类似度计算部211计算出的目标j的对于簇I的类似度1201、在步骤S3901中取得的目标j属于的簇I的可靠度、和支持度最高的簇的可靠度代入到计算准确度1301的公式中,计算准确度1301(步骤S3902)。这里的公式为通过预先进行基于在图像中存在多个目标的情况的统计的数理逻辑回归分析而决定了系数的数理逻辑回归式,对准确度的计算影响力越大的说明变量则系数越大。
在图像k中仅包含有目标j的情况下,基于目标j属于的簇I的非同现度计算确信度和支持度(步骤S2008)。
然后,从可靠度信息3600中取得簇I的可靠度(步骤S3903)。将在步骤S2008中计算出的确信度和支持度、由类似度计算部211计算出的目标j的对于簇I的类似度1201、和在步骤S3903中取得的目标j属于的簇I的可靠度代入到计算准确度1301的公式中而计算准确度1301(步骤S3904)。这里的公式为通过预先进行基于在图像中单独存在目标的情况的统计的数理逻辑回归分析而决定了系数的数理逻辑回归式,对于准确度的计算影响力越大的说明变量则系数越大。
然后,与实施方式1同样,对于某一个目标所在的一个簇,根据属于该簇的准确度和属于簇的目标的数量求出对于该簇的评价值,将该目标的对于各簇的评价值的合计设为该目标的目标重要度。关于各图像,将图像内的目标的目标重要度的合计作为图像重要度,以图像重要度较高的顺序显示各图像。
<5.补充>
以上,对有关本发明的图像管理装置基于实施方式进行说明,但本发明当然并不限定于在上述实施方式中表示那样的图像管理装置。
(1)在实施方式1~3中,以图像管理装置为例进行说明,但本发明并不限定于主要进行图像的管理的装置。例如,也可以改变为存储文件服务器等的静止图像或运动图像的存储装置、静止图像及运动图像的再现装置、数字照相机、带有照相机的便携电话、或摄像机等的摄影装置及个人计算机(PC)等。总之只要是能够管理图像的装置,在哪里都能够采用。
(2)在实施方式1~3中,图像取得部201具备USB输入端子,是经由USB电缆等的电缆从摄影装置110取得图像群的,但只要能够取得图像,并不一定需要从USB输入端子取得图像。例如,既可以通过无线通信输入图像群,也可以经由存储卡等的记录媒体输入。
(3)在实施方式1~3中,从摄影装置110向图像管理装置输入图像群,但并不需要限定于摄影装置,只要能够向图像管理装置输入图像群,是怎样的装置都可以。例如,也可以从存储有图像的文件服务器通过网络输入图像群。总之只要图像管理装置能够取得图像群就可以。
(4)在实施方式1~3中,图像取得部201从作为外部装置的摄影装置110取得图像群,但也可以从图像管理装置的内部的构成单元取得图像群。例如,也可以是图像管理装置自身具备硬盘等的图像储存部、图像取得部201从图像储存部取得图像群。
(5)图像取得部201只要能够取得评价对象的图像群,并不需要将该图像群一次全部取得。例如,也可以是图像取得部201将图像每次取得1张或多张、每次向图像群300追加图像。
(6)在实施方式1~3中,将由图像取得部201取得的图像群300也包括图像数据302具有的像素值全部保存到图像存储部202中,但只要是图像管理装置在进行处理的期间中能够参照处理目标的图像数据302,并不一定需要在图像存储部202中保存全部的图像数据302。例如,也可以是,在图像存储部202中仅保存图像群300的图像ID301及处理中的1张图像的图像数据302,由目标检测部203、物体检测部2401及图像输出部217将需要的图像数据302逐一从外部装置通过图像取得部201取得。总之只要在装置内有在使用图像群300进行处理时能够对全部图像访问的机构就可以。
(7)在实施方式1~3中,为了识别图像而使用由图像取得部201生成的图像ID301,但只要能够将图像1个1个识别,图像ID301并不一定需要有图像取得部201生成。例如,在将图像作为文件取得的情况下,也可以将图像的文件名作为图像ID301。此外,也可以将在将图像数据302保存到存储器上时的图像数据302的开头的存储器的地址作为图像ID301。
(8)在实施方式1~3中,设目标为人物的脸、使样板为表示有关人物的脸的特征量的图案的数据,但并不限定于人物的脸。例如,也可以将目标设为宠物的动物、将样板改变为关于动物的图案的数据。此外,也可以使用关于汽车或建筑物等的物体的样板将物体作为目标检测。进而,也可以不使用样板。总之只要具有用来检测目标的基准、能够基于该基准提取目标就可以。
(9)在实施方式1~3中,目标分类部207根据分类到簇中的目标的目标特征量601计算簇的簇特征量702,但并不一定需要计算。例如,在簇特征量存储部208中预先保存有簇特征量702的情况下,也可以原样使用该簇特征量702而不变更。总之只要簇具有用来计算目标的对于簇的类似度1201的簇特征量702就可以。
(10)在实施方式1~3中,簇分类信息存储部209将分类到各簇中的目标的个数也存储,但并不一定需要存储目标的个数。例如,在利用属于簇的目标的个数时,如果利用的一侧将属于该簇的目标每次计数增加,则簇分类信息存储部209不需要存储目标的个数。总之只要能够取得分类到各簇中的目标的个数就可以。
(11)在实施方式1~3中,图像重要度将包含在该图像中的目标的目标重要度1501全部相加、将包含多个重要的目标的图像较高地评价,但并不限定于此。例如,也可以设为包含在图像中的目标的目标重要度的平均,也可以将最高的目标重要度选出而将该值原样作为图像重要度。此外,也可以用目标的在图像中占用的面积的比例再加权而评价。总之只要使用包含在图像中的目标的目标重要度计算图像重要度就可以。
(12)在实施方式1~3中,图像重要度仅使用目标重要度进行评价,但并不限定于此。例如,也可以对背景或摄影状况等也评价重要度、除了目标重要度以外将这些重要度也用于图像重要度的评价。总之只要在图像重要度的评价中使用目标重要度、也可以还组合其他评价机构。
(13)在实施方式1~3中,将图像群300从图像重要度较高者起以降序排列而向显示装置120输出,但并不限定于此。例如,也可以将图像群300以与输入时相同的顺序的原状、将图像重要度的值作为图像的元数据附加而输出。总之只要评价图像重要度就可以。
(14)在实施方式1~3中,图像输出部217具备HDMI输出端子、是从图像管理装置向显示装置120经由HDMI电缆输出影像的,但只要能够输出就可以,并不限定于此。首先,并不需要限定于通过HDMI输出端子经由HDMI电缆输出影像。例如也可以通过DVI电缆向显示装置120输出影像。此外,输出的目标并不需要限定于显示装置,输出内容也不需要限定于影像。例如,也可以与打印机连接、将图像重要度较高的图像印刷。此外,也可以与外部存储装置连接、记录将图像重要度的值作为图像的元数据附加的图像文件。
(15)在实施方式1~3中,图像管理装置为了将数据存储而具备存储器,但只要是存储数据的机构,并不需要限定于此。例如,也可以使用硬盘或其他数量据记录媒体。
(16)在实施方式1~3中,在准确度1301的计算中使用数理逻辑回归分析,但并不需要限定于数理逻辑回归分析。也可以使用类似度和同现信息、或者使用类似度、同现信息和可靠度用别的方法计算。此外,1个目标的对全部簇的准确度1301的总和并不一定需要为1,但也可以将准确度1301标准化以使总和为1。
(17)在实施方式1~3中,使用同现信息计算准确度,但并不一定需要使用同现信息。例如,也可以仅根据类似度计算准确度,也可以根据类似度和可靠度计算准确度。还可以不使用准确度而根据类似度和属于簇的目标的个数计算评价值,也可以也不使用类似度而将一起属于目标属于的簇的目标的数量本身作为目标重要度。只要在评价目标重要度时最低限度使用一起属于该目标属于的簇的目标的个数就可以。
(18)在实施方式1~3中,对于目标的对于簇的评价值,将该目标的对于该簇的准确度与属于该簇的目标的个数相乘而计算,但并不限定于该方法。例如,也可以通过仅对对于该目标属于的簇的评价值再乘以2等而比其他簇更重视的方法来计算。只要将评价值根据准确度和属于簇的目标的个数计算就可以。
(19)在实施方式1~3中,将某个目标的目标重要度使用对全部簇的评价值评价,但并不需要使用对全部簇的评价值。例如,也可以仅对与该目标的类似度为规定值以上的簇计算评价值、仅使用该评价值。总之在评价目标重要度时只要最低限度使用一起属于该目标属于的簇的目标的个数就可以。
(20)在实施方式1~3中,作为将目标分类为簇的方法说明了使用K-means法的方法,但只要能够将目标分类为簇,并不限定于K-means法。例如,有在实施方式2中作为将物体分类的方法说明的使用SVM的方法。此外,簇特征量702使用通过K-means法自动计算的值,但并不一定需要使用自动计算的簇特征量702。例如,也可以为属于簇的目标的特征量的中央值。
(21)在实施方式1、3中,在计算某个目标的对于某个簇的准确度时,在包含该目标的图像中包含两个以上其他目标的情况下,仅选择支持度最高的1个目标、将其确信度及支持度用于计算,但也可以选择两个以上而使用它们的确信度及支持度。
(22)在实施方式1、3中,生成了全部簇的对于全部簇的同现信息,但并不限定于此。例如,可以考虑设为相同的簇彼此的同现不作为同现信息生成的变形例。在该变形例中,在将一个簇与1个人物一对一地建立对应的情况下,通常不发生同一人物在相同的图像中出现二人以上,所以可以将其忽视。此外,只要知道簇A的对于簇B的同现度1101,也知道簇B的对于簇A的同现度1101,所以只要生成某一方就足够,所以也可以仅生成一方的同现度1101。例如,在簇ID中存在大小关系的情况下,也可以仅生成簇ID较小的簇的相对于簇ID较大的簇的同现度1101。
(23)在实施方式1、3中,在1个图像中仅包含1个目标的情况下使用非同现度1102计算准确度,但也可以通过非同现度1102以外的基准计算准确度。例如,也可以仅使用类似度计算准确度,也可以使用类似度和可靠度计算准确度。
(24)在实施方式2中,设为不考虑同现物体的重要度,但也可以评价同现物体的重要度、也基于同现物体的重要度评价图像重要度。例如,也可以是,作为同现物体的重要度而使用一起属于与该同现物体相同的物体簇中的同现物体的个数,图像的图像重要度使用对目标重要度的总和再加上同现物体的重要度的值。总之只要在图像的图像重要度的评价中使用目标重要度就可以。
(25)在实施方式2中,物体簇分类信息存储部2404将分类在各物体簇中的同现物体的个数也存储,但只要能够取得属于物体簇的物体的个数,并不一定需要存储物体的个数。例如,如果在利用属于物体簇的物体的个数时、利用的一侧将属于该物体簇的物体每次计数增加,则物体簇分类信息存储部2404不需要将物体的个数存储。
(26)在实施方式2中,当计算某个目标的对某个簇的准确度时,在包含该目标的图像中包含有两个以上同现物体的情况下,仅选择支持度最高的1个同现物体而将其确信度及支持度用于计算,但也可以选择两个以上而使用它们的确信度及支持度。
(27)在实施方式2中,设将同现物体分类为物体簇的方法为SVM而进行了说明,但只要能够将同现物体分类为物体簇,并不限于SVM。例如也可以使用作为将目标分类的方法说明的K-means法。
(28)在实施方式2中,在图像中不包含物体的情况下,将包含在该图像中的目标的对于簇的准确度设为0,但并不一定需要将准确度设为0。例如,在图像中不包含物体的情况下,也可以仅根据类似度计算目标的对于簇的准确度。
(29)在实施方式2中,设在目标的分类处理后追加同现物体的检测处理和同现物体的分类处理,但只要是取得图像后、生成同现信息之前,是何时都可以。例如,也可以在同现信息的生成处理的之前追加同现物体的检测处理和同现物体的分类处理。
(30)在实施方式3中,将簇与目标的各特征量成分的差平方后的值合计,将该值的平方根设为簇的簇特等量与目标的目标特征量的差而计算,但并不限定于此,例如也可以将簇与目标的各特征量成分的差的绝对值的相加平均设为特征量的差。
(31)在实施方式3中,将簇的簇特征量与属于该簇的各目标的目标特征量的差的合计用属于该簇的目标的数量除、计算该值的倒数作为可靠度,但并不限定于此,例如也可以根据簇的簇特征量和属于该簇的各目标的目标特征量计算分散及标准偏差等、将其倒数设为可靠度。
(32)在实施方式1~3中,举使用Gabor过滤器提取特征量的方法为例,但只要能够提取图像的特征量,以怎样的方法提取特征量都可以。
(33)也可以将上述各实施方式及各变形例部分地组合。
(34)本发明也可以将由用来使图像管理装置的处理器及连接在该处理器上的各种电路执行在实施方式1~3中表示的图像重要度的评价处理等(参照图18~20、图29~31、图34、图37~39)的程序代码构成的控制程序记录到记录媒体中、或各种通信路径等流通并发布。在这样的记录媒体中,有IC卡、硬盘、光盘、软盘、ROM等。被流通、发布的控制程序通过保存在能够被处理器读出的存储器等中而供使用,通过该处理器执行该控制程序,实现在各实施方式中表示那样的功能。另外,也可以将控制程序的一部分经由各种网络发送给与图像管理装置另外的能够执行程序的装置(处理器)、在该另外的能够执行程序的装置中执行该控制程序的一部分。
(35)构成图像管理装置的构成单元的一部分或全部也可以作为1或多个集成电路(IC、LSI等)安装,也可以对图像管理装置的构成单元再加上其他单元而集成电路化(1芯片化)。
以下,再对作为本发明的一实施方式的图像管理装置的结构及其变形例和效果进行说明。
(a)有关本发明的一实施方式的图像管理装置如图2所示,具备:图像取得机构,取得图像;目标检测机构,在由上述图像取得机构取得的各图像中,通过基于规定的基准提取有关对应于包含在图像中的目标的多个像素的像素值的分布的特征量即目标特征量来检测目标;目标分类机构,将在由上述图像取得机构取得的各图像中检测到的各目标根据各目标的目标特征量而分类到多个簇的某个中;目标重要度评价机构,对于各目标,基于一起属于与该目标相同的簇的目标的个数的大小,评价目标的重要度即目标重要度;图像重要度评价机构,基于包含在一个图像中的目标的目标重要度,评价该一个图像的重要度。通过该结构,图像管理装置如果上述规定的基准是决定人物的脸的特征量的基准,则基于属于表示是与包含在图像中的脸的人物为同一人物的簇的目标的出现次数,求出相当于作为包含在图像中的目标的人物的脸的重要度的目标重要度,求出各图像的重要度,以使其反映包含在各图像中的目标的重要度,通过根据该图像重要度将图像分等级,能够将包含出现次数较多的人物的图像排列在高等级。用户通过从分等级的高等级依次搜索图像,能够容易地从庞大的张数的图像中选择拍摄了关注度较高的重要的人物的图像、即重要度较高的图像。
(b)上述图像管理装置中的目标重要度评价机构也可以是,基于属于与该目标属于的簇相同的簇的目标的个数、和表示该目标的目标特征量与作为该簇表示的特征量的代表值的簇特征量怎样程度类似的类似度计算的、该目标的对于该簇的评价值、和对于与该目标属于的簇不同的簇、基于属于该别的簇的目标的个数、和该目标的特征量与该别的簇的簇特征量的类似度计算的、该目标的对于该别的簇的评价值评价目标的目标重要度。根据该结构,即使在同一人物的目标被误分类到分别不同的簇中的情况下,由于对于与该目标属于的簇不同的簇、也根据类似度计算是与属于该簇的人物为同一人物的可能性(准确度)、使用属于该簇的目标的个数用根据类似度求出的准确度加权来评价目标重要度,所以能够评价为更接近于目标被正确地判断为同一人物时的目标重要度。因此,能够以更高的精度评价图像重要度。
(c)上述图像管理装置中的目标重要度评价机构也可以是,在包含作为评价对象的第1目标的图像中一起包含第2目标的情况下,还基于在由上述图像取得机构取得的图像群之中、属于该第1簇的目标、和属于与第2目标属于的簇相同的第2簇的目标都包含在一个图像中的事件的发生的程度、即该第1簇与该第2簇的同现度,计算第1目标的、对于作为该第1目标属于的簇或该第1目标不属于的簇的第1簇的评价值。根据该结构,可以想到在仅通过特征量的类似度计算而将目标评价为与出现次数较多的人物为同一人物的可能性较低的情况下、即使是与该人物为同一人物、目标重要度也被评价得较低的的情况,但通过如上述那样做,不仅是特征量的类似度,还使用人物彼此的同现关系计算是同一人物的可能性。由此,即使在虽然是同一人物、但因拍摄的方向差异等而仅通过特征量认为目标为别的人物的可能性较高的情况下,能够评价为与目标被正确地判断为同一人物时更接近的目标重要度。因此,能够以更高的精度评价图像重要度。
(d)上述图像管理装置中的目标重要度评价机构也可以是,在包含作为评价对象的第1目标的图像中一起包含第2目标的情况下,计算基于作为上述第1簇和与第2目标属于的簇相同的第2簇的同现度的、相对于属于该第2簇的目标的个数的比例计算的、该第1目标的对于该第1簇的确信度、作为该第1簇和该第2簇的同现度的、相对于由上述目标检测机构检测到的全部目标的个数的比例计算的、该第1目标的对于该第1簇的支持度、和该第1目标的对该第1簇的类似度计算的、该第1目标的对于该第1簇的准确度;根据该第1目标的对于该第1簇的准确度、和属于该第1簇的目标的个数,计算第1目标的对于第1簇评价值。根据该结构,由于基于第1目标的对于第1簇的确信度、第1目标的对于第1簇的支持度和第1目标的对于第1簇的类似度计算第1目标的对于第1簇的准确度,所以能够基于计算出的准确度计算第1目标的对于第1簇的评价值。
(e)上述图像管理装置中的目标重要度评价机构也可以是,在包含作为评价对象的第1目标的图像中一起包含第2目标的情况下,还根据基于第1簇的上述簇特征量与属于第1簇的各目标的上述目标特征量的差计算、表示各目标特征量以怎样的程度集中于上述簇特征量的第1簇的可靠度、和基于第2簇的上述簇特征量与属于第2簇的各目标的上述目标特征量的差计算的第2簇的可靠度计算上述准确度。根据该结构,由于也基于第1簇的可靠度和第2簇的可靠度计算第1目标的对于第1簇的准确度,所以能够以更高的精度计算第1目标的对于第1簇的准确度。
(f)上述图像管理装置中的目标重要度评价机构也可以是,在包含作为评价对象的第1目标的图像中一起包含第2目标的情况下,使用采用该第1目标的对于该第1簇的确信度、该第1目标的对于该第1簇的支持度、该第1目标的对于该第1簇的类似度、该第1簇的可靠度、和该第2簇的可靠度作为说明变量的数理逻辑回归,计算该第1目标的对于第1簇的准确度。在数理逻辑回归分析中,基于过去的实测值等,根据对于准确度的计算的影响力的大小决定各说明变量的系数。因此,根据该结构,能够以更高的精度计算第1目标的对于第1簇的准确度。
(g)上述图像管理装置中的目标重要度评价机构也可以是,在包含作为评价对象的第1目标的图像中一起包含第2目标的情况下,使用采用该第1目标的对于该第1簇的确信度、该第1目标的对于该第1簇的支持度、和该第1目标的对于该第1簇的类似度作为说明变量的数理逻辑回归,计算该第1目标的对于第1簇的准确度。在数理逻辑回归分析中,基于过去的实测值等,根据对准确度的计算的影响力的大小决定各说明变量的系数。因此,根据该结构,能够以更高的精度计算第1目标的对于第1簇的准确度。
(h)上述图像管理装置中的目标重要度评价机构也可以是,在包含评价对象的目标的图像中除了该目标以外不包含目标的情况下,还基于在由上述图像取得机构取得的图像群之中、在一个图像中单独包含属于该簇的目标的事件发生的程度、即该簇的非同现度,计算评价对象的目标的、对于该目标属于的簇及该目标不属于的簇的评价值。根据该结构,由于基于目标单独包含在图像中的事件发生的程度即非同现度计算目标属于的簇及该目标不属于的簇的评价值,所以在目标单独包含在图像中的情况下,也能够计算目标属于簇的可能性。
(i)上述图像管理装置中的目标重要度评价机构也可以是,在包含评价对象的目标的图像中除了该目标以外不包含目标的情况下,计算基于作为该目标属于的簇或该目标不属于的簇的非同现度的、相对于属于该簇的目标的个数的比例计算的确信度、作为该簇的非同现度的、相对于由上述目标检测机构检测到的全部目标的个数的比例计算的支持度、和该目标的对于该簇的类似度计算的、该目标的对于该簇的准确度;根据该目标的对于该簇的准确度、和属于该簇的目标的个数,计算评价对象的目标的、对于该目标属于的簇及该目标不属于的簇的评价值。根据该结构,由于基于第1目标的对于第1簇的非同现的确信度、第1目标的对于第1簇的非同现的支持度、和第1目标的对于第1簇的类似度计算第1目标的对于第1簇的准确度,所以能够计算第1目标属于第1簇的可能性。
(j)上述图像管理装置中的目标检测机构也可以通过提取有关人物的脸的特征量的基准提取目标特征量。根据该结构,由于提取较强地表示人物的特征的人物的脸作为目标,所以能够正确地将目标分类的可能性提高,结果能够将拍摄了对于用户而言重要的人物的图像分等级为重要度较高的图像。
(k)上述图像管理装置也可以是,还具备:物体检测机构,在各图像中,通过基于规定的基准提取有关对应于包含在图像中的物体的多个像素的像素值的分布的特征量即物体特征量来检测物体;物体分类机构,将在由上述图像取得机构取得的各图像中检测到的各物体根据各物体的物体特征量分类到多个物体簇的某个中;上述目标重要度评价机构还在包含该目标的图像中一起包含1个以上的物体的情况下,基于在由上述图像取得机构取得的图像群之中、属于该簇的目标、和一起属于与该目标一起包含在包含该目标的图像中的1个物体属于的物体簇的物体都包含在一个图像中的事件发生的程度、即该簇和该物体簇的同现度,计算评价对象的目标的、对于该目标属于的簇及该目标不属于的簇的评价值。这里,所谓物体簇,是将物体基于规定的基准分类时的分类的单位,各物体簇对应于相互不同的物体特征量的范围。
根据该结构,例如在单独拍摄在图像中的情况下等、通过人物彼此的同现关系难以判断是同一人物的可能性的情况下,也能够使用人物与物体的同现关系判断是否是同一人物。
(l)上述图像管理装置中的目标分类机构也可以通过K-means法将各目标分类为簇。根据该结构,由于在目标的分类中使用K-means法,所以能够用简单的算法将各目标分类为簇。
(m)上述图像管理装置中的目标重要度评价机构也可以是,还基于作为上述目标属于的簇表示的特征量的代表值的簇特征量、与属于该簇的各目标的上述目标特征量的差计算、表示各目标特征量以怎样的程度集中于上述簇特征量的簇的可靠度,计算上述目标重要度。根据该结构,由于通过目标属于的簇的可靠度、和属于该簇的目标的个数计算目标重要度,所以能够以比仅基于属于该簇的目标的个数计算目标重要度高的精度计算目标重要度。
工业实用性
有关本发明的图像管理装置及图像管理方法能够在储存静止图像或运动图像的装置、静止图像及运动图像的再现装置、数字照相机、带有照相机的便携电话及摄像机的摄影装置及PC等中采用。
标号说明
10图像管理系统
100图像管理装置
110摄影装置
120显示装置
130控制器
201图像取得部
202图像存储部
203目标检测部
204样板存储部
205目标出现信息存储部
206目标特征量存储部
207目标分类部
208簇特征量存储部
209簇分类信息存储部
210、210a同现信息生成部
211类似度计算部
212、212a、212b准确度计算部
213评价值计算部
214目标重要度评价部
215图像重要度评价部
216图像分等级部
217图像输出部
218操作输入部
700特征量空间
701簇
702簇特征量
703簇ID
704簇的边界
2300变形图像管理装置
2301物体部
2401物体检测部
2402物体出现信息存储部
2403物体分类部
2404物体簇分类信息存储部
3500变形图像管理装置
3501可靠度计算部