CN102511054B - 图像管理装置、图像管理方法 - Google Patents

Abstract

图像管理装置(100)具备算出各图像的重要度的图像重要度算出部(107)；选出高重要度图像Im与低重要度图像In的图像选出部(111)；特征量修正部(121)，使用高重要度图像Im中包含的对象的特征量与低重要度图像In中包含的对象的特征量，修正低重要度图像In的特征量；图像相似度算出部(114)，使用高重要度图像Im的对象的特征量与由特征量修正部(121)修正后的对象的特征量，算出图像相似度；和图像重要度修正部(117)，根据算出的图像相似度，修正低重要度图像In的重要度。

Description

图像管理装置、图像管理方法

技术领域

本发明涉及一种从大量图像中检索期望图像的图像管理技术。

背景技术

以前，提供一种技术，在存储由数码相机摄影的大量图像的同时，按对用户的重要度从高到低的顺序将存储的图像排名(ranking)并显示(参照专利文献1、2)。

在专利文献1、2中记载的技术中，首先抽取所存储的图像各自中包含的人物的脸等被摄体图像(对象，object)，并算出各对象的特征量。之后，根据该对象的特征量对对象进行分类，根据分类后的结果，算出对象的重要度。之后，根据算出的对象的重要度，算出包含各对象的各图像的重要度，并根据该重要度对各图像进行排名。

作为这种排名方法，例如有时采用如下排名方法，即将存储的多个图像中、出现分类为相同属性(聚类，cluster)的对象的个数定义为对象的重要度，将各图像的重要度设为图像中包含的对象的重要度的合计(参照专利文献3)。

若采用该排名方法，则在越多图像中出现的对象，重要度越高，并且，包含越多重要度高的对象的图像的重要度就越高。

现有技术文献

专利文献

专利文献1：特开2003-46591号公报

专利文献2：特开2005-20446号公报

专利文献3：特开2007-60562号公报

发明概要

发明要解决的技术问题

但是，在专利文献1、2中记载的技术中，尽管本来是对应于相同被摄体的对象，但因摄影环境的不同等，会处理为对应于不同被摄体的对象。例如，有时影子会映入到摄影条件差地摄影的图像的被摄体的一部分。此时，映入了影子的被摄体会被处理为原来的被摄体之外的别的被摄体。或者，有时还会因顺光环境与逆光环境的差异或明处或暗处的差异而处理为对应于不同被摄体的对象。即，由摄影环境差异等引起的噪声而摄影的被摄体会被处理为对应于与原来的被摄体不同的被摄体的对象。

结果，在采用上述排名方法的情况下，因为各对象的重要度不能正确算出，所以各图像的重要度不能正确算出，各图像的排名错误。

发明内容

本发明鉴于上述事情做出，其目的在于提供一种能正确算出各图像的重要度的图像管理装置。

用于解决问题的手段

为了解决上述课题，涉及本发明的图像管理装置具备图像重要度算出部件，根据图像各自包含的多个对象的特征量，算出各图像的重要度；图像选出部件，根据各图像的重要度，选出第1图像与重要度比第1图像低的第2图像；特征量修正部件，使用以第1图像中包含的多个对象的特征量和第2图像中包含的多个对象的特征量为参数的修正函数，修正第2图像中包含的多个对象的特征量；图像相似度算出部件，使用第1图像中包含的对象各自的特征量和特征量修正部件修正后的第2图像中包含的对象各自的特征量，算出第1图像与第2图像之间的相似度即图像相似度；和图像重要度修正部件，根据第1图像的图像重要度和由图像相似度算出部件算出的图像相似度，修正第2图像的重要度。

发明效果

根据上述构成，通过适当修正第2图像中包含的各对象的特征量，以便根据以第1图像中包含的多个对象的特征量和第2图像中包含的多个对象的特征量为参数的修正函数，按照两个图像的相似度，去除各对象中包含的噪声，由此能正确算出第2图像中包含的各对象的特征量，所以能正确算出第2图像的重要度。

另外，涉及本发明的图像管理装置也可是第1图像具有比规定的重要度高的重要度，第2图像具有比规定的重要度低的重要度。

根据该构成，通过适当设定规定的重要度，能限定重新估计重要度的图像数，所以能实现图像管理装置的处理负荷的降低。

另外，涉及本发明的图像管理装置也可是具备对象数比较判定部件，该对象数比较判定部件对第1图像中包含的对象的个数与第2图像中包含的对象的个数进行比较，若由对象数比较判定部件判定为第1图像中包含的对象的个数与第2图像中包含的对象的个数相同，则特征量修正部件修正第2图像中包含的多个对象的特征量。

根据该构成，作为第1图像和第2图像，能限定为因噪声而在各对象的特征量中产生差异的2个图像，所以能实现图像管理装置的处理负荷的降低。

另外，在涉及本发明的图像管理装置中，也可是修正函数是如下函数，即：使用根据第2图像中包含的多个对象的特征量的平均值和第1图像中包含的多个对象的特征量的平均值算出的修正系数，对第2图像中包含的对象的特征量中的每个特征量进行修正的函数。

根据该构成，因为修正函数使用根据第2图像中包含的多个对象的特征量的平均值与第1图像中包含的多个对象的特征量的平均值算出的修正系数，所以第1图像中包含的多个对象与第2图像中包含的多个对象之间的对应关系不影响修正系数，所以能省略用于把握第1图像中包含的多个对象与第2图像中包含的多个对象之间的对应关系的处理，所以能实现图像管理装置的处理负荷的降低。

另外，在涉及本发明的图像管理装置中，也可是修正系数是第1图像中包含的多个对象的特征量的平均值与第2图像中包含的多个对象的特征量的平均值之比，修正函数是向第2图像中包含的对象的特征量中的每个特征量乘以修正系数的函数。

根据该构成，因为能从第1图像中包含的多个对象各自的特征量与第2图像中包含的多个对象各自的特征量中抽取噪声引起的特征量差异，所以能进一步可靠地去除噪声。

另外，在涉及本发明的图像管理装置中，也可是修正系数是第2图像中包含的多个对象的特征量的平均值与第1图像中包含的多个对象的特征量的平均值之间的差分值，修正函数是向第2图像中包含的对象的特征量中的每个特征量加上修正系数的函数。

根据该构成，即便在第2图像中包含的多个对象各自的特征量包含零的情况下，所述特征量修正部件也不必执行防止零除法的处理，所以能实现由所述特征量修正部件执行的处理的简化。

另外，在涉及本发明的图像管理装置中，也可是图像相似度算出部件具备：图像内对象相似度算出部件，算出第1图像中包含的多个对象中的每个对象与第2图像中包含的多个对象中的每个对象之间的相似度，并根据算出的多个相似度，将第1图像中包含的多个对象与第2图像中包含的多个对象一对一地建立对应；和相似度平均值算出部件，算出由图像内对象相似度算出部件彼此一对一地建立了对应的对象彼此的相似度的平均值，并作为图像相似度输出。

根据该构成，因为能抑制噪声对各对象的影响差异对于对象的相似度的影响，所以能更高精度地修正各对象的特征量。

另外，在涉及本发明的图像管理装置中，也可是图像内对象相似度算出部件将与所算出的多个相似度的最高值相对应的2个对象建立对应，之后，将与去除建立了对应的对象的其他对象的组合相关的多个相似度的最高值所对应的2个对象建立对应。

根据该构成，因为能仅根据对象的相似度来进行对象彼此的建立对应，所以能简化对象相似度算出部件进行的对象彼此的建立对应处理。

另外，涉及本发明的图像管理装置也可是上述图像重要度修正部件还根据上述第1图像中包含的对象的大小的平均值与上述第2图像中包含的对象的大小的平均值来修正第2图像的重要度。

根据该构成，因为能使第1图像中包含的对象的大小与第2图像中包含的对象的大小的差异反映到第2图像的重要度，所以能更高精度地算出第2图像的重要度。

另外，涉及本发明的图像管理装置也可是上述图像重要度修正部件使用以下关系式来修正上述第2图像的重要度，

[式1]

Scn’＝(Scm-Scn)×Sg×(Ssavem/Ssaven)+Scn

其中Sg为所述图像相似度，Scm为所述第1图像的重要度，Scn为所述第2图像的图像重要度，Ssaven为所述第2图像中包含的对象的大小的平均值，Ssavem为所述第1图像中包含的对象的大小的平均值。

另外，涉及本发明的图像管理装置也可是具备图像重要度算出部件，根据图像各自包含的对象的特征量，算出各图像的重要度；图像选出部件，根据各图像的重要度，选出第1图像与重要度比第1图像低的第2图像；特征量修正部件，使用向第2图像中包含的多个对象的特征量中的每个特征量乘以如下比值的修正函数，修正第2图像中包含的多个对象的特征量并输出，其中该比值是从第1图像中包含的对象中选择的1个对象的特征量与第2图像中包含的对象的特征量之比；图像相似度算出部件，使用第1图像中包含的对象各自的特征量和从特征量修正部件输出的第2图像中包含的对象的特征量，算出第1图像与第2图像之间的相似度即图像相似度；和图像重要度修正部件，根据由图像相似度算出部件算出的图像相似度，修正第2图像的重要度。

根据该构成，通过根据第1图像中包含的多个对象的特征量与第2图像中包含的多个对象的特征量来适当修正第2图像中包含的各对象的特征量，能去除第2图像中包含的各对象的特征量中包含的噪声，所以能正确算出第2图像的重要度。

另外，本发明也可以是一种图像管理方法，通过计算机实现，包含：图像重要度算出步骤，根据图像各自包含的多个对象的特征量，算出各图像的重要度；图像选出步骤，根据各图像的重要度，选出第1图像与重要度比所述第1图像低的第2图像；特征量修正步骤，使用以第1图像中包含的多个对象的特征量和第2图像中包含的多个对象的特征量为参数的修正函数，修正第2图像中包含的多个对象的特征量；图像相似度算出步骤，使用第1图像中包含的对象各自的特征量和由特征量修正步骤修正后的第2图像中包含的对象各自的特征量，算出第1图像与第2图像之间的相似度即图像相似度；和图像重要度修正步骤，根据第1图像的图像重要度和由所述图像相似度算出步骤算出的所述图像相似度，修正所述第2图像的重要度。

根据该构成，通过根据第1图像中包含的多个对象的特征量与第2图像中包含的多个对象的特征量来适当修正第2图像中包含的各对象的特征量，能去除第2图像中包含的各对象的特征量中包含的噪声，所以能正确算出第2图像的重要度。

另外，本发明也可是一种图像管理程序，通过计算机实现多个图像的图像管理处理，所述图像管理处理包含：图像重要度算出步骤，根据图像各自包含的多个对象的特征量，算出各图像的重要度；图像选出步骤，根据各图像的重要度，选出第1图像与重要度比第1图像低的第2图像；特征量修正步骤，使用以第1图像中包含的多个对象的特征量和第2图像中包含的多个对象的特征量为参数的修正函数，修正第2图像中包含的多个对象的特征量；图像相似度算出步骤，使用第1图像中包含的对象各自的特征量和由特征量修正步骤修正后的第2图像中包含的对象各自的特征量，算出第1图像与第2图像之间的相似度即图像相似度；和图像重要度修正步骤，根据第1图像的图像重要度和由图像相似度算出步骤算出的图像相似度，修正第2图像的重要度。

根据该构成，通过根据第1图像中包含的多个对象的特征量与第2图像中包含的多个对象的特征量来适当修正第2图像中包含的各对象的特征量，能去除第2图像中包含的各对象的特征量中包含的噪声，所以能正确算出第2图像的重要度。

另外，本发明也可是一种记录介质，记录通过计算机实现多个图像的图像管理处理的图像管理程序，图像管理处理包含：图像重要度算出步骤，根据图像各自包含的多个对象的特征量，算出各图像的重要度；图像选出步骤，根据各图像的重要度，选出第1图像与重要度比第1图像低的第2图像；特征量修正步骤，使用以第1图像中包含的多个对象的特征量和第2图像中包含的多个对象的特征量为参数的修正函数，修正第2图像中包含的多个对象的特征量；图像相似度算出步骤，使用第1图像中包含的对象各自的特征量和由特征量修正步骤修正后的第2图像中包含的对象各自的特征量，算出第1图像与第2图像之间的相似度即图像相似度；和图像重要度修正步骤，根据第1图像的图像重要度和由图像相似度算出步骤算出的图像相似度，修正第2图像的重要度。

根据该构成，通过根据第1图像中包含的多个对象的特征量与第2图像中包含的多个对象的特征量来适当修正第2图像中包含的各对象的特征量，能去除第2图像中包含的各对象的特征量中包含的噪声，所以能正确算出第2图像的重要度。

另外，本发明也可是一种图像管理用集成电路，具备：图像重要度算出部件，根据图像各自包含的多个对象的特征量，算出各图像的重要度；图像选出部件，根据各图像的重要度，选出第1图像与重要度比第1图像低的第2图像；特征量修正部件，使用以第1图像中包含的多个对象的特征量和第2图像中包含的多个对象的特征量为参数的修正函数，修正第2图像中包含的多个对象的特征量；图像相似度算出部件，使用第1图像中包含的对象各自的特征量和特征量修正部件修正后的第2图像中包含的对象各自的特征量，算出第1图像与第2图像之间的相似度即图像相似度；和图像重要度修正部件，根据第1图像的图像重要度和由图像相似度算出部件算出的图像相似度，修正第2图像的重要度。

根据该构成，能实现图像管理装置的小型化。

附图说明

图1是涉及实施方式1的图像管理装置的整体构成图。

图2是表示实施方式1中说明的多个图像的图。

图3是表示实施方式1中说明的多个图像各自包含的对象的图。

图4是表示实施方式1中说明的多个图像各自的图像ID与各图像中包含的对象ID的图。

图5是表示实施方式1中说明的多个对象各自的特征量的图。

图6是表示当将实施方式1中说明的多个对象分类成聚类时、属于各聚类的对象与属于各聚类的对象的重要度的图。

图7是表示对于实施方式1中说明的多个对象中的每个对象，各对象所属聚类的ID与对象重要度的图。

图8是表示实施方式1中说明的多个图像各自的图像重要度的图。

图9是实施方式1中说明的图像重要度存储部中存储的图像重要度的数据概念图。

图10是表示实施方式1中说明的多个图像各自的排名显示的图。

图11是表示实施方式1中说明的多个图像各自中包含的对象数的图。

图12是表示实施方式1中说明的图像1012与图像1013中包含的对象的图。

图13是用于说明实施方式1中说明的特征量修正部的动作的图。

图14是表示实施方式1中说明的图像I012中包含的对象各自的特征量与各对象的特征量平均值矢量G012的图。

图15是表示实施方式1中说明的图像I013中包含的对象各自的特征量与各对象的特征量平均值矢量G013的图。

图16是表示将实施方式1中说明的图像I012中包含的各对象的特征量平均值矢量G012的各分量除以图像I013中包含的各对象的特征量平均值矢量G013的各分量后得到的修正量矢量Ch的图。

图17是表示对实施方式1中说明的图像P013中包含的对象的特征量矢量进行修正后的各对象的特征量矢量的图。

图18是表示实施方式1中说明的图像I012中包含的对象中的每个对象与图像I013中包含的对象中的每个对象的相似度的图。

图19是说明算出实施方式1中说明的图像I012中包含的各对象与图像I013中包含的各对象的相似度的处理的图。

图20是表示修正实施方式1中说明的图像重要度后的状态的图。

图21是表示实施方式1中说明的再排名结果的图。

图22是涉及实施方式1的图像管理装置的动作流程图。

图23是涉及实施方式1的图像管理装置的算出对象相似度的处理流程图。

图24(a)是涉及实施方式1的图像管理装置的取得高重要度图像Im的处理流程图。(b)是涉及实施方式1的图像管理装置的修正图像重要度的处理流程图。

图25是涉及实施方式2的图像管理装置的整体构成图。

图26是表示实施方式2中说明的图像I012与图像I013的图。

图27是表示实施方式2中说明的修正量矢量Ch1、Ch2、Ch3的图。

图28是表示对实施方式2中说明的图像P013中包含的对象的特征量矢量进行修正后的各对象的特征量矢量的图。

图29是说明算出实施方式2中说明的图像I012中包含的各对象与图像I013中包含的各对象的相似度的处理流程图。

图30是涉及实施方式2的图像管理装置的动作流程图。

图31是涉及实施方式2的图像管理装置的算出对象相似度的处理流程图。

图32是涉及实施方式2的图像管理装置的修正图像重要度的处理流程图。

图33是表示实施方式3中说明的修正量矢量Chs的图。

图34是表示对实施方式3中说明的图像I013中包含的对象的特征量矢量进行修正后的各对象的特征量矢量的图。

图35是表示涉及实施方式3的算出与各对象的相似度的处理流程图。

图36是表示实施方式4中说明的图像I012与图像I013的图。

具体实施方式

<实施方式1>

<1>构成

图1示出涉及本实施方式的图像管理装置100的构成。

图像管理装置100具备存储器131与处理器130。另外，图像管理装置100虽未图示，但具备USB(UniversalSerialBus：通用串行总线)输入端子与HDMI(HighDefinitionMultimediaInterface：高清多媒体接口)输出端子。

USB输入端子是输入接口，连接着一端侧连接于摄像装置101的USB线缆的另一端侧上设置的连接器(未图示)。向该USB输入端子输入从摄像装置101经USB线缆发送来的后述的图像数据。

HDMI输出端子上连接着一端侧连接于显示装置120的HDMI线缆的另一端侧上设置的连接器(未图示)。从该HDMI输出端子向显示装置120输出后述的图像排名数据。

存储器131例如由DRAM(DynamicRandomAccessMemory：动态随机存取存储器)等构成。

处理器130由通用的CPU构成。

摄影装置101对图像进行摄影，存储摄影到的图像的数据(图像数据)。该摄影装置101中包含数码相机等。另外，摄像装置101经USB线缆向图像管理装置100发送图像数据。该图像数据由象素值的数据集合构成。另外，由图像数据表示的图像由照片等静止图像构成。

另外，显示装置120根据从图像管理装置100经HDMI线缆发送的图像排名数据，显示各图像的重要度排名。作为该显示装置120，例如有能显示从广播终端输出的影像的数字电视。

另外，在图像管理装置100中，通过处理器130执行存储器131中存储的适当的程序，实现图像取得部102、对象检测部103、对象分类部105、对象重要度算出部106、图像重要度算出部107、图像排名部108、图像内对象数抽取部109、图像选出部111、图像相似度算出部114、图像重要度修正值算出部117、图像再排名部118与图像输出部119。

另外，存储器131局部包含被用作对象特征量存储部104、图像内对象数存储部110与图像重要度存储部323的区域。

<1-1>图像取得部

图像取得部102对与被输入USB输入端子的多个图像数据各自相对应的各图像赋予图像ID(Identifier：识别符)。图2中示出各图像数据表示的图像与赋予其的图像ID。该图像ID为图像管理装置100内唯一识别各图像用的识别符，由图像取得部102生成。图像取得部102向表示图像取得部102取得图像的顺序的号码的开头赋予字母‘I’而作为图像ID。例如，在图2的情况下，图像取得部102从图2中的上段向下段依次取得图像数据。在下面的说明中，以图像ID来区别图像。例如，对应于赋予I001作为图像ID的图像数据的图像，说明为图像I001。

<1-2>对象检测部

对象检测部103对图像取得部102取得的各图像数据执行对应于预先存储的规定对象的模板用模板匹配，检测对象。另外，对象检测部103对检测到的对象赋予用于识别该对象的对象ID。

图3表示从各图像中检测对象的实例。各图像中包含的对象如图3所示，有时有1个，有时存在多个，还有时一个都不存在。对象ID是图像管理装置100内唯一识别各对象用的识别符，与各对象一对一地对应。

对象ID由对象检测部103生成。对象ID按对象检测部103检测出对象的顺序，从1开始分配号码，向该号码的开头附加字母“P”。在图3的实例中，向图像I001中包含的2个对象分别赋予‘P001’、‘P002’作为对象ID，向图像I002中包含的3个对象分别赋予‘P003’、‘P004’、‘P005’作为对象ID，向图像I003中包含的1个对象赋予‘P006’作为对象ID。图4中示出向各对象赋予了对象ID的状态。

另外，对象检测部103从检测到的对象的每个对象中抽取对象特征量。该对象特征量例如根据构成使用Gabor滤波器得到的对象的多个象素值的周期性及方向性算出。另外，作为对人物的人脸图像的对象特征量，可采用根据象素值的周期性及方向性算出的识别为眼的2个区域间的距离、或识别为鼻的区域与识别为嘴的区域间的距离等。

<1-3>对象特征量存储部

对象特征量存储部104由存储器131的一部分构成，存储对象检测部103抽取到的各对象的特征量。图5中示出其一例。

另外，各对象如图5所示，具有多种特征量(特征量分量1、特征量分量2、…、特征量分量n)。下面，将这些特征量分量1、特征量分量2、…、特征量分量n为各分量的矢量作为特征量矢量进行说明。另外，该特征量矢量由对象分类部105及图像内对象相似度决定部114使用。

<1-4>对象分类部

对象分类部105根据对象特征量存储部104中存储的各对象的特征量矢量，首先使用K-means法，自动生成多个聚类(cluster)，之后，将各对象分类到该多个聚类。另外，对象分类部105对各聚类赋予单独的聚类ID。由此，各聚类ID、分类到该聚类的各对象的对象ID、与分类到各聚类的对象个数建立对应。图6中示出将多个对象分类到多个聚类的一例。

<1-5>对象重要度算出部

对象重要度算出部106针对各对象，算出分类到该对象所属聚类的对象的个数，作为对象重要度。

这里，将分类到对象所属聚类的对象个数设为该对象的对象重要度是鉴于以下情况，即：分类到相同聚类的对象对应于相同被摄体，以及多个图像中出现次数越多的被摄体，越是用户关心的被摄体。

图7中示出对象重要度算出部106算出各对象的重要度的实例。

<1-6>图像重要度算出部

图像重要度算出部107算出各图像中包含的对象各自的对象重要度的加法值，作为各图像的图像重要度。这里，图像重要度算出部107从对象重要度算出部106中读出各对象的对象重要度，算出各图像的图像重要度。

在图8所示实例中，例如因为图像I001中包含的对象P001、P002各自的对象重要度为‘30’、‘27’，所以图像I001的图像重要度是对象P001的对象重要度‘30’与对象P002的对象重要度‘27’的加法值，即57。

另外，图像重要度算出部107每当对各图像算出图像重要度，就将该图像中包含的各对象的对象ID通知给图像内对象数抽取部109和图像选出部111。

<1-7>图像重要度存储部

图像重要度存储部323由存储器131的一部分区域构成，将图像重要度算出部107算出的各图像的图像重要度与图像ID等一起加以存储。

图像重要度存储部323中例如如图9所示，以对应的形式存储各图像的图像ID与各图像的重要度。

<1-8>图像排名部

图像排名部108根据从图像重要度存储部323读出的各图像的图像重要度，对各图像排序。

图10中示出根据图像重要度排列各图像的结果一例。在图10所示的实例中，图像重要度为‘101’的图像I012的顺位为第1位，第2位以下接着图像I009和图像I002。在图10所示实例中，图像排名部108按图像重要度的数值降序排列各图像。若有图像重要度同值的图像，则图像排名部108将赋予该图像的图像ID号码小的排名到上位。

<1-9>图像内对象数抽取部

图像内对象数抽取部109将对于1个图像Im或图像In，从图像重要度算出部107通知的对象ID的个数进行计数而得到的值，作为对象数输出。

<1-10>图像内对象数存储部

图像内对象数存储部110由存储器131的部分区域构成，将由图像内对象数抽取部109算出的对象数与图像ID一起加以存储。例如如图10所示，以与各图像I012、I009、I002、…的图像ID对应的形式来存储各图像中包含的对象个数(例如若为图像I012、I009、I002、…，则为3个、5个、3个、…)。

<1-11>图像选出部

图像选出部111从由图像排名部108排名后的多个图像中，选出重要度比规定重要度高的图像(高重要度图像)Im、与重要度比规定重要度低的图像(低重要度图像)In。

这里，规定重要度相当于排名为规定顺位(例如第M位)的图像的图像重要度。而且，用户能使用图像管理装置100中设置的重要度设定部(未图示)，适当设定规定顺位。

图像选出部111由选出高重要度图像Im的高重要度图像选出部112与选出低重要度图像In的低重要度图像选出部113构成。

高重要度图像选出部112例如如图10所示，选出排名后的多个图像中、从图像重要度最高的图像(顺序为第1位的图像)起，按顺序地，至顺位为第M位(图10中第49位)的图像(重要度比规定的重要度高的图像中排名最低的图像)为止，作为高重要度图像Im。另外，高重要度图像选出部112若选出1个高重要度图像Im，则每次都将选出的高重要度图像Im的图像ID通知给图像内对象数比较判定部115。这里，高重要度图像选出部112将能识别由图像ID确定的图像是高重要度图像Im的信息与图像ID一起赋予给图像ID。

另外，高重要度图像选出部112在选出的高重要度图像Im中包含的对象数为1个的情况下，选出其他高重要度图像Im。这是考虑了在高重要度图像Im中包含的对象个数为1个的情况下，特征量修正部121不能适当修正对象的特征量。即，在对象的个数为1个的情况下，只不过执行使低重要度图像In的图像重要度与高重要度图像In的图像重要度一致的处理。

低重要度图像选出部113例如如图10所示，选出排名后的多个图像中、顺位为第M+1位(图10中顺位为50位)的图像(重要度比规定的重要度低的图像中排名最高的图像)起，至按顺序地顺位为最下位的图像，作为低重要度图像In。另外，低重要度图像选出部113若选出1个低重要度图像In，则每次都将选出的低重要度图像In的图像ID通知给图像内对象数比较判定部115。这里，低重要度图像选出部113将能识别由图像ID确定的图像是低重要度图像In的信息与该图像ID一起赋予给图像ID。在本实施方式中，说明低重要度图像选出部113从排名后的多个图像中顺位为第M+1位的图像起按顺序进行选出的实例，但不限于此，也可从顺位为M+x(x＝1、2、…)的图像起按顺序选出。

<1-12>图像内对象数比较判定部

图像内对象数比较判定部115根据从高重要度图像选出部112与低重要度图像选出部113通知的图像ID，从图像内对象数存储部110中取得由这些图像ID确定的高重要度图像Im和低重要度图像In中包含的对象的总数。

之后，图像内对象数比较判定部115比较高重要度图像Im中包含的对象个数与低重要度图像In中包含的对象个数，若各对象的个数相同，则将高重要度图像Im和低重要度图像In的图像ID通知给构成图像相似度算出部114的一部分的特征量修正部121。

例如如图11所示，在构成比较对象的高重要度图像I012与低重要度图像I012均包含3个对象的情况下，图像内对象数比较判定部115将高重要度图像I012的图像ID与低重要度图像I013的图像ID通知给特征量修正部121。

通过设置该图像内对象数比较判定部115，能从对象的特征量修正目标中将被摄体不可能与高重要度图像选出部112选出的高重要度图像Im一致的低重要度图像In去除，能实现处理的高效。

<1-13>图像相似度算出部

图像相似度算出部114由特征量修正部121、图像内对象相似度算出部116、相似度判定部123与相似度平均值算出部122构成。

<1-13-1>特征量修正部

特征量修正部121从对象特征量存储部104中读出由从图像内对象数比较判定部115通知的图像ID确定的高重要度图像Im和低重要度图像In各自中包含的多个对象的特征量。

之后，特征量修正部121使用以高重要度图像Im中包含的对象的特征量与低重要度图像In中包含的对象的特征量为参数的修正函数F1，修正低重要度图像In中包含的多个对象的特征量并输出。

这里，修正函数F1由向低重要度图像In中包含的对象的特征量矢量的各分量乘以修正系数的函数构成，该修正系数由高重要度图像Im中包含的各对象的特征量矢量的每个分量的平均值相对于低重要度图像In中包含的各对象的特征量矢量的每个分量的平均值的比构成。

即，若设从图像内对象数比较判定部115通知的高重要度图像Im中包含的各对象的特征量矢量为Pu1(Pu11、Pu12、…、Pu1n)、Pu2(Pu21、Pu22、…、Pu2n)、…、Puv(Puv1、Puv2、…、Puvn)，设从图像内对象数比较判定部115通知的低重要度图像In中包含的各对象的特征量矢量为Pw1(Pw11、Pw12、…、Pw1n)、Pw2(Pw21、Pw22、…、Pw2n)、…、Pwv(Pwv1、Pwv2、…、Pwvn)，设修正了特征量矢量Pw1、Pw2、…、Pwv后的特征量矢量为Pw1a(Pw11a、Pw12a、…、Pw1na)、Pw2a(Pw21a、Pw22a、…、Pw2na)、…、Pwva(Pwv1a、Pwv2a、…、Pwvna)，则对于修正函数F1(P)，[式2]的关系式成立。

[式2]

$\begin{array}{c}\mathrm{Pwxa}(x=\mathrm{1,2},...,v)=\left(\begin{array}{c}\mathrm{Pwx}1a\\ \mathrm{Pwx}2a\\ .\\ .\\ .\\ \mathrm{Pwxna}\end{array}\right)\\ =F1\left(\mathrm{Pux}(x=\mathrm{1,2},...,v)\right)=\left(\begin{array}{c}(\left(\underset{x=1}{\overset{v}{\mathrm{\&Sigma;}}}\mathrm{Pux}1\right)/\left(\underset{x=1}{\overset{v}{\mathrm{\&Sigma;}}}\mathrm{Pwx}1\right))\&times;\mathrm{Pwx}1\\ (\left(\underset{x=1}{\overset{v}{\mathrm{\&Sigma;}}}\mathrm{Pux}2\right)/\left(\underset{x=1}{\overset{v}{\mathrm{\&Sigma;}}}\mathrm{Pwx}2\right))\&times;\mathrm{Pwx}2\\ .\\ .\\ .\\ (\left(\underset{x=1}{\overset{v}{\mathrm{\&Sigma;}}}\mathrm{Puxn}\right)/\left(\underset{x=1}{\overset{v}{\mathrm{\&Sigma;}}}\mathrm{Pwxn}\right))\&times;\mathrm{Pwxn}\end{array}\right)(x=\mathrm{1,2},...,v)\end{array}$

下面，说明从图像内对象数比较判定部115向特征量修正部121通知高重要度图像I012和低重要度图像I013的图像ID时的实例。这里，如图12所示，设高重要度图像I012中包含的对象P031、P032、P033对应于被摄体a、b、c，低重要度图像I013中包含的对象P028、P029、P030对应于被摄体b、c、a。

但是，作为从低重要度图像I013中去除摄像条件等的噪声产生的对象的特征量影响的方法，例如考虑选出高重要度图像I012中包含的1个对象P033与低重要度图像I013中包含的对象P028、P029、P030之中的、对应于与对象P033相对应的被摄体c的对象P029，使用对象P033的特征量与对象P029的特征量，算出修正函数。此时，必需把握高重要度图像I012中包含的多个对象与低重要度图像I013中包含的多个对象之间的对应关系。例如，在使用对应于相同被摄体c的对象P033的特征量与对象P029的特征量来算出修正函数的情况下，与在使用对应于被摄体c的对象P033的特征量与对应于被摄体a的对象P030的特征量来算出修正函数的情况下，修正函数的内容有可能变化。即，对象的对应关系影响修正函数。

但是，难以确定图像I012中包含的对象各自的被摄体与图像I013中包含的哪个对象一致。

因此，在本实施方式中，如图13所示，使用图像I012中包含的对象P031、P032、P033的各特征量矢量的重心矢量(centralvector，特征量平均值矢量)G012、与图像I013中包含的对象P028、P029、P030的各特征量矢量的重心矢量(特征量平均值矢量)G013，算出修正函数F1。由此，特征量修正部121即便不把握高重要度图像I012中包含的对象P031、P032、P033各自、低重要度图像I013中包含的对象P028、P029、P030各自、与被摄体a、b、c的对应关系，也能算出修正函数F1。因此，因为能省略用于把握高重要度图像i(I)012中包含的对象P031、P032、P033与低重要度图像i(I)012(3)中包含的对象P028、P029、P030的对应关系的处理，所以能实现图像管理装置的处理负荷的降低。

这里，特征量修正部121首先如图14所示，根据图像I012中包含的对象P031、P032、P033的各特征量矢量，算出特征量平均值矢量G012(对象P031、P032、P033的特征量矢量的重心矢量)，如图15所示，根据图像I013中包含的对象P028、P029、P030的各特征量，算出特征量平均值矢量G013(即，对象P028、P029、P030的特征量矢量的重心矢量)。例如，特征量平均值矢量G012的特征量分量1为对象P031的特征量分量1即0.03、对象P032的特征量分量1即0.1、与对象P030的特征量分量1即0.17的平均值0.1(＝(0.03+0.1+0.17)/3)。

之后，特征量修正部121对每分量算出特征量平均值矢量G012的各特征量分量与特征量平均值矢量G013的各特征量分量的比，作为修正系数，求出修正量矢量Ch(参照图16)。接着，特征量修正部121将算出修正量矢量Ch的各分量与特征量矢量P028、P029、P030之间的各分量彼此的积的函数，作为修正函数F1。

即，特征量修正部121使用该修正函数F1，修正低重要度图像In中包含的对象P028、P029、P030的特征量矢量，从而，无论图像I012中包含的对象各自与图像I013中包含的对象各自的对应关系如何，均能从低重要度图像In中去除噪声的影响。

另外，特征量修正部121在特征量平均值矢量G013中包含‘0’作为特征量分量的情况下，将对应于该特征量分量的修正量矢量Ch的特征量分量设定为‘1’。由此，能防止包含‘0’作为特征量分量时的零除法(divide-by-zero)的发生。

特征量修正部121将向修正函数F1输入特征量矢量P028、P029、P030得到的特征量矢量P028a、P029a、P030a输出到图像内对象类似部116。

图17中示出特征量修正部121对图像I013中包含的各对象的特征量使用修正量矢量Ch进行修正后的各对象的特征量。

<1-13-2>图像内对象相似度算出部

图像内对象相似度算出部116算出高重要度图像Im中包含的多个对象与低重要度图像In中包含的多个对象的相似度(对象的相似度)。这里，图像内对象相似度算出部116使用来自对象特征量存储部104的图像I012中包含的各对象的特征量矢量、与从特征量修正部121输入的图像I013中包含的各对象的特征量矢量，算出对象的相似度。因为高重要度图像I013和低重要度图像I013分别包含3个对象，所以如图18所示，对9个对象的组合算出对象的相似度。另外，图像内对象相似度算出部116使用要对比的2个对象的特征量矢量，算出余弦相似度。另外，对象的相似度也可使用根据2个对象的特征量矢量的内积算出的量。

即，若设对象Ps的特征量矢量为Ps(Ps1、Ps2、…、Psn)，设对象Pt的特征量矢量为Pt(Pt1、Pt2、…、Ptn)，则使用[式3]的关系式算出相似度。

[式3]

$\frac{\mathrm{Ps}\&CenterDot;\mathrm{Pt}}{\left|\mathrm{Ps}\right|\&times;\left|\mathrm{Pt}\right|}=\frac{\left(\begin{array}{c}\mathrm{Ps}1\\ \mathrm{Ps}2\\ .\\ .\\ .\\ \mathrm{Psn}\end{array}\right)\&CenterDot;\left(\begin{array}{c}\mathrm{Pt}1\\ \mathrm{Pt}2\\ .\\ .\\ .\\ \mathrm{Ptn}\end{array}\right)}{\left|\left(\begin{array}{c}\mathrm{Ps}1\\ \mathrm{Ps}2\\ .\\ .\\ .\\ \mathrm{Psn}\end{array}\right)\right|\&times;\left|\left(\begin{array}{c}\mathrm{Pt}1\\ \mathrm{Pt}2\\ .\\ .\\ .\\ \mathrm{Ptn}\end{array}\right)\right|}$

|Ps|、|Pt|表示特征量矢量Ps、Pt的绝对值(模，norm)。

图18中示出使用[式3]算出对象P028a与对象P031、对象P032和对象P033的相似度的结果。

接着，图像内对象相似度算出部116根据算出的多个相似度，认定对象P031、P032、P033各自与对象P028a、P029a、P030a各自之间被摄体一致的组合。即，图像内对象相似度算出部116根据算出的对象的相似度，将高重要度图像I012中包含的多个对象P031、P032、P033与低重要度图像I013中包含的多个对象P028、P029、P030(修正后的对象P028a、P029a、P030a)一对一地建立对应。

这里，图像内对象相似度算出部116首先从算出的对象相似度中检测相似度最高的组合(对象P029a与对象P033的组合)，将对象P029a与对象P033认定为对应于相同被摄体的对象(参照图19上段)。之后，图像内对象相似度算出部116从去除对象P029a与对象P033的其他对象彼此的相似度中检测相似度最高的组合(对象P028a与对象P031的组合)，将对象P028a与对象P031认定为对应于相同被摄体的对象(参照图19中段)。之后，图像内对象相似度算出部116将剩下的对象(对象P030a与对象P032的组合)认定为对应于相同被摄体的对象(参照图19下段)。

之后，图像内对象相似度算出部116仅将被认定为对应于相同被摄体的对象的那些对象、即一对一地对应的对象彼此的相似度通知给相似度判定部123和相似度平均值算出部122。在图18所示的实例中，图像内对象相似度算出部116将对象P029a与对象P033的相似度‘0.9’、对象P028a与对象P031的相似度‘0.8’、对象P030a与对象P032的相似度‘0.65’通知给相似度判定部123和相似度平均值算出部122。

<1-13-3>相似度判定部

相似度判定部123保持对于对象相似度的阈值(相似度阈值)，判定从图像内对象相似度算出部116通知的对象的相似度是否超过相似度阈值。之后，相似度判定部123若判定为对象的相似度的任意一个相似度低于相似度阈值，则将该情况通知图像选出部111。例如，若是对应于彼此不同被摄体的对象彼此的相似度，则低于相似度阈值。另一方面，若相似度判定部123判定为对象的相似度全部超过相似度阈值，则将该情况通知相似度平均值算出部122。

相似度判定部123抽取多个图像各自中包含的对应于同一被摄体的多个对象，根据各对象彼此的相似度统计值，决定相似度阈值。用于该相似度阈值算出的多个图像能由用户使用图像管理装置100中设置的图像选择部(未图示)来指定。

<1-13-4>相似度平均值算出部

相似度平均值算出部122算出从图像内对象相似度算出部116通知的各对象的相似度、即由图像内对象相似度算出部116彼此一对一地建立对应的对象彼此的相似度的平均值，设为高重要度图像Im与低重要度图像In的图像相似度，输出到图像重要度修正部117。例如，若从图像内对象相似度算出部116通知‘0.9’、‘0.8’和‘0.65’作为对象的相似度(参照图19)，则相似度平均值算出部122将所通知的3个对象的相似度平均值(0.9+0.8+0.65)/3＝0.78作为高重要度图像I012与低重要度图像I013的图像相似度，输出到图像重要度修正部117。

<1-14>图像重要度修正部

图像重要度修正部117根据从构成图像相似度算出部114一部分的相似度平均值算出部122输出的图像相似度与图像重要度存储部323中存储的高重要度图像Im和低重要度图像In的图像重要度，修正低重要度图像In的图像重要度。

即，图像重要度修正部117若设图像相似度为Sg、高重要度图像Im的图像重要度为Scm、低重要度图像In的图像重要度为Scn，则使用[式4]表示的关系式，修正低重要度图像In的图像重要度Scn，算出低重要度图像In的新的图像重要度Scn’。

[式4]

Scn’＝(Scm-Scn)×Sg+Scn

例如，若设高重要度图像I012的图像重要度为‘101’、低重要度图像I013的图像重要度为‘5’、高重要度图像I012与低重要度图像I013的图像相似度为‘0.78’，则图像重要度修正部117将低重要度图像IN的图像重要度修正为(101-5)×0.78+5＝79.88(参照图20)。

另外，图像重要度修正部117将算出的图像重要度Scn’存储在图像重要度存储部323中，并且，将修正已结束通知给图像选出部111和图像再排名部118。

<1-15>图像排名部

图像再排名部118从图像重要度存储部323取得各图像的图像重要度，根据该图像重要度，对多个图像算出排名(参照图21)。之后，图像再排名部118将算出的排名通知给图像输出部119。

<1-16>图像输出部

图像输出部119由HDMI输出端子连接于显示装置120，根据从图像再排名部118通知的各图像的排名，生成由涉及各图像的排名的信息构成的图像排名数据，从HDMI输出端子输出该图像排名数据。之后，显示装置120显示从图像输出部119输出的图像排名数据(参照图21)。

<2>动作

<2-1>整体动作

图22中示出涉及实施方式1的图像管理装置100执行的动作的流程图。

图像取得部102取得摄影装置101中存储的多个图像，对各图像赋予图像ID(步骤S101)。例如，在图2所示的实例中，按取得的顺序，赋予I001、I002、I003、I004…，作为图像ID。

接着，对象检测部103从图像取得部102取得的各图像I001、I002、…各自中检测对象，向检测到的各对象赋予对象ID(参照图3、图4)。

之后，对象检测部103将各对象的特征量矢量与各对象ID对应后，存储在对象特征量存储部104中(参照图5)(步骤S102)。

之后，对象分类部105根据对象特征量存储部104中存储的各对象的特征量矢量，将对象检测部103检测到的全部对象分类为多个聚类，并且，将属于各聚类的对象个数(参照图6)通知给对象重要度算出部106(步骤S103)。

接着，对象重要度算出部106按每个对象确定识别各对象所属聚类的聚类ID，输出该对象的个数，作为对象重要度(参照图6)(步骤S104)。

之后，图像重要度算出部107根据对象重要度算出部106算出的对象重要度，算出各图像的图像重要度(步骤S105)。这里，图像重要度算出部107算出各图像中包含的全部对象的对象重要度的共计值作为图像重要度(参照图8)。之后，图像重要度算出部107将算出的图像重要度通知给图像排名部108。另外，图像重要度算出部107将算出的图像重要度存储在图像重要度存储部323中(参照图9)。

接着，图像排名部108根据从图像重要度存储部323取得的各图像的图像重要度，对各图像进行排名(参照图10)(步骤S106)。另外，图像排名部108将结束了各图像排名的情况通知给图像内对象数抽取部109，并且，将排名的结果通知给图像选出部111。

图像内对象数抽取部109若从图像排名部108接受各图像的排名已结束的通知，则根据从图像重要度算出部107通知的对象ID的个数，算出多个图像各自中包含的对象的个数(参照图11)，并以对应于图像ID的形式存储在图像内对象数存储部110中(步骤S107)。

接着，构成图像选出部111一部分的高重要度图像选出部112选出排名后的多个图像之中从顺位为第1位的图像I012起，按顺序地至顺位为第M位(图10中为49位)的图像I086为止，作为高重要度图像Im(步骤S108)。选出高重要度图像Im的处理细节在后面<2-4>中详述。这里，高重要度图像选出部112将选出的高重要度图像Im中的1个图像ID通知给图像内对象数比较判定部115。高重要度图像选出部112例如将顺位为1位的图像I012的图像ID通知给图像内对象数比较判定部115。

接着，构成图像选出部111一部分的低重要度图像选出部113选出排名的多个图像之中顺位为M+1位(图10中为50位)的图像I013起、按顺序地至顺位为最下位的图像为止，作为低重要度图像In(步骤S109)。这里，低重要度图像选出部113将选出的低重要度图像In中的1个图像ID通知给图像内对象数比较判定部115。低重要度图像选出部113例如将顺位为50位的图像I013的图像ID通知给图像内对象数比较判定部115。

接着，图像内对象数比较判定部115根据从高重要度图像选出部112通知的图像ID(图像I012)、从低重要度图像选出部113通知的图像ID(图像I013)、涉及从图像内对象数存储部110取得的各图像中包含的对象个数的信息，比较高重要度图像I012中包含的对象个数与低重要度图像I013中包含的对象个数，判定是否相同(步骤S110)。

在步骤S110中，当图像内对象数比较判定部115判断为高重要度图像I012中包含的对象个数与低重要度图像I013中包含的对象个数不同时(步骤S110：否)，图像内对象数比较判定部115将该情况通知图像选出部111。之后，若图像选出部111接收该通知，则构成图像选出部111一部分的低重要度图像选出部113选出其他低重要度图像In(步骤S109)。

另一方面，在步骤S110中，当图像内对象数比较判定部115判定为高重要度图像I012中包含的对象个数与低重要度图像I013中包含的对象个数相同时(步骤S110：是)，图像内对象数比较判定部115将高重要度图像I012和低重要度图像I013的图像ID通知给图像相似度算出部114。

接着，图像相似度算出部114若从图像内对象数比较判定部115接收高重要度图像I012和低重要度图像I013的图像ID的通知，则图像相似度算出部114利用特征量修正部221和图像内对象相似度算出部116，执行根据高重要度图像I012中包含的对象P031、P032、P033各自的特征量矢量、与低重要度图像I013中包含的对象P028、P029、P030各自的特征量矢量、算出对象的相似度的处理(步骤S111)。算出该图像I012、I013中包含的对象的相似度的处理在<2-2>中详述。

接着，相似度判定部123判定算出的对象相似度中是否超过预先设定的相似度阈值(步骤S112)。

相似度判定部123在算出的对象的相似度中有比预先设定的相似度阈值低的相似度的情况下(步骤S112：否)，相似度判定部123将该情况通知给低图像重要度选出部113，接受到该通知的低图像重要度选出部113选出其他低重要度图像(步骤S109)。

另一方面，在相似度判定部123判定为算出的对象的相似度全部为相似度阈值以上的情况下(步骤S112：否)，相似度判定部123将该情况通知给相似度平均值算出部122。接着，相似度平均值算出部122算出所计算出的对象的相似度平均值，将该平均值作为图像相似度，通知给图像重要度修正部117(步骤S113)。接着，图像重要度修正部117根据该图像相似度，修正低重要度图像I013的图像重要度(步骤S114)。执行该图像重要度修正的一系列处理在<2-3>中详述。这里，图像重要度修正部117当图像I013的图像重要度修正结束时，将其存储在图像重要度存储部323中，并且将修正已结束的情况通知给图像再排名部118和图像选出部111。

之后，图像选出部111若从图像重要度修正部111接收修正已结束的通知，则低重要度图像选出部113确认是否存在排名仅比上次选出的图像I013低1位的图像(步骤S115)。

在步骤S115中，低重要度图像选出部113在判断为存在排名仅比上次选出的图像I013低1位的图像的情况下(步骤S115：是)，低重要度图像选出部113选出排名仅比上次选出的图像I013低1位的图像。低重要度图像选出部113例如若上次选出的图像是顺位为50位的图像I013，则选出下一顺位即第51位的图像I085(参照图11)。

另一方面，在步骤S115中，低重要度图像选出部113在判断为不存在排名仅比上次选出的图像In低1位的图像的情况下(步骤S115：否)，高重要度图像选出部112确认是否存在排名仅比上次选出的图像I012低1位的图像(步骤S116)。

在步骤S116中，高重要度图像选出部112在判断为存在排名仅比上次选出的图像I012低1位的图像的情况下(步骤S116：是)，高重要度图像选出部112选出排名仅比上次选出的图像I012低1位的图像。高重要度图像选出部112例如若上次选出的图像是顺位为1位的图像I012，则选出下一顺位即第2位的图像I009(参照图11)。

另一方面，在步骤S116中，高重要度图像选出部112在判断为不存在排名仅比上次选出的图像Im低1位的图像的情况下(步骤S116：否)，图像再排名部118使用图像重要度算出部107评价的图像重要度和由图像重要度修正值算出部117算出的重要度修正值，对各图像进行排名(步骤S117)。这里，设图像再排名部118从图像重要度大的图像开始顺序排列多个图像。图21中示出其一例。在图21所示的实例中，图像重要度为‘5’的图像I013的图像重要度变为‘79.88’的结果，顺位上升3位。

最后，图像输出部119将图像再排名部118排名后的结果输出到显示装置120(步骤S118)。

<2-2>对象相似度算出

图23中示出算出对象相似度的处理的流程图。

首先，算出高重要度图像Im中包含的多个对象的特征量平均值矢量Gm(这里以图像I012中包含的对象P031、P032、P033的特征量平均值矢量G012来说明)(步骤S201)。

接着，算出低重要度图像In中包含的多个对象的特征量平均值矢量Gn(这里以图像I013中包含的对象P028、P029、P030的特征量平均值矢量G013来说明)(步骤S202)。

之后，根据特征量平均值矢量G012与特征量平均值矢量G013来求出修正量矢量Ch(步骤S203)。

另外，特征量修正部121对低重要度图像I013中包含的全部对象P028、P029、P030，如上述[式1]所示，算出由使用修正量矢量Ch的修正函数F1修正后的各对象P028a、P029a、P030a的特征量矢量(步骤S204)。

接着，图像内对象相似度算出部116算出高重要度图像I012中包含的各对象P031、P032、P033、与修正后的各对象P028a、P029a、P030a之间的相似度(步骤S205)。

接着，图像内对象相似度算出部116从算出的对象的相似度中抽取相似度的最高值(步骤S206)。

另外，图像内对象相似度算出部116检测对应于相似度最高值的对象的组合(步骤S207)。在图19所示实例中，图像内对象相似度算出部116检测对象P029a与对象P033的组合(步骤S208)。

这里，图像内对象相似度算出部116因为检测出对象P029a与对象P033的组合，所以将对象P029a、P033从组合检测对象中去除。在图19所示实例中，将对应于阴影所示部分的相似度从组合检测对象中去除。

接着，图像内对象相似度算出部116判断是否对全部对象检测了组合(步骤S209)。

在步骤S209中，图像内对象相似度算出部116若判断为对象中还存在未决定组合的对象(步骤S209：否)，则再次返回到步骤S206。

另一方面，在步骤S209中，若图像内对象相似度算出部116判断为对全部对象决定了组合(步骤S209：是)，则将对象的组合与对应于该组合的相似度通知给相似度平均值算出部122(S210)。这里，图像内对象相似度算出部116将对象P029a与对象P033的相似度为‘0.9’、对象P028a与对象P031的相似度为‘0.8’、对象P030a与对象P032的相似度为‘0.65’的情况(参照图19)通知给相似度平均值算出部116。

<2-3>图像重要度修正

图24(b)示出修正图像重要度的处理的流程图。

首先，图像重要度修正部117从图像重要度存储部323取得图像I012的图像重要度与图像I013的图像重要度(步骤S301)。这里，图像重要度修正部117取得图像I012的图像重要度‘101’、图像I013的图像重要度‘5’(参照图9)。

之后，图像重要度修正部117首先算出图像I012的图像重要度‘101’和图像I013的图像重要度‘5’的差分值与对象的相似度平均值‘0.78’的积，之后，算出所计算出的积与低重要度图像I013的图像重要度‘5’之和，将算出的值‘79.88’作为图像I013的新的图像重要度输出(参照图20)(步骤S302)。

<2-4>高重要度图像选出

图24(a)中示出选出高重要度图像Im的处理的流程图。

首先，高重要度图像选出部112选出1个高重要度图像Im(步骤S311)。

接着，高重要度图像选出部112对从图像重要度算出部107通知的对象ID的个数进行计数，算出选出的高重要度图像Im中包含的对象数(步骤S312)。

之后，高重要度图像选出部112判定选出的高重要度图像Im中包含的对象数是否为1个(步骤S313)。

在步骤S313中，高重要度图像选出部112若判定为选出的高重要度图像Im中包含的对象数为1个(步骤S313：是)，则高重要度图像选出部112选出其他高重要度图像Im(步骤S311)。

另一方面，在步骤S313中，高重要度图像选出部112若判定为选出的高重要度图像Im中包含的对象数为多个(步骤S313：否)，则高重要度图像选出部112结束选出高重要度图像Im的处理。

<实施方式2>

<1>构成

涉及本实施方式的图像管理装置200的构成与图1的构成大致相同，如图25所示，不同之处在于具备对象选出部215，同时，图像相似度算出部114具备相似度最高值算出部223。另外，向与图1的构成一样的构成附加相同符号，适当省略说明。

<1-1>对象选出部

对象选出部215从高重要度图像选出部112选出的高重要度图像Im中包含的多个对象中，选择1个对象，将选择到的1个对象的对象ID与包含该对象的图像ID通知给特征量修正部221。对象选出部215例如如图26所示，从高重要度图像I012中包含的3个对象P031、P032、P033中选择1个对象P031，将该对象ID与包含该对象P031的高重要度图像I012的图像ID通知给特征量修正部221。

<1-2>图像相似度算出部

图像相似度算出部114由特征量修正部221、图像内对象相似度算出部116、相似度最高值算出部223与相似度判定部222构成。

<1-2-1>特征量修正部

特征量修正部221从对象特征量存储部104中读出由从对象选出部215通知的对象ID确定的对象P031、由从图像选出部111通知的图像ID确定的低重要度图像I013中包含的全部对象P028、P029、P030的特征量矢量。

另外，特征量修正部221使用以高重要度图像Im中包含的对象的特征量矢量与低重要度图像In中包含的对象的特征量矢量为参数的修正函数F2，修正从对象特征量存储部104读出的低重要度图像In中包含的多个对象的特征量矢量并输出。

这里，修正函数F2由以从高重要度图像Im中包含的对象中选择的1个对象的特征量相对于低重要度图像In中包含的对象的特征量之比为修正系数、并向低重要度图像In中包含的多个对象的特征量分别乘以该修正系数的函数构成。

即，若设从高重要度图像Im中包含的多个对象中选择的对象的特征量矢量为Puy(Puy1、Puy2、…、Puyn)，设低重要度图像In中包含的各对象的特征量矢量为Pw1(Pw11、Pw12、…、Pw1n)、Pw2(Pw21、Pw22、…、Pw2n)、…、Pwv(Pwv1、Pwv2、…、Pwvn)，设修正了特征量矢量Pw1、Pw2、…、Pwv后的特征量矢量为Pw1by(Pw11by、Pw12by、…、Pw1nby)、Pw2b(Pw21by、Pw22by、…、Pw2nby)、…、Pwvby(Pwv1by、Pwv2by、…、Pwvnby)，则对于修正函数F2(P)，[式5]的关系式成立。

[式5]

$\begin{array}{c}\mathrm{Pwxby}(x=\mathrm{1,2},...,v;y=\mathrm{1,2},...,z)=\left(\begin{array}{c}\mathrm{Pwx}1\mathrm{by}\\ \mathrm{Pwx}2\mathrm{by}\\ .\\ .\\ .\\ \mathrm{Pwxnby}\end{array}\right)\\ =F2\left(\mathrm{Pux}(x=\mathrm{1,2},...,v;r=\mathrm{1,2},...,v;y=\mathrm{1,2},...,z)\right)=\left(\begin{array}{c}(\mathrm{Puy}1/\mathrm{Pwr}1)\&times;\mathrm{Pwx}1\\ (\mathrm{Puy}2/\mathrm{Pwr}2)\&times;\mathrm{Pwx}2\\ .\\ .\\ .\\ (\mathrm{Puyn}/\mathrm{Pwrn})\&times;\mathrm{Pwxn}\end{array}\right)(x=\mathrm{1,2},...,v)\end{array}$

这里，说明从对象选出部215对特征量修正部221通知高重要度图像I012的图像ID、对象P031的对象ID和低重要度图像I013的图像ID的情况。

特征量修正部221计算由对象P031的各特征量分量与图像I013中包含的各对象P028、P029、P030各自的特征量矢量的各特征量分量之比构成的修正系数，求出修正量矢量Ch1、Ch2、Ch3(参照图27)。

另外，特征量修正部121在各对象P028、P029、P030各自的特征量矢量包含‘0’作为特征量分量的情况下，将对应于该特征量分量的修正量矢量Ch1、Ch2、Ch3的特征量分量设定为‘1’。由此，能防止包含‘0’作为特征量分量时的零除法的发生。

之后，特征量修正部221将算出各修正量矢量Ch1、Ch2、Ch3与各对象P028、P029、P030的特征量矢量的各分量彼此的积的函数设为修正函数F2。

这里，特征量修正部221将向修正函数F2输入对象P028、P029、P030各自的特征量矢量得到的对象P028b1、P029b1、P030b1和对象P028b2、P029b2、P030b2及对象P028b3、P029b3、P030b3各自的特征量矢量(参照图28)通知给图像内对象类似部116。使用修正量矢量Ch1(Ch2、Ch3)的修正函数F2中，假定为对应于对象P031的被摄体与对应于对象P028(P029、P030)的被摄体相同，进行修正。

<1-2-2>图像内对象相似度算出部

图像内对象相似度算出部116算出图像I012中包含的对象P032、P033与从特征量修正部221通知的对象P029b1、P030b1之间的相似度、对象P032、P033与对象P028b2、P030b2之间的相似度、对象P032、P033与对象P028b3、P029b3之间的相似度(参照图29)。即，图像内对象相似度算出部116对修正函数F2的算出中使用的对象组合以外的对象组合算出相似度。由此，能降低图像内对象相似度算出部116执行的算出对象相似度的处理的负荷。

另外，图像内对象相似度算出部116抽取对象P032、P033各自与对象P029b1、P030b1各自之间的相似度中最高的相似度S1。在图29所示实例中，为对象P033与对象P029b1的相似度，即‘0.9’。之后，相似度最高值算出部223抽取对象P032、P033各自与对象P028b2、P030b2各自直接的相似度中最高的相似度S2。在图27所示实例中，为对象P032与对象P030b2的相似度，即‘0.35’。图像内对象相似度算出部116还抽取对象P032、P033各自与对象P028b3、P029b3各自之间的相似度中最高的相似度S3。在图29所示实例中，为对象P033与对象P029b3的相似度，即‘0.4’。

之后，图像内对象相似度算出部116抽取抽取到的相似度S1、S2、S3中最高的相似度，并检测表示该相似度的对象组合。在图27所示实例中，图像内对象相似度算出部116抽取相似度S1(‘0.9’)，对应于该相似度S1的组合变为对象P033与对象P029b1。另外，图像内对象相似度算出部116抽取相似度S1的2个对象P033、P029b1以外的其他对象P032、P029b2的相似度(在图29的实例中为‘0.8’)。之后，相似度最高值算出部223将抽取到的相似度通知给相似度判定部222。

<1-2-3>相似度判定部

相似度判定部222保持对相似度的规定阈值(相似度阈值)，判定从相似度最高值算出部223通知的相似度的值是否超过该相似度阈值。之后，相似度判定部222若判定为对象的相似度中的任意一个相似度低于相似度阈值，则将该情况通知图像选出部111。另一方面，若相似度判定部123判定为对象的相似度全部超过相似度阈值，则将该情况通知相似度最高值算出部223。

<1-2-4>相似度最高值算出部

相似度最高值算出部223从图像内对象相似度算出部116通知的相似度中算出相似度最高值，将该最高值作为图像相似度，通知给图像重要度修正部117。在图29所示实例中，相似度最高值算出部223从对象P032、P030b1的相似度和对象P033、P029b1的相似度中算出相似度的最高值。

<2>动作

<2-1>整体动作

图30中示出涉及本实施方式的图像管理装置200执行的动作的流程图。本实施方式的整体动作中与实施方式1的不同之处在于步骤S106之后至步骤S114之前的处理。步骤S106之后至步骤S114之前的处理以外的处理与实施方式1一样，所以省略说明。

涉及本实施方式的图像管理装置200在步骤S106中以图像重要度对多个图像进行排名之后，构成图像选出部111一部分的高重要度图像选出部112选出排名后的多个图像中顺位为第1位的图像I012起按顺序至顺位为第M位(图10中为49位)的图像I086为止，作为高重要度图像Im(步骤S401)。这里，高重要度图像选出部112将选出的1个高重要度图像Im的图像ID通知给对象选出部215。高重要度图像选出部112例如将顺位为第1位的高重要度图像I012的图像ID通知给对象选出部215。

接着，构成图像选出部111一部分的低重要度图像选出部113选出排名后的多个图像中、顺位为第M+1位(图10中为50位)的图像I013起按顺序地至顺位为最下位的图像，作为低重要度图像In(步骤S402)。选出高重要度图像Im的处理的细节与实施方式1(参照图22的步骤S108)一样，所以省略说明。这里，低重要度图像选出部113将选出的1个低重要度图像In的图像ID通知给对象选出部215。低重要度图像选出部113例如将顺位为50位的低重要度图像I013的图像ID通知给对象选出部215。

接着，对象选出部215根据从高重要度图像选出部112通知的图像重要度高的图像Im的图像ID，选出图像重要度高的图像Im各自中包含的对象中的1个(步骤S403)。例如，选出图26所示的对象P031。之后，对象选出部215将图像I012的图像ID与该图像I012中包含的对象P031的对象ID通知给图像相似度算出部114。

之后，图像相似度算出部114利用特征量修正部221和图像内对象相似度算出部116，执行根据高重要度图像I012中包含的对象P031、P032、P033各自的特征量矢量、与低重要度图像I013中包含的对象P028、P029、P030各自的特征量矢量、来算出对象的相似度(参照图29)的处理(步骤S404)。算出该高重要度图像I012中包含的对象与低重要度图像I013中包含的对象的相似度的处理在<2-2>中详述。

接着，相似度判定部222判定图像内对象相似度算出部116算出的对象相似度全部是否超过预先设定的相似度阈值(步骤S405)。

相似度判定部222判定为在算出的对象的相似度中有比预先设定的相似度阈值低的相似度的情况下(步骤S405：否)，相似度判定部222将该情况通知给图像选出部111，构成图像选出部111一部分的低图像重要度选出部113重新选出图像I013以外的图像重要度低的图像(步骤S402)。

另一方面，在图像内对象相似度算出部116判定为算出的对象的相似度全部为相似度阈值以上的情况下(步骤S405：是)，相似度最高值算出部223算出从图像内对象相似度算出部116通知的相似度的最高值，将算出的相似度作为图像相似度输出(步骤S406)。

之后，图像重要度修正部117根据从相似度最高值算出部223输出的图像相似度、从图像重要度存储部323取得的高重要度图像I013的图像重要度与低重要度图像I012的图像重要度，执行低重要度图像I013的图像重要度的修正(步骤S407)。执行该图像重要度修正的一系列处理在<2-3>中详述。

<2-2>对象相似度算出

图31中示出算出对象相似度的处理的流程图。

首先，特征量修正部221根据从对象选出部215通知的图像ID和对象ID，算出修正量矢量(步骤S501)。这里，图像内对象相似度算出部116算出由图像I012中包含的对象P031的各特征量分量相对于图像I013中包含的对象P028、P029、P030各自的各特征量分量之比构成的修正系数所构成的修正量矢量Ch1、Ch2、Ch3(参照图27)。

接着，特征量修正部221使用修正量矢量Ch1、Ch2、Ch3对图像In(图像I013)中包含的各对象P028、P029、P030进行特征量修正，生成对象P029b1、P030b1、P028b2、P030b2、P029b3、P030b3(参照图28)(步骤S502)。

之后，图像内对象相似度算出部116算出除算出修正量矢量Ch1、Ch2、Ch3时使用的对象外的全部对象的相似度(参照图29)(步骤S503)。

接着，图像内对象相似度算出部116从算出的对象彼此的相似度中，抽取最高的相似度(步骤S504)。在图29所示实例中，为对象P033与对象P029b1的相似度。另外，检测对应于该最高相似度的对象的组合(步骤S505)，确定用于生成该对象一方的修正量矢量(步骤S506)。这里，为用于生成对象P029b1的修正量矢量Ch1。

接着，图像内对象相似度算出部116从组合检测对象中去除对应于最高相似度的对象(步骤S507)，并且，判断是否对使用修正量矢量Ch1生成的对象全部检测了组合(步骤S508)。

在步骤S508中，图像内对象相似度算出部116在判断为使用修正量矢量Ch1生成的对象中存在组合未被检测的对象的情况下(步骤S508：否)，图像内对象相似度算出部116再次执行抽取最高相似度的处理(步骤S504)。

另一方面，在步骤S508中，若图像内对象相似度算出部116判断为对使用修正量矢量Ch1生成的对象全部检测了组合(步骤S508：是)，则将各对象的组合与对应于该组合的相似度通知给相似度最高值算出部223(步骤S509)。

<2-3>图像重要度修正

图32示出修正图像重要度的处理的流程图。

首先，图像重要度修正部117从图像重要度存储部323取得图像I012的图像重要度与图像I013的图像重要度(步骤S601)。这里，设图像I012的图像重要度为‘101’，图像I013的图像重要度‘5’。

之后，图像重要度修正部117将如下乘积再加上图像I013的重要度‘5’而得到的值，作为图像I013的新的图像重要度输出(步骤S602)，该乘积是图像I012的图像重要度‘101’与图像I013的图像重要度‘5’的差分值、和从相似度最高值算出部223通知的图像相似度‘0.9’的乘积。

<实施方式3>

<1>构成

涉及本实施方式的图像管理装置的构成与图1的构成大致相同，不同之处在于图像相似度算出部114的功能。另外，向与图1的构成一样的构成附加相同符号，适当省略说明。

图像相似度算出部114与实施方式1一样，由特征量修正部121、图像内对象相似度算出部116、相似度判定部123与相似度平均值算出部122构成。在本实施方式中，仅特征量修正部121不同。这里，因为图像内对象相似度算出部116、相似度判定部123和相似度平均值算出部122与实施方式1一样，所以省略说明。

特征量修正部121从对象特征量存储部104中读出由从图像内对象数比较判定部115通知的图像ID确定的图像各自中包含的对象的特征量。

之后，特征量修正部121使用以高重要度图像Im中包含的对象的特征量与低重要度图像In中包含的对象的特征量为参数的修正函数F3，修正从对象特征量存储部104读出的低重要度图像In中包含的多个对象的特征量并输出。

这里，修正函数F3由向低重要度图像In中包含的对象的特征量加上高重要度图像Im中包含的对象的特征量平均值相对于低重要度图像In中包含的对象的特征量平均值的差分值的函数构成。

即，若设高重要度图像Im中包含的各对象的特征量矢量为Pu1(Pu11、Pu12、…、Pu1n)、Pu2(Pu21、Pu22、…、Pu2n)、…、Puv(Puv1、Puv2、…、Puvn)，设低重要度图像In中包含的各对象的特征量矢量为Pw1(Pw11、Pw12、…、Pw1n)、Pw2(Pw21、Pw22、…、Pw2n)、…、Pwv(Pwv1、Pwv2、…、Pwvn)，设修正了特征量矢量Pw1、Pw2、…、Pwv后的特征量矢量为Pw1c(Pw11c、Pw12c、…、Pw1nc)、Pw2c(Pw21c、Pw22c、…、Pw2nc)、…、Pwvc(Pwv1c、Pwv2c、…、Pwvnc)，则对于修正函数F3(P)，[式6]的关系式成立。

[式6]

$\begin{array}{c}\mathrm{Pwxc}(x=\mathrm{1,2},...,v)=\left(\begin{array}{c}\mathrm{Pwx}1c\\ \mathrm{Pwx}2c\\ .\\ .\\ .\\ \mathrm{Pwxnc}\end{array}\right)\\ =F3\left(\mathrm{Pux}(x=\mathrm{1,2},...,v)\right)=\left(\begin{array}{c}(\underset{x=1}{\overset{v}{\mathrm{\&Sigma;}}}\mathrm{Pux}1/v-\underset{x=1}{\overset{v}{\mathrm{\&Sigma;}}}\mathrm{Pwx}1/v)+\mathrm{Pwx}1\\ \left(\underset{x=1}{\overset{v}{\mathrm{\&Sigma;}}}\mathrm{Pux}2/v-\underset{x=1}{\overset{v}{\mathrm{\&Sigma;}}}\mathrm{Pwx}2/v\right)+\mathrm{Pwx}2\\ .\\ .\\ .\\ \left(\underset{x=1}{\overset{v}{\mathrm{\&Sigma;}}}\mathrm{Puxn}/v-\underset{x=1}{\overset{v}{\mathrm{\&Sigma;}}}\mathrm{Pwxn}/v\right)+\mathrm{Pwxn}\end{array}\right)(x=\mathrm{1,2},...,v)\end{array}$

这里，说明从图像内对象数比较判定部115对特征量修正部121通知高重要度图像I012和低重要度图像I013的图像ID的情况。

特征量修正部121首先如图14所示，根据图像I012中包含的对象P031、P032、P033的各特征量，算出特征量平均值矢量G012，如图15所示，根据图像I013中包含的对象P028、P029、P030的各特征量，算出特征量平均值矢量G013。

在本实施方式中，即便在特征量平均值矢量G013中包含‘0’作为特征量分量的情况下，因为不必如实施方式1和2那样特征量修正部121执行对零除法的处理，所以能实现特征量修正部121执行的处理的简化。

接着，特征量修正部121计算特征量平均值矢量G012的各特征量分量与特征量平均值矢量G013的各特征量分量之间的差分(从特征量平均值矢量G012的各特征量分量中减去特征量平均值矢量G013的各特征量分量的值)，求出修正量矢量Chs(参照图33)，将算出该修正量矢量Chs的各分量与特征量矢量P028、P029、P030的各分量彼此的和的函数设为修正函数F3。特征量修正部121将向修正函数F3输入特征量矢量P028、P029、P030得到的特征量矢量P028c、P029c、P030c输出到图像内对象类似部116。

图34中示出特征量修正部121对图像I013中包含的各对象的特征量利用修正函数F3进行修正后的各对象的特征量。

<2>动作

由涉及本实施方式的图像管理装置执行的整体动作与实施方式1一样(参照图28)，所以省略说明。在本实施方式中，仅图像内对象相似度算出处理与实施方式1不同。这里，仅说明算出对象的相似度的处理。

图35中示出对象相似度算出处理的流程图。

首先，算出图像重要度高的图像Im中包含的对象的特征量矢量的特征量平均值矢量Gm(这里以图像I012中包含的对象的特征量平均值矢量G012来说明)(步骤S701)。

接着，根据图像重要度低的图像In中包含的对象的特征量矢量，算出特征量平均值矢量Gn(这里以图像I013中包含的对象的特征量平均值矢量G013来说明)(步骤S702)。

之后，算出图像重要度高的图像I012中包含的对象P031、P032、P033的特征量平均值矢量G012与图像重要度低的图像I013中包含的对象P028、P029、P030的特征量平均值矢量G013之间的每分量的差分，求出修正量矢量Chs(步骤S703)。

另外，特征量修正部121向使用修正量矢量Chs的修正函数F3输入图像I013中包含的对象P028、P029、P030的特征量矢量，算出对象P028c、P029c、P030c的特征量矢量(步骤S704)。这里，修正函数F3中，执行向对象P028、P029、P030的特征量矢量的各分量加上修正量矢量Chs的各分量的运算。

接着，算出对图像I012中包含的各对象以修正量矢量Ch修正了特征量后的各对象与图像I012中包含的各对象之间的相似度(步骤S705)。

之后，步骤S706至步骤S710的处理与实施方式1中的对象相似度算出处理的步骤S206至步骤S210的处理一样，所以省略说明。

<实施方式4>

涉及本实施方式的图像管理装置的构成与图1的构成大致相同，不同之处在于对象检测部103和图像重要度修正部117。另外，向与图1的构成一样的构成附加相同符号，适当省略说明。

对象检测部103算出各对象的大小，作为对象特征量，将各对象的大小与包含该对象的图像的图像ID相对应后，存储在对象特征量存储部104中。

图像重要度修正部117首先从对象特征量存储部104中取得高重要度图像Im和低重要度图像In各自中包含的对象的大小。之后，图像重要度修正部117对各图像Im、In算出取得的对象的大小的平均值。之后，图像重要度修正部117根据从构成图像相似度算出部114一部分的相似度平均值算出部122输出的图像相似度、图像重要度存储部323中存储的高重要度图像Im和低重要度图像In的图像重要度、由对象检测部103算出的各对象的大小，修正低重要度图像In的图像重要度。

此时，图像重要度修正部117使用[式7]表示的关系式，修正低重要度图像In的图像重要度Scn，算出低重要度图像In的新的图像重要度Scn’。

[式7]

Scn’＝(Scm-Scn)×Sg×(Ssavem/Ssaven)+Scn

这里，Sg表示图像相似度，Scm表示高重要度图像Im的图像重要度，Scn表示低重要度图像In的图像重要度，Ssaven表示低重要度图像In中包含的对象的大小的平均值，Ssavem表示高重要度图像Im中包含的对象的大小的平均值。

作为该对象的大小的平均值Ssaven、Ssavem，例如可采用与对应于各对象的模板面积成比例的量。

例如如图36所示，若设高重要度图像I012的图像重要度为‘101’、低重要度图像I013的图像重要度为‘5’、高重要度图像I012与低重要度图像I013的图像相似度为‘0.78’，高重要度图像I012中包含的对象P031、P032、P033的大小的平均值为‘0.2’、低重要度图像I013中包含的对象P028、P029、P030的大小的平均值为‘0.2’，则图像重要度修正部117将低重要度图像In的图像重要度修正为(101-5)×0.78×(0.1/0.2)+5＝42.44。

另外，图像重要度修正部117将算出的图像重要度Scn’存储在图像重要度存储部323中，并且，将修正结束通知给图像选出部111和图像再排名部118。

<变形例>

(1)在上述实施方式1～3中，说明图像内对象相似度算出部116算出2个对象各自的特征量内积的实例，但不限于此，例如，也可算出2个对象的特征量的欧几里德距离。

(2)在上述实施方式1～3中，以图像管理装置为例进行说明，但本发明不限于主要进行图像管理的装置。例如，也可替换为文件服务器等存储静止图像或动态图像的存储装置、静止图像和动态图像的再现装置、数码相机、带摄像机的便携电话、或视频摄影机等摄影装置和电脑(PC)等。

(3)在上述实施方式1～3中，图像取得部201具备USB输入端子，经USB线缆等线缆从摄影装置101取得图像组，但只要能取得图像，则未必从USB输入端子取得图像。例如，也可由无线通信来输入图像组，或经存储卡等记录介质输入。

(4)在上述实施方式1～3中，从摄影装置101向图像管理装置输入图像组，但不限于摄影装置，只要能向图像管理装置输入多个图像，则可以是任何装置。例如，也可从存储图像的文件服务器通过网络输入多个图像。另外，未必从图像管理装置的外部取得多个图像，也可图像管理装置自身具备硬盘等图像存储装置(未图示)，从该图像存储装置取得多个图像。

(5)在上述实施方式1～3中，说明通过向各图像赋予图像取得部102生成的图像ID来识别各图像的实例，但不限于此，例如也可由构成多个图像各自的图像数据的文件的文件名来识别。或者，也可在将各图像的图像数据存储在存储器131上的情况下，由各图像数据的开头地址来识别各图像。

(6)在上述实施方式1～3中，说明对象检测部103执行使用了表示人物的人脸的模板的模板匹配的实例，但不限于此，例如也可执行使用了表示动物或汽车、建筑物等的模板的模板匹配。或者，也可以是对象检测部103利用模板匹配以外的方法来检测对象。

(7)在上述实施方式1～3中，说明对象分类部105生成多个聚类的实例，但不限于此，例如也可预先设定多个聚类。

(8)在上述实施方式1～3中，使用将各图像中包含的对象各自的对象重要度相加而构成的值作为图像重要度，但不限于此，例如也可使用各图像中包含的对象各自的对象重要度的平均值来作为图像重要度。或者，也可使用各图像中包含的对象各自的对象重要度中最高的对象重要度作为图像重要度。并且，也可使用对各图像中包含的对象各自的对象重要度的加法值或平均值利用对象在各图像中所占的面积比例来进行加权后的值，作为图像重要度。

(9)在上述实施方式1～3中，仅根据对象的重要度来算出图像重要度，但不限于此，例如也可使摄影各图像时的背景或摄影状况等反映于对象重要度。

(10)在上述实施方式1～3中，说明将图像组从图像重要度高的开始降序排列后输出到显示装置120的实例，但不限于此，例如也可以按输入图像组的顺序来进行显示，赋予各图像的图像重要度作为各图像的元数据，在各图像的旁边显示图像重要度或排名。

(11)在上述实施方式1～3中，图像输出部119具备HDMI输出端子，从图像管理装置100经HDMI线缆向显示装置120输出影像，但不限于此，例如也可利用DVI线缆向显示装置120输出影像。

另外，在上述实施方式1和2中，说明图像管理装置100向显示装置120输出图像的实例，但不限于此，例如也可向打印机(未图示)输出图像重要度高的图像后打印。或者，也可将图像管理装置100连接于硬盘等外部存储装置(未图示)，与表示各图像的图像重要度的元数据一起输出到外部存储装置。

(12)在上述实施方式1～3中，说明图像管理装置100将各数据存储在存储器131中的实例，但不限于此，例如也可存储在硬盘或其他数据记录介质中。

(13)在上述实施方式1～3中，说明使用Gabor滤波器抽取各对象的特征量的实例，但不限于此。

(14)在上述实施方式1～3中，作为图像重要度的求法，说明使用图像中包含的对象的重要度的方法，但不限于此。

(15)在上述实施方式1～3中，说明根据对象的特征量平均值矢量Gm、Gn来算出修正函数F1、F3的实例，但不限于此，例如若摄像条件不同等引起的噪声影响对对象的特征量绝对值造成影响，则也可根据以对象各自的特征量均方值为分量的特征量均方值矢量来算出修正函数F1、F3。

(16)在上述实施方式1～3中，说明执行多个静止图像的排名的图像管理装置的实例，但不限于此，也可是执行多个动态图像排名的图像管理装置。此时，从构成各动态图像的多个静止图像中抽取规定的静止图像，对该静止图像使用与所述实施方式1～3一样的方法来进行排名。

(17)在上述实施方式1～3中，说明向高重要度图像选出部112选出的图像的图像ID赋予能识别该图像是高重要度图像Im的信息，向低重要度图像选出部113选出的图像的图像ID赋予能识别该图像是低重要度图像In的信息，图像内对象数比较判定部115根据赋予各图像ID的识别信息，识别是高重要度图像Im还是低重要度图像In的实例，但不限于此。例如，图像内对象数比较判定部115也可保持对应于用户设定的规定顺位的图像重要度，从图像重要度存储部323取得由所通知的图像ID确定的图像的图像重要度，比较所取得的图像重要度与自己保持的规定图像重要度，识别是高重要度图像Im还是低重要度图像In。

(18)在上述实施方式1～3中，说明用户使用图像管理装置100中设置的重要度设定部(未图示)，能适当设定规定顺位的实例，但例如用户也可使用重要度设定部，设定对应于低重要度图像选出部113选出的多个图像中重要度最低的图像的顺位(最低顺位)。根据该变形例，用户在例如想以排名为接近最下位顺位的图像(评价为重要度低的图像)为主重新估计图像重要度的情况下，只要将规定顺位设定得低即可。另外，用户在想将进行图像重要度的重新估计的目标缩小范围至按某个程度的高顺位排名后的图像，并实现处理负荷降低的情况下，只要将最低顺位设定得高即可。

(19)在上述实施方式1～3中，说明对象分类部105根据对象特征量存储部104中存储的各对象的特征量矢量，使用K-means法，自动生成多个聚类的实例，但不限于此，例如也可使用Ward’s法等来生成多个聚类。

(20)在上述实施方式4中，说明使用[式7]的关系式来修正低重要度图像In的图像重要度的实例，但不限于此。例如，图像重要度修正部117使用由[式8]表示的关系式，修正低重要度图像In的图像重要度Scn，算出低重要度图像In的新的图像重要度Scn’。

[式8]

Scn’＝(Scm-Scn)×Sg×F(Ssavem/Ssaven)+Scn

这里，Sg表示图像相似度，Scm表示高重要度图像Im的图像重要度，Scn表示低重要度图像In的图像重要度，Ssaven表示低重要度图像In中包含的对象的大小的平均值，Ssavem表示高重要度图像Im中包含的对象的大小的平均值，F(X)表示单调增加函数。

作为单调增加函数F(X)，例如可列举对数函数或指数函数等。

<补充>

(1)本发明能将由用于使图像管理装置的处理器和连接于该处理器的各种电路执行实施方式1所示的图像重要度评价处理等的程序代码构成的控制程序记录在记录介质中，或经各种通信路径等使之流通，分发。在这种记录介质中，有IC卡、硬盘、光盘、软盘、ROM等。流通、分发的控制程序通过存储在能由处理器读出的存储器等中来利用，通过该处理器执行该控制程序，实现各实施方式所示的功能。另外，也可经各种网络向与图像管理装置独立的可执行程序的装置(处理器)发送控制程序的一部分，使该独立的可执行程序的装置执行该控制程序的一部分。

(2)构成图像管理装的构成要素的部分或全部也可安装为1或多个集成电路(IC、LSI等)，也可向图像管理装置的构成要素进一步加上其他要素来集成电路化(单芯片化)。

这里，设为LSI，但也可因集成度不同，而称为IC、系统LSI、超级(super)LSI、特级(ultra)LSI。另外，集成电路化的手法不限于LSI，也可由专用电路或通用处理器实现。也可利用在LSI制造后可编程的FPGA(FieldProgrammableGateArray：现场可编程门阵列)、或可再构成LSI内部的电路单元的连接和设定的可重构处理器。并且，若因半导体技术的进步或派生的其他技术出现置换LSI的集成电路化技术，则当然也可使用该技术来进行功能块的集成化。有可能适用生物技术等。

产业上的可利用性

涉及本发明的终端装置和终端装置的控制方法可适用于存储静止图像或动态图像的装置、数码相机、带摄像机的便携电话、或视频摄影机等摄影装置和电脑等。

符号说明

100图像管理装置

101摄影装置

102图像取得部

103对象检测部

104对象特征量存储部

105对象分类部

106对象重要度算出部

107图像重要度算出部

108图像排名部

109图像内对象数抽取部

110图像内对象数存储部

111图像选出部

112高重要度图像选出部

113低重要度图像选出部

114图像内对象相似度决定部

115图像内对象数比较判定部

116图像内对象相似度算出部

117图像重要度修正值算出部

118图像再排名部

119图像输出部

120显示装置

121、221特征量修正部

122相似度平均值算出部

123、222相似度判定部

215对象选出部

223相似度最高值算出部

323图像重要度存储部

Claims (9)

1.一种图像管理装置，其特征在于，

具备：

图像重要度算出部件，根据图像各自包含的多个对象的特征量，算出各图像的重要度；

图像选出部件，根据各图像的重要度，选出第1图像与重要度比所述第1图像低的第2图像；

特征量修正部件，使用以所述第1图像中包含的多个对象的特征量和所述第2图像中包含的多个对象的特征量为参数的修正函数，修正所述第2图像中包含的多个对象的特征量；

图像相似度算出部件，使用所述第1图像中包含的对象各自的特征量和所述特征量修正部件修正后的所述第2图像中包含的对象各自的特征量，算出所述第1图像与所述第2图像之间的相似度即图像相似度；和

图像重要度修正部件，根据所述第1图像的图像重要度和由所述图像相似度算出部件算出的所述图像相似度，修正所述第2图像的重要度；

所述图像重要度修正部件还根据所述第1图像中包含的对象的大小的平均值与所述第2图像中包含的对象的大小的平均值来修正所述第2图像的重要度；

所述图像重要度修正部件使用以下关系式来修正所述第2图像的重要度，

[式1]

Scn’＝(Scm-Scn)×Sg×(Ssavem/Ssaven)+Scn

其中Sg为所述图像相似度，Scm为所述第1图像的重要度，Scn为所述第2图像的图像重要度，Ssaven为所述第2图像中包含的对象的大小的平均值，Ssavem为所述第1图像中包含的对象的大小的平均值。

2.根据权利要求1所述的图像管理装置，其特征在于，

所述第1图像具有比规定的重要度高的重要度，所述第2图像具有比所述规定的重要度低的重要度。

3.根据权利要求1所述的图像管理装置，其特征在于，

该图像管理装置具备对象数比较判定部件，该对象数比较判定部件对所述第1图像中包含的对象的个数与所述第2图像中包含的对象的个数进行比较，

若由所述对象数比较判定部件判定为所述第1图像中包含的对象的个数与所述第2图像中包含的对象的个数相同，则所述特征量修正部件修正所述第2图像中包含的多个对象的特征量。

4.根据权利要求3所述的图像管理装置，其特征在于，

所述修正函数是如下函数，即：使用根据所述第2图像中包含的多个对象的特征量的平均值和所述第1图像中包含的多个对象的特征量的平均值算出的修正系数，对所述第2图像中包含的对象的特征量中的每个特征量进行修正的函数。

5.根据权利要求4所述的图像管理装置，其特征在于，

所述修正系数是所述第1图像中包含的多个对象的特征量的平均值与所述第2图像中包含的多个对象的特征量的平均值之比，

所述修正函数是向所述第2图像中包含的对象的特征量中的每个特征量乘以所述修正系数的函数。

6.根据权利要求4所述的图像管理装置，其特征在于，

所述修正系数是所述第2图像中包含的多个对象的特征量的平均值与所述第1图像中包含的多个对象的特征量的平均值之间的差分值，

所述修正函数是向所述第2图像中包含的对象的特征量中的每个特征量加上所述修正系数的函数。

7.根据权利要求5所述的图像管理装置，其特征在于，

所述图像相似度算出部件具备：

图像内对象相似度算出部件，算出所述第1图像中包含的多个对象中的每个对象与所述第2图像中包含的多个对象中的每个对象之间的相似度，并根据算出的多个相似度，将所述第1图像中包含的多个对象与所述第2图像中包含的多个对象一对一地建立对应；和

相似度平均值算出部件，算出由所述图像内对象相似度算出部件彼此一对一地建立了对应的对象彼此的相似度的平均值，并作为所述图像相似度输出。

8.根据权利要求7所述的图像管理装置，其特征在于，

所述图像内对象相似度算出部件将与所算出的多个相似度的最高值相对应的2个对象建立对应，之后，将与去除建立了对应的对象的其他对象的组合相关的多个相似度的最高值所对应的2个对象建立对应。

9.一种图像管理方法，通过计算机实现，其特征在于，

包含：

图像重要度算出步骤，根据图像各自包含的多个对象的特征量，算出各图像的重要度；

图像选出步骤，根据各图像的重要度，选出第1图像与重要度比所述第1图像低的第2图像；

特征量修正步骤，使用以所述第1图像中包含的多个对象的特征量和所述第2图像中包含的多个对象的特征量为参数的修正函数，修正所述第2图像中包含的多个对象的特征量；

图像相似度算出步骤，使用所述第1图像中包含的对象各自的特征量和由所述特征量修正步骤修正后的所述第2图像中包含的对象各自的特征量，算出所述第1图像与所述第2图像之间的相似度即图像相似度；和

图像重要度修正步骤，根据所述第1图像的图像重要度和由所述图像相似度算出步骤算出的所述图像相似度，修正所述第2图像的重要度；

所述图像重要度修正步骤还根据所述第1图像中包含的对象的大小的平均值与所述第2图像中包含的对象的大小的平均值来修正所述第2图像的重要度；

所述图像重要度修正步骤使用以下关系式来修正所述第2图像的重要度，

[式2]

Scn’＝(Scm-Scn)×Sg×(Ssavem/Ssaven)+Scn

其中Sg为所述图像相似度，Scm为所述第1图像的重要度，Scn为所述第2图像的图像重要度，Ssaven为所述第2图像中包含的对象的大小的平均值，Ssavem为所述第1图像中包含的对象的大小的平均值。