CN102483767A

CN102483767A - 对象关联装置、对象关联方法、程序及记录介质

Info

Publication number: CN102483767A
Application number: CN2011800037424A
Authority: CN
Inventors: 槻馆良太
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2010-07-09
Filing date: 2011-06-09
Publication date: 2012-05-30
Anticipated expiration: 2031-06-09
Also published as: JP5643309B2; US8885942B2; US20120170847A1; WO2012004933A1; CN102483767B; JPWO2012004933A1

Abstract

一种对象关联装置、对象关联方法、程序及记录介质，即使对象的特征随着时间经过而大幅变化时，也能够使表示同一目标的对象彼此高精度地相关联。将多个内容与表示该多个内容分别被生成的时间的内容生成时间信息相对应地进行存储；在彼此有一部分重复的第1期间和第2期间的各个期间中分别按照彼此相似的每个对象，将内容生成时间信息所示出的时间包含于该期间中的各个内容所包含的各个对象分组；在共同属于在第1期间中被分组的第1组和在第2期间中被分组的第2组的对象的个数为规定个数以上的情况下，将属于第1组的各个对象和属于第2组的各个对象作为表示同一目标的对象建立关联。

Description

对象关联装置、对象关联方法、程序及记录介质

技术领域

本发明涉及根据相同性将以数字照片为代表的图像等多个内容中所包含的对象(object)(被摄体部分等)建立关联的技术。

背景技术

过去，为了将分别摄入到多个图像中的多个人物的人脸关联成为同一人物，通常采用这样的方法，即从多个图像中分别检测人物的人脸的部分，从该部分抽取人脸的特征量(例如眼睛和嘴等人脸的组成部分之间的距离等有助于识别人脸的特征组)，根据该特征量进行聚类(clustering)。

因此，通过将具有相近的人脸的特征量的人物彼此进行分组来分类为相同的聚类，使具有不相近的特征量的人物彼此属于彼此不同的聚类。因此，能够根据是否属于相同的聚类来判定人物的相同性，并进行被判定为同一人物的人物的人脸的关联。

但是，随着时间经过，人物的人脸随着该人物的成长或老化等而变化。因此，如果单纯地根据人脸的特征量来进行聚类，即使是拍摄了同一人物的人脸的图像，也有可能将在彼此大不相同的时期拍摄的各个图像分类为不同的聚类。

关于考虑了成长和老化等变化来将同一人物相关联的技术，公知有使用统计学的方式求出了伴随人的年龄增加的特征量的变化的数据，来判定人物的相同性的技术(例如参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2007-114931号公报

发明概要

发明要解决的问题

但是，在上述的技术中由于使用以统计的方式求出的数据，因而在进行产生了偏离统计的变化的人物的相同性判定的情况下，将导致判定的精度下降。在偏离统计的变化中，例如可以列举伴随比通常的人的成长快的成长的变化、或伴随变胖或变瘦的变化等。

因此，现有技术很难充分进行在跨越较长期间拍摄的多个图像中所摄入的同一人物的关联。

对于对象是除人物的人脸之外(例如动植物等)的对象，也有可能产生相同的问题。并且，即使内容(content)是除图像之外的内容时也有可能产生。例如，如果内容是声音、对象是人物的声音，则人物的声音的特征随着年龄增加而变化，有可能不能判定为同一人物的声音。

发明内容

本发明正是鉴于上述问题而提出的，其目的在于，提供一种对象关联装置、对象关联方法、程序及记录介质，在内容所包含的对象的特征随着时间经过而变化的情况下，也能够高精度地进行表示包含于多个内容中的同一目标的各个对象的关联。

用于解决问题的手段

为了达到上述目的，本发明的对象关联装置具有：存储单元，将多个内容与表示该多个内容分别被生成的时间的内容生成时间信息相对应地进行存储；分组单元，在彼此有一部分重复的第1期间和第2期间的各个期间中，分别按照彼此相似的每个对象，将内容生成时间信息所示出的时间包含于该期间中的各个内容所包含的各个对象分组；以及关联单元，在所述第1期间和所述第2期间重复的期间中，在共同属于在第1期间中被分组的第1组和在第2期间中被分组的第2组的对象的个数为规定个数以上的情况下，将属于第1组的各个对象和属于第2组的各个对象作为表示同一目标的对象建立关联。

其中，对象是指分别包含于一个内容中的对象，一个对象不会包含于多个内容中。

发明效果

即使表示同一目标的对象的特征在将第1期间和第2期间相加的组合期间中变化时，认为该对象在比组合期间短的第1期间和第2期间中的变化小于在组合期间整体中的变化。

因此，如果在第1期间和第2期间的各个期间中进行分组，与在整个期间中进行分组的情况相比，不易受到基于时间经过的变化的影响，能够高精度地进行表示同一目标的对象的分组。

并且，共同属于第1组和第2组的对象，表示与属于第1组的其它对象及属于第2组的其它对象分别是同一目标。

因此，在共同属于第1组和第2组的对象的个数为规定个数以上的情况下，仅属于第1组的对象、仅属于第2组的对象以及共同属于第1组和第2组双方的对象都表示同一目标。因此，进行属于各个组的各个对象的关联。

这样，使用在第1期间及第2期间的各个期间中高精度地进行分组的结果来进行两个期间的组合期间中的关联，因而相比以往能够高精度地使表示同一目标的各个对象相关联。

进行关联的结果能够在检索及分类等基于对象的相同性的处理中加以利用。

附图说明

图1是表示利用图像管理装置100以及与其相关的装置构成的图像管理系统10的示例的图。

图2是表示与图像管理装置100的功能相关的结构的框图。

图3是表示图像组300的数据结构及内容示例的图。

图4是表示人脸检测的概念的图。

图5是表示包含于对象检测信息表500中的对象检测信息的数据结构及内容示例的图。

图6是表示分割期间及包含于该分割期间中的对象数的概念的图。

图7是表示包含于分割期间数据表700中的分割期间数据的结构及内容示例的图。

图8是表示分割期间DP001和DP002中的聚类的概念的图。

图9是表示包含于聚类信息表900中的聚类信息的数据结构及内容示例的图。

图10是在同一曲线图中示出从分割期间DP001到分割期间DP005中进行聚类的结果的示例的图。

图11是表示包含于关联信息表970中的关联信息的数据结构及内容示例的图。

图12是表示输出部212输出的画面的示例的图，图12(a)表示催促用户选择作为检索的键的对象的选择画面981的示例，图12(b)表示对用户提示检索结果的结果画面982的示例。

图13是表示图像蓄积处理的流程图。

图14是表示期间分割处理的流程图。

图15是表示按照各分割期间进行聚类的流程图。

图16是表示聚类关联处理的流程图。

图17是表示聚类关联处理的一部分处理的流程图。

图18是表示检索处理的流程图。

图19是表示聚类c的关联聚类取得处理的流程图。

图20是表示实施方式2中的分割期间及该分割期间的长度的概念的图。

图21是表示期间分割处理的流程图。

图22是表示与实施方式3的图像管理装置100b相关的功能的结构的框图。

图23是表示期间长度对应表2300的图。

图24是表示实施方式3的期间分割处理的流程图。

图25是表示包括多个关联聚类集合信息的关联聚类ID集合列表2500的数据结构及内容示例的图。

图26是表示实施方式4的对象关联装置100c的结构的框图。

具体实施方式

<1.实施方式1>

下面，作为本发明的实施方式1的对象关联装置，对图像管理装置100进行说明，该图像管理装置100能够存储作为内容的图像，并根据表示该图像中所包含的被摄体的对象(此处指人物的人脸)来检索拍摄了某个人物的图像。

图像管理装置100与摄影装置110及显示装置120连接。并且，图像管理装置100从控制器130接收操作信号而进行动作。

摄影装置110是能够拍摄图像并将该图像与包括摄影日期时间的Exif(Exchangeable image file format：可交换图像文件格式)信息一起存储，并通过线缆等向图像管理装置100发送的装置，例如是数字照相机。

显示装置120是通过线缆等与图像管理装置100连接，由此显示从图像管理装置100输出的影像的装置，例如是数字电视机。

图像管理装置100存储从摄影装置110取得的图像，从控制器130接收操作信号并检索图像，将检索的结果输出给显示装置120。

检索是将对象即人物的人脸作为键(key)来进行的，图像管理装置100输出包括人脸的图像，该人脸被判定为与被指定为检索的键的人脸的人物是同一人物的人脸。此时，图像管理装置100构成为即使是人脸的特征随着时间经过而变化的人物的人脸，也能够高精度地判定为同一人物的人脸。

<1-1.结构>

图像管理装置100具有作为硬件的取得图像的输入端子、输出影像的输出端子、接收来自控制器130的操作信号的接收器、存储数据和程序的存储器、以及进行程序的执行及输入输出端子和接收器的控制的处理器。

图2表示图像管理装置100的结构。

如图2所示，图像管理装置100具有图像取得部201、图像存储部202、对象检测部203、对象存储部204、期间分割部205、聚类部206、聚类存储部207、聚类关联部208、关联信息存储部209、操作输入部210、检索部211、和输出部212。

图像取得部201、对象检测部203、期间分割部205、聚类部206、聚类关联部208、操作输入部210、检索部211、和输出部212的功能，通过由处理器执行在存储器中存储的程序而实现。

图像存储部202、对象存储部204、聚类存储部207、和关联信息存储部209分别利用存储器的一部分来实现。

图像取得部201通过输入端子从摄影装置100取得多个图像。所取得的图像被与该图像的文件名和摄影日期时间相对应地存储在图像存储部202中。将在图像存储部202中存储的图像的集合称为图像组。当在图像存储部202中已经存储有图像组时又存储新的图像的情况下，在该图像组中追加新的图像的数据。

在图像存储部202中存储的图像组300的数据结构及内容示例如图3所示。

如图3所示，图像组300由多个图像构成，各个图像包括文件名、图像数据和摄影日期时间。包含于图像组300中的一个图像如图3所示，包括文件名301、图像数据302和摄影日期时间303。

文件名指用于唯一识别图像的字符串，是由摄影装置110对每个图像赋予的。当在图像存储部202中存储图像时，在已经存储有相同文件名的图像的情况下，图像取得部201通过在原来的文件名中附加数值等处理来形成不同的文件名。

例如，当在包含具有文件名301为“aaaa.jpg”的图像的图像组300中重新追加具有文件名为“aaaa.jpg”的图像的情况下，利用文件名“aaaa1.jpg”来存储追加目标的图像。

下面，在列举特定的图像示例来进行说明的情况下，利用以“.jpg”而结束的文件名来称呼该图像。例如，将具有文件名为“aaaa.jpg”的图像称为图像aaaa.jpg。

关于摄影日期时间，采用由摄影装置110对每个图像赋予的Exif信息。例如，摄影日期时间303“2010:06:13 16:33:56”表示是2010年06月13日16时33分56秒拍摄的。

在图3的示例中，作为图像组300是存储了从2010年06月13日16时33分56秒拍摄的图像aaaa.jpg、到2030年08月24日15时42分11秒拍摄的图像xyxy.jpg。

对象检测部203从在图像存储部202中存储的各个图像中检测对象，并抽取该对象的特征量。并且，将其结果作为对象检测信息按照检测到的每个对象存储在对象存储部204中。

检测对象的技术是以往公知的技术。在此，采用如图4所示的以下技术，即从图像400中的矩形区域(在图4的示例中指矩形区域401a和401b)抽取该区域所包含的特征量(未图示)，并与和对象相关的规定的特征量的图案进行对照，由此进行对象的检测。

特征量表示与图像中的多个像素的像素值的分布相关的特征，在此特征量利用将表示图像的特征的多个数值作为成分的向量(例如800维的向量)进行表示。

这种图像的特征具有使用Gabor滤波器而得到的图像中所包含的像素值的分布的周期性及方向性等。作为对人物的人脸的识别有用的特征量，可以列举从上述的图像的特征等中被识别为眼睛的两个点之间的距离、被识别为鼻子的点与被识别为嘴的点的距离等。

对象存储部204保存作为一例的图5所示的对象检测信息表500。对象检测信息表500具有用于存储多个对象检测信息的区域。各个对象检测信息由对象ID(Identifier)、文件名、特征量及摄影日期时间构成。

对象ID是识别对象的识别符，文件名是表示该对象的检测源的图像的文件名，特征量是对于对象抽取的特征量，摄影日期时间表示通过拍摄来生成该对象的检测源的图像的日期时间。

下面，将对象的检测源的图像中的摄影日期时间称为对象的摄影日期时间。

如图5所示，作为一例的对象检测信息表500包括由对象ID 501、文件名502、特征量503及摄影日期时间504构成的对象检测信息。

对象ID 501是在按照对象检测部203检测到各个对象的顺序而分配的4位连续号码的开头附加了“OBJ”的字符串。

例如，对象检测部203第1个检测到的对象的对象ID是“OBJ0001”，第1024个检测到的对象的对象ID是“OBJ1024”。

下面，在以特定的对象为例进行说明的情况下，使用对象ID来称呼该对象。例如，将利用对象ID“OBJ0001”识别的对象称为对象OBJ0001。

在图5的示例中，对象检测信息表500的第1行的对象检测信息表示具有特征量503“(152，669，…)”的对象OBJ0001，是从在2010年06月13日16时33分56秒拍摄到的图像aaaa.jpg中检测到的。同样，对于其它行的对象检测信息也同样地存储有各个对象的对象ID、检测源的文件名、特征量和摄影日期时间。

期间分割部205将包括在对象存储部204中存储的对象的全部摄影日期时间的整体期间分割为多个期间。并且，将分割的结果、即表示所确定的较短的各个分割期间的分割期间数据暂时存储在存储器的一部分中。分割是以使在时间轴上相邻的分割期间彼此重复一部分的方式进行的。

图6是表示期间分割部205进行的分割的概念的图。在图6中，横轴表示日期时间，纵轴表示对象的特征量。图中的多个点562分别表示对象，表示对象的多个点562分别被绘制在依据于对象检测信息的摄影日期时间和特征量的位置。

另外，在图6中，由于纸面的关系而一维地描述了特征量，但实际上特征量是如前面所述将多个数值作为成分的向量。下面，对于采用日期时间和特征量的曲线图，采用与图6相同的描述方法。

分割是按照图6所示这样进行的，使摄影日期时间包含于一个分割期间中的对象的总数为X个(X为规定的个数)，使摄影日期时间包含于两个相邻的分割期间所重复的重复期间中的对象的数量为Y个(Y是小于X的规定的个数)。但是，关于包含最新的对象的分割期间不受此限制。

图6所示的分割期间551、552、553、554及555按照所提及的顺序，沿着表示日期时间的横轴按照从过去到未来的顺序进行配置。在分割期间551、552、553、554中包含X个对象，在分割期间555中包含X个以下的对象。在分割期间551和分割期间552所重复的重复期间561中包含Y个对象。

下面，在对对象的摄影日期时间进行描述时，只要不产生混淆，在表述时将省略“摄影日期时间”。例如，对于包括对象A的摄影日期时间的期间，则称为“包括对象A的期间”。并且，在对象A的摄影日期时间比日期时间B新时，则称为“对象A比日期时间B新”。

关于分割期间的确定，从包括较旧的对象的分割期间开始顺序进行，并在生成了最新的分割期间的时刻结束分割。根据对象的总数不同，最新的分割期间中所包含的对象数量有时不足X个。

在图6的示例中，设X＝10、Y＝5来对期间进行分割。以使包含第1～10个较早的对象的方式来确定第1个分割期间。以使与第1个分割期间共同包含的对象达到5个、并且包含第6～15早的对象的方式来确定第2早的分割期间。通过这样进行确定，使第6～10个这5个对象在两个分割期间中是共用的。

另外，在图6中为了简化说明而列举了X＝10、Y＝5的示例，但优选X和Y是进行后面叙述的聚类及关联所需的足够大的数量。在后面是设为X＝100、Y＝50来进行说明。

图7表示分割期间数据表700的一列，表示分割期间数据的结构和分割结果的示例。分割期间数据表700具有用于存储多个分割期间数据的区域，各个分割期间数据包括分割期间ID、开始日期时间和结束日期时间。分割期间ID是用于识别该分割期间的识别符，开始日期时间是表示该分割期间的开始的时刻，利用年、月、日、时、分、秒表示，结束日期时间是表示该分割期间的结束的时刻，利用年、月、日、时、分、秒表示。

如图7所示，作为一例，分割期间数据表700包括由分割期间ID701、开始日期时间702和结束日期时间703构成的分割期间信息。

分割期间ID由在期间分割部205从较早的分割期间开始顺序分配的3位连续号码的开头附加了“DP”的字符串构成。另外，较早的分割期间指分割期间的开始日期时间和结束日期时间较早的分割期间。同样，较新的分割期间指分割期间的开始日期时间和结束日期时间较新的分割期间。

例如，用于识别最早的分割期间的分割期间ID是“DP001”，用于识别第12早的分割期间的分割期间ID是“DP012”。

下面，在以特定的分割期间为例进行说明的情况下，利用分割期间ID来称呼该分割期间。例如，将利用分割期间ID“DP001”识别的分割期间称为分割期间DP001。

聚类部206按照由期间分割部205分割形成的每个分割期间，使用各个对象的特征量对属于该分割期间的对象进行聚类。并且，将聚类的结果所得到的聚类信息存储在聚类存储部207中。

图8是表示分割期间DP001和分割期间DP002中的聚类的概念的图。在图中，利用矩形示出聚类CLS001、CLS002、CLS003和CLS004，图中的黑点表示对象。例如，聚类CLS001包括1个对象，聚类CLS002包括11个对象，聚类CLS003包括12个对象，聚类CLS004包括4个对象。一个矩形中所包含的对象属于相同聚类。另外，在图8中由于纸面的关系，仅记述了包含于各个分割期间中的一部分对象。

聚类是使用各个对象的特征量利用K-means法进行的。

K-means法是以各个对象的特征量为基础来确定K个(规定的聚类数)聚类的每个聚类的代表值，根据该代表值与特征量之差来进行分类的方法。如图8所示，利用K-means法将具有近似的值的特征量的多个对象分类为相同聚类。下面，将确定聚类的代表值并对各个对象进行分类的处理称为“生成聚类”。

如果是拍摄同一人物得到的对象，则由于特征量接近，因而各个聚类基本上与拍摄到的人物一对一对应。并且，由于在比整体期间短的分割期间中进行聚类，因而不易受到人物的人脸随时间变化的影响。

图9表示聚类信息表900的数据构造的一例。

聚类信息表900具有用于存储多个聚类信息的区域，各个聚类信息与由聚类部206生成的各个聚类一对一对应。各个聚类信息由聚类ID、1个以上的对象ID和分割期间ID构成。聚类信息表900中所包含的两个聚类信息共用分割期间ID。

聚类ID是唯一地识别对应的聚类的识别符。对象ID是唯一地识别该聚类所包含的对象的识别符。并且，分割期间ID是唯一地识别作为该聚类的生成基础的分割期间的识别符。

聚类信息表900的第1行的聚类信息包括聚类ID901“CLS001”、对象ID901“OBJ0001、OBJ0002、…”和分割期间ID903“DP001”，第2行的聚类信息包括聚类ID904“CLS002”、对象ID905“OBJ0025、…、OBJ0099、OBJ0100”和分割期间ID903“DP001”。这样，聚类信息表900的第1行的聚类信息和第2行的聚类信息具有相同的分割期间ID903“DP001”。

其中，聚类ID是在按照由聚类部206生成各个聚类的顺序而分配的3位连续号码的开头附加“CLS”而生成的字符串。

例如，聚类部206第1个生成的聚类的聚类ID是“CLS001”，第8个生成的聚类的聚类ID是“CLS008”。

下面，在以特定的聚类为例进行说明的情况下，使用聚类ID来称呼该聚类。例如，对于利用聚类ID“CLS001”识别的聚类，将该聚类称为聚类CLS001。

在图9的示例中，第1行的聚类信息表示利用CLS001识别的聚类包括以对象OBJ0001为首的多个对象，并且是在利用DP001识别的分割期间中生成的聚类。同样，第2行以后的聚类信息表示利用聚类ID识别的聚类包括利用对象ID识别的对象，并且是在利用分割期间ID识别的分割期间中生成的聚类。

图10是在同一曲线图中示出从分割期间DP001到分割期间DP005中进行聚类的结果的示例的图。在该图中，与图6相同，横轴表示日期时间，纵轴表示对象的特征量，图中的多个点分别表示对象，多个点分别被绘制在依据于对象检测信息的摄影日期时间和特征量的位置。

在图10中，分割期间DP001、DP002、DP003、DP004、DP005按照所提及的该顺序，在横轴上按照从过去到未来的顺序进行配置。分割期间DP001和分割期间DP002一部分重复，分割期间DP002和分割期间DP003一部分重复。同样，分割期间DP003和分割期间DP004一部分重复，分割期间DP004和分割期间DP005一部分重复。

并且，在分割期间DP001中生成聚类CLS001和聚类CLS002，在分割期间DP002中生成聚类CLS003和聚类CLS004，在分割期间DP003以后的分割期间中同样生成各两个聚类。

聚类关联部208进行被存储于聚类存储部207中的在各个分割期间中生成的聚类、和在其相邻的分割期间中生成的聚类之间的关联。

将相邻的两个分割期间设为分割期间A和比分割期间A新的分割期间B进行说明。

聚类关联部208将在分割期间A中生成的各个聚类和在分割期间B中生成的各个聚类进行比较，使包括规定个数以上的个数的同一对象的各个聚类相关联。在此，将规定个数设为1个进行说明。

例如，在图9的聚类信息的示例中，分割期间DP001(相当于分割期间A)中的聚类CLS002、和分割期间DP002(相当于分割期间B)中的聚类CLS003，都包括对象OBJ0099和对象OBJ0100。因此，聚类CLS002和聚类CLS003被建立关联。

一个聚类基本上与一个人物一对一对应，因此属于相关联的两个聚类的各个对象表示一个人物即同一人物的可能性比较大。因此，属于相关联的两个聚类的各个对象通过各个聚类的关联，作为同一人物彼此相关联。

在此，在图10示出的示例中，聚类CLS002和聚类CLS003包括6个共同的对象951，聚类CLS003和聚类CLS005包括6个共同的对象952。

因此，在分割期间DP001与分割期间DP002的组中，能够使包括6个共同的对象951的聚类CLS002和聚类CLS003相关联，在分割期间DP002与分割期间DP003的组中，能够使包括6个共同的对象952的聚类CLS003和聚类CLS005相关联。

将在各个分割期间及其相邻的分割期间中进行关联的结果作为关联信息，存储在由关联信息存储部209保存的关联信息表970中。

图11表示关联信息表970的一例，表示关联信息的数据结构和基于图10的示例的关联结果。

关联信息表970具有用于存储多个关联信息的区域。各个关联信息包括第1聚类ID和第2聚类ID。第1聚类ID和第2聚类ID如上所述是识别相互关联的两个聚类的识别符。

如图11所示，关联信息表970的第1行的关联信息由第1聚类ID901a“CLS002”和第2聚类ID901b“CLS003”构成，表示相互关联的两个聚类的聚类ID。另外，图11所示的关联信息表970的左端的列(关联1～7)是为了便于说明而记述的，实际上也可以不包含于关联信息的数据中。

当在分割期间A生成的聚类a和在分割期间B生成的聚类b被建立了关联时，将识别聚类a的聚类ID设为第1聚类ID，将识别聚类b的聚类ID设为第2聚类ID，生成由第1聚类ID和第2聚类ID构成的关联信息，将所生成的关联信息写入到关联信息表970中。

在图11的示例中，聚类CLS002和聚类CLS003(关联1)相关联，聚类CLS003和聚类CLS005(关联2)被建立关联，聚类CLS004和聚类CLS006(关联3)被建立关联，聚类CLS005和聚类CLS007(关联4)被建立关联，聚类CLS006和聚类CLS008(关联5)被建立关联，聚类CLS007和聚类CLS009(关联6)被建立关联，聚类CLS008和聚类CLS010(关联7)被建立关联。

操作输入部210根据接收器从控制器130接收到的操作信号来确定用户选择了的对象，使检索部211进行图像的检索。并且，向输出部212输出操作内容。

检索部211检索表示与由操作输入部210确定的对象是同一人物的对象，将包括检索的结果而得到的对象的图像的文件名301发送给输出部212。

对象的检索是使用在聚类存储部207中存储的聚类信息、和在关联信息存储部209中存储的关联信息来进行的。

输出部212向显示装置120输出影像，使显示装置120显示影像。输出部212输出的影像包括使用户选择作为检索的键的对象的选择画面、和表示检索部211的检索结果的结果画面这两种。

图12(a)表示选择画面的示例。在图12(a)示出的示例中，在选择画面981中，在显示区域中排列多个表示对象的图像，并用双重框包围显示用于表示待选择的候选对象的图像。

图12(b)表示结果画面的示例。在图12(b)示出的示例中，在结果画面982中，将排列了由检索部211的检索结果的图像及其文件名所构成的多个组而得到的内容、和检索的结果而得到的图像的个数一起加以显示。

<1-2.动作>

下面，对图像管理装置100进行的处理进行说明。

图像管理装置100进行的处理大致划分为图像蓄积处理和检索处理这两个处理。

<1-2-1.图像蓄积处理>

图像蓄积处理指从摄影装置110取得图像并进行蓄积，将蓄积的图像中所包含的各个对象进行分类的处理。

在图像管理装置100与摄影装置110连接，并能够取得在摄影装置110中存储的图像时，图像蓄积处理开始。

关于图像蓄积处理，按照图13所示的流程图进行说明。

首先，图像取得部201通过输入端子从摄影装置110取得多个图像，将取得的多个图像存储在图像存储部202中(步骤S1301)。

在存储了所取得的各个图像后，对象检测部203从在图像存储部202中存储的图像组的各个图像中检测对象(步骤S1302)，从检测到的各个对象中抽取特征量(步骤S1303)。并且，对各个对象赋予对象ID，将检测源的图像的文件名、所抽取的特征量及检测源的图像的摄影日期时间，作为对象检测信息存储在对象存储部204中(步骤S1304)。

然后，期间分割部205进行将整体期间分割为多个分割期间的期间分割处理(步骤S1305)。

聚类部206使用期间分割处理的结果进行各个分割期间的聚类(步骤S1306)。

并且，聚类关联部208进行将通过各个分割期间的聚类而生成的聚类建立关联的聚类关联处理(步骤S1307)。

下面，对期间分割处理、各个分割期间的聚类以及聚类关联处理分别进行详细说明。

<1-2-2.期间分割处理>

期间分割处理指对整体期间进行分割并确定各个分割期间，生成分割期间数据的处理。通过该处理来确定分割期间，使得各个分割期间所包含的对象的个数为X个，重复期间所包含的对象的个数为Y个。

关于期间分割处理，按照图14所示的流程图进行说明。

首先，期间分割部205根据在对象存储部204中存储的对象检测信息，按照摄影日期时间从旧到新(即过去到现在)的顺序将全部对象排序(sort)(步骤S1401)。

并且，期间分割部205将变量m和变量n初始化为“1”(步骤S1402)。

其中，变量m指在期间分割处理中识别各个对象的号码，利用变量m识别的对象指摄影日期时间为第m早的对象。下面，将利用变量m识别的对象表述为对象m。

并且，变量n指在期间分割处理中识别各个分割期间的号码，利用变量n识别的分割期间指第n早的分割期间。下面，将利用变量n识别的分割期间表述为分割期间n。

期间分割部205对分割期间n的开始日期时间设定对象m的摄影日期时间(步骤S1403)。由于设定成为使对象m的摄影日期时间与分割期间n的开始日期时间一致，因而对象m成为在包含于分割期间n中的对象中最早的对象。

然后，期间分割部205判定m+X是否为对象的总数M以下(步骤S1404)。即，判定是否存在对象m+X。

其中，对象m+X指从对象m开始数起第X+1个对象。例如，假设m＝1001、X＝100，对象m+X即对象1101指从对象1001数起第101个对象，第100个对象指对象1100。

由于对象m是包含于分割期间n中的对象中最早的对象，因而对象m+X成为比分割期间n的结束日期时间新的对象中最早的对象。

即，在步骤S1404判定是否存在对象m+X，等价于判定是否存在比分割期间n的结束日期时间新的对象。

在m+X≤M的情况下(步骤S1404：是)，期间分割部205对分割期间n的结束日期时间设定对象m+X-1的摄影日期时间(步骤S1405)。

这样，从对象m开始按照从旧到新的顺序来确定包括X个对象的分割期间n。

在确定分割期间n后，期间分割部205对所确定的分割期间n赋予分割期间ID，并生成分割期间数据(在流程图中未示出)。

并且，期间分割部205确定用于确定下一个分割期间n+1的开始日期时间的对象，对m设定m+X-Y(步骤S1406)。

其中，对象m+X-Y指从对象m+X-1、即包含于分割期间n中的最新的对象开始，向旧的方向(即更早的方向)数的第Y个对象。

例如，假设m＝1001、n＝11、X＝100、Y＝50。此时，在分割期间11中包括对象1001～对象1101。并且，对于分割期间12，将对象1051的摄影日期时间设定为分割期间12的开始日期时间，使得对于分割期间12，与分割期间11的重复期间中包括对象1051～对象1100这50个对象。

并且，为了确定下一个分割期间，期间分割部205将n加“1”(步骤1407)，并返回到步骤1403。

当在步骤1404的判定中是m+X＞M的情况下(步骤1404：否)，期间分割部205对分割期间n的结束日期时间设定对象M的摄影日期时间(步骤1408)，并确定分割期间n。

并且，对所确定的分割期间n赋予分割期间ID701，并生成分割期间数据，结束期间分割处理。

<1-2-3.各个分割期间的聚类>

各个分割期间的聚类指在各个分割期间中将包含于该分割期间中的各个对象分类为聚类的处理。

关于各个分割期间的聚类，按照图15所示的流程图进行说明。

将变量n初始化为“1”(步骤1501)。其中，变量n指在各个分割期间的聚类中识别各个分割期间的序号。例如，分割期间7指第7早的分割期间即DP007。

聚类部206对包含于分割期间n中的对象进行聚类(步骤1502)。此时，对所生成的各个聚类生成聚类ID。

聚类部206将聚类的结果存储在聚类存储部207中(步骤1503)。

即，对通过聚类而生成的各个聚类，根据该聚类的聚类ID、该聚类所包含的各个对象的对象ID及分割期间n的分割期间ID来生成聚类信息，将所生成的聚类信息存储在聚类存储部207中。

并且，聚类部206判定变量n是否小于分割期间数(步骤1504)。

如果变量n小于分割期间数(步骤1504：是)，将变量n加“1”(步骤1505)，并返回到步骤S1502，以便在下一个分割期间中进行聚类。

如果变量n不是小于分割期间数(步骤1504：否)，由于在全部的分割期间中的聚类结束，因而结束各个分割期间的聚类。

<1-2-4.聚类关联处理>

聚类关联处理指将在相邻的分割期间中生成的聚类彼此进行比较并使其相关联的处理。

关于聚类关联处理，按照图16及图17的流程图进行说明。

聚类关联部208将在聚类关联处理中用于识别各个分割期间的号码n初始化为“1”(步骤1601)。

尽管在此没有图示，但是当在关联信息存储部209中已经存储有关联信息的情况下，删除该关联信息。

聚类关联部208对变量i设定分割期间n中的第1个聚类的聚类ID(步骤1602)。

其中，分割期间n中的第1个聚类，是指与在聚类存储部207中存储的聚类信息之中、在分割期间n中所生成的而且是与“CLS”相接续的号码为最小的聚类信息相对应的聚类。

聚类关联部208对变量j(聚类ID901)设定分割期间n+1中的第1个聚类的聚类ID(步骤1603)。

聚类关联部208将针对聚类i的关联候选设定为“没有”，将用于进行关联的阈值z设为规定个数(此处为“1”)(步骤1604)。其中，聚类i指利用具有变量i的值的聚类ID识别的聚类，对于聚类j也一样。

聚类关联部208对共同属于聚类i和聚类j双方的对象即共同对象的数量进行计数(步骤1605)。

聚类关联部208判定共同对象的数量是否为阈值z以上(步骤1606)。

在共同对象的数量为阈值z以上的情况下(步骤1606：是)，聚类关联部208将聚类j设定为针对聚类i的关联候选(步骤1607)。在此，在已经具有针对聚类i的关联候选的情况下，将该关联候选置换为聚类j。

聚类关联部208将阈值z更新为共同对象的数量(步骤1608)。

在共同对象的数量小于阈值z的情况下(步骤1606：否)，不进行步骤S1607和步骤1608的处理。

并且，聚类关联部208判定j是否为分割期间n+1中的最后一个聚类的聚类ID(步骤1609)。

在不是最后一个聚类的聚类ID的情况下(步骤1609：否)，聚类关联部208对变量j设定分割期间n+1中位于聚类j后面的聚类的聚类ID(步骤1610)，并返回到步骤S1605。

在是最后一个聚类的聚类ID的情况下(步骤1609：是)，聚类关联部208判定是否具有针对聚类i的关联候选(步骤1611)。

在具有关联候选的情况下(步骤1611：是)，聚类关联部208将聚类i和关联候选建立关联(步骤1612)。

即，聚类关联部208生成设第1聚类ID为i、设第2聚类ID为关联候选的聚类ID的关联信息，并存储在关联信息存储部209中。此时，当在关联信息存储部209中已经存储有关联信息的情况下，将所生成的关联信息追加到原来的关联信息中。

在没有关联候选的情况下(步骤1611：否)，不进行步骤1612的处理。

聚类关联部208判定变量i是否为分割期间n中的最后一个聚类的聚类ID(步骤1613)。

在不是最后一个聚类的聚类ID(步骤1613：否)，聚类关联部208对变量i设定分割期间n中位于聚类i后面的聚类的聚类ID(步骤1614)，并返回到步骤S1603。

在是最后一个聚类的聚类ID(步骤1613：是)，分割期间n和分割期间n+1中的关联处理已完成，因而进行下面的处理。

聚类关联部208判定分割期间n+1是否与分割期间数量一致(步骤1615)。

在与分割期间数量不一致的情况下(步骤1615：否)，将n加“1”(步骤1616)，并返回到步骤S1602。

在与分割期间数量一致的情况下(步骤1615：是)，所有相邻的分割期间彼此的关联处理已完成，因而结束聚类关联处理。

<1-2-5.检索处理>

检索处理指将用户选择的对象作为键来检索图像的处理。

检索处理是根据用户选择特定的对象的操作而开始的。

关于检索处理，按照图18所示的流程图进行说明。

检索部211从操作输入部210取得用于识别作为检索的键的对象k的对象ID(步骤S1801)。

检索部211从聚类存储部207取得用于识别对象k所属的聚类c的聚类ID(步骤S1802)。

检索部211取得用于识别与聚类c直接或者间接地建立了关联的一系列聚类的聚类ID(步骤S1803)。下面，将建立了关联的一系列聚类称为关联聚类，将识别关联聚类的聚类ID称为关联聚类ID。

例如，假设按照图11所示进行关联，聚类CLS005的关联聚类有与聚类CLS005相关联的聚类CLS003和聚类CLS007、与聚类CLS003相关联的聚类CLS002、与聚类CLS007相关联的聚类CLS009，合计是4个聚类。这些聚类CLS003、CLS007、CLS002及CLS009直接或者间接地与聚类CLS005关联，因而表示同一人物的可能性都比较大。

关于步骤S1803的处理(聚类c的关联聚类取得处理)的内容，将在后面进行详细说明。

检索部211从聚类存储部207取得属于聚类c及各个关联聚类的对象(下面称为关联对象)的对象ID(步骤S1804)。

检索部211从对象存储部204取得包括关联对象的图像的文件名(步骤S1805)。

输出部212从图像存储部202取得与检索部211取得的文件名对应的图像，并以结果画面的形态输出给显示装置120(步骤S1806)。

<1-2-6.聚类c的关联聚类取得处理>

聚类c的关联聚类取得处理指追溯在关联信息存储部209中存储的关联信息来取得聚类c的关联聚类ID的处理。

关于聚类c的关联聚类取得处理，按照图19所示的流程图进行说明。

检索部211对变量i设定聚类c的聚类ID(步骤S1901)。

然后，检索部211判定在关联信息存储部209中是否存在包括与变量i一致的第1聚类ID的关联信息(步骤S1902)。

在判定为存在的情况下(步骤S1902：是)，与该关联信息的第2聚类ID对应的聚类被直接或者间接地与聚类c相关联。因此，检索部211将该第2聚类ID追加在关联聚类ID中(步骤S1903)。

并且，检索部211对变量i设定在步骤S1903追加的第2聚类ID(步骤S1904)，并返回到步骤S1902。

在步骤S1902，在判定为不存在的情况下(步骤S1902：否)，检索部211对变量j设定聚类c的聚类ID(步骤S1905)。

然后，检索部211判定在关联信息存储部209中是否存在包括与变量j一致的第2聚类ID的关联信息(步骤S1906)。

在判定为存在的情况下(步骤S1906：是)，检索部211将该关联信息的第1聚类ID追加在关联聚类ID中(步骤S1907)。

并且，检索部211对变量j设定在步骤S1907追加的第1聚类ID(步骤S1908)，并返回到步骤S1906。

在步骤S1906，在判定为不存在的情况下(步骤S1906：否)，结束聚类c的关联聚类取得处理。

<2.实施方式2>

在实施方式1中对图像管理装置100进行了说明，该图像管理装置100以使包含于各个分割期间及重复期间中的对象的个数达到固定个数的方式对整体期间进行分割，以便进行关联。

在此，取代以使包含于各个分割期间及重复期间中的对象的个数达到固定个数的方式来分割整体期间，在此作为实施方式2，对在分割整体期间时使分割期间及重复期间的长度固定的图像管理装置100a进行说明。

图像管理装置100a具有与图像管理装置100相同的结构。下面，以与图像管理装置100的不同之处为中心进行说明。

图20是表示图像管理装置100a的期间分割部205进行的分割的概念的图。在图20中，与图6一样，横轴表示日期时间，纵轴表示对象的特征量。图中的多个点758分别表示对象，多个点758分别被绘制在依据于对象检测信息的摄影日期时间和特征量的位置。

作为一例，按照图20所示这样进行分割，使一个分割期间的长度为ΔT(ΔT表示规定的长度，例如一年)，使一个重复期间的长度为Δt(Δt表示比ΔT短的规定的长度，例如半年)。但是，最新的分割期间也可以比ΔT短。

另外，在本实施方式中，以在哪个分割期间中都包含足够数量的对象为前提。

下面，关于期间分割处理，按照图21所示的流程图进行说明。

首先，期间分割部205对作为变量的日期时间d设定最早的对象的摄影日期时间(步骤S2101)。

并且，期间分割部205将变量n初始化为“1”(步骤S2102)。

其中，变量n指用于在期间分割处理中识别各个分割期间的号码，利用变量n识别的分割期间是第n早的分割期间。在此，将利用变量n识别的分割期间表述为分割期间n。

期间分割部205对分割期间n的开始日期时间设定日期时间d(步骤S2103)。

然后，期间分割部205判定自日期时间d起经过ΔT后的未来日期时间是否在最新的对象的摄影日期时间以前(步骤S2104)。

在下面的说明及图21中，将自d起经过ΔT后的未来日期时间表述为d+ΔT，将自d起向前ΔT的过去的日期时间表述为d-ΔT。

在日期时间d+ΔT是最新的对象的摄影日期时间以前的情况下(步骤S2104：是)，期间分割部205对分割期间n的结束日期时间设定日期时间d+ΔT(步骤S2105)。

这样，确定自日期时间d开始具有长度ΔT的分割期间n。

在确定分割期间n后，期间分割部205对所确定的分割期间n赋予分割期间ID，并生成分割期间数据(在流程图中未图示)。

并且，期间分割部205对日期时间d设定d+ΔT-Δt，以便确定下一个分割期间n+1的开始日期时间(步骤S2106)。

并且，期间分割部205将变量n加“1”(步骤S2107)，并返回到步骤S2103，以便确定下一个分割期间。

当在步骤S2104的判定中判定为自日期时间d起经过ΔT后的未来的日期时间不在最新的对象的摄影日期时间以前的情况下(步骤S2104：否)，期间分割部205对分割期间n的结束日期时间设定最新的对象的摄影日期时间(步骤S2108)，并确定分割期间n。

并且，对所确定的分割期间n赋予分割期间ID，并生成分割期间数据，结束期间分割处理。

<3.实施方式3>

在实施方式2中，以使分割期间及重复期间的长度固定的方式来执行由期间分割部205进行的整体期间的分割。

下面，作为实施方式3对图像管理装置100b进行说明，该图像管理装置100b在进行整体期间的分割时使分割期间的长度根据年龄而变化，以便能够高精度地检索特定的目标人物。

另外，在本实施方式中，与实施方式2一样以在哪个分割期间都包含足够数量的对象为前提。

图22表示与图像管理装置100b的功能相关的结构。

如图22所示，图像管理装置100b除了图像管理装置100a的结构外还具有出生年月日存储部2201和期间长度对应表存储部2202。并且，操作输入部210和期间分割部205与图像管理装置100a具有的操作输入部210和期间分割部205不同。下面，以这些组成部分的不同之处为中心进行说明。

出生年月日存储部2201具有用于存储目标人物的出生年月日的存储器的区域。其中，出生年月日利用年月日表述。例如，如果是2010年6月18日21时5分出生的人物，则其出生年月日被表述为2010年6月18日。

期间长度对应表存储部2202保存如图23所示的作为一例的期间长度对应表2300，期间长度对应表2300具有用于存储由年龄和期间长度构成的多个组的区域。这里的年龄以具有范围的方式示出目标人物的年龄。并且，期间长度表示分割期间的长度。

在图23所示的示例中，期间长度对应表2300包括年龄2301“0岁～3岁”和期间长度2302“一个月”。这表示使作为分割期间的“一个月”对应于具有范围的年龄“0岁～3岁”。在期间长度对应表2300中，同样地，期间长度“两个月”对应于年龄“4岁～6岁”。针对自7岁起的各个年龄的范围，分别对应有期间长度。

操作输入部210除了图像管理装置100a的操作输入部210的功能之外，还具有接收用户输入的人物的出生年月日并存储在出生年月日存储部2201中的功能。

期间分割部205不将分割期间的长度设为固定值，而使其根据该分割期间的开始日期时间的目标人物的年龄而变化。并且，关于出生年月日以前的日期时间，不作为期间的分割的目标。

下面，以与图21所示的流程图的不同之处为中心，使用图24所示的流程图对实施方式3的期间分割部205的动作进行说明。

取代图21所示的步骤S2101，期间分割部205从出生年月日存储部2201取得目标人物的出生年月日，并对日期时间d设定目标人物的出生年月日(步骤S2101a)。

其中，日期时间d指包括1天中的时间(时分秒)的数据，但对时分秒的部分设定0时0分0秒。

然后，在图21所示的步骤S2103之后，期间分割部205根据目标人物的出生年月日和日期时间d，计算分割期间n的开始日期时间的目标人物的年龄(步骤S2401)。

并且在步骤S2401之后，期间分割部205参照期间长度对应表2300来取得与目标人物的年龄对应的期间长度，将所取得的期间长度设定为ΔT(步骤S2402)。

然后，使控制进入到图21所示的步骤S2104。

其它步骤与图21所示的流程图相同，因而省略说明。

<4.实施方式4>

对作为本发明的另一个实施方式的对象关联装置100c进行说明。

(1)对象关联装置100c如图26所示由存储部101、分组部102和关联部103构成。

存储部101将多个内容(content)与表示该多个内容各自的生成时间的内容生成时间信息相对应地进行存储。

分组部102在彼此有一部分重复的第1期间和第2期间的各个期间中，分别按照彼此相似的每个对象对内容生成时间信息所示出的时间包含于该期间中的各个内容所包含的各个对象进行分组。

关联部103在上述第1期间和上述第2期间重复的期间中，在共同属于在第1期间中被分组的第1组和在第2期间中被分组的第2组的对象的个数为规定个数以上的个数的情况下，将属于第1组的各个对象和属于第2组的各个对象作为表示同一目标的对象使其相关联。

(2)也可以是，所述内容是图像。

对象关联装置100c还具有抽取部104(未图示)，该抽取部104检测所述图像所包含的对象，并抽取该对象的特征量。

分组部102使用所述对象各自的特征量进行分组。

(3)也可以是，对象关联装置100c还具有确定部105(未图示)，该确定部105这样确定该第1期间和该第2期间，即，对于所述第1期间和所述第2期间重复的期间，使得内容生成时间信息所示出的时间包含于该期间中的各个图像所包含的对象的数量之合计值达到1以上的规定数量，对于该第1期间和该第2期间中的各个期间，使得内容生成时间信息所示出的时间包含于该期间中的各个图像所包含的对象的数量之合计值多于所述规定数量。

(4)也可以是，所述对象是人物的人脸。

也可以是，抽取部104根据检测人物的人脸的基准来确定人物的人脸，由此检测所述对象，并从该对象中抽取与人物的人脸相关的特征量。

(5)也可以是，对象关联装置100c还具有确定部105a(未图示)，该确定部105a这样确定该第1期间和该第2期间，即，使所述第1期间和所述第2期间重复的期间达到规定的长度，并使该第1期间和该第2期间比所述规定的长度长。

(6)也可以是，所述对象是人物的人脸。

确定部105a对所述第1期间和所述第2期间分别计算该期间中的一个人物的年龄，根据该年龄来确定该期间的长度。

(7)也可以是，所述内容生成时间信息具有日期的信息。

对象关联装置100c还具有：日期存储部106，存储用于计算所述年龄的基准的日期；期间长度存储部107(未图示)，相对应地存储多个年龄和多个期间的长度。

确定部105a对所述第1期间和所述第2期间分别根据所述基准的日期进行所述计算，参照所述期间长度存储单元，将该期间的长度确定为与该年龄对应的期间的长度。

(8)也可以是，对象关联装置100c还具有确定部105b(未图示)，该确定部105这样确定该第1期间和该第2期间，即，对于所述第1期间和所述第2期间重复的期间，使得内容生成时间信息所示出的时间包含于该期间中的图像的数量达到1以上的规定数量，对于该第1期间和该第2期间中的各个期间，使得内容生成时间信息所示出的时间包含于该期间中的所述图像的数量多于所述规定数量。

(9)也可以是，对象关联装置100c还具有分割部108(未图示)，该分割部108以使在时间轴上邻接的期间彼此一部分重复的方式，将规定的期间分割为多个期间。

分组部102在所述多个期间中分别进行分组。

关联部103对于所述多个期间中在时间轴上邻接的期间的组，分别将所述组中较早一方的期间设为第1期间，将较晚一方的期间设为第2期间，如此进行所述关联。

<5.变形例>

以上根据各个实施方式进行了说明，但本发明不限于上述的实施方式。例如，诸如以下列举的变形也包含于本发明中。

(1)在实施方式1～3中，将进行关联的结果应用于图像的检索，但关联的用途不限于图像的检索。例如，也可以应用于以下所述的用途。

(a)使用作为图像中所包含的对象的同一人物而相关联的对象的数量，来评价各个图像。

(b)对包括同一人物的人脸的全部图像附加相同的元数据(例如该人物的名字)。

(c)利用图像所包含的人物将各个图像分类。

(2)在实施方式1～3中，假设对象是人物的人脸，但对象也可以是除人物的人脸之外的事物。

例如，也能够适用于动植物或街道等特征随着时间的经过而一点一点地变化的事物。在这种情况下，可以将对象检测部203进行的对象检测及特征量抽取的方法，变更为能够检测表示目标的对象并抽取能够进行各个目标的识别的特征量的方法。

并且，在进行人物的关联的情况下，也可以不采用人脸，而将人体作为对象，使用表示体格等的特征量进行关联。

(3)在实施方式1～3中，假设内容是静止图像，但只要是能够检测表示任何目标的对象并能够抽取该对象的特征量的内容，则也可以是除静止图像之外的内容。

例如，内容也可以是动态图像。在这种情况下，能够从动态图像的各帧或缩略图像等中抽取对象。

并且，内容也可以是声音。在这种情况下，例如将对象设为人物的声音，能够将MFCC(Mel-Frequency Cepstral Coefficients：梅尔倒频谱系数)用作特征量。

(4)在实施方式1～3中，聚类关联部208输出表示聚类彼此的关联的关联信息(在实施方式中是存储在关联信息存储部209中)，以便将属于相关联的各个聚类的各个对象彼此关联起来，但只要是直接或者间接地表示各个对象的关联，也可以利用除聚类彼此的关联之外的形式输出。例如，也可以输出以下所述的数据。

(a)也可以是，对各个聚类进行关联聚类的取得处理(图18的步骤S1803)，将其结果所得到的一系列的关联聚类的聚类ID按照每个聚类进行输出。

(b)也可以是，根据(a)的结果进行各个聚类的关联对象的取得处理(图18的步骤S1804)，将各个关联对象的对象ID按照每个聚类进行输出。

(c)也可以是，将上述(a)和(b)的结果中除了内容重复的之外进行输出。例如，由于聚类A及其关联聚类B的组合、与聚类B及其关联聚类A的组合所属的对象相同，因而可以仅仅输出基于任意一方组合的数据。

(d)在输出诸如(a)所示的一系列的关联聚类的情况下，也可以变更图16所示的聚类关联处理的一部分，生成用于存储一系列的关联聚类ID的关联聚类ID集合列表2500。

关联聚类ID集合列表2500如图25所示具有用于存储多个关联聚类集合信息的区域。各个关联聚类集合信息由聚类集合ID和关联聚类ID集合构成。聚类集合ID是用于唯一地识别该关联聚类集合信息的识别符。关联聚类ID集合包括一个以上的关联聚类ID。

图25示出的作为一例的关联聚类ID集合列表2500包括3个关联聚类集合信息。第1关联聚类集合信息包括聚类集合ID2502和关联聚类ID集合2501，第2关联聚类集合信息包括聚类集合ID2504和关联聚类ID集合2503，第3关联聚类集合信息包括聚类集合ID2506和关联聚类ID集合2505。

例如，如图25所示，在生成由多个关联聚类集合信息构成的关联聚类ID集合列表2500的情况下，在图16所示的流程图中进行以下处理即可。

首先，在步骤S1602之后，追加下面的处理(d-1)～(d-3)。

(d-1)判定在关联聚类ID集合列表2500内的关联聚类集合信息中是否存在包括与变量i的值相同的关联聚类ID的关联聚类ID集合。

(d-2)当存在的情况下，进入到步骤S1603。当不存在的情况下，生成聚类集合ID。聚类集合ID的生成例如是通过将字符串“CS”和3位连续号码相连结而进行的。在图25所示的关联聚类ID集合列表2500中，聚类集合ID2502、2504和2506分别指“CS001”、“CS002”和“CS003”。这些聚类集合ID是将字符串“CS”和各个连续号码“001”、“002”和“003”相连结而生成的。

(d-3)在生成聚类集合ID后，然后生成包括变量i为要素的关联聚类ID集合，并生成由所生成的聚类集合ID和所生成的关联聚类ID集合构成的关联聚类集合信息，将关联聚类集合信息追加写入到关联聚类ID集合列表2500中。然后进入到步骤S1603。

并且，在步骤S1612，取代将聚类i和关联候选相关联的处理，而是在包括聚类i的关联聚类ID集合中追加关联候选的聚类ID。

(5)在实施方式1～3中，使用Gabor滤波器进行特征量的抽取，但只要是能够抽取表示对象的特征的量的方法，则可以采用任何方法。

例如，也可以抽取SIFT(Scale-Invariant Feature Transform：尺度不变特征变换)特征量。

(6)在实施方式1～3中，假设摄影日期时间是包括到秒的数据，但只要是表示图像的生成时间的数据，则不一定是包括到秒的数据。

例如，也可以是年月日的数据，如果分割期间及重复期间的长度足够长，则还可以是仅包括年和月的数据。

并且，不需要是从Exif信息取得的数据，例如也可以使用文件的生成日期时间。

(7)在实施方式1～3中，只要在图像存储部202中将各个图像与其摄影日期时间相对应地存储，则可以自由变更图像的取得方法。

例如，也可以从存储卡或网络等取得，还可以不使用线缆而以无线方式从摄影装置110取得图像。

并且，也可以不从外部装置取得，而由图像管理装置自身生成图像。例如，也可以是，图像管理装置具有摄像元件等，利用该摄像元件生成图像并存储在图像存储部202中。

(8)在实施方式1中，说明了以Y＝X/2(X＝10、Y＝5，以及X＝100、Y＝50)的方式来设定X及Y的示例，但只要是1≤Y＜X的关系，则既可以是Y＜X/2，也可以是Y＞X/2。

同样，在实施方式2中，列举了Δt＝ΔT/2(ΔT＝一年，Δt＝半年)的示例，但也可以在满足关系Δt＜ΔT的范围内变更ΔT和Δt。

(9)在实施方式1～3中，聚类部206利用K-means法进行聚类，但只要能够按照相似的每个对象进行分组即可，也可以利用除K-means法之外的方法进行聚类。例如，也能够采用沃德法(Ward′s Method)。

并且，在实施方式1中，也可以根据各个分割期间的长度来改变聚类的算法。例如，在较长的分割期间中，可以扩大被判定为同一聚类(同一人物)的特征量的范围。

(10)在实施方式1～3中说明了基于各种基准的期间分割处理，但只要是以相邻的分割期间彼此在一部分期间中重复的方式进行分割，则不限于在实施方式中说明的方式。

例如，在实施方式1的期间分割处理中，以使在各个分割期间及重复期间中所包含的对象的数量达到规定数量的方式进行分割，但也可以取代对象的数量，而是以使图像数量达到规定数量的方式进行分割。

并且，也可以这样进行分割，即，使在各个分割期间及重复期间中所包含的对象的数量达到规定数量以上，而且使各个期间的长度达到规定的长度以上。例如，在实施方式2及3的期间分割处理中，当在分割期间或者重复期间中所包含的对象的数量较少或者不存在的情况下，也可以进行延长分割期间及重复期间的处理。

(11)在实施方式1～3中，将用于使两个聚类相关联的规定个数设为一个进行了说明，但也可以是两个以上。

在规定个数为一个的情况下，根据是否存在共同包含于两个聚类中的对象来判定是否将这些聚类关联。

在规定个数为两个以上的情况下，当存在共同包含于两个聚类中的对象、而且该对象的数量为规定个数以上时进行关联。

(12)在实施方式1～3中，聚类部206使用对象的特征量进行聚类，但只要是使用特征量，也可以追加采用其它参数来进行聚类。例如，也可以追加采用摄影日期时间来进行聚类。

(13)在实施方式1～3的聚类关联处理中，在步骤S1606，根据共同对象的数量是否为阈值z以上这一条件来进行判定，但也可以设为是否大于阈值z的条件。在这种情况下，与共同对象的数量是否为z+1以上的条件相同。

并且，还可以追加条件。例如，可以考虑追加图像的鲜明度、对象在图像中所占的面积的比率等。

(14)在实施方式1～3中，也可以根据各个分割期间中的聚类及关联的结果来确定各个聚类及关联聚类的时间特性，并用来提高各个分割期间的聚类的精度。

(15)在实施方式3中，采用图23所示的期间长度对应表2300来求出每个年龄的期间长度，但只要是根据年龄来求出期间长度2302，则不限于采用图23所示的期间长度对应表2300的方法。

例如，也可以采用与图23的示例不同的、基于年龄和期间长度的数据的期间长度对应表，还可以采用以年龄为变量的函数来取代期间长度对应表2300。

(16)实施方式1～3的聚类关联处理(图16、图17)是将各个聚类、和与该聚类的共同对象为规定个数以上的聚类之中共同对象的数量为最多的聚类进行关联的处理，但只要是与共同对象为规定个数以上的聚类进行关联，则也可以变更如下。

(a)在发现了一个关联候选的时刻中断S1605～S1610的处理，而进行使聚类i和关联候选相关联的处理(步骤S1612)。在这种情况下，是与共同对象的数量为规定个数以上的聚类之中最先被发现的聚类进行关联。

(b)在步骤S1605～S1610，每当发现关联候选时就在更新阈值z(步骤S1608)的同时进行处理，但也可以不进行更新。在这种情况下，是与共同对象的数量为规定个数以上的聚类之中最后被发现的聚类进行关联。

(c)当存在多个关联候选的情况下，也可以提高分类敏感度并重新进行分割期间n或者分割期间n+1的聚类，使不产生多个关联候选。提高聚类的分类敏感度的方法，例如有使利用K-means法生成的聚类数量K大于原来的K的方法。

(d)也可以与成为关联候选的多个聚类进行关联。

例如，在与成为关联候选的全部聚类进行关联的情况下，通过省略步骤S1611和步骤S1612的处理，并进行将聚类i和聚类j关联的处理来取代步骤S1607和步骤S1608来实现。在这种情况下，也需要一并变更在检索处理(图19)中进行的关联聚类的取得处理。

并且，也可以与变形例(4)(d)结合起来生成聚类集合信息。在这种情况下，上述的将聚类i和聚类j进行关联的处理，变为在包括i的关联聚类ID集合中追加j的处理。

(17)在实施方式2及3的期间分割处理中，以使最新的分割期间的结束日期时间成为最新的对象的摄影日期时间的方式来确定分割期间，但只要是以使最新的分割期间的结束日期时间包括最新的对象的摄影日期时间的方式进行确定，则也可以确定为使结束日期时间成为除最新的对象的摄影日期时间之外的时间。

例如，可以将最新的分割期间的结束日期时间确定为当前日期时间，也可以确定为开始日期时间+ΔT。

(18)在实施方式3的期间分割处理的步骤S2101a，将d设为出生年月日的0时0分0秒，但只要是包括出生年月日的日期的数据，则也可以设为除0时0分0秒之外的数据。例如，也可以让用户输入到时分秒。

(19)在实施方式1～3的聚类关联处理中，在步骤S1602，对i设定分割期间n的第一个聚类的聚类ID，但只要能够对在分割期间n中生成的全部聚类进行处理，则可以按照任何顺序来选择聚类。

(20)各个实施方式中的以下事项只不过是单纯的示例，也可以根据需要自由变更。

(a)图像管理装置接受用户的操作的手段。除控制器130之外，例如也可以采用带触摸屏的显示器。

(b)存储数据及程序的手段。除存储器之外，例如也可以采用硬盘等。

(c)检索画面及结果画面的结构。

(d)识别各个图像、对象、分割期间、聚类及关联信息的方法。也可以采用除文件名及ID之外的信息。例如，也可以是，图像取得部201对各个图像赋予图像ID，并利用该图像ID来识别各个图像。

(e)开始执行图像蓄积处理及检索处理的条件。

(21)本发明也能够将由程序代码构成的控制程序记录在记录介质中或者通过各种通信路径等进行流通并发布，该控制程序用于使图像管理装置的处理器以及与该处理器连接的各种电路执行在实施方式中示出的图像蓄积处理(参照图13～17)及检索处理等(参照图18～19)。这种记录介质包括IC卡、硬盘、光盘、软盘、ROM等。所流通及发布的控制程序被存储在处理器能够读出的存储器等中以供使用，该处理器执行该控制程序，由此实现诸如在各个实施方式中示出的功能。另外，也可以是，将控制程序的一部分通过各种网络发送给与图像管理装置独立的能够执行程序的装置(处理器)，使在该独立的能够执行程序的装置中执行该控制程序的一部分。

(22)构成图像管理装置的构成组成部分的一部分或者全部也可以被安装成为一个或者多个集成电路(IC、LSI等)，还可以对图像管理装置的构成组成部分追加其它组成部分来实现集成电路化(单片化)。

(23)上述的各个变形例也可以分别组合起来实施。

<6.总结>

下面，对本发明的对象关联装置的结构及效果进行说明。

(1)本发明的对象关联装置具有：存储单元，将多个内容与表示该多个内容分别被生成的时间的内容生成时间信息相对应地进行存储；分组单元，在彼此有一部分重复的第1期间和第2期间的各个期间中，分别按照彼此相似的每个对象，将内容生成时间信息所示出的时间包含于该期间中的各个内容所包含的各个对象分组；以及关联单元，在所述第1期间和所述第2期间重复的期间中，在共同属于在第1期间中被分组的第1组和在第2期间中被分组的第2组的对象的个数为规定个数以上的情况下，将属于第1组的各个对象和属于第2组的各个对象作为表示同一目标的对象建立关联。

在实施方式中，存储单元利用图像存储部202实现，分组单元利用聚类部206实现，关联单元利用聚类关联部208实现。并且，在实施方式中，内容生成时间信息相当于摄影日期时间303，组相当于聚类。

聚类关联部208进行聚类彼此的关联，而属于同一聚类的对象彼此通过聚类部206被建立关联，因而属于通过聚类关联部208实现关联的聚类的对象彼此也是相关联的。

(2)也可以是，在(1)中，所述内容是图像，所述对象关联装置还具有抽取单元，该抽取单元检测所述图像所包含的对象，并抽取该对象的特征量，所述分组单元使用所述对象各自的特征量进行分组。

这样，能够对图像所包含的对象进行关联，对识别被摄入到照片等中的被摄体是有效的。

在实施方式中，抽取单元利用对象检测部203实现。

(3)也可以是，在(2)中，所述对象关联装置还具有确定单元，该确定单元确定所述第1期间和所述第2期间，以使得：对于该第1期间和该第2期间重复的期间，内容生成时间信息所示出的时间包含于该期间中的各个图像所包含的对象的数量的合计值为1以上的规定数量，对于该第1期间和该第2期间的各个期间，内容生成时间信息所示出的时间包含于该期间中的各个图像所包含的对象的数量的合计值多于所述规定数量。

这样，能够防止由于重复的期间中所包含的对象的数量较少而不能进行关联的状态。

在实施方式1中，确定单元相当于期间分割部205。

(4)也可以是，在(3)中，所述对象是人物的人脸，所述抽取单元根据检测人物的人脸的基准来确定人物的人脸，由此检测所述对象，所述抽取单元从该对象中抽取与人物的人脸相关的特征量。

这样，能够对被摄入到图像中的人物的人脸进行关联，对人物的识别是有效的。

(5)也可以是，在(2)中，所述对象关联装置还具有确定单元，该确定单元确定所述第1期间和所述第2期间，以使得该第1期间和该第2期间重复的期间为规定的长度，并使该第1期间和该第2期间比所述规定的长度长。

这样，能够与重复的期间中所包含的对象的数量无关地来确定第1期间和第2期间。

在实施方式2和3中，确定单元利用期间分割部205实现。

(6)也可以是，在(5)中，所述对象是人物的人脸，所述确定单元对所述第1期间和所述第2期间的各个期间，分别计算该期间中的一个人物的年龄，根据该年龄来确定该期间的长度。

人物的特征量的变化速度根据年龄而变化，即，在年龄比较年轻时，由于成长的原因，基于时间的特征量的变化较大，而在成为大人后，特征量的变化减小等。

因此，在需要对特定的人物将表示该人物的对象彼此进行关联的情况下，如果根据如上所述的结构来确定为与该人物的成长相对应的长度的第1期间和第2期间，则能够更加高精度地进行关联。

(7)也可以是，在(6)中，所述内容生成时间信息具有日期的信息，所述对象关联装置还具有：日期存储单元，存储用于计算所述年龄的基准的日期；以及期间长度存储单元，将年龄和期间的长度相对应地存储多个，所述确定单元对所述第1期间和所述第2期间的各个期间，分别根据所述基准的日期进行所述计算，并参照所述期间长度存储单元，将该期间的长度确定为与该年龄对应的期间的长度。

这样，能够使用计算目标人物的年龄的基准日期(出生年月日)来求出该人物的年龄，并进行着重于特定的人物的关联。

在实施方式3中，日期存储单元利用出生年月日存储部2201实现，期间长度存储单元利用期间长度对应表存储部2202实现。

(8)也可以是，在(2)中，所述对象关联装置还具有确定单元，该确定单元确定所述第1期间和所述第2期间，以使得：对于所述第1期间和所述第2期间重复的期间，内容生成时间信息所示出的时间包含于该期间中的图像的数量为1以上的规定数量，对于该第1期间和该第2期间的各个期间，内容生成时间信息所示出的时间包含于该期间中的所述图像的数量多于所述规定数量。

(9)也可以是，在(1)中，所述对象关联装置还具有分割单元，该分割单元以使在时间轴上邻接的期间彼此一部分重复的方式，将规定的期间分割为多个期间，所述分组单元在所述多个期间的各个期间中分别进行分组，所述关联单元对于所述多个期间中在时间轴上邻接的期间所构成的各个组，分别将所述组中较早一方的期间设为第1期间，将较晚一方的期间设为第2期间而进行所述关联。

这样，通过对相邻接的期间的各个组进行关联，即使是在由较短的多个第1及第2期间连结而成的较长期间中，也能够高精度地进行关联。

例如，当在期间A中生成的聚类a的对象与在期间B中生成的聚类b的对象被建立关联、聚类b的对象与在期间C中生成的聚类c的对象被建立关联的情况下，聚类a的对象与聚类c的对象也通过聚类b而相关联。

在实施方式中，分割单元利用期间分割部205实现。

(10)也可以构成为如下所述的方式。

本发明的一个实施方式的对象关联装置具有：存储器，将多个内容与表示该多个内容分别被生成的时间的内容生成时间信息相对应地进行存储；分组电路，在彼此有一部分重复的第1期间和第2期间的各个期间中，分别按照彼此相似的每个对象，将内容生成时间信息所示出的时间包含于该期间中的各个内容所包含的各个对象分组；以及关联电路，在所述第1期间和所述第2期间重复的期间中，在共同属于在第1期间中被分组的第1组和在第2期间中被分组的第2组的对象的个数为规定个数以上的情况下，将属于第1组的各个对象和属于第2组的各个对象作为表示同一目标的对象建立关联。

并且，本发明的另一个实施方式的对象关联装置具有：集成电路；以及存储器，将多个内容与表示该多个内容分别被生成的时间的内容生成时间信息相对应地进行存储。所述集成电路包括：分组电路，在彼此有一部分重复的第1期间和第2期间的各个期间中，分别按照彼此相似的每个对象，将内容生成时间信息所示出的时间包含于该期间中的各个内容所包含的各个对象分组；以及关联电路，在所述第1期间和所述第2期间重复的期间中，在共同属于在第1期间中被分组的第1组和在第2期间中被分组的第2组的对象的个数为规定个数以上的情况下，将属于第1组的各个对象和属于第2组的各个对象作为表示同一目标的对象建立关联。

并且，本发明的另一个实施方式的对象关联装置具有：存储器，存储将多个计算机命令组合而构成的计算机程序；以及处理器，从在所述存储器中存储的所述计算机程序中逐个地读出计算机命令并进行解读，根据其解读结果进行动作。所述存储器将多个内容与表示该多个内容分别被生成的时间的内容生成时间信息相对应地进行存储。所述计算机程序使所述处理器执行以下步骤：分组步骤，在彼此有一部分重复的第1期间和第2期间的各个期间中，分别按照彼此相似的每个对象，将内容生成时间信息所示出的时间包含于该期间中的各个内容所包含的各个对象分组；以及关联步骤，在所述第1期间和所述第2期间重复的期间中，在共同属于在第1期间中被分组的第1组和在第2期间中被分组的第2组的对象的个数为规定个数以上的情况下，将属于第1组的各个对象和属于第2组的各个对象作为表示同一目标的对象建立关联。

并且，本发明的另一个实施方式是计算机能够读取的非临时性记录介质，该记录介质记录了在对象关联装置中使用的计算机程序。对象关联装置具有存储器，该存储器将多个内容与表示该多个内容分别被生成的时间的内容生成时间信息相对应地进行存储。所述计算机程序使计算机执行以下步骤：分组步骤，在彼此有一部分重复的第1期间和第2期间的各个期间中，分别按照彼此相似的每个对象，将内容生成时间信息所示出的时间包含于该期间中的各个内容所包含的各个对象分组；以及关联步骤，在所述第1期间和所述第2期间重复的期间中，在共同属于在第1期间中被分组的第1组和在第2期间中被分组的第2组的对象的个数为规定个数以上的情况下，将属于第1组的各个对象和属于第2组的各个对象作为表示同一目标的对象建立关联。

产业上的可利用性

本发明的对象关联装置能够应用于图像检索装置、文件服务器、数字照相机等中。

标号说明

100、100a、100b图像管理装置；100c对象关联装置；101存储部；102分组部；103关联部；110摄影装置；120显示装置；130控制器；201图像取得部；202图像存储部；203对象检测部；204对象存储部；205期间分割部；206聚类部；207聚类存储部；208聚类关联部；209关联信息存储部；210操作输入部；211检索部；212输出部；2201出生年月日存储部；2202期间长度对应表存储部。

Claims

1.一种对象关联装置，其特征在于，该对象关联装置具有：

存储单元，将多个内容与表示该多个内容分别被生成的时间的内容生成时间信息相对应地进行存储；

分组单元，在彼此有一部分重复的第1期间和第2期间的各个期间中，分别按照彼此相似的每个对象，将内容生成时间信息所示出的时间包含于该期间中的各个内容所包含的各个对象分组；以及

关联单元，在所述第1期间和所述第2期间重复的期间中，在共同属于在第1期间中被分组的第1组和在第2期间中被分组的第2组的对象的个数为规定个数以上的情况下，将属于第1组的各个对象和属于第2组的各个对象作为表示同一目标的对象建立关联。

2.根据权利要求1所述的对象关联装置，其特征在于，

所述内容是图像，

所述对象关联装置还具有抽取单元，该抽取单元检测所述图像所包含的对象，并抽取该对象的特征量，

所述分组单元使用所述对象各自的特征量进行分组。

3.根据权利要求2所述的对象关联装置，其特征在于，

所述对象关联装置还具有确定单元，该确定单元确定所述第1期间和所述第2期间，以使得：

对于该第1期间和该第2期间重复的期间，内容生成时间信息所示出的时间包含于该期间中的各个图像所包含的对象的数量的合计值为1以上的规定数量，对于该第1期间和该第2期间的各个期间，内容生成时间信息所示出的时间包含于该期间中的各个图像所包含的对象的数量的合计值多于所述规定数量。

4.根据权利要求3所述的对象关联装置，其特征在于，

所述对象是人物的人脸，

所述抽取单元根据检测人物的人脸的基准来确定人物的人脸，由此检测所述对象，

所述抽取单元从该对象中抽取与人物的人脸相关的特征量。

5.根据权利要求2所述的对象关联装置，其特征在于，

所述对象关联装置还具有确定单元，该确定单元确定所述第1期间和所述第2期间，以使得该第1期间和该第2期间重复的期间为规定的长度，并使该第1期间和该第2期间比所述规定的长度长。

6.根据权利要求5所述的对象关联装置，其特征在于，

所述对象是人物的人脸，

所述确定单元对所述第1期间和所述第2期间的各个期间，分别计算该期间中的一个人物的年龄，根据该年龄来确定该期间的长度。

7.根据权利要求6所述的对象关联装置，其特征在于，

所述内容生成时间信息具有日期的信息，

所述对象关联装置还具有：

日期存储单元，存储用于计算所述年龄的基准的日期；以及

期间长度存储单元，将年龄和期间的长度相对应地存储多个，

所述确定单元对所述第1期间和所述第2期间的各个期间，分别根据所述基准的日期进行所述计算，并参照所述期间长度存储单元，将该期间的长度确定为与该年龄对应的期间的长度。

8.根据权利要求2所述的对象关联装置，其特征在于，

对于所述第1期间和所述第2期间重复的期间，内容生成时间信息所示出的时间包含于该期间中的图像的数量为1以上的规定数量，对于该第1期间和该第2期间的各个期间，内容生成时间信息所示出的时间包含于该期间中的所述图像的数量多于所述规定数量。

9.根据权利要求1所述的对象关联装置，其特征在于，

所述对象关联装置还具有分割单元，该分割单元以使在时间轴上邻接的期间彼此一部分重复的方式，将规定的期间分割为多个期间，

所述分组单元在所述多个期间的各个期间中分别进行分组，

所述关联单元对于所述多个期间中在时间轴上邻接的期间所构成的各个组，分别将所述组中较早一方的期间设为第1期间，将较晚一方的期间设为第2期间而进行所述关联。

10.一种对象关联方法，其特征在于，该对象关联方法包括：

存储步骤，将多个内容与表示该多个内容分别被生成的时间的内容生成时间信息相对应地进行存储；

分组步骤，在彼此有一部分重复的第1期间和第2期间的各个期间中，分别按照彼此相似的每个对象，将内容生成时间信息所示出的时间包含于该期间中的各个内容所包含的各个对象分组；以及

关联步骤，在所述第1期间和所述第2期间重复的期间中，在共同属于在第1期间中被分组的第1组和在第2期间中被分组的第2组的对象的个数为规定个数以上的情况下，将属于第1组的各个对象和属于第2组的各个对象作为表示同一目标的对象建立关联。

11.一种程序，其特征在于，该程序使计算机执行包括以下步骤的处理：

12.一种记录介质，其特征在于，该记录介质记录了使计算机执行包括以下步骤的处理的程序：