CN101751574A - 图像处理设备、成像装置、成像处理方法和程序 - Google Patents

Abstract

提供一种图像处理设备、成像装置、图像处理方法、和使计算机实现该图像处理方法的程序，该图像处理设备包括：关系深度值计算单元，其将在多个内容的任一个中出现的人当作特定人，并基于第二人或除了第二人之外的第三人在所述特定人所出现的内容中的出现频率、以及所述第二人和所述第三人在所述特定人不出现的内容中的出现频率，计算表示在所述特定人和所述第二人之间的关系深度程度的关系深度值；以及优先级确定单元，其基于所计算的关系深度值，确定被分配给在多个内容中出现的人之中与所述特定人有关的所述第二人的优先级。

Description

图像处理设备、成像装置、成像处理方法和程序

技术领域

本发明涉及图像处理设备。更具体地，本发明涉及对诸如图像的内容进行图像分析的图像处理设备和成像装置、在图像处理设备和成像装置中实施的处理方法、以及使得计算机实现该方法的程序。

背景技术

近来，对诸如人的对象进行成像以便记录诸如图像或运动画面的内容、并且包括数字静态相机(camera)和数字视频相机的成像设备已普及。已经提出了用于分类如此记录的内容的多种检索技术和用于辅助浏览的多种显示技术。

例如，已经提出了内容管理设备，其使用关于记录内容的位置的位置信息来将多个内容分类为多个组，并基于分类结果显示内容。例如，提出了一种内容管理设备，其基于关于内容的位置信息，产生具有与二叉树的叶子相关联的内容的二叉树(binary-tree)结构数据，并从二叉树结构数据中指定的节点中提取满足分组的条件的节点。与每个所提取的节点相关联的内容被确定为一个组，并且内容被分类到所确定的组中(例如，参照JP-A-2008-250605(专利文献1)中的图3)。

发明内容

根据前述相关技术，因为使用关于内容的位置信息对内容分类，所以能基于用户的喜好显示任何内容。然而，用户的喜好是如此多样化，以至于可能通过反映用户喜欢来请求使用内容，而不考虑记录内容的位置。

例如，近年来，已经提出了能够检测内容中出现的人脸并根据特定的人脸区分所检测的脸。如果可使用各个脸的区分结果来显示内容，则当然能基于用户的喜好实现显示。例如，当根据优先级，使用各个脸的区分结果显示出现了用户指定的特定人的内容时，可根据优先级显示出现了满足用户的喜好的人的内容。

然而，例如，存在这样的可能性，即使在用户指定的特定人未出现的内容中，可能出现与特定人具有深度关系的人。如果出现了与特定人具有深度关系的人，通过看到该人，能得知特定人的人际关系。由此，浏览内容可变得更有乐趣。

本发明针对前述情况。存在对满足用户的喜好的内容的容易(ready)利用的需求。

根据本发明的一个实施例，提供了一种图像处理设备，包括：关系深度值计算单元，其将在多个内容的任一个中出现的人当作特定人，并基于第二人或除了第二人之外的第三人在所述特定人所出现的内容中的出现频率、以及所述第二人和所述第三人在所述特定人不出现的内容中的出现频率，计算表示在所述特定人和所述第二人之间的关系深度程度的关系深度值；以及优先级确定单元，其基于所计算的关系深度值，确定被分配给在多个内容中出现的人之中与所述特定人有关的所述第二人的优先级；一种在该图像处理设备中实现的处理方法；以及使得计算机实现该方法的程序。基于第二人或除了第二人之外的第三人在特定人所出现的内容中的出现频率、以及第二人和第三人在特定人不出现的内容中的出现频率，计算关于特定人和第二人的配对的关系深度值。基于所计算的关系深度值，确定与特定人有关的第二人的优先级。

根据本发明的实施例，关系深度值计算单元可基于在多个内容中出现的人之中在相同内容中一起出现的人的配对的出现频率，计算被赋予在多个内容中出现的人的配对的得分。基于被赋予特定人和第二人的配对的得分、被赋予特定人和第三人的配对的得分、以及被赋予第二人和第三人的配对的得分，可以计算关系深度值。基于在多个内容中出现的人之中在相同内容中一起出现的人的配对的出现频率，计算被赋予在多个内容中出现的人的配对的得分。基于被赋予特定人和第二人的配对的得分、被赋予特定人和第三人的配对的得分、以及被赋予第二人和第三人的配对的得分，计算关系深度值。

根据本发明的实施例，关系深度值计算单元可基于被赋予特定人和第二人的配对的得分计算第一关系深度值，并可基于被赋予第三人和特定人的配对的得分和被赋予第二人和第三人的配对的得分计算第二关系深度值。优先级确定单元可基于所计算的第一关系深度值和第二关系深度值确定优先级。即，基于被赋予特定人和第二人的配对的得分计算第一关系深度值，并基于被赋予第三人和特定人的配对的得分和被赋予第二人和第三人的配对的得分计算第二关系深度值。基于第一关系深度值和第二关系深度值确定优先级。

根据本发明的实施例，优先级确定单元可基于通过对所计算的第一关系深度值和第二关系深度值加权而获得的值，计算关系深度值。即，基于通过对所计算的第一关系深度值和第二关系深度值加权而获得的值，计算关系深度值。

根据本发明的实施例，图像处理设备还可包括输出控制单元，其根据所确定的优先级控制多个内容的输出。即，根据所确定的优先级控制多个内容的输出。

根据本发明的实施例，关系深度值计算单元可基于在多个内容中出现的人之中在相同内容中一起出现的人的配对的出现频率以及在相同内容中一起出现的人的数目，计算被赋予在多个内容中出现的人的配对的得分，并可基于被赋予特定人和第二人的配对的得分、被赋予特定人和第三人的配对的得分、以及被赋予第二人和第三人的配对的得分，计算关系深度值。即，基于在多个内容中出现的人之中在相同内容中一起出现的人的配对的出现频率以及在相同内容中一起出现的人的数目，计算被赋予在多个内容中出现的人的配对的得分，并基于被赋予特定人和第二人的配对的得分、被赋予特定人和第三人的配对的得分、以及被赋予第二人和第三人的配对的得分，计算关系深度值。

根据本发明的实施例，关系深度值计算单元可基于在多个内容中出现的人之中在相同内容中一起出现的人的配对的出现频率以及在相同内容中一起出现的人的配对之间的距离，计算被赋予在多个内容中出现的人的配对的得分，并可基于被赋予特定人和第二人的配对的得分、被赋予特定人和第三人的配对的得分、以及被赋予第二人和第三人的配对的得分，计算关系深度值。即，基于在多个内容中出现的人之中在相同内容中一起出现的人的配对的出现频率以及在相同内容中一起出现的人的配对之间的距离，计算被赋予在多个内容中出现的人的配对的得分，并基于被赋予特定人和第二人的配对的得分、被赋予特定人和第三人的配对的得分、以及被赋予第二人和第三人的配对的得分，计算关系深度值。

根据本发明的实施例，内容是指在构成运动画面的间隔中占据预定间隔的多个帧。关系深度值计算单元可基于在运动画面中出现的人之中在相同间隔内出现的人的配对的出现频率，计算被赋予在运动画面中出现的人的配对的得分，并可基于被赋予特定人和第二人的配对的得分、被赋予特定人和第三人的配对的得分、以及被赋予第二人和第三人的配对的得分，计算关系深度值。即，基于在运动画面中出现的人之中在相同间隔内出现的人的配对的出现频率，计算被赋予在运动画面中出现的人的配对的得分，并基于被赋予特定人和第二人的配对的得分、被赋予特定人和第三人的配对的得分、以及被赋予第二人和第三人的配对的得分，计算关系深度值。

根据本发明的另一实施例，提供了一种图像处理设备，包括：区分信息存储器单元，其中存储用于彼此区分人脸的区分信息；操作识别单元，其识别被执行来将具有存储了其区分信息的人之一指定为特定人的指定操作；内容输入单元，其输入多个内容；脸检测单元，其检测在所输入的内容中出现的脸；脸区分单元，其基于所述区分信息彼此区分所检测的脸；关系深度值计算单元，其基于区分结果指定在所述多个内容中出现的人，并基于第二人或除了第二人之外的第三人在所述特定人所出现的内容中的出现频率、以及所述第二人和所述第三人在所述特定人不出现的内容中的出现频率，计算表示在所述特定人和所述第二人之间的关系深度程度的关系深度值；优先级确定单元，其基于所计算的关系深度值，确定被分配给在多个内容中出现的人之中与所述特定人有关的所述第二人的优先级；以及输出控制单元，其根据所确定的优先级控制所述所输入的内容的输出；一种在该图像处理设备中实现的处理方法；以及使得计算机实现该方法的程序。即，检测在所输入的内容中出现的脸，并且彼此区分所检测的脸。基于区分的结果来标识在多个内容中出现的人。基于第二人或除了第二人之外的第三人在特定人所出现的内容中的出现频率、以及第二人和第三人在特定人不出现的内容中的出现频率，计算关于特定人和第二人的配对的关系深度值。基于所计算的关系深度值，确定与特定人有关的第二人的优先级。根据所确定的优先级控制多个内容的输出。

根据本发明的再一实施例，提供了一种成像装置，包括：成像单元，其对目标成像并产生图像；关系深度值计算单元，其将在所产生的图像的任一个中出现的人当作特定人，并基于第二人或除了第二人之外的第三人在所述特定人所出现的内容中的出现频率、以及所述第二人和所述第三人在所述特定人不出现的内容中的出现频率，计算表示在所述特定人和所述第二人之间的关系深度程度的关系深度值；优先级确定单元，其基于所计算的关系深度值，确定被分配给在多个内容中出现的人之中与所述特定人有关的所述第二人的优先级；以及成像控制单元，其根据所确定的优先级，指定在由所述成像单元产生图像时所采用的成像参数；一种在该图像处理设备中实现的处理方法；以及使得计算机实现该方法的程序。即，基于第二人或除了第二人之外的第三人在特定人所出现的内容中的出现频率、以及第二人和第三人在特定人不出现的内容中的出现频率，计算关于特定人和第二人的配对的关系深度值。基于所计算的关系深度值，确定与特定人有关的第二人的优先级。根据所确定的优先级，指定成像参数。

根据本发明的实施例，提供了使得能够容易地利用满足用户的喜好的内容的卓越优点。

附图说明

图1是示出根据本发明第一实施例的图像处理设备的功能配置的例子的框图；

图2是例示出在本发明第一实施例中采用的登记人信息存储器单元(registered-person information memory)中存储的信息的图；

图3是例示出在本发明第一实施例中采用的图像存储器单元中存储的图像的图；

图4是示意性示出在本发明第一实施例中采用的脸区分结果存储器单元中存储的内容的图；

图5A和图5B是示出基于在本发明第一实施例中采用的脸区分结果存储器单元的内容而创建的人际关系表和人际关系图的图；

图6A和图6B是示出基于在本发明第一实施例中采用的脸区分结果存储器单元的内容而获得的关系深度值(depth-of-relationship value)的例子、以及基于关系深度值而确定的优先级的例子的图；

图7是示出在显示单元上显示在本发明第一实施例中采用的图像存储器单元中存储的图像的显示顺序的例子的图；

图8A和图8B是示出在本发明第一实施例中采用的显示单元上显示的显示屏幕图像的例子的图；

图9是示出根据本发明第一实施例的图像处理设备中进行的脸区分结果记录处理的处理过程的流程图；

图10是示出根据本发明第一实施例的图像处理设备中进行的图像显示处理的处理过程的流程图；

图11是示出根据本发明第二实施例的图像显示设备的功能配置的例子的框图；

图12A至图12C是例示出在本发明第二实施例中采用的图像存储器单元中存储的图像的图；

图13是示意性示出在本发明第二实施例中采用的脸信息存储器单元的内容的图；

图14A和图14B是示出基于在本发明第二实施例中采用的脸信息存储器单元的内容而创建的人际关系表和人际关系图的图；

图15A和图15B是示出基于在本发明第二实施例中采用的脸信息存储器单元的内容而获得的关系深度值的例子、以及基于关系深度值而确定的优先级的例子的图；

图16A和图16B是示出基于在本发明第二实施例中采用的脸信息存储器单元的内容而创建的人际关系表和人际关系图的图；

图17A和图17B是示出基于在本发明第二实施例中采用的脸信息存储器单元的内容而获得的关系深度值的例子、以及基于关系深度值而确定的优先级的例子的图；

图18A和图18B是例示出在本发明第二实施例中采用的图像存储器单元中存储的图像的图；

图19是示出基于在本发明第二实施例中采用的脸信息存储器单元的内容而创建的人际关系表的图；

图20A至图20D是示出基于在本发明第二实施例中采用的脸信息存储器单元的内容而创建的人际关系图的图；

图21A和图21B是示出基于在本发明第二实施例中采用的脸信息存储器单元的内容而获得的关系深度值的例子、以及脸间距离计算单元计算的人的配对(pairs of persons)之间的距离、以及基于关系深度值而确定的优先级的例子的图；

图22A和图22B是示出在本发明第二实施例中采用的显示单元上显示的显示屏幕图像的例子的图；

图23是示出根据本发明第二实施例的图像处理设备中进行的图像显示处理的处理过程的流程图；

图24是示出根据本发明第二实施例的图像处理设备中进行的图像显示处理的处理过程的流程图；

图25是示出根据本发明第三实施例的图像处理设备的功能配置的例子的框图；

图26A和图26B是示意性示出在本发明第三实施例中采用的运动画面存储器单元中存储的运动画面之间的关系、以及脸区分结果存储器单元的内容的图；

图27是示出根据本发明第三实施例的图像处理设备中进行的图像显示处理的处理过程的流程图；以及

图28是示出根据本发明第四实施例的成像装置的功能配置的例子的框图。

具体实施方式

下文中，将描述实现本发明的最佳模式(下文中，称为实施例)。将按以下顺序描述：

1.第一实施例(优先级确定控制：计算关于特定人的关系深度值并基于关系深度值确定优先级的例子)

2.第二实施例(优先级确定控制：考虑脸间距离或人在图像中出现的次数，计算关系深度值的例子)

3.第三实施例(优先级确定控制：考虑人的配对一起出现在运动画面中的时段，计算关系深度值的例子)

4.第四实施例(基于优先级的成像控制：使用优先级确定成像参数的例子)

<1.第一实施例>

[图像处理设备的配置的例子]

图1是示出根据本发明第一实施例的图像处理设备100的功能配置的例子的框图。图像处理设备100包括图像输入单元110、脸检测单元120、脸区分单元130、记录控制单元140、关系深度值计算单元150、优先级确定单元160和优先级保存单元161。图像处理设备100还包括显示控制单元170、显示单元180、操作识别(manipulation recognition)单元190、脸区分结果存储器单元200、图像存储器单元210、登记人信息存储器单元220。例如，由能够通过进行图像分析处理从诸如数字静态相机的成像装置记录的图像中提取特征量，并使用所提取的特征量进行各种图像处理的个人计算机来实现图像处理设备100。

图像输入单元110输入由诸如数字静态相机的成像装置记录的图像(图像数据项)，并将输入的图像输出到脸检测单元120、脸区分单元130和记录控制单元140中的每一个。图像输入单元110是权利要求中描述的内容输入单元的例子。

脸检测单元120检测在图像输入单元110输出的图像中出现的人脸，并将关于检测到的脸的脸检测信息输出到脸区分单元130。如果在一个图像中检测到多张脸，则将关于检测到的脸的脸检测信息输出到脸区分单元130。作为脸检测方法，例如，可采用基于记录了关于脸部亮度分布的信息的模板与实际图像的匹配(例如，参照JP-A-2004-133637)的脸检测方法，或利用图像的肤色部分或人脸的特征量的脸检测方法。脸检测信息包括检测到的脸在图像中的位置及其尺寸。例如，检测到的脸在图像中的位置应该是在脸所出现的图像中的脸区域(例如，矩形面积)中的中心位置，并且例如，检测到的脸在图像中的尺寸应该是指在图像中的脸区域的水平和垂直方向上的长度。

脸区分单元130使用登记人信息存储器单元220中存储的特征量223(见图2)，判定脸检测单元120检测到的脸是否对应于登记人的脸。脸区分结果被输出到记录控制单元140，同时与作为区分对象的图像以及脸检测信息相关联。更具体地，脸区分单元130基于从脸检测单元120输出的脸检测信息，从图像输入单元110输出的图像中提取其中出现脸检测单元120检测到的脸的矩形脸图像。从所提取的脸图像中提取特征量，并且与登记人信息存储器220中存储的特征量223进行比较，以便判定脸检测单元120检测到的脸是否对应于登记人的脸。

特征量是用来判定在图像中检测到的脸是否表示登记人的脸的区分信息，例如，代表脸图像的特征或特性并被用来识别脸的组成部分、即，眼睛、鼻子、嘴和眉毛之间的位置关系或这些组成部分的形状的数据。例如，基于颜色或亮度的值提取特征量。作为脸区分的结果，关于利用所区分出的登记人的脸而标识的登记人的脸区分信息(例如，图2中示出的区分号221)被输出到记录控制单元140。

作为脸区分方法，例如，可采用如下方法，将从要比较的脸图像中提取的特征量与关于登记人的脸的特征量进行比较，以便计算特征量之间的相似性，并且，如果所计算的相似性超出阈值，则将脸图像所代表的脸识别为登记人的脸。否则，可采用如下区分方法，例如，使用特征向量作为特征量进行区分处理(例如，参照JP-A-2008-129830)。

如果在登记人信息存储器单元220存储的特征量中未找到脸检测单元120检测到的脸的特征量，则脸区分单元120不能彼此区分出该脸。当不能彼此区分出脸检测单元120检测到的脸时，在登记人信息存储器单元220中，将刻画(characterize)该脸的特征量存储为与新登记人有关的特征量。具体地，当脸区分单元130不能彼此区分出所检测的脸时，脸区分单元130将刻画脸的特征量输出到记录控制单元140。记录控制单元140在登记人信息存储器单元220中存储该特征量，作为与新登记人有关的特征量。在此情况下，脸区分单元130向记录控制单元140输出代表脸的脸图像，并且记录控制单元140与特征量相关联地在登记人信息存储器单元220中存储该脸图像，作为新登记人的登记脸图像。

记录控制单元140控制数据项在脸区分结果存储器单元200、图像存储器单元210和登记人信息存储器单元220中的记录。更具体地，记录控制单元140在图像存储器单元210中记录从图像输入单元110输出的图像，并与这些图像相关联地在脸区分结果存储器单元200中记录从脸区分单元130输出的脸区分的结果。如果未彼此区分所检测的脸，则记录控制单元140在登记人信息存储器单元220中记录刻画该脸的特征量和脸图像，作为与新登记人有关的特征量和登记脸图像。

在脸区分结果存储器单元200中，在记录控制单元140的控制下，与作为区分对象的图像相关联地存储从脸区分单元130输出的脸区分结果。所存储的脸区分结果被馈送到关系深度值计算单元150。后面将参照图4给出脸区分结果存储器单元200的细节。

在图像存储器单元210中，在记录控制单元140的控制下，存储从图像输入单元110输出的图像。所存储的图像被馈送给显示控制单元170。

在登记人信息存储器单元220中，在记录控制单元140的控制下，存储关于登记人的信息(登记人信息)。所存储的登记人信息被馈送给脸区分单元130或显示控制单元170。这里，登记人是在图像处理设备100中登记的人，并且登记人信息是关于在图像处理设备100中登记的人的信息。在本发明的本实施例中，具有在登记人信息存储器单元220中存储的登记人信息的人被看作是登记人。在登记人中，由用户指定的登记人应称为特定人。后面将参照图2给出登记人信息存储器单元220的细节。登记人信息存储器单元220是权利要求中描述的区分信息存储器单元的例子。

关系深度值计算单元150基于在脸区分结果存储器单元200中存储的脸区分的结果，计算关系深度值，其表示特定人和在图像存储器单元210中存储的图像中出现的其他人之间的关系的深度程度。所计算的关系深度值被输出到优先级确定单元160。更具体地，当操作识别单元190识别出被执行来指定具有在登记人信息存储器单元220中存储的登记人信息的人之一的指定操作时，关系深度值计算单元150计算关于所指定的人(特定人)的关系深度值。在此情况下，关系深度值计算单元150基于特定人所出现的图像中出现的人的配对(两两人(pairs of person))之间的关系、以及特定人未出现的图像中出现的人的配对(两两人)之间的关系，计算关系深度值。例如，基于特定人所出现的图像中第二人或第三人的出现频率、以及特定人未出现的图像中第二人和第三人的出现频率，计算关于特定人和第二人的配对(两人)(paris)的关系深度值。具体地，关系深度值计算单元150对图像存储器单元210中存储的图像中出现的人中，一起出现中同一图像中的人的配对(两人)的出现频率进行计数，并基于计数结果计算赋予人的配对的得分(score)。基于赋予特定人和第二人的配对的得分，计算关于第二人的零阶关系深度值。基于赋予特定人和第三人的配对的得分以及赋予第二人和第三人的配对的得分，计算关于第二人的一阶关系深度值。后面将参照图5A至图6B给出深度关系值的计算的细节。

优先级确定单元160基于从关系深度值计算单元150输出的关系深度值，计算分配给具有在登记人信息存储器单元220中存储的登记人信息的多个人的优先级。所确定的优先级被输出并保存在优先级保存单元161中。下面将参照图5A至图6B给出优先级确定的细节。

优先级保存单元161保存从优先级确定单元160输出的优先级，并将所保存的优先级馈送到显示控制单元170。

显示控制单元170根据操作识别单元190识别的操作的内容，在显示单元180上显示图像存储器单元210和登记人信息存储器单元220中存储的每个图像。例如，当操作识别单元190识别出被执行以便一起显示登记人的脸的指定操作时，显示控制单元170获取在登记人信息存储器单元220中存储的登记脸图像(见图2)。在显示单元180上一起显示所获取的登记脸图像。例如，当操作识别单元190识别出被执行以从显示单元180上一起显示的登记脸图像中指定一个登记脸图像的指定操作时，显示控制单元170获取优先级保存单元161中保存的优先级。然后显示控制单元170获取图像存储器单元210中存储的多个图像，并根据从优先级保存单元161获取的优先级，在显示单元180上顺序地显示图像。后面将参照图7至图8B来详细描述显示的例子。显示控制单元170是权利要求中描述的输出控制单元的例子。

显示单元180在显示控制单元170的控制下显示图像。例如，用液晶显示器(LCD)实现显示单元180。

操作识别单元190是识别用户进行的操作的内容，并将取决于所识别操作内容的信号输出到关系深度值计算单元150或显示控制单元170的操作识别单元。顺带提及，操作识别单元190和显示单元180的至少部分可被结合为触摸面板。

图2是例示出在本发明第一实施例中采用的登记人信息存储器单元220中存储的信息的图。在登记人信息存储器单元220中，相互关联地存储区分号221、登记名222、特征量223和登记脸图像224。图2示出了在登记人信息存储器单元220中存储了关于人A至人I的九个人的登记人信息的情况。

区分号221是用来彼此区分具有在登记人信息存储器单元220中存储的登记人信息的人的区分信息。例如，按照登记人所存储的顺序将#1、#2等分配给登记人信息，然后存储。

登记名222是分配给具有在登记人信息存储器单元220中存储的登记人信息的每个人的姓名。例如，当用户输入了具有在登记人信息存储器单元220中存储的特征量和脸图像的登记人的姓名，所输入的姓名被存储为登记名222。在图2中，字母A至I代替姓名。

特征量223是与具有在登记人信息存储器单元220中存储的登记人信息的每个人有关的特征量。在图2中，省略了特征量223的内容。

登记人图像224是具有在登记人信息存储器单元220中存储的登记人信息的每个人的脸图像。在图2中，基于代表每个脸图像的图像数据而产生的图形图像被示出为登记脸图像224。用来彼此区分人的字母A至I被写在相应的图形图像中。

图3是例示出在本发明第一实施例中采用的图像存储器单元210中存储的图像的图。图3中示出的图像301至318是诸如数字静态相机的成像装置记录的静态图像，并且从图形输入单元110输入并存储在图像存储器单元210中。图像301至318中应该出现一个人或多个人。在图3中，字母A至I被写在人身体的中心部分，以便彼此区分图像301至318中出现的人。图像中带着相同字母的人应该代表同一人。例如，图像301是其中记录了按从左起的顺序排列的人E、A和G的图像。图像302是其中记录了按从左起的顺序排列的人C和D的图像。在图3中，图像301至308是按时间顺序并列的。即，在时间基上，图像301是最旧的图像，图像318是最新的图像。

例如，假设拥有数字静态相机的用户参与集体旅游，数字静态相机应该是用来在风景区拍摄纪念照。作为纪念照，常常记录下在各种地点的风景前面的，类似于图像305的仅仅出现一个人的图像，以及类似于其他图像的出现多个人的图像。当以多个人作为目标拍摄纪念照时，常常给彼此接近的人一起拍摄照片。即，很高可能性的是，一起出现在同一图像中的人具有较深人际关系。在本发明第一实施例中，考虑在同一图像中出现的人之间的人际关系的深度。用数值表示人际关系，以便估计人之间的直接或间接人际关系的深度。基于该估计，确定与特定人有关的人的优先级。

在图2所示的登记人信息存储器单元220中，存储用来彼此区分人A至I的登记人信息。例如，当从图像输入单元110顺序输入图像301至308时，脸检测单元120顺序检测图像301至308中人A至I的脸。此后，脸区分单元130使用在登记人信息存储器单元220中存储的与人A至I有关的特征量，在将人A至I的脸与检测到的脸进行比较的同时彼此区分人A至I的脸。脸区分的结果被顺序地记录在脸区分结果存储器单元200中。后面将参照图4给出脸区分结果的细节。

图4是示意性示出在本发明第一实施例中采用的脸区分结果存储器单元200中存储的内容的图。在脸区分结果存储器单元200中，存储从图像输入单元110输入的图像和在图像中检测到的登记人之间的关系，作为脸区分的结果。在图4所示的例子中，脸区分结果存储器单元200的内容表示，当在登记人信息存储器单元220中存储了用于彼此区分人A至I的登记人信息时，输入图3所示的图像301至318。在图4中，表示图像301至318的区分信息应该是P301至P318，并且表示人A至I的区分信息应该是A至I。在图4中，如果在每个图像301至318中检测到登记人的脸，则在被分配给该人的列中指定圆圈。相反，如果未检测到登记人的脸，则在该人的列中指定连字符(-)。例如，人A、E和G在图像301中出现。因而，在与P301相关联的A、E和G的列中指定圆圈，并且在其他列中指定连字符。

如上所述，在脸区分结果存储器单元200中，与图像相关联地存储对在从图像输入单元110输出的图像中检测到的登记人执行的脸区分的结果。在脸区分结果存储器单元200中存储的脸区分结果用于计算关系深度值。下面将参照附图详细描述计算关系深度值的方法。

[优先级的确定的例子]

图5A和图5B是示出基于在本发明第一实施例中采用的脸区分结果存储器单元200的内容而创建的人际关系表和人际关系图的图。由关系深度值计算单元150分别计算图5A和图5B中示出的人际关系表330和人际关系图340中所示的数值。图5A示出了人际关系表330，其中，数值表示在图像310至318中出现的人A至I中两两人之间的关系。图5B示出了人际关系图340，其中表示人A至I的空心圆是二维排列的，以便二维地表示人A至I中两两人之间的关系。在图5A和图5B所示的例子中，当多个人出现在相同图像中时，加1，以便表示相同图像中出现的多个人中每两人之间的关系。例如，当三个人A、E和G以图像301中相同的方式出现在相同图像中时，加1，以便表示人A和E之间的关系、人E和G之间的关系以及人G和A之间的关系。当类似于图像302中那样，两人C和D在相同图像中出现时，加1，以便表示人C和D之间的关系。由此，顺序地加1，以便表示在相同图像中出现的多个人之中两两人之间的关系。最终，用数值(得分)表示在图像310至318中出现的人A至I中两两人之间的关系。例如，人A和C一起出现的图像限于图像312和317。因而，在人际关系表330中要指定人A和C之间的关系的空白处记录2(1+1)。例如，在图像310至318中未找到人A和B一起出现的图像。因而，在人际关系表330中要指定人A和B之间的关系的空白处记录0。按相同方式计算表示其他两两人之间的关系的数值，并且在人际关系表330中要指定相应两两人之间的关系的空白处记录该数值。

如图5B所示，可将图5A所示的人际关系表330表示为二维人际关系图。在图5B所示的人际关系图中，用空心圆表示人A至I，并且在圆中指定关于人的区分信息(A至I)。例如，当多个人出现在相同图像中时，表示多个人中所包括的两人的空心圆用直线链接，并且在直线上附上被表示为由该直线所链接的两人所计算的得分。例如，被表示为由直线链接的两人至少在一个图像中出现，因而估计为具有较深关系。未被表示为直接链接但被表示为经由一人或数人间接链接的两人也被估计为具有较深关系。

例如，人B被表示为由直线直接链接到人C和E的每个人，因而被估计为与人C和E的每个人具有较深关系。另外，人B未被表示为由直线直接链接到人A、D和G中的每个人，但被表示为经由一个人(人C或E)与他们中的每个人间接链接，因而被估计为与人A、D和G中的每个人具有中等深的关系。另外，人B未被表示为由直线直接链接到人F和G中的每个人，但被表示为经由至少两人(人A、C、D、E或G)与他们中的每个人间接链接，因而被估计为与人F和G中的每个人具有中等深的关系。然而，B既不直接也不间接链接到人I，因而估计为与人I不具有深度关系。由此，基于脸区分结果存储器单元200的内容而创建的人际关系图可用于计算每个人的关系深度值，其表示登记人的两两人之间的人际关系。

图6A和图6B是示出基于在本发明第一实施例中采用的脸区分结果存储器单元200的内容而获得的关系深度值的例子、以及基于关系深度值而确定的优先级的例子的图。作为关系深度值的例子，图6A示出了关于人A的关系深度值的表350。由关系深度值计算单元150计算表350中列出的关于每个人的关系深度值。在表350中，彼此关联地列出了人351、零阶关系深度值352和一阶关系深度值353。

人351是除了对其进行计算的人(特定人)之外的人。图6A示出了特定人是人A的例子。人351因而指代人B至I。后面将参照图8A和图8B详细描述特定人的指定。

零阶关系深度值352是基于特定人与在相同图像中一起出现的人的关系(直接关系)而对特定人计算的关系深度值。在图6A所示的例子中，基于人A和人B至I的直接关系而计算关系深度值。更具体地，零阶关系深度值是在图5A所示的人际关系表330中用于人A(位于第一行)的行中指定的数值。

一阶关系深度值353是基于多个图像中经由除了特定人之外的第三人与第二人的关系(间接关系)而计算的关系深度值。在图6A所示的例子中，列出了基于人A和人B至I的间接关系而计算的关系深度值。更具体地，当计算关于人A和其他人(第二人)的配对的一阶关系深度值时，增加表示经由除了人A和第二人之外的第三人建立的间接链接的得分。例如，当人A和人B经由除了人A和人B之外的第三人间接链接时，意味着如图5B所示，人A和人B是经由人C或E而间接链接的。因而，当人A和人B经由人C而间接链接时，对于人A和C的配对计算的得分(2)和对于人C和B计算的得分(1)彼此相乘。由此，计算出经由人C的关系的乘积(2)。类似地，当人A和B经由人E而间接链接时，对于人A和E的配对计算的得分(5)和对于人E和B计算的得分(2)彼此相乘。由此，计算出表示经由人E的关系的乘积(10)。此后，表示经由人C的关系的乘积(2)和表示经由人E的关系的乘积(10)相加。由此，计算出关于人A和B的配对的一阶关系深度值(2+10)。

如上所述，优先级确定单元160使用关系深度值计算单元150计算的零阶关系深度值和一阶关系深度值，来确定关于人A的优先级。作为确定优先级的方法，例如，可采用如下确定方法，根据该方法：如图6B所示，基于零阶关系深度值确定优先级；以及，如果与人之间的关系用相同的零阶关系深度值排名，则使用一阶关系深度值确定被分配给人的优先级。

图6B示出了基于图6A所示的关于人A的关系深度值的表350中列出的值而确定的关于人A的优先级的表360。如图6B所示，类似于与人C和F的关系、与人D和H的关系、或者与人B和I的关系，与人之间的关系可能用相同的零阶关系深度值排名。对于用相同零阶关系深度值排名的人的关系，基于例如一阶关系深度值确定被分配给人的优先级。可替换地，例如，可使用向零阶关系深度值和一阶关系深度值施加的权重因子，重新计算关系深度值，并且可基于该关系深度值确定优先级。更具体地，假设S0表示零阶关系深度值，α表示施加到零阶关系深度值的权重因子，S1表示一阶关系深度值，β表示施加到一阶关系深度值的权重因子。使用权重因子α和β计算每个人B至I的关系深度值S(＝αS0+βS1)。基于由此计算的关系深度值S，可确定优先级。这里，权重因子α和β是满足例如α＞β的值。可通过用户进行的操作输入(entry)，改变权重因子。

如上所述，优先权确定单元160基于零阶关系深度值和一阶关系深度值确定优先级。所确定的优先级被保存在优先级保存单元161中。基于优先级保存单元161中保存的优先级，显示控制单元170可改变图像301至318的显示次序，然后在显示单元180上显示图像。

在此例中，计算零阶关系深度值和一阶关系深度值并基于所计算的值确定优先级。然而，例如，对于经由除了特定人之外在多个图像中出现的两个人(第二和第三人)建立的与第四人的关系，计算二阶关系深度值，并基于零阶至二阶关系深度值确定优先级。否则，对于经由除了特定人之外在多个图像中出现的m个人(m≥3)或更多人建立的与这些人的关系，计算n阶关系深度值，并基于零阶至n阶关系深度值确定优先级。顺带提及，所涉及的图像的数目或登记人的数目越多，计算量越大。当n值变大时，n阶关系深度值的重要性(significance)变小。因而，应在适当的阶段上停止n阶关系深度值的计算。例如，可在不存在用相同的n阶关系深度值排名的人的关系的阶段上，停止计算。

[图像的显示的例子]

图7是示出在显示单元上显示在本发明第一实施例中采用的图像存储器单元210中存储的图像301至318的显示顺序的例子的图。图7示出了根据优先级对图3中按时间顺序排列的图像301至318进行排序的例子。例如，在图像存储器单元210中存储的图像301至318中，出现了如图6B所示的被分配了第一优先级的人E的图像被排列在显示顺序的早期阶段上。在图7中，图像组371应该是出现了人E的图像的组，并且用粗线描绘在属于图像组371的图像中出现的人E的脸和身体。在图像组371内，人A所出现的图像可被排列在显示顺序的早期阶段上，并且出现除了人A之外的人而不出现人A的图像可被排列在显示顺序的第二半侧(second-half side)(后半侧)上。例如，如果人A出现在多个图像中，则在时间基的早期阶段上到来的图像被排列在显示顺序的早期阶段上。类似地，当在人A未出现的图像中出现除了人A之外的人时，则在时间基的早期阶段上到来的图像被排列在显示顺序的早期阶段。类似地，图像组372应该是其中出现了如图6B所示地被分配了第二优先级的人G的图像组。出现人G的图像301、313和315属于图像组371。因而，图像306单独属于图像组372。图像组373应该是出现了如图6B所示地被分配了第三优先级的人C的图像组。可根据优先级对其他图像排序。

图8A和图8B是示出在本发明第一实施例中采用的显示单元180上显示的显示屏幕图像的例子的图。图8A示出了用以指定登记的脸图像的脸图像指定屏幕图像380。图8B示出了显示屏幕图像390，通过其，根据所确定的优先级显示具有被当作特定人的指定的登记脸图像的人的图像。

脸图像指定屏幕图像380是用以通过一起显示在登记人信息存储器单元220中存储的登记脸图像来指定期望的人的屏幕图像。在脸图像指定屏幕图像380中，包含登记人信息存储器单元220中存储的登记脸图像中的一个登记脸图像或多个登记脸图像、左按钮386、右按钮387、显示按钮388和返回按钮389。作为登记人信息存储器单元220中存储的登记脸图像，例如，显示多个人中的人A至D的登记脸图像381至384。在图8A中，表示人的字母被附加到每个登记脸图像中的脸的中间。例如，因为登记脸图像381是人A的脸图像，字母A被附加到在登记脸图像381中包含的脸的中间。当使用光标385按下左按钮386或右按钮387以便由此向左或向右移动登记脸图像381至384时，可显示除了人A至D之外的人的登记脸图像。当使用光标来执行指定所显示的登记脸图像381至384中的任一个的指定操作时，标记被附加到所指定的登记脸图像的周线(perimeter)上。在图8A中，虚线的标记被附加到登记脸图像381的周线上。

如上所述，当指定了一起显示的登记脸图像中的任一个时，如果使用光标385执行按下显示按钮388的按压操作时，计算关于所指定的登记脸图像的人的关系深度值。基于所计算的关系深度值，确定关于所指定的登记脸图像的人(特定人)的优先级。根据优先级，如图8B所示显示图像存储器单元210中存储的图像。当按下返回按钮389时，显示单元180的显示状态变为恢复在脸图像指定屏幕图像380之前紧挨的显示屏幕图像。

图8B所示的显示屏幕图像390是用以根据与通过脸图像指定屏幕图像380指定的登记脸图像的特定人有关的优先级而显示在图像存储器单元210中存储的图像的屏幕图像。在显示屏幕图像390中，包含显示图像存储器单元220中存储的每个图像的显示域(field)391、显示通过脸图像指定屏幕图像380指定的登记脸图像的指定脸图像域392、左按钮395和右按钮396。此外，在显示屏幕图像390中定义了左按钮393和右按钮394、重新显示按钮397、返回按钮398、以及显示在登记人信息存储器单元220中存储的登记脸图像中的一个或多个登记脸图像的脸图像域399。在脸图像域399中，显示在之前紧挨着显示的脸图像指定屏幕图像380中包含的登记脸图像382至384。

例如，在指定脸图像域392中显示通过脸图像指定屏幕图像380指定的登记脸图像381。在显示域391中，根据与指定脸图像域392中显示的登记脸图像的特定人有关的优先级，顺序地显示在图像存储器单元210中存储的图像。如果使用光标385在左按钮395或右按钮396上进行按压操作，则根据优先级向左或向右移动在显示域391中显示的图像。在新指定在脸图像域399中一起显示的登记脸图像中的任一个之后，如果使用光标385执行按下重新显示按钮397的按压操作，则计算与作为新指定的登记脸图像的人的特定人有关的关系深度值。根据与新指定的登记脸图像有关的优先级，显示在图像存储器单元210中存储的图像。当按下返回按钮398时，显示单元180的显示状态变为恢复在之前紧挨着显示的脸图像指定屏幕图像380。

在图8B所示的例子中，逐一显示图像存储器单元210中存储的图像。可替换地，可以图像组为单位显示基于优先级确定的属于图像组的多个图像。显示控制单元170可根据优先级，在显示域391中显示在图像存储器单元210中存储的图像，并且可根据优先级，在指定脸图像区域392中显示在登记人信息存储器单元220中存储的登记脸图像。

例如，大量图像被顺序地输入图像输入单元110，并且在登记人信息存储器单元220中顺序地记录关于图像中出现的人的登记人信息。当用户手动地输入在登记人信息存储器单元220中记录的登记人信息中所包括的登记名222(见图2)时，可根据优先级顺序地显示登记脸图像，并且可按照优先级的降序输入登记名。在此情况下，可有效地执行登记这些登记人信息的工作。

[图像处理设备中进行的动作的例子]

接着，将参照附图描述根据本发明第一实施例的图像处理设备100中进行的动作。

图9是示出根据本发明第一实施例的图像处理设备100中进行的脸区分结果记录处理的处理过程的流程图。

首先，图像输入单元110输入图像(步骤S901)。此后，脸检测单元120对输入的图像进行脸检测处理(步骤S902)。然后，脸检测单元120判定是否检测到脸(步骤S903)。除非检测到脸，否则过程前进到步骤S908。相反，如果脸检测单元120检测到脸(步骤S903)，则脸区分单元130对检测到的脸进行脸区分处理(步骤S904)。

此后，判定检测到的脸中是否包括未区分出的脸(步骤S905)。如果不包括未区分出的脸，则过程前进到步骤S907。如果包括未区分出的脸(步骤S905)，则记录控制单元140在登记人信息存储器单元220中记录代表该脸的特征量和脸图像，作为关于新登记的人的登记人信息(步骤S906)。此后，记录控制单元140在脸区分结果存储器单元200中与图像相关联地记录对检测到的脸进行的脸区分的结果(步骤S907)。判定是否已完成了从图像输入单元110输入图像(步骤S908)。如果已经完成图像输入，则进行脸区分结果记录处理的动作终止。相反，如果还未完成从图像输入单元110输入图像(步骤S908)，则过程返回到步骤S901。

图10是示出根据本发明第一实施例的图像处理设备100中进行的图像显示处理的处理过程的流程图。

首先，判定是否已经由操作登记单元190识别出了被执行来显示在登记人信息存储器单元220中存储的登记脸图像的指定操作(步骤S911)。如果还未识别出指定操作(步骤S911)，则继续监视，直到识别出指定操作。如果已经识别出指定操作(步骤S911)，则显示控制单元170获取在登记人信息存储器单元220中存储的登记脸图像，并在显示单元180上一起显示所获取的登记脸图像(步骤S912)。

此后，判定操作识别单元190是否识别出了从在显示单元180上一起显示的登记脸图像中指定一个登记脸图像的指定操作(步骤S913)。如果识别出了指定登记脸图像的指定操作(步骤S913)，则关系深度值计算单元150获取脸区分结果存储器单元200中存储的与要显示的图像相关联的脸区分结果(步骤S914)。此后，基于所获取的脸区分结果，关系深度值计算单元150计算赋予要显示的图像中出现的人的配对的得分(步骤S915)。此后，变量i被初始化为0(步骤S916)。关系深度值计算单元150基于所计算的得分计算i阶关系深度值(步骤S917)。

判定变量i是否等于或大于常量N(步骤S918)。如果变量i比常量N小(步骤S918)，则变量i递增1(步骤S919)。然后，过程返回到步骤S917。例如，可使用1作为常量N。如果变量i等于或大于常量N(步骤S920)，则优先级确定单元160基于所计算的零阶至i阶关系深度值确定关于特定人的优先级(步骤S920)。在优先级保存单元161中保存优先级(步骤S921)。此后，根据优先级保存单元161中保存的优先级，显示控制单元170确定要显示图像的显示次序(步骤S922)。显示控制单元170随后按照所确定的显示次序在显示单元180上显示要显示的图像(步骤S923)。

如果未识别出指定登记脸图像的指定操作(步骤S913)，则显示控制单元170根据要显示的图像的记录时刻，确定要显示图像的显示次序(步骤S924)。另外，步骤S915至S919构成权利要求中描述的关系深度值计算步骤的例子。步骤S920充当权利要求中描述的优先级确定步骤的例子。

如上所述，根据本发明的第一实施例，使用赋予在相同图像中出现的人的配对的得分来确定优先级。更具体地，使用赋予在相同图像中出现的人的配对的得分，计算零阶至i阶关系深度值，并基于零阶至i阶关系深度值确定优先级。使用基于直接人际关系计算的零阶关系深度值和基于间接人际关系计算的i阶关系深度值，来确定优先级。因而，即使未和特定人一起出现在相同图像中的人也被当作i阶关系深度值的计算对象。最终，能以有趣的形式表示特定人的人际关系。

<2.第二实施例>

[图像处理设备的配置的例子]

在本发明的第二实施例中，将参照附图描述考虑了相同图像中出现的人的数目或人的配对之间的距离以便计算关系深度值的例子。

图11是示出根据本发明第二实施例的图像显示设备500的功能配置的例子的框图。图像处理设备500包括记录控制单元510、脸信息存储器单元520、脸间距离计算单元530、关系深度值计算单元540、优先级确定单元550和优先级保存单元551。其他功能组件与图1所示的图像处理设备100的那些基本相同。图像处理设备100中采用的相同的附图标记被分配给同样的组件。下面将主要描述具有不同功能的组件，但可省略重复的描述。

记录控制单元510控制数据项在脸信息存储器单元520、图像存储器单元210和登记人信息存储器单元220中的记录。更具体地，记录控制单元510在图像存储器单元210中记录从图像输入单元110输出的图像，并与这些图像相关联地在脸信息存储器单元520中记录从脸区分单元130输出的脸区分结果。

在脸信息存储器单元520中，在记录控制单元510的控制下，与作为区分的对象的图像相关联地存储从脸区分单元130输出的脸区分结果和脸检测信息。所存储的脸区分结果和脸检测信息(脸信息)被馈送到脸间距离计算单元530，并且所存储的脸区分结果被馈送到关系深度值计算单元540。后面将参照图13给出脸信息存储器单元520的细节。

脸间距离计算单元530基于脸信息存储器单元520中存储的脸检测信息，计算在图像存储器单元210中存储的每个图像中出现的人的每个配对的脸之间的距离。所计算的脸间距离与脸区分结果相关联地被输出到关系深度值计算单元540。后面将参照图18A和图18B给出脸间距离的计算的细节。

关系深度值计算单元540基于脸信息存储器单元520中存储的脸区分结果和脸检测信息，计算关系深度值，并将所计算的关系深度值输出到优先级确定单元550。更具体地，关系深度值计算单元540基于在图像存储器单元210中存储的图像中出现的人之中一起出现在相同图像中的人的配对的出现频率和在相同图像中一起出现的人的数目，计算赋予这些人的配对的得分。关系深度值计算单元540基于在图像存储器单元210中存储的图像中出现的人之中一起出现在相同图像中的人的配对的出现频率和相同图像中一起出现的人的配对之间的距离，计算赋予这些人的配对的得分。基于赋予特定人和第二人的配对的得分，计算关于第二人的零阶关系深度值。基于赋予特定人和第三人的配对的得分以及赋予第二人和第三人的配对的得分，计算关于第二人的一阶关系深度值。通过用户在操作识别单元190上进行的操作输入，选择要计算的关系深度值。后面将参照图16A至图17B给出考虑在相同图像中出现的人的数目进行深度关系值的计算的细节。后面将参照图18A至图21B给出考虑在相同图像中出现的人的配对之间的距离进行深度关系值的计算的细节。

优先级确定单元550基于从关系深度值计算单元540输出的关系深度值，计算被分配给具有在登记人信息存储器单元220中存储的登记人信息的多个人的优先级。所确定的优先级被输出并保存在优先级保存单元551中。优先级的确定与本发明第一实施例中执行的相同，除了用于确定的关系深度值不同。下面将参照图16A至图21B给出优先级确定的细节。

优先级保存单元551保存从优先级确定单元550输出的优先级，并将所保存的优先级馈送到显示控制单元170。

图12A至图12C是例示出在本发明第二实施例中采用的图像存储器单元210中存储的图像的图。图12A至图12C中示出的图像601至603是由诸如数字静态相机的成像装置记录、从图形输入单元110输入和存储在图像存储器单元210中的静态图像。在图像601至603中应该出现多个人。在图12A至图12C中，字母A至D被附加到在图像601至603中出现的人身体的中间，以便彼此区分这些人。即，图像中出现的附有相同字母的人应该指代同一人。在图12A至图12C中，图像601至603是按时间顺序排列的。在时间基上，图像601是最旧的图像，图像603是最新的图像。

图13是示意性示出在本发明第二实施例中采用的脸信息存储器单元520的内容的图。在脸信息存储器单元520中，存储了图像输入单元110输入的图像、与在这些图像中检测到的登记人的关系、以及关于检测到的登记人的脸检测信息。在图13所示的例子中，存储器单元的内容表示当在登记人信息存储器单元220中存储了用于彼此区分人A至D的登记人信息时，输入图12A至图12C所示的图像601至603。在图13中，代表图像601至603的区分信息被指定为P601至P603，并且代表人A至D的区分信息被指定为A至D。例如，如果在图像601至603中检测到登记人的脸，则与这些人相关联地存储脸检测信息(每个图像中脸的位置及其大小)。在图13中，当未检测到登记人的脸时，则在相关列中输入连字符(-)。例如，因为人A、B和D在图像601中出现，所以，在与P601相关联的A、B和D的列中指定检测到的关于人A、B和D的脸检测信息。例如，作为检测到的与图像P601中出现的人A有关的脸检测信息，指定图像中脸的位置(X11，Y11)和图像中脸的大小(H11，W11)。

如上所述，在脸信息存储器单元520中，与这些图像相关联地存储与在图像输入单元110输出的图像中检测到的人有关的脸区分结果和脸检测信息。使用在脸信息存储器单元520中存储的脸区分结果和脸检测信息，计算关系深度值。下面将参照附图描述计算关系深度值的方法。

[优先级的确定的例子]

图14A和图14B是示出基于在本发明第二实施例中采用的脸信息存储器单元520的内容而创建的人际关系表和人际关系图的图。图14A示出了人际关系表610，其中用数值表示在图像601至603中出现的人A至D中人的配对之间的关系。图14B示出了人际关系图620，其中表示人A至D的空心圆是二维排列的，以便二维地表示人A至D中人的配对之间的关系。在图14A和图14B所示的人际关系表610和人际关系图620按照与图5A和图5B中所示的人际关系表330和人际关系图340相同的方式创建。将省略重复的描述。

图15A和图15B是示出基于在本发明第二实施例中采用的脸信息存储器单元520的内容而获得的关系深度值的例子、以及基于关系深度值而确定的优先级的例子的图。作为关系深度值的例子，图15A示出了关于人A的关系深度值的表630。在表630中，彼此关联地列出了人、图像、零阶关系深度值631和一阶关系深度值632。图15A所示的表630与图6A所示的图350相同，除了其关于图像601至603的内容不同以及附加了值的总和以外。将省略重复的描述。在零阶关系深度值631的列中的括号中写入的数值是与各个人相关的零阶关系深度值占总和的与总和的百分比。

图15B示出了基于图15A所示的关于人A的关系深度值的表630中指定的值而确定的关于人A的优先级的表640。按照本发明第一实施例的相同方式确定优先级。例如，将除了人A外还出现了三个人(人B至D)的图像603与除了人A之外还出现了一个人(人C)的图像602进行比较。在此情况下，认为通过拍摄所谓双人镜头(two-shot)获得的图像602中示出的人A对人C的关系比通过拍摄许多人获得的图像603中出现的人A对三个人(人B至D)的关系更深的可能性较大。

如果在相同图像中出现的人之间的距离较短，则认为他们之间具有较短距离的人之间的人际关系较深的可能性较大。例如，将讨论图12A中示出的图像601中出现的人A和B之间的关系以及人A和D之间的关系。在图像601中，人A和D之间的距离比人A和B之间的距离短。因而，认为人A对于距人A较短距离的人D的人际关系比人A对于距人A较远距离的人B的人际关系更深的可能性更大。下面将描述考虑相同图像中出现的人的配对的特征来计算关系深度值的例子。作为人的配对之间的特征，将考虑在相同图像中出现的人的数目或在相同图像中出现的人之间的距离。

[考虑相同图像中出现的人的数目而确定优先级的例子]

图16A和图16B是示出基于在本发明第二实施例中采用的脸信息存储器单元520的内容而创建的人际关系表和人际关系图的图。由关系深度值计算单元540计算在图16A和图16B所示的人际关系表650和人际关系图660中指定的数值。图16A示出了人际关系表650，其中用数值表示在图像601至603中出现的人A至D中人的配对之间的关系。图16B示出了人际关系图660，其中通过二维地排列表示人A至D的空心圆，二维地表示人A至D中人的配对之间的关系。图16A和图16B涉及在相同图像中出现多个人的情况，并且加上通过考虑相同图像中出现的人数而获得的值，以便表示相同图像中出现的多个人中人的每个配对。更具体地，假设n表示相同图像中出现的人数，计算1/(n-1)。可使用1/(n-1)，作为表示人的配对之间的关系的数值。

例如，当类似于图像601，在相同图像中出现三个人A、B和D时，加上1/2，以便表示以下中的每一个：人A和B之间的关系、人B和D之间的关系以及人D和A之间的关系。当类似于图像602，在相同图像中出现两个人A和C时，加上1，以便表示人A和C之间的关系。当类似于图像603，在相同图像中出现四个人A至D时，加上1/3，以便表示人A至D中人的配对之间的关系中的每一个。由此，加上考虑了在相同图像中出现的人数而获得的值，以便表示在相同图像中出现的人的配对之间的关系。最终，用数值(得分)表示在图像601至603中出现的人A至D中人的配对之间的关系。

例如，人A和B一起出现的图像包括图像601和603。表示在图像601中出现的人的配对之间的每个关系的数值是1/2。表示在图像603中出现的人的配对之间的每个关系的数值是1/3。因而，在用于表示人A和B之间关系的人际关系表650中的空白处指定5/6。例如，人B和C一起出现的图像仅仅是图像603。表示在图像603中出现的人的配对之间的每个关系的数值是1/3。因而，在用于表示人B和C间关系的人际关系表650中的空白处指定1/3。按同样方式计算表示人的配对之间的关系的值，并在用于人的配对之间的关系的人际关系表650的空白处指定该值。在图16A中，在表示每个人的配对之间关系的值的总和的右侧的括号中，指定要加上的值。

如图16B所示，按照二维人际关系图的形式，表示图16A所示的人际关系表650的内容。在图16B所示的人际关系图660中，用空心圆表示人A至D，并且关于这些人的区分信息(A至D)被附连到这些圆。该人际关系图与图5B所示的人际关系图340相同，除了对于被表示为由直线链接的人的配对而计算的数值不同以外。因而将省略重复的描述。当人际关系图660与图14B所示的人际关系图620相比较时，对于被表示为由直线链接的人的配对而计算的数值不同。例如，在人际关系图620中，被计算来表示人A和B之间关系以及人A和C之间关系的得分是2。相反，在人际关系图660中，被计算来表示人A和B之间关系的得分是5/6，并且被计算来表示人A和C之间关系的得分是4/3。当考虑相同图像中出现的人数时，人A和C之间的关系被估计为比人A和B之间的关系更深。

图17A和图17B是示出基于在本发明第二实施例中采用的脸信息存储器单元520的内容而获得的关系深度值的例子、以及基于关系深度值而确定的优先级的例子的图。作为关系深度值的例子，图17A示出了关于人A的关系深度值的表670。在表670中，彼此关联地列出了人、图像、零阶关系深度值671和一阶关系深度值672。由关系深度值计算单元540计算表670中列出的关于人的关系深度值。图17A所示的表670与图15A所示的图630相同，除了对于被表示为由直线链接的人的配对而计算的数值不同以外。将省略重复的描述。

图17B示出了基于图17A所示的关于人A的关系深度值的表670中指定的值而确定的关于人A的优先级的表680。由优先级确定单元550确定表680中列出的优先级。图17B所示的表680与图15B所示的表640相同，除了：零阶关系深度值683和一阶关系深度值684，以及基于零阶和一阶关系深度值而确定的优先级不同。因而将省略重复的描述。

当表680与图15B所示的表640相比较时，尽管处理相同的图像，但优先级不同。例如，在表640中，第一优先级被分配给人B。在表680中，第一优先级被分配给人C。对于人C，在表640中分配了第三优先级，在表680中分配了第一优先级。具体地，通过把重点放在通过拍摄所谓双人镜头而拾取的图像602中出现的人C和A之间的关系，而不是通过拍摄多个人而拾取的图像603中出现的人A和三个人(人B至D)的关系，来确定优先级。类似于本发明第一实施例，可使用向零阶关系深度值和一阶关系深度值施加的权重因子，计算关系深度值，并且可基于关系深度值确定优先级。

[考虑相同图像中出现的人的配对之间的距离而确定优先级的例子]

图18A和图18B是例示出在本发明第二实施例中采用的图像存储器单元210中存储的图像的图。图18A和图18B所示的图像700和710是图12A和图12C所示的图像601和603的放大图像。在图13所示的脸信息存储器单元520中，存储了由脸检测单元120检测到的关于脸的脸检测信息(脸在图像中的位置及其大小)。因而，可标识在图像存储器单元210中存储的图像中出现的脸的位置及其大小。使用脸的位置，脸间距离计算单元530计算图像中出现的人的配对之间的距离。

为了计算在图像存储器单元210中存储的图像中出现的人的配对之间的距离，脸间距离计算单元530获取与图像中出现的人的配对相关联地存储在脸信息存储器单元520中的脸检测信息(脸在图像中的位置)。此后，脸间距离计算单元530使用所获取的脸检测信息计算人的配对之间的距离。例如，为了计算在图18A所示的图像700中出现的人A和B之间的距离，脸间距离计算单元530获取从脸信息存储器单元520获取与图像P601以及人A和B相关联地存储的脸检测信息。脸检测信息是指脸在图像中的位置((X11，Y11)和(X12，Y12))。此后，脸间距离计算单元530使用所获取的脸检测信息计算人A和B之间的距离

例如，如图18A所示，作为人A和B之间的距离，计算人A的脸的中心位置O11和人B的脸的中心位置O12之间的距离K1。类似地，作为人A和D之间的距离，计算人A的脸的中心位置O11和人D的脸的中心位置O13之间的距离K2。作为人B和D之间的距离，计算人B的脸的中心位置O12和人D的脸的中心位置O13之间的距离K3。在图18B中，用脸信息存储器单元520中存储的脸检测信息(脸在图像中的位置及其大小)标识的人A至C的脸的区域被示出为脸区域701至703。类似地，例如，如图18B所示，作为人A至D中人的配对之间的距离，计算距离K4至K9。在图18B中，人A至D的脸的区域被示出为脸区域711至714。脸间距离计算单元530与关于这些人的区分信息相关联地向关系深度值计算单元540输出以图像为单位计算的人的配对之间的距离。

图19是示出基于在本发明第二实施例中采用的脸信息存储器单元520的内容而创建的人际关系表的图。由关系深度值计算单元540计算图19所示的人际关系表690中指定的数值(得分)。人际关系表690是用数值表示图像601至603中出现的人A至D中人的配对之间的关系的表。图19涉及多个人出现在相同图像中的情况，并且相加考虑了相同图像中出现的多个人中人的配对之间的距离而获得的值。这里，基于被当作其他人(对象人)的参照的人(参照人)的相对关系，确定每个图像中出现的多个人中人的配对之间的距离。因而，不同于图14A和图16A所示的人际关系表，人际关系表690是指定参照人和对象人之间的关系的表。

更具体地，假设n表示相同图像中出现的人的数目，m表示脸间距离计算单元530计算的人的配对之间的距离、即从参照人到n个人中除了参照人之外的对象人的距离的排名。为了计算表示具有排名为第m的距离的人的配对之间的关系的数值，计算2(n-m)/(n(n-1))，作为表示人的配对之间的关系的数值。

例如，假设三个人A、B和D一起出现的图像601被当作相同图像，参照人是人A，对象人是人B和D。在此情况下，由脸间距离计算单元530计算的人A和D之间的距离的排名应该是第一排名，并且人A和B之间的距离的排名应该是第二排名。在此情况下，计算出1/3作为表示参照人A和对象人B之间的关系的数值。类似地，计算出2/3作为表示参照人A和对象人D之间的关系的数值。相反，例如，图像601中的参照人应被设置为人B，并且对象人应被设置为人A和D。在此情况下，由脸间距离计算单元530计算的人A和B之间的距离的排名应该是第一排名，并且人B和D之间的距离的排名应该是第二排名。在此情况下，计算出2/3作为表示参照人B和对象人A之间的关系的数值。类似地，计算出1/3作为表示参照人B和对象人D之间的关系的数值。由此，以出现在相同图像中每个人作为参照人，顺序地计算数值。对于每个参照人，相加从多个图像计算的值。由此，顺序地相加考虑在相同图像中出现的人的配对之间的距离而获得的值，以便表示在相同图像中出现的人的配对之间的关系。这样，用数值表示在图像601至603中出现的人A至D中人的配对之间的关系。

例如，在人A和B一起出现的图像601中，假设参照人是人A而对象人是人B，表示人A和B之间关系的数值是1/3。在人A和B一起出现的图像603中，假设参照人是人A而对象人是人B，表示人A和B之间关系的数值是1/2。最终，在表示参照人A与对象人B的关系时所采用的人际关系表690中的空白处指定5/6。

例如，当人B和C一起出现的图像603中参照人被当作人B时，人C位于比人A距离人B更远的位置上。因而，参照人B与对象人C的相对关系估计比与人A的关系更浅。相反，当参照人被设置为人C时，人B距离人C比其他人A和D更近。因而，参照人C与对象人B的相对关系估计为最深。因为建立了关系，例如，当人B和C一起出现的图像603中的参照人被设置为人B而对象人被设置为人C时，表示人B和C之间的关系的数值是1/3。相反，当图像603中的参照人被设置为人C而对象人被设置为人B时，表示人B和C之间关系的数值是1/2。按相同方式计算表示人的其他配对之间关系的数值，并且在表示人的配对之间关系时采用的人际关系表690的空白处指定该数值。

图20A至图20D是示出基于在本发明第二实施例中采用的脸信息存储器单元520的内容而创建的人际关系图的图。由关系深度值计算单元540计算图20A至图20D所示的人际关系图691至694中指定的数值(得分)。图20A至图20D所示的人际关系图691至694具有二维排列的表示人A至D的空心圆，以便对于每个参照人二维地表示图19所示的人际关系表690的内容。即，图20A所示的人际关系图691是涉及参照人是人A而对象人是人B和D的情况的人际关系图。图20B所示的人际关系图692是涉及参照人是人B而对象人是人A、C和D的情况的人际关系图。图20C所示的人际关系图693是涉及参照人是人C而对象人是人A、B和D的情况的人际关系图。图20D所示的人际关系图694是涉及参照人是人D而对象人是人A至C的情况的人际关系图。在图20A至图20D中，用粗线绘出表示参照人的空心圆。例如，在图20A所示的人际关系图691中，参照人A和对象人B至D被表示为由直线链接，并且对于参照人A和对象人B的配对计算的得分(与图19中的参照人A相关联的空白(在第一行中)中的值)被附到直线上。

这里，基于参照人与对象人的相对关系，确定图像中出现的多个人中人的配对之间的距离。因而，不同于图14B和图16B所示的人际关系图，人际关系图691至694是表示参照人与对象人的相对关系的图。例如，在图20A所示的人际关系图691中，对于人A和B之间关系计算的得分是5/6。相反，在图20B所示的人际关系图692中，对于人A和B之间关系计算的得分是7/6。由此，当考虑人的配对之间的距离时，对于被表示为由直线链接的人的配对而计算的得分可能有所不同。

图21A和图21B是示出基于在本发明第二实施例中采用的脸信息存储器单元520的内容而获得的关系深度值的例子、以及由脸间距离计算单元530计算的人的配对之间的距离、以及基于关系深度值而确定的优先级的例子的图。作为关系深度值的例子，图21A示出了关于人A的关系深度值的表700。在表700中，彼此关联地列出了人、图像、零阶关系深度值671和一阶关系深度值672。由关系深度值计算单元540计算表700中关于这些人而列出的关系深度值。图21A所示的表700与图15A所示的图630相同，除了对于被表示为由直线链接的人的配对而计算的数值不同以外。因而，下面将主要描述表700与表630的不同点。将省略重复的描述。

零阶关系深度值701是基于特定人与在相同图像中一起出现的人的关系(直接关系)而计算的关于特定人的关系深度值。在图21A所示的例子中，指定基于人A和人B至D的直接关系而计算的零阶关系深度值。更具体地，零阶关系深度值是在图19所示的人际关系表690中用于人A的行(第一行)中指定的值。

一阶关系深度值702是基于特定人与未在相同图像中和特定人一起出现但在多个图像中经由除了特定人之外的第三人而与特定人有关联的第二人的关系(间接关系)而计算的关系深度值。在图21A所示的例子中，指定基于人A和人B至D的间接关系而计算的关系深度值。更具体地，为了计算人A和其他人(第二人)的配对的一阶关系深度值，相加被赋予经由除了人A和第二人之外的第三人而建立的间接链接的得分。例如，假设人A和B经由除了人A和B之外的第三人C而间接链接，如图20C或图20D所示，人A和B经由人C或D链接。当人A和B经由人C间接链接时，赋予人A和C的得分(图20A中的7/6)和赋予人C和B的得分(图20C中的1/2)彼此相乘。通过该乘法，获得表示经由人C的关系的乘积(7/12)。类似地，当人A和B经由人D而间接链接时，赋予人A和D的得分(图20A中的1)和赋予人D和B的得分(图20D中的2/3)彼此相乘。通过该乘法，获得表示经由人D的关系的乘积(2/3)。此后，相加表示经由人C的关系的乘积(7/12)和表示经由人D的关系的乘积(2/3)。由此，计算出人A和B的一阶关系深度值(11/12)。按同样方式计算出人的其他配对之间的关系。

图21B示出了基于图21A所示的关于人A的关系深度值的表700中指定的值而确定的关于人A的优先级的表710。由优先级确定单元550确定表710中指定的优先级。图21B所示的表710与图15B所示的表640相同，除了零阶关系深度值713、一阶关系深度值714以及基于零阶和一阶关系深度值确定的优先级不同以外。将省略重复的描述。

当表710与图15B所示的表640和图17B所示的表680的每个相比较时，尽管处理相同的图像，但这些表之间优先级不同。例如，在表680中，与第二和第三优先级相关联的零阶和一阶关系深度值彼此相同。在表710中，与所有优先级相关联的零阶和一阶关系深度值均彼此不同。例如，在表640中，第一优先级被分配给人B。在表680和710中，第一优先级被分配给人C。在表680中，第二优先级被分配给人B和D两者。在表710中，第二优先级被分配给人D，第三优先级被分配给人B。即，不但基于相同图像中出现的人的数目还基于人的配对之间的距离来确定优先级。当基于相同图像中的相对位置关系来计算关系深度值时，可按照用户的喜好确定优先级。例如，类似于本发明第一实施例，可使用要向零阶关系深度值和一阶关系深度值施加的权重因子来计算关系深度值，并且可基于这些关系深度值确定优先级。

目前已经描述了基于人的每个配对是直接地还是间接地彼此相关来确定优先级、考虑人的数目来确定优先级、以及考虑人的配对之间的距离来确定优先级。可根据用户的喜好，通过在操作识别单元190的操作输入，指定选择哪种确定优先级的方式。可计算关系深度值，并且可使用要向关系深度值施加的权重因子，计算新的关系深度值。然后可基于新的关系深度值确定优先级。

图22A和图22B是示出在本发明第二实施例中采用的显示单元180上显示的显示屏幕图像的例子的图。图22A示出了根据利用被当作特定人的指定登记脸图像的人而确定的优先级来显示图像的显示屏幕图像720。显示屏幕图像720是在用于通过图8A所示的脸图像指定屏幕图像380执行指定登记脸图像的指定操作之后要显示的屏幕图像。即，根据用通过脸图像指定屏幕图像380指定的登记脸图像标识的特定人有关的优先级，在显示屏幕图像720中显示在图像存储器单元210中存储的图像。

在显示屏幕图像720中，包含显示在图像存储器单元210中存储的图像的显示域721、左按钮722、右按钮723和返回按钮725。左按钮722、右按钮723和返回按钮725与图8B所示的左按钮395、右按钮396和返回按钮398相同。将省略重复的描述。

在显示域721中，根据关于用指定的登记脸图像来标识的特定人的优先级，顺序地显示在图像存储器单元210中存储的图像。在显示域721的指定脸图像域726中，显示指定的登记脸图像(特定人的登记脸图像)。另外，基于对于特定人计算的关系深度值的得分727至729被附连到显示域721中显示的图像中出现的除了特定人之外的人上。在图22A所示的例子中，因为特定人是人A，所以与显示域721中显示的图像中出现的除了人A之外的人B至D相关联地显示得分727至729。例如，得分727至729是对于各个人计算的零阶关系深度值相对于作为100％的零阶关系深度值总和的百分比。例如，显示在与图21A所示的表700中的零阶关系深度值701相邻的括号中写入的值，作为得分727至729。可替换地，可与这些人相关联地显示在计算优先级时采用的关于零阶至i阶关系深度值的数值(或表示数值的显示信息)。由此，可基于数值，容易地掌握特定人与在当前显示的图像中出现的每个人的关系有多深。

图22B示出了根据利用被当作特定人的指定登记脸图像的人而确定的优先级来显示图像的显示屏幕图像730。显示屏幕图像730是图8B所示显示屏幕图像390的变型。与显示屏幕图像390的不同之处在于，包括显示了在显示域391中显示的图像中出现的人脸的出现脸图像域731。显示屏幕图像的其他部分与图8B所示的显示屏幕图像基本相同。分配与显示屏幕图像390中相同的附图标记。下面将主要描述不同之处，但将省略重复的描述。

在出现脸图像域731中，显示在显示域391中显示的图像中出现的除了特定人之外的人的脸图像。在图22B所示的例子中，特定人A和其他人E和G出现在显示域391中显示的图像中。因而，在出现脸显示区域731中显示出现了人E和G的脸的脸图像。使用脸信息存储器单元520中与人E和G相关联地存储的脸检测信息(脸在图像中的位置)，从显示域391中显示的图像提取脸图像，然后显示脸图像。当新指定在出现脸图像域731中一起显示的脸图像中的任一个时，如果使用光标385执行按下重新显示按钮397的按压操作时，计算关于用所指定的脸图像而标识的特定人的关系深度值。基于所计算的关系深度值确定优先级，并显示在图像存储器单元210中存储的图像。

如上所述，在脸图像域399中一起显示登记脸图像，而在出现脸图像域731中一起显示在当前显示的图像中出现的除了特定人之外的人的脸图像。因而，增加了用户从其中指定特定人的选择对象的数目。

例如，当进行静态图像的幻灯片显示时，可根据所确定的优先级向脸施加特殊效果，使得脸将在特写镜头(close-up)等中出现。例如，可向分配了最高优先级的人的脸施加特殊效果，使得脸将出现特写镜头等。可替换地，可向包括分配了最高优先级的人的一对人施加特殊效果，使得将关注该对人。

[在图像处理设备中进行的动作的例子]

接着，将参照附图描述根据本发明第一实施例的图像处理设备500中进行的动作。

图23是示出根据本发明第二实施例的图像处理设备500中进行的图像显示处理的处理过程的流程图。该图像显示处理是图10所示的图像显示处理的变型。相同的附图标记分配给与图10中相同的处理，并且将省略重复的描述。在处理过程中，考虑相同图像中出现的人数来确定优先级。

当识别出指定登记脸图像的指定操作(步骤S913)时，关系深度值计算单元540获取脸信息存储器单元520中存储的与要显示的图像相关联的脸信息(步骤S931)。此后，基于所获取的脸信息，关系深度值计算单元540计算赋予要显示的图像中出现的人的配对的得分(步骤S932)。考虑相同图像中出现的人的数目来计算得分。

图24是示出根据本发明第二实施例的图像处理设备500中进行的图像显示处理的处理过程的流程图。该图像显示处理是图10所示的图像显示处理的变型。相同的附图标记分配给与图10中相同的处理，并且将省略重复的描述。在处理过程中，考虑相同图像中出现的人的配对之间的距离来确定优先级。

当识别出指定登记脸图像的指定操作(步骤S913)时，脸间距离计算单元530和关系深度值计算单元540获取脸信息存储器单元520中存储的与要显示的图像相关联的脸信息(步骤S933)。此后，基于所获取的脸信息，脸间距离计算单元530计算在要显示的图像中出现的人的配对之间的距离(步骤S934)。此后，基于所获取的脸信息和脸间距离计算单元530计算的人的配对之间的距离，关系深度值计算单元540计算赋予在要显示的图像中出现的人的配对的得分(步骤S935)。关系深度值计算单元540基于赋予包括用指定登记脸图像而标识的特定人的配对的得分，计算i阶关系深度值(步骤S936)。

<3.第三实施例>

[图像处理设备的配置的例子]

在本发明的第三实施例中，将参照附图描述考虑了运动画面中出现的人而计算关系深度值的例子。

图25是示出根据本发明第三实施例的图像处理设备800的功能配置的例子的框图。图像处理设备800包括运动画面输入单元801、脸检测单元802、脸区分单元803、记录控制单元804、关系深度值计算单元805、优先级确定单元806以及优先级保存单元807。图像处理设备800还包括显示控制单元808、运动画面存储器单元809、脸区分结果存储器单元810和同时成像时段计算单元531。其他功能组件与图1所示的图像处理设备100基本相同。相同的附图标记分配给与图像处理设备100相同的组件。下面将主要描述具有不同功能的组件，并且将省略重复的描述。由能够通过图像分析处理从诸如数字视频相机的成像设备记录的运动画面中提取特征量并使用所提取的特征量进行各种图像处理的个人计算机来实现图像处理设备800。

图像输入单元801输入由诸如数字视频相机的成像装置记录的运动画面(视频数据)，并将输入的运动画面输出到脸检测单元802、脸区分单元803和记录控制单元804。

脸检测单元802检测在运动画面输入单元801输出的运动画面中出现的人脸，并将关于检测到的脸的脸检测信息输出到脸区分单元803。更具体地，脸检测单元802以帧为单位检测在构成从运动画面输入单元801输出的运动画面的图像(帧)中出现的人脸。脸检测单元802与图1所示的脸检测单元120基本相同，除了脸检测单元802检测在运动画面中出现的人脸以外。将省略重复的描述。

脸区分单元803使用登记人信息存储器单元220中存储的特征量223(见图2)，彼此区分由脸检测单元802检测到的脸，以便判断这些脸是否为登记人的脸。脸区分结果与图像(帧)和要彼此区分的脸检测信息相关联地被输出到记录控制单元804。脸区分单元803基本与图1所示的脸区分单元130相同，除了脸区分单元803彼此区分在运动画面中出现的人脸。将省略重复的描述。

记录控制单元804控制数据项在脸区分结果存储器单元810、运动画面存储器单元809和登记人信息存储器单元220中的记录。更具体地，记录控制单元804在运动画面存储器单元809中记录从运动画面输入单元801输出的运动画面，并与构成运动画面的图像相关联地在脸区分结果存储器单元801中记录从脸区分单元803输出的脸区分结果。

在脸区分结果存储器单元810中，在记录控制单元804的控制下，与要彼此区分的图像相关联地存储从脸区分单元803输出的脸区分结果。所存储的脸区分结果被馈送到同时成像时段计算单元531和关系深度值计算单元805。后面将参照图26A和图26B给出脸区分结果存储器单元810的细节。

在运动画面存储器单元809中，在记录控制单元804的控制下，存储从运动画面输入单元801输出的运动画面，并且所存储的运动画面被馈送给显示控制单元808。

基于脸区分结果存储器单元810中存储的脸区分结果，同时成像时段计算单元531计算如下时段，在该时段期间，在运动画面存储器单元809中存储的运动画面中出现的人之中人的配对的脸一起出现在相同帧中。所计算的时段与用于计算的运动画面的间隔和登记人信息相关联地输出到关系深度值计算单元805。同时成像时段计算单元531计算如下时段，在该时段期间，对于其他人中每个，参照人的脸和另一人的脸在运动画面中所包括的相同章节内的相同帧中一起出现。后面将参照图26A和图26B给出时段的计算的细节。

关系深度值计算单元805基于在脸区分结果存储器单元810中存储的脸区分结果，计算关系深度值，并将所计算的关系深度值输出到优先级确定单元806。更具体地，关系深度值计算单元805基于在运动画面存储器单元809中存储的运动画面中出现的人中人的配对在预定间隔内出现的出现频率，计算赋予人的配对的关系深度值。基于赋予特定人和第二人的配对的得分，计算关于第二人的零阶关系深度值。基于赋予特定人和第三人的配对的得分以及赋予第二人和第三人的配对的得分，计算关于第二人的一阶关系深度值。后面将参照图26A和图26B给出深度关系值的计算的细节。

优先级确定单元806基于从关系深度值计算单元805输出的关系深度值，计算被分配给具有在登记人信息存储器单元220中存储的登记人信息的多个人的优先级。所确定的优先级被输出并保存在优先级保存单元807中。

优先级保存单元807保存从优先级确定单元806输出的优先级，并将所保存的优先级馈送到显示控制单元808。

基于由操作识别单元190识别的操作的内容，显示控制单元808在显示单元180上显示运动画面存储器单元809中存储的每个运动画面。例如，当操作识别单元190识别出进行从显示单元180上一起显示的登记脸图像中指定一个登记脸图像的指定操作时，显示控制单元808获取在优先级保存单元807中保存的优先级。然后显示控制单元808获取运动画面存储器单元809中存储的一个运动画面或多个运动画面，并根据从优先级保存单元807获取的优先级，在显示单元180上顺序地再现运动画面。例如，可以以运动画面或章节为单位，执行基于优先级的运动画面再现。可根据优先级而顺序地显示运动画面或章节的代表性图像，并且可响应于任何代表性图像的选择来启动运动画面再现。

[优先级的确定的例子]

图26A和图26B是示意性示出在本发明第三实施例中采用的运动画面存储器单元809中存储的运动画面之间的关系、以及脸区分结果存储器单元810的内容的图。图26A示意性示出运动画面存储器单元809中存储的运动画面(#1)818。这里，构成运动画面存储器单元809中存储的运动画面(#1)818的章节中(运动画面的所谓段落)中的前导章节被示出为章节(#10)819。章节(#10)819应该包括帧#11至#18。

图26B示出了脸区分结果存储器单元810，其中作为脸区分结果，存储了构成由运动画面输入单元801输入的运动画面的图像之间的关系。在图26B所示的例子中，脸区分结果存储器单元的内容表示在登记人信息存储器单元220中存储的用于彼此区分人A至D的登记人信息。

在脸区分结果存储器单元810中，彼此相关联地存储运动画面ID 811、章节号812、帧号813和人814至817。

运动画面ID 811是用于彼此区分在运动画面存储器单元809中存储的运动画面的区分信息。例如，#1、#2等按照存储运动画面的顺序被分配给运动画面，然后存储。

章节号812是用于彼此区分构成在运动画面存储器单元809中存储的每个运动画面的章节的区分信息。例如，#10被分配给在具有为#1的运动画面ID 811的运动画面中所包括的前导章节(#10)819，然后存储。

帧号813是用于彼此区分构成在运动画面存储器单元809中存储的每个运动画面的帧的区分信息。例如，#11至#18被分配给构成具有为#1的运动画面ID 811的运动画面的帧，然后存储。

登记人814至816是代表具有在登记人存储器单元220中存储的登记人信息的人的区分信息。在图26B所示的例子中，代表人A至D的区分信息被示出为A至D。

在图26B所示的例子中，当在运动画面(#1)818中检测到登记人的脸时，在与检测到脸的帧相关联的人的列中指定圆圈。相反，如果未检测到登记人的脸，则在该人的列中指定连字符。例如，因为人D出现在帧#11中，在与#11的帧号813相关联的D的列中指定圆圈，在与之相关联的A、B和C的列中指定连字符。对于人A、B和D出现的帧#14中，在与#14的帧号813相关联的A、B和D的列中指定圆圈，并在C的列中指定连字符。出现在每个帧中的人在相邻帧之间的变化被认为是有限的。为了更好理解，将以变化较大的情况为例描述图26B所示的例子。

在脸区分结果存储器单元810中，与构成从运动画面输入单元801输入的每个运动画面的图像相关联地存储对图像中检测到的登记人执行的脸区分的结果。使用在脸区分结果存储器单元810中存储的脸区分结果计算关系深度值。

为了产生运动画面，在成像装置的成像范围在水平方向等上移动时，应该进行记录。因而，即使当多个人存在于同一空间中时，也可能有这样的间隔，在该间隔中，存在于同一空间中的人没有一起出现在相同帧中。即使当存在这些人没有一起出现在相同帧中的间隔时，出现在特定间隔内的任何帧中的人被认为彼此关系较深。例如，在构成章节号812为#10的章节中的帧#11至#18的任一个中的人A、B和D彼此应该具有已经参照本发明第一实施例描述的直接关系。未出现在帧#11至#18的任一个中的人C不应具有对每个人A、B和D的直接关系。类似于本发明的第一实施例，基于以特定间隔(例如，章节)为单位而建立的直接关系，替代以静态图像为单位而建立的直接关系，对每个画面计算得分。基于所计算的得分，按照本发明第一实施例中相同的方式计算零阶至i阶关系深度值。具体地，在运动画面的情况下，基于图占据特定间隔的多个帧为单位而建立的直接关系，替代以帧为单位而建立的直接关系，计算关系深度值。

然而，例如，如参照本发明第二实施例所示，具有较深人际关系的人被认为在同一空间中彼此靠近。例如，具有较深人际关系并且彼此距离较短的人被认为会在构成同一章节的帧中的许多帧(人出现在相同帧中的时间较长)中一起出现。因而，下面将描述考虑人的配对在占据相同间隔的帧中的相同帧中一起出现的时段而计算关系深度值的例子。

在图26B所示的脸区分结果存储器单元810中，存储了对脸检测单元802检测到的脸进行的脸区分的结果。可以帧为单位来标识在运动画面存储器单元809中存储的每个运动画面中出现的脸。同时成像时段计算单元531使用在脸区分结果存储器单元810中存储的脸区分结果，以章节为单位计算如下时段(同时成像间隔)，在该时段期间，人的配对出现在相同帧中。即，同时成像时段计算单元531对于在相同章节中出现的人的配对，顺序地计算同时成像间隔。

例如，当计算人A和B一起出现的用章节号812#10标识的章节内的同时成像间隔时，同时成像时段计算单元531获取对构成章节号812为#10的章节的帧#11至#18进行的脸区分的结果。此后，同时成像时段计算单元531使用所获取的脸区分结果，计算人A和B在相同帧中出现的时段。如图26B所示，人A和B在相同帧中出现的时段是帧#14和#15占据的时段。获得这两帧，作为与人A和B有关的章节号812为#10的章节内的同时成像间隔。同时成像时段计算单元531将所计算的关于人的配对的同时成像间隔与人的区分信息和章节号相关联地输出给关系深度值计算单元805。

此后，关系深度值计算单元805根据同时成像间隔的长度来计算关系深度值。按照本发明第二实施例中考虑人的配对之间距离时计算关系深度值的相同方式，来计算关系深度值。例如，n表示相同章节中出现的人的数目，m表示由同时成像间隔计算单元531计算的、被分配给与参照人和在n个人中除了参照人之外的人(对象人)中所包括的其他人的配对有关的同时成像间隔的长度的排名。为了计算表示与排名m的同时成像间隔有关的人的配对之间的关系的数值，计算出2(n-m)/(n(n-1))，作为表示人的配对之间关系的数值。

如上所述，以出现在相同章节中的每个人作为参照人来计算数值，并且以参照人为单位相加对多个章节获得的数值。由此，相加考虑了在相同章节中出现的人的配对之间的距离而计算的以便表示在相同章节中出现的人的配对之间的关系的值。最终，可用数值(得分)表示在运动画面(#1)818中出现的人A至D中人的配对之间的关系。可相对于多个运动画面按照相同方式计算数值。

[图像处理设备中进行的动作的例子]

接着，将参照附图描述根据本发明第三实施例的图像处理设备800中进行的动作。

图27是示出根据本发明第三实施例的图像处理设备800中进行的图像显示处理的处理过程的流程图。该图像显示处理是图24所示的图像显示处理的变型。相同的附图标记分配给图24所示的相同处理。将省略重复的描述。该处理过程涉及考虑与相同章节中出现的人的配对有关的同时成像间隔而确定优先级的情况。

当识别出指定登记脸图像的指定操作(步骤S913)时，同时成像间隔计算单元531和关系深度值计算单元805获取在脸区分结果存储器单元810中存储的与要显示的每个运动画面相关联的脸区分结果(步骤S941)。此后，基于所获取的脸区分结果，同时成像间隔计算单元531计算与在章节中出现的人的配对有关的同时成像间隔(步骤S942)。此后，关系深度值计算单元805基于所获取的脸区分结果以及同时成像间隔计算单元531计算的与人的配对有关的同时成像间隔，计算赋予在要显示的图像中出现的人的配对的得分(步骤S943)。考虑与相同章节中出现的人的配对有关的同时成像间隔来计算得分。

基于在优先级保存单元807中保存的优先级，显示控制单元808确定要显示运动画面的显示次序(步骤S945)。此后，显示控制单元808根据所确定的显示次序在显示单元180上显示要显示的运动画面(步骤S946)。

如果未识别出指定登记脸图像的指定操作(步骤S913)，则显示控制单元170根据要显示的运动画面的记录时刻，确定要显示运动画面的显示次序(步骤S947)。

<4.第四实施例>

[成像装置的功能配置的例子]

在本发明第一至第三实施例中，已经描述了使用基于关系深度值计算的优先级来控制内容的显示的情况。在第四实施例中，将描述使用基于关系深度值而计算的优先级来控制成像的情况。

图28是示出根据本发明第四实施例的成像装置850的功能配置的例子的框图。成像装置850是根据本发明第一实施例的图像处理设备100的部分变型，并且用成像单元851和成像控制单元852替代图像输入单元110。成像装置850的构成与图像处理设备100相同，除了在优先级保存单元161中保存的优先级用于控制由成像单元851进行的成像以外。因而，相同的附图标记分配给图像处理设备100中相同的功能组件。将省略重复的描述。成像装置850包括成像单元851和成像控制单元852。用诸如能够对目标成像并产生诸如拾取图像的内容的数字静态相机或数字视频相机的成像装置来实现成像装置850。

成像单元851包括图像传感器(未示出)和处理图像传感器的输出信号并产生拾取图像(图像数据项)的信号处理块(未示出)。具体地，在成像单元851中，在图像传感器的成像表面上形成通过透镜(未示出)进入的目标的光学图像。在此状态下，图像传感器进行成像动作，信号处理块对拾取信号进行信号处理。最终，产生拾取图像。由成像控制单元852确定在产生拾取图像时所采用的相机参数(成像参数)。所产生的拾取图像输出到脸检测单元120、脸区分单元130、记录控制单元140和成像控制单元852的每一个。

成像控制单元852顺序地评估成像单元851产生的拾取图像，确定包括快门速度、曝光值和白平衡设置的相机参数，并使用所确定的相机参数来控制成像单元851。基于在优先级保存单元161中保存的优先级，成像控制单元852确定相机参数。例如，当成像单元851产生的拾取图像中出现多张脸时，最好对在这些脸中分配了最高优先级的脸确定相机参数。在此情况下，基于从脸区分单元130输出的脸区分结果和脸检测信息，标识被分配了最高优先级且在拾取图像中出现的脸。

例如，成像装置850的拥有者被指定为特定人。当拥有者使用成像装置850记录多个人时，可基于在先前记录的图像中出现的人的配对之间的人际关系确定成像参数，使得与拥有者具有较深关系的人更清楚地出现。例如，以被分配了在优先级保存单元161中保存的优先级中的最高优先级的脸作为参照，控制成像。例如，被分配了最高优先级且在拾取图像中出现的人的脸的位置被当作AF区域(范围寻像(range-finding)区域)，并且实现自动聚焦控制。自动地控制白平衡设置、色彩平衡设置、曝光值等，使得对于被分配了最高优先级的人的脸的拍摄条件最优。

当在监视模式下显示拾取图像时，可基于在优先级保存单元161中保存的优先级控制显示。例如，如图22A所示，可与拾取图像中出现的人相关联地显示从对于特定人而计算的关系深度值得到的得分。由此，根据优先级，可以对接近拍摄人的人更清楚地成像。能容易地识别应该在拍摄期间作为参照的人。

在本发明的第四实施例中，如参照本发明第一实施例所述，可根据基于人的配对是彼此直接还是间接相关而确定的优先级来控制成像。可替换地，如参照本发明第二和第三实施例所述，可根据考虑了人数、考虑了人的配对之间的距离、或者考虑了同时成像间隔的长度而确定的优先级来控制成像。例如，可通过在操作识别单元190上进行的操作输入，根据用户的喜好来选择将使用哪组优先级。可计算关系深度值，并且可使用向关系深度值施加的权重因子来计算新的关系深度值。可采用基于新的关系深度值确定的优先级。

在本发明的实施例中，在内容中出现的人由脸区分单元彼此区分然后标识。可使用在由另一设备产生的图像中嵌入的元数据项来彼此区分人。

如之前所述，根据本发明的实施例，可考虑内容中出现的特定人对其他人的直接或间接关系来确定优先级。具体地，在同一内容中出现的人具有较深关系的可能性较大，并且与同一人具有较深关系的这些人具有较深关系的可能性较大。利用该事实，可确定优先级。因而，例如，当在特定人不出现的图像中出现的人被认为具有较深间接关系时，存在可根据优先级来显示特定人的可能性。因而，可发现特定人与未预料的人的较深关系。当考虑间接人际关系时，可发现特定人与朋友的友谊或者朋友出现但特定人不出现的感兴趣的图像。此外，可使用优先级对内容进行分类。因此，可容易地实现从不同角度对内容分类。当显示与关于人的关系深度值相对应的信息时，可容易地掌握在内容中出现的人的配对之间的人际关系。即，可用数值等表示不明确且难以量化评估的、人的配对之间的关系的深度。由此，能构造出现符合拥有者喜好的人的内容的输出，或者关注于拥有者关心的人等的内容的输出。

本发明的实施例仅仅是实现本发明的例子，并且对应于限定本发明所需的和在权利要求中描述的主题。然而，本发明不限于实施例，并且可按各种方式变化，而不脱离本发明的范围。

本发明实施例中描述的处理过程可作为包括过程的方法，作为使得计算机执行该过程的程序，或者作为存储程序的记录介质。作为记录介质，流入，可采用紧致盘(CD)、迷你盘(MD)、数字多用盘(DVD)、存储卡或蓝光盘(注册商标)。

本申请包含关于在2008年12月9日向日本特许厅提交的日本优先权专利申请JP 2008-312971中公开的主题，其全部内容通过引用合并于此。

本领域技术人员应理解，根据设计需求和其他因素，可进行各种修改、组合、子组合和替换，只要它们在所附权利要求及其等价物的范围内即可。

Claims (12)

1.一种图像处理设备，包括：

关系深度值计算单元，其将在多个内容的任一个中出现的人当作特定人，并基于第二人或除了第二人之外的第三人在所述特定人所出现的内容中的出现频率、以及所述第二人和所述第三人在所述特定人不出现的内容中的出现频率，计算表示在所述特定人和所述第二人之间的关系深度程度的关系深度值；以及

优先级确定单元，其基于所计算的关系深度值，确定被分配给在多个内容中出现的人之中与所述特定人有关的所述第二人的优先级。

2.根据权利要求1的图像处理设备，其中，所述关系深度值计算单元基于在所述多个内容中出现的人之中在相同内容中一起出现的人的配对的出现频率，计算被赋予在多个内容中出现的人的配对的得分，并基于被赋予所述特定人和第二人的配对的得分、被赋予所述特定人和第三人的配对的得分、以及被赋予所述第二人和第三人的配对的得分，计算所述关系深度值。

3.根据权利要求2的图像处理设备，其中

所述关系深度值计算单元基于被赋予所述特定人和第二人的配对的得分计算第一关系深度值，并基于被赋予所述第三人和特定人的配对的得分和被赋予所述第二人和第三人的配对的得分计算第二关系深度值；以及

所述优先级确定单元基于所计算的第一关系深度值和第二关系深度值确定所述优先级。

4.根据权利要求3的图像处理设备，其中所述优先级确定单元基于通过对所计算的第一关系深度值和第二关系深度值加权而获得的值，计算所述关系深度值。

5.根据权利要求1的图像处理设备，还包括输出控制单元，其根据所确定的优先级控制所述多个内容的输出。

6.根据权利要求1的图像处理设备，其中所述关系深度值计算单元基于在多个内容中出现的人之中在相同内容中一起出现的人的配对的出现频率以及在相同内容中一起出现的人的数目，计算被赋予在多个内容中出现的人的配对的得分，并基于被赋予所述特定人和第二人的配对的得分、被赋予所述特定人和第三人的配对的得分、以及被赋予所述第二人和第三人的配对的得分，计算所述关系深度值。

7.根据权利要求1的图像处理设备，其中所述关系深度值计算单元基于在多个内容中出现的人之中在相同内容中一起出现的人的配对的出现频率以及在相同内容中一起出现的人的配对之间的距离，计算被赋予在多个内容中出现的人的配对的得分，并基于被赋予所述特定人和第二人的配对的得分、被赋予所述特定人和第三人的配对的得分、以及被赋予所述第二人和第三人的配对的得分，计算所述关系深度值。

8.根据权利要求1的图像处理设备，其中

所述内容包括占据运动画面中所包括的预定间隔的多个帧；以及

所述关系深度值计算单元基于在所述运动画面中出现的人之中在相同间隔内出现的人的配对的出现频率和在相同间隔内的相同帧中出现人的配对的时间段，计算被赋予在所述运动画面中出现的人的配对的得分，并基于被赋予所述特定人和第二人的配对的得分、被赋予所述特定人和第三人的配对的得分、以及被赋予所述第二人和第三人的配对的得分，计算所述关系深度值。

9.一种图像处理设备，包括：

区分信息存储器单元，其中存储用于彼此区分人脸的区分信息；

操作识别单元，其识别被执行来将具有存储了其区分信息的人之一指定为特定人的指定操作；

内容输入单元，其输入多个内容；

脸检测单元，其检测在所输入的内容中出现的脸；

脸区分单元，其基于所述区分信息彼此区分所检测的脸；

关系深度值计算单元，其基于区分结果指定在所述多个内容中出现的人，并基于第二人或除了第二人之外的第三人在所述特定人所出现的内容中的出现频率、以及所述第二人和所述第三人在所述特定人不出现的内容中的出现频率，计算表示在所述特定人和所述第二人之间的关系深度程度的关系深度值；

优先级确定单元，其基于所计算的关系深度值，确定被分配给在多个内容中出现的人之中与所述特定人有关的所述第二人的优先级；以及

输出控制单元，其根据所确定的优先级控制所述所输入的内容的输出。

10.一种成像装置，包括：

成像单元，其对目标成像并产生图像；

关系深度值计算单元，其将在所产生的图像的任一个中出现的人当作特定人，并基于第二人或除了第二人之外的第三人在所述特定人所出现的内容中的出现频率、以及所述第二人和所述第三人在所述特定人不出现的内容中的出现频率，计算表示在所述特定人和所述第二人之间的关系深度程度的关系深度值；

优先级确定单元，其基于所计算的关系深度值，确定被分配给在多个内容中出现的人之中与所述特定人有关的所述第二人的优先级；以及

成像控制单元，其根据所确定的优先级，指定在由所述成像单元产生图像时所采用的成像参数。

11.一种图像处理方法，包括如下步骤：

将在多个内容的任一个中出现的人当作特定人，并基于第二人或除了第二人之外的第三人在所述特定人所出现的内容中的出现频率、以及所述第二人和所述第三人在所述特定人不出现的内容中的出现频率，计算表示在所述特定人和所述第二人之间的关系深度程度的关系深度值；以及

基于所计算的关系深度值，确定被分配给在多个内容中出现的人之中与所述特定人有关的所述第二人的优先级。

12.一种使得计算机执行如下步骤的程序：

将在多个内容的任一个中出现的人当作特定人，并基于第二人或除了第二人之外的第三人在所述特定人所出现的内容中的出现频率、以及所述第二人和所述第三人在所述特定人不出现的内容中的出现频率，计算表示在所述特定人和所述第二人之间的关系深度程度的关系深度值；以及

基于所计算的关系深度值，确定被分配给在多个内容中出现的人之中与所述特定人有关的所述第二人的优先级。

Images