CN104917954A - 图像处理装置、重要人物判定方法、图像布局方法、以及程序和记录介质 - Google Patents

Abstract

本发明的图像处理装置，从多个图像数据中检测面部图像，基于多个面部图像，进行相同人物判定处理，并将多个面部图像分类至由相同人物的面部图像构成的图像组中，从而分别确定出与各图像组相对应的人物，将确定出的人物中的至少一个人物决定为主人公，将除了主人公以外的人物中的、与主人公关联性较高的至少一个人物判定为重要人物。

Description

图像处理装置、重要人物判定方法、图像布局方法、以及程序和记录介质

技术领域

本发明涉及一种从基于多个图像数据的图像所呈现的人物中判定重要人物，并进行图像布局的图像处理装置、重要人物判定方法、图像布局方法，以及用于使计算机执行重要人物判定方法或者图像布局方法的各个步骤的程序和记录介质。

背景技术

当前，基于在移动电话或者个人计算机的存储部、数码相机等的闪存中存储的多个图像数据，进行照片书等图像商品的自动生成(例如，参照专利文献1)。

通常，图像商品的自动生成，是用户从大量的图像数据中选择出登载到图像商品中的图像数据，并逐一进行布局的过程，该过程并不繁琐，因此，比较方便，但不一定能够生成对用户而言满意度较高的图像商品。例如，如图13所示，在图像商品的自动生成中，有时希望进行以自己的孩子的图像为中心的布局，但却进行了以其他人的孩子的图像作为中心的布局，有可能降低用户对自动生成的图像商品的满意度。

在专利文献1中，提出了下述的图像输出装置，即，该图像输出装置从每个图像数据中检测出面部图像，计算出面部图像的作为被摄体的主要度，基于这些主要度计算出图像数据的重要度，基于重要度进行布局。

另外，在专利文献2中，公开了下述的图像分类装置的发明，即，该图像分类装置从影像的帧图像中检测出人物的面部图像，对所有的面部图像进行比较，针对每个人物的面部图像进行分组化，从而，将出现频度最高的人物推定为主人公。

专利文献1：日本特开2007－49387号公报

专利文献2：日本特开2006－244279号公报

如果利用专利文献1的图像输出装置或者利用专利文献2的图像分类装置的技术，则也许能够避免如图13所示的布局，但专利文献1的面部图像的作为被摄体的主要度、专利文献2的主人公的推定是根据面部图像的出现次数(出现频度、检测数量)即与面部图像相对应的人物的出场次数而决定的，在专利文献1的图像输出装置、专利文献2的图像分类装置中，难于对呈现有出场次数较少但却是重要人物的图像数据进行提取。

例如，在生成以孩子为中心(主人公)的家族的照片书的情况下，父亲、祖父祖母是重要人物，但父亲是拍摄者的情况较多，与母亲相比，存在出场次数较少的倾向。另外，例如，能够想到不与孩子一起生活的祖父祖母等的出场次数也较少。因此，如果利用专利文献1的图像输出装置或者专利文献2的图像分类装置生成照片书，则存在下述问题，即生成没有呈现出场次数较少的父亲、祖父祖母的照片书。

发明内容

本发明的目的在于解决上述现有技术的问题点，并提供一种不依靠出场次数判定重要人物，并进行图像布局的图像处理装置、重要人物判定方法、图像布局方法，以及用于使计算机执行重要人物判定方法或者图像布局方法的各个步骤的程序和记录介质。

为了解决上述课题，本发明提供一种图像处理装置，该图像处理装置的特征在于，具有：图像数据获取部，其获取多个图像数据；面部图像检测部，其从由图像数据获取部获取的多个图像数据中检测面部图像；人物确定部，其基于在面部图像检测部中检测出的多个面部图像，进行相同人物判定处理，并将多个面部图像分类至由相同人物的面部图像构成的图像组中，从而分别确定出与各图像组相对应的人物；主人公决定部，其将由人物确定部确定出的人物中的至少一个人物决定为主人公；以及重要人物判定部，其基于在主人公决定部中决定出的主人公，将由人物确定部确定出的除了主人公以外的人物中的、与主人公关联性较高的至少一个人物，判定为重要人物。

另外，优选主人公决定部将面部图像的检测数量最多的人物决定为主人公。

另外，优选重要人物判定部将由人物确定部确定出的除了主人公以外的人物中的、与主人公一起呈现的图像数据的数量最多的人物判定为重要人物。

另外，优选面部图像检测部从多个图像数据中检测面部图像，并且，检测面部图像的位置信息，重要人物判定部基于在面部图像检测部中检测出的、在相同图像中呈现的主人公的位置信息和除了主人公以外的人物的位置信息，计算出2个面部图像之间的距离，基于2个面部图像之间的距离，判定重要人物。

另外，优选多个图像数据分别具有作为元信息的拍摄日期时间信息以及拍摄位置信息中的至少一个，重要人物判定部基于呈现主人公的图像数据的拍摄日期时间信息与呈现除了主人公以外的人物的图像数据的拍摄日期时间信息的差异、以及呈现主人公的图像数据的拍摄位置信息与呈现除了主人公以外的人物的图像数据的拍摄位置信息的差异中的至少一方，判定重要人物。

优选还具有：存储部，其存储多个图像数据；图像数据管理部，其对在存储部中存储的多个图像数据进行分类，作为规定的管理图像组进行管理；以及显示部，其对表示出规定的管理图像组的管理画面进行显示，图像数据管理部在规定的管理图像组中存在包含有主人公以及重要人物中的至少一方的图像数据的情况下，对显示部所显示的管理画面进行强调显示。

另外，优选还具有：优先级设定部，其基于在主人公决定部中决定出的主人公和在重要人物判定部中判定出的重要人物，设定多个图像数据的优先级；图像布局决定部，其基于在优先级设定部中设定出的优先级，决定多个图像数据的布局；以及输出部，其按照由图像布局决定部决定出的布局，输出多个图像数据。

另外，优选优先级设定部基于主人公和重要人物的有无、主人公和重要人物的配置、以及主人公和重要人物与其他人物的位置关系中的至少一项，设定优先级。

另外，优选还具有人物变更部，该人物变更部基于用户的指示，变更主人公或者重要人物，优先级设定部基于由人物变更部变更后的主人公或者重要人物变更优先级，图像布局决定部基于变更后的优先级变更多个图像数据的布局。

另外，优选还具有图像修剪部，该图像修剪部与布局相对应，对基于多个图像数据的图像实施修剪处理，图像修剪部基于主人公和重要人物的有无、主人公和重要人物的配置、以及主人公和重要人物与其他人物的位置关系中的至少一项而进行修剪处理。

另外，本发明提供一种重要人物判定方法，该重要人物判定方法的特征在于，从多个图像数据中检测面部图像，基于检测的多个面部图像进行相同人物判定处理，并将多个面部图像分类至由相同人物的面部图像构成的图像组中，从而分别确定出与各图像组相对应的人物，将确定出的人物中的至少一个人物决定为主人公，基于决定出的主人公，将除了主人公以外的人物中的、与主人公关联性较高的至少一个人物判定为重要人物。

另外，优选将面部图像的检测数量最多的人物决定为主人公。

另外，优选将除了主人公以外的人物中的、与主人公一起呈现的图像数据的数量最多的人物判定为重要人物。

另外，优选从多个图像数据中检测面部图像，并且，检测面部图像的位置信息，基于在相同图像中呈现的主人公的位置信息和除了主人公以外的人物的位置信息，计算出2个面部图像之间的距离，基于2个面部图像之间的距离，判定重要人物。

另外，优选多个图像数据分别具有作为元信息的拍摄日期时间信息以及拍摄位置信息中的至少一个，基于呈现主人公的图像数据的拍摄日期时间信息与呈现除了主人公以外的人物的图像数据的拍摄日期时间信息的差异、以及呈现主人公的图像数据的拍摄位置信息与呈现除了主人公以外的人物的图像数据的拍摄位置信息的差异中的至少一方，判定重要人物。

另外，本发明提供一种图像布局方法，该图像布局方法的特征在于，基于主人公和通过重要人物判定方法判定出的重要人物，决定多个图像数据的优先级，基于优先级，决定多个图像数据的布局。

另外，优选基于主人公和重要人物的有无、主人公和重要人物的配置、以及主人公和重要人物与其他人物的位置关系中的至少一项，决定优先级。

另外，在基于用户的指示对主人公或者重要人物进行变更的情况下，优选基于变更后的主人公或者重要人物变更优先级，基于变更后的优先级变更多个图像数据的布局。

另外，优选基于主人公和重要人物的有无、主人公和重要人物的配置、以及主人公和重要人物与其他人物的位置关系中的至少一项，以及布局对基于多个图像数据的图像进行修剪处理。

另外，本发明提供一种程序，该程序用于使计算机执行上述任意一项所述的重要人物判定方法的各个步骤。

另外，本发明提供一种程序，该程序用于使计算机执行上述任意一项所述的图像布局方法的各个步骤。

另外，本发明提供一种计算机可读取的记录介质，该记录介质记录有用于使计算机执行上述的重要人物判定方法或者上述的图像布局方法的各个步骤的程序。

发明的效果

根据本发明，能够不依靠出场次数判定重要人物，另外，能够基于不是依靠出场次数决定出的重要人物进行图像布局。

附图说明

图1是表示本发明的实施方式1所涉及的图像处理装置的整体结构的框图。

图2是表示通过图1的图像处理装置进行的重要人物判定处理的动作(重要人物判定方法)的流程图。

图3是具体说明图2的重要人物判定处理的说明图。

图4是表示通过图1的图像处理装置进行的图像布局处理的动作(图像布局方法)的流程图。

图5的(A)～(D)是用于说明主人公以及重要人物的配置与图像的优先级的关系的图像的具体的例子。

图6是表示照片书的跨页的模板的一个例子的示意图。

图7是本发明的图像布局与现有的图像布局的对比图。

图8是表示图1的图像处理装置的图像数据管理画面的一个例子的图。

图9是表示图1的图像处理装置的主人公以及重要人物变更画面的一个例子的图。

图10是表示本发明的实施方式2所涉及的图像处理装置的整体结构的框图。

图11是表示通过图10的图像处理装置的图像修剪部进行的修剪处理的模式的图。

图12是表示图1以及图10的图像处理装置中的图像布局的一个例子的图。

图13是说明通过现有技术自动生成的图像布局的问题点的图。

标号的说明

1图像数据获取部，2人物确定部，3主人公决定部，4重要人物判定部，5优先级设定部，6图像布局决定部，7输出部，8显示控制部，9显示部，10控制部，11操作部，12存储部，13图像修剪部，21面部图像检测部，22面部特征量计算部，23面部图像分类部，31面部图像(矩形图像)，32～35单元，36～42显示框。

具体实施方式

下面，基于附图所示的适当的实施方式，对本发明所涉及的图像处理装置、重要人物判定方法、基于重要人物的图像布局方法、以及程序和记录介质进行详细说明。

(实施方式1)

图1是表示本发明的实施方式1所涉及的图像处理装置的整体结构的框图。图1的图像处理装置具有：图像数据获取部1；从图像数据获取部1开始依次连接的人物确定部2、主人公决定部3、重要人物判定部4、优先级设定部5以及图像布局决定部6；与图像布局决定部6连接的输出部7以及显示控制部8；以及与显示控制部8连接的显示部9。另外，具有控制部10、操作部11、以及存储部12，该控制部10分别与上述的图像数据获取部1、人物确定部2、主人公决定部3、重要人物判定部4、优先级设定部5、图像布局决定部6、输出部7、以及显示控制部8连接，该操作部11以及存储部12与控制部10连接。

图像数据获取部1从图像处理装置的外部设备、记录介质获取大量的图像数据，例如，与PC、图像服务器等连接，获取存储的图像数据，另外，读取在数字照相机(DSC)、移动电话等中所使用的记录介质，获取在记录介质中存储的图像数据。

人物确定部2从图像数据获取部1获取多个图像数据，根据面部图像，确定在基于各个图像数据的图像中呈现的人物。人物确定部2具有依次连接的面部图像检测部21、面部特征量计算部22、以及面部图像分类部23。

面部图像检测部21对各个图像数据进行面部图像检测处理，从各个基于图像数据的图像中检测呈现出人物的面部的部分的面部图像，生成面部图像数据。此外，作为面部图像检测处理，能够利用各种公知的技术。在1张图像中呈现出多个人物的面部图像的情况下，检测所有人物的面部图像，生成与各个面部图像相对应的面部图像数据。为了易于进行比较以及管理，优选以形成规定的宽高比、规定的像素尺寸、规定的文件类型的方式，对面部图像数据进行编码。另外，面部图像数据作为元信息而具有检测面部图像的原始图像数据的信息，作为原始图像数据的信息，例如，具有：对原始图像数据的访问信息、原始图像数据的拍摄日期时间信息，原始图像数据的拍摄位置信息(利用GSP得到的位置信息)、面部图像的检测位置信息、面部图像的尺寸的信息等。此外，面部图像的检测位置信息，例如是在生成面部图像数据时的原始图像中的面部图像的中心位置的坐标，面部图像尺寸的信息是相对于原始图像的面部图像的大小的信息，例如，是在从原始图像中切出矩形的面部图像的情况下的矩形的修剪框内的面积以及宽高比等信息。

面部特征量计算部22基于由面部图像检测部21检测并生成的面部图像数据，计算出面部图像的特征量，例如，从面部图像数据中提取眼睛(包含内眼角、外眼角等)、鼻子以及嘴(包含嘴角等)、轮廓等，将这些项目的位置和大小、以及这些项目的位置与大小的关系等作为该面部图像的特征量(面部特征量)进行计算。

面部图像分类部23基于利用面部特征量计算部22计算出的面部特征量，进行相同人物判定处理，并将面部图像数据针对每个人物进行分类，另外，作为相同人物判定处理，例如，是根据多个面部特征量生成各自的模型数据，基于模型数据彼此的差异而进行相同人物判定的方法，能够利用各种公知的相同人物判定方法。能够通过对多个图像数据进行从面部图像的检测直至基于相同人物判定处理的面部图像数据的分类为止的一连串的处理，从而分别确定出在基于多个图像数据的多个图像中呈现的多个人物。

主人公决定部3从由人物确定部2确定出的各个人物中决定出主人公。主人公决定部3例如将由人物确定部2的面部图像检测部21检测出的面部图像(所生成的面部图像数据)最多的人物决定为主人公。此外，上述的主人公的决定方法是一个例子，另外，主人公不一定是一个人，可以将多个人决定为主人公。

重要人物判定部4将除了利用主人公决定部3决定出的主人公以外的人物中的、与主人公的关联性较高的人物判定为重要人物。在后面对重要人物的判定进行详细说明，但重要人物不一定是一个人。另外，在重要人物判定部4将多个人物判定为重要人物的情况下，可以根据重要人物的重要度而进行顺序排列。

优先级设定部5基于利用主人公决定部3决定出的主人公和在重要人物判定部4中判定出的重要人物，设定使用于布局中的多个图像数据的优先级。在后面对优先级设定的详细内容进行说明。

图像布局决定部6基于在优先级设定部5中决定出的图像数据的优先级，进行图像的布局。例如，在照片书等图像商品的模板中，对图像的配置区域(图像配置区域)预先赋予顺序，图像布局决定部6基于图像数据的优先级和模板的图像配置区域的顺序，决定图像的布局。

输出部7将包含多个图像数据的图像商品的图像布局的数据(图像布局数据)输出至外部。输出部7例如与打印机等印刷装置或者记录装置连接，将图像布局数据输出至这些印刷装置或者记录装置中。此外，印刷装置将包含多个图像的图像布局的数据印刷在纸质介质等上而生成图像商品，记录装置对包含配置在模板的图像配置区域的图像数据在内的图像布局数据进行记录。

显示控制部8获取在图像布局决定部6中决定出的图像布局的图像布局数据，另外，获取来自控制部10的管理画面的画面显示数据等，使图像布局或者管理画面显示在显示部9上。另外，显示部9从显示控制部8获取图像布局数据，在显示画面上显示图像布局，此外，获取管理画面的画面显示数据等，以能够操作的方式在显示画面上显示管理画面。此外，作为显示部9，能够利用液晶显示器等各种公知的显示装置。

控制部10与图像处理装置的各部分直接或者间接地连接，基于来自操作部11的用户的指示，或者，基于在未图示的内部存储器中存储的规定的程序等，对图像处理装置的各部分进行控制。例如，使用上述的管理画面进行的图像处理装置的操作、主人公以及重要人物的变更等、图像布局制作之后的图像布局的变更可以通过控制部10进行。

操作部11从用户接受各种指示，并将这些指示输出至控制部10，例如，能够利用键盘、鼠标等各种公知的结构。

存储部12对上述的多个图像数据、多个面部图像数据、以及与这些图像数据关联的信息、在多个图像数据中所包含的人物的信息(包含主人公以及重要人物的信息)等进行存储，例如，可以由HDD、SSD等记录介质构成，另外，也可以由包含HDD、SSD等记录介质的图像服务器等构成。

下面，基于图2所示的流程图，对图1的图像处理装置的重要人物判定处理的动作(重要人物判定方法)进行说明。

作为步骤S1，图像数据获取部1与外部的存储装置等连接，从外部的存储装置等获取多个图像数据。获取的多个图像数据输出至人物确定部2。

然后，作为步骤S2，人物确定部2的面部图像检测部21从各个基于图像数据的图像中检测面部图像，生成面部图像数据。面部图像数据如上所述，是按照规定的宽高比、规定的像素尺寸、以及规定的文件格式进行编码的数据，另外，作为元信息，具有对原始图像数据的访问信息、原始图像数据的拍摄日期时间信息、原始图像数据的拍摄位置信息、面部图像的检测位置信息、以及面部图像的尺寸的信息。所生成的面部图像数据输出至面部特征量计算部22。

(相同人物判定处理)

在接下来的步骤S3中，面部特征量计算部22从基于面部图像数据的面部图像中检测眼睛、鼻子、嘴、轮廓等面部部分，基于面部部分的配置、形状、大小、以及它们的关系等，计算出面部特征量。

在步骤S4中，面部图像分类部23基于利用面部特征量计算部22计算出的与多个面部图像数据相对应的多个面部特征量，生成各自的模型数据，通过对模型数据彼此进行比较，将各个面部图像数据分类成面部图像组，将1个面部图像组作为1个人物，并将与这些图像组相对应的人物的信息作为出场人物的信息进行输出。此外，作为模型数据，例如，可以列举基于面部特征量即面部部分的位置关系的矢量等。

图3说明由面部图像分类部23分类出的多个面部图像组的一个例子的说明图。图3的矩形图像31是基于上述的面部图像数据的面部图像或者面部图像的缩略图像(下面，将矩形图像31称为面部图像31)。另外，位于面部图像31的左侧的“人物1”的记载表示面部图像组的名称，表示与面部图像组相对应的人物，该面部图像组是基于在“人物1”的记载的旁边进行排列的包含面部图像31在内的多个面部图像的面部图像组。即，在“人物1”的旁边进行排列的多个面部图像是所有“人物1”的面部图像。

另外，在面部图像31的下方记载的“a.jpg”的记载是用于说明检测面部图像的原始图像数据的文件名的记载，实际上，如上所述，面部图像数据具有作为元信息的包含原始图像数据的文件名等在内的原始图像数据的信息。此外，对于除了面部图像31以外的各面部图像，为了进行说明，也与面部图像31的情况相同地，在各面部图像的下方记载原始图像数据的文件名。

在图3中可以看出，从多个图像数据中，确定出“人物1”～“人物N”这N个人物。另外，在图3中，除了“人物1”～“人物N”以外，还存在“未分类”的面部图像组。此外，在“未分类”的面部图像组中所包含的面部图像是通过上述的相同人物判定处理无法进行分类的面部图像。

(主人公的决定)

在步骤S5中，主人公决定部3基于从人物确定部2输出的出场人物的信息决定主人公。在这里，出场人物的信息不限定于由面部图像分类部23分类出的面部图像组的信息(确定出的人物的信息)，还包含各个面部图像组所具有的面部图像(面部图像数据)的数量、面部图像数据所具有的元信息等。

作为主人公的决定方法，列举出各种方法，主人公决定部3例如将面部图像组中的面部图像的数量最多的人物(由面部图像检测部21检测出的面部图像的检测数量最多的人物)即在多个图像数据中出场次数最多的人物决定为主人公。此外，图3的“人物1”～“人物N”按照面部图像的数量从多到少的顺序进行排列。由此，主人公决定部3将面部图像的数量最多的人物1决定为主人公。

此外，主人公不一定是一个人，主人公决定部3例如也能够将按照出场次数从多到少的顺序排列时的出场次数较多的2个人作为主人公等，而决定出多个主人公。例如，在从以包含2个兄弟的家庭照片为中心的多个图像数据中决定出主人公的情况下，可以将兄弟2个人决定为主人公。

(重要人物的判定)

在步骤S6中，重要人物判定部4基于从上述的人物确定部2输出的出场人物的信息和在上述的主人公决定部3中决定出的主人公，将与主人公的关联性较高的人物判定为重要人物。

作为重要人物的判定方法，能够想到各种方法，重要人物判定部4例如将与主人公一起呈现的图像数据的数量较多的人物判定为重要人物。如图3所示，在呈现主人公的图像数据是“a.jpg”、“b.jpg”、“c.jpg”、“d.jpg”、“e.jpg”、“f.jpg”、以及“g.jpg”，呈现“人物2”的图像数据是“b.jpg”、“c.jpg”、“d.jpg”、“f.jpg”、“g.jpg”、以及“h.jpg”的情况下，“人物2”在“b.jpg”、“c.jpg”、“d.jpg”、以及“f.jpg”这4个图像数据中与主人公一起呈现，是“人物2”～“人物N”中最多的。

如上所述，重要人物判定部4对除了主人公(“人物1”)以外的所有人物即“人物2”～“人物N”，计算出与主人公一起呈现的图像数据的数量，将与主人公一起呈现的图像数据的数量最多的人物判定为重要人物。在这种情况下，重要人物判定部4将与主人公一起呈现的图像数据的数量最多的“人物2”判定为“重要人物”。

此外，与上述的主人公的情况相同地，重要人物可以不限定为一个人，例如，也可以将按照与主人公一起呈现的图像数据的数量的从多到少的顺序进行排列时的数量较多的多个人判定为重要人物。另外，在将重要人物判定为多个人的情况下，也可以按照与主人公一起呈现的图像数据的数量的从多到少的顺序，进行重要人物1、重要人物2、……的顺序排列。

(图像布局)

下面，基于图4所示的流程图，对图1的图像处理装置的图像布局的动作(图像布局方法)进行说明。图4的流程图后续于图2所示的流程图。另外，在这里，将下述情况作为例子进行说明，即，将制作出的图像商品作为照片书，对照片书的规定的页面进行图像布局。

作为步骤S7，优先级设定部5基于在上述的重要人物判定部4中判定出的重要人物和在上述的主人公决定部3中决定出的主人公，设定多个图像数据的优先级。

优先级的设定，在对图像中的主人公以及重要人物的有无、图像中主人公以及重要人物的配置、图像中的主人公以及重要人物的面部的大小、图像中的人物的出场人数(包含主人公以及重要人物)等进行综合判断的基础上，例如，设定为5个等级。

如图5(A)所示，对于主人公(面部图像通过两重圆圈包围的人物。以下在图像中以相同的方式表示主人公)以及重要人物(面部图像通过圆圈包围的人物。以下在图像中以相同的方式表示重要人物)较大地呈现在图像的中央附近的图像数据，例如，设定为优先级最高的“优先级5”。另外，如图5(B)所示，一起呈现有主人公以及重要人物，还呈现有除了主人公以及重要人物以外的其他人物(面部图像通过虚线圆圈包围的人物。以下在图像中以相同的方式表示其他人物)，但其他人物呈现在主人公以及重要人物附近的图像数据，例如设定为“优先级4”，使得位于图5(A)的下一个优先级。另外，如图5(C)所示，一起呈现有主人公以及重要人物、并在背景中呈现其他人物的图像数据例如设定为“优先级3”，使得位于图5(B)的下一个优先级。另外，仅呈现主人公的图像数据或者仅呈现重要人物的图像数据例如设定为“优先级2”，使得比图5(C)的优先级低。另外，如图5(D)所示，没有呈现主人公以及重要人物的图像数据例如设定为“优先级1”，使得优先级最低。

在后续的步骤S8中，控制部10基于用户的指示，从多个图像数据中提取用于对照片书的规定的页面进行布局的多个候补图像数据。如果用户操作操作部11，指定图像数据的拍摄期间、图像数据的类别(例如，基于用户输入的运动会、正月等事件等、或者使用图像内容的自动判定技术而得到的图像内容的类别)、进行布局的照片书的页面数、以及进行布局的各页面的模板等，则控制部10计算出照片书的制作所需要的图像数据的数量，从多个图像数据中提取出用于制作照片书的数量充足的候补图像数据。此外，在照片书的制作中，由于从一定数量的候补图像数据中选择出优先级较高、较好的图像数据采用在照片书中，因此，作为候补图像数据的数量，例如，优选大于或等于照片书的制作所需要的图像数据的数量的2倍。

此外，图6是表示照片书的跨页的模板的一个例子的示意图。在模板中，设定出与优先级相对应的图像配置区域。在图6中，作为原则，从较大地显示图像的图像配置区域开始依次设定1号～7号的配置的顺序。

最后，作为步骤S9，图像布局决定部6基于在优先级设定部5中设定出的优先级，从上述的多个候补图像数据中选择出进行布局的候补图像数据，基于优先级决定候补图像数据的布局。

图像布局决定部6例如将多个候补图像数据按照优先级从高到低的顺序进行排列，以按照图6所示的图像的配置1～7的顺序对上述的候补图像进行布局的方式，决定图像布局。决定出的图像布局经由显示控制部8显示在显示部9上，另外，基于用户的指示，与对应的图像数据一起作为图像布局的数据(图像布局数据)从输出部7输出至外部。

图7是基于本发明的图像布局与现有的图像布局的对比图。如图7所示，在现有的图像布局中，例如，基于面部图像的数量或者主人公的有无，可能能够较大地显示呈现有主人公以及重要人物的图像，但还呈现有多个除了主人公以及重要人物以外的其他人物，另外，由于不是主人公以及重要人物位于中心的图像，因此，用户对该图像布局的满意度不高。与此相对，在本发明的图像布局中，例如，能够较大地显示仅呈现主人公以及重要人物的图像，因此，用户对该图像布局的满意度较高，另外，能够提出总体来说用户满意度较高的照片书。

(图像数据管理画面)

另外，图8是表示图1的图像处理装置的图像数据管理画面的一个例子的示意图。在图1的图像处理装置中，多个图像数据按照规定的基准，针对每个图像组(管理图像组)进行汇集，在管理画面上，表示图像组的规定的管理画面例如通过单元图像等进行显示。例如，如图8所示，基于拍摄日期时间汇集在多个图像组中，通过单元(管理画面)32～34等进行显示。此外，上述的规定的基准例如能够列举图像数据拍摄日期时间、图像数据的拍摄位置、以及图像数据的分类等。此外，单元32～34内的拍摄日期时间的横向的矩形图像表示与单元相对应的图像组的图像(缩略图像)的一个例子。

另外，控制部10构成本发明所涉及的图像数据管理部，例如，在分类至规定的图像组的图像数据中存在呈现有主人公以及重要人物的图像数据的情况下，可以控制显示控制部8对与该图像组相对应的单元进行强调显示。在图8中，在拍摄日期时间是“12/12(日期)”的图像组和“12/24(日期)”的图像组中存在呈现主人公以及重要人物的图像数据，因此，对单元32～34中的、与“12/12(日期)”的图像组相对应的单元32和与“12/24(日期)”的图像组相对应的单元34进行强调显示。另外，在图8中，作为将多个图像数据分类至图像组中的基准，选择“日期”，因此，对“日期”单元35也同样地进行强调显示。此外，作为强调显示的方法，能够利用颜色的变更、闪烁、粗体框或者粗体字等各种公知的方法。此外，对于“日期”，不限定于上述的例子(以天为单位)，能够基于以小时为单位、以周为单位、以月为单位、以年为单位等进行分类。

(主人公以及重要人物管理画面)

另外，图9是表示图1的图像处理装置的主人公以及重要人物管理画面的一个例子的示意图。在图9的主人公以及重要人物管理画面中，将由相同人物判定处理确定的出场人物分别通过在画面横向上延伸的显示框(显示框36～40)进行表示，通过在画面纵向上延伸的显示框41内的复选框表示是否是主人公，另外，通过在画面纵向上延伸的显示框42内的复选框同样地表示是否是重要人物。位于显示框36与显示框41的交叉位置的主人公的复选框被选中，因此，可知与显示框36相对应的人物是主人公，另外，位于显示框37与显示框42的交叉位置的重要人物的复选框被选中，因此，可知与显示框37相对应的人物是重要人物。此外，显示框36～显示框40内的数字表示与显示框相对应的呈现人物的图像数据的数量，另外，显示框36～显示框40内的数字旁边的矩形图像表示与显示框相对应的人物的面部图像(的缩略图像)的一个例子。

(主人公以及重要人物的变更)

用户能够通过对操作部11进行操作，经由控制部10(本发明的人物变更部)变更主人公以及重要人物管理画面，从而变更主人公或者重要人物。

具体地说，用户经由操作部11对控制部10进行操作，通过变更显示框41内的复选框，或者说，通过取消选中标记，变更主人公，另外，通过变更显示框42内的复选框，变更重要人物。

在由用户变更主人公的情况下，控制部10控制重要人物判定部4，并基于变更后的主人公重新判定重要人物，另外，控制部10控制优先级设定部5，并基于变更后的主人公以及重新判定出的重要人物重新设定多个图像数据的优先级。另外，控制部10同样地控制图像布局决定部6，并基于重新设定出的优先级再次决定图像布局。

另外，在由用户变更重要人物的情况下，控制部10控制优先级设定部5，并基于变更后的重要人物重新设定多个图像数据的优先级。另外，控制部10同样地控制图像布局决定部6，并基于重新设定出的优先级再次决定图像布局。

如上所述，根据本发明，能够基于与主人公的关联性，判定重要人物，从而不依靠出场次数而判定重要人物。另外，如上所述，基于不是依靠出场次数决定出的重要人物而决定图像布局，从而能够进行用户的满意度较高的图像布局。

(实施方式2)

另外，本发明所涉及的图像处理装置在对照片书等图像商品进行图像数据的布局时，也可以为了制作出用户的满意度更高的照片书，而自动进行修剪。

图10是表示本发明的实施方式2所涉及的图像处理装置的整体结构的框图。

图10的图像处理装置与图1的图像处理装置的不同点在于，图10的图像处理装置在图像布局决定部6、以及输出部7和显示控制部8之间具有图像修剪部13。因此，除了图像修剪部13以外的图像数据获取部1、人物确定部2、主人公决定部3、重要人物判定部4、优先级设定部5、图像布局决定部6、输出部7、显示控制部8、显示部9、控制部10、操作部11、以及存储部12的结构与实施方式1所涉及的图像处理装置相同，因此，省略它们的说明。

另外，对于图像处理装置的动作，也以图像修剪部13的动作为主进行说明，对于除了图像修剪部13以外的动作，省略说明。

图像修剪部13与图像布局决定部6以及控制部10连接，另外，与输出部7以及显示控制部8连接。

图像修剪部13在将规定的图像(下面，称为配置图像)配置在由图像布局决定部决定出的图像配置区域中时，对配置图像进行规定的修剪处理，使得配置图像对应于图像配置区域的形状。

图11表示在图像修剪部13中进行的修剪处理的模式的图，图像修剪部13基于配置图像的图像内容，通过规定的模式进行配置图像的修剪处理。

如图11所示，在配置图像中呈现有主人公以及重要人物且在主人公以及重要人物的附近没有呈现其他人物的情况下，作为模式1，对配置图像进行修剪处理，使得主人公以及重要人物配置在中心。另外，在配置图像中呈现有主人公以及重要人物且在主人公以及重要人物附近呈现有其他人物的情况下，作为模式2，对配置图像进行修剪处理，使得除了主人公以及重要人物以外还包含其他人物。另外，在配置图像中没有呈现主人公以及重要人物的情况下，作为模式3，对配置图像进行修剪，使得包含所有人物。此外，图11示出的修剪处理的模式是一个例子，并不限定于此，例如，对于较大地仅呈现主人公或者仅呈现重要人物的配置图像，可以进行修剪，使得主人公或者重要人物进行较大的显示。

如上所述，通过图像修剪部13根据配置图像的内容进行配置图像的修剪处理，能够将配置图像修剪为更具有魅力的图像，另外，能够进行更具有魅力的图像布局。

另外，配置图像的主人公以及重要人物的有无不仅反映在上述的修剪处理中，还能够反映在图像布局决定部6的图像布局中。

例如，如图12所示，在主人公以及重要人物呈现在配置图像的左下方、其他人物呈现在配置图像的右上方的情况下，可以明确出配置图像中的主人公的面部图像的位置、重要人物的面部图像的位置、以及其他人物的面部图像的位置，因此，可以以主人公以及重要人物不被遮蔽的方式，在配置图像的上面重叠地配置其他的配置图像。其他人物由于重叠有其他配置图像而被遮蔽，但主人公以及重要人物不会被其他配置图像遮蔽，因此，能够进行用户的满意度较高的图像布局。

(重要人物的判定处理的其他方式)

另外，重要人物的判定处理不限定于上述的例子，例如，不仅是与主人公一起呈现的图像数据的数量，也可以是在与主人公一起呈现的图像中，计算出特定的人物的面部图像与主人公的面部图像之间的距离(面部图像之间的距离)，例如，基于面部图像之间的距离的平均值判定重要人物。此外，由于上述的面部图像之间的距离随着相对于原始图像的面部图像的大小发生变化，因此，将主人公的面部图像设为规定的尺寸的情况作为基准，计算出面部图像之间的距离。如上所述，通过在使主人公的面部图像的尺寸与规定的尺寸一致的基础上计算出面部图像之间的距离，而能够在面部图像的大小不同的各种图像数据之间通用，处理图像之间距离。另外，在上述的例子中，虽然使用图像之间的距离的平均值，但不限定于平均值，例如，也可以将图像之间的距离的最小值、众数作为基准。

另外，不仅基于面部图像之间的距离判定重要人物，还可以基于与主人公一起呈现的图像的数量和面部图像之间的距离这两者判定重要人物。另外，不限定于这些方法，还可以将呈现主人公的图像与呈现除了主人公以外的人物的图像的拍摄日期时间的差异、拍摄位置(GPS的信息等)的差异等信息与上述的一起呈现的图像的数量、图像之间的距离组合，判定重要人物。拍摄日期时间的差异越小，或者，拍摄位置的差异越小，越能够判定是与主人公在同一事件等中进行拍摄的图像，因此，能够判定是与主人公关联性较高的人物。

另外，相同人物判定处理不限定于上述的方法，例如能够利用使用(Gobar)戈巴尔滤波器的方法等各种公知的方法。

另外，如上所述，图像数据或者面部图像数据具有元信息，但不需要将元信息附加并存储在这些图像数据或者面部图像数据中，可通过下述方式进行存储，即，与图像数据或者面部图像数据相关联，独立于图像数据或者面部图像数据，能够从图像数据或者面部图像数据进行访问。

另外，在上述的实施方式中，从多个图像数据中提取用于对图像商品进行布局的多个候补图像数据，但在多个图像数据较少的情况下，可以不进行候补图像数据的提取处理，而将多个图像数据的全部作为多个候补图像数据。

此外，上述的本发明的重要人物判定方法通过执行重要人物判定程序，而能够在计算中进行处理，此外，上述的本发明的图像布局方法通过执行图像布局程序，而能够在计算机中进行处理。例如，本发明的重要人物判定程序具有使计算机的CPU进行上述的重要人物判定方法的各步骤的流程，本发明的图像布局程序具有使计算机的CPU进行上述的图像布局方法的各步骤的流程。由这些流程构成的程序可以构成为1个或者多个程序模块。

由这些计算机所执行的流程构成的重要人物判定程序以及图像布局程序可以存储在计算机的未图示的内部存储器等中，另外，也可以存储在记录介质中，在执行时，由该CPU等从未图示的内部存储器或者记录介质中读出并执行。

由此，本发明也可以是计算机可读取的存储器或者记录介质，该存储器或者记录介质存储有上述的重要人物判定程序或者上述的图像布局程序。

上面，对本发明的图像处理装置、重要人物判定方法、基于重要人物的图像布局方法、以及程序和记录介质进行了详细说明，但本发明不限定于上述的实施方式，可以在不脱离本发明的主旨的范围内进行各种的改良或者变更。

Claims (19)

1.一种图像处理装置，其特征在于，具有：

图像数据获取部，其获取多个图像数据；

面部图像检测部，其从由所述图像数据获取部获取的所述多个图像数据中检测面部图像；

人物确定部，其基于在所述面部图像检测部中检测出的多个所述面部图像，进行相同人物判定处理，并将所述多个面部图像分类至由相同人物的面部图像构成的图像组中，从而分别确定出与各图像组相对应的人物；

主人公决定部，其将由所述人物确定部确定出的人物中的至少一个人物决定为主人公；以及

重要人物判定部，其基于在所述主人公决定部中决定出的所述主人公，将由所述人物确定部确定出的除了所述主人公以外的人物中的、与所述主人公关联性较高的至少一个人物，判定为重要人物。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述主人公决定部将所述面部图像的检测数量最多的人物决定为主人公。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

所述重要人物判定部将由所述人物确定部确定出的除了所述主人公以外的人物中的、与所述主人公一起呈现的图像数据的数量最多的人物，判定为所述重要人物。

4.根据权利要求1或2所述的图像处理装置，其特征在于，

所述面部图像检测部从所述多个图像数据中检测所述面部图像，并且，检测所述面部图像的位置信息，

所述重要人物判定部基于在所述面部图像检测部中检测出的、在相同图像中呈现的所述主人公的所述位置信息和除了所述主人公以外的人物的所述位置信息，计算出2个面部图像之间的距离，基于所述2个面部图像之间的距离，判定所述重要人物。

5.根据权利要求1或2所述的图像处理装置，其特征在于，

所述多个图像数据分别具有作为元信息的拍摄日期时间信息以及拍摄位置信息中的至少一个，

所述重要人物判定部基于呈现所述主人公的图像数据的所述拍摄日期时间信息与呈现除了所述主人公以外的人物的图像数据的所述拍摄日期时间信息的差异、以及呈现所述主人公的图像数据的所述拍摄位置信息与呈现除了所述主人公以外的人物的图像数据的所述拍摄位置信息的差异中的至少一个，判定所述重要人物。

6.根据权利要求1或2所述的图像处理装置，其特征在于，

还具有：

存储部，其存储所述多个图像数据；

图像数据管理部，其将在所述存储部存储的所述多个图像数据分类，作为规定的管理图像组进行管理；以及

显示部，其对表示出所述规定的管理图像组的管理画面进行显示，

所述图像数据管理部在所述规定的管理图像组中存在包含所述主人公以及所述重要人物中至少一方的图像数据的情况下，对所述显示部所显示的所述管理画面进行强调显示。

7.根据权利要求1或2所述的图像处理装置，其特征在于，

还具有：

优先级设定部，其基于在所述主人公决定部中决定出的所述主人公和在所述重要人物判定部中判定出的所述重要人物，设定所述多个图像数据的优先级；

图像布局决定部，其基于在所述优先级设定部中设定出的所述优先级，决定所述多个图像数据的布局；以及

输出部，其按照由所述图像布局决定部决定出的所述布局输出所述多个图像数据。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述优先级设定部基于所述主人公和所述重要人物的有无、所述主人公和所述重要人物的配置、以及所述主人公和所述重要人物与其他人物的位置关系中的至少一项，设定所述优先级。

9.根据权利要求7所述的图像处理装置，其特征在于，

还具有人物变更部，该人物变更部基于用户的指示，变更所述主人公或者所述重要人物，

所述优先级设定部基于由所述人物变更部变更后的所述主人公或者所述重要人物，变更所述优先级，

所述图像布局决定部基于变更后的所述优先级，变更所述多个图像数据的布局。

10.根据权利要求7所述的图像处理装置，其特征在于，

还具有图像修剪部，该图像修剪部与所述布局相对应，对基于所述多个图像数据的图像实施修剪处理，

所述图像修剪部基于所述主人公和所述重要人物的有无、所述主人公和所述重要人物的配置、以及所述主人公和所述重要人物与其他人物的位置关系中的至少一项，进行所述修剪处理。

11.一种重要人物判定方法，其特征在于，

从多个图像数据中检测面部图像，

基于检测出的多个所述面部图像，进行相同人物判定处理，并将所述多个面部图像分类至由相同人物的面部图像构成的图像组中，从而分别确定出与各图像组相对应的人物，

将确定出的人物中的至少一个人物决定为主人公，

基于决定出的所述主人公，将除了所述主人公以外的人物中的、与所述主人公关联性较高的至少一个人物判定为重要人物。

12.根据权利要求11所述的重要人物判定方法，其特征在于，

将所述面部图像的检测数量最多的人物决定为主人公。

13.根据权利要求11或12所述的重要人物判定方法，其特征在于，

将除了所述主人公以外的人物中的、与所述主人公一起呈现的所述图像数据的数量最多的人物判定为所述重要人物。

14.根据权利要求11或12所述的重要人物判定方法，其特征在于，

从多个图像数据中检测所述面部图像，并且，检测所述面部图像的位置信息，

基于在相同图像中呈现的所述主人公的所述位置信息和除了所述主人公以外的人物的所述位置信息，计算出2个面部图像之间的距离，基于所述2个面部图像之间的距离，判定所述重要人物。

15.根据权利要求11或12所述的重要人物判定方法，其中，

所述多个图像数据分别具有作为元信息的拍摄日期时间信息以及拍摄位置信息中的至少一个，

基于呈现所述主人公的图像数据的所述拍摄日期时间信息与呈现除了所述主人公以外的人物的图像数据的所述拍摄日期时间信息的差异、以及呈现所述主人公的图像数据的所述拍摄位置信息与呈现除了所述主人公以外的人物的图像数据的所述拍摄位置信息的差异中的至少一个，判定所述重要人物。

16.一种图像布局方法，其特征在于，

基于所述主人公、和根据权利要求11至15中任一项所述的重要人物判定方法判定出的所述重要人物，决定所述多个图像数据的优先级，

基于所述优先级，决定所述多个图像数据的布局。

17.根据权利要求16所述的图像布局方法，其特征在于，

基于所述主人公和所述重要人物的有无、所述主人公和所述重要人物的配置、以及所述主人公和所述重要人物与其他人物的位置关系中的至少一项，决定所述优先级。

18.根据权利要求16或17所述的图像布局方法，其特征在于，

在基于用户的指示变更所述主人公或者所述重要人物的情况下，基于变更后的所述主人公或者所述重要人物，变更所述优先级，

基于变更后的所述优先级，变更所述多个图像数据的所述布局。

19.根据权利要求16或17所述的图像布局方法，其特征在于，

基于所述主人公和所述重要人物的有无、所述主人公和所述重要人物的配置、以及所述主人公和所述重要人物与其他人物的位置关系中的至少一项，以及所述布局，对基于所述多个图像数据的图像进行修剪处理。