CN106445424A - 信息处理方法及信息处理装置 - Google Patents

Abstract

本发明提供一种信息处理方法及信息处理装置。信息处理方法包括：划分步骤，基于指示与多个图像中的各个图像相对应的时间的时间信息，来将所述多个图像划分为多个图像组；匹配步骤，在通过在所述划分步骤中获得的所述图像组的数量小于预定数量的情况下，通过增加所述图像组的数量，来将所述图像组的数量与所述预定数量相匹配，而在通过在所述划分步骤中获得的所述多个图像组的数量大于所述预定数量的情况下，通过减少所述图像组的数量，来将所述图像组的数量与所述预定数量相匹配；以及布局步骤，将通过所述匹配步骤中获得的所述图像组中的各个图像组中包括的至少一个图像，布局在模板中。

Description

信息处理方法及信息处理装置

技术领域

本发明涉及用于处理图像数据的信息处理方法及信息处理装置。

背景技术

通过各种图像输出装置(例如监视器和打印机)输出(显示和打印)由图像生成装置(例如数字照相机、数字摄像机或扫描器)拍摄的图像。如果输出多个图像，则使用如下方法：与包含照片的相册类似，向一个跨页分配多个图像，并且针对各跨页输出图像。例如，在多个跨页上分配图像的相册中，如果按照拍摄顺序将图像简单地布置在各跨页上，则各跨页上的图像可能不会被很好地组织。日本特开2007-318461号公报描述了如下方法：通过基于诸如日期或月份的期间单位划分图像，来布局各图像。

如果以诸如期间的预定单位将所有图像划分为多个图像组，向跨页分配各图像组，然后从要布局在跨页上的分配的图像组中选择优选的图像，则划分的期间的数量可能与跨页的数量不匹配。

发明内容

本发明的一方面在于消除传统技术的上述问题。本发明提供了用于将布局对象的多个图像适当地布局在多个模板中的信息处理方法以及信息处理装置。

本发明的第一方面提供了一种信息处理方法，所述信息处理方法包括：划分步骤，基于指示与多个图像中的各个图像相对应的时间的时间信息，来将所述多个图像划分为多个图像组；匹配步骤，在通过在所述划分步骤中划分所述多个图像而获得的所述多个图像组的数量小于预定数量的情况下，通过进行用于增加所述多个图像组的数量的第一处理，来将所述多个图像组的数量与所述预定数量相匹配，而在通过在所述划分步骤中划分所述多个图像而获得的所述多个图像组的数量大于所述预定数量的情况下，通过进行用于减少所述多个图像组的数量的第二处理，来将所述多个图像组的数量与所述预定数量相匹配；以及布局步骤，将通过所述匹配步骤中的处理而获得的所述多个图像组中的各个图像组中包括的至少一个图像，布局在模板中。

本发明的第二方面提供了一种信息处理装置，所述信息处理装置包括：划分单元，其被构造为基于指示与多个图像中的各个图像相对应的时间的时间信息，来将所述多个图像划分为多个图像组；控制单元，其被构造为在通过所述划分单元划分所述多个图像而获得的所述多个图像组的数量小于预定数量的情况下，通过进行用于增加所述多个图像组的数量的第一处理，来将所述多个图像组的数量与所述预定数量相匹配，而在通过所述划分单元划分所述多个图像而获得的所述多个图像组的数量大于所述预定数量的情况下，通过进行用于减少所述多个图像组的数量的第二处理，来将所述多个图像组的数量与所述预定数量相匹配；以及布局单元，其被构造为将通过所述控制单元的处理而获得的所述多个图像组中的各个图像组中包括的至少一个图像，布局在模板中。

根据本发明，能够将布局对象的多个图像适当地布局在多个模板中。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出图像处理装置的硬件结构的框图；

图2是示出相册创建应用的软件框图；

图3是示出由相册创建应用提供的显示画面的图；

图4A和图4B是例示自动布局处理的流程图；

图5是示出图像分析信息的表；

图6A至图6C是各自示出图像数据组的场景划分的结果的图；

图7是示出各场景的平均值和标准偏差的表；

图8A和图8B是示出评分轴的概念的表；

图9是用于说明图像数据的选择的图；

图10是示出要用来布局图像数据的模板组的图；

图11是例示子场景划分处理的流程图；以及

图12A和图12B是各自示出各场景的场景信息的表。

具体实施方式

以下将参照附图详细描述本发明的优选实施例。应当理解，下面的实施例并不限制本发明的权利要求，并且并非根据这些实施例描述的方面的全部组合均是对于解决根据本发明的问题的手段所必须的。请注意，相同的附图标记表示相同的组件，因此将省略其描述。

[第一实施例]

本实施例将描述如下处理：在图像处理装置上运行相册创建应用，并通过自动布局功能生成布局。

图1是示出图像处理装置的硬件结构的框图。请注意，图像处理装置的示例为PC和智能电话。在本实施例中，使用PC。CPU(中央处理单元/处理器)101总体控制图像处理装置100，并且通过例如将存储在ROM 102中的程序读出到RAM 103中并执行该程序，来实现根据本实施例的操作。参照图1，图像处理装置包括一个CPU。然而，可以包括多个CPU。ROM 102是通用ROM，并且存储例如要由CPU 101执行的程序。RAM 103是通用RAM，并且用作例如用于在CPU 101执行程序时临时存储各种信息的工作存储器。HDD(硬盘)104是用于存储数据库以及由相册创建应用使用的模板的存储介质(存储单元)，该数据库保持图像文件以及图像分析等的处理结果。

显示器105向用户显示本实施例的用户界面(UI)以及图像的布局结果。键盘106和指示设备107接受来自用户的指令操作。显示器105可以具有触摸传感器功能。键盘106例如用来供用户输入要在显示器105上显示的UI上创建的相册的跨页数量。指示设备107例如用来供用户点击在显示器105上显示的UI上的按钮。

数据通信单元108经由诸如有线网络或无线网络的网络，与外部装置进行通信。例如，数据通信单元108将通过自动布局功能布局的数据，发送至与图像处理装置100可通信的打印机或服务器。数据总线109以可通信的方式连接图1中示出的各块。

如稍后所描述的，根据本实施例的相册创建应用被保存在HDD 104中，并且在用户通过指示设备107双击显示在显示器105上的应用的图标时被启动。

图2是示出相册创建应用的软件框图。图2是具体示出用于执行自动布局功能的自动布局处理模块216的软件框图。相册创建条件指定模块201向自动布局处理模块216输出与通过指示设备107的用户UI操作(稍后描述)相对应的相册创建条件。请注意，CPU 101通过执行HDD 104中保存的相册创建应用而用作图2中示出的各块。

图像获取模块202从HDD 104获取通过相册创建条件指定模块201指定的图像数据组。图像转换模块203将要用于后续处理的图像数据，转换为具有期望的像素数和颜色信息的图像数据。在本实施例中，图像转换模块203将图像数据转换为在短边具有420像素的像素数且具有sRGB颜色信息的分析图像数据。图像分析模块204基于分析图像数据，执行稍后描述的特征量获取处理、面部检测处理、表情识别处理和个人识别处理中的各个处理。图像分析模块204还获取添加到从HDD 104获取的图像数据的数据，例如从Exif信息中获取拍摄日期/时间。图像分类模块205使用拍摄日期/时间信息、拍摄图像的数量、检测到的面部信息等，对图像数据组执行稍后描述的场景划分和场景分类两者。场景指示诸如旅行、日常生活或婚礼的拍摄场景。图像评分模块207对各图像数据进行评分，使得适于布局的图像具有高分数。如稍后所描述的，图像评分模块207使用来自图像分析模块204的信息以及来自图像分类模块的信息，进行评分。

主要人物信息输入模块206向图像评分模块207输入由相册创建条件指定模块201指示的主要人物的ID(标识信息)。图像评分模块207被构造为向包括从主要人物信息输入模块206输入的主要人物ID的图像数据，添加更高的分数。

跨页分配模块209划分图像数据组，并向相册的各跨页分配图像数据。跨页输入模块208向跨页分配模块209输入从相册创建条件指定模块201指定的相册的跨页数量。相册的跨页数量对应于布置有多个图像的多个模板的数量。跨页分配模块209根据输入的跨页数量划分图像数据组，并向各跨页分配图像数据组的一些数据(划分数据)。基于由图像评分模块207添加的分数，图像选择模块210从由跨页分配模块209分配给各跨页的图像数据组的一些数据中，选择与从相册创建条件指定模块201指定的间隙(slot)的数量一样多的图像数据。

图像布局模块212决定图像数据的布局。模板输入模块211向图像布局模块212输入与从相册创建条件指定模块201指定的模板信息相对应的多个模板。图像布局模块212从输入自模板输入模块211的多个模板中，选择适于由图像选择模块210选择的图像数据的模板，并决定图像数据的布局。布局信息输出模块215根据由图像布局模块212决定的图像数据的布局，输出用于将图像数据显示在显示器105上的布局信息。布局信息是例如通过将由图像选择模块210选择的图像数据布局在所选择的模板中而获得的位图数据。

图像校正模块214执行遮光校正(亮度校正)、红眼校正和对比度校正。图像校正条件输入模块213向图像校正模块214输入从相册创建条件指定模块201指定的图像校正的ON/OFF(开/关)条件。如果图像校正条件为ON，则图像校正模块214校正图像数据。如果图像校正条件为OFF，则图像校正模块214不校正图像数据。请注意，图像校正模块214根据校正的ON/OFF，来校正从图像转换模块203输入的图像数据。可以根据由图像布局模块212决定的布局的大小，来改变从图像转换模块203输入到图像校正模块214的图像数据的像素数。

当将相册创建应用安装在图像处理装置100中时，启动图标显示在图像处理装置100上运行的OS(操作系统)的顶层画面(桌面)上。当用户通过指示设备107双击显示器105上显示的桌面上的启动图标时，保存在HDD 104中的相册创建应用的程序被加载到ROM 102中。当CPU101将ROM 102中的程序读出到RAM 103中并执行该程序时，启动相册创建应用。

图3是示出由相册创建应用提供的显示画面301的示例的图。显示画面301显示在显示器105上。用户经由显示画面301设置相册创建条件(稍后描述)，并且相册创建条件指定模块201获取来自用户的设置内容。

显示画面301上的路径框302显示作为相册创建对象的图像数据组在HDD 104中的保存位置(路径)。当用户使用指示设备107对文件夹选择按钮303进行点击操作时，以用户可选择的树结构，显示包括作为相册创建对象的图像数据组的文件夹。包括由用户选择的图像数据组的文件夹路径显示在路径框302中。

主要人物指定图标304是供用户指定主要人物使用的图标。人的面部图像被显示为图标。多个不同的面部图像的图标被布置并被显示在主要人物指定图标304中，并且用户通过使用指示设备107进行点击能够选择这些图标。跨页数量框305从用户接受对相册的跨页数量的设置。用户经由键盘106向跨页数量框305直接输入数值，或者使用指示设备107从列表向跨页数量框305输入数值。

模板指定图标306显示各样式(流行艺术式、别致式等)模板的例示图像。多个模板图标被布置并被显示在模板指定图标306中，并且用户通过使用指示设备107进行点击能够选择这些图标。复选框307从用户接受图像校正的ON/OFF的指定。如果选中了复选框307，则指定图像校正ON。如果未选中复选框307，则指定图像校正OFF。

当用户按下了OK按钮308时，相册创建条件指定模块201获取在显示画面301上设置的内容。相册创建条件指定模块201向相册创建应用的自动布局处理模块216输出获取的设置内容。此时，输入到路径框302的路径被传输到图像获取模块202。主要人物指定图标304中选择的主要人物的个人ID被传输到主要人物信息输入模块206。输入到跨页数量框305的跨页数量被传输至跨页输入模块208。在模板指定图标306中选择的模板信息被传输至模板输入模块211。图像校正复选框307中的图像校正的ON/OFF指定被传输至图像校正条件输入模块213。显示画面301上的复位按钮309是用来复位显示画面301上的各设置信息的按钮。

图4A和图4B是例示相册创建应用的自动布局处理模块216的处理的流程图。例如当CPU 101将存储在HDD 104中的程序读出到ROM 102或RAM 103中并执行该程序时，实现图4A和图4B中示出的流程图。将参照图4A和图4B描述自动布局处理。

在步骤S401中，图像转换模块203生成分析图像数据。图像转换模块203将已经由相册创建条件指定模块201指定的、HDD 104中的图像数据组的各图像数据，转换为具有期望像素数和颜色信息的分析图像数据。在本实施例中，图像转换模块203将各图像数据转换为在短边具有420像素的像素数且具有sRGB颜色信息的分析图像数据。

在步骤S402中，图像分析模块204获取图像特征量。例如，图像分析模块204从Exif信息中，获取添加到从HDD 104获取的各图像数据的拍摄日期/时间。图像分析模块204从在步骤S401中生成的分析图像数据中获取特征量。特征量的示例为焦点。通常已知Sobel滤波器作为边缘检测方法。Sobel滤波器用于进行边缘检测，并且通过将边缘的起始点与结束点之间的亮度差除以起始点与结束点之间的距离，来计算边缘的梯度。基于图像中的边缘的平均梯度的计算结果，可以将具有大平均梯度的图像视为比具有小平均梯度的图像更好地对焦。如果针对梯度设置了多个不同阈值，则能够通过确定等于或小于梯度的阈值，来输出聚焦量(focus amount)的评估值。在本实施例中，预设两个不同的阈值，并且以三个等级○、Δ和×来确定焦点量。例如，将相册要采用的焦点的梯度确定为○，将焦点的容许梯度确定为Δ，并将非容许梯度确定为×，由此预设各阈值。例如，可以通过相册创建应用的创建源等来提供各阈值，或者可以在用户界面上设置各阈值。

在步骤S403中，图像分析模块204对在步骤S401中生成的分析图像数据执行面部检测。可以使用公知方法用于面部检测处理。例如，使用用于从多个准备好的弱辨别器创建强辨别器的Adaboost。在本实施例中，使用由Adaboost创建的强辨别器来检测人(物体)的面部图像。图像分析模块204提取面部图像，并获取检测到的面部图像的位置的左上坐标值和右下坐标值。通过具有这两种坐标，图像分析模块204能够获取面部图像的位置和大小。可以通过替代面部将诸如动物(像狗或猫)、花、食物、建筑物或装饰物体等的物体，设置为检测对象，来由Adaboost创建强辨别器。这使得图像分析模块204能够检测除面部图像以外的物体。

在步骤S404中，图像分析模块204通过比较在步骤S403中检测到的面部图像与针对各个人ID而保存在面部词典数据库中的代表面部图像之间的相似度，来进行个人识别。图像分析模块204将具有等于或大于阈值的最大相似度的ID，设置为检测到的面部图像的ID。请注意，如果相似度小于阈值，则图像分析模块204将提取出的面部图像作为具有新的个人ID的新面部，登记在面部词典数据库中。

如图5所示，图像分析模块204针对用于识别各图像的各ID，辨别在步骤S402至步骤S404中获取的图像分析信息，并将该图像分析信息存储在诸如RAM 103的存储区域中。例如，如图5所示，以表格的形式，存储在步骤S402中获取的拍摄日期/时间信息和焦点确定结果以及在步骤S403中检测到的面部图像的数量和位置信息。请注意，针对在步骤S404中获取的各个个人ID来辨别并存储面部图像的位置信息。

在步骤S405中，确定针对已经由相册创建条件指定模块201指定的、HDD 104中的图像数据组的所有图像数据，步骤S401至步骤S404中的处理是否结束。如果确定处理尚未结束，则从步骤S401重复处理；否则处理进行到步骤S406。

在步骤S406中，图像分类模块205执行场景划分。图像分类模块205基于根据在步骤S402中获取的拍摄日期/时间信息已经计算出的、图像之间的时间差，将图像数据组划分为多个场景。在本实施例中，例如，如果在图像数据之间存在未进行拍摄的日期，则参照该部分来划分图像数据组。可以基于其他准则进行划分。例如，当即使在拍摄日期连续的情况下仍然进行划分时，参照时间差为16个小时或更长的部分进行划分。当时间差短于16个小时时，如果在各连续日期的首次拍摄操作与最后拍摄操作之间的时间差短于4个小时，则进行划分。当时间差等于或长于4个小时时，如果在各连续日期的拍摄图像的数量小于50，则进行划分。如果拍摄图像的数量等于或大于50，则不进行划分。图6A是示出通过上述场景划分方法对图像数据组进行场景划分的结果的示例的图。

在步骤S407中，图像分类模块205执行场景分类。在本实施例中，图像分类模块205将通过执行场景划分而获得的划分的图像数据，分类为旅行、日常生活和婚礼场景中的一个。在本示例中，在开始图4A和图4B的自动布局处理之前，用户预先收集并指定被确定为旅行、日常生活或婚礼场景的多个图像数据。

现在将描述由用户预先进行的指定。

例如，相册创建条件指定模块201接受由用户在用户界面画面(未示出)上确定为旅行场景的多个图像数据的指定。图像分析模块204获取图像数据的特征量。获取的特征量例如是拍摄期间、拍摄图像的数量和拍摄人物的数量。拍摄期间是多个图像数据的首次拍摄操作与最后拍摄操作之间的时间差。拍摄图像的数量是多个图像数据的数量。拍摄人物的数量是拍摄面部的数量。结果，针对由用户确定为旅行场景的多个图像数据的一个图像数据组，获取如下特征量：拍摄期间、拍摄图像的数量和拍摄人物的数量。

图像分析模块204针对由用户进一步指定的另一图像数据组，获取如下特征量：拍摄期间、拍摄图像的数量和拍摄人物的数量。基于从多个图像数据组获取的特征量，图像分析模块204获得拍摄期间的平均值和标准偏差、拍摄图像的数量的平均值和标准偏差以及拍摄人物的数量的平均值和标准偏差。图7示出了获得的平均值和标准偏差。图像分析模块204将这些值预先存储在诸如ROM 102的存储区域中。作为另选方案，这些值可以预先嵌入在相册创建应用的程序中。

将再次说明图4A和图4B的处理。在启动相册创建应用之后，图像分类模块205针对通过在步骤S406中对由用户在路径框302中指定的图像数据组进行场景划分而获得的各划分数据，计算拍摄期间、拍摄图像的数量和拍摄人物的数量的各特征量的分数。图像分类模块205针对图7中示出的各场景，使用平均值和标准偏差，通过以下等式来计算各划分数据的拍摄期间、拍摄图像的数量和拍摄人物的数量中的各个的分数以及计算出的分数的平均分数：

分数＝50-|10×(平均值-特征量)/标准偏差| …(1)

平均分数＝(拍摄期间的分数+拍摄图像的数量的分数+拍摄人物的数量的分数)/特征量项目的数量 …(2)

作为计算的结果，针对各划分数据的图像数据来计算旅行、日常生活和婚礼场景中的各个的平均分数。图像分类模块205将各划分数据的图像数据分类为与最高分数相对应的场景。如果存在具有相同分数的场景，则根据各场景的预定优先级进行分类。例如，在本实施例中，确定日常生活的优先级＞婚礼的优先级＞旅行的优先级，日常生活场景具有最高优先级。例如，针对场景划分之后的图6A中示出的图像数据组5，拍摄期间为36个小时，拍摄图像的数量为300，拍摄人物的数量为1.7。通过等式(1)和等式(2)计算出的旅行场景的平均分数为45.32，日常生活场景的平均分数为18.38，婚礼场景的平均分数为-29.92。因此，图像数据组5被分类为旅行场景。图像分类模块205对图像数据组被分类到的场景分配场景ID，以使所述场景可识别，从而管理场景。

在步骤S408中，确定针对通过在步骤S406中进行划分而获得的所有划分数据，步骤S407中的场景分类处理是否已经结束。如果确定场景分类处理尚未结束，则从步骤S407重复处理；否则，处理进行到步骤S409。

在步骤S409中，图像评分模块207执行主要人物设置。通过两种设置方法(即，自动设置方法和手动设置方法)中的一种，对由用户指定的图像数据组执行主要人物设置。图像评分模块207能够从在步骤S404中执行的个人识别的结果以及在步骤S406中执行的场景划分的结果中，获取各个个人ID在图像数据组中出现的次数、各个个人ID在各场景中出现的次数、各个个人ID出现的场景的数量等。图像评分模块207基于与用户指定无关的信息自动设置主要人物。在本实施例中，如果存在多个场景，则图像评分模块207将多次出现在所述多个场景中的个人ID，设置为主要人物ID。如果存在一个场景，则图像评分模块207将多次出现在该场景中的个人ID，设置为主要人物ID。

如果用户指定了主要人物指定图标304，则主要人物信息输入模块206将指定的个人ID传输至图像评分模块207。如果用户指定了个人ID，则图像评分模块207将与自动设置的主要人物ID无关的由用户指定的个人ID，设置为主要人物ID。下文中，将该设置称为手动设置。

在步骤S410中，图像评分模块207执行评分。评分是指，通过对在以下方面评估各图像数据而获得的分数进行分配(评分)。当选择要用于布局(稍后描述)的图像数据时参照该分数。图10是示出要用来布局图像数据的模板组的图。模板组中包括的多个模板中的各个模板对应于各跨页。模板1001是一个模板，间隙(slot)1002指示主间隙，间隙1003和间隙1004指示副间隙。主间隙1002是模板1001中的主间隙(布局有图像的框)，并且在尺寸上大于副间隙1003和副间隙1004。图像评分模块207将主间隙分数和副间隙分数分配给各图像数据。

图8A是针对旅行、日常生活和婚礼场景中的各个示出针对主间隙和副间隙而被选择用于相册的图像的特征的表。

在开始图4A和图4B的自动布局处理之前，用户预先收集并指定被确定为符合图8A所示的各场景的主间隙和副间隙的特征的多个图像数据。

现在将描述用户预先进行的指定。

例如，相册创建条件指定模块201接受由用户在用户界面画面(未示出)上确定为适于旅行场景的主间隙(或副间隙)的多个图像数据的指定。图像分析模块204获取指定的图像数据中的各个的面部数量、面部位置和面部大小的特征量。结果，针对由用户确定为适于旅行场景的主间隙(或副间隙)的多个图像数据中的各个，获取面部数量、面部位置和面部大小的特征量。图像分析模块204获得面部数量的平均值和标准偏差、面部位置的平均值和标准偏差以及面部大小的平均值和标准偏差。如上所述，针对各场景的各间隙类型(主间隙和副间隙中的各个)，图像分析模块204获得平均值和标准偏差作为各特征量的统计值。图像分析模块204将这些值预先存储在诸如ROM 102的存储区域中。作为另选方案，这些值可以嵌入在相册创建应用的程序中。

图像评分模块207能够从步骤S407中的场景分类的结果中获取各图像数据所属的场景。图像评分模块207使用与关注图像数据的场景相对应的预先获得的上述平均值和标准偏差以及关注图像数据的主要人物ID的面部数量、面部位置和面部大小的特征量，通过以下等式计算平均分数：

分数＝50-|10×(平均值-特征量)/标准偏差| …(3)

平均分数＝(面部数量的分数+面部位置的分数+面部大小的分数)/特征量项目的数量 …(4)

图像评分模块207针对主间隙和副间隙两者执行评分。由于要用于相册的图像被更好地对焦，因此针对图5中所示的以○作为焦点的特征量的图像ID的图像数据添加预定分数。图8B示出了以上评分的分数结果的示例，其中，针对主间隙和副间隙对各图像ID进行评分。

也就是说，在本实施例中，如图8A所示，针对各场景来确定适于主间隙和副间隙的条件。用户预先指定被确定为适于主间隙和副间隙的图像数据。图像分析模块204获取由用户指定的各图像数据的面部数量、面部位置和面部大小的特征量，并获得各特征量的平均值和标准偏差。在启动相册创建应用之后，如果开始图4A和图4B的自动布局处理，则获得如下分数(相似度)，该分数(相似度)指示作为自动布局处理对象的各图像数据(已经历场景分类)、与例如针对主间隙的用户准则的接近程度。例如，参照图8B，针对主间隙，图像ID1被分配20分，针对主间隙，图像ID2被分配45分。也就是说，图像ID2更接近主间隙的用户准则。

将再次参照图4A和图4B。

在步骤S411中，图像评分模块207确定针对由用户指定的图像数据组的所有图像数据，步骤S410中的图像评分是否已经结束。如果确定评分尚未结束，则从步骤S410重复处理；否则处理进行到步骤S412。

在本实施例中，图像布局模块212将多个场景中的各个场景中包括的图像，布局在分别对应于多个场景的多个模板(多个跨页)中的各个模板中。由此，多个场景的数量需要匹配多个模板的数量(预定数量的跨页)。

在步骤S412中，跨页分配模块209确定步骤S406中的场景划分的划分数量是否等于从跨页输入模块208输入的相册的跨页数量。如果确定这些数量彼此不相等，则处理进行到步骤S413；否则，处理进行到步骤S416。例如，如图6A所示，如果场景划分数量为8，并且跨页输入模块208的输入数量为8，则处理进行到步骤S416。

在步骤S413中，跨页分配模块209确定步骤S406中的场景划分的划分数量是否小于从跨页输入模块208输入的跨页数量(用于相册的模板的数量)。如果确定划分数量不小于(等于或大于)跨页数量，则处理进行到步骤S415；否则，处理进行到步骤S414。如图6A所示，如果场景划分数量为8，并且跨页输入模块208的输入数量为10，则处理进行到步骤S414。

在步骤S414中，跨页分配模块209执行子场景划分。子场景划分指示当满足“场景划分数量＜相册的跨页数量”时对划分的场景进行细分的处理。如图6A所示，将描述如下情况：相册的指定跨页数量为10，而场景划分数量为8。图6B示出了在图6A所示的状态下进行子场景划分的结果。通过在虚线箭头指示的位置划分场景，将划分数量改变为10。

将描述划分准则。在图6A的划分图像组中搜索包括大量图像的划分图像组。为了将划分数量从8增加到10，决定各自包括大量图像的两个图像组。在图6A中，按照图像数量的降序决定图像组5及图像组1和图像组2。由于图像组1和图像组2的图像数量彼此相等，而图像组2具有第一图像与最后图像之间的更大的时间差，因此将图像组2决定为划分对象，并且分别划分图像组5和图像组2。

首先将描述图像组2的划分。由于图像组2包括拍摄日期不同的针对图像数量的两个峰值，因此在与两个峰值之间的位置相对应的、图6B所示的虚线箭头的位置处划分图像组2。接下来将描述图像组5的划分。图像组5包括指示三个连续日期的、针对图像数量的三个峰值。存在拍摄日期改变的两个位置。在图6B所示的虚线箭头的位置处划分图像组5，使得划分之后的图像数量的差小。如上所述，划分数量从8改变到10。在本示例中，在拍摄日期改变的位置处进行划分。如果包括大量图像的图像组具有一个拍摄日期，则可以在拍摄日期的时间差最大的位置处划分该图像组。

在步骤S415中，跨页分配模块209执行场景整合。场景整合指示当满足“场景划分数量＞相册的跨页数量”时整合划分的场景的处理。图6C示出了在图6A所示的状态下执行场景整合的结果。通过整合由虚线指示的位置处的场景，划分数量改变为6。

将描述整合准则。在图6A的划分图像组中搜索包括少量图像的划分图像组。为了将划分数量从8减少到6，决定各自包括少量图像的两个图像组。在图6A中，按照图像数量的升序决定图像组8、图像组3和图像组7。图像组3和图像组7的图像数量彼此相等。然而，由于与图像组7相邻的图像组8是整合对象，因此将图像组3决定为整合对象。结果，图像组8和图像组3各自经历整合。

将描述图像组3的整合。通过比较图像组3、与图像组3的前序图像组2和后序图像组4之间的时间差，确定与图像组4的时间差更小。因此，图像组3与图像组4整合，如图6C中的虚线的位置指示的。接下来将描述图像组8的整合。由于图像组8不具有后序图像组，因此图像组8与前序图像组7整合，如图6C中的虚线的位置指示的。

在步骤S416中，跨页分配模块209执行跨页分配。在步骤S412至步骤S415中，场景划分数量等于指定的跨页数量。跨页分配模块209按照拍摄日期顺序，将第一划分图像组分配给第一跨页。

在步骤S417中，图像选择模块210执行图像选择。下面将参照图9描述从分配给给定跨页的图像数据组的划分数据中选择四个图像数据的示例。

9A所示的开始与结束之间的部分，指示分配给跨页的划分数据的第一图像数据与最后图像数据的拍摄日期/时间之间的时间差(划分的拍摄期间)。将参照9B描述选择第一图像数据的方法。模板包括一个主间隙1002。因此，选择主间隙的图像数据作为第一图像数据。从与9B所示的划分数据的拍摄期间相对应的多个图像数据中，选择具有在步骤S410中已经分配的、主间隙的最高分数的图像数据。选择副间隙的图像数据作为第二和随后的图像数据。

在本实施例中，以不集中到被划分数据的拍摄期间的部分的方式进行图像选择。下面将描述根据本实施例对划分数据的拍摄期间进行细分的方法。如9C所示，划分数据的拍摄期间被划分为两部分。接下来，如9D所示，从由实线指示的尚未选择第一图像数据的拍摄期间中，选择第二图像数据。从与由9D中的实线指示的拍摄期间相对应的多个图像数据中，选择具有副间隙的最高分数的图像数据。

如9E所示，9D中的划分数据的各拍摄期间被划分为两部分。如9F所示，从与由实线指示的、既尚未选择第一图像数据也尚未选择第二图像数据的拍摄期间相对应的多个图像数据中，选择具有副间隙的最高分数的图像数据，作为第三图像数据。

将通过例示第四图像数据的选择，来描述如下情况：在要选择图像数据的拍摄期间不存在图像数据，因此无法选择图像数据。在9G所示的示例中，当从尚未选择图像数据的阴影拍摄期间中选择第四图像数据时，在阴影拍摄期间不存在图像数据。在这种情况下，如9H所示，划分数据的各拍摄期间被划分为两部分。接下来，如9I所示，从与由实线指示的、尚未选择第一图像数据至第三图像数据中的任何一者的拍摄期间相对应的多个图像数据中，选择具有副间隙的最高分数的图像数据，作为第四图像数据。

返回参照图4B，在步骤S418中，图像布局模块212决定图像布局。将描述如下示例：模板输入模块211根据指定的模板信息，向给定跨页输入图10的10a至10p中的一个。

在本示例中，作为示例，指定3作为输入模板的间隙数量。按照拍摄日期/时间的顺序，对三个选择的图像数据进行排序，以指示各图像的朝向是纵向还是横向，如10q所示。图像数据1005用于主间隙，图像数据1006和图像数据1007用于副间隙。在本实施例中，具有较早的拍摄日期/时间的图像数据被布局在模板的左上位置，具有较晚的拍摄日期/时间的图像数据被布局在右下位置。在10q中，由于主间隙的图像数据1005具有最晚的拍摄日期/时间，因此10m至10p的模板为候选。此外，由于副间隙的更旧图像数据1006为纵向图像，而更新图像数据1007为横向图像，因此10n的模板被决定为对于三个选择的图像数据最优的模板，由此决定布局。在步骤S418中，决定特定模板的特定间隙来布局特定图像。

在步骤S419中，图像校正模块214执行图像校正。如果从图像校正条件输入模块213输入图像校正ON，则图像校正模块214执行图像校正。作为图像校正，例如执行遮光校正(亮度校正)、红眼校正和对比度校正。如果从图像校正条件输入模块213输入图像校正OFF，则图像校正模块214不执行图像校正。针对sRGB颜色空间中的大小已经被转换为短边1200像素的图像数据，可执行图像校正。

在步骤S420中，布局信息输出模块215创建布局信息。图像布局模块212将在步骤S419中经历了图像校正的图像数据，布局在步骤S418中决定的模板的各间隙中。此时，图像布局模块212根据各间隙的大小信息，调整要布局的图像数据的大小，并布局该图像数据。布局信息输出模块215通过将图像数据布局在模块中，来生成位图数据。

在步骤S421中，确定针对所有跨页，步骤S417至步骤S420中的处理是否已经结束。如果确定处理尚未结束，则从步骤S417重复处理；否则，图4A和图4B的自动布局处理结束。

下面将详细描述图4B的步骤S414中的子场景划分。图11是例示与根据本实施例的相册创建应用的跨页分配模块209相关联的子场景划分处理的流程图。将参照图11描述子场景划分处理。

在步骤S1101中，跨页分配模块209执行子场景划分。使用与图4B的步骤S414中描述的子场景划分过程相同的过程作为子场景划分方法，因此将省略其描述。图12A是示出N＝14的示例的表，其中，N表示子场景划分数量。场景ID表示对于各划分的子场景唯一的ID(在本示例中，与数字1至数字14中的一个相对应)。

通过在各子场景中包括图像数量、人数、重要度、期间和时间差，来形成图12A中示出的场景信息。图像数量表示各划分的子场景中包括的图像数量。人数表示各场景中包括的图像中的人的总数。在本示例中，人数例如对应于由图像分析模块204检测到的面部的数量。重要度表示基于与指定的人相对应的权重的、包括在场景中的各图像数据的重要度的总和。在本实施例中，在图4A的步骤S409中的主要人物设置处理中，与自动或手动设置无关地，通过针对包括作为主要人物的人的图像数据设置“5”，并针对包括主要人物以外的人的图像设置“1”，来计算各图像数据的重要度的总和。也就是说，由于包括主要人物的图像数据的数量更大，因此可以将包括这些图像数据的场景确定为更重要的场景。请注意，重要度仅需要定义用于确定各场景的重要性的程度，并且本发明不限于主要人物。例如，可以基于从面部数量得出的人数来计算重要度。通过针对人数为1或更多的图像数据设置“5”，并针对人数为0的图像数据设置“1”，来计算各图像数据的重要度的总和。也就是说，由于包括许多面部的图像数据的数量更大，因此可以将包括这些图像数据的场景确定为更重要的场景。此外，如果图像数据包括从运动图像数据中提取出的图像，则图像数据的数量增加，并且相应场景的重要度可能提高。为了应对这种情况，获取指示图像数据是否为运动图像数据的标识符，并可以根据相应场景的重要度减少从运动图像中提取出的图像的数量。例如，通过针对从运动图像中提取出的图像数据设置“0.1”，并针对从运动图像中提取出的图像数据以外的图像数据设置“1”，来计算各图像数据的重要度的总和。也就是说，能够防止包括从运动图像中提取出的大量图像数据的场景，被错误地确定为重要场景。期间指示各划分的子场景中包括的图像的拍摄期间，并且表示当按照拍摄时间顺序对图像数据排序时的第一图数据与最后图像数据之间的时间差。时间差指示各划分的子场景之间的时间差，并且表示当按照拍摄时间顺序对图像数据排序时的对象场景的结束与下一场景的开始之间的拍摄间隔。稍后将描述图12A的“删除对象”和“场景整合ID”。

在步骤S1102中，跨页分配模块209删除子场景。在本实施例中，用于从对跨页的分配中排除子场景的条件是：场景信息的“重要度”为0。例如，图12A的场景ID“11”的重要度为0。因此，场景ID“11”满足以上条件，并由此指示删除对象的场景。

在步骤S1103中，跨页分配模块209整合(组合)子场景。跨页分配模块209重复子场景的整合，直到场景数量等于跨页数量。在本实施例中，指定的跨页数量例如为10。如图12A所示，整合了除删除对象的场景ID“11”的子场景以外的13个子场景。使用与图4B的步骤S415中描述的场景整合过程相同的过程作为子场景整合方法，因此将省略其描述。请注意，当选择作为整合目的地的场景时，可以选择图像数量小的场景或时间差小的场景，并且本发明不限于此。例如，如果场景分类的结果为相同场景，则可以将该场景与图像数量小的场景整合。如果场景分类的结果为不同场景，则可以将该场景与时间差小的场景整合。图12A的场景整合ID栏指示子场景的场景整合的结果。在图12A中，场景ID“2”和“3”指示要被整合为场景整合ID“2”的子场景。图12B是示出步骤S1102和步骤S1103的处理结果的表。如图12B所示，这些场景被整合，并且图12A的场景整合ID被设置为图12B的场景ID。请注意，随着场景整合来更新场景信息。

在步骤S1104中，跨页分配模块209针对各子场景，确定场景信息是否满足用于确定重要场景的条件。在本实施例中，跨页分配模块209使用场景信息来确定相应场景是否为重要场景。例如，包括大量图像(包含作为拍摄对象的主要人物)的日常生活场景、或者拍摄期间长且拍摄频率高的旅行场景，被确定为重要场景。结果，这种场景很可能保持在跨页内部作为值得形成跨页的场景。相反地，包括少量主要人物或人的场景、或者拍摄期间短且拍摄频率低的突发场景，被确定为不重要场景，并且很可能被设置为删除对象。在本实施例中，针对各子场景的场景信息，如下条件被预先确定为用于确定重要场景的条件：图像数量为10或更多，人数为10或更多，重要度为20或更高，期间为1.5小时或更多，时间差为12小时或更多。在图12B所示的示例中，所有的10个子场景均满足该条件。因此，在步骤S1104中，跨页分配模块209针对各子场景确定场景信息满足用于确定重要场景的条件，由此结束图11所示的处理。

如果在步骤S1104中针对各子场景确定场景信息不满足用于确定重要场景的条件，则处理进行到步骤S1105。在步骤S1105中，跨页分配模块209设置N＝N+1的划分数量，其中，N表示子场景划分数量。也就是说，在步骤S1105中，跨页分配模块209改变划分数量，重新执行步骤S1101至步骤S1103中的处理，并再次进行步骤S1104中的确定。请注意，由于划分数量的改变可能无限重复划分和整合，并且可能无法结束划分和整合，因此针对划分数量设置上限。确定是否已经达到划分数量的上限。如果确定达到了上限，则结束图11所示的处理，而不重置划分数量。

如上所述，当结束子场景划分处理时，所有子场景的场景信息满足用于确定重要场景的条件。也就是说，当子场景划分处理结束时，所有的子场景可以被确定为重要场景。此外，如上所述，场景划分数量等于指定的跨页数量，因此各跨页与图4B的步骤S416中的各子场景相关联。因此，被确定为重要场景的场景很可能保持在跨页内部作为值得形成跨页的场景。从而防止重要场景的丢失。

[第二实施例]

通过进行如下假设描述了第一实施例：通过在各子场景中包括图像数量、人数、重要度、期间和时间差来形成场景信息，并在步骤S1104的确定处理中使用场景信息。然而，在步骤S1104中，可以使用图像数据的内容作为进行确定的条件。例如，如果能够从拍摄场景的图像数据中获取诸如GPS信息的位置信息，则保持该位置信息作为场景信息。在步骤S1104中，确定拍摄场景的位置信息是否在表示诸如观光景点的预定场所的位置信息附近，或者拍摄场景的位置信息是否匹配表示用户喜欢的场所的位置信息。如果确定拍摄场景的位置信息在表示预定场所的位置信息附近，或者确定拍摄场景的位置信息匹配表示用户喜欢的场所的位置信息，则跨页分配模块209将该场景确定为重要场景。

如果能够从图像数据中获取拍摄信息，则保持拍摄信息作为场景信息。拍摄信息例如是诸如截屏或用于注释的拍摄图像的信息。如果认为诸如截屏或用于注释的拍摄图像的类型不适于要布局在跨页上的图像数据，则当这类图像数据的数量与各场景的图像数据的数量的比率等于或高于预定阈值时，将该场景确定为不重要场景。例如，在步骤S1104中，跨页分配模块209可以将，非跨页布局对象的图像数据的百分比为100％的场景的“重要度”设置为0，从而在步骤S1102中将该场景确定为删除对象。

在以上示例中，使用从图像数据获取的位置信息或拍摄信息作为步骤S1104中的确定处理的条件。然而，本发明不限于此，而可以使用能够从图像数据获取的任何信息，作为步骤S1104中的确定处理的条件。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多程序)以执行上述实施例中的一个或更多的功能、并且/或者包括用于执行上述实施例中的一个或更多的功能的一个或更多电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多的功能、并且/或者控制所述一个或更多电路执行上述实施例中的一个或更多的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一者或更多。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (19)

1.一种信息处理方法，所述信息处理方法包括：

划分步骤，基于指示与多个图像中的各个图像相对应的时间的时间信息，来将所述多个图像划分为多个图像组；

匹配步骤，在通过在所述划分步骤中划分所述多个图像而获得的所述多个图像组的数量小于预定数量的情况下，通过进行用于增加所述多个图像组的数量的第一处理，来将所述多个图像组的数量与所述预定数量相匹配，而在通过在所述划分步骤中划分所述多个图像而获得的所述多个图像组的数量大于所述预定数量的情况下，通过进行用于减少所述多个图像组的数量的第二处理，来将所述多个图像组的数量与所述预定数量相匹配；以及

布局步骤，将通过所述匹配步骤中的处理而获得的所述多个图像组中的各个图像组中包括的至少一个图像，布局在模板中。

2.根据权利要求1所述的信息处理方法，其中，在所述匹配步骤中，作为所述第一处理，将所述多个图像组中的至少一个图像组中包括的至少一个图像，决定为新的图像组。

3.根据权利要求1所述的信息处理方法，其中，在所述匹配步骤中，基于所述多个图像组中的各个图像组中包括的图像的时间信息，指定所述多个图像组中的至少一个图像组中的拍摄期间，并且基于所指定的拍摄期间，从所述多个图像组中选择要经历所述第一处理的图像组。

4.根据权利要求1所述的信息处理方法，其中，在所述匹配步骤中，作为所述第二处理，将所述多个图像组中的至少一个图像组中包括的至少一个图像，决定为所述多个图像组中的其他图像组中包括的图像。

5.根据权利要求4所述的信息处理方法，其中，在所述匹配步骤中，在所述多个图像组中的两个图像组中，指定由时间信息指示的时间之间的差，并基于所指定的差来选择其他图像组。

6.根据权利要求1所述的信息处理方法，其中，

所述预定数量是多个模板的数量，并且

在所述布局步骤中，将通过所述匹配步骤中的处理而获得的所述多个图像组中的各个图像组中包括的至少一个图像，布局在所述多个模板中的、与所述多个图像组中的各个图像组相对应的一个模板中。

7.根据权利要求6所述的信息处理方法，其中，在通过在所述划分步骤中划分所述多个图像而获得的所述多个图像组的数量与所述预定数量匹配的情况下，在所述布局步骤中，将所述多个图像组中的各个图像组中包括的至少一个图像，布局在所述多个模板中的、与所述多个图像组中的各个图像组相对应的一个模板中。

8.根据权利要求6所述的信息处理方法，其中，所述多个模板的数量为由用户指定的数量。

9.根据权利要求1所述的信息处理方法，所述信息处理方法还包括：

分类步骤，将通过在所述划分步骤中划分所述多个图像而获得的所述多个图像组中的各个图像组分类为多种场景中的一种；以及

选择步骤，基于与在所述分类步骤中各图像组被分类到的场景的种类相对应的准则，从所述多个图像组中的各个图像组中包括的多个图像中，选择要在所述布局步骤中布局的图像。

10.根据权利要求1所述的信息处理方法，所述信息处理方法还包括：

确定步骤，基于通过在所述划分步骤中划分所述多个图像而获得的所述多个图像组中的一个图像组中包括的至少一个图像，来确定是否布局该图像组，

其中，在所述布局步骤中，不对所述多个图像组当中的、在所述确定步骤中被确定为不进行布局的图像组中包括的图像进行布局。

11.根据权利要求10所述的信息处理方法，所述信息处理方法还包括：

决定步骤，基于关于所述多个图像组中的一个图像组中包括的至少一个图像中的拍摄对象的信息，来决定包括该图像的图像组的重要度，

其中，在所述确定步骤中，基于在所述决定步骤中决定的所述图像组的重要度，来确定是否布局所述图像组中包括的图像。

12.根据权利要求11所述的信息处理方法，所述信息处理方法还包括：

设置步骤，将拍摄对象设置为主要人物，

其中，在所述决定步骤中，对包括含有在所述设置步骤中设置的所述主要人物的大量图像的图像组，决定高的重要度。

13.一种信息处理装置，所述信息处理装置包括：

划分单元，其被构造为基于指示与多个图像中的各个图像相对应的时间的时间信息，来将所述多个图像划分为多个图像组；

控制单元，其被构造为在通过所述划分单元划分所述多个图像而获得的所述多个图像组的数量小于预定数量的情况下，通过进行用于增加所述多个图像组的数量的第一处理，来将所述多个图像组的数量与所述预定数量相匹配，而在通过所述划分单元划分所述多个图像而获得的所述多个图像组的数量大于所述预定数量的情况下，通过进行用于减少所述多个图像组的数量的第二处理，来将所述多个图像组的数量与所述预定数量相匹配；以及

布局单元，其被构造为将通过所述控制单元的处理而获得的所述多个图像组中的各个图像组中包括的至少一个图像，布局在模板中。

14.根据权利要求13所述的信息处理装置，其中，作为所述第一处理，所述控制单元将所述多个图像组中的至少一个图像组中包括的至少一个图像，决定为新的图像组。

15.根据权利要求13所述的信息处理装置，其中，所述控制单元基于所述多个图像组中的各个图像组中包括的图像的时间信息，指定所述多个图像组中的至少一个图像组中的拍摄期间，并且所述控制单元基于所指定的拍摄期间，从所述多个图像组中选择要经历所述第一处理的图像组。

16.根据权利要求13所述的信息处理装置，其中，作为所述第二处理，所述控制单元将所述多个图像组中的至少一个图像组中包括的至少一个图像，决定为所述多个图像组中的其他图像组中包括的图像。

17.根据权利要求16所述的信息处理装置，其中，所述控制单元在所述多个图像组中的两个图像组中，指定由时间信息指示的时间之间的差，并基于所指定的差来选择其他图像组。

18.根据权利要求13所述的信息处理装置，其中，

所述预定数量是多个模板的数量，并且

所述布局单元将通过所述控制单元的处理而获得的所述多个图像组中的各个图像组中包括的至少一个图像，布局在所述多个模板中的、与所述多个图像组中的各个图像组相对应的一个模板中。

19.根据权利要求18所述的信息处理装置，其中，在通过所述划分单元划分所述多个图像而获得的所述多个图像组的数量与所述预定数量匹配的情况下，所述布局单元将所述多个图像组中的各个图像组中包括的至少一个图像，布局在所述多个模板中的、与所述多个图像组中的各个图像组相对应的一个模板中。