CN101622641B - 图像选择设备、图像选择方法 - Google Patents

Abstract

本发明提供了图像选择设备、图像选择方法和程序。图像选择设备包括：选择数量指定部分，用于指定图像的选择数量；图像分析部分228，用于分析多个图像并提取各个图像的特征量；第一选择部分，用于基于由图像分析部分提取的各个图像的特征量而从多个图像中选择至少选择数量的图像；第二选择部分，用于通过与第一选择部分的方法不相同的给定方法来从多个图像中选择图像；以及选择控制部分，用于在选择数量大于第一设定数量的情况下不是使第一选择部分而是使第二选择部分选择图像。

Description

图像选择设备、图像选择方法

技术领域

本发明涉及图像选择设备、图像选择方法。

背景技术

目前数字照相机被广泛应用，并且普及地执行在PC(个人计算机)上编辑通过数字照相机拍摄的摄影图像、在显示设备上运行顺序地显示摄影图像的幻灯等。

在幻灯中，可以在显示图像的同时播放音乐。例如，如下的幻灯是可行的：重复地再现音乐直到显示了多个目标摄影图像中的最后的摄影图像为止的幻灯，在一首歌的再现时间期间顺序地显示摄影图像的幻灯。在后者的情况下，由于存在对在一首歌的再现时间内可显示的摄影图像的数量的限制，因此如果用户希望在幻灯中包括的摄影图像的母集超过该限制，则必须从该母集中选择低于该限制的数量的摄影图像。

作为选择摄影图像的方法，存在随机选择方法，但这种方法在某些情况下无法选择适当的摄影图像。例如，假设如下的情况：摄影图像的母集包括在各种情况下拍摄的摄影图像，并且用户希望选择在不同的情况下拍摄的摄影图像。然而，在该随机选择方法中，存在主要选择在相同的情况下拍摄的摄影图像的情况。由于随着数字照相机的普及使用和连拍功能被包括到数字照相机中，经常会出现有许多具有相同构图的摄影图像的情况，因此这种问题变得日益突出。除了幻灯之外，例如，在想要在指定范围内显示照片的缩略图图像的情况下，即，在想要在有限的空间内显示固定数量的摄影图像的情况下，也出现相同的问题。

有鉴于此，例如，如同专利文献1中所描述的那样，通过分析摄影图像的相似来防止不平衡地选择类似的摄影图像的选择方法是可行的。

专利文献1：日本未审专利公开2007-206919

发明内容

本发明要解决的问题

然而，由于用于分析摄影图像的相似的处理负荷一般是重的，因此在现有的选择方法中，随着最终要选择的摄影图像的数量的增加，处理负荷变得过大。

本发明已被完成以解决上述问题，因此，本发明的目的是提供能够根据最终要选择的摄影图像的数量来执行图像选择处理的新颖的和改进的图像选择设备、图像选择方法和程序。

用于解决该问题的手段

为了解决上述问题，根据本发明的一个方面，提供了一种图像选择设备，包括：选择数量指定部分，用于指定图像的选择数量；图像分析部分，用于分析多个图像并提取各个图像的特征量；第一选择部分，用于基于由图像分析部分提取的各个图像的特征量而从该多个图像中选择至少该选择数量的图像；第二选择部分，用于通过与第一选择部分的方法不相同的给定方法来从该多个图像中选择图像；以及选择控制部分，用于在该选择数量大于第一设定数量的情况下不是使第一选择部分而是使第二选择部分选择图像。

在该配置中，因为第一选择部分基于各个图像的特征量执行图像选择，所以第一选择部分可从多个图像中相应地选择例如至少选择数量的相似度相对低的图像。另一方面，因为第一选择部分如上述那样地基于各个图像的特征量来执行图像选择，所以第一选择部分中的处理负荷可能随着选择数量的增加而过大。有鉴于此，如果选择数量大于第一设定数量，则选择控制部分不是使第一选择部分而是使通过与第一选择部分的方法不相同的给定方法从多个图像中选择图像的第二选择部分执行图像选择，由此减少了该图像选择设备中的用于图像选择的处理负荷。相应地，在该图像选择设备中，当选择数量大于第一设定数量时，第二选择部分执行图像选择，以由此减少处理负荷，而当选择数量小于第一设定数量时，第一选择部分执行图像选择，以由此考虑到相似地选择图像。

如果选择数量小于第一设定数量，则选择控制部分可使第一选择部分选择至少选择数量的图像，然后使第二选择部分从该至少选择数量的图像中选择选择数量的图像。在该配置中，第一选择部分基于各个图像的特征量来执行图像选择，第二选择部分执行使用其它方法的图像选择。相应地，该图像选择设备可以结合地考虑各个图像的特征量和其它要素而从多个图像中选择该选择数量的图像。

所述第二选择部分可从至少选择数量的图像中随机选择该选择数量的图像。在该配置中，该图像选择设备可以在每次从多个图像中执行图像选择时考虑到相应的图像的相似度而选择该选择数量的不同的图像。

第一选择部分可从多个图像中选择基于所述选择数量和预定的指数而指定的数量的图像。在该配置中，因为第二选择部分从由第一选择部分选择的图像中选择该选择数量的图像，所以由第一选择部分选择的图像的数量与选择数量之间的差越大，则由第二选择部分选择的图像的随机性就越高。另外，因为由第一选择部分选择的图像的数量是基于选择数量和预定指数而指定的，所以通过调整预定指数可增加或减少由第二选择部分选择的图像的随机性。

该图像选择设备还可包括第三选择部分，该第三选择部分用于将预定的图像集合分类成由拍摄时间间隔短于设置的间隔值的图像组成的组，并从每个组中选择至少一个图像，并且该多个图像可被包括在由第三选择部分选择的图像集合中。其拍摄时间间隔短于诸如1秒或2秒等的设置的间隔值的图像可能是在相类似的场所中被拍摄的，并且可能具有相类似的构图。因此，第三选择部分将预定的图像集合分类为由拍摄时间间隔短于设置的间隔值的图像组成的组，并从每个组中选择至少一个图像，由此降低了选择相似程度高的图像的可能性。

该图像选择设备还可包括第四选择部分，该第四选择部分用于将由第三选择部分选择的图像集合根据该图像集合中包括的各个图像的拍摄时间的离散度而分类成多个组，并从每个组中选择至少一个图像作为多个图像。根据拍摄时间的离散度而分类的多个组中的每个组可能包括在诸如场所和事件等的环境相类似的情况下拍摄的图像。因此，第四选择部分将由第三选择部分选择的图像集合根据该图像集合中包括的各个图像的拍摄时间的离散度而分类成多个组，并从每个组中选择至少一个图像作为多个图像，由此选择以高比例包括在不同情况下拍摄的图像的多个图像。

如果由第三选择部分选择的图像集合中包括的图像的数量大于第二设定数量，则选择控制部分可以不是使第四选择部分而是使第二选择部分选择图像。如上文所述，第四选择部分可选择以高比例包括在不同情况下拍摄的图像的多个图像。另一方面，因为第四选择部分考虑各个图像的拍摄时间的离散度而执行图像选择，所以随着由第三选择部分选择的图像集合中包括的图像的数量的增加，第四选择部分中的处理负荷也增加。因此，如果由第三选择部分选择的图像集合中包括的图像的数量大于第二设定数量，则选择控制部分不是使第四选择部分而是使第二选择部分选择图像，由此减少该图像选择设备中的用于图像选择的处理负荷。

如果由第三选择部分选择的图像集合中包括的图像的数量小于基于选择数量和预定指数而指定的数量，则选择控制部分使第一选择部分从由第三选择部分选择的图像集合中包括的图像中选择该选择数量的图像。

该图像选择设备还可包括：音乐再现部分，用于再现音乐；布局控制部分，用于针对形成音乐的一个或两个或更多个持续时期中的每一个而设置图像的显示图案；图像显示部分，用于显示图像；以及显示控制部分，用于使得根据由音乐再现部分对包括音乐再现位置的持续时期设置的显示图案来顺序地显示基于选择控制部分的控制而选择的图像。

布局控制部分可根据与音乐的情绪相对应的规则将音乐分类成一个或两个或更多个持续时期，并针对该一个或两个或更多个持续时期而设置与该音乐的情绪相对应的显示图案。

布局控制部分可在基于选择控制部分的控制而选择的图像中将包含最大数量的面部的图像放置在最后。

该图像选择设备还可包括再现持续时期设置部分，该再现持续时期设置部分用于设置音乐的再现持续时期，而选择数量指定部分可基于对于再现持续时期中的再现期间的显示而言所必需的图像数量来指定图像的选择数量。

再现持续时期设置部分可暂时地设置以音乐的高潮部分的起始位置为中心的持续时期，如果该持续时期的起点和终点不是第一拍，则再现持续时期设置部分可将该起点和该终点分别向后延伸到第一拍和向前延伸到第一拍，并设置再现持续时期。

如果在从起点起的给定范围内或从终点起的给定范围内存在在其处音乐的构成要素变化的构成变化点，则再现持续时期设置部分可进一步将该起点或该终点更新为该构成变化点，并设置再现持续时期。

显示图案可包含图像的切换时间和应用于图像的效果中的至少一个。

当基于音乐的和弦进行而切换图像时，布局控制部分以使得图像的淡入在和弦变化点处结束的方式来进行控制。

另外，为了解决以上问题，根据本发明的另一实施例，提供了一种图像选择方法，包括：指定图像的选择数量的步骤；判定该选择数量是否大于第一设定数量的步骤；如果判定该选择数量小于第一设定数量则分析多个图像以提取各个图像的特征量、并基于各个图像的特征量从多个图像中选择至少该选择数量的图像的步骤；以及如果判定该选择数量大于第一设定数量则在不使用所述各个图像的特征量的情况下通过其它给定方法从多个图像中选择图像的步骤。

另外，为了解决以上问题，根据本发明的另一实施例，提供了一种使计算机用作图像选择设备的程序，该图像选择设备包括：选择数量指定部分，用于指定图像的选择数量；图像分析部分，用于分析多个图像并提取各个图像的特征量；第一选择部分，用于基于由图像分析部分提取的各个图像的特征量而从多个图像中选择至少选择数量的图像；第二选择部分，用于通过与第一选择部分的方法不相同的给定方法而从多个图像中选择图像；以及选择控制部分，用于在选择数量大于第一设定数量的情况下不是使第一选择部分而是使第二选择部分选择图像。

以上程序可以使得包括例如CPU、ROM、RAM等的计算机的硬件资源执行上述的第一选择部分、第二选择部分和选择控制部分的功能。因此，可以使得实现该程序的计算机用作上述的图像选择设备。

本发明的优点

如上文所述，根据本发明的图像选择设备、图像选择方法和程序能够根据最终要选择的摄影图像的数量来执行图像选择处理。

附图说明

图1是示出了根据第一实施例的图像选择系统的配置的说明图。

图2是示出了由摄影设备拍摄的图像的示例的说明图。

图3是示出了随机图像选择的结果的示例的说明图。

图4是示出了PC的硬件配置的框图。

图5是示出了根据第一实施例的PC的配置的功能框图。

图6是示出了在选择控制部分和图像选择部分中使用的参数的示例的说明图。

图7是示意性地示出了图像选择部分的处理的说明图。

图8是示出了连拍判定和选择部分的图像选择的结果的示例的说明图。

图9是示出了事件判定和选择部分的将选择目标图像分类为多组的方式的说明图。

图10是示出了事件判定和选择部分的图像选择的结果的示例的说明图。

图11是示出了相似判定和选择部分的图像选择的结果的示例的说明图。

图12是示出了选择最终选择数量的图像的方式的说明图。

图13是示出了在根据第一实施例的PC中执行的图像选择方法的流程的流程图。

图14是示出了根据第二实施例的PC的配置的功能框图。

图15是示出了直到音乐分析部分获取音乐特征量为止的流程的流程图。

图16是示出了音乐构成的示例的说明图。

图17是示意性地示出了用于创建带音乐的幻灯的一系列处理的流程图。

图18是示出了配置对话的示例性构成的说明图。

图19是示出了再现持续时期设置部分的用于设置音乐的重点部分的处理的流程的流程图。

图20是示出了针对每种效果类型的从淡入到淡出的状态的说明图。

图21是示出了根据情绪自动选择布局和效果的流程的流程图。

图22是示出了效果图案的选择的示例的说明图。

图23是示出了对各个图像显示框设置效果参数的方式的说明图。

图24是示出了针对每种情绪设置布局和效果的示例的说明图。

图25是示出了针对每种情绪设置布局和效果的示例的说明图。

图26是示出了音乐进行中的属音的关系的说明图。

图27是示出了和弦变化点与图像显示框之间的关系的说明图。

具体实施方式

以下将参照附图详细地说明本发明的优选实施例。注意，在本说明书和附图中，具有实质上相同的功能和结构的结构要素被标以相同的附图标记，并且省略重复的说明。

将按以下顺序说明“本发明的优选实施例”：

(1)根据第一实施例的图像选择系统的概要

(2)第一实施例的目的

(3)对根据第一实施例的PC的说明

(3-1)PC的硬件配置

(3-2)PC的功能

(3-3)PC的操作

(4)第二实施例

(4-1)第二实施例的发展环境

(4-2)对根据第二实施例的PC的说明

(4-3)对第二实施例的补充说明

(5)总结

(1)根据第一实施例的图像选择系统的概要

下面参照图1和图2说明根据第一实施例的图像选择系统1的概要。

图1是示出了根据第一实施例的图像选择系统1的配置的说明图。如图1所示，图像选择系统1包括摄影设备10和PC(个人计算机)20。

摄影设备10使用半导体器件将在摄影设备10中收集的诸如静止图像和运动图像之类的图像转换成电信号，然后将该电信号以数字格式记录到内置于摄影设备10中的存储介质上。尽管如上文所述地，摄影设备10可拍摄诸如静止图像和运动图像之类的图像，但是在本实施例的说明中，除非特别注明，否则图像主要表示静止图像。图2示出了由摄影设备10拍摄的图像的示例。

图2是示出了由摄影设备10拍摄的图像的示例的说明图。在本示例中，假设在某次家庭旅行期间拍摄了如图2所示的图像。如图2所示，摄影设备10可以拍摄多个图像和与拍摄时间相关联地将各个图像存储到存储介质中。拍摄时间可被记录为EXIF(可交换图像文件格式)信息。

具体地，其目标为桥梁的图像A被拍摄于“2007/8/18/8:32:24”，其目标为山的图像B和C分别被拍摄于“2007/8/18/12:24:16”和“2007/8/18/12:24:17”。另外，其目标为家庭的图像D至F分别被拍摄于“2007/8/18/14:06:11”、“2007/8/18/14:06:13”和“2007/8/18/14:06:15”。

尽管诸如图像D至F之类的以2秒等的间隔的连拍可被手动地执行，但是可以使用使摄影设备10根据一次摄影指示自动地连拍图像的连拍功能来执行该连拍。该连拍功能的有利之处在于用户可从连拍的图像中选择最喜爱的图像。

同样地，图2示出了通过摄影设备10拍摄其目标为露天灶台的图像G、其目标为焰火的图像H和I、其目标为河流的图像J以及其目标为花的图像K和L的情况。

构成图像选择系统1的本实施例的PC 20从如上文所述的由摄影设备10拍摄的图像集合中选择一定数量的图像。假设这种图像的选择是在诸如当执行在某首歌期间通过以给定间隔切换图像来显示图像的幻灯时、以及当将图像布局在有限的空间内时等的各种情况下执行的。如后面详细说明的那样，用作图像选择设备的根据本实施例的PC 20可根据最终要选择的图像的数量来实现图像选择处理。

尽管图1示出了PC 20作为图像选择设备的示例，但是图像选择设备不限于此。例如，图像选择设备可以是诸如家庭视频处理单元(DVD记录器、录像带记录器等)、蜂窝电话、PHS(个人手执电话系统)、便携式声音再现单元、便携式视频处理单元、PDA(个人数字助理)、家用游戏机、便携式游戏机、家电设备和打印机等的信息处理设备。另外，摄影设备10可具有从图像集合中选择一定数量的图像的图像选择功能。另外，作为被合并到PC 20中的图像选择设备的功能可被合并到位于网络上的服务器中。具体地，位于网络上的服务器可响应于来自客户端装置的请求而从图像集合中执行图像选择并将图像选择结果通知给客户端装置。

(2)第一实施例的目的

以上示意性地说明了根据第一实施例的图像选择系统1。接下来说明本实施例的目的。

当例如从图2所示的图像集合中选择一定数量的图像时，以简单的方式随机选择图像的方法是可行的。在这种情况下，例如选择图3所示的图像。

图3是示出了随机图像选择的结果的示例的说明图。如图3所示，在随机图像选择中，存在选择多个类似的图像且未选择图像集合中包括的独特图像的情况。具体地，在某些情况下可能选择诸如所选择的图像D和E以及图像H和I之类的其目标和构图彼此相似的图像。

然而，就允许观看所选图像的用户获得大量信息而言，选择少量的类似的图像和尽可能多的数量的各自具有独特性的图像是有利的。

有鉴于此，通过分析图像的相似来防止不平衡地选择类似的摄影图像的选择方法是可行的。然而，由于用于分析图像的相似的处理负荷一般是重的，因此这种选择方法具有以下问题：随着最终要选择的图像的数量的增加，处理负荷变得过大。

鉴于这种情况，已发明了用作图像选择设备的根据本实施例的PC 20。根据本实施例的PC 20能够根据最终要选择的图像的数量来执行图像选择处理。以下参照图4至13来详细说明PC 20。

(3)对根据第一实施例的PC的说明

(3-1)PC的硬件配置

图4是示出了PC 20的硬件配置的框图。PC 20包括CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器)203、主机总线204、桥接器205、外部总线206、接口207、输入单元208、输出单元210、存储单元(HDD)211、驱动器212和通信单元215。

CPU 201用作处理单元和控制单元，并且CPU 201根据各种程序来控制PC 20中的总体操作。CPU 201可以是微处理器。ROM 202存储要被CPU201使用的程序、处理参数等。RAM 203主要存储要在CPU 201上的执行中要使用的程序、在该执行中适当地变化的参数等。它们通过由CPU总线等构成的主机总线204而彼此相连接。

主机总线204经由桥接器205连接至诸如PCI(外围组件互联/接口)总线等的外部总线206。主机总线204、桥接器205和外部总线206不一定被配置成彼此相分离，可在单个总线上实现它们的功能。

输入单元208可例如包括：诸如鼠标、键盘、触摸面板、按钮、麦克风、开关和拉杆等的供用户输入信息的输入单元，以及基于用户输入而生成输入信号并将该输入信号输出至CPU 201的输入控制电路。PC 20的用户通过操纵输入单元208可对PC 20输入各种数据或指示处理操作。

输出单元210例如包括：诸如CRT(阴极射线管)显示装置、液晶显示器(LCD)装置、OLED(有机发光显示器)装置和灯之类的显示装置，以及诸如扬声器和耳机之类的声音输出装置。输出单元210例如输出再现的内容。具体地，显示装置用文本或图像来显示诸如再现的视频数据等的信息。另一方面，声音输出单元将再现的声音数据等转换成声音并输出该声音。

存储单元211是被配置作为根据本实施例的PC 20的存储部分的示例的用于数据存储的装置。存储单元211可包括存储介质、将数据记录到存储介质上的记录装置、从存储介质读取数据的读取装置、删除记录在存储介质上的数据的删除装置等。存储单元211可包括例如HDD(硬盘驱动器)。存储单元211驱动硬盘并存储要由CPU 201执行的程序或各种数据。后面要说明的图像、图像相关的信息、图像选择结果等也被记录在存储单元211上。

驱动器212是用于存储介质的读/写器，其可被内置于PC 20中或被在外部附接。驱动器212读取附接到驱动器212的诸如磁盘、光盘、磁光盘和半导体存储器等的可拆卸存储介质24上记录的信息，并将该信息输出至RAM 203。

通信单元215例如是包括用于建立与通信网络12之间的连接的通信设备等的通信接口。通信单元215可以是与无线LAN(局域网)相兼容的通信装置、与无线USB相兼容的通信装置、或执行有线通信的有线通信装置。通信单元215可以与摄影设备10之间发送/接收图像。

(3-2)PC的功能

以上参照图4说明了根据本实施例的PC 20的硬件配置。接下来参照图5至12说明PC 20的功能。

图5是示出了根据第一实施例的PC 20的配置的功能框图。如图5所示，PC 20包括通信部分216、图像存储部分220、拍摄时间信息获取部分224、图像分析部分228、图像相关信息存储部分232、选择数量指定部分236、选择控制部分240、图像选择部分250和图像选择结果存储部分260。

通信部分216是与摄影设备10之间的接口，其接收由摄影设备10拍摄的图像集合。图像存储部分220将由通信部分216接收的图像集合随其拍摄时间一起存储。在由摄影设备10拍摄的图像被记录在可从摄影设备10和PC 20拆卸的存储介质上的情况下，图像存储部分220可以是该存储介质。

该存储介质可以是：诸如EEPROM(电可擦除可编程只读存储器)和EPROM(可擦除可编程只读存储器)等的非易失性存储器，诸如硬盘和盘状磁盘等的磁盘，诸如CD-R(可记录压缩盘)/RW(可重写)、DVD-R(可记录数字多功能盘)/RW/+R/+RW/RAM(随机存取存储器)和BD(蓝光盘(注册商标))-R/BD-RE等的光盘，MO(磁光盘)等。后面说明的图像相关信息存储部分232和图像选择结果存储部分260也可以是这种存储介质。尽管在图5中图像存储部分220、图像相关信息存储部分232和图像选择结果存储部分260被示出为不同的要素，但是图像存储部分220、图像相关信息存储部分232和图像选择结果存储部分260可以是相同的存储介质。

拍摄时间信息获取部分224例如从存储在图像存储部分220中的图像的EXIF信息获取拍摄时间信息，并将该拍摄时间信息记录到图像相关信息存储部分232中。具体地，拍摄时间信息获取部分224将用于标识图像的图像ID和图像的拍摄时间彼此相关联地记录到图像相关信息存储部分232中。

图像分析部分228分析存储在图像存储部分220中的图像，提取图像的特征量，并将该图像的特征量记录到图像相关信息存储部分232中。图像的特征量可包括表示图像中包括的颜色及其比例的颜色分布、图像中包括的面部的位置和尺寸、图像中包括的各个频率分量的幅度、图像中包括的目标的微笑的程度等等。

图像相关信息存储部分232存储诸如由拍摄时间信息获取部分224获取的图像的拍摄时间信息、由图像分析部分228提取的图像的特征量等的图像关联信息。

选择数量指定部分236用作指定最终选择数量(选择数量)的选择数量指定部分，该最终选择数量是最终要从存储在图像存储部分220中的图像集合中选择的图像的数量。选择数量指定部分236可基于多种信息、输入等来指定该最终选择数量。例如，在某首歌的再现期间以给定间隔将图像显示为幻灯的情况下，选择数量指定部分236可将通过将该歌的再现时间除以给定间隔而获得的值指定为最终选择数量。

替代性地，在将给定尺寸的图像布局在一定范围内的情况下，选择数量指定部分236可计算出对于该范围内的布局而言必需的该给定尺寸的图像的数量，并将该数量指定为最终选择数量。或者，选择数量指定部分236可将用户输入的图像数量指定为最终选择数量。

替代性地，在工作中预定打印图像的情况下，选择数量指定部分236可将通过将用户输入的预算除以每张的打印费而获得的值指定为最终选择数量。或者，选择数量指定部分236可将与用户输入的数据量相对应的图像数量指定为最终选择数量。

选择控制部分240使图像选择部分250从存储在图像存储部分220中的图像集合中选择由选择数量指定部分236指定的最终选择数量的图像。然后，图像选择结果存储部分260存储由图像选择部分250基于选择控制部分240的控制而选择的图像或图像ID。以下详细地说明从存储在图像存储部分220中的图像集合中选择最终选择数量的图像的选择控制部分240和图像选择部分250的功能。

图6是示出了在选择控制部分240和图像选择部分250中使用的参数的示例的说明图。如图6所示，在本实施例中使用诸如连拍基准值、相似指数(给定指数)、随机指数、最终数量标准值和目标数量标准值等的参数。这些参数也用于决定在各个选择部分中要处理多少数量的图像。因此，可基于期望的最终选择数量或系统中可允许的操作时间来决定这些参数。后面将在适当处适当地说明各个参数的使用和意义。

图像选择部分250包括连拍判定和选择部分252、事件判定和选择部分254、相似判定和选择部分256以及随机选择部分258。

(连拍判定和选择部分)

连拍判定和选择部分252用作减少选择目标图像的数量以尽可能避免从一系列连拍图像中选择多个图像的第三选择部分。具体地，连拍判定和选择部分252首先基于存储在图像相关信息存储部分232中的拍摄时间信息来针对以拍摄时间顺序排列的相应的选择目标图像而计算相邻图像之间的拍摄时间差别，即，拍摄时间间隔。

然后，连拍判定和选择部分252将拍摄时间间隔在规定时间内的图像分类到相同的组中，如果存在拍摄时间间隔长于规定时间的图像，则连拍判定和选择部分252将该图像分类到下一组中。连拍判定和选择部分252可使用图6所示的连拍基准值(设置的间隔值)作为规定时间。此后，连拍判定和选择部分252从每组中选择一个图像。图7中示意性地示出了至此为止连拍判定和选择部分252的处理。

图7是示意性地示出了图像选择部分250的处理的说明图。如图7所示，连拍判定和选择部分252根据拍摄时间间隔将以拍摄时间顺序排列的图像a至u分类成多个组。图7示出了将以拍摄时间顺序排列的图像a至u分类成由图像a至c构成的组1、由图像d和e构成的组2、由图像f至j构成的组3、由图像k至m构成的组4、由图像n构成的组5、由图像o和p构成的组6、由图像q构成的组7、由图像r至t构成的组8以及仅由图像u构成的组9的情况。

另外，连拍判定和选择部分252例如从每组选择一个图像。图7示出了连拍判定和选择部分252从组1中选择图像b、从组2中选择图像d、从组3中选择图像i、从组4中选择图像k、从组5中选择图像n、从组6中选择图像p、从组7中选择图像q、从组8中选择图像t和从组9中选择图像u的情况。

在“组数≥要选择的摄影图像的最小数量”的情况下，连拍判定和选择部分252通过将作为各组的代表的图像判定为选择结果来结束处理。另一方面，在“组数＜要选择的摄影图像的最小数量”的情况下，除了作为各组的代表的图像以外，连拍判定和选择部分252还从全部尚未被选择的摄影图像中追加地随机选择图像，以获得最小数量的要选择的摄影图像，然后结束处理。

如果连拍判定和选择部分252对于图2所示的图像集合执行图像选择，则选择例如图8所示的图像。

图8是示出了连拍判定和选择部分252的图像选择的结果的示例的说明图。如图8所示，连拍判定和选择部分252可从以1秒的间隔拍摄的图像B和C中仅选择图像C，并从以2秒的间隔拍摄的图像D至F中仅选择图像D。由于诸如图像D至F之类的拍摄间隔短的图像可能是在类似的位置被拍摄的且具有相似的构图，因此连拍判定和选择部分252可降低选择可能彼此相类似的多个图像的可能性。

(事件判定和选择部分)

事件判定和选择部分254用作根据拍摄时间间隔的离散度将选择目标图像分类成多组并执行图像选择以尽可能包括不同事件的图像的第四选择部分。该事件例如可以是诸如家庭旅行、运动会和婚礼等的事件、或诸如家庭旅行期间的登山、焰火和驾车等的具体场合。由选择控制部分240指定要从选择目标图像中选择的图像的数量，并且事件判定和选择部分254选择该指定的数量的图像。

具体地，事件判定和选择部分254首先基于拍摄时间间隔的离散度、每单位时间内拍摄的图像数量等来将以拍摄时间顺序排列的图像或选择目标图像分类成多个组。另外，事件判定和选择部分254从各组中随机选择一个图像作为该组的代表。至此为止事件判定和选择部分254的处理是如同在对连拍判定和选择部分252的说明中所参照的图7中所示的那样地执行的。事件判定和选择部分254的将选择目标图像分类成多组例如是如图9所示的那样地执行的。

图9是示出了事件判定和选择部分254的将选择目标图像分类成多组的方式的说明图。该图示出了选择目标图像的拍摄频率的移动平均，并且横轴表示时间且纵轴表示拍摄频率。如图9所示，每当拍摄频率越过由水平虚线表示的边界值时，事件判定和选择部分254可进行分类成不同的组。在图9所示的示例中，将选择目标图像分类成其拍摄时间介于时间t1与时间t2之间的图像的组、其拍摄时间介于时间t2与时间t3之间的图像组、其拍摄时间介于时间t3与时间t4之间的图像的组、其拍摄时间介于时间t4与时间t5之间的图像的组、以及其拍摄时间介于时间t5与时间t6之间的图像的组。

例如在以下参考文献中也描述了事件判定和选择部分254的将选择目标图像分类成多组：

参考文献：日本未审专利公开2007-206919

在“组数≥要选择的图像的数量”的情况下，事件判定和选择部分254优先地从例如图像数量较大的组中取出作为各组的代表的摄影图像，并通过将该图像判定为选择结果来完成处理。另一方面，在“组数＜要选择的图像的数量”的情况下，事件判定和选择部分254对作为各组的代表的图像追加从全部尚未被选择的图像中随机选择的图像，以获得指定数量的图像，然后完成处理。

如果事件判定和选择部分254对图8所示的图像集合执行图像选择，则例如选择图10所示的图像。

图10是示出了事件判定和选择部分254的图像选择的结果的示例的说明图。如图10所示，事件判定和选择部分254可从图8所示的图像集合中均匀地选择在不同时间的事件的图像，例如如同图像A和C那样的在早晨的照片、如同图像D那样的在白天的照片、以及如同图像G、H和I那样的在傍晚的照片。根据拍摄时间的离散度而分类的多个组中的每个组可能包括在诸如场所和事件等的环境相类似的情况下拍摄的图像。因此，事件判定和选择部分254如上文所述地从各组中选择图像，由此减少了所选择的在相类似的情况下拍摄的图像的数量。

(相似判定和选择部分)

相似判定和选择部分256用作从选择目标图像中选择图像以尽可能减少在外观上相类似的图像的第一选择部分。例如，由选择控制部分240指定要从选择目标图像中选择的图像的数量，并且相似判定和选择部分256选择该指定的数量的图像。

具体地，相似判定和选择部分256首先计算以拍摄时间顺序排列的图像距相应的相邻图像的相似距离。相似距离是基于存储在图像相关信息存储部分232中的图像的特征量的、图像之间的外观相似的数值度量，并且该特征量越是彼此接近，则以越大的值来表示该特征量。

例如，包含10％的红色和90％的白色的图像特征量A与包含15％的红色和85％的白色的图像特征量B之间的相似距离可被表示为10。另一方面，该图像特征量A与包含80％的红色和20％的黑色的图像特征量C之间的相似距离可被表示为1。

然后，相似判定和选择部分256在全部相邻的图像之间的相似距离中确定在长度上为第“指定的图像选择数量-1”的相似距离，并将该值设为阈值。相似判定和选择部分256顺序地将其相似距离小于该阈值的图像分类到相同组中，如果存在其相似距离大于等于该阈值的图像，则将该图像分类到不同的组中。此后，相似判定和选择部分256从各组中随机选择一个图像作为组的代表。至此为止相似判定和选择部分256的处理是如同在对连拍判定和选择部分252的说明中所参照的图7中所示的那样地执行的。

如果相似判定和选择部分256对图10所示的图像集合执行图像选择，则例如选择图11所示的图像。

图11是示出了相似判定和选择部分256的图像选择的结果的示例的说明图。如图11所示，相似判定和选择部分256可以从来自图10所示的图像集合的由于目标是花而在外观上具有高相似度的图像K和L中仅选择图像L。另外，相似判定和选择部分256可以从由于其整体上是暗的图像而相类似的图像G和H中仅选择图像H。

尽管以上说明了相似判定和选择部分256基于相邻图像之间的相似距离而将图像分类成组的情况，但是也可基于全部选择目标图像之间的相似距离而使用已知的分组技术将图像分类成组。然而在这种情况下，运算量一般根据图像的数量而变大。

另外，尽管以上说明了相似判定和选择部分256从各组中随机选择图像作为组的代表的情况，但是也可基于图像分析的结果而例如优先地选择包含面部的摄影图像作为代表或选择包含笑容程度高的面部的摄影图像作为代表，或者可以基于颜色分布而选择颜色较丰富的图像作为代表。

(随机选择部分)

随机选择部分258用作从选择目标图像中随机选择图像的第二选择部分。由例如选择控制部分240指定要从选择目标图像中选择的图像的数量，并且随机选择部分258选择该指定的数量的图像。

(选择控制部分)

选择控制部分240控制上述的图像选择部分250的各个元件，由此从存储在图像存储部分220中的图像集合中选择由选择数量指定部分236指定的最终选择数量的图像。以下详细说明选择控制部分240的功能。

本实施例针对从大量图像中选择必要数量的图像。相应地，在“选择目标图像的数量≤最终选择数量”的情况下，由于选择目标图像的数量已处于最终选择数量以内，因此不需要图像选择。如何处理“选择目标图像的数量≤最终选择数量”的情况一般取决于应用。例如，在其中要使用的图像的数量是固定的幻灯的情况下，必须通过重复地使用图像来准备最终选择数量的图像，或者，在单纯为了提高可浏览性的目的而压缩图像数量的情况下，按原样使用全部图像是可行的。基于“选择目标图像的数量＞最终选择数量”的假设而给出以下说明。

选择控制部分240基本上使连拍判定和选择部分252、事件判定和选择部分254、相似判定和选择部分256和随机选择部分258以此顺序如图12所示地从存储在图像存储部分220中的图像集合中执行图像选择，由此获得最终选择数量的图像。

图12是示出了选择最终选择数量的图像的方式的说明图。如图12所示，假设存储在图像存储部分220中的图像集合的数量大于(1+α+β)*M，并且由连拍判定和选择部分252选择的图像的数量也大于(1+α+β)*M。

在这种情况下，选择控制部分240使事件判定和选择部分254从由连拍判定和选择部分252选择的图像中选择(1+α+β)*M个图像。然后，选择控制部分240使相似判定和选择部分256从由事件判定和选择部分254选择的(1+α+β)*M个图像中选择(1+β)*M个图像。

另外，选择控制部分240使随机选择部分258从由相似判定和选择部分256选择的(1+β)*M个图像中选择作为最终选择数量的M个图像。结果，PC 20可以从例如图11所示那样的由相似判定和选择部分256选择的在外观上相似度低的图像中随机选择图像。

从以上说明可以理解，随机指数β表示要对最终选择的图像添加的随机性的程度。例如，如果如图6所示那样地β＝0.1且最终选择数量M是10，则随机选择部分258从在随机选择部分258的选择之前已选择的11个图像中随机地选出10个图像。相应地，随着随机指数β越大，最终选择的图像的随机性越大。另一方面，如果不特别需要随机性，即，当执行一次本实施例的图像选择就足够且不用再次选择时，则可将β设置为β＝0.0，并且可相对地增大要由其它选择部分处理的图像的比例。

相似指数α表示在相似判定和选择部分256中要处理多少个图像。如果β＝0.1、α＝0.5且最终选择数量M是10，则相似判定和选择部分256从在相似判定和选择部分256的选择之前已选择的16个图像中随机地选出11个图像。相应地，随着相似指数α越大，则在相似判定和选择部分256中要处理的图像数量越增大，这使得PC 20整体的操作时间越长。另外，如先前所描述的，相似判定和选择部分256是从选择目标图像的集合中对相对地彼此相类似的图像进行分组的处理。因此，随着相似指数α越大，对“图像是否相类似”的判定越不严格。

通过这种由选择控制部分240进行的使得最后执行随机选择部分258的图像选择的控制，改善了最终选择的图像的随机性。假设选择控制部分240进行使得最后执行相似判定和选择部分256的图像选择的控制，则可能发生以下问题。

例如，如果如图7所示地作为相似判定和选择部分256的分组结果而存在由诸如“q”和“u”之类的单个图像构成的组，则从各组中随机选择一个图像的结果总是相同的图像。

下面说明选择控制部分240使得连拍判定和选择部分252、事件判定和选择部分254和相似判定和选择部分256以此顺序执行图像选择的优点。

就防止在最终结果中包括多个相类似的图像的目的而言，事件判定和选择部分254在连拍判定和选择部分252和相似判定和选择部分256执行图像选择之后执行图像选择看起来是有效的。这是因为，如果事件判定和选择部分254预先压缩图像数量并且因此在相似判定和选择部分256的图像选择的阶段主要剩余相类似的图像，则相似判定和选择部分256不能完全去除相类似的图像(缺点1)。

例如，在相似判定和选择部分256从16个图像中选择11个图像的情况下，如果16个图像中的10个图像是极其类似的图像，则在最终选择的11个图像中选择了至少5个相类似的图像。

然而，因为相似判定和选择部分256的图像选择处理一般包括基于图像特征量的高次相似距离计算，所以运算量与其它处理相比更大。由于随着图像选择处理越在较后的级处被执行，处理目标图像的数量越减少，因此可通过在后级处执行运算量大的图像选择处理来减少运算量。

另一方面，连拍判定和选择部分252执行主要计算时间信息的差别的轻度的图像选择处理。因此，考虑到PC 20中的运算量，选择控制部分240使得首先执行连拍判定和选择部分252的图像选择。另外，在大多数情况下，当选择目标图像的集合中包括的图像大多数彼此极其相类似时发生上述缺点1，并且在这种情况下，即使相似判定和选择部分256预先执行图像选择，结果改善的可能性也是低的。因此，选择控制部分240在减少事件判定和选择部分254的选择目标图像的数量之后使得相似判定和选择部分256执行图像选择。

如上文所述，选择控制部分240基本上控制以连拍判定和选择部分252、事件判定和选择部分254、相似判定和选择部分256和随机选择部分258的顺序来执行图像选择。然而，因为在相似判定和选择部分256的图像选择中使用的相似指数α表示相对于最终选择数量M的比例，所以最终选择数量M越大，要在相似判定和选择部分256中处理的图像的数量也越增大。

有鉴于此，如果最终选择数量M大于最终数量标准值γ，则选择控制部分240不使相似判定和选择部分256以及事件判定和选择部分254执行图像选择，而是使随机选择部分258执行图像选择。在这种配置中，在判定了相似判定和选择部分256中产生的负荷超出可允许的范围时，选择控制部分240使随机选择部分258执行图像选择，由此抑制PC 20中的图像选择的处理负荷。

尽管图6示出了最终数量标准值γ为800的情况，但最终数量标准值γ不限于800。最终数量标准值γ可以是根据PC 20的性能而预先设置的固定值，或者是由PC 20的用户任意设置的值。另外，PC 20的用户可输入为PC 20的图像选择处理留出的时间，然后PC 20可计算最终数量标准值γ的值，以在该时间内完成图像选择处理。可根据相似指数α的值而动态地设置最终数量标准值γ。

另外，在例如从11个图像中选出10个图像的情况下，使连拍判定和选择部分252、事件判定和选择部分254、相似判定和选择部分256和随机选择部分258执行图像选择不一定总是适当的。这是因为在某些情况下可能发生不必要的操作。相应地，选择控制部分240可根据相对于最终选择数量M的选择目标图像的数量来判定从哪个选择部分执行处理。例如，在诸如从20个图像中选出19个图像之类的最终选择数量M接近于初始的选择目标图像数量的情况下，可以不由相似判定和选择部分256和事件判定和选择部分254等执行处理，而是仅由随机选择部分258执行处理。以下参照图13连同PC 20的整体操作一起说明选择控制部分240的其它控制。

(3-3)PC的操作

图13是示出了在根据第一实施例的PC 20中执行的图像选择方法的流程的流程图。首先，PC 20的选择数量指定部分236指定最终选择数量M(S304)。接下来，设置各参数(α、β、γ、δ)(S308)。可以人工地或自动地进行该设置。

然后，选择控制部分240使连拍判定和选择部分252执行考虑连拍的图像选择(S312)。由连拍判定和选择部分252选择的图像的数量被表示为N。如果N等于最终选择数量M，则选择控制部分240在不使图像选择部分250执行进一步的图像选择的情况下结束处理(S316)。

另一方面，如果N与最终选择数量M不同，则选择控制部分240判定是否满足“M＞γ”或“N＞δ”中的任一条件(S320)。如果选择控制部分240判定满足“M＞γ”或“N＞δ”中的任一条件，则选择控制部分240使随机选择部分258选择作为最终选择数量的M个图像(S340)。

具体地，当“N＞δ”时，其意味着存在大量的要由事件判定和选择部分254选择的图像，因此事件判定和选择部分254中的运算量可能变得过大。因此，当“N＞δ”时，选择控制部分240不是使事件判定和选择部分254执行图像选择，而是使随机选择部分258执行图像选择，由此减少了PC 20中的图像选择的处理负荷。

如果选择控制部分240判定“M＞γ”和“N＞δ”均不被满足，则选择控制部分240随后判定N是否大于(1+β)*M(S324)。如果选择控制部分240判定N小于(1+β)*M，则进行至S340。另一方面，如果选择控制部分240判定N大于(1+β)*M，则选择控制部分240进一步判定N是否大于(1+α+β)*M(S328)。

如果选择控制部分240判定N大于(1+α+β)*M，则选择控制部分240使事件判定和选择部分254选择(1+α+β)*M个图像(S332)。另一方面，如果选择控制部分240判定N小于(1+α+β)*M，则选择控制部分240使相似判定和选择部分256选择(1+β)*M个图像(S336)。

在S332之后，选择控制部分240使相似判定和选择部分256执行图像选择(S336)，进一步使随机选择部分258执行图像选择(S340)，然后结束处理。

(4)第二实施例

(4-1)第二实施例的发展环境

近来数字照相机被广泛应用，并且在PC上编辑由数字照相机拍摄的摄影图像、运行在显示设备上顺序地显示摄影图像的幻灯等被普及地执行。

另外，在幻灯中，可以在显示图像的同时播放音乐。作为在幻灯期间播放音乐的方法，以下方法是可行的。

(1)使用固定的音乐和其中图像切换时序和效果被调整以与音乐相匹配的模板。

(2)在播放用户指定的音乐的同时执行图像的幻灯。

在上述的方法(1)中，尽管可以创建与音乐流相同步的幻灯，但是由于用户不能指定期望的音乐而是不方便的。另一方面，在方法(2)中，尽管用户可以指定期望的音乐，但是由于幻灯中的图像切换时序和效果与音乐流不相匹配而令用户有抱怨。

根据日本未审专利公开2207-35121中公开的“再现控制设备和方法以及程序”，可以基于声音波形来选择幻灯中的图像的效果。然而，在上述的“再现控制设备和方法以及程序”中，难以创建与音乐的情绪相匹配的幻灯。

考虑到以上问题，已经发明了根据第二实施例的PC 21。根据第二实施例的PC 21使得能够创建与音乐的情绪相匹配的幻灯。以下参照图14至27来详细说明PC 21。

(4-2)对根据第二实施例的PC的说明

图14是示出了根据第二实施例的PC 21的配置的功能框图。如图14所示，根据第二实施例的PC 21包括图像选择机构280、音乐存储部分420、解码器424、音乐分析部分428、音乐特征量存储部分432、再现持续时期设置部分436、布局控制部分440、操作部分448、设置管理部分452、情绪判定部分456、混和器/效果器电路460、音响输出部分464和视频输出部分468。

图像选择机构280存储1个或更多个图像集合并从该1个或更多个图像集合中选择给定数量的图像。具体地，图像选择机构280可由在第一实施例中说明的图像存储部分220、拍摄时间信息获取部分224、图像分析部分228、图像相关信息存储部分232、选择数量指定部分236、选择控制部分240和图像选择部分250等构成。另外，图像选择机构280可根据后面要说明的由布局控制部分440布置在图像显示框中的顺序而将所选择的图像提供给解码器424。

音乐存储部分420存储任意的音乐数据。尽管在图14中将音乐存储部分420和音乐特征量存储部分432示出为不同的单元，但是音乐存储部分420和音乐特征量存储部分432也可以是相同的存储介质。

解码器424具有用于对存储在音乐存储部分420中的音乐数据和存储在图像选择机构280中的图像进行解码的解码功能。例如，解码器424将以MP3(MPEG1音频层3)格式或ATRAC(自适应变换声音编码)格式的音乐数据解码成PCM格式。

音乐分析部分428分析由解码器424解码后的音乐数据，获取音乐特征量，并将该音乐特征量存储到音乐特征量存储部分432中。在图15中概述了直到音乐分析部分428获取音乐特征量为止的流程。

图15是示出了直到音乐分析部分428获取音乐特征量为止的流程的流程图。如图15所示，用户通过例如操作部分448来选择存储在音乐存储部分420中的任何音乐数据(S504)。然后，如果还未分析该音乐数据(S508)且该音乐数据已被编码(S512)，则解码器424对该音乐数据进行解码(S516)。

此后，音乐分析部分428对被解码成PCM格式的音乐数据或未编码的音乐数据进行例如声音分析(S520)，并获取音乐特征量(S524)。

以下说明由音乐分析部分428获取的音乐特征量的示例。

(情绪特征量)

这是通过将诸如“快乐”、“高兴”、“悲伤”和“清爽”之类的音乐的印象、氛围或情感转换成数字而获得的特征量。可以通过以下方式来提取作为高次特征量的情绪特征量：通过对音乐数据的信号处理(声音分析)来提取基本特征量(例如节奏、以下说明的音乐进行信息等)，然后使用该基本特征量进行机器学习和声音估计。在例如日本未审专利公开2005-275068、2008-27538、2008-65905等中公开了更具体的分析方法。

(音乐构成信息)

表示当开始诸如主歌、过门、副歌和结尾之类的音乐构成要素时相对于音乐的开头的时间的信息。参照图16来更具体地说明音乐构成信息。

图16是示出了音乐构成的示例的说明图。图16示出了以前奏、主歌、过门、副歌、间奏、过门、副歌等的顺序布置构成要素的情况。在这种情况下，音乐分析部分428获取从前奏到主歌的切换出现的时间t1、从主歌到过门的切换出现的时间t2、从过门到副歌的切换出现的时间t3，并以相同的方式获取时间t4至t6作为音乐构成信息。

在本说明书中，将音乐的高潮部分称作副歌。因为在例如日本未审专利公开2007-156434中公开了分析音乐构成信息的方法，所以在本说明书中省略了详细说明。

(音乐进行信息)

这是表示当在音乐期间到达各个拍子、小节和和弦(C大调、A小调等)时相对于音乐的开头的时间的信息。例如，在图16所示的情况下，音乐分析部分428获取切换成C和弦的出现时间t11、切换成G和弦的出现时间t12、切换成Am和弦的出现时间t13、切换成Em和弦的出现时间t14等，作为音乐进行信息。因为在例如日本未审专利公开2007-183417中公开了分析音乐进行信息的方法，所以在本说明书中省略了详细说明。

参照图14返回到对PC 21的配置的说明，操作部分448是用户对其输入各种信息和各种指令的用户接口。设置管理部分452例如基于对操作部分448的用户操作而进行各种设置。该各种设置包括后面说明的再现持续时期的设置、布局框架的设置、效果的设置、图像选择等。

混和器/效果器电路460对由解码器424解码后的音乐数据和图像执行给定的处理，并输出结果。例如，混和器/效果器电路460对由解码器424解码后的音乐数据执行淡入/淡出处理，并将结果输出至音响输出部分464。另外，混和器/效果器电路460具有作为对由解码器424解码后的图像应用由布局控制部分440设置的效果并将结果输出至视频输出部分468的显示控制部分的功能。

音响输出部分464将从混和器/效果器电路460提供的音乐数据转换成例如空气振动并输出结果。因此，解码器424、混和器/效果器电路460和音响输出部分464用作彼此协作地再现音乐数据的音乐再现部分。另外，视频输出部分468显示从混和器/效果器电路460提供的图像以使得对用户而言是可见的。因此，解码器424、混和器/效果器电路460和视频输出部分468用作彼此协作地显示图像的图像显示部分。

当音乐分析部分428获取音乐特征量时，PC 21开始用于创建带音乐的幻灯的一系列处理。以下参照图17示意性地说明该一系列处理。

图17是示意性地示出了用于创建带音乐的幻灯的一系列处理的流程图。首先，如图17所示，由再现持续时期设置部分436设置音乐再现持续时期(S540)。如后面所详细说明的，再现持续时期可以是音乐的整个部分或音乐的重点部分。接下来，设置由再现持续时期设置部分436设置的再现持续时期中的淡入和淡出时间(S544)。

此后，布局控制部分440将音乐再现持续时期分割成多个图像显示框；换言之，布局控制部分440设置布局框架(S548)。如后面所详细说明的，音乐再现持续时期可被根据固定时间分割、针对各个小节而分割、根据和弦变化而分割、或自动分割。在由布局控制部分440获得的图像显示框上相应地显示不同的图像。

然后，布局控制部分440针对各个图像显示框而设置作为效果的如何显示图像(S552)。如后面所详细说明的，布局控制部分440可随机地或通过基于音乐特征量的自动选择来针对各个图像显示框设置效果。

另外，图像选择机构280选择对于在音乐再现持续时期中的再现而言所必需的数量的图像(S556)。例如，图像选择机构280可指定对于在音乐再现持续时期中的再现期间的幻灯而言所必需的图像数量作为选择数量(选择数量指定部分236)，并通过在第一实施例中说明的方法来选择该选择数量的图像。

然后，幻灯开始，并且由图像选择机构280选择的图像是基于由布局控制部分440设置的图像显示框和效果而与音乐数据相同步地显示的。以下详细说明该一系列处理中的各个处理。

(再现持续时期的设置：再现持续时期设置部分436的功能)

可从音乐的整个部分(全部再现)或音乐的重点部分(摘要再现)中选择音乐的再现持续时期。选择音乐的整个部分或音乐的重点部分中的哪个作为再现持续时期可由用户通过操作部分448来选择或被预设至PC21。可由再现持续时期设置部分436通过执行例如图19所示的处理来设置音乐的重点部分。

图19是示出了再现持续时期设置部分436的用于设置音乐的重点部分的处理的流程的流程图。如图19所示，再现持续时期设置部分436首先基于存储在音乐特征量存储部分432中的音乐构成信息来获取副歌起始位置(S560)。然后，如图19的右上部分所示，再现持续时期设置部分436以将摘要时间在副歌起始位置处划分成两半的方式来暂时地设置起点和终点(S562)。

然后，如果该暂时设置的起点不是第一拍(S564)，则再现持续时期设置部分436将起点向后设置到第一拍(S566)，如果暂时设置的终点不是第一拍(S568)，则再现持续时期设置部分436将终点向前设置到第一拍(S570)。图19的右中部分表示如下的示例：因为暂时设置的起点是第二拍，所以将该起点向后设置到第一拍，并且因为暂时设置的终点是第三拍，所以将该终点向前设置到第一拍。

另外，再现持续时期设置部分436搜索在起点之前的N个(N≥1，例如N＝4)小节(S572)，如果存在在其处音乐的构成要素变化的构成变化点(S574)，则将起点更新为该构成变化点(S576)。同样地，再现持续时期设置部分436搜索在终点之后的N个(N≥1，例如N＝4)小节(S578)，如果存在在其处音乐的构成要素变化的构成变化点(S580)，则将终点更新为该构成变化点(S582)。图19的右下部分示出了如下的示例：在该示例中，因为在更新前在起点之前的N个小节期间存在从主歌到过门的构成变化点，所以将起点更新为该构成变化点，并且因为在更新前在终点之后的N个小节期间存在从副歌到间奏的构成变化点，所以将终点更新为该构成变化点。

以这种方式，将由再现持续时期设置部分436获得的从起点到终点的持续时期设置为摘要再现的再现持续时期。尽管在图19中示出了在S572中搜索在起点之前的N个小节的时段的情况，但是本实施例不限于此。例如，再现持续时期设置部分436可包括起点之后的N个小节作为搜索目标时段。同样地，尽管示出了在S578中搜索在终点之后的N个小节的时段的情况，但是本实施例不限于此。例如，再现持续时期设置部分436可包括终点之前的N个小节作为搜索目标时段。

(淡入/淡出时间的设置)

由再现持续时期设置部分436设置的再现持续时期的淡入时间和淡出时间可被预先设置到PC 21，也可被通过经由操作部分448的用户操作来设置。另外，当执行其中再现持续时期是音乐的整个部分的全部再现时，可将淡入时间和淡出时间设置为与执行摘要再现时相比更长。例如，淡入时间和淡出时间可以是约3秒。

(布局框架：布局控制部分440的功能)

布局控制部分440通过例如以下方法将由再现持续时期设置部分436设置的音乐再现持续时期分割成多个图像显示框。

-时间固定

这是分割音乐再现持续时期以便以例如10秒之类的固定时间间隔切换图像的布局方法。在该方法中，音乐特征量未被特别地使用。

-小节分割

这是分割音乐再现持续时期以便每一定数量的小节就切换图像的布局方法。布局控制部分440可以基于音乐进行信息中包含的切换小节时的时间来指定从再现持续时期的开头起多少毫秒后切换图像。因为在具有4拍的音乐中曲调一般倾向于每4小节或每8小节变化，所以布局控制部分440可以例如每4小节或每8小节分割再现持续时期。

-和弦分割

这是分割音乐再现持续时期以便与和弦进行中的变化相同步地切换图像的布局方法。布局控制部分440可以基于音乐进行信息中包含的切换和弦时的时间来指定从再现持续时期的开头起多少毫秒后切换图像。例如，当从再现持续时期的开头起1000毫秒后和弦从C大调变成A小调时，布局控制部分440可从再现持续时期的开头起1000毫秒后分割再现持续时期。因为在时间固定和小节分割的情况下以规则的间隔来分割再现持续时期，所以在幻灯中周期性地切换图像。另一方面，因为在和弦分割的情况下以不规则的间隔(1小节、2小节、1小节又2拍等)来分割再现持续时期，所以幻灯中的图像切换周期不是恒定的，因此使得能够创建更好地与音乐流相匹配的幻灯。

-根据情绪的自动布局

这是根据与音乐的情绪相对应的规则来分割音乐的再现持续时期的布局方法。由情绪判定部分456基于音乐特征量来判定音乐的情绪。这在后面详细说明。

(效果的设置：布局控制部分440的功能)

布局控制部分440针对各个图像显示框而设置作为效果的以何种动画来显示图像。更具体地，布局控制部分440设置在图像框开始时对图像应用的动画(以下称为淡入)以及在图像框结束时对图像应用的动画(以下称为淡出)。效果类型的具体示例有阿尔法淡(入/出)、缩放(缩/放)、滑入(上、下、左、右)、多重显示滑入(纵分割、横分割)、深褐色等。以下参照图20说明各种效果类型。

图20是示出了针对每个效果类型的从淡入到淡出的状态的说明图。如图20所示，在无效果的情况下，从淡入到淡出保持相同的图像。在阿尔法渐变的情况下，在淡入期间透过性逐渐减小且图像显现，在淡出期间透过性逐渐增大且图像消隐。在缩放的情况下，在淡入期间图像逐渐变大，在淡出期间图像逐渐变小。在滑入的情况下，在淡入期间图像从显示屏幕外移到显示屏幕内，在淡出期间图像从显示屏幕内移到显示屏幕外。在多重显示的情况下，在多个分割的屏幕中对不同的图像应用滑入、缩放、阿尔法渐变等。

另外，除了效果类型以外，布局控制部分440还设置淡入开始时间、淡入结束时间、淡出开始时间、淡出结束时间等作为效果参数。布局控制部分440可以随机地或根据与音乐的情绪相对应的规则来设置这些效果参数。后面说明与使用音乐的情绪的方法相关的细节。

(图像的选择)

通过上述处理来设置音乐再现持续时期、布局框架和应用于各个图像显示框的效果。图像选择机构280选择要置于布局中的相应的图像显示框上的图像，并执行用于完成幻灯的处理。

例如，如同在第一实施例中所说明的那样，图像选择机构280从诸如任意文件夹内的图像集合之类的大量的图像集合中提取对于幻灯而言必需的数量的照片，由此创建不令人厌烦的幻灯。

另外，可以使用在例如日本未审专利公开2007-79894中公开的面部识别技术来识别各个图像中包含的面部的数量，并且除了将其添加至图像ID(内容管理ID)、拍摄时间、图像特征量等以外，还将其添加至图像相关信息。在这种情况下，布局控制部分440可以以如下的方式来进行布置：在最后的图像显示框中显示由图像选择机构280选择的图像中的、包含最大量的面部的图像。具体地，布局控制部分440可以将包含最大量的面部的图像置于最后的图像显示框中并使其它图像的位置前移，或者可以将最后的图像显示框中的图像替换成包含最大量的面部的图像。在该配置中，可以显示例如适用于最后作为代表照片的集体照片并结束幻灯。

(设置管理部分452)

如以上所说明的那样，对于用于实现各个处理的具体方法，有若干选项。可通过设置管理部分452来管理要使用的具体方法。另外，设置管理部分452可基于图18所示的配置对话中的用户操作来设置要使用的具体方法。

图18是示出了配置对话的示例性构成的说明图。如图18所示，配置对话包含表示用于再现持续时期、布局、效果和图像选择的具体方法的选项的显示。在图18所示的示例中，对于再现持续时期选择摘要再现，对于布局、效果和图像选择相应地选择自动选择。再现持续时期设置部分436、布局控制部分440和图像选择机构280可以以此方式根据由设置管理部分452管理的信息来操作。

(根据情绪的对布局和效果的自动选择)

下面参照图21至25说明根据情绪的对布局和效果的自动选择(显示图案的自动选择)。

图21是示出了根据情绪的对布局和效果的自动选择的流程的流程图。首先，如图21所示，情绪判定部分456基于存储在音乐特征量存储部分432中的音乐特征量来判定音乐的情绪(曲调)。情绪判定部分456可利用例如在PlayStation3(注册商标)中使用的“自动选择频道”的算法来执行情绪判定。另外，音乐的情绪可表示音乐的氛围、由音乐想起的抽象主题(气候、场所、季节、感情、事件)等。以下描述基于情绪判定部分456将音乐的情绪判定为Active(活泼的)、Relax(舒缓的)、Ballad(伤感的)、Acoustic(非电声的)或Electronic(电子的)中的任一种的假设。如果音乐对应于多种情绪，则情绪判定部分456可以根据给定的优先级来选择一种情绪。例如，可以对音乐在统计上不太可能对应的情绪赋予较高的优先级，可对Ballad赋予最低的优先级，可对Relax、Active、Electronic和Acoustic以此顺序赋予较高的优先级。

当由情绪判定部分456判定音乐的情绪之后，布局控制部分440获取音乐构成信息(S608)，基于音乐构成信息和音乐的情绪将再现持续时期分割成1个或2个或更多个逻辑持续时期，并针对各个逻辑持续时期而选择效果图案(S612)。例如，布局控制部分440可针对各个逻辑持续时期而选择如图22所示的效果图案。

图22是示出了效果图案的选择示例的说明图。在图22所示的示例中，将再现持续时期分割成针对音乐的各个构成要素的逻辑持续时期，并对主歌设置效果图案A，对过门设置效果图案B，对副歌设置效果图案C。各个效果图案包括多个效果类型。另外，对于用户而言的视觉效果按效果图案A(低)、效果图案B(中)和效果图案C(高)的顺序而升高。

然后，布局控制部分440决定每个逻辑持续时期的布局框架(S616)。具体地，布局控制部分440将各个逻辑持续时期分割成多个图像显示框。

此后，布局控制部分440将逻辑持续时期中包括的各个图像显示框的效果类型设置至该逻辑持续时期的效果图案中包括的任一效果图案(S620)。另外，如图23所示，布局控制部分440针对每个图像显示框而设置除了效果类型以外的其它效果参数。图23是示出了针对各个图像显示框而设置效果参数的方式的说明图。图23所示的布局[0]至[N]对应于相应的图像显示框，并且针对各个图像显示框而设置淡入开始时间、淡入结束时间、淡出开始时间、淡出结束时间和效果类型。

然后，在全部逻辑持续时期的处理结束之后，图像选择机构280可以决定对于幻灯而言所必需的图像数量(S624)。

以上说明了将再现持续时期分割成以音乐的构成要素(主歌、副歌等)为单位的逻辑持续时期的情况。在这种情况下，可以根据正被再现的旋律来实现效果和图像切换。另一方面，在本实施例中，如图24和25所示，相对于副歌起始位置而将再现持续时期分割成多个逻辑持续时期。

图24和25是示出了针对每种情绪的布局和效果的设置的示例的说明图。图24和25所示的切换周期表示图像切换时的周期，即，图像显示框的周期。如图24所示，当情绪是活泼的时，在以下位置处分割再现持续时期：副歌前4小节的位置、副歌前1小节的位置和副歌起始位置，切换周期短，并且设置多种效果图案。

另外，如图24所示，当情绪是舒缓的时，在副歌起始位置处分割再现持续时期，切换周期相当长，并且多用阿尔法渐变。另外，如图24所示，当情绪是深情的时，在副歌前2小节的位置和副歌起始位置处分割再现持续时期，切换周期相当长，并且多用缩放。如图25所示，当情绪是电子的时，基本上根据和弦变化来切换图像，并且随机设置效果。另一方面，当和弦变化是4拍或更少时，每拍都切换图像，并且不应用效果。另外，如图25所示，当情绪是非电声的时，在副歌起始位置处分割再现持续时期，切换周期相当长，并将深褐色应用于除了副歌以外的部分。

如上文所述，通过相对于过门起始位置将再现持续时期分割成多个逻辑持续时期，可以创建随着音乐再现位置越趋近于副歌而变得越让人印象深刻(视觉效果变得越显著)的幻灯。

(4-3)对第二实施例的补充说明

尽管在上述的第二实施例中说明了基于拍子、小节、和弦变化等将再现持续时期或逻辑持续时期分割成图像显示框的情况，但本实施例不限于此。下面参照图26说明第二实施例的替代性示例。

图26是示出了音乐进行中属音的关系的说明图。如图26所示，音乐由诸如稳定的主音、紧张的属音和不稳定的下属音之类的属音构成。属音具有如图26所示的关系。因此，布局控制部分440例如可以如下地基于属音将再现持续时期或逻辑持续时期分割成图像显示框。

-图像显示框：主音-属音-主音

效果：淡入-静止-淡出

一个图像显示框由主音-属音-主音构成，对主音设置淡入效果，对属音设置静止效果，并对后续的属音设置淡出效果。

-图像显示框：主音-下属音-属音-主音

效果：淡入-放大-静止-淡出

一个图像显示框由主音-下属音-属音-主音构成，对主音设置淡入效果，对下属音设置放大效果，对属音设置静止效果，并对后续的主音设置淡出效果。

-图像显示框：主音-下属音-主音

效果：淡入-放大-淡出

-个图像显示框由主音-属音-主音构成，对主音设置淡入效果，对下属音设置放大效果，并对后续的主音设置淡出效果。

这样，通过将再现持续时期分割成属音单位并使属音的变化与效果的变化相同步，可以自动创建与音乐更进一步地相匹配的幻灯。

另外，布局控制部分440可以以使得在和弦变化点处淡入结束的方式来根据和弦分割再现持续时期。

图27是示出了和弦变化点与图像显示框之间的关系的说明图。如图27所示，考虑基于从C小调到A大调的和弦变化点来分割图像显示框的情况。在这种情况下，为了使淡入在从C小调到A大调的和弦变化点t22处结束，布局控制部分440分割图像显示框以使t21来到开头处。同样地，为了使下个图像的淡入在从A大调到下个和弦的和弦变化点t25处结束，必须将t24设为下个图像显示框的开头。因此，为了使淡出在t24处结束，布局控制部分440将t23设为淡出开始时间。

如果将淡入设置为在和弦变化点处开始，则图像的效果在和弦变化后开始，这可能给予用户图像落后于音乐的印象。另一方面，通过像上述那样地以使得淡入在和弦变化点处结束的方式分割图像显示框，可以给予用户图像与音乐更好地相匹配的印象。

(5)总结

如上文所述，在根据第一实施例的PC 20中，由于相似判定和选择部分256基于各个图像的特征量来进行图像选择，因此相似判定和选择部分256可以从多个图像中选择例如相似程度较低的图像。另一方面，由于相似判定和选择部分256像上文所述的那样基于各个图像的特征量来进行图像选择，因此随着选择目标图像数量或最终选择数量的增加，相似判定和选择部分256中的处理负荷也变得过大。有鉴于此，如果最终选择数量大于最终数量标准值γ，则选择控制部分240不使相似判定和选择部分256执行图像选择，而是使随机选择部分258执行图像选择，由此减少了PC 20中的用于图像选择的处理负荷。因此，在PC 20中，当最终选择数量大于最终数量标准值γ时，随机选择部分258执行图像选择以减少处理负荷，并且当最终选择数量小于最终数量标准值γ时，相似判定和选择部分256执行图像选择以通过考虑相似来选择图像。

尽管参照附图说明了本发明的优选实施例，但本发明不限于上述实施例。对本领域的技术人员来说，显然在不脱离本发明的范围的情况下可以进行各种变化和变型，旨在将该各种变化和变型包括在本发明的范围之内。

例如，不一定根据流程图所示的顺序以时间顺序执行本说明书中的PC20或PC 21的处理中的各个步骤。例如，PC 20或PC 21的处理中的各个步骤可包括并行地或单独地执行的处理(例如并列处理或目标处理)。

另外，尽管图13示出了在S320中当选择控制部分240判定N＞γ时选择控制部分240使随机选择部分258执行图像选择，但本发明不限于此。例如，在S320中当选择控制部分240判定N＞γ时，选择控制部分240可以使运算量少于相似判定和选择部分256的、具有任意图像选择功能的选择部分执行图像选择。

另外，可以创建使得诸如内置于PC 20或PC 21中的CPU 201、ROM202或RAM 203之类的硬件执行与上述的PC 20或PC 21的构成要素相等同的功能的计算机程序。另外，可提供存储这种计算机程序的存储介质。另外，可通过硬件来实现图5或图14的功能框图所示的各个功能框，由此在硬件上实现该一系列处理。

Claims (16)

1.一种图像选择设备，包括：

选择数量指定单元，用于指定图像的选择数量；

图像分析单元，用于分析多个图像并提取各个图像的特征量；

第一选择单元，用于基于由所述图像分析单元提取的各个图像的特征量来从所述多个图像中选择至少所述选择数量的图像；

第二选择单元，用于通过随机选择方法来从所述多个图像中选择图像；以及

选择控制单元，用于在所述选择数量大于第一设定数量的情况下不是使所述第一选择单元而是使所述第二选择单元选择图像。

2.根据权利要求1所述的图像选择设备，其中：

如果所述选择数量小于所述第一设定数量，则所述选择控制单元使得所述第一选择单元选择至少所述选择数量的图像，然后使得所述第二选择单元从所述至少所述选择数量的图像中选择所述选择数量的图像。

3.根据权利要求1所述的图像选择设备，其中：

所述第一选择单元从所述多个图像中选择基于所述选择数量和预定的指数而指定的数量的图像。

4.根据权利要求1所述的图像选择设备，还包括：

第三选择单元，用于将预定的图像集合分类成由其拍摄时间间隔短于设定的间隔值的图像组成的组，并从每个所述组中选择至少一个图像，其中，

所述多个图像被包括在由所述第三选择单元选择的图像集合中。

5.根据权利要求4所述的图像选择设备，还包括：

第四选择单元，用于根据由所述第三选择单元选择的图像集合中包括的各个图像的拍摄时间的离散度而将所述图像集合分类成多个组，并从每个组中选择至少一个图像作为所述多个图像。

6.根据权利要求5所述的图像选择设备，其中：

如果由所述第三选择单元选择的图像集合中包括的图像的数量大于第二设定数量，则所述选择控制单元不是使所述第四选择单元而是使所述第二选择单元选择图像。

7.根据权利要求5所述的图像选择设备，其中：

如果由所述第三选择单元选择的图像集合中包括的图像的数量小于基于所述选择数量和预定指数而指定的数量，则所述选择控制单元使所述第一选择单元从由所述第三选择单元选择的图像集合中包括的图像中选择所述选择数量的图像。

8.根据权利要求1所述的图像选择设备，还包括：

音乐再现单元，用于再现音乐；

布局控制单元，用于针对形成音乐的一个或两个或更多个持续时期中的每一个而设置图像的显示图案；

图像显示单元，用于显示图像；以及

显示控制单元，用于使得根据由所述布局控制单元对包括音乐再现位置的持续时期设置的显示图案来顺序地显示基于所述选择控制单元的控制而选择的图像。

9.根据权利要求8所述的图像选择设备，其中：

所述布局控制单元根据与所述音乐的情绪相对应的规则将所述音乐分割成一个或两个或更多个持续时期，并针对所述一个或两个或更多个持续时期而设置与所述音乐的情绪相对应的显示图案。

10.根据权利要求8所述的图像选择设备，其中：

所述布局控制单元在基于所述选择控制单元的控制而选择的图像中将包含最大数量的面部的图像置于最后。

11.根据权利要求8所述的图像选择设备，还包括：

再现持续时期设置单元，用于设置音乐的再现持续时期，其中，

所述选择数量指定单元基于对于所述再现持续时期中的再现期间的显示而言所必需的图像数量来指定所述图像的选择数量。

12.根据权利要求11所述的图像选择设备，其中：

所述再现持续时期设置单元暂时地设置以音乐的高潮部分的起始位置为中心的持续时期，以及

如果所述持续时期的起点和终点不是第一拍，则所述再现持续时期设置单元将所述起点和所述终点分别向后延伸到第一拍和向前延伸到第一拍，并设置所述再现持续时期。

13.根据权利要求12所述的图像选择设备，其中：

如果在从起点起的给定范围内或从终点起的给定范围内存在在其处音乐的构成要素变化的构成变化点，则所述再现持续时期设置单元进一步将所述起点或所述终点更新为所述构成变化点，并设置再现持续时期。

14.根据权利要求8所述的图像选择设备，其中：

所述显示图案包含图像的切换时间和应用于图像的效果中的至少一个。

15.根据权利要求8所述的图像选择设备，其中：

当基于音乐的和弦进行而切换图像时，所述布局控制单元以使得图像的淡入在和弦变化点处结束的方式来进行控制。

16.一种图像选择方法，包括：

指定图像的选择数量的步骤；

判定所述选择数量是否大于第一设定数量的步骤；

如果判定所述选择数量小于第一设定数量，则分析多个图像以提取各个图像的特征量、且基于所述各个图像的特征量而从所述多个图像中选择至少所述选择数量的图像的步骤；以及

如果判定所述选择数量大于第一设定数量，则在不使用所述各个图像的特征量的情况下通过随机选择方法从所述多个图像中选择图像的步骤。

Images