CN101727476A - 信息处理装置、程序和信息处理方法 - Google Patents

Abstract

本发明公开了信息处理装置、程序和信息处理方法。信息处理装置包括：回放单元，用于回放音乐数据；分析单元，用于分析音乐数据的相关图像的特征；图像校正单元，用于利用多种校正类型中的任一种来执行图像校正；存储单元，用于存储一个或多于一个图像；选择单元，用于从多种校正类型中选择与被分析单元分析的相关图像的特征相对应的校正类型；校正控制单元，用于利用选择单元所选择的校正类型来使得图像校正单元对存储单元中存储的图像执行图像校正；以及输出单元，用于输出经图像校正单元校正的图像。

Description

信息处理装置、程序和信息处理方法

技术领域

本发明涉及信息处理装置、程序和信息处理方法。

背景技术

数码相机目前被广泛使用，并且在PC上编辑数码相机所捕获的照片图像(photographic image)、执行顺次显示照片图像的幻灯片放映等被普遍地执行。

虽然在幻灯片放映中独立地执行音乐的回放(playback)和照片图像的显示，但是可以通过以下方法来执行幻灯片放映。

(1)基于诸如音乐进行(music progression)或节拍(beat)之类的音乐进行信息来调整切换照片图像的定时。

(2)当回放特定音乐时，使用模板来匹配该音乐，在该模板中设定了切换照片图像的定时以及淡入和淡出模式。

幻灯片放映中的淡入和淡出例如在日本未实审专利申请公布No.2006-166164中有所描述。

发明内容

在上述方法(1)中，音乐进行信息仅用于幻灯片放映的回放控制，并且要回放的照片图像独立于音乐。此外，在上述方法(2)中，可用的音乐是有限的并且用户无法使用所需的音乐。

鉴于前述情况，希望提供一种新颖且改进的信息处理装置、程序和信息处理方法，其能够通过进行与要回放的音乐相对应的校正来显示图像。

根据本发明的一个实施例，提供了一种信息处理装置，该信息处理装置包括：回放单元，用于回放音乐数据；分析单元，用于分析音乐数据的相关图像的特征；图像校正单元，用于利用多种校正类型中的任一种来执行图像校正；存储单元，用于存储一个或多于一个图像；第一选择单元，用于从多种校正类型中选择与被分析单元分析的相关图像的特征相对应的校正类型；校正控制单元，用于利用第一选择单元所选择的校正类型来使得图像校正单元对存储单元中存储的图像执行图像校正；以及输出单元，用于输出经图像校正单元校正的图像。

信息处理装置还可以包括用于创建显示画面的创建单元，该显示画面包括经图像校正单元校正的图像和相关图像并被从输出单元输出。

校正控制单元可以随着时间的流逝而利用第一选择单元所选择的校正类型来改变图像校正单元进行的图像校正的细节。

信息处理装置还可以包括第二选择单元，用于根据音乐数据的特征从存储单元所存储的一个或多于一个图像中选择由图像校正单元进行图像校正的目标图像。

信息处理装置还可以包括第二选择单元，用于根据相关图像的特征从存储单元所存储的一个或多于一个图像中选择由图像校正单元进行图像校正的目标图像。

信息处理装置还可以包括第二选择单元，用于根据音乐数据的附加信息从存储单元所存储的一个或多于一个图像中选择由图像校正单元进行图像校正的目标图像。

分析单元还可以分析相关图像中所包含的字符的字体，并且显示画面还可以包括由与分析单元所分析的字体相同或相似的字体所表现的相关图像的附加信息。

显示画面还可以包括由与音乐数据的特征相对应的字体所表现的相关图像的附加信息。

根据本发明的另一实施例，提供了一种用于使得计算机用作信息处理装置的程序，该信息处理装置包括：回放单元，用于回放音乐数据；分析单元，用于分析音乐数据的相关图像的特征；图像校正单元，用于利用多种校正类型中的任一种来执行图像校正；选择单元，用于从多种校正类型中选择与被分析单元分析的相关图像的特征相对应的校正类型；校正控制单元，用于利用选择单元所选择的校正类型来使得图像校正单元对存储介质中所存储的一个或多于一个图像进行校正；以及输出单元，用于输出经图像校正单元校正的图像。

根据本发明的另一实施例，提供了一种信息处理方法，该信息处理方法包括以下步骤：回放音乐数据；分析音乐数据的相关图像的特征；从多种校正类型中选择与相关图像的特征相对应的校正类型；利用所选择的校正类型来校正存储介质中所存储的一个或多于一个图像；以及输出经校正的图像。

在根据上述本发明实施例的信息处理装置、程序和信息处理方法中，可以通过进行与要回放的音乐相对应的校正来显示图像。

附图说明

图1是示出PC的硬件配置的框图。

图2是示出根据本发明一实施例的PC的配置的功能框图。

图3是示出音乐组成的示例的说明图。

图4是示出用于创建带有音乐的幻灯片放映的一系列处理步骤的流程图。

图5是示出布局(layout)控制单元用来设定音乐数据的高潮部分(highlight part)的处理流程的流程图。

图6是示出根据基调(mood)来设定布局的示例的说明图。

图7是示出根据基调来设定布局的示例的说明图。

图8是示出运动模式的具体示例的说明图。

图9是示出表现运动模式的参数的含义的说明图。

图10是示出在切换时多个图像的关系的说明图。

图11是示出获得效果信息的示例的说明图。

图12是示出获得效果信息的另一示例的说明图。

图13是示出执行效果处理的示例的说明图。

图14是示出参数p对效果细节的影响的说明图。

图15是示出时间的流逝与参数p之间的关系示例的说明图。

图16是示出由噪声效果器(effector)所添加的噪声的说明图。

图17是示出由噪声效果器所添加的噪声的说明图。

图18是示出阈值th1和阈值th2与参数p的关系的说明图。

图19是对色彩模仿效果器的处理的图像图示。

图20是示出当效果类型选择单元选择每个封皮(jacket)照片的效果类型时的流程的流程图。

图21是示出对其进行单色(monochrome)确定的封皮图像的具体示例的说明图。

图22是示出对其进行噪声确定的封皮图像的具体示例的说明图。

图23是示出对其进行多色调分色(posterization)确定的封皮图像的具体示例的说明图。

图24是示出对其进行色调效果(tone effect)确定的封皮图像的具体示例的说明图。

图25是示出对其进行色彩模仿(color imitation)确定的封皮图像的具体示例的说明图。

图26是示出效果处理之前的照片图像的具体示例的说明图。

图27是示出对图26所示的照片图像执行效果处理“单色”的结果的说明图。

图28是示出对图26所示的照片图像执行效果处理“噪声”的结果的说明图。

图29是示出对图26所示的照片图像执行效果处理“多色调分色”的结果的说明图。

图30是示出对图26所示的照片图像执行效果处理“色调效果”的结果的说明图。

图31是示出对图26所示的照片图像执行效果处理“色彩模仿”的结果的说明图。

图32是示出在幻灯片放映开始时显示在视频输出单元上的显示画面的示例的说明图。

图33是示出音乐基调和字体的关系示例的说明图。

图34是示出基于封皮图像的图像分析信息来选择字体的说明图。

图35是示出音乐流派和字体的关系示例的说明图。

图36是示出从幻灯片放映开始时所显示的显示画面切换到被执行了效果处理的照片图像的说明图。

具体实施方式

以下将参考附图来详细描述本发明的优选实施例。注意，在该说明书和附图中，基本具有相同功能和结构的结构元件用相同的标号表示，并且省略对这些结构元件的重复描述。

将以如下顺序来描述本发明的实施例：

1.PC的硬件配置

2.PC的功能和操作概述

3.回放持续时间的设定

4.布局的决定

5.图像选择

6.效果处理的概述

7.参数p

8.效果类型的说明

[单色]

[噪声]

[多色调分色]

[色调效果]

[色彩模仿]

9.效果类型的选择

10.幻灯片放映的执行

11.总结和补充

<1.PC的硬件配置>

根据本发明一实施例的PC 20可与音乐数据的回放一同顺次显示照片图像，其中对照片图像执行根据音乐数据的效果。在描述根据该实施例的PC 20的功能之前，以下参考图1来描述PC 20的硬件配置。

图1是示出PC 20的硬件配置的框图。PC 20包括CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器203)、主机总线204、桥205、外部总线206、接口207、输入设备208、输出设备210、存储设备(HDD)211、驱动器212和通信设备215。

CPU 201用作处理设备和控制设备，并且根据每个程序来控制PC 20中的整体操作。CPU 201可以是微处理器。ROM 202存储将由CPU 201使用的程序、处理参数等。RAM 203临时存储将在CPU 201上执行时所使用的程序、在执行期间变化的参数等。CPU 201、ROM 202和RAM 203通过主机总线204彼此连接，主机总线204可以是CPU总线等。

主机总线204经由桥205连接到诸如PCI(外围组件互连/接口)之类的外部总线206。主机总线204、桥205和外部总线206不一定是彼此分离的，它们的功能可在单条总线上实现。

输入设备208可以包括供用户输入信息的输入装置(例如鼠标、键盘、触摸板、按钮、麦克风、开关或者操作杆)以及输入控制电路，该输入控制电路基于用户输入来生成输入信号并将输入信号输出到例如CPU201。PC 20的用户操纵输入设备208，从而输入各种数据或者将处理操作引导至PC 20。

输出设备210可以包括视频输入设备和音频输入设备，视频输入设备例如是CRT(阴极射线管)显示设备、LCD(液晶显示)设备、OLED(有机发光显示)设备或者灯，音频输出设备例如是扬声器或头戴式耳机。输出设备210例如可以输出再现内容。具体地，视频输出设备显示诸如再现的照片图像之类的信息。音频输出设备将再现的音乐数据等转换为声音并将其输出。

存储设备211是用于数据存储的设备，根据该实施例，该设备被配置为PC 20的存储单元。存储设备211可以包括存储介质、将数据记录到存储介质上的记录设备、从记录介质读取数据的读取设备、删除记录介质上所记录的数据的删除设备等等。存储设备211例如可包括HDD(硬盘驱动器)。存储设备211驱动硬盘并存储将由CPU 201执行的程序或者各种数据。稍后描述的音乐数据、效果信息等被记录在存储设备211上。

驱动器212是用于存储介质的读写器，并且可内置于PC 20中或者外部地附接。驱动器212读取附接到其的可移除记录介质24(例如磁盘、光盘、磁光盘或者半导体存储器)上所记录的信息，并将信息输出到RAM203。

通信设备215可以是由通信设备等构成的用于与通信网络12建立连接的通信接口。通信设备215可以是兼容无线LAN(局域网)的通信设备、兼容无线USB的通信设备或者执行有线通信的有线通信设备。

在本说明书中，PC 20仅被描述为信息处理装置的示例，信息处理装置不限于此。例如，信息处理装置可以是家用视频处理设备(例如，DVD记录器、录像带记录器等)、蜂窝电话、PHS(个人手持电话系统)、便携式音乐回放设备、便携式视频处理设备等。此外，信息处理装置可以是PDA(个人数字助理)、家用游戏机、便携式游戏机、家用电气设备等。

<2.PC的功能和操作概述>

以下参考图2至图4来示意性地描述根据该实施例的PC 20的功能和操作。图2是示出根据该实施例的PC 20的配置的功能框图。参考图2，PC 20包括幻灯片放映播放器、基调确定单元224、封皮分析单元228、效果类型选择单元232、布局控制单元236、效果控制单元252、操作单元264和设定管理单元268。幻灯片放映播放器包括存储单元220、图像选择单元240、解码器244、混合器/效果器(mixer/effector)电路248、音频输出单元256、视频输出单元260、字体选择单元272和显示创建单元276。

存储单元220是用于存储执行幻灯片放映所使用的音乐数据、封皮图像、效果信息、音乐特征量、照片图像等。

例如，每首音乐对应于任一封皮图像并且被存在与音乐数据相关联的存储单元220中。音乐数据和封皮图像可以是从光盘获得的，或者可以是通过通信网络12从内容分发服务器获得的。

音乐特征量指示出音乐数据的特征，并且是通过分析音乐数据而获得的。例如，音乐特征量可以是基调特征量、音乐组成信息、音乐进行信息、基调等等。各个音乐特征量在以下描述。

(基调特征量)

基调特征量是通过将音乐的印象、氛围或情绪(例如“愉快的”、“高兴的”、“伤心的”和“清爽的”)转换为数字而获得的。作为较高阶(higher-order)特征量的基调特征量可通过以下步骤来提取：通过对音乐数据的信号处理(声音分析)来提取基本特征量(例如速度(tempo)、以下描述的音乐进行信息等)，然后利用基本特征量来进行机器学习和声音估计。更具体的分析方法例如在日本未实审专利申请公开No.2005-274708、2005-275068、2008-27538、2008-65905等中有所公开。

(音乐组成信息)

音乐组成信息是指示出诸如独唱部分(verse)、过渡乐节(bridge)、合唱部分(chorus)和结尾之类的音乐组分的开始相对于音乐开头的定时的信息。参考图3，更具体地描述音乐组成信息。

图3是示出音乐组成的一个示例的说明图。图3示出了以前奏(introduction)、独唱部分、过渡乐节、合唱部分、间奏(interlude)、过渡乐节、合唱部分等的顺序来布置组分的情况。在这种情况下，前奏切换到独唱部分的时间t1、独唱部分切换到过渡乐节的时间t2、过渡乐节切换到合唱部分的时间t3以及相同方式的t4至t6是音乐组成信息。

在本说明书中，音乐的印象最深部分称为合唱部分。因为在例如日本未审查专利公开No.2007-156434中公开了一种分析音乐组成信息的方法，所以本说明书中省略详细说明。

(音乐进行信息)

音乐进行信息是指示出音乐中的每个节拍、小节(measure)及和弦(C大调、A小调等)相对于音乐开头的定时的信息。例如，在图3所示的情况下，到C和弦的切换所发生的时间t11、到G和弦的切换所发生的时间t12、到Am和弦的切换所发生的时间t13、到Em和弦的切换所发生的时间t14等是音乐进行信息。因为在例如日本未审查专利公开No.2007-183417中公开了一种分析音乐进行信息的方法，所以本说明书中省略详细说明。

(基调)

音乐的基调是由基调确定单元224基于基调特征量确定的。基调确定单元224可以利用例如PlayStation3(注册商标)中使用的“自动选择通道”算法来执行基调确定。此外，音乐的基调可表示音乐的氛围、通过音乐所回想起的抽象主题(abstract theme)(气候、地点、季节、情绪、事件等)等等。以下描述基于下面的假定：基调确定单元224将音乐的基调确定为Energetic(充满活力的)、Relaxing(放松的)、Dramatic(戏剧性的)、Happy(高兴的)和Electronic(电子的)。如果音乐对应于多个基调，则基调确定单元224可以根据给定的优先级来选择一种基调。较高的优先级可以被赋予给音乐在统计上不太可能对应于的基调，最低的优先级可被赋予给Dramatic，并且更高的优先级可被以Relalxing、Energetic、Electronic和Happy的顺序赋予给Relalxing、Energetic、Electronic和Happy。

效果信息包括通过封皮分析单元228对封皮图像的分析所获得的图像分析信息和由效果类型选择单元232选择的效果类型。图像分析信息的要素以及每个要素在本说明书中的意义示例在以下描述。

-平均色彩：通过对封皮图像中所有像素的色彩进行平均所获得的值。

-对比度：封皮图像中所有像素的亮度值的标准偏差。

-特征值、特征向量：通过对在3D色彩空间(本实施例中为RGB空间)上绘制封皮图像中所有像素的集合的主要组分分析(principalcomponent)所获得的特征值和特征向量，其是以第一主要组分、第二主要组分和第三主要组分的顺序布置的。第一主要组分的特征值和特征向量分别称为第一特征值和第一特征向量，第二主要组分的特征值和特征向量分别称为第二特征值和第二特征向量，第三主要组分的特征值和特征向量分别称为第三特征值和第三特征向量。具体地，作为对集合的主要组分分析的结果，在RGB空间中获得三条直线，并且这三条直线中最长的线、第二长的线和最短的线分别对应于第一主要组分、第二主要组分和第三主要组分。每条直线的方向对应于特征向量，并且每条直线的长度对应于特征值。如果封皮图像中的特别色彩(peculiar color)是可分离的，则可通过将该特别色彩作为点色彩而去除并且对去除了点色彩的一组色彩执行主要组分分析来获得特征值和特征向量。

-色彩直方图：当封皮图像的色彩被减少至指定数目的色彩(本实施例中为32种色彩)时的每个色彩值及其含量。

-亮度直方图：将封皮图像转换成灰度级图像并利用指定数目(本实施例中最大为32种色彩)来创建其像素值(亮度值)的直方图所得的结果。

-面部信息：通过面部识别技术从封皮图像检测到的信息，其例如包括封皮图像中所包含的面部的数目、每个面部的位置、大小或倾斜等等。

-点色彩：构成封皮图像的色彩中的特别色彩。例如仅在单色背景的一部分中包含红色物体的封皮图像中，点色彩是该物体的红色值。

-字体：封皮图像中所包含的字符的字体和字符色彩。

以下描述效果类型(校正类型)的具体示例。以下描述基于下面的假定：从存储单元220选择的照片图像是输入图像。

-单色：以仅包括两种色彩的线性和所表现的色彩的方式来处理照片图像。一种示例是所谓的灰色图像(白色和黑色的线性和)。在本实施例中，基于封皮图像的图像分析信息来决定作为两种色彩的适当色彩。

-噪声：在对照片图像执行与单色相同的处理之后，添加噪声并且进一步增强对比度。单色效果执行和对比度增强的程度是基于封皮图像的图像分析信息来决定的。

-多色调分色：通过少数色彩(例如三种色彩)来表现照片图像。所用的色彩是基于封皮图像的图像分析信息来决定的。

-色调效果：在与封皮图像的图像分析信息相对应的方向上总体移动封皮图像的色彩分布。

-色彩模仿：处理封皮图像的色彩分布以便增强封皮图像中所包含的色彩成分。

因为在执行上述每种效果处理时使用了封皮图像的图像分析信息，所以封皮图像的氛围在不小的程度上被反映在被执行了效果处理的照片图像上。此外，在本实施例中，为了使得被执行了效果处理的照片图像的氛围更好地与封皮图像的氛围相匹配，效果类型选择单元232选择对封皮图像而言适当的效果类型。如稍后在<9.效果类型的选择>中所描述的，效果类型选择单元232为作为灰色图像的封皮图像选择单色，并且为利用数目显著小于最大色彩数的色彩所表现的封皮图像选择多色调分色。

存储单元220中所存储的照片图像可被选择为幻灯片放映执行期间的显示对象。PC 20例如可从摄像装置或者通过通信网络12来获得照片图像。可被选择为幻灯片放映执行期间的显示对象的图像不限于照片图像，可以是任意图像。

上述用于存储音乐数据、封皮图像、效果信息、音乐特征量和照片图像的存储单元220可以是诸如非易失性存储器、磁盘、光盘或者MO(磁光)盘之类的存储介质。非易失性存储器的示例是EEPROM(电可擦除可编程只读存储器)、EPROM(可擦除可编程只读存储器)等。磁盘的示例是硬盘、圆盘状磁盘等。光盘的示例是CD(紧致盘)、DVD-R(数字通用盘可录型)、BD(蓝光光盘(Blu-ray Disc，注册商标))等。音乐数据、封皮图像、效果信息、音乐特征量、照片图像等可存储在物理上不同的存储介质中。

布局控制单元236设定幻灯片放映执行期间的音乐回放持续时间，参考布局信息表，并且将回放持续时间分成多个图像显示帧(即，决定布局)。布局信息表包含关于将回放持续时间分成多个图像显示帧的多种方法的信息，并且布局控制单元236基于这些方法中的任意方法来确定布局。在每个图像显示帧中显示不同的图像。

此外，布局控制单元236具有包含图像的多个运动模式的动画信息表，并且从动画信息表中选择每个图像显示帧中将显示的图像的运动模式。

图像选择单元240根据布局控制单元236的对布局的决定结果，从存储单元220选择用于执行幻灯片放映的必要数目的照片图像。稍后在<5.图像选择>中详细描述选择照片图像的方法。

解码器244对存储单元220中所存储的音乐数据和图像选择单元240所选择的照片图像进行解码。例如，解码器244将MP3(MPEG1音频第3层)格式或者ATRAC(自适应变换声学编码)格式的音乐数据解码成PCM格式。

混合器/效果器电路248用作图像校正单元，其对经解码器244解码的音乐数据和照片图像执行给定处理。例如，混合器/效果器电路248对经解码器244解码的照片图像执行由布局控制单元236设定的动画处理或者执行基于效果控制单元252的控制的效果处理。根据本实施例的混合器/效果器电路248可以用作单色效果器、噪声效果器、多色调分色效果器、色调效果器或者色彩模仿效果器。

效果控制单元252用作校正控制单元，其控制混合器/效果器电路248对照片图像的效果。例如，效果控制单元252控制效果类型、效果处理的细节、稍后描述的参数p等等。

音频输出单元256例如将从混合器/效果器电路248提供的音乐数据转换为空气振动，并输出结果。因此，解码器244、混合器/效果器电路248和音频输出单元256用作彼此协作地回放音乐数据的回放单元。音频输出单元256可将从混合器/效果器电路248提供的音乐数据提供给外部设备。

视频输出单元260用作输出单元，其显示从混合器/效果器电路248提供的在效果处理之后的照片图像以便对用户而言是可见的。视频输出单元260可将从混合器/效果器电路248提供的在效果处理之后的照片图像提供给外部设备。

操作单元264是用户接口，用户向该用户接口输入各种信息和各种指令。设定管理单元268例如基于对操作单元264的用户操作来作出各种设定。各种设定包括回放持续时间的设定、布局的设定、效果的设定、图像选择等，这在稍后描述。稍后在<10.幻灯片放映的执行>中描述字体选择单元272和显示创建单元276。

以下参考图4来描述根据本实施例的PC 20用来创建带有音乐的幻灯片放映的一系列处理步骤。

图4是示出用于创建带有音乐的幻灯片放映的一系列处理步骤的流程图。如图4所示，如果要回放的音乐数据是由用户通过操作单元264选择的(S204)，则布局控制单元236设定音乐数据的回放持续时间(S208)。回放持续时间可以是音乐的整个部分或者是音乐的高潮部分，如稍后详细所述。虽然图4示出了用户选择音乐数据的示例，但是本实施例不限于此。例如，可以随机选择音乐数据，或者从被分类到特定基调的音乐数据中自动选择音乐数据。

接下来，布局控制单元236将音乐回放持续时间分成多个图像显示帧(S212)。音乐回放持续时间可被利用固定时间来划分、针对每个小节来划分、根据和弦改变来划分或者自动划分，如稍后详细所述。布局控制单元236可为每个图像显示帧设定将应用于所显示的图像的运动模式。

然后，图像选择单元240选择用于在音乐回放持续时间中回放的必要数目的照片图像(S216)。此后，开始音乐数据的回放，并且开始对由图像选择单元240所选择并由解码器244所解码的照片图像的效果处理以及对被执行了效果处理的照片图像的显示(S220)。

对照片图像的效果处理是作为以下处理结果而执行的：效果控制单元252基于与要回放的音乐数据的封皮图像相对应的效果信息来控制混合器/效果器电路248。因此，根据本实施例，可以显示对其执行了效果处理的照片图像，以便与带有音乐的幻灯片放映中要回放的音乐数据的封皮图像的氛围相匹配。以下具体描述本实施例中的各个处理。

<3.回放持续时间的设定>

音乐数据的回放持续时间可从音乐数据的整个部分(全部回放)或者音乐数据的高潮部分(摘要(digest)回放)中选择。音乐数据的整个部分或者音乐数据的高潮部分中的哪个被选为回放持续时间可由用户通过操作单元264来选择或者被预设给PC 20。音乐数据的高潮部分可通过由布局控制单元236例如执行图5所示的处理来设定。

图5是示出布局控制单元236用来设定音乐数据的高潮部分的处理流程的流程图。如图5所示，布局控制单元236首先基于存储单元220中所存储的音乐组成信息(被包括在音乐特征量中)来获得合唱部分开始位置(S560)。然后，布局控制单元236以如下方式来临时设定起点(startpoint)和终点(end point)：在合唱开始位置处摘要时间被分成两半，如图5的右上部分所示(S562)。

然后，如果临时设定的起点不是第一节拍(S564)，则布局控制单元236将起点向后设定为第一节拍(S566)，并且如果临时设定的终点不是第一节拍(S568)，则其将终点向前设定为第一节拍(S570)。图5的右侧中间部分示出如下示例：因为临时设定的起点是第二节拍，所以起点被向后设定为第一节拍，并且因为临时设定的终点是第三节拍，因此终点被向前设定为第一节拍。

此外，布局控制单元236搜索起点之前的N个(N≥1，例如N＝4)小节(S572)，并且如果存在音乐组分改变的组成改变点(S574)，则将起点更新为组成改变点(S576)。同样，布局控制单元236搜索终点之后的N个(N≥1，例如N＝4)小节(S578)，并且如果存在音乐组分改变的组成改变点(S580)，则将终点更新为组成改变点(S582)。图5的右下部分示出如下示例：因为在更新前的起点之前的N个小节中存在从独唱部分到过渡乐节的组成改变点，所以起点被更新为组成改变点，并且因为在更新前的终点之后的N个小节中存在从合唱部分到间奏的组成改变点，所以终点被更新为组成改变点。

这样，由布局控制单元236获得的从起点到终点的持续时间被设定为摘要回放(高潮部分)的回放持续时间。虽然在图5中图示出在S572中搜索起点之前的N个小节的时段的情况，但是本实施例不限于此。例如，布局控制单元236可以包括起点之后的N个小节作为搜索目标时段。同样，虽然图示出在S578中搜索终点之后的N个小节的时段的情况，但是本实施例不限于此。例如，布局控制单元236可以包括终点之前的N个小节的时段作为搜索目标时段。

<4.布局的决定>

布局控制单元236例如通过以下方法将音乐数据的回放持续时间分成多个图像显示帧。

-时间固定

这是一种将音乐数据的回放持续时间划分为使得以规则的时间间隔(例如十秒)来切换图像的布局方法。在该方法中，音乐特征量不被特别地使用。

-小节划分

这是一种将音乐数据的回放持续时间划分为使得每一定数目的小节就切换图像的布局方法。布局控制单元236可以基于小节被切换的时间(这包含在音乐进行信息中)来指定在从回放持续时间的开头起多少毫秒之后切换图像。因为在四节拍的音乐中，曲调(tune)一般倾向于每四个小节或八个小节改变，所以布局控制单元236例如可以每四个小节或者每八个小节来划分回放持续时间。

-和弦划分

这是一种将音乐数据的回放持续时间划分为使得同步于和弦进行的改变而切换图像。布局控制单元236可以基于和弦被切换的时间(这包含在音乐进行信息中)来指定在从回放持续时间的开头起多少毫秒之后切换图像。例如，当和弦在从回放持续时间的开头起1000毫秒之后从C大调变为A小调时，布局控制单元236可以在从回放持续时间的开头起1000毫秒之后划分回放持续时间。因为在时间固定和小节划分的情况下，以规则的间隔来划分回放持续时间，所以在幻灯片放映中周期性地切换图像。另一方面，因为在和弦划分的情况下以不规则的间隔(一个小节、两个小节、一个小节和两个节拍等)来划分回放持续时间，所以幻灯片放映中的图像切换周期不是恒定的，从而使得幻灯片放映的创建更好地匹配音乐流。

-根据基调的自动布局

这是一种根据与音乐的基调相对应的规则来划分音乐数据的回放持续时间的布局方法。音乐的基调是由基调确定单元224基于音乐特征量来确定的。这在以下参考图6和图7来描述。

图6和图7是示出根据基调来设定布局的示例的说明图。图6和图7所示的切换周期指的是切换图像的周期，其是图像显示帧的周期。如图6所示，当基调是Energetic时，在合唱部分之前的四个小节的位置处、合唱部分之前的一个小节的位置处和合唱部分开始位置处划分回放持续时间。于是，切换周期在直到合唱部分之前的一个小节的位置为止被设定为一个小节，在合唱部分之前的一个小节的位置与合唱部分开始位置之间被设定为一个节拍，并且在合唱部分开始位置之后被设定为两个节拍。可以为各回放持续时间设定不同的运动模式。

此外，如图6所示，在基调为Relaxing的情况下，回放持续时间被设定为两次和弦改变。此外，如图6所示，在基调为Dramatic的情况下，回放持续时间在直到合唱部分之前的两个小节的位置为止被设定为一次和弦改变，在合唱部分之前的两个小节的位置与合唱部分开始位置之间被设定为两个节拍，并且在合唱部分开始位置之后被设定为一次和弦改变。另一方面，如图7所示，在基调为Electronic的情况下，基本上根据和弦改变来切换照片图像，并且当和弦改变为四个节拍或更少时，每个节拍都切换照片图像。此外，如图7所示，在基调为Happy的情况下，切换周期在直到合唱部分开始位置为止被设定为一个小节，并且在合唱部分开始位置之后被根据和弦改变来设定。

如上所述，通过相对于合唱部分开始位置来区分照片图像的切换周期，可以创建如下的幻灯片放映：该幻灯片放映在音乐回放位置更靠近于合唱部分时变得更加印象深刻(即，视觉效果变得强烈)。

此外，在决定布局之后，布局控制单元236选择每个图像显示帧中将要显示的图像所适用的运动模式。以下参考图8至10来描述运动模式。

图8是示出运动模式的具体示例的说明图。图9是示出表现运动模式的参数的含义的说明图。图10是示出在切换时多个图像的关系的说明图。如图8所示，每个运动模式具有在起点(在图像显示帧的开始)和终点(在图像显示帧的结束)处的多个参数。例如，图8示出了作为参数的位置(X，Y，Z)、比例、X旋转(与图9所示的作为旋转轴的X轴所成的角度)、Y旋转(与图9所示的作为旋转轴的Y轴所成的角度)和Z旋转(与图9所示的作为旋转轴的Z轴所成的角度)。

例如，如果在某一图像显示帧中选择图8所示的运动模式01，则在该图像显示帧中，图像从位置(452，345，489)移到位置(262，243，1237)并且沿着Y轴从-28°旋转到+33°。此外，如图10所示，可按交叉衰落的方式来切换图像。具体地，当图像被切换时，下一图像可在前一图像完全消失之前出现，以使得两个图像被彼此重叠地显示。

布局控制单元236可以在每个图像显示帧中随机选择这种运动模式。

或者，布局控制单元236可以根据要回放的音乐的基调来选择或者生成运动模式，或者根据要显示的照片图像的内容来选择或者生成运动模式。

要回放的音乐的基调与将选择或生成的运动模式之间的关系示例如下。

音乐的基调：        运动模式：

Energetic           具有大运动和快速运动的模式

Relaxing            具有小运动和慢速运动的模式

Electronic          具有线性运动的模式

此外，要显示的照片图像的内容与将选择或生成的运动模式之间的关系示例如下。

照片图像的内容：    运动模式：

包含人物            具有面部的放大或缩小的模式

垂直拍摄、水平拍摄  以照片的末端不在显示区域之外的方式

                    来设定缩放和旋转

布局控制单元236如上所述选择音乐回放持续时间、布局和每个图像显示帧中的运动模式，然后决定用于执行幻灯片放映的照片图像的必要数目。然后，图像选择单元240从存储单元220中所存储的照片图像中选择由布局控制单元236所决定的多个照片图像。以下描述图像选择单元240对照片图像的选择。

<5.图像选择>

因为在本实施例中对照片图像执行与封皮图像相对应的效果，所以可以使得任何照片图像能够与要回放的音乐数据的封皮图像的氛围相匹配。因此，图像选择单元240可以从存储单元220所存储的照片图像中随机选择由布局控制单元236决定的多个照片图像。在这种配置中，希望存储单元220中所存储的照片图像以等频度出现，从而提供向用户呈现用户通常不会有意选择的照片图像的机会。

或者，还使用以下描述的使用照片图像的图像特征量的选择方法。

例如，图像选择单元240可以根据要回放的音乐数据的特征(例如基调)来选择照片图像。在这种配置中，与要回放的音乐数据相匹配的照片图像被选择，从而希望音乐数据和照片图像彼此互补。要回放的音乐的基调与将选择的照片图像之间的关系示例如下。

音乐的基调：    将选择的照片图像：

Relaxing        具有许多绿色和蓝色的照片图像

Happy           具有笑容的照片图像

Electronic      不包含人物的照片图像

此外，图像选择单元240可以根据要回放的音乐数据的封皮图像的特征(例如，由效果类型选择单元232选择的效果类型)来选择照片图像。在这种配置中，例如对于将执行的效果而言合适的照片图像被选择，从而希望改善该效果所带来的优点。要回放的音乐数据的封皮图像的效果类型与将选择的照片图像之间的关系示例如下。

效果类型：      将选择的照片图像：

噪声            老照片

多色调分色      不包含人物的照片图像

色彩模仿        具有与封皮图像接近的色调的图像

此外，图像选择单元240可以根据要回放的音乐数据的附加信息(例如发行日期、音乐标题、流派等)来选择照片图像。在这种配置中，希望选择与音乐数据具有一些关联性的照片图像。要回放的音乐数据的附加信息与将选择的照片图像之间的关系示例如下。

附加信息：      将选择的照片图像：

发行日期        与发行日期大约在同一时间的照片图像

音乐标题        具有音乐标题中所包括的关键字的照片

                图像

在如上所述通过非随机方法选择照片图像的情况下，假定特定照片图像被以高频度选择并且其他照片图像几乎不被选择。为了抑制选择频度的不均匀性，图像选择单元240可以累积以前的选择频度并且优先选择具有较低的以前选择频度的照片图像。此外，上述多种对照片图像的选择方法中的每一种可被单独使用或者组合使用。

此外，可能存在以下情况：图像选择单元240所选择的照片图像的数目不满足由布局控制单元236所决定的用于执行幻灯片放映的照片图像的必要数目。在这种情况下，布局控制单元236可以将同一照片图像分配给多个图像显示帧，或者可以将照片图像的一部分分配给与该照片图像的图像显示帧不同的图像显示帧。具体地，当提取照片图像的一部分时，可通过利用图像特征量中所包含的面部位置对照片图像中所包含的每一个面部进行放大，来创建部分图像。

<6.效果处理的概述>

以下参考图11至图13来描述根据该实施例的用于实现效果处理的流程的概述。在下面，封皮图像被概括并被称为参考图像，并且照片图像被概括并被称为输入图像。

根据该实施例的效果处理是通过以下处理实现的：如图11或12所示对参考图像执行图像分析从而获得诸如图像分析信息和效果类型之类的效果信息，并且如图13所示使用所获得的效果信息和参数p。

图11是示出获得效果信息的示例的说明图。如图11所示，首先执行对参考图像的图像分析，从而获得参考图像的图像分析信息和最佳效果类型。然后，诸如图像分析信息和效果类型之类的效果信息与音乐数据相关联地被存储到存储单元220中。例如，如果参考图像是封皮图像，则效果信息与对应于封皮图像的音乐数据相关联地被存储到存储单元220中。

因为效果信息被以这种方式存储在存储单元220中，所以可以利用效果信息以不同于幻灯片放映的执行的定时来执行参考图像的图像分析。例如，可在音乐数据和参考图像被存储到存储单元220中时(之前或者之后)执行参考图像的图像分析。

虽然在图11中示出直接分析参考图像并确定效果类型的情况(对应于图2所示的配置)，但是本实施例不限于这种示例，如图12所示。

图12是示出获得效果信息的另一示例的说明图。如图12所示，可以通过参考图像的图像分析来获得确定效果类型所必须的图像分析信息，并且可以基于所获得的图像分析信息来确定效果类型。

图13是示出执行效果处理的示例的说明图。如图13所示，如果决定了要回放的音乐数据，则从存储单元220获得与音乐数据相关联的图像分析信息和效果类型，以确定与回放音乐数据一同显示的输入图像的效果细节。

然后，根据所获得的效果类型来确定使用单色、噪声、多色调分色、色调效果和色彩模仿中的哪一种。此外，用于产生与参考图像相似的氛围的效果细节是通过使用参考图像的图像分析信息来决定的。效果细节的决定是由图2所示的效果控制单元252执行的。

此后，由混合器/效果器电路248利用所决定的效果细节对输入图像执行效果处理。在该步骤中，可向混合器/效果器电路248指定参数p，其中参数p影响效果细节。因此，通过根据音乐数据的回放来改变参数p，输出图像改变，从而产生与动画类似的效果。以下描述参数p。

<7.参数p>

参数p是影响混合器/效果器电路248所执行的效果的细节的一维数值，其值在0.0到1.0之间。在描述参数p对根据本实施例的每种效果的处理细节所施加的影响之前，下面通过使用简单效果作为示例来描述由参数p的改变所引起的效果细节的改变。

图14是示出参数p对效果细节的影响的说明图。具体地，图14示出将照片图像改变为无彩色图像的结果与参数p的每个值的关系。如图14所示，因为参数p的值对效果细节施加了影响，所以效果处理的结果依赖于参数p的值而变化。虽然图14为了方便而示出了效果细节仅由参数p决定的情况，但是效果细节不仅受参数p影响，而且受封皮图像的图像分析信息影响。

参数p对根据本实施例的各效果处理的细节施加例如有关以下各项的影响：

-效果深度：将对照片图像执行的效果处理的程度。在参数p＝0.0时，照片图像在效果处理之前和之后没有改变，在参数p＝1.0时，对照片图像执行最高程度的效果处理。在0.0＜参数p＜1.0时，对照片图像执行与参数p的值相对应程度的效果处理。

-亮度：对照片图像的亮度改变程度。在参数p＜0.5时，执行根据参数p的值的使照片图像变暗的处理，在参数p＞0.5时，执行根据参数p的值的使照片图像变亮的处理。

-对每种效果的依赖度的改变：将参数p分配给对每种效果中的处理细节施加影响的数值。在这种情况下，参数p对处理细节的改变依赖于效果处理而有所不同。

虽然在下面的<8.效果类型的说明>中描述参数p对每种效果处理所施加的影响，但是效果类型和参数p的影响可以彼此独立并且组合使用。此外，可通过诸如参数p1、p2、p3等的多个参数pn来调整每种效果处理。

此外，在本实施例中，可以通过与音乐数据的回放时间相关联地改变参数p的值来获得像动画一样表现的照片图像。例如，可通过以下处理来随着时间的流逝而改变效果的细节：在显示某一照片图像的开始时设定参数p＝0.0，随着音乐数据回放的进行而增大参数p的值，并且在切换到下一照片图像时设定参数p＝1.0。

虽然以上描述了参数p从0.0到1.0单调增大的情况，但是本实施例不限于这种示例，如图15所示。

图15是示出时间的流逝与参数p之间的关系示例的说明图。在图15中，改变模式1表示参数p从0.0到1.0单调增大的情况。或者，如改变模式2所示，参数p可从1.0到0.0单调减小。此外，如改变模式3所示，参数p可从第一值(例如0.5)到第二值(例如0.8)单调增大。此外，如改变模式4所示，参数p可从0.0到1.0单调增大，然后单调减小到0.0。

如改变模式5所示，参数p可保持为0.0。此外，如改变模式6所示，参数p可在0.0和1.0之间切换。此外，如改变模式7所示，参数p可在从某一图像的显示起经过给定长度的时间时突然从0.0向1.0单调增大。或者，如改变模式8所示，参数p可保持为给定值。

此外，可为每种效果类型固定地设定以上用于效果处理的改变模式，或者可从用于每个图像或音乐数据的多个改变模式中随机选择以上用于效果处理的改变模式。

虽然以上描述了在一个照片图像的显示时段期间参数p的改变，但是通过根据音乐特征量来改变参数p，效果可能依赖于音乐本身。例如，如果亮度根据参数p而改变，则参数p可随着回放位置更靠近合唱部分而急剧增大。此外，如果某一照片图像的显示时段较长，则参数p可反复增大和减小，参数p的改变斜率可被设定为与速度相匹配，或者例如在具有激烈曲调的部分中参数p可被在0.0和1.0之间切换。

<8.效果类型的说明>

以下参考图16至19来详细描述作为本实施例中所使用的效果类型的单色、噪声、多色调分色、色调效果和色彩模仿。

[单色]

单色效果器以仅包括两种色彩的线性和所表现的色彩的方式来处理照片图像。仅包括两种色彩的线性和所表现的色彩的图像例如是灰色图像、褐色图像(sepia image)等。单色效果器使用图像分析信息中所包含的RGB空间中的第一特征向量和平均色彩的信息。

具体地，因为指示出RGB空间中的第一特征向量直线穿过封皮图像的平均色彩(这是与指示出另一特征向量的直线的交点)，所以可从第一特征向量和图像的平均色彩得到表示直线的数学表达式。单色效果器基于该数学表达式执行将照片图像中的所有像素的色彩映射到该直线所指示出的一维空间上并将所映射的位置处的值设定为像素的新色彩的处理。单色效果器可能不会特别受参数p的影响并且针对参数p总是输出相同结果。此外，单色效果器可使封皮图像的点色彩覆盖在照片图像的给定位置处的高斯点上，并且还根据参数p的值来改变该给定位置。

[噪声]

噪声效果器在与单色效果器执行相同处理之后添加噪声并且还在此之后增强对比度。噪声效果器使用封皮图像的图像分析信息中所包含的第一特征向量、平均色彩和对比度的信息。具体地，噪声效果器通过使用第一特征向量和平均色彩的信息执行与单色效果器相同的处理，然后根据对比度值执行对比度增强。

例如存在以下三种用于添加噪声的方法，并且效果控制单元252可以随机决定使用这三种方法中的哪一种。

-点噪声：将照片图像中的若干像素值增大或减小随机值。

-颗粒噪声：将照片图像中的若干像素值增大或减小随机值，并且也增大或减小周围的像素值。例如，如果如图16所示，像素C的像素值被增大x，则像素C的上侧、下侧、左侧和右侧的像素值被分别增大x/2，并且像素C的左上、右上、左下、右下的像素值被分别增大x/3。

-抓挠噪声(scratch noise)：将照片图像中的若干像素设定为噪声开始点。然后，将噪声开始点处的噪声设定为0，随着像素在水平方向上逐个移动而随机反复增大和减小噪声值，并且当噪声值变为0时结束，如图17所示。控制噪声值的绝对值以便不超过预设的阈值。此外，可以通过以下处理在垂直方向上也添加抓挠噪声：将噪声开始点处的噪声值设定为0，并且随着像素在垂直方向上逐个移动而随机反复增大和减小噪声值。

此外，噪声效果器根据下面的表达式1来执行对比度增强。在表达式1中，v表示照片图像中某一像素的原始亮度值，v′表示像素的对比度增强之后的亮度值，并且m表示照片图像的平均亮度值。此外，v的值满足0.0≤v≤1.0，并且“contrast”是表示对比度增强程度的值。“contrast”的值与封皮图像的对比度之间的对应关系可按如下方式来预设：“contrast”的值随着封皮图像的对比度变大而变大。

[表达式1]

$v^{\&prime;}=m\&times;{\left(\frac{v}{m}\right)}^{\mathrm{contrast}}$ (v＜m)

(表达式1)

$v^{\&prime;}=1.0-(1.0-m)\&times;{\left(\frac{1.0-v}{1.0-m}\right)}^{\mathrm{contrast}}$ (v≥m)

此外，噪声效果器改变当根据参数p来添加噪声时所使用的随机序列。例如，噪声效果器可以预先准备利用不同随机序列对其执行了效果处理的照片图像，并且根据参数p的改变来切换输出的照片图像。此外，噪声效果器可以基于例如根据图15所示的改变模式1而改变的参数p来执行效果处理。

[多色调分色]

多色调分色效果器利用诸如两种或三种色彩(本实施例中最多三种色彩)之类的少数色彩来表现照片图像。多色调分色效果器参考封皮图像的图像分析信息中所包含的色彩直方图的信息，并且从色彩直方图中随机选择三种色彩。

如果有一种色彩在色彩直方图中具有一定含量，则多色调分色效果器可以将该色彩与白色和黑色相比较，并且进一步选择色彩空间中具有更大距离的色彩。此外，如果有两种色彩在色彩直方图中具有一定含量，则多色调分色效果器可以选择同一色彩作为色彩1和色彩3。此外，效果控制单元252可以选择色彩直方图中具有最大含量的色彩并且将其选择为色彩2。

多色调分色效果器具有将亮度值的范围划分为三部分的阈值th1和阈值th2(th1＜th2)。如果效果控制单元252选择三种色彩，则多色调分色效果器将色彩1分配给照片图像中亮度值等于或小于阈值th1的像素。同样，多色调分色效果器将色彩2分配给照片图像中亮度值大于阈值th1并且等于或小于阈值th2的像素，并且将色彩3分配给照片图像中亮度值大于阈值th2的像素。

此外，多色调分色效果器将根据下面的表达式2混合的色彩分配给在阈值th1附近或者在阈值th2附近的像素。在表达式2中，col1表示色彩1，col2表示色彩2，col3表示色彩3，c表示像素的原始色彩值，并且c′表示色彩混合之后的像素色彩值。此外，“margin”表示作为色彩混合目标的亮度值的范围，其可被预先设定。

[表达式2]

th1_d＝th1-marg in

th1_u＝th1+marg in

th2_d＝th2-marg in

th2_u＝th2+marg in

c′＝col1                     (c≤th1_d)

$c^{\&prime;}=\frac{((\mathrm{th}1\_u-c)\&times;\mathrm{col}1+(c-\mathrm{th}1\_d)\&times;\mathrm{col}2)}{m\arg \mathrm{in}\&times;2}$ (th1_d＜c≤th1_u)      (表达式2)

c′＝col2                     (th1_u＜c≤th2_d)

$c^{\&prime;}=\frac{((\mathrm{th}2\_u-c)\&times;\mathrm{col}2+(c-\mathrm{th}2\_d)\&times;\mathrm{col}3)}{m\arg \mathrm{in}\&times;2}$ (th2_d＜c≤th2_u)

c′＝col3                     (th2_u≤c)

此外，多色调分色效果器根据参数p来改变阈值th1和阈值th2的值，如图18所示。

图18是示出阈值th1和阈值th2与参数p的关系的说明图。如图18所示，在参数p＝0.0时，色彩1被分配给照片图像中的所有像素，并且随着参数p增大，色彩2被分配给具有较高亮度值的像素。然后，当参数p超过p1时，色彩3被分配给亮度值高于阈值th2的像素，色彩1被分配给亮度值等于或低于阈值th1的像素，并且色彩2被分配给其他像素，使得照片图像由三种色彩来表现。此外，当参数p超过p2时，色彩3被分配给亮度值高于阈值th2的像素，并且色彩2被分配给亮度值等于或低于阈值th2的像素，使得照片图像由两种色彩来表现。然后，在参数p＝1.0时，色彩3被分配给照片图像中的所有像素。

为了总是由三种色彩来表现照片图像，参数p可仅在p1与p2之间改变。此外，虽然以上描述了通过参数p来改变阈值th1和阈值th2的情况，但是可通过参数p来改变表达式2中的“margin”。此外，效果控制单元252可以将根据图15所示的改变模式1和改变模式2改变的参数p提供给混合器/效果器电路248。

[色调效果]

色调效果器通过利用封皮图像的图像分析信息中所包含的平均色彩的信息，在某一方向上总体移动照片图像的色彩分布。具体地，色调效果器计算照片图像的平均色彩，并且通过计算(封皮图像的平均色彩-输入图像的平均色彩)而获得差分向量diffvec。当c是照片图像的某一像素的色彩值、c′是效果处理之后像素的色彩值并且g是像素的灰色转换之后的色彩值时，效果处理之后像素的色彩值c′可由下面的表达式3来计算。虽然表达式3通过将某一像素的色彩值c和灰色转换之后的色彩值g之和除以二而将色度(chroma)切成两半，但是也可以通过另一方法来减小色度。

[表达式3]

$c^{\&prime;}=\frac{c+g}{2}+\mathrm{diffvec}$ (表达式3)

色调效果器根据参数p而改变亮度。例如，在参数p＝0.5时，色调效果器输出通过使用以上表达式3的处理所获得的照片图像。另一方面，在p＝0.0时，色调效果器通过将亮度整体减小一定量而输出照片图像，并且在p＝1.0时，色调效果器通过将亮度整体增大一定量而输出照片图像。此外，在0＜参数p＜0.5时，色调效果器通过将亮度整体减小与参数p相对应的量而输出照片图像，并且在0.5＜参数p＜1.0时，色调效果器通过将亮度整体增大与参数p相对应的量而输出照片图像。

实际上，色调效果器可以预先计算在参数p＝0.0和p＝1.0时输出的照片图像，并且通过根据参数p的值来执行这两个照片图像的α混合(α-blending)而获得所需的照片图像。此外，效果控制单元252可以将例如根据图15所示的改变模式1改变的参数p提供给混合器/效果器电路248。

[色彩模仿]

色彩模仿效果器执行在照片图像的色彩分布中增强封皮图像中所包含的色彩成分的处理。色彩模仿效果器使用图像分析信息中所包含的色彩直方图的信息。

色彩模仿效果器首先将照片图像转换到诸如YUV空间或者L^*a^*b空间之类的色彩空间(其中亮度和色差成分正交地存在)中。下面描述色彩模仿效果器将照片图像转换到YUV空间中的情况。在这种情况下，色彩模仿效果器还将封皮图像的色彩直方图中的每种色彩转换成YUV空间中的表示。

假定照片图像的色彩分布和封皮图像的色彩直方图中的色彩被投影在UV平面上，如图19的左侧部分所示。在图19中，圆形区域对应于封皮图像的色彩直方图中的色彩，并且圆形区域的大小表示含量。在这种情况下，照片图像的每个像素的色彩被投影在UV平面上的色彩直方图的所有色彩根据含量和距离而拉动一强度。具体地，照片图像的每个像素的色彩随着与色彩空间上色彩直方图中的色彩的距离变短而被更强地拉动，并且随着色彩的含量变大而被更强地拉动。

每个像素被某个色彩直方图中的色彩c_uv拉动的权重“weigh_uv(c_uv)”可由下面的表达式4来表示。在表达式4中，uv表示照片图像中某个像素的原始色彩的UV值，并且n表示色彩直方图中的色彩的含量。

[表达式4]

dist(c_uv)＝|c_uv-uv|    (表达式4)

$\mathrm{weight}\_\mathrm{uv}(c\_\mathrm{uv})=\frac{n}{\mathrm{dist}{(c\_\mathrm{uv})}^2+1}$

因此，每个像素被拉动的量可由下面的表达式5来表示。

[表达式5]

d_uv(c_uv)＝uv×weight_uv(c_uv)           (表达式5)

基于对色彩直方图中的所有色彩进行表达式5的计算的结果，处理之后的像素色彩的UV值uv′可由下面的表达式6来计算。

[表达式6]

total_weight＝∑weight_uv(c_uv)        (表达式6)

${\mathrm{uv}}^{\&prime;}=\underset{c\_\mathrm{uv}}{\mathrm{\&Sigma;}}\frac{d\_\mathrm{uv}(c\_\mathrm{uv})}{\mathrm{total}\_\mathrm{weight}}$

色彩模仿效果器在参数p＝0.0时原样输出照片图像，并且在参数p＝1.0时输出通过以上表达式6所获得的照片图像。在0.0＜参数p＜1.0时，色彩模仿效果器输出在达到参数p＝1.0时的结果的处理中的中间图像数据。

实际上，色彩模仿效果器可以预先计算参数p＝1.0时要输出的照片图像，并通过根据参数p的值执行该照片图像与处理前的照片图像的α混合来获得所需的照片图像。

此外，效果控制单元252可以将例如根据图15所示的改变模式7改变的参数p提供给混合器/效果器电路248。具体地，如果某一照片图像的显示时段是t，则参数p在0.0≤t≤0.4期间可以是0.0，参数p在0.4≤t≤0.6期间可以从0.0向1.0单调增大，并且参数p在0.6≤t≤1.0期间可以是1.0。在这种配置中，可以产生这样的表现：未经处理的照片图像从显示开始时被暂时维持，然后在大约t＝0.5(这是中点)突然变为经处理的照片图像。此外，可以按如下方式来调整照片图像的亮度直方图：照片图像的亮度分布与封皮图像的亮度直方图相匹配。

<9.效果类型的选择>

如前所述，封皮图像的图像分析信息在执行每种效果处理时被使用，因此封皮图像的氛围在不小程度上被反映在执行了效果处理的照片图像上。此外，在本实施例中，为了使得被执行了效果处理的照片图像的氛围更好地匹配封皮图像的氛围，效果类型选择单元232选择适合于封皮图像的效果类型。以下参考图20至25来描述效果类型选择单元232对每个封皮图像的效果类型的选择。

图20是示出当效果类型选择单元232选择每个封皮照片的效果类型时的流程的流程图。图21至25是示出封皮图像A至E的具体示例的说明图。以下参考图20所示的流程图来描述为各个封皮图像A至E选择哪种效果类型。

在图21至25中，色品(hue)由阴影线的种类来表现，并且色度或亮度由阴影线的密度来表现。例如，图21所示的封皮图像A由从四个角向中心变亮的黑色(倾斜阴影线)背景和黑色字符“TANGIBLE”构成。图22所示的封皮图像B由白色背景和包含白色和黑色的各种混合色彩的犀牛构成。图23所示的封皮图像C由黑色背景、黄色(分散的点阴影)月亮的图像和白色字符“moontan”构成。图24所示的封皮图像D由具有从左上方向右下方增大的黄色色度的背景和绿色的(倾斜交叉阴影线)花的图像构成。图25所示的封皮图像E由白色背景和具有各种色彩的多个丝带构成。

参考图20，效果类型选择单元232首先确定封皮图像的线性分布分数是否高于指定值(S304)。因为线性分布分数是通过将图像分析信息中所包含的第一特征值除以第二特征值而获得的值，所以随着封皮图像的像素值在色彩空间中形成更加线性的分布而变得更高。因此，效果类型选择单元232确定封皮图像A和B(对应于单色图像)的线性分布分数高于指定值，并且其他分配图像C至E的线性分布分数等于或低于指定值。

接下来，效果类型选择单元232确定其线性分布分数被确定为高于指定值的封皮图像的对比度是否低于指定值(S308)。然后，效果类型选择单元232为对比度低于指定值的封皮图像选择效果类型“单色”，并且为对比度等于或高于指定值的封皮图像选择效果类型“噪声”。因此，效果类型选择单元232为封皮图像A选择效果类型“单色”，并且为封皮图像B选择效果类型“噪声”。

另一方面，效果类型选择单元232确定线性分布分数被确定为等于或低于指定值的封皮图像的色彩梯度(gradient)分数是否低于指定值(S312)。然后，效果类型选择单元232为色彩梯度分数低于指定值的封皮图像选择效果类型“多色调分色”。色彩梯度分数是当封皮图像由一组没有色彩改变的单色区域构成的(例如海报图像)时具有较低值的分数。

因此，效果类型选择单元232确定包含均一黑色的背景的均一黄色的月亮图像的封皮图像C的色彩梯度分数低于指定值，并因此为封皮图像C选择效果类型“多色调分色”。另一方面，效果类型选择单元232确定其他封皮图像D和E的色彩梯度分数等于或高于指定值。具体地，色彩梯度分数被如下计算。

例如通过利用索贝尔(Sobel)滤波器来执行变换提取。通过索贝尔滤波器获得指示出每个点处的色彩梯度的响应值，并且通过响应值是否大于预设阈值的二值判断来执行边缘检测。此外，响应值等于或小于阈值的所有点(它们是非边缘点)处的响应值之和被除以非边缘点的总数并被归一化，从而计算色彩梯度分数。

此后，效果类型选择单元232确定色彩梯度分数被确定为等于或高于指定值的封皮图像的色度分数是否低于指定值(S316)。然后，效果类型选择单元232为色度分数低于指定值的封皮图像选择效果类型“色调效果”，并为色度分数等于或高于指定值的封皮图像选择效果类型“色彩模仿”。色度分数指示出封皮图像的色度并且在具有更低色度的封皮图像中变得更低。

因此，效果类型选择单元232为整体具有低色度的封皮图像D选择效果类型“色调效果”，并为包含各种色彩的封皮图像E选择效果类型“色彩模仿”。

如果封皮图像的第二特征值非常小，则封皮图像在色彩空间中的色彩分布是线性的。因此，封皮图像的第二特征值可用作指示符，该指示符指示出封皮图像在色彩空间中的色彩分布的线性程度。此外，因为在色彩空间中的色彩分布接近于线性的图像被认为接近单色，所以在本实施例中使用封皮图像的第二特征值来代替色度分数。

虽然以上描述了在确定色彩梯度分数之后执行对色度分数的确定，但是本实施例不限于此。例如，可以先执行对色度分数的确定从而为色度分数低于指定值的封皮图像选择效果类型“色调效果”，然后可以对其他封皮图像执行色彩梯度分数的确定。然后，可以为色彩梯度分数低于指定值的封皮图像选择效果类型“多色调分色”，并且可以为色彩梯度分数等于或高于指定值的封皮图像选择效果类型“色彩模仿”。

以下参考图26至31来描述作为通过以上各种效果类型的效果处理的结果，某一照片图像如何改变。

图26是示出效果处理之前的照片图像的具体示例的说明图。图26所示的照片图像是海边的图像，其由白色的云、蓝色的(点阴影)天空和海、包含红色(三角阴影)的海滩遮阳伞、具有绿色条带的救生圈等构成。图27至31示出了对照片图像分别执行效果处理“单色”、“噪声”、“多色调分色”、“色调效果”和“色彩模仿”所得到的结果。

图27是示出对图26所示的照片图像执行效果处理“单色”的结果的说明图。如图27所示，图26所示的包含各种色彩的照片图像通过效果处理“单色”而被转换成单色图像。

图28是示出对图26所示的照片图像执行效果处理“噪声”的结果的说明图。如图28所示，通过效果处理“噪声”，图26所示的包含各种色彩的照片图像被转换成单色图像(随机噪声被添加到该图像)并且对比度被增强。

图29是示出对图26所示的照片图像执行效果处理“多色调分色”的结果的说明图。如图29所示，通过效果处理“多色调分色”，图26所示的照片图像被转换成由少数色彩构成的图像。因为在图29中假定了基于图23所示的封皮图像C的图像分析信息的处理，所以示出了将照片图像转换为由黄色、白色和黑色(包含在封皮图像C中)构成的图像。

图30是示出对图26所示的照片图像执行效果处理“色调效果”的结果的说明图。如图30所示，通过效果处理“色调效果”，图26所示的照片图像被转换成整体具有与图24所示的封皮图像D相似色调的图像。具体地，因为图24所示的封皮图像D整体由色度低的黄色和绿色构成，所以图26所示的照片图像被转换成整体色度低的黄绿色图像。

图31是示出对图26所示的照片图像执行效果处理“色彩模仿”的结果的说明图。如图31所示，在图26所示的照片图像中，封皮图像中所包含的色彩通过效果处理“色彩模仿”而被增强。例如，如果封皮图像是图25所示的包含红色(三角阴影)和绿色(倾斜交叉阴影线)的封皮图像E，则照片图像中的红色和绿色部分被增强，如图31所示。

<10.幻灯片放映的执行>

以下参考图32至36来描述通过幻灯片放映而显示在视频输出单元260上的显示画面。

如前所述，在本实施例中，对照片图像执行效果处理以便匹配封皮图像的氛围。此外，在本实施例中，为了使得用户知道对照片图像执行了与封皮图像的氛围相对应的效果处理，在音乐数据的回放开始时显示音乐数据的封皮图像，如图32所示。

图32是示出将在幻灯片放映开始时显示在视频输出单元260上的显示画面的示例的说明图。如图32所示，显示画面包括封皮图像的显示区域282和诸如音乐数据的标题、艺术家等的附加信息的显示区域284。具体地，在图32的显示画面上的附加信息显示区域284中描述了附加信息“Mr.finalist TANGIBLE”。

附加信息的字体不是统一的，而是可根据音乐数据的音乐特征量等来选择。具体地，字体选择单元272可以根据音乐数据来选择字体和字符色彩，并且显示创建单元276可以显示包含由所选字体和字符色彩所代表的附加信息的显示画面。以下参考图33至35来描述由字体选择单元272来选择字体的方法。

图33是示出音乐基调和字体的关系示例的说明图。如图33所示，字体选择单元272可以选择与音域特征量中的音乐基调相对应的字体。例如，如果音乐的基调是Energetic，则字体选择单元272可以选择字体“Helvetica Neue 95 Black”。

图34是示出基于封皮图像的图像分析信息来选择字体的说明图。如上所述，如果封皮图像中包含字符，则在作为封皮分析单元228的图像分析结果而获得的图像分析信息中包含该字符的字体和字符色彩。因此，字体选择单元272可以选择与图像分析信息中所包含的字体相同或相似的字体。例如，如果封皮图像包含图34所示的字符“TANGIBLE”，则字体选择单元272可以选择与字符“TANGIBLE”的字体相似的字体“ArialBlack”。

图35是示出音乐流派和字体的关系示例的说明图。如图35所示，字体可与音乐数据的各种流派(例如古典(classic)、流行(pops)、爵士(jazz)或者摇滚(rock))相关联，并且字体选择单元272可以选择与音乐的流派相对应的字体。

在显示含有通过上述字体所写入的音乐数据的附加信息和封皮图像的显示画面之后，画面被切换到对被执行了效果处理的照片图像的显示，如图36所示。

图36是示出从幻灯片放映开始时所显示的显示画面切换到被执行了效果处理的照片图像的说明图。在从显示图36的上面部分所示的显示画面时起经过了给定时间段之后，显示创建单元276将封皮图像显示区域282移至显示画面的左下端部分，其中显示区域282部分地旋转并缩小，如图36的中间部分所示。在与显示图36的上面部分所示的显示画面同时开始音乐数据的回放。

此后，显示被执行了与封皮图像相对应的效果处理的照片图像，如图36的下面部分所示。在照片图像的显示开始之后，显示创建单元276保持显示在视频输出单元260上的封皮图像和音乐数据的附加信息。在这种配置中，封皮图像和被执行了效果处理的照片图像被显示在同一画面上，以使得用户可以容易地知道对照片图像执行了效果处理以便匹配封皮图像。

<11.总结和补充>

如前所述，根据实施例，可以通过执行与将在带有音乐的幻灯片放映的执行期间回放的音乐数据的封皮图像相对应的效果处理，来显示用户的照片图像。此外，根据实施例，可以通过与音乐数据的回放时间相关联改变参数p的值来获得像动画一样表现的照片图像。

此外，在本实施例中，在幻灯片放映的开始时显示包含音乐数据的封皮图像和音乐数据的附加信息在内的显示画面。因为音乐数据的附加信息的字体是基于音乐数据的音乐特征量或者封皮图像中的字符的字体来选择的，所以除了对照片图像执行的效果处理之外，还可以使得附加信息的字体与要回放的音乐数据相匹配。此外，在本实施例中，因为封皮图像和被执行了效果处理的照片图像被显示在同一画面上，所以用户可以容易地知道对照片图像执行了效果处理以便匹配封皮图像。

本领域技术人员应当了解，依赖于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在权利要求或其等同物的范围内。

例如，虽然前面描述了根据音乐数据的封皮图像来选择效果类型的情况，但是本发明不限于此。作为替代示例，可以准备效果类型和图像分析信息的多种组合，并且可以随机选择或者根据音乐数据的音乐特征量来选择要使用的组合。例如，如果音乐数据的曲调是激烈的，则效果控制单元252可以使用包含红色的色彩直方图和多色调分色的组合，并且如果音乐数据的曲调是平静的，则效果控制单元252可以使用包含蓝色的色彩直方图和色调效果的组合。

此外，虽然封皮图像被描述为音乐数据的相关图像，但是本发明不限于此。例如，相关图像可以是音乐数据的艺术家的图像、艺术家的网页中所包含的图像等等。此外，虽然前面描述了PC 20存储作为相关图像的封皮图像的情况，但是PC 20在回放音乐数据时可以从外部获得相关图像。例如，PC 20可通过使用音乐数据的附加信息中所包含的标题或者艺术家名字作为关键字来在通信网络12上搜索音乐数据的相关图像。然后，效果类型选择单元232可以基于所检索到的相关图像的图像分析信息来选择效果类型。在这种情况下，因为存在检索到与音乐数据不那么相关的图像的可能性，所以可在封皮图像显示区域282中例如显示字符“没有图像”而不显示所检索到的图像，同时将检索到的图像用于对效果类型的确定。或者，可在封皮图像显示区域282中什么也不显示。

本发明可适用于除了带有音乐的幻灯片放映之外的用途。例如，本发明可适用于在背景图像上显示任意显示图像的情况。具体地，该任意显示图像可用作参考图像(封皮图像)，并且背景图像可用作输入图像(照片图像)。在这种情况下，对背景图像执行效果处理以便与显示图像的氛围相匹配，这提供了统一性的感觉。这能够用于例如实现计算机上的伪剪贴板的应用。

此外，不必总是根据流程图中所示序列来按时间顺序执行实施例中PC 20的处理中的各个步骤。例如，PC 20的处理中的各个步骤可以包括并行或者单独执行的处理(例如并行处理或者对象处理)。

此外，可以创建使得PC 20中所包含的硬件(例如CPU 201、ROM202或者RAM 203)执行与上述PC 20的各个元件等同的功能的计算机程序。此外，可以提供存储这种计算机程序的存储介质。图2的功能框图中所示的各个功能块可由硬件实现，从而对硬件实现一系列处理。

本申请包含与2008年10月10日向日本专利局提交的日本在先专利申请JP 2008-264564中所公开的主题有关的主题，该申请的全部内容通过引用结合于此。

Claims (10)

1.一种信息处理装置，包括：

回放单元，用于回放音乐数据；

分析单元，用于分析所述音乐数据的相关图像的特征；

图像校正单元，用于利用多种校正类型中的任一种来执行图像校正；

存储单元，用于存储一个或多于一个图像；

第一选择单元，用于从所述多种校正类型中选择与被所述分析单元分析的所述相关图像的特征相对应的校正类型；

校正控制单元，用于利用所述第一选择单元所选择的校正类型来使得所述图像校正单元对所述存储单元中存储的图像执行图像校正；以及

输出单元，用于输出经所述图像校正单元校正的图像。

2.根据权利要求1所述的信息处理装置，还包括：

创建单元，用于创建显示画面，该显示画面包括经所述图像校正单元校正的图像和所述相关图像，并被从所述输出单元输出。

3.根据权利要求2所述的信息处理装置，其中

所述校正控制单元随着时间的流逝，利用所述第一选择单元所选择的校正类型来改变所述图像校正单元进行的图像校正的细节。

4.根据权利要求3所述的信息处理装置，还包括：

第二选择单元，用于根据所述音乐数据的特征从所述存储单元所存储的一个或多于一个图像中选择由所述图像校正单元进行图像校正的目标图像。

5.根据权利要求3所述的信息处理装置，还包括：

第二选择单元，用于根据所述相关图像的特征从所述存储单元所存储的一个或多于一个图像中选择由所述图像校正单元进行图像校正的目标图像。

6.根据权利要求3所述的信息处理装置，还包括：

第二选择单元，用于根据所述音乐数据的附加信息从所述存储单元所存储的一个或多于一个图像中选择由所述图像校正单元进行图像校正的目标图像。

7.根据权利要求2所述的信息处理装置，其中

所述分析单元还分析所述相关图像中所包含的字符的字体，并且

所述显示画面还包括由与所述分析单元所分析的字体相同或相似的字体所表现的所述相关图像的附加信息。

8.据权利要求2所述的信息处理装置，其中

所述显示画面还包括由与所述音乐数据的特征相对应的字体所表现的所述相关图像的附加信息。

9.一种用于使得计算机用作信息处理装置的程序，该信息处理装置包括：

回放单元，用于回放音乐数据；

分析单元，用于分析所述音乐数据的相关图像的特征；

图像校正单元，用于利用多种校正类型中的任一种来执行图像校正；

选择单元，用于从所述多种校正类型中选择与被所述分析单元分析的所述相关图像的特征相对应的校正类型；

校正控制单元，用于利用所述选择单元所选择的校正类型来使得所述图像校正单元对存储介质中所存储的一个或多于一个图像进行校正；以及

输出单元，用于输出经所述图像校正单元校正的图像。

10.一种信息处理方法，包括以下步骤：

回放音乐数据；

分析所述音乐数据的相关图像的特征；

从多种校正类型中选择与所述相关图像的特征相对应的校正类型；

利用所选择的校正类型来校正存储介质中所存储的一个或多于一个图像；以及

输出经校正的图像。

Images