CN100512408C

CN100512408C - 静止图像再现装置

Info

Publication number: CN100512408C
Application number: CN200510004729.7A
Authority: CN
Inventors: 冈林一郎; 森康浩
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-01-15
Filing date: 2005-01-17
Publication date: 2009-07-08
Anticipated expiration: 2025-01-17
Also published as: US20050158037A1; JP4221308B2; US7657157B2; JP2005204021A; CN1655604A

Abstract

本发明提供一种静止图像再现装置，通过用户从映射图中选择一个信息，来进行与用户进行再现时的氛围相配合的静止图像和音乐的再现。静止图像再现装置(100)包括：分析图像数据并提取特征量的图像特征提取部(102)、从音乐数据中提取音乐特征量的音乐特征提取部(106)、使用各特征量将各图像数据和各音乐数据映射到感性映射图上的映射处理部(109)等，其中，该感性映射图使用心理信息和物理信息的两个轴。用户通过菜单输入部(111)从感性映射图中选择希望幻灯片放映的音乐或图像的事件，在幻灯片放映生成部(110)自动再现适合氛围的幻灯片放映。

Description

静止图像再现装置

技术领域

本发明涉及进行数字照片的记录、再现的静止图像再现装置，特别涉及具有连续显示多个数字照片的幻灯片放映(slide show)功能的静止图像再现装置。

背景技术

以往，作为连续显示静止图像的方法，有每隔一定时间逐次显示的称作幻灯片放映的显示方法，例如，通过数码相片电影生成器(photocinema)、动画编辑软件(MovieShaker)等PC软件、带摄影机的携带式电话机等来实现。

在此，所谓幻灯片放映是指按照与幻灯片放映机同样地以一定时间间隔、或用户的指示等的触发(trigger)，来切换所显示的数字静止图像的、所谓的数字型连环画片。此外，近年来，利用应用程序附加BGM(背景音乐)或在切换数字静止图像时附加渐变(fade)、擦除(wipe)、旋转等转变功能，由此来提高了娱乐性。

此外，作为现有的幻灯片放映装置的一例，有时用CD-ROM来进行连续再现的装置(例如参照专利文献1)。图18是该专利文献1中记载的现有幻灯片放映装置1800的结构图。

该幻灯片放映装置1800中，将CD-ROM1806设置为CD-ROM读取部1805，由输入指示部1802指示幻灯片放映执行程序1806a的启动。运算控制部1801读取幻灯片放映执行程序1806a，起到幻灯片放映执行部的作用。运算控制部1801在执行幻灯片放映时，首先，读取顺序表1806b，并按照顺序表1806b中定义的顺序，从图像文件组1806c中抽取出图像文件，显示在显示部1803。再有，硬盘1804是根据需要保存各种数据的装置。

专利文献1：

日本特开2001-103415号公报(第3～5页、图1)

但是，在现有的幻灯片放映再现装置中，仅仅将图像文件按照顺序表进行再现，存在对于用户来说缺乏趣味性、意外性、或图像再现中变化少的问题。此外，在幻灯片放映的同时放出BGM时，也存在同样的问题。

此外，在现有的幻灯片放映装置中，完全没有考虑到利用幻灯片放映装置之间的图像的通信问题，不能提供适应于近年来的网络化的幻灯片放映。

发明内容

本发明解决上述现有的问题，其目的在于提供一种静止图像再现装置，该静止图像再现装置不需要用户进行太多的操作，可自动进行适应于再现时的氛围的、静止图像和音乐协调的幻灯片放映的再现。

此外，其目的在于提供一种静止图像再现装置，该静止图像再现装置不限于静止图像的显示，还可以实现使用静止图像的通信。

为解决上述现有的课题，本发明的静止图像再现装置，用图像数据和音乐数据进行幻灯片放映的再现，其包括：音乐特征提取单元，从上述音乐数据中提取音乐特征量；图像特征提取单元，从上述图像数据中提取图像特征量；映射处理单元，用上述音乐特征量和上述图像特征量，将上述图像数据和上述音乐数据映射到N维映射图(マ_ツプ)上，其中，N是大于等于1的整数；接受单元，从用户接受被配置在上述映射图上的、要求进行幻灯片放映的再现的上述音乐数据或上述图像数据的选择；再现单元，进行上述映射处理单元进行了映射的上述音乐数据和上述图像数据的再现。

此外，本发明的静止图像再现装置中，在上述映射处理单元中映射了上述图像数据的坐标系和映射了上述音乐数据的坐标系是表示同一特征量的坐标系。

再有，本发明的静止图像再现装置中，在由用户选择了音乐数据的情况下，上述再现单元优先再现所选择的音乐数据、和与该音乐数据在上述映射图上的事件属于相同事件的图像数据；在由用户选择了图像数据的情况下，上述再现单元优先再现所选择的图像数据、和与该图像数据在上述映射图上的事件属于相同事件的音乐数据。

因此，在静止图像再现装置中，从图像数据中提取图像特征量、从音乐数据中提取音乐特征量，在同轴系的坐标上进行映射。之后，通过用户在映射图上选择适合氛围的音乐或图像，来自动进行适合氛围的音乐和图像的幻灯片放映再现。

此外，本发明的静止图像再现装置中，上述映射图使用在上述坐标系上的第一轴方向配置物理信息、在第二轴方向配置心理信息的两个轴；上述图像特征提取单元及上述音乐特征提取单元，分别进行包含上述物理信息及上述心理信息的上述图像特征量及上述音乐特征量的提取。

因此，在本发明的静止图像再现装置中，由于用物理信息和心理信息来映射图像数据和音乐数据，可生成适合用户进行再现时的氛围的感性映射图，能够做成适合用户趣味的映射图。

再者，本发明的静止图像再现装置中，上述映射处理单元定义作为与上述映射图上的各事件对应的上述幻灯片放映氛围的类型，并进行配置；上述再现单元优先再现与在上述输入单元所选择的映射图上的上述类型属于相同事件的上述音乐数据和上述图像数据。

因此，能够仅通过用户选择类型，就可进行音乐和图像被适合选择的幻灯片放映的再现。

此外，为了达到上述目的，本发明可作为将上述静止图像再现装置的特征性结构单元作成步骤地静止图像再现方法，或者可以作成包含这些全部步骤的程序来实现。此外，该程序不仅可以存储与具备上述静止图像再现装置的ROM等中，也可以通过CD-ROM等记录介质或通信网络来流通。

发明效果

如上所述，本发明的静止图像再现装置中，将图像的感性信息、被摄体的人物的感情信息、音乐的感性信息作为特征量来提取，并通过将音乐和图像映射到同一个轴上，可再现音乐和图像相协调的幻灯片放映。

附图说明

图1是第一实施方式中静止图像再现装置的结构图。

图2是第一实施方式中包括在图像特征提取部提取的数据的图像数据包的结构图。

图3是第一实施方式中包括在音乐特征提取部提取的提取信息的音乐数据包的结构图。

图4是表示第一实施方式涉及的静止图像再现装置中的用户侧处理顺序的流程图。

图5是第一实施方式涉及的静止图像再现装置中显示的感性映射图的一例。

图6是表示第一实施方式涉及的静止图像再现装置中显示的图像感性映射图和音乐感性映射图之间关联的一例。

图7是表示在第一实施方式涉及的静止图像再现装置的图像特征提取部中确定人物表情时的动作顺序的流程图。

图8(a)、8(b)是表示在第一实施方式涉及的静止图像再现装置的图像特征提取部中提取物理信息的处理顺序的一例。

图9是表示在第一实施方式涉及的静止图像再现装置的图像特征提取部中提取Y轴方向的心理信息的处理顺序的一例。

图10是在第一实施方式涉及的静止图像再现装置的图像特征提取部中进行特征量的提取时的流程图。

图11(a)、11(b)表示在第一实施方式涉及的静止图像再现装置的画面上显示的感性映射图的一例。

图12表示在第一实施方式的静止图像再现装置的画面上显示的、使用音乐特征量的感性映射图的一例。

图13是表示在第二实施方式涉及的静止图像再现装置的映射处理部中执行的、利用模式的映射图的一例。

图14是表示在第二实施方式的静止图像再现装置中显示的感性映射图的关联的图。

图15是表示作为第二实施方式的静止图像再现装置的画面显示的一个的相册显示画面的一例。

图16是表示第二实施方式涉及的静止图像再现装置中的用户处理顺序的流程图。

图17是第三实施方式涉及的发送装置和接收装置的功能块结构图。

图18是专利文献1中记载的现有幻灯片放映装置的结构图。

具体实施方式

下面，参照附图说明本发明的实施方式。

(第一实施方式)

本第一实施方式涉及的静止图像再现装置，具有这样的特征：通过在感性图上选择图像或音乐的某一种，来自动进行音乐和图像协调的幻灯片放映的再现。

此外，实施方式的说明中音乐数据可以是AAC、MP3等网络格式、或者MIDI等数据格式等中的某一种，没有特别限定其格式。此外，作为图像数据，主要是用静止图像数码摄影机拍摄而得到的图像，但也可以是动态图像、CG等。此外，图像并不限于用静止图像数码摄影机拍摄得到的，也可以是市场销售的内容、从网络下载、广播节目等资源，图像数据是JPEG、位图(BMP)等，但其格式没有特别的限定。

图1是本第一实施方式中静止图像再现装置100的结构框图。

图像输入部101是执行图像数据的输入的处理部。图像特征提取部102是分析图像数据并从图像中提取图像特征量的处理部。图像数据包生成部103将在图像特征提取部102提取的图像特征量，附加到由图像ID和图像数据构成的数据上，生成图像数据包。图像存储部104存储在图像数据包生成部生成的图像数据包。

音乐输入部105是执行音乐数据的输入的处理部。音乐特征提取部106从音乐数据中提取出音乐特征量。音乐数据包生成部107将在音乐特征提取部106提取的音乐特征量，附加到由音乐ID和音乐数据构成的数据上，生成音乐数据包。音乐存储部108存储所生成的音乐数据包。

映射处理部109用提取出的图像特征量和音乐特征量，将各图像数据和各音乐数据映射到使用了心理信息和物理信息两个轴的感性映射图上。幻灯片放映生成部110按照从菜单输入部111输入的条件进行幻灯片放映的生成，显示部112将在幻灯片生成部生成的幻灯片放映显示在画面上。菜单输入部111是用户进行用于生成幻灯片放映的菜单操作的接口。

此外，在图1中，将图像数据包、音乐数据包按照如下方式存储到图像存储部104和音乐存储部108中。

图像数据从图像输入部101输入，并在图像特征提取部102进行图像特征量的提取。之后，在图像数据包生成部103将作为识别图像的唯一编码的图像ID、作为上述提取结果的图像特征量、原始图像数据编制成数据包的形式，将所生成的数据包存储到图像存储部104。

此外，音乐数据从音乐输入部105输入，在音乐特征提取部106进行特征提取。此外，在音乐数据包生成部107将作为识别音乐的唯一号码的音乐ID、作为上述提取结果的音乐特征量、原始音乐数据编制成音乐数据包的形式，将生成的音乐数据包存储到音乐存储部108。

图2是包含在本第一实施方式的图像特征提取部102提取的数据的图像数据包200的结构图。

该图像数据包200由作为每个数字照片所固有的识别号码的图像ID201、由在图像特征部102提取的图像数据构成的图像特征量202、作为图像的实体数据的图像数据203构成。

接着说明图像特征量202，图像特征量202包括摄影机信息202a、人物信息202b、以及图像感性信息202c。

摄影机信息202a是焦距、光圈值、是否使用闪光灯等物理的摄影条件。人物信息202b由从图像中的人物的数量、位置、大小和人物的表情中提取的感情信息等构成。图像感性信息202c表示从图像数据提取的感性。映射处理部109将人物的感情、图像的感性程度进行计分(数值化)，在激烈程度和温暖程度的两个轴上进行映射。在图2的图像感性信息202c中设定计分最大为50时，激烈程度＝40、温暖程度＝20表示“非常激烈、稍微温暖”。

图3是包含在本第一实施方式的音乐特征提取部106提取的提取信息的音乐数据包3003结构图。

该音乐数据包包括：作为每一乐曲所固有的识别号码的音乐ID、在音乐特征提取部106提取的音乐特征量302、作为音乐实体数据的音乐数据303。

在音乐数据包300中，音乐特征量302包括节奏信息302a、音乐感性信息302b。节奏信息302a是表示音乐的快慢的拍子、节奏等。音乐感性信息302b表示从音乐数据中提取出的感性。映射处理部109将音乐的感性程度计分化(数值化)，将激烈程度和温暖程度映射在两个轴上。在图3的音乐感性信息302b中将计分的最大值设为50时，激烈程度＝-40、温暖程度＝-40表示“非常安静且冷”。

图4是本第一实施方式的静止图像再现装置100中的用户侧处理顺序的流程图。

首先，用户为了在开始幻灯片放映时进行选择，通过菜单输入部111选择菜单显示画面(S401)。在该情况下，在根据图像确定幻灯片放映时，选择图像文件夹；在根据音乐确定幻灯片放映时，选择音乐文件夹。在此，用户对于图像指定图像文件夹或个别图像，或者，对于音乐则指定该乐曲本身。

接着，用户通过遥控器或鼠标等菜单输入部111，在感性映射图中选择适合此时的气氛或氛围的位置的音乐或图像(S402)。

之后，该位置选择结束之后，幻灯片放映生成部110根据来自惨淡输入部111的指示，生成使用了音乐及图像的同一事件内数据的幻灯片放映，并从显示部112输出(S403)。在此，所谓幻灯片放映是指，从图像存储部104和音乐存储部108分别读取数字照片和音乐，并配合音乐再现图像的技术。

此外，在幻灯片放映中，不是将数字照片仅仅按照顺序显示，而且通过配合音乐对图像附加摇动(pan)、缩放(zoom)、放大、缩小、颜色变化等视觉效果，来演绎动感。在选择该视觉效果时，利用图像、音乐的特征量。

图5是本第一实施方式的静止图像再现装置100中显示的感性映射图的一例。

说明轴的定义。音乐数据和图像数据是可使用相同的映射图的轴，在此使用激烈程度和温暖程度。X轴是“激烈程度”轴，右侧表示“动态”、左侧表示“静态”。此外，Y轴是“温暖程度”，上侧表示“温暖”、下侧表示“冷”。各轴被定量化，数值的绝对值的大小表示程度。

此外，在本发明的映射处理部109中，在此编制与从图像特征提取部102或音乐特征提取部106提取的特征量相对应地配置了图像数据和音乐数据的感性映射图。

图6是表示本第一实施方式的静止图像再现装置100中显示的图像感性映射图和音乐感性映射图的关联的图。

如上所述，在本发明中，感性映射图上的图像和音乐采用同一个轴。换言之，本发明探讨可使用同一映射图的轴。因此，映射图之间的对应关系变明确，随之，在幻灯片放映的再现中，用户仅通过菜单输入部111选择图像或音乐的某一个区域，来优先再现所选择的对应区域附近的音乐数据和图像数据。

图7是表示第一实施方式的静止图像再现装置100的图像特征提取部102确定人物表情时的动作顺序的流程图。

图像的主要被摄体为人物时，在图像特征提取部102根据脸部表情判断喜怒哀乐。

首先，图像特征提取部102进行脸部特征点的提取(S701)。之后，接着进行脸部表情的分析(S702)。之后，映射处理部109进行“喜怒哀乐”的推定(S703)。例如，从眼睛或耳朵开始确定多个特征点，并使用特征点数据，判断出眼睛、眉毛从内侧向外侧垂下、嘴以“へ”字状闭上时，推定为“哀”；若眼睛、眉毛水平，眼睛稍微睁大，嘴张开为可见牙齿，嘴边上有皱纹，则推定为“喜”。

图8(a)、8(b)是表示本第一实施方式的静止图像再现装置100的图像特征提取部102提取物理信息的处理顺序的一例。

最初，图像特征提取部102对图像的各像素的亮度进行2维傅立叶变换而获得空间频率信息(S801)。

之后，映射处理部109判断高频成分是否多(S802)。在该情况下，当判断为高频成分多的时候(在S802为“是”)，该高频成分越多则判断图像数据为“动态”(S803)，另一方面，当判断为高频成分不多时(在S802为“否”)，判断为“静止”(S804)并配置到感性映射图上。

此外，图8(b)是在图像特征提取部102作为物理信息使用亮度信息时的处理顺序的图。

首先，图像特征提取部102首先将原始图像分割成多个区域，并计算区域之间的亮度偏差(S805)。之后，映射处理部109判断该偏差是否大(S806)。当判断为偏差大时(在S806为“是”)，判断为“动态”(S807)，另一方面，当判断为偏差不大时(在S806为“否”)，判断为“静态”(S808)，在感性映射图上配置图像数据。再有，由图像特征提取部102提取的物理特征量不限定于上述空间频率或亮度信息等，可考虑自相关等各种特征。

图9是本第一实施方式中的静止图像再现装置100的图像特征提取部102提取Y轴方向上的心理信息的处理顺序的一例。

开始时，图像特征提取部102提取像素的颜色信息(S901)。色品图有多种，例如使用Lab色品图。

之后，映射处理部109中，进行红色等暖色系是否为支配颜色的判断(S902)。若暖色系为支配性的(在S902为“是”)，则判断为“暖”(S903)。若暖色系不是支配性的(在S902为“否”)，则判断是否是蓝色等冷色系为支配性颜色(S904)。此时，若冷色系位支配性的(在S904为“是”)，则判断为“冷”(S905)。另一方面，在判断为冷色系不是支配性的颜色时(在S904为“否”)，判断为中间状态(S906)，配置到感性映射图上。

再有，从图7至图9中的映射处理部109不管在什么情况下，事前都分析图像布局结构，并提取出代表区域，主要利用该处的特征的一方亮度提高。再有，也可以根据代表区域和背景区域的两者的信息进行判断。可根据例如亮度信息在图像区域内的分布进行布局分析。

图10是在本第一实施方式的静止图像再现装置100的音乐特征提取部106提取特征量时的流程图。

最初，音乐特征提取部106根据音乐数据提取振幅、频率、拍子等信息(S1001)。之后，在映射处理部109用这些信息，将音乐数据的种类按“轻音乐(pops)”、“摇滚(rock)”、“唱歌”、“演歌(吸取了浪花节曲调的日本风味流行歌曲)”等类别进行区分(S1002)，并配置到音乐映射图上。

图11(a)、11(b)表示本第一实施方式的静止图像再现装置100的画面上显示的感性映射图的一例。

图11(a)中，示出了作为感情利用人物表情进行各图像的映射时的映射图像1100。在此，作为人物表情有“喜怒哀乐”，图11(a)中示出了各象限的例子。即，分别如下对应：

第1事件：动态的、暖的＝“喜”；

第2事件：静态的、暖的＝“乐”；

第3事件：静态的、冷的＝“哀”；

第4事件：动态的、冷的＝“怒”。

此外，用户通过菜单输入部111例如选择“喜”的第1事件，开始进行判断为图像特征量为动态且暖的“喜”的第1事件的图像数据的幻灯片放映，并且，自动进行判断为音乐感性映射图的第1事件的音乐再现。例如，若为人物照片，则是喜悦的表情，若为风景照片则是移动的动态性的，若为音乐则自动选择轻快的轻音乐系来进行再现。

图11(b)中，作为感性使用风景照片。在该风景像片中，使用物理信息和心理信息提取特征量，并在映射处理部109配置到感性映射图上。

在此，关于图像感性，图11(b)中示出各象限的照片例子。例如，

第1事件：动态的、暖的＝“炎热”；

第2事件：静态的、暖的＝“熊猫”、“街灯”；

第3事件：静态的、冷的＝“雪景”；

第4事件：动态的、冷的＝“瀑布”、“豹”。

此外，在该决定中，如上所述，使用空间频率或精度信息、颜色信息等，在映射处理部109进行判断。例如，如果是“炎热”、“火灾”则温度高，如果是“瀑布”则移动速度快。另一方面，有时候Y轴表示主要是心理信息引起的，与实际温度没有关系。例如，图像感性中“熊猫”感觉到温暖，“豹”感觉到冷，但是均为具有一定体温的哺乳类动物。

图12示出使用了本第一实施方式的静止图像再现装置100的画面上显示的音乐特征量的感性映射图的一例。

关于音乐感性，各象限的类别例如为：

第1事件：动态的、暖的＝“轻音乐”；

第2事件：静态的、暖的＝“唱歌”；

第3事件：静态的、冷的＝“演歌”；

第4事件：动态的、冷的＝“摇滚”。

此外，音乐感性映射图特别是在汽车导航系统中选择音乐之后试听幻灯片放映时尤其有效。

再有，本发明的静止图像再现装置100中，为了有效显示图像，可以考虑以下方法。

(1)在定量化的轴上按照对应的计分顺序进行表示，逐步上升。例如，感性映射图中选择了“喝斥”的时候，使用计分信息将人物照片的显示顺序从通常的表情依次变化为愤怒程度高。

(2)根据计分改变视觉效果。例如，计分低的图像激烈运动，并演示移动；计分高的图像通过慢慢放大，将图像详细显示。

(3)混合计分的高低，引起变化。或者，时而显示在映射图上离开的图像，加强意外效果。

此外，在本发明的静止图像再现装置100中，图像的变形也有效。例如，在感性映射图上选择了“哀”的时候，在幻灯片放映生成部110中，进行将图像中的人物表情变为哭泣的脸、将风景照片的色调变为晚霞状的风景。对于音乐也同样，通过将调子变换为短调，来反映所选择的氛围。

如上说明，本发明的静止图像再现装置100中，包括：图像特征提取部102，利用图像数据进行物理信息及心理信息的特征量的提取；音乐特征提取部106，利用音乐数据进行物理信息及心理信息的特征量的提取；映射处理部109，使用这些特征量数据，将音乐数据和图像数据在同轴系的感性映射图上进行映射处理。

因此，用户通过菜单树输入部111，根据感性映射图选择当时的气氛或氛围下要再现的图像信息或音乐信息的一种，作为幻灯片放映，从而自动实现音乐和图像协调的幻灯片放映的再现和显示，可提高用户的娱乐性。

此外，根据感性映射图的经定量化的特征量即计分信息，可在幻灯片放映生成部110进行视觉效果或图像变形处理，因此，能够实现进一步提高了娱乐性的幻灯片放映的再现。

再有，除了本第一实施方式中说明的感性映射图之外，也可以采用感情、图像感性、音乐感性等各不相同的轴，在映射图之间对应。此外，感性映射图中的轴不限定于本第一实施方式中示出的物理信息和信息信息未起引的信息。此外，感性映射图的说明中使用的“喜”等用于也不限定于这些。

此外，作为本第一实施方式中示出的映射的一例，例如在音乐感性映射图中，轻音乐中也有属于静且温暖的区域的部分。此外，感受方式因人而异，因此，有时感性映射图上的音乐数据位置与个人感觉不符合。因此，映射处理部109的映射处理中，虽然在某种程度上需要根据个人来制定，但不影响本发明的本质。

并且，图像特征提取部102和音乐特征提取部106的特征提取是不必限于在登陆时进行。例如，暂时在音乐存储部108和图像存储部104中存储数据之后，可利用幻灯片放映生成部110停止的时间来在后台(background)进行特征提取，若静止图像再现装置100的处理速度非常快，则也可以在选择时进行。此外，图像数据或音乐数据的映射不限定于自动提取，也可以由用户手动进行登录，这是无庸置疑的。

此外，也可以通过网络下载图像数据和音乐数据，在该情况下，也可以在所下载的音乐数据或图像数据上附加特征量的信息。

(第二实施方式)

下面，说明本发明的静止图像再现装置100的第二实施方式。

在本第二实施方式中，特征是，作为感性映射图使用上述的第一实施方式的图像或音乐的感性映射图之外，生成定义了类型的感性映射图。再有，本第二实施方式的类型是“喜洋洋”、“朦胧”等决定幻灯片放映整体氛围的类型。

此外，由于本第二实施方式的静止图像再现装置100的功能块与图1中的上述第一实施方式的静止图像再现装置100相同，因此不对此特别加以说明。

图13是利用在本第二实施方式的静止图像再现装置100的映射处理部109中执行的类型的映射图的一例。映射处理部109定义与各象限对应的类型。例如，

第1事件：动态的、暖的＝“喜洋洋”；

第2事件：静止的、暖的＝“朦胧”；

第3事件：静态的、冷的＝“凄凉”；

第4事件：动态的、冷的＝“喝斥”。

图14是表示在本第二实施方式的静止图像再现装置100中显示的感性映射图的关联的图。感性映射图中，对图像、音乐、类型采用了相同轴系。因此，映射图之间的对应关系明确，在幻灯片放映的再现中，用户通过菜单输入部111选择类型，由此，可优先地再现适合于所选择类型的音乐数据和图像数据。

图15示出作为本第二实施方式的静止图像再现装置100的画面显示的一个的相册显示画面的一例。

用户可以在幻灯片放映的开始时选择希望再现的相册，在该相册显示画面中，用户登录的相册内容按项目分开显示。例如，相册按“国内旅行九州”、“海外旅行美国”、“运动会”、“酒会”等区分。

用户仅仅通过菜单输入部111在该相册画面中选择希望以幻灯片放映的方式再现的相册，自动再现图像和音乐。例如，在选择了“旅行”相册的幻灯片放映时，对于在海边的照片，自动选择与海协调的音乐，对于在旅行中的晚饭酒会，自动再现与酒会协调的音乐。

此外，在汽车导航系统等中，首先选择音乐之后再配合该音乐再现幻灯片较为有效。此时，显示所记录的音乐一览，用户通过菜单输入部111选择希望再现的音乐，并配合所选择的音乐的氛围来进行幻灯片放映的再现。

图16是表示第二实施方式的静止图像再现装置100的用户处理顺序的流程图。

首先，用户通过菜单输入部111选择菜单画面(S1601)。作为该菜单画面，在本第二实施方式中选择类型。

其次，用户通过菜单输入部11，在影射图上选择开始幻灯片放映的类型的位置(S1602)。

之后，幻灯片放映生成部110根据来自菜单输入部111的指示生成幻灯片放映，并从显示部112输出(S1603)。例如，若所选择的类型为“喜洋洋”，则优先选择第1事件的图像和音乐并进行明显的移动；若所选择的类型为“朦胧”，则优先选择第2事件的图像和音乐，以缓慢柔和的移动为主流，由此进行符合类型氛围的图像的再现。

如上所述，在本第二实施方式的静止图像再现装置100中，在映射处理部109使用与图像及音乐同轴系的感性映射图，生成定义了类型的感性映射图。

因此，用户通过菜单输入部111在画面上选择“喜洋洋”等类型，由此在幻灯片放映生成部110自动再现使用了配合类型的图像及音乐的幻灯片放映，因此，可进行配合氛围的幻灯片放映的再现。

此外，为了高效率地显示图像，可考虑同上述第一实施方式一样，配合计分来附加视觉效果。此外，不仅是选择符合类型的图像有效，与第一实施方式同样，进行图像的变形也是有效的。例如，在类型＝“凄凉”的时候，在幻灯片放映生成部110使图像中的人物表情变为哭脸、风景像片的色调变成晚霞状。对于音乐也同样，可通过将调子变为短调来反映类型。

(第三实施方式)

下面，对本发明的静止图像再现系统的第三实施方式进行说明。再有，在本第三实施方式中，静止图像再现系统由发送装置和接收装置构成，发送装置具备发送部，由该发送部将包含特征量的图像数据发送到接收装置，并在接收装置通过读取特征量，根据用户的要求对图像进行抽象化后进行显示。

此外，本第三实施方式的静止图像再现系统一般是电视电话，是将声音和图像一同发送的系统。对于声音，由于与通常的电话相同，因此省略详细说明。

图17是本发明第三实施方式的发送装置1700和接收装置1710的功能块结构图。

通信装置1700至少包括：摄影机1703、图像特征提取部1701、发送部1702。

摄影机1703对通话者的脸部表情等进行拍摄，图像特征提取部1701提取例如每隔一秒钟的图像，并利用该图像进行物理信息及心理信息的特征量的提取。发送部1702将图像数据和在图像特征提取部1701提取的特征量，通过电话线等网络发送到接收装置1710。

另一方面，接收装置1710包括：接受部1711、图像存储部1712、图像生成部1713、显示部1714和菜单输入部1715。

接收部1711接收从发送装置1700的发送部1702发来的信息。图像存储部1712是记录在接收部1711接收的图像数据的硬盘等。图像生成部1713从图像数据中提取出特征量，选择符合用户的选择的图像，并生成用于在显示部1714显示的图像。显示部1714对在图像生成部1713生成的图像进行显示。菜单输入部1715接受用户用遥控器等进行的菜单选择。

下面，对本第三实施方式的静止图像再现系统中的图像发送顺序进行说明。再有，在此，对从发送装置1700到接收装置1710的通信进行说明，其中，发送装置1700和接收装置1710作为一体，以全双工通信等的双方向进行通信。

在发送装置1700中，用摄影机1703捕捉发送者的表情，在图像特征提取部1701根据表情进行感情推定，并从发送部1702发送感情信息。

接收装置1710在接收部1711接收感情信息，发送到图像生成部1713。图像生成部1713从图像存储部1712中选择发送者的图像，并选择符合感情的照片显示，或者配合感情改变表情显示在显示部1714。在图像存储部1712中存储的数据，可以是由发送者送入，也可以由接收者设定。

此外，在显示部1714中显示的照片不一定是发送者，可以是配合氛围而相关联的照片。例如，可以考虑发送者的家族成员、有关系的人、喜欢的艺人、CG(计算机图形)人物等。此外，并不一定是人物照片，也可以是风景照片。在生气的场面，显示火山喷火；在爽朗的场面，显示小河的流水声等具有符合发送者感情的感性的照片。跟表示人物照片同样，也可以将照片变形显示。此外，也可以在会话中依次切换图像，进行如第一实施方式中说明的幻灯片放映的再现。

此外，为了提高效果，可考虑以下方法。

作为第一方法，根据通信历史改变显示。例如，当信息接收间隔较长时，在图像生成部1713变成生气的表情，当信息接收次数达到规定值时，显示喜悦的表情。此外，作为其他方法，可以考虑在接收信息时和进行通信时改变画面。即，可考虑在呼叫时显示没有表情的发送者表情，在接通时变形为喜悦的表情来显示。

如上所述，在本第三实施方式中的发送装置1700和接收装置1710中，同现有的电视电话那样将脸部表情直接不变地发送的情况相比，在接收装置1710侧显示的图像表现更适合用户的兴趣，例如在会话中依次切换图像等进行抽象化，因此能够实现隐私保护和柔和的感情交流。

此外，发送装置1700侧的感情推定不限于脸部表情，还可以根据声音、脉搏、血压等生命信号来推定，可通过组合各种信息来提高精度。

产业上的可利用性

本发明的静止图像再现装置，可用作具有静止图像再现功能的数码摄影机、携带式电话机、汽车导航系统、DVD录像机、PDA等装置，并且与本发明相关的程序可用作PC中的数码像片浏览软件。

Claims

1、一种静止图像再现装置，用图像数据和音乐数据进行幻灯片放映的再现，其特征在于，包括：

音乐特征提取单元，从上述音乐数据中提取音乐特征量；

图像特征提取单元，从上述图像数据中提取图像特征量；

映射处理单元，用上述音乐特征量和上述图像特征量，将上述图像数据和上述音乐数据映射到N维映射图上，其中，N是大于等于1的整数；

接受单元，从用户接受被配置在上述映射图上的、要求进行幻灯片放映的再现的上述音乐数据或上述图像数据的选择；

再现单元，进行上述映射处理单元进行了映射的上述音乐数据和上述图像数据的再现。

2、根据权利要求1所述的静止图像再现装置，其特征在于，

在上述映射处理单元中映射了上述图像数据的坐标系和映射了上述音乐数据的坐标系是表示同一特征量的坐标系。

3、根据权利要求2所述的静止图像再现装置，其特征在于，

在由用户选择了音乐数据的情况下，上述再现单元优先再现所选择的音乐数据、和与该音乐数据在上述映射图上的事件属于相同事件的图像数据；在由用户选择了图像数据的情况下，上述再现单元优先再现所选择的图像数据、和与该图像数据在上述映射图上的事件属于相同事件的音乐数据。

4、根据权利要求2所述的静止图像再现装置，其特征在于，

上述映射图使用在上述坐标系上的第一轴方向配置物理信息、在第二轴方向配置心理信息的二轴；

上述图像特征提取单元及上述音乐特征提取单元，分别进行包含上述物理信息及上述心理信息的上述图像特征量及上述音乐特征量的提取。

5、根据权利要求4所述的静止图像再现装置，其特征在于，

上述物理信息是声音的波长、振幅、或者节奏；

上述映射处理单元使用上述声音的波长、振幅、或者节奏的信息，来判断音乐的类型倾向，然后进行上述映射处理。

6、根据权利要求4所述的静止图像再现装置，其特征在于，

上述心理信息是颜色信息；

上述映射处理单元，在上述颜色信息是暖色系时判断为是暖倾向，在是冷色系时判断为是冷倾向，然后进行上述映射处理。

7、根据权利要求4所述的静止图像再现装置，其特征在于，

上述物理信息是上述图像数据的被摄体脸部的控制点数据；

上述映射处理单元使用上述控制点数据判断脸部的喜怒哀乐表情，并进行上述映射处理。

8、根据权利要求1所述的静止图像再现装置，其特征在于，

上述映射处理单元定义作为与上述映射图上的各事件对应的上述幻灯片放映氛围的类型，并进行配置；

上述再现单元优先再现与在上述输入单元所选择的映射图上的上述类型属于相同事件的上述音乐数据和上述图像数据。

9、根据权利要求1所述的静止图像再现装置，其特征在于，还包括：

图像数据包生成单元，进行将上述图像特征量追加在上述图像数据上的图像数据包的生成；

音乐数据包生成单元，进行将上述音乐特征量追加在上述音乐数据上的音乐数据包的生成；

图像存储单元，存储上述图像数据包；以及

音乐存储单元，存储上述音乐数据包；

上述映射处理单元从在上述图像存储单元和上述音乐存储单元中存储着的上述图像数据包和上述音乐数据包中，分别取得上述图像特征量和上述音乐特征量，并进行上述映射处理。

10、根据权利要求1所述的静止图像再现装置，其特征在于，

还包括变形单元，该变形单元使用上述图像数据、并使用被摄体脸部的控制点数据来变形脸部表情，或者通过改变像素的颜色信息来变形图像的色调。

11、根据权利要求1所述的静止图像再现装置，其特征在于，

还包括计分判断单元，该计分判断单元判断对上述图像特征量和上述音乐特征量进行了数值化的计分信息；

上述再现单元根据上述计分信息附予视觉效果，进行再现。

12、根据权利要求11所述的静止图像再现装置，其特征在于，

作为上述视觉效果，上述再现单元使用上述计分信息对上述计分信息高的图像数据，以长时间、较大显示、或缓慢动作的方式进行幻灯片放映的再现。

13、根据权利要求11所述的静止图像再现装置，其特征在于，

作为上述视觉效果，上述再现单元按照上述计分信息从低到高的顺序再现上述图像数据和上述音乐数据、或者再现上述计分信息分散的上述图像数据和上述音乐数据。

14、根据权利要求11所述的静止图像再现装置，其特征在于，

上述再现单元对具有与上述输入单元中选择的上述计分信息接近的计分的图像数据和音乐数据，优先进行再现。

15、一种静止图像再现方法，在用图像数据和音乐数据进行幻灯片放映的再现的静止图像再现装置中使用，其特征在于，包括：

音乐特征提取步骤，从上述音乐数据中提取音乐特征量；

图像特征提取步骤，从上述图像数据中提取图像特征量；

映射处理步骤，用上述音乐特征量和上述图像特征量，将上述图像数据和上述音乐数据映射到N维映射图上，其中，N是大于等于1的整数；

接受步骤，从用户接受被配置在上述映射图上的、要求幻灯片放映的再现的上述音乐数据或上述图像数据的选择；

再现步骤，对在上述映射处理步骤进行了映射的上述音乐数据和上述图像数据进行再现。

16、根据权利要求15所述的静止图像再现方法，其特征在于，

在上述映射处理步骤中映射了上述图像数据的坐标系和映射了上述音乐数据的坐标系是表示同一特征量的坐标系；

在上述再现步骤中，由用户选择了音乐数据时，优先再现所选择的音乐数据、和与该音乐数据在上述映射图上的事件属于相同事件的图像数据；由用户选择了图像数据时，优先再现所选择的图像数据、和与该图像数据在上述映射图上的事件属于相同事件的音乐数据。