CN101453573A - 图像显示装置和照相机、图像显示方法、程序及图像显示系统 - Google Patents

Abstract

提供图像显示装置和照相机、图像显示方法、程序及图像显示系统。相应于文本的情感来选择图像、并使在对应图像中合成了该文本的合成图像依次显示到显示部的本发明的图像显示装置具有：判定文本的情感的情感判定部(27)；判定图像的被摄体的表情的表情判定部(25)；选择由表情判定部所判定的被摄体的表情与由情感判定部所判定的文本的情感对应的图像来作为与文本对应的图像的图像选择部(28)；将文本和由图像选择部选择出的图像合成、生成文本图像的文本合成部(30)；以及显示由文本合成部生成的文本图像的显示部(22)。

Description

图像显示装置和照相机、图像显示方法、程序及图像显示系统

技术领域

本发明涉及图像显示装置和照相机、图像显示方法和程序以及图像显示系统，尤其涉及提供基于有效组合文本和图像而生成的合成图像的新的欣赏方式的图像显示装置、具有该图像显示装置的照相机、该图像显示方法、使计算机执行该图像显示方法的程序和应用了这些的图像显示系统。

背景技术

近年，将图像作为数字数据等电子数据进行使用的数字照相机及图像显示装置等正广泛普及。伴随于此，在个人层面上，也存在可通过利用移动电话等通信设备、因特网以及小型计算机等，而容易地实现针对不特定的多个对象公开图像等这样的行为的环境。在这样的环境下，将基于图像数据的图像作为用于多人欣赏的素材、或作为重要的内容(内容物、展示物等的信息)等正在广泛发展。

作为基于图像数据的图像的欣赏方法公知有例如以规定的次序、以规定的时间间隔自动地切换显示图像这样的幻灯放映形式的显示方法。

另外，仅仅显示图像太单调了，所以考虑了例如在图像显示时播放音乐、配合该音乐使显示变化，或者在显示图像中重复显示规定的文本(文章)等、使用图像来欣赏其显示的各种形态的显示方法，并提出了各种方案。

例如，日本特开2006-339951号公报所公开的装置是生成重合了歌词的形式的图像的照片摄影装置，在选择了设有歌词区域的模板图像和希望的歌词短语后，当进行了摄影时，输出把预先选择的歌词短语重叠在规定的歌词区域内的形式的图像。

另外，日本特开2007-148516号公报所公开的装置为可根据使用者任意输入的文章所包含的关键字来自动选择适当的图像的图像处理装置，其预先将与摄影日期时刻信息及被摄体相应的关键字等信息和图像数据相关联地进行存储，并且还预先存储该关键字的权值，从关键字的权值的合计值多的图像中选择与使用者任意输入的文章中所包含的关键字对应的图像来进行显示。在该选择方法中，具体地说例如在关键字为“夜”这样的情况下，选择“夜景”的图像。

但是，上述日本特开2006-339951号公报所公开的装置是假设用于例如设置在游戏中心等的大规模装置系统中的情况，待合成的图像是在上述场所拍摄的，而不是轻松地利用使用个人所有的小型数字照相机所取得的图像这样的单元。

另一方面，上述日本特开2007-148516号公报所公开的装置在有例如“夜”这样的关键字的情况下，通常仅选择与其对应的已决定的图像、即“夜景”的图像。这是参照摄影日期时刻信息及摄影条件信息等或者被摄体信息等、附随于该图像数据的各种信息来选择与已选择的文本对应的图像的方法。因此，只不过与单纯根据关键字来进行图像检索的情况相同，可称为是现有欣赏方法的延伸。

今后，希望通过在以具有充分吸引使用者的魅力、且可令使用者感到意外这样的方式来生成并显示组合了文本和图像的合成图像上下工夫，提出前所未有的新的欣赏方法。

发明内容

本发明是鉴于上述问题而作出的，其目的是提供构成为配合着文本的情感而选择情节化的图像的组合、将由此取得的合成图像显示到显示部的图像显示装置；具有该图像显示装置的照相机；该图像显示方法；实现该图像显示方法的程序以及图像显示系统。

本发明的图像显示装置的特征是具有：情感判定部，其根据情感信息来分析情感的变化信息并判定情感；表情判定部，其判定在多个图像群的各个图像中包含的人物的表情；图像选择部，其从上述多个图像群中选择与由上述情感判定部所判定的上述情感和由上述表情判定部所判定的上述人物的表情对应的图像；以及显示部，其依次显示由上述图像选择部选择出的图像。

另外，本发明的图像显示装置的特征是具有：情感判定部，其判定文本的情感；表情判定部，其判定图像的被摄体的表情；图像选择部，其选择由上述表情判定部所判定的上述被摄体的表情与由上述情感判定部所判定的上述文本的情感对应的图像来作为与上述文本对应的图像；文本合成部，其将上述文本和由上述图像选择部选择出的图像合成，生成文本图像；以及显示部，其显示由上述文本合成部生成的上述文本图像。

本发明的照相机的特征是具备：摄影镜头，其使被摄体像成像；摄像元件，其接收利用上述摄影镜头成像的被摄体像进行光电转换处理，并输出电图像信号；脸检测部，其根据从上述摄像元件输出的图像信号来检测被摄体的脸；以及图像显示装置，该图像显示装置具有情感判定部，其判定文本的情感；表情判定部，其判定图像的被摄体的表情；图像选择部，其选择由上述表情判定部所判定的上述被摄体的表情与由上述情感判定部所判定的上述文本的情感对应的图像来作为与上述文本对应的图像；文本合成部，其将上述文本和由上述图像选择部选择出的图像合成，生成文本图像；和显示部，其显示由上述文本合成部生成的上述文本图像，上述表情判定部根据由上述脸检测部检测出的被摄体的脸的笑脸程度来判定上述被摄体的表情。

本发明的图像显示方法的特征是，判定构成文本的各个语句的情感程度，选择所拍摄的被摄体的表情与各个语句的情感对应的图像来作为与上述各个语句对应的图像，分别将上述各个语句和上述所选择的图像合成，生成文本合成图像，按照上述文本的各个语句的顺序来显示上述文本合成图像。

本发明的程序使计算机执行图像显示方法，该程序的特征是具有以下的步骤：判定构成文本的各个语句的情感程度的步骤；选择所拍摄的被摄体的表情与各个语句的情感对应的图像来作为与上述各个语句对应的图像的步骤；分别将上述各个语句和上述已选择的图像合成，生成文本合成图像的步骤；以及按照上述文本的各个语句的顺序来显示上述文本合成图像的步骤。

本发明的图像显示系统由图像显示装置、和与该图像显示装置之间经由网络连接的服务器装置构成，其特征是上述服务器装置具备：存储文件的文件数据库；情感数据库，其存储以数值来表现上述文件的各个语句的情感的情感数据；语句提取部，其对应于从使用者发送的主题从上述文件数据库中提取能构成情节的多个语句、且从上述情感数据库中提取与提取出的该语句对应的情感数据；以及通信部，其向使用者发送由上述语句提取部提取出的语句和与其对应的情感数据，上述图像显示装置具有：文本记录部，其记录由从上述服务器装置所发送的包含上述情感数据的各个语句组成的文本；情感判定部，其判定上述各个语句的情感；表情判定部，其判定图像的被摄体的表情；图像选择部，其选择上述被摄体的表情与该各个语句的情感对应的图像来作为与上述各个语句对应的图像；文本合成部，其将上述各个语句和由上述图像选择部选择出的图像合成，生成文本图像；以及显示部，其显示由上述文本合成部生成的上述文本图像。

根据以下详细的说明，使这些发明的目的和利益变得更加而且清楚。

根据本发明可提供构成为配合着文本的情感选择情节化的图像组合、将由此取得的合成图像显示到显示部的图像显示装置；具有该图像显示装置的照相机；该图像显示方法；实现该图像显示方法的程序以及图像显示系统。

附图说明

图1是概括表示本发明一实施方式的图像显示系统的整体结构的框图。

图2是表示本实施方式的图像显示系统中的照相机控制流程的流程图。

图3是说明在本实施方式的照相机中执行的笑脸度检测处理的图，是对笑脸显示进行例示的图。

图4是说明在本实施方式的照相机中执行的笑脸度检测处理的图，是对为难的表情进行例示的图。

图5是表示在本实施方式的照相机中执行的笑脸度检测处理(图2的步骤S5的处理)的子流程的流程图。

图6是表示在本实施方式的照相机中执行的合成模式处理(图2的步骤S13的处理)的子流程的流程图。

图7是在本实施方式的照相机中的合成模式处理时表示在选择与语句的情感数据对应的图像时作为基准的情感数据和笑脸数据R值的关系的图。

图8A是在本实施方式的照相机中的合成模式处理时表示选择与语句的情感数据对应的图像时的语句和选择图像的关系的图表，是将表1所示的各语句的情感数据图表化来示出的图。

图8B是在本实施方式的照相机中的合成模式处理时表示选择与语句的情感数据对应的图像时的语句和选择图像的关系的图表，是将表2所示的笑脸数据R值图表化来示出的图。

图9是在本实施方式的照相机内执行的合成模式处理中的子流程，是表示添加有情感数据时的图像选择处理(图6的步骤S45的处理)的子流程的流程图。

图10是在本实施方式的照相机内执行的合成模式处理中的子流程，是表示通过情感判定处理所判定的情感不明确时的情感变化判定处理(图6的步骤S54的处理)的子流程的流程图。

具体实施方式

以下，对本发明一实施方式的图像显示装置和包含该图像显示装置而形成的图像显示系统的结构进行说明。

图1是概略表示本发明一实施方式的图像显示系统的整体结构的结构框图。

如图1所示，本实施方式的图像显示系统1主要具备：包含应用本发明的图像显示装置而构成的数字照相机(以下，仅称为照相机)10、通信网络50、小型计算机(PC)40、外部服务器100以及数据库110等。

照相机10主要由以下部件构成：摄影镜头11、对焦镜头位置控制部(以下称为AF部)12、光量调整部13、光量控制部14、摄像元件15、模拟前端部(以下称为AFE部)16、图像处理部17、设置在该图像处理部17内的脸检测部17a、压缩解压缩部18、记录再现部19、记录介质20、显示控制部21、显示部22、通信部23、辅助光发光部24、MPU(Micro Processing Unit，微处理单元)31、时钟31a、ROM32、操作开关(在图1中表示为操作SW)33、表情判定以及感情推测部25、文本数据库26、情感判定部27、图像选择部28、图像判定部29以及文本合成部30等。

MPU31例如是根据存储在ROM32等中的程序进行本照相机10的整体控制的控制电路。MPU31具有在其内部计时的时钟31a。MPU31在伴随着摄影动作进行图像数据的记录动作时，将由该时钟31a计时的摄影时刻的时间信息向图像处理部17输出。由此，本照相机10的摄影动作的结果为，对已取得并最终记录到记录介质20内的图像数据赋予摄影时刻的摄影日期时刻信息。

摄影镜头11使来自被摄体35侧的光束(被摄体光)透过，以形成被摄体35的光像(被摄体像)。该摄影镜头11由以下部件构成：实现变倍功能的变焦镜头部、实现自动焦点检测以及调整(自动对焦)功能的对焦镜头部等多个光学镜头、保持这些光学镜头的镜头保持框、以及使这些镜头保持框等沿着光轴的方向在规定时间移动规定量的驱动机构等。

AF部12是在MPU31的控制下执行用于自动焦点检测以及调整(自动对焦)动作的控制的控制部，是作用于摄影镜头11的对焦镜头部进行用于焦点调整动作的驱动控制的控制电路。另外，AF部12根据使用者对规定的操作部件进行操作所发出的指示指令，来进行通过自动对焦动作取得的对焦位置的切换控制，或者进行变倍用镜头的驱动控制来进行摄影视角的切换动作(所谓的变焦动作)的控制等。

光量调整部13配设在摄影镜头11的保持框内部或其附近等，并由对透过摄影镜头11入射到本照相机10内部的被摄体光的入射光量(即，曝光量)进行控制的快门机构及光圈调整机构等构成。

光量控制部14是如下的控制电路，即，在MPU31的控制下，测定在进行摄影动作时的环境下的被摄体光(测光动作)，并进行自动调整的自动曝光控制，以使经由摄影镜头11到达摄像元件15的光量成为适合于生成图像的光量(适当曝光量)，或者在进行由使用者采用规定的操作部件来任意设定曝光值(快门速度以及光圈值)的手动曝光控制时，对光量调整部13进行驱动控制。

例如，当有意进行光量调整部13的光圈调整机构的光圈控制时，可对摄影镜头11的景深进行调整。即，通过调整景深，可根据喜好来调整图像背景部分的模糊状况等，因此能够进行用于取得与使用者的表现意图相应的希望图像的调整，使用者的表现意图包括例如淡化背景使近景的主要被摄体浮出在上面这样的效果的描写、或者在从近景到背景的广范围内成为对焦状态的描写等。

另外，在根据使用者的意图对通过自动曝光控制所设定的曝光值进行曝光校正时，也可以通过规定的操作部件的操作来对自动设定的曝光值进行使用者希望的校正。此时，使用者例如针对由光量控制部14自动设定的曝光值任意地变更快门速度值或光圈值的控制，从而进行图像的明暗控制等，这样能够有效地表示出使用者的表现意图。

摄像元件15是接收由摄影镜头11成像的被摄体像进行光电转换处理、生成电图像信号并输出的光电转换元件。例如，可应用由多个受光元件(像素)组成的CCD传感器或CMOS传感器等来作为摄像元件15。

AFE部16是接收来自摄像元件15的输出信号(模拟信号)、进行转换为数字信号的所谓AD转换处理等并输出数字图像信号的信号处理电路。另外，AFE部16也具有取舍选择摄像元件15的输出信号的功能，并还可以提取摄像元件15的整个受光面中的规定范围的图像数据。

图像处理部17是进行与在本照相机10中使用的数字图像信号相关的各种信号处理例如颜色、灰度或尖锐度等的校正处理等的信号处理电路。另外，图像处理部17还进行将已取得的数字图像信号放大至规定的信号电平并设定为适当的浓淡及适当的灰度的增感处理等。这里，增感处理是进行数字运算、以使数字化的信号电平成为规定电平的处理。另外，图像处理部17进行根据已取得的数字图像信号生成适合在显示部22中显示的最佳形态的图像数据的处理、例如尺寸调整处理等。

此外，图像处理部17还输出用于自动对焦动作的对比度信号。该对比度信号向AF部12输出，接收该对比度信号的AF部12判定被摄体像的对比度，进行使摄影镜头11向对比度为最高的位置移动的控制。

压缩解压缩部18是这样的信号处理部，即，在摄影动作时进行接收由图像处理部17执行规定处理后输出的数字图像信号并转换处理为以规定的记录方式为基准的图像信号的信号压缩处理，生成记录用的图像信号，并将其向记录再现部19输出。另外，压缩解压缩部18还是这样的信号处理电路，即，在再现动作时进行读出记录到记录介质20内的图像数据并转换处理为可在本照相机10中使用的形态的图像信号的信号解压缩处理，生成显示用的图像信号，并经由图像处理部17将其向显示控制部21输出。

记录再现部19是将由压缩解压缩部18进行压缩处理后的图像数据或其他数据(时间信息等)等记录到记录介质20的记录区域的处理电路。

记录介质20是用于将从记录再现部19输出的图像信号作为图像数据进行记录的介质。该记录介质20例如在通常情况下主要应用由非易失性半导体存储器、闪存等组成的可装卸式记录介质，除此之外，例如还可应用CD-ROM、DVD等光学记录介质、MD等光磁记录介质、磁带介质等磁记录介质、IC卡等半导体存储器及内置型的闪存等。

显示控制部21是为了在MPU31的控制下接收来自图像处理部17的输出信号并在显示部22中显示图像而驱动控制该显示部22的控制电路。

显示部22是通过由显示控制部21进行驱动控制，来显示各种图像、例如通过摄影动作取得并已记录到记录介质20内的图像及通过后述的文本合成部30生成的文本合成图像(文本图像)，或者显示各种设定菜单画面等的主显示装置。作为显示部22例如可应用液晶显示器(LCD)或有机EL(有机电致发光；Organic Electro-Luminescence)显示器等。

显示部22在摄影动作时显示监视图像。该监视图像如下地生成。即，接收了来自摄像元件15的输出信号的AFE部16进行用于高速地读出所输入的图像信号的间隔提取读出处理，并向图像处理部17输出。图像处理部17接收该图像信号，将该输入信号(间隔提取读出的图像信号)进行AD转换处理后，进行尺寸调整处理，生成显示用的图像信号，并向显示控制部21输出。显示控制部21接收该图像信号，对显示部22进行驱动控制，并在其显示画面上显示图像。

这样，在本照相机10以摄影动作模式进行动作并处于摄影待机状态时的显示部22上，在MPU31的控制下显示基于摄像元件15中取得的图像信号的图像。因此，使用者可在摄影动作之前采用显示部22预先确认应该拍摄的图像。因此，显示部22具有图像观察单元(取景器)的功能。即，使用者在摄影动作时可一边观察由摄像元件15持续取得的图像、即显示部22上所显示的监视图像一边确定构图，或者测量摄影定时，或者决定快门时机。

另一方面，在本照相机10以再现动作模式进行动作时，在MPU31的控制下将由记录再现部19从记录介质20读出的图像数据在压缩解压缩部18中进行解压缩处理。这样生成的图像信号向图像处理部17输出，在该图像处理部17中进行尺寸调整处理等。由此生成的显示用的图像信号经由显示控制部21向显示部22输出。

这样，在本照相机10以再现动作模式进行动作时的显示部22上，显示基于预先记录到记录介质20内的图像数据的图像。从而，使用者可以通过显示部22，确认或欣赏根据通过摄影动作取得并记录到记录介质20内的图像数据来显示的图像。

ROM32是预先存储有用于本照相机10的动作控制的各种控制程序及各种规定的设定信息等的非易失性半导体存储器等。

操作开关33是包含将来自设在本照相机10内的各种操作部件的指示信号向MPU31输出的由多个开关等组成的电气部件的电气电路。

在此情况下，MPU31检测来自各开关的指示信号的状态，并顺序控制与各指示信号对应的多个结构块。MPU31根据因使用者对操作部件的操作而输出的各指示信号来进行各个对应的各种控制。

在本照相机10中作为与操作开关33相连的各种操作部件具有：进行本照相机10的主电源的打开关闭操作的电源开关；用于使本照相机10以再现模式启动的再现模式启动按钮；进行摄影模式和再现模式的切换的动作模式切换按钮；进行自动对焦动作、自动曝光控制及摄影动作等的开始指示等的快门按钮；通过以上下左右方向进行操作来产生规定的指示信号的上下左右操作按钮；以及合成用文本的选择操作等一般的数字照相机所具备的操作按钮等。

辅助光发光部24是在MPU31的控制下根据需要向被摄体35照射摄影用的辅助光的闪光发光装置。从而，例如在低照明度环境下可弥补被摄体的亮度不足，这样能够防止摄影画面内的明暗度不均匀，以取得清晰的图像。

通信部23是如下的结构单元，该结构单元用于在MPU31的控制下经由通信网络50和与该照相机10连接的小型计算机(PC)40或外部服务器100等外部设备之间进行图像数据等的收发。

另一方面如上所述，图像处理部17具有脸检测部17a。该脸检测部17a是如下的处理电路，该处理电路进行从利用由图像处理部17输出的显示用监视图像数据而显示到显示部22的显示画面上的图像中检测人脸所处的位置的处理。即，脸检测部17a根据由摄像元件15输出的图像信号来检测被摄体的脸。

表情判定以及感情推测部25是如下的处理电路，该处理电路采用包含由脸检测部17a所检测出的显示画面中的人脸在内的规定区域的图像的部分图像数据(以下称为脸部分图像数据)，来判断人脸部分的变化形状等，判定被摄体的表情，并且根据各图像中的人物表情来推测当时的感情，由此根据图像中的人物表情来进行将各图像数值化的处理。即，表情判定以及感情推测部25具有判定图像所包含的被摄体(人物)的表情的表情判定部的功能。详细地说，表情判定以及感情推测部25根据从图像内检测出的被摄体的脸的笑脸程度来判定被摄体的表情。另外，表情判定以及感情推测部25根据由脸检测部17a所检测出的被摄体的脸的笑脸程度来判定被摄体的表情。

由表情判定以及感情推测部25进行的表情判定是例如对笑脸或生气的脸等的程度进行判定并进行数值化的处理。后面对该表情判定处理的详细内容进行叙述，不过在本实施方式中，具体地说，进行例如算出规定的笑脸数据R值来作为表示笑脸度的数值数据、并将笑脸度数值化来表示的处理。

文本数据库26为大量存储例如电影、电视剧等的台词、字幕或小说、散文等的一段文章(以下称为语句)等字符串数据的数据集合，该文本数据库26具有将文本(语句)记录为数据的文本记录部的功能。

情感判定部27是如下的处理电路，该处理电路在从文本数据库26内选择的各语句数据没有被赋予表示情感的信息即情感数据时，进行分析该语句数据来判定情感、并将其判定结果作为情感数据赋予给该语句数据的处理。即，情感判定部27对文本的情感进行判定。详细地说，情感判定部27针对构成文本的各个语句来判定情感。

这里所谓情感表示喜怒哀乐这样的人的感情。另外以下，对语句的情感数据进行详细的叙述，在本实施方式中，例如表1所示，是指根据语句内容在数值0～10的范围内表示对应的情感(喜怒哀乐)时的数值数据。

【表1】

情感数据例

 

	语句内容	情感数据
			1	完美的计划	5
2	没想到的估计错误	2
			3	意外的援军	6
4	达成的喜悦	10

图像选择部28是利用表情判定以及感情推测部25的判定结果来选择与所选择的语句内容对应的图像的处理电路。其选择处理的详细内容如后所述，例如是对包含带表情的被摄体的图像进行选择的处理，该被摄体的表情与赋予给已选择的语句的情感数据相对应。即，图像选择部28选择由表情判定以及感情推测部25(表情判定部)判定的被摄体表情与由情感判定部27判定的文本(语句)的情感相对应的图像来作为与文本(语句群)对应的图像。详细地说，图像选择部28分别选择被摄体表情与各语句的情感对应的图像。

图像判定部29是如下的处理电路，该处理电路进行判定由图像选择部28选择的图像的特征等并检测适合文本合成的位置例如图像的对比度低且平坦的位置的处理。

文本合成部30是进行在图像中合成文本的处理的处理电路。具体地说，文本合成部30在例如由图像选择部28所选择的图像中的、由图像判定部29判定的位置来合成处理规定的语句，生成文本合成图像(文本图像)信号。由该文本合成部30生成的文本合成图像信号经由图像处理部17向记录再现部19输出、并记录在记录介质20中。

在此情况下，记录再现部19在将文本合成图像数据记录到记录介质20时，例如可按照文本所表示的各主题(表题)进行分类，并记录到与各个主题对应的文件夹中，也能够以基于根据各个主题而赋予给语句的编号等的次序进行记录。

另外，也可以将生成文本合成图像数据的语句的数据本身和与其对应的图像数据的图像编号及合成位置等信息作为合成用数据预先记录到记录介质20的规定区域(规定的文件夹等)内，在合成图像的再现动作时，读入该合成用数据和对应的图像数据(记录在其他的主区域内)这两个数据，进行合成处理后再现显示。

另一方面，本实施方式的图像显示系统1中，照相机10和PC40经由通信网络50与外部服务器100可通信地连接。

外部服务器100为具有记录显示部101、通信部102和语句提取部103等的服务器装置。另外，数据库110与外部服务器100连接。

通信部102是与经由通信网络50连接的照相机10、PC40等之间进行通信的处理电路。该通信部102具有如下的通信功能，即，对来自利用照相机10、PC40等的使用者的通信进行应答，或者根据来自使用者的请求向使用者侧的设备发送已记录的各种数据。

记录显示部101是如下的处理电路，该处理电路通过由通信部102实现的通信功能，而具有接收并记录从使用者发送的内容(信息)的记录功能、和根据来自使用者侧的请求来显示已记录的内容(信息)的显示功能。

语句提取部103是从数据库110的文件数据库111(在后面进行叙述)所记录的文件数据中进行规定的语句提取处理的处理电路。

该语句提取部103进行如下的处理，检索例如后述的文件数据库111，读出与电影、电视剧、小说、散文等的标题对应的文件内容，进行对该文件中所包含的各语句的检索，提取可整体上构成故事的多个语句。

另外，语句提取部103进行如下的处理，从后述的情感数据库112中提取用于将各语句所表示的喜怒哀乐的人的感情进行数值化的情感数据。

另外，语句提取部103不只从各语句的数据中直接提取情感数据，还可以根据从一个语句向其他语句转移时的情感变化来提取情感数据。下面，对语句提取部103的详细内容做进一步说明。

作为该外部服务器100适用由进行管理例如博客(Blog)及SNS(社会网络业务)等的CGM(消费者生成媒体等)的服务的大型计算机等构建的服务器装置。

另一方面，数据库110具有文件数据库111和情感数据库112。

在文件数据库111中，作为文本信息的数据库存储有例如电影、电视剧等的台词、字幕或小说、散文等文件类。

在情感数据库112中，作为数据库存储有例如由多个语句表示的喜怒哀乐的情感数据、以及从一个语句向其他语句转移时的情感变化等的数据。

以下，对在本实施方式的图像显示系统1中接受使用者的请求从外部服务器100向照相机10发送语句数据时的作用的流程进行概略说明。

首先，使用者将自身受感动的电影、电视剧、小说等的标题名信息，例如“冒险...”、“爱的...”、“世界的遗产...”等或自身想生成的主题的具体标题名信息、例如“摆脱商务危机”“激动的旅行...”等任意的标题名信息，通过PC40等经由通信网络50向外部服务器100发送。

外部服务器100的通信部102经由通信网络50与PC40等之间进行通信，接收从上述的PC40发送的标题名信息，将其向语句提取部103发送。

外部服务器100的语句提取部103接收该信息，参照数据库110的文件数据库111，提取可构成与接收的标题名信息相应的情节的多个语句。同时，语句提取部103参照情感数据库112，提取与自身提取出的多个语句对应的情感数据。将这样提取出的多个语句和与这些语句对应的情感数据作为一个语句数据向通信部102发送。另外，还有不能提取与提取出的语句对应的情感数据的情况。在此情况下，仅将提取出的多个语句作为语句数据向通信部102发送。

外部服务器100的通信部102接收该数据，经由通信网络50进行与照相机10的通信。由此，上述语句数据(提取出的多个语句以及情感数据)从外部服务器100向照相机10发送。

这样，外部服务器100根据使用者发送的标题名信息，从数据库中提取可构成与标题名相应的情节的多个语句和对应的情感数据等，并将其作为语句数据向照相机10发送。

接着，对在本实施方式的图像显示系统1中接收了上述语句数据的照相机10侧的作用的流程进行概略说明。

照相机10在MPU31的控制下使通信部23进行经由通信网络50的通信，并接收从外部服务器100发送的上述语句数据。

把接收的语句数据从通信部23向文本数据库26发送。该文本数据库26在MPU31的控制下将已输入的语句数据和与其对应的主题名一起进行记录。

在文本数据库26中，在通常情况下记录有以主题名为单位的、使语句和情感数据为一组的多组语句数据。

这里，使用者操作照相机10的规定的操作部件，对希望的主题名进行选择。

MPU31接收该指示信号来控制图像选择部28，进行选择图像的处理，该要选择的图像表示适合于使用者选择的主题名所对应的语句的情感。在该情况下，图像选择部28将已记录到记录介质20的全部图像数据或指定范围的图像数据作为对象进行图像选择处理。即，图像选择部28例如从预先记录到记录介质20中的多个图像中选择规定的图像。

图像选择部28的图像选择处理具体地说是如下这样的处理流程。

即，在与使用者所选择的主题名对应的语句例如是“人生有乐”和“有苦”这样的两个语句的情况下，首先，图像选择部28最初选择表示适合“人生有乐”这样的语句的情感的图像。

即，图像选择部28将已记录到记录介质20内的全部图像数据或指定范围的图像数据作为对象进行检索，从在附随于图像数据的关联信息中具有喜怒哀乐的情感数据(数值数据；参照表1)的图像数据中，选择具有“喜”、“乐”的情感数据的图像数据。

接着，图像选择部28同样从记录介质20的检索对象图像数据中选择具有适合“有苦”这样语句的情感即“怒”、“哀”的情感数据的图像数据。

另外，图像选择部28在预先添加与语句对应的情感数据的情况下，在进行图像选择时，利用该情感数据。另一方面，还有在语句中未预先添加情感数据的情况。在该情况下，MPU31进行如下的控制，首先控制情感判定部27，判定该语句的情感，将对应的情感数据赋予给语句数据，然后进行图像选择部28的图像选择处理。

但是，未添加情感数据的语句数据未必能够始终利用情感判定部27来可靠明确地判定情感。

举出具体例进行说明，在利用情感判定部27来判定情感时，例如，在对“曾经悲伤”、“在哭泣的脸上又被蜜蜂蛰”这样的两个语句的组合进行考虑的情况下，当单独判定各个语句的情感时，判定为都是相同的情感。但是，作为应该与后者(“在哭泣的脸上又被蜜蜂蛰”)的语句对应着进行选择的图像，希望选择比应该与前者(“曾经悲伤”)的语句对应着进行选择的图像更悲伤的图像、更具体地说如表示喜怒哀乐中的“哀”的图像。即，在同样被分类为“悲”的语句中，也需要考虑其“悲”的程度存在差异。

因此，本实施方式中的照相机10的图像选择部28也考虑到如上所述的情况，而进行如下的处理，即，不仅个别地选择与各个语句对应的图像，还进行考虑到多个语句间的差异及变化等的选择。

另外，作为在文本数据库26中记录的数据，对如上所述利用通信部23的通信功能从外部服务器100取得的情况的例子进行了说明，不过不仅限于此。作为在本照相机10的文本数据库26中记录语句数据等的方法，除了上述之外，例如还可以经由记录介质20向文本数据库26记录，或者使照相机10和PC40经由通信网络50或利用连接电缆等的直接连接来进行通信，并将存储在PC40中的同样的语句数据等记录到照相机10的文本数据库26。

接着，采用图2的流程图在以下对本实施方式的图像显示系统中的照相机控制流程进行详细的说明。

首先，在本照相机10处于电源断开状态的情况下，当由使用者对本照相机10的操作部件中的电源开关进行了接通操作时，通过操作SW33产生电源接通信号，并向MPU31输出该信号。MPU31接收该信号使本照相机10的内部电路成为电源接通状态而开始规定的控制。由此，本照相机10启动。

在该状态下，在图2的步骤S1中，MPU31进行本照相机10的动作模式是否设定为摄影模式的确认。这里，在已确认设定为摄影模式的情况下，进入步骤S2的处理。另外，在已确认设定为摄影模式以外的动作模式的情况下，进入步骤S12的处理。

在步骤S2中，MPU31执行监视图像显示处理。该监视图像显示处理是如下所述的一连串处理。即，该处理为：MPU31控制摄像元件15、AFE部16、图像处理部17、显示控制部21、显示部22等，根据摄像元件15的输出信号生成显示用的图像信号，并将通过该图像信号表示的图像连续显示到显示部22中。这样，本照相机10被设定为摄影模式，将在显示部22中连续显示图像的状态称为摄影待机状态。该监视图像显示处理本身是在通常的数字照相机中普遍进行的处理。

然后，在步骤S3中，MPU31执行摄影动作处理。接收由使用者对规定的操作部件例如快门按钮进行操作而产生的摄影指示信号来开始该摄影动作处理。即，在照相机10处于摄影待机状态的情况下，当监视操作SW33的状态并检测到摄影指示信号时，MPU31执行摄影动作处理。摄影动作处理是如下所述的一连串处理。即，该处理为：MPU31当接收到摄影指示信号时，控制光量调整部13、光量控制部14等，进行自动对焦动作及自动曝光控制动作，之后取得摄像元件15的输出信号，将在AFE部16、图像处理部17中进行了规定的图像处理而取得的图像信号临时记录到内部存储器(没有特别图示，为设置在例如图像处理部17内、或者另外设置在照相机10内部的临时存储器)中。

接着，在步骤S4之后的各处理中，MPU31根据在上述步骤S3的处理中取得的图像信号来执行各种的信号处理。

首先，在步骤S4中，MPU31控制图像处理部17的脸检测部17a，将在上述步骤S3的处理中取得的图像信号作为对象，执行对该图像信号所表示的图像中的人脸所处的区域(以下称为脸图像区域)进行检测的脸检测处理。

在步骤S5中，MPU31执行笑脸度检测处理。该笑脸度检测处理是根据在上述步骤S4的处理中检测出的脸图像区域来检测脸的表情(笑脸数据R值)的处理。另外，后面将采用图3、图4、图5对该笑脸度检测处理的详细内容进行叙述。

在步骤S6中，MPU31执行根据在上述步骤S4的处理中检测出的脸图像区域来检测脸的朝向的处理。

在步骤S7中，MPU31进行根据在上述步骤S3的处理中取得的图像信号来检测该图像内所拍摄的人数的处理。例如，检测在上述步骤S4的处理中检测出的脸图像区域的数量。

在步骤S8中，MPU31执行根据在上述步骤S4的处理中检测出的脸图像区域来检测脸的大小的处理。

在步骤S9中，MPU31执行根据在上述步骤S3的处理中取得的图像信号来判定该图像中的颜色及明暗等图像特征的处理。

然后，在步骤S10中，MPU10控制压缩解压缩部18、记录再现部19、记录介质20等，将在上述步骤S3的处理中取得的图像信号作为记录用的图像数据记录到记录介质20内。

在该情况下，MPU31同时进行将在上述步骤S4～S9的处理中取得的各种信息即图像中的脸的有无信息、笑脸数据R值、图像中的人数信息、脸的大小信息、表示其他的图像特征的信息等与记录用的图像数据关联起来的处理。该关联处理例如可以为在记录用的图像数据的头部等中写入上述各种信息并作为一个图像数据进行记录的形式，或者可以将记录用的图像数据和附随于该图像数据的信息构成为独立的数据，并作为对应的一对数据文件相关联地记录。如果这样的记录处理结束，则进行下一步骤S11的处理。

在步骤S11中，MPU31监视操作SW33确认是否发生了结束指示信号。这里，在确认了结束指示信号的情况下，结束一连串的处理(结束)。另外，在没有确认到结束指示信号的情况下，返回上述步骤S1的处理，反复进行用于下一摄影动作的以后的处理。

这里，下面采用图3、图4、图5来对图2中步骤S5的处理即笑脸度检测处理进行详细的说明。

图3、图4是说明在本实施方式的照相机中执行的笑脸度检测处理的图。其中，图3是对笑脸的显示进行例示的图。图4是对为难的脸的表情进行例示的图。

图5是表示在本实施方式的照相机中执行的笑脸度检测处理(图2的步骤S5的处理)的子流程的流程图。

通过在本实施方式的照相机中执行的笑脸度检测处理所检测出的笑脸数据R值是在后述的合成模式处理时进行的表情判定处理时使用的数值数据。该笑脸数据R值将在脸图像区域中显示的脸图像的表情(笑脸度)数值化来表示。并且，笑脸数据R值如上所述是在MPU31的控制下利用表情判定以及感情推测部25来判定并进行用于数值化的运算处理而算出的数值数据。

另外，笑脸数据R值表示数值越大笑脸度越高的情况。另外，作为笑脸数据R值的具体数值例如采用0至10范围的数值。因此，表示完全的笑脸的笑脸数据为R＝10。另外，表示笑脸数据R值的数值自身可以仅是整数，不过小数点以后的数值也能够适用。

一般，在人脸的表情中，在如图3所示的笑脸表情的情况和如图4所示的为难表情的情况下，显然构成人脸的部分中的眼和嘴角都各自存在显著的特征。

这里，采用图5的算出笑脸数据R值的笑脸度检测处理(图2的步骤S5的处理)的子流程来说明处理的流程。

首先，在图5的步骤S21中，MPU31根据上述图2的步骤S4的处理所得出的脸检测处理的结果、即脸图像区域的部分图像数据来开始眼和嘴部分的检测处理。

首先，在步骤S22、S23中，在MPU31的控制下，表情判定以及感情推测部25测定眼白的面积。

具体地说，在步骤S22中，测定位于连接两眼的瞳孔中心的线G上侧的眼白面积EA，在步骤S23中，测定位于连接两眼的瞳孔中心的线G下侧的眼白面积EB。

接着，在步骤S24中，表情判定以及感情推测部25将在上述步骤S22、S23的各处理中所得的眼白面积EA、EB的差利用它们的和归一化后取得数值RE。

即，RE←(EA-EB)/(EA+EB)

在如图3、图4各自表示的表情的例中，当着重于眼睛试着对两者进行比较时可知，越是笑脸的表情则位于连接两眼的瞳孔中心的线G上侧的眼白部分越多。

因此，可判定为在上述步骤S24的处理中所得的数值RE越大则越是笑脸。

接着，在步骤S25、S26中，表情判定以及感情推测部25测定嘴唇的面积。

具体地说，在步骤S25中，测定位于连接嘴两端的线H上侧的嘴唇面积LA，在步骤S26中，测定位于连接嘴两端的线H下侧的嘴唇面积LB。

接着，在步骤S27中，表情判定以及感情推测部25将上述步骤S25、S26的各处理中所得的嘴唇面积LA、LB的差利用它们的和归一化后取得数值RL。

即，RL←(LA-LB)/(LA+LB)

在图3、图4分别表示的表情的例中，当着重于嘴试着对两者进行比较时可知，越是笑脸的表情则位于连接嘴两端的线H上侧的嘴唇部分越多。

从而，可判定为上述步骤S27的处理中所得的数值RL越大则越是笑脸。

接着，在步骤S28中，表情判定以及感情推测部25将上述步骤S24的处理中所得的眼睛的RE值和上述步骤S27的处理中所得的嘴的RL值相加而算出笑脸数据R值。

即，R←RE+RL

在该情况下，笑脸数据R值越大则越接近笑脸。

而且，在步骤S29中，表情判定以及感情推测部25着重于脸图像区域的嘴部分，进行是否看见牙齿且嘴端部分是否有阴影的确认。这里，当确认了看见牙齿且嘴端部分有阴影时，进入步骤S30的处理。

例如，在图3的表情中，看见牙齿、且在图3箭头J所示的区域中嘴的端部有阴影。在构成这样的条件时，可认为是笑脸的表情的概率高。

因此，在该步骤S29中，当满足上述条件(看见牙齿且嘴端部分有阴影)而进入步骤S30的处理时，在该步骤S30中，表情判定以及感情推测部25进行对笑脸数据R值加1的处理。

即，R←R+1

然后，进入步骤S31的处理。

另外，在上述步骤S29中，当未满足上述条件(看见牙齿且嘴端部分有阴影)时，进入步骤S31的处理。

另一方面，例如在眉间部分有皱纹的表情不称为笑脸。例如，在图4的表情中，在以图4的箭头K所示的区域中在两眼之间有皱纹的情况下，不是笑脸表情的概率变高。

因此在步骤S31中，表情判定以及感情推测部25着重于脸图像区域的眉间部分，进行在眉间是否有皱纹的确认。这里，当确认了在眉间有皱纹时，进入步骤S32的处理。

在步骤S32中，表情判定以及感情推测部25进行对笑脸数据R值减1的处理。

即，R←R-1

在这样确定了笑脸数据R值后，结束一连串的处理，返回上述图2原来的处理(返回)。

另外，在上述步骤S31的处理中，当确认了在眉间没有皱纹时，确定此时刻的笑脸数据R值，结束一连串的处理，并返回上述图2原来的处理(返回)。

通过以上说明的笑脸度检测处理来算出对笑脸度进行数值化后的笑脸数据R值。该笑脸数据R值越高则表示越接近笑脸(笑脸度高)。

使通过上述笑脸度检测处理而取得的笑脸数据R值与情感(例如喜怒哀乐)相对应。

例如，在为笑脸数据R值高的图像的情况下，作为情感与“喜”、“乐”等情感对应，另一方面在为笑脸数据R值低的图像的情况下，与“怒”、“哀”等情感对应。

另外，在“喜”和“乐”中，前者采用笑脸数据R值高的图像，后者采用笑脸数据R值比较低的图像。

而且，例如，在如闭眼且嘴角笑这样的图像的情况下，可以使其与“乐”的情感对应。

另一方面，可以判定为使“怒”与比“哀”的笑脸数据R值低的图像对应，不过还可以通过增加关于眉间皱纹的条件进行判定，来将是否是“怒”作为判定的分支。另外，还可以增加关于眼睛下面的眼泪的条件，当检测出该条件时，追加如分支到“哀”的判定的流程。

另外，并非一定要利用表情来判定喜怒哀乐，例如还可判定脸的角度及朝向，在为脸的朝向向上的图像的情况下，可判定为分类为“喜”、“乐”，另一方面在为脸的朝向向下或向后的图像的情况下，可判定为分类为“哀”、“怒”。

从而，当考虑以上情况时，笑脸度的检测和情感的对应除了脸的表情及姿势之外，还考虑了图像中人数的多少，或者考虑相对于图像面积的脸的大小等，优选与情感相对应，不过在本实施方式中，为了避免说明变复杂，而关于情感仅将“喜怒哀乐”作为基本概念，继续以下的说明。

因此，在图像中的人脸大的情况下，说起来可分类为“喜”、“怒”，在图像中的人脸小的情况下，分类为“哀”等。

另外，因为采用脸检测功能可容易地判定图像中的人数，所以人数多时分类为“喜”、“乐”，人数少时分类为“怒”、“哀”。

返回图2的流程图，在上述步骤S1的处理中，当确认了被设定为摄影模式以外的动作模式的情况下，如上所述进入步骤S12的处理。

在此情况下，在步骤S12中，MPU31确认本照相机10的动作模式是否设定为合成模式。这里，在确认了被设定为合成模式的情况下，进入步骤S13的处理即合成模式处理。另一方面，在确认了没有设定为合成模式的情况下，进入步骤S14的处理。

这里，所谓合成模式是如下的处理，即，指定主题和图像范围，从指定的范围的图像中自动选择适合文本语句的图像，并在所选择的图像中合成文本语句。

下面采用图6对执行该合成模式的合成模式处理(图2的步骤S13的处理)进行详细的说明。

图6是表示在本实施方式的照相机中执行的合成模式处理(图2的步骤S13的处理)的子流程的流程图。

首先，在上述图2的步骤S12的处理中，当确认了设定为合成模式而进入了图2的步骤S13的处理时，在该步骤S12中，MPU31进行使合成模式处理(图6的子流程)开始的控制。另一方面，在确认了没有设定为合成模式的情况下，进入步骤S14的处理(如后所述)。

当这样开始合成模式处理时，首先，MPU31控制显示控制部21等，在显示部22等中显示本照相机10处于正执行合成模式处理中的旨意，或再现显示基于已记录到记录介质20内的图像数据的规定图像。同时，MPU31开始操作SW33的监视。然后，成为等待使用者的操作的状态。

这里，使用者采用规定的操作部件进行指定选择图像的范围的操作。该操作例如根据在显示部22中显示的缩略图画面来进行指定选择范围的起始图像和终点图像的操作。通过该操作，由操作SW33产生规定的选择图像范围指定的指示信号。

MPU31接收该指示信号，在图6的步骤S41中，进行基于该指示信号的选择图像范围指定处理。

接着，在步骤S42中，MPU31控制文本数据库26、显示控制部21、显示部22等，使当前记录在文本数据库26中的主题名信息等的一览显示到显示部22中，同时，再次进行操作SW33的监视，成为等待选择操作的状态。

这里，使用者采用规定的操作部件，进行选择显示部22所显示的多个主题名信息中的希望的主题名的操作。

接着，在步骤S43中，MPU31确认是否发生了主题选择指示信号。这里，在确认了主题选择指示信号的情况下，进入下一步骤S44的处理。另外，在没有确认到主题选择指示信号的情况下，返回步骤S42的处理，反复进行此后的处理。即，在进行主题名选择操作之前，执行处理循环。

接着，在步骤S44中，MPU31确认在上述步骤S43中选择的主题名中所包含的语句数据内是否添加有情感数据。这里，当确认了在所选择的主题名所包含的语句数据中添加有情感数据时，进入下一步骤S45的处理。另一方面，当确认了在所选择的主题名所包含的语句数据中没有添加情感数据时，进入步骤S46的处理。

在步骤S45中，MPU31执行选择图像的图像选择处理，该图像与在所选择的主题名所包含的语句数据中添加的情感数据相对应。

这里，以下采用表1、表2以及图7～图9等，对上述步骤S45的处理即添加有情感数据时的图像选择处理进行说明。

表1示出由使用者选择的主题名所包含的一群语句的内容、和对应于各语句而添加的情感数据(数值数据)的例子。另外，表1所示的一群语句的主题名例如为“摆脱商务危机”。

然后，在以下的说明中，假设使用者(在图6的步骤S42-S43的处理中)选择了该“摆脱商务危机”这样的主题名。

另外，在表1的数据中，将作为情感的喜怒哀乐中的“喜/乐”系列的语句设为高数值的情感数据，“怒/哀”系列的语句设为低数值的情感数据。

另外，表2示出使用者(在图6的步骤S41的处理中)指定的选择范围的图像的图像编号a、b、c、d、e、f和与这些分别对应的笑脸数据R值。另外，该笑脸数据R值如上所述，通过图2的顺序中的摄影动作执行中的笑脸检测处理(图2的步骤S5的处理、即图5的处理)被与图像数据相关联地进行记录。

【表2】

 

	R值(笑脸数据)
		a	6
b	10
		d	4.5
d	0
		e	2
f	5

图7是在本实施方式的照相机的合成模式处理时，表示当选择和语句的情感数据对应的图像时作为基准的情感数据和笑脸数据R值的关系的图。

在选择和语句的情感数据对应的图像时，通过参照和语句中所添加的情感数据对应的笑脸数据R值，来选择对应的图像。

因此，情感数据和笑脸数据R值的关系如图7所示，高数值的笑脸数据R值与高数值的情感数据对应，低数值的笑脸数据R值与低数值的情感数据对应。

由此，针对情感数据为高数值的“喜/乐”系列的语句，选择具有笑脸度高的笑脸数据R值的图像、例如“笑脸”的图像。另外，针对情感数据为低数值的“怒/哀”系列的语句，选择具有笑脸度低的笑脸数据R值的图像、例如“闭眼”图像或“眉间有皱纹”的图像等。

这样，通过规定语句的情感数据和图像的笑脸数据R值的关系，来选择与语句对应的表情图像，合成与该图像对应的语句并显示到显示部22中(详细内容如后所述)。

另外，当然可以设法按照情感变化的大小来应用变化大的图像。另外，还可以进一步细化设定情感数据及笑脸度的数值化。而且，将低数值的情感数据分类为“怒”的方向，除此之外，在检测出眼泪、闭眼等的情况下，还考虑了设法分类为“哀”的情况。

图8A、图8B是表示语句和选择图像的关系的坐标图。其中，图8A将表1所示的各语句的情感数据图表化来示出。由图中的圆圈所包围的数字(圆圈数字)与表1中的文本编号(1、2、3、4)对应。另外，图8B将表2所示的笑脸数据R值图表化来示出。由图中的圆圈包围的罗马字与表2中的图像编号(a、b、c、d、r、f)对应。

然后，利用连接文本编号和图像编号的线来表示图8A所示的语句和图8B的图像的对应关系。

图9是在本实施方式的照相机内执行的合成模式处理中的子流程，是表示添加了情感数据时的图像选择处理(图6的步骤S45的处理)的子流程的流程图。

如上所述，在图6的步骤S44的处理中，当确认了在上述步骤S43中所选择的主题名所包含的语句数据中添加有情感数据而进入步骤S45的处理时，在该步骤S45中，MPU31主要控制图像选择部28来执行图像选择处理。此时的子流程是图9的流程图。

首先，在图9的步骤S61中，MPU31从文本数据库26中读出语句，对在指定的范围内所包含的图像数和主题中所包含的语句数进行比较，确认图像数是否多于语句数。这里，在确认了图像数多的情况下，进入步骤S62的处理。

在步骤S62中，在MPU31的控制下图像选择部28进行从指定范围的图像中依次选择与各语句的情感数据接近的笑脸数据R值的图像的处理。然后，进入步骤S63的处理。

在步骤S63中，图像选择部28执行按照语句的顺序重新排列在上述步骤S62的处理中所选择的图像的处理。然后，返回图6的原来的处理(返回)。并且，进入图6的步骤S56的处理。

另一方面，在上述的步骤S61的处理中，当确认了在所指定的范围内包含的图像数与语句数相同、或者图像数少于语句数时，执行对应于语句的情感数据的降序而使图像以笑脸数据R值的降序重新排列的处理。然后，返回图6的原来的处理(返回)。并且，进入图6的步骤S56的处理。

通过如图9所示的顺序，来决定在语句数据中添加了情感数据时的图像的显示顺序。

返回图6，在上述的步骤S44的处理中，当确认了在所选择的主题名中所包含的语句数据中没有添加情感数据而进入了步骤S46的处理时，在该步骤S46中，在MPU31的控制下由情感判定部27开始关于所选择的语句数据的情感判定处理(S47～S50)。

首先，在步骤S47中，MPU31设定循环计数值N＝1。然后，进入步骤S48的处理。

在步骤S48中，MPU31执行第N个语句的情感判定处理。然后，进入步骤S49的处理。

在步骤S49中，MPU使循环计数值进1。即进行N＝N+1的设定。然后，进入步骤S50的处理。

在步骤S50中，MPU确认应该进行情感判定的语句是否已结束。如果确认已结束则进入步骤S51的处理，在该步骤S51中，结束情感判定处理。然后，进入步骤S52的处理。

在步骤S52中，MPU31进行在上述情感判定处理中判定的情感是否明确的判断。这里，当判断为情感明确时进入步骤S53的处理。

在步骤S53中，在MPU31的控制下情感判定部27执行判定与各语句对应的情感变化的处理。结果，对各语句赋予如表3所示的情感数据。然后，进入步骤S55的处理。

即，在该情况下，情感判定部27根据构成文本的多个语句间的措辞的变化来判定文本的情感。

表3是由情感判定处理所判定的情感明确时的文本的具体例。

【表3】

情感明确的文本例

 

	语句内容	情感数据
			1	高兴的休息日	6
2	精神地早起	6
			3	激动地出发	8
4	愉快的旅行	10

表3所示的例子是主题名“激动的旅行”所包含的文本群的例示。在该情况下语句的喜怒哀乐是明确的。

即，在表3所示的例子中，各文本包含容易知道情感的单词，所以能够按照各个情感来对应图像。具体地说，“高兴”、“精神”、“激动”、“愉快”等单词可判断为是明显与喜怒哀乐的“喜”、“乐”相关联的措辞。因此，在图6的步骤S53的情感变化判定处理中，对各语句赋予表3所示的情感数据。

另一方面，在上述的步骤S52的处理中，当判断为由情感判定处理所判定的情感不明确时，进入步骤S54的处理。

在步骤S54中，在MPU31的控制下，情感判定部27执行通过各语句的变化来判定情感变化的处理。结果，对各语句赋予如表4所示的情感数据。然后，进入步骤S55的处理。

表4是由情感判定处理所判定的情感不明确时的文本的具体例。

【表4】

情感不明确的文本例

 

	语句内容	情感数据
			1	从这个开始挑选	5
2	期待越来越大	6
			3	没想到的事件	2
4	幸运、到达	10

表4所示的例子是主题名为“心跳旅行”所包含的文本群的例示。在该情况下，语句本身的喜怒哀乐不明确。

即，在表4所示的例子中，因为各个文本都没有清楚地包含“喜怒哀乐”等感情要素，所以判断成作为语句的情感是不明确的。如表4所例示的文本群那样，在抽象性表达多的情况下，例如，重视在最终语句中的效果，与之前的语句相比决定强调效果的方向。因此，在图6的步骤S54的情感变化判定处理中，对各语句赋予表4所示的情感数据。

这里，以下对在情感判定处理中所判定的情感为不明确时执行的情感变化判定处理(图6的步骤S54的处理)进行说明。

图10是在本实施方式的照相机中执行的合成模式处理中的子流程，是表示由情感判定处理所判定的情感不明确时的情感变化判定处理(图6的步骤S54的处理)的子流程的流程图。

如表4所示的例子那样，在语句的情感不明确的情况下，在各语句中不存在表示喜怒哀乐的单词。因此，当考虑作为语句全体的流程时，例如在起承转合的流程中，认为最后的两个语句是重要的。因此，判定最后两个语句(在表4的例子中为文本编号3、4)间的情感变化为“喜”、“乐”系列的情感变化还是“怒”、“哀”系列的情感变化，重视其判定结果来进行语句全体的情感判定。

另外，在以下的说明中为了简化而假定由与“起承转合”对应的四个文本来构成语句(参照表4)。另外，在文本数多的情况下，认为排列着与“起承转合”中的“承”对应的文本。

这样，在根据语句变化来判定情感变化的处理(图10的子流程)中认为重要的内容是语句中最后部分的结尾点，重视“起承转合”中的“转”和“合”之间的对比度(差异)，基于此来提高合成了语句和图像的合成图像的再现显示时的显示效果。

因此，首先在图10的步骤S71中在MPU31的控制下，情感判定部27进行语句中的最终语句(表4的文本编号4)的情感判定。然后，进入步骤S72的处理。

在步骤S72中，情感判定部27进行最终语句的前一个语句的情感判定。然后，进入步骤S73的处理。

在步骤S73中，情感判定部27判断转合部分的情感变化、即最终语句和之前的语句之间的情感变化是否向“喜”、“乐”系列的方向变化。这里，当被判断为情感向“喜”、“乐”系列的方向变化时，进入步骤S74的处理。

这里，如表4的例子所示，在最终语句(语句编号4)中有“幸运”这样的单词。这明显是与“喜”的情感对应的语句。

另一方面，在最终语句之前的语句(语句编号3)中不存在表示清楚的情感的措辞。因此，可推测为例如在从语句编号3的时刻到最终的语句(语句编号4)之间展开了“如获得喜悦的事情”。即，在此情况下，可判断为情感向“喜”、“乐”系列的方向变化。

在步骤S74中，情感判定部27进行对最终语句(编号4)的情感数据赋予10的处理。然后，进入步骤S75的处理。

在步骤S75中，情感判定部27进行对最终语句(编号4)以外的语句赋予情感数据的处理。然后，进入图6的原来的处理(返回)。

举表4来作为该情况的例子。即，对最初的语句数据(语句编号1)在情感为中性的意思中赋予情感数据“5”，对下一语句数据(语句编号2)赋予情感数据“6”。然后，下一语句数据(语句编号3)是最终语句的前一语句，这里需要加入变化，所以稍微赋予与“喜”、“乐”系列的方向相反方向的情感数据“2”。由此，能够提高赋予给最后语句(语句编号4)的情感数据“10”的效果。

另一方面，在上述步骤S73的处理中，当判断为情感未向“喜”、“乐”系列的方向变化时，进入步骤S76的处理。

在步骤S76中，情感判定部27判断转合部分的情感变化、即最终语句和之前语句之间的情感变化是否向“怒”、“哀”系列的方向变化。这里，当判断为情感在“怒”、“哀”系列的方向上变化时，进入步骤S77的处理。

在步骤S77中，情感判定部27进行对最终语句(编号4)的情感数据赋予“0”的处理。即，因为情感是“怒”、“哀”系列的方向，所以重视最终的效果，设定最终语句的情感数据为最小的“0”。然后，进入步骤S78的处理。

在步骤S78中，情感判定部27进行对最终语句(编号4)以外的语句赋予情感数据的处理。然后，返回图6的原来的处理(返回)。

在此情况下，例如，对最初的语句数据(语句编号1)在情感为中性的意思中赋予情感数据“5”，对下一语句数据(语句编号2)赋予情感数据“4”。并且，下一语句数据(语句编号3)是最终语句的前一语句，这里需要加入变化，所以稍微赋予与“怒”、“哀”系列的方向相反方向的情感数据“8”。由此，能够提高赋予给最后语句(语句编号4)的情感数据“0”的效果。

另一方面，在上述步骤S76的处理中，当判断为情感没有在“怒”、“哀”系列的方向上变化时、即最终语句的情感变化不明确时，进入步骤S79的处理。

在步骤S79中，情感判定部27判断最初语句的情感是否为“怒”、“哀”系列的措辞。这里，当判断为情感是“怒”、“哀”系列的措辞时，进入步骤S74的处理。

即，在此判定最初的语句(步骤S79)，假定为在之后的语句中持续该最初语句的情感或进一步强调的展开。

另一方面，在上述步骤S79的处理中，当判断为最初语句的情感不是“怒”、“哀”系列的措辞时，进入步骤S80的处理。

在步骤S80中，情感判定部27判断最初语句的情感是否是“喜”、“乐”系列的措辞。这里，当判断为情感是“喜”、“乐”系列的措辞时，进入步骤S77的处理。另外，当判断为情感不是“喜”、“乐”系列的措辞时，即最初语句不是“怒”、“哀”、“喜”、“乐”中的任一个，最初语句的情感不明确且被判断为该语句整体是抽象概念的流程时，进入步骤S81的处理。

在步骤S80中，情感判定部27对全部语句赋予情感数据“5”。然后，返回图6的原来的处理(返回)。

即，在此情况下，若所有语句都是同样的情感，则基本上进行按照时间顺序排列图像的处理。

返回图6，在步骤S55中，在MPU31的控制下图像选择部28进行如下的处理，即根据对各语句的数据所赋予的情感数据来判定各语句的情感，并从指定范围的图像中选择对应的图像。该图像选择处理是与上述图9的流程图(图6的步骤S45的处理)同样的处理顺序。然后，进入步骤S56的处理。

在步骤S56中，在MPU31的控制下，文本合成部30对在上述步骤S45、S55的处理中由图像选择部28选择出的图像，进行在图像判定部29所判定的适当位置上合成对应的语句的处理，生成附带文本的合成图像(文本图像)。然后，进入步骤S57的处理。

在步骤S57中，MPU31使在上述步骤S56的处理中生成的多个合成图像以规定的顺序组合并生成为被归纳成一连串文件群的一个文件夹而文件化。然后，进入步骤S58的处理。

在步骤S58中，MPU31控制压缩解压缩部18、记录再现部19，执行将由上述数据文件群组成的文件夹记录到记录介质20或ROM32中的处理。在该情况下，在记录介质20中设有作为规定区域的记录部(未特别图示)，该规定区域将由文本合成部30生成的文本图像作为文件夹来记录。

另外，在该情况下，如果没有特别指定，只要使文件夹名与主题名一致即可。

另外，作为在记录介质20中记录的图像的形式，除了对合成处理后的合成图像的数据本身进行记录的形式之外，例如还可以仅将与基于上述图6的处理顺序的语句和图像的组合相关的信息数据化，并将其记录到记录介质20或ROM32等。在此情况下，根据记录的信息数据生成再现动作的每次合成图像，并显示其结果。根据该例，具有可节约记录容量的效果。

返回图2的流程图，在上述步骤S12的处理中，当确认了没有设定为合成模式时，如上所述进入步骤S14的处理。

在此情况下，在步骤S14中，MPU31确认本照相机10的动作模式是否设定为再现合成图像的合成再现模式。这里，当确认了已设定为合成再现模式时，进入步骤S15的处理。

在步骤S15中，MPU31使记录到记录介质20等中的文件夹名(多个)例如以一览形式显示到显示部22中，为了让使用者选择应该再现的文件夹，所以成为等待指示信号输入的状态。这里，使用者采用规定的操作部件选择希望再现的文件夹名。MPU31接收该指示信号进行如下的处理控制，即从记录介质20(或ROM32等)中从指定的文件夹依次读出合成图像文件，并例如以规定的时间间隔依次显示(幻灯放映显示)到显示部22中。然后，进入步骤S11的处理，等待结束指示，结束一连串的处理。如果没有结束指示，则返回上述步骤S1的处理，反复进行此后的处理。

另一方面，在上述步骤S14的处理中，当确认了没有设定为合成再现模式时，进入步骤S17的处理。

在步骤S17中，MPU31设定通常的再现模式，让使用者进行图像选择操作，在下一步骤S18中，MPU31进行如下的控制处理，即，采用显示部22再现显示在前一步骤S17中由使用者选择的图像。然后，进入步骤S11的处理，等待结束指示，结束一连串的处理。如果没有结束指示，则返回上述步骤S1的处理，反复进行此后的处理。

如以上所说明的那样，根据上述一实施方式，构成为从已记录到记录介质20的图像中自动选择适合使用者选择的主题所包含的语句的图像，对已选择的图像合成处理上述语句，将作为结果生成的合成图像显示到显示部22中，同时将生成的合成图像记录到记录介质20中。基于这样的结构，利用采用照相机10普通地拍摄的大量图像来自动地生成合成图像，由此能够供多人娱乐。

在该情况下，作为合成处理的结果而生成的合成图像有可能选择与语句的内容没有直接关系的图像，所以能够按照以例如摄影日期时刻顺序进行再现显示的通常显示次序以外的次序，将拍摄存储到记录介质20中的图像以幻灯放映形式等进行显示，因此能够实现新的图像欣赏方法，该新的图像欣赏方法可通过让使用者感到意外性等的效果来给予乐趣。

并且，根据对规定的主题所包含的语句赋予的情感数据来选择与该主题对应的图像，所以即使不存在与主题直接对应的图像也可以，因此不需要预先特意拍摄依据主题的图像。这样，根据本发明，相应于对存储在文本数据库26中的语句数据赋予的情感数据，参照笑脸数据R值等来选择记录到记录介质20内的已拍摄的图像数据，针对由多个语句构成的一连串情节来选择对应的图像，并顺序显示(滑动显示)选择图像，因此能够完全提供新形态的图像显示装置。

另外，在上述一实施方式中，使表情与文本关联地进行变化，不过也可以依次显示有变化的各种表情的图像。即使只进行这样的显示，与连续欣赏相同表情的图像的情况相比，欣赏者也能够乐于其中的变化来欣赏。

此外，关于上述一实施方式所说明的MPU31的处理，可以利用硬件来构成一部分或全部。

并且，通过向MPU31供给在ROM32等中存储的软件程序、并根据供给的程序进行上述动作来实现MPU31的控制处理。因此，上述软件程序本身实现了MPU31的功能，该程序本身构成本发明。

另外，存储该程序的记录介质也构成本发明。作为该记录介质除了闪存以外，还可以采用CD-ROM、DVD等光学记录介质、MD等光磁记录介质、磁带介质、IC卡等半导体存储器等。

在上述一实施方式中，举出在具备包含图像显示功能的图像显示装置的数字照相机中适用了本发明的情况的例子进行详细的说明，不过作为本发明的图像显示装置不仅限于此，例如，同样可以对如下结构的图像显示装置或图像处理装置等各种设备、例如小型计算机等适用本发明，该图像显示装置或图像处理装置的结构为，具有对在数字照相机中取得并记录的多个图像数据进行存储的记录介质，并根据记录在该记录介质中的图像数据进行图像显示或者进行各种数据处理。

另外，本发明不限定于上述实施方式，显然在不脱离本发明主旨的范围内可实施各种变形及应用。此外，在上述实施方式中还含有各种级别的发明，通过对公开的多个构成要件的适当组合，可提取各种发明。例如，即使从上述一实施方式所示的全部构成要件中削除几个构成要件，也能够解决上述课题，在获得在发明效果部分记载的效果的情况下，可提取削除了该构成要件的结构来作为发明。

另外，本发明除了被本申请的权利要求限定以外，不受特定实施方式制约。

Claims (15)

1.一种图像显示装置，其特征在于，该图像显示装置具有：

情感判定部，其根据情感信息来分析情感的变化信息并判定情感；

表情判定部，其判定在多个图像群的各个图像中包含的人物的表情；

图像选择部，其从上述多个图像群中选择与由上述情感判定部所判定的上述情感和由上述表情判定部所判定的上述人物的表情对应的图像；以及

显示部，其依次显示由上述图像选择部选择出的图像。

2.根据权利要求1所述的图像显示装置，其特征在于，

上述情感判定部根据文本信息来分析情感的变化信息，并判定文本的情感。

3.根据权利要求2所述的图像显示装置，其特征在于，

该图像显示装置还具有文本合成部，其将与由上述情感判定部所判定的情感对应的文本信息和由上述图像选择部所选择的图像合成，生成文本图像。

4.根据权利要求1所述的图像显示装置，其特征在于，

上述显示部以使各图像所包含的人物的表情发生变化的方式依次显示由上述图像选择部选择出的图像。

5.一种图像显示装置，其特征在于，该图像显示装置具有：

情感判定部，其判定文本的情感；

表情判定部，其判定图像的被摄体的表情；

图像选择部，其选择由上述表情判定部所判定的上述被摄体的表情与由上述情感判定部所判定的上述文本的情感对应的图像来作为与上述文本对应的图像；

文本合成部，其将上述文本和由上述图像选择部选择出的图像合成，生成文本图像；以及

显示部，其显示由上述文本合成部生成的上述文本图像。

6.根据权利要求5所述的图像显示装置，其特征在于，

上述情感判定部针对构成上述文本的每个语句来判定情感，

上述图像选择部分别选择上述被摄体的表情与各个语句的情感对应的图像。

7.根据权利要求6所述的图像显示装置，其特征在于，

上述情感判定部根据构成上述文本的多个语句间的措辞的变化来判定上述文本的情感。

8.根据权利要求5所述的图像显示装置，其特征在于，

上述情感判定部根据赋予给上述文本的情感数据来判定情感。

9.根据权利要求8所述的图像显示装置，其特征在于，

该图像显示装置具有文本记录部，其将上述文本作为数据进行记录。

10.根据权利要求5所述的图像显示装置，其特征在于，

上述表情判定部根据从上述图像内检测出的被摄体的脸的笑脸程度来判定上述被摄体的表情。

11.根据权利要求5所述的图像显示装置，其特征在于，

该图像显示装置具有记录介质，其预先记录有由上述图像选择部选择出的图像，

上述记录介质具备记录部，该记录部将由上述文本合成部生成的文本图像作为文件夹进行记录。

12.一种照相机，其特征在于，该照相机具备：

摄影镜头，其使被摄体像成像；

摄像元件，其接收利用上述摄影镜头成像的被摄体像进行光电转换处理，并输出电图像信号；

脸检测部，其根据从上述摄像元件输出的图像信号来检测被摄体的脸；以及

图像显示装置，其具有：情感判定部，其判定文本的情感；表情判定部，其判定图像的被摄体的表情；图像选择部，其选择由上述表情判定部所判定的上述被摄体的表情与由上述情感判定部所判定的上述文本的情感对应的图像来作为与上述文本对应的图像；文本合成部，其将上述文本和由上述图像选择部选择出的图像合成，生成文本图像；和显示部，其显示由上述文本合成部生成的上述文本图像，

上述表情判定部根据由上述脸检测部检测出的被摄体的脸的笑脸程度来判定上述被摄体的表情。

13.一种图像显示方法，其特征在于，

判定构成文本的各个语句的情感程度，

选择所拍摄的被摄体的表情与各个语句的情感对应的图像来作为与上述各个语句对应的图像，

分别将上述各个语句和上述所选择的图像合成，生成文本合成图像，

按照上述文本的各个语句的顺序来显示上述文本合成图像。

14.一种程序，使计算机执行图像显示方法，其特征在于，具有以下的步骤：

判定构成文本的各个语句的情感程度的步骤；

选择所拍摄的被摄体的表情与各个语句的情感对应的图像来作为与上述各个语句对应的图像的步骤；

分别将上述各个语句和上述所选择的图像合成，生成文本合成图像的步骤；以及

按照上述文本的各个语句的顺序来显示上述文本合成图像的步骤。

15.一种图像显示系统，由图像显示装置、和与该图像显示装置之间经由网络连接的服务器装置构成，其特征在于，

上述服务器装置具备：

存储文件的文件数据库；

情感数据库，其存储以数值来表现上述文件的各个语句的情感的情感数据；

语句提取部，其对应于从使用者发送的主题从上述文件数据库中提取能构成情节的多个语句、且从上述情感数据库中提取与提取出的该语句对应的情感数据；以及

通信部，其向使用者发送由上述语句提取部提取出的语句和与其对应的情感数据，

上述图像显示装置具有：

文本记录部，其记录由从上述服务器装置所发送的包含上述情感数据的各个语句组成的文本；

情感判定部，其判定上述各个语句的情感；

表情判定部，其判定图像的被摄体的表情；

图像选择部，其选择上述被摄体的表情与该各个语句的情感对应的图像来作为与上述各个语句对应的图像；

文本合成部，其将上述各个语句和由上述图像选择部选择出的图像合成，生成文本图像；以及

显示部，其显示由上述文本合成部生成的上述文本图像。

Images