CN1503159A - 电影短片生成再现装置及其方法 - Google Patents

电影短片生成再现装置及其方法 Download PDF

Info

Publication number
CN1503159A
CN1503159A CNA200310118047XA CN200310118047A CN1503159A CN 1503159 A CN1503159 A CN 1503159A CN A200310118047X A CNA200310118047X A CN A200310118047XA CN 200310118047 A CN200310118047 A CN 200310118047A CN 1503159 A CN1503159 A CN 1503159A
Authority
CN
China
Prior art keywords
rest image
special efficacy
drama
style
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200310118047XA
Other languages
English (en)
Other versions
CN100365618C (zh
Inventor
�������ɭ
森康浩
冈林一郎
川内真树
川端章裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1503159A publication Critical patent/CN1503159A/zh
Application granted granted Critical
Publication of CN100365618C publication Critical patent/CN100365618C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Abstract

本发明提供一种电影短片生成再现装置及其方法。具备：从输入图像中抽取图像特征量的图像特征量抽取部(1107)、将图像特征量变换为风格特征量的图像－风格特征量变换部(1115)、将图像特征量变换为音乐特征量的图像－音乐特征量变换部(1118)、根据风格特征量来决定风格的风格决定部(1116)、根据音乐特征量来决定音乐的音乐决定部(1119)、及用静止图像、音乐、风格来生成剧本的剧本生成部(1117)。

Description

电影短片生成再现装置及其方法
技术领域
本发明涉及一种使用至少一个以上的静止图像来生成短篇视频并进行再现的电影短片生成再现装置及其方法。
背景技术
在2001年日本国内的相机市场中，数码照相机(Digital StillCamera)的出厂数量超过胶卷相机的出厂数量，预测2002年该差距将进一步扩大。另外，在近年来的便携电话市场中，发布大量带数码相机的便携电话，这些样式很受人欢迎。因此，数码照相机的用户增加，这些用户大多保有大量的数字静止图像(Digital StillPicture，下面称为DSP)。
这些DSP一般存入个人计算机的盘驱动器中。为了阅览、管理大量DSP，出售称为数码相机软件(デジカメソフト)的图像阅览、管理用应用软件。这些应用程序除以计算机上实现现有的纸相册的图像外，还具有采用缩略图(thumbnail)的整体阅览、采用目录的分层管理等功能。
另外，在这些应用程序中，作为观看保存在盘驱动器内的DSP情况下的一个功能，有称为放映幻灯片(slide show)的功能(例如参照专利文献1：日本特开平01-92875号公报)。该放映幻灯片是与幻灯片放映机一样以一定时间间隔或通过用户指示等触发来切换所显示的DSP的所谓“数字连环画剧”。通过应用程序，附加BGM，或在切换DSP时附加渐褪(fade)、擦除(wipe)、旋转等转变，使娱乐性进一步提高。
但是，这些应用程序是在计算机上虚拟实现现有纸相册的，放映幻灯片基本上与连环画剧相同，与翻开页来看一张张照片没什么不同。因此，即使积极活用作为数字数据的特性，也没有提供只有数字才有的乐趣。
因此，为了提供只有数字才有的乐趣，开发出由所输入的静止图像来制作电影等短篇视频(电影短片)的应用程序。该应用程序仅通过用户选择作为素材的静止图像、BGM(音乐)和风格设置，就能自由地生成电影短片。风格设置规定对所完成的电影短片的一般图像(色调或效果)、及根据该图像的视觉效果(推进静止图像的效果、特效(effect))。由该应用程序生成的电影短片向静止图像提供动画的动作，在开创使用数字静止图像的新的娱乐世界方面是被期盼的。
但是，上述应用程序中存在以下问题。
首先，第1，在用户选择静止图像、音乐和风格的情况下，有时会选择与风格(特效)不匹配的BGM、DSP，观看电影短片会感到不适。
第2，用户必需全部选择静止图像、音乐和风格，非常麻烦。例如，且不论用户选择想使用的DSP，就用户选择与所选择的图像匹配的音乐、风格就很麻烦。另外相反，当用户选择象夏天一样的音乐时，即使认为想选择象夏天一样的DSP和现行的风格，要从庞大的DSP资料库中选择适当的图像设置也是很困难的。
第3，电影短片中所实现的效果，并非是在识别写入DSP中的例如[脸]等对象并考虑其位置关系的基础上，将视觉效果应用在DSP中。因此，频繁出现剪下无含义的部分后用于插入的插图中，或切割人物的脸，或以无含义的部分为中心来放大。
第4，因为以个人计算机上的使用为前提，所以用户通过键盘来操作，复杂费时。另外，随着家电信息化，期待也能用电视机(或录像机)等家用电器再现电影短片，但家用电器不能再现电影短片。
第5，在识别对象种类例如脸部部分上，不适用视觉效果。因此，因为在脸部部分中途切断，或识别该部分的重要性后未确定滑入(slide in)或滑出(slide out)的顺序，所以在观看侧会感到不适。
第6，在识别对象姓名上，不适用视觉效果。结果，全部对象被平等处理，不能生成聚焦到任意的人上的电影短片。因此，在结婚仪式的宴会、生日会等以特定人为中心的聚会中，在使用所拍摄的静止图像生成电影短片并进行再现的情况下，如果由以前的应用程序生成的电影短片，则聚焦不好，不知主角是谁，所以随着再现场景不同，不能跟随目标。
发明内容
本发明是鉴于上述问题而作出的，其第1目的在于提供一种电影短片生成再现装置和方法等，如果选择静止图像、音乐和风格等各要素中的任意一个，则可确定与之匹配的其他要素来生成电影短片并进行再现，另外，通过使静止图像中的对象反映到视觉效果中，可生成并进行再现使娱乐性提高的电影短片。
另外，本发明的第2目的在于提供一种电影短片生成再现装置和方法等，用户也可以在家用电器中不费事地生成电影短片并进行再现。
另外，本发明的第3目的在于提供一种电影短片生成再现装置和方法，通过根据静止图像的对象信息来决定确定特效动作的参数，可生成使娱乐性提高的电影短片并进行再现。
另外，本发明的第4目的在于提供一种电影短片生成再现装置和方法，在识别对象姓名上，通过使对象姓名反映到视觉效果中，可生成聚焦到特定对象上的电影短片。
为了实现上述第1目的，在根据本发明的电影短片生成再现装置中，使用至少1个静止图像来生成视频并进行再现，其特征在于：具备数据库单元，存储所述静止图像、表示所述静止图像的特征的图像特征量、表示所生成视频的整体图像的风格、表示该风格的特征的风格特征量、音乐及表示该音乐的特征的音乐特征量；选择单元，用于选择在生成视频时使用的所述静止图像、所述音乐及所述风格中的任意一个；特征量读出单元，从所述数据库单元中读出由所述选择单元选择的所述静止图像、所述音乐及所述风格中的任意一个对应的特征量；特征量变换单元，将由所述特征量读出单元读出的所述特征量变换为其他特征量；决定单元，根据由所述特征量变换单元变换的所述其他特征量，分别决定生成视频时使用的所述静止图像、所述音乐及所述风格内、未由所述选择单元选择的所述静止图像、所述音乐及所述风格；及剧本(情节：scenario)生成单元，根据由所述选择单元选择的所述静止图像、所述音乐及所述风格中的任意一个以及由所述决定单元决定的所述静止图像、所述音乐及所述风格，生成视频的剧本。
由此，因为仅通过选择形成视频时使用的静止图像、音乐和风格之一就可形成剧本进而形成视频，所以当用户形成视频时，不必象以前那样选择全部静止图像、音乐和风格。
这里，在根据本发明的电影短片生成再现装置中，其特征在于，在由所述选择单元选择了静止图像的情况下，所述特征量变换单元将由所述特征量读出单元读出的图像特征量变换为音乐特征量及风格特征量。
由此，可决定生成视频时使用的最佳音乐和风格。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，在由所述选择单元选择了音乐的情况下，所述特征量变换单元将由所述特征量读出单元读出的音乐特征量变换为图像特征量和风格特征量之一。
由此，可决定生成视频时使用的最佳音乐和静止图像。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，在由所述选择单元选择了风格的情况下，所述特征量变换单元将由所述特征量读出单元读出的风格特征量变换为图像特征量和音乐特征量之一。
由此，可决定生成视频时使用的最佳静止图像和音乐。
具体而言，在根据本发明的电影短片生成再现装置中，其特征在于，所述数据库单元还存储生成的视频的主题(thema)和表示该主题的特征的主题特征量，所述选择单元选择生成视频时所用的所述静止图像、所述音乐、所述风格和所述主题之一，所述特征量读出单元从所述数据库单元中读出由所述选择单元选择的所述静止图像、所述音乐、所述风格和所述主题之一的特征量。
由此，在将选择支扩大到静止图像、音乐、风格和主题这4个的同时，仅通过选择制作视频时使用的静止图像、音乐、风格和主题之一，就可制作剧本进一步制作视频。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述特征量变换单元将由所述特征量读出单元读出的主题特征量变换为图像特征量、音乐特征量及风格特征量。
由此，可决定生成视频时所用的最佳静止图像、音乐和风格。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述电影短片生成再现装置还具备取得静止图像的静止图像取得单元；及从由所述静止图像取得单元取得的静止图像中抽取图像特征量的图像特征量抽取单元。
由此，在防止制作图像特征量的麻烦的同时，可取得与静止图像配合的图像特征量。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述电影短片生成再现装置还具备从由所述静止图像取得单元取得的静止图像中抽取对象信息的对象信息抽取单元。
由此，可以容易地使用抽取的对象信息来选择构成视频的最佳静止图像。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述风格具有包含规定用哪种视觉效果来再现成为对象的不少于1个静止图像的预定数量的特效和属性的参数，所述剧本生成单元将作为所述特效的对象的静止图像的所述对象信息与所述特效相关联。
由此，通过根据静止图像的对象信息来决定确定特效动作的参数，可选择着眼于对象的静止图像，生成使娱乐性提高的电影短片并进行再现。
具体而言，在根据本发明的电影短片生成再现装置中，其特征在于，所述剧本生成单元具有：特效配置单元，从所述风格具备的一组特效中，逐个选择1个特效，并在时间轴上依次配置所选择的特效；静止图像分配单元，根据所述对象信息，向所述特效配置单元配置在时间轴上的每个特效，分配满足该特效要求的图像特征量的静止图像；及参数设定单元，通过记述表示对与所述特效配置单元配置在时间轴上的特效配合的对象的处理的参数来生成剧本，将生成的剧本登录在所述数据库单元中。
由此，通过根据静止图像的对象信息来决定确定特效动作的参数，避免断开对象的情况，生成着眼于对象的使娱乐性提高的电影短片并进行再现。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述特效要求的图像的特征量是对象的特征量。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述对象的特征是对象的种类、颜色、形状和数量至少之一。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述电影短片生成再现装置还具备特征点抽取单元，抽取表示对象中包含的特征部分的特征点，将抽取的特征点登录在所述对象信息中，所述参数设定单元通过记述表示对对象中包含的特征点位置的处理的参数来生成剧本。
由此，可生成着眼于对象特征点的使娱乐性提高的电影短片并进行再现。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述数据库单元还存储用于特定个人的脸的个人认证用脸信息，所述电影短片生成再现装置还具有脸认证单元，在所述对象信息抽取单元抽取的对象是人的脸的情况下，用所述个人认证用脸信息认证对象的姓名，将认证的对象的姓名登录在所述对象信息中，所述参数设定单元通过记述表示对由姓名特定的对象的处理的参数来生成剧本。
由此，通过认证对象姓名并使其反映到视觉效果上，可生成聚焦到特定对象上的电影短片并进行再现。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述电影短片生成再现装置还具有个人信息存储单元，存储将个人的姓名与该个人的属性相对应的个人信息；及个人信息检索单元，从所述个人信息中检索与脸认证单元认证的对象姓名对应的个人的属性，将检索到的个人的属性登录在所述对象信息中，所述参数设定单元通过记述表示对由个人属性特定的对象的处理的参数来生成剧本。
由此，可生成具有对由个人属性特定的对象进行处理的视觉效果的电影短片并进行再现。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述风格具有包含规定用哪种视觉效果来再现成为对象的不少于1个静止图像的预定数量的特效和属性的参数，所述剧本生成单元根据所述风格具有的所述属性和所述特效具有的属性来进行所述特效的排列。
由此，在由风格确定剧本的框架后，可细致确定其视觉效果。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述特效是仅由1个特效构成的基本特效和由多个基本特效的组成构成的特效块之一，所述剧本生成单元根据所述风格具有的所述属性和所述特效具有的属性，进行所述基本特效或所述特效块的排列。
由此，在由风格确定剧本的框架后，可细致确定其视觉效果。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述剧本生成单元向所述特效分配对应于该特效种类的静止图像。
由此，可对特效分配最佳的静止图像。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述电影短片生成再现装置还具备电影短片选择单元，用于选择再现的视频；及电影短片再现单元，从所述数据库单元中读出由所述电影短片选择单元选择的视频的剧本、以及所述剧本中所定义的所述静止图像和上述音乐，并根据所述剧本来再现所述视频。
由此，可从制作的电影短片中选择喜欢的电影短片来再现。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述电影短片生成再现装置还具备显示单元，用于显示由所述电影短片再现单元再现的所述视频。
另外，为了实现上述第2目的，在根据本发明的电影短片生成再现装置中，其特征在于，所述电影短片生成再现装置还具备操作单元，用于操作该装置和连接于该装置上的显示所述视频用的显示装置，所述电影短片再现单元在将再现所述视频的信号调制成RF信号后输出，而且按下在所述操作单元中设置的分配所述RF信号的规定频道按钮时，开始所述视频的再现。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，在每次按下所述频道按钮时，所述电影短片再现单元都将正进行再现的所述视频切换成其他视频。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述电影短片再现单元同时再现多个所述视频，并输出多个所述RF信号。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述电影短片生成再现装置还具备操作单元，用于操作该装置和连接于该装置上的显示所述视频用的显示装置，所述电影短片再现单元在将再现所述视频的信号调制成视频信号后输出，而且按下设置在所述操作单元中的分配所述视频信号的预定按钮时，开始所述视频的再现。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，在每次按下所述按钮时，所述电影短片再现单元都将正进行再现的所述视频切换成其他视频。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述电影短片生成再现装置是家庭服务器。
另外，一种电影短片生成再现装置，使用至少1个静止图像来生成视频并进行再现，其特征在于：具备操作单元，用于操作该装置和连接于该装置上的显示视频用的显示装置；及电影短片再现单元，在将再现视频的信号调制成RF信号后输出，而且按下设置在所述操作单元中的分配所述RF信号的预定按钮时，开始视频的再现。
另外，根据本发明的电影短片生成再现装置，使用至少1个静止图像来生成视频并进行再现，其特征在于：具备数据库单元，存储所述静止图像、表示所述静止图像的特征的图像特征量、音乐、表示所述音乐特征的音乐特征量、及规定用哪种视觉效果，来再现成为对象的不少于1个静止图像的特效；选择单元，用于选择在生成视频时使用的所述静止图像和所述音乐之一；特征量读出单元，从所述数据库单元中读出由所述选择单元选择的表示所述静止图像和所述音乐之一的特征的特征量；特征量变换单元，将由所述特征量读出单元读出的所述特征量变换为其他特征量；决定单元，根据由所述特征量变换单元变换的所述其他特征量，分别决定生成视频时使用的所述静止图像和所述音乐内、未由所述选择单元选择的所述静止图像和所述音乐；风格生成单元，根据由所述选择单元选择的所述静止图像和所述音乐之一以及由所述决定单元决定的所述静止图像和所述音乐，来决定生成视频时所用的预定数量的所述特效和参数，生成表示生成视频整体图像的风格；及剧本生成单元，根据由所述选择单元选择的所述静止图像和所述音乐之一、由所述决定单元决定的所述静止图像和所述音乐、及由所述风格生成单元生成的所述风格，来生成视频的剧本。
由此，因为仅通过选择形成视频时使用的静止图像和音乐之一就可形成剧本进而形成视频，所以当用户形成视频时，不必象以前那样选择全部静止图像、音乐和风格。并且，可决定生成视频时使用的最佳风格。
另外，在根据本发明的电影短片生成再现装置中，使用至少1个静止图像来生成视频并进行再现，其特征在于，具备：取得静止图像的静止图像取得单元；存储所述静止图像的数据库单元；及对象信息抽取单元，从由所述静止图像取得单元取得的静止图像中抽取该静止图像中包含的对象，将包含抽取的对象位置的对象信息登录在所述数据库单元中。
另外，为了实现上述第3目的，根据本发明的电影短片生成再现装置，使用至少1个静止图像来生成视频并进行再现，其特征在于：具备输入单元，输入从外部输入的静止图像；数据库单元，存储所述静止图像、具有对用哪种视觉效果来再现成为对象的不少于的1个静止图像进行规定的预定数量的特效和参数的风格、及用于生成的视频的音乐；及剧本生成单元，根据预先决定的风格和音乐的特征，生成视频的剧本；所述输入单元具有对象信息抽取单元，在每次从外部输入静止图像时，抽取该静止图像中包含的对象，将包含抽取的对象位置的对象信息登录在所述数据库单元中；所述剧本生成单元具有特效配置单元，从存储在所述数据库单元中的一组特效中，逐个选择1个特效，并在时间轴上依次配置所选择的特效；静止图像分配单元，根据登录在所述数据库单元中的对象信息，向所述特效配置单元配置在时间轴上的每个特效，分配满足该特效要求的图像特征量的静止图像；及参数设定单元，通过记述表示对与所述特效配置单元配置在时间轴上的特效配合的对象的处理的参数来生成剧本，将生成的剧本登录在所述数据库单元中。
由此，通过根据静止图像的对象信息来决定确定特效动作的参数，避免断开对象的情况，生成着眼于对象的使娱乐性提高的电影短片并进行再现。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述特效要求的图像的特征量是对象的特征量。
由此，可以容易地根据静止图像的对象信息来决定确定特效动作的参数。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述对象的特征是对象的种类、颜色、形状和数量至少之一。
由此，可容易根据静止图像的对象信息、即对象的种类、颜色、形状和数量至少之一来决定确定特效的动作的参数。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述输入单元还具备特征点抽取单元，抽取表示对象中包含的特征部分的特征点，将抽取的特征点登录在所述对象信息中，所述参数设定单元通过记述表示对对象中包含的特征点位置的处理的参数来生成剧本。
由此，可生成着眼于对象特征点的使娱乐性提高的电影短片并进行再现。
另外，为了实现上述第4目的，在根据本发明的电影短片生成再现装置中，其特征在于，所述数据库单元还存储用于特定个人的脸的个人认证用脸信息，所述输入单元还具有脸认证单元，在所述对象信息抽取单元抽取的对象是人的脸的情况下，用所述个人认证用脸信息认证对象的姓名，将认证的对象的姓名登录在所述对象信息中，所述参数设定单元通过记述表示对由姓名特定的对象的处理的参数来生成剧本。
由此，通过认证对象姓名并使其反映到视觉效果上，可生成聚焦到特定对象上的电影短片并进行再现。
另外，在根据本发明的电影短片生成再现装置中，其特征在于，所述电影短片生成再现装置还具有个人信息存储单元，存储将个人的姓名与该个人的属性相对应的个人信息，所述输入单元还具有个人信息检索单元，从所述个人信息中检索与脸认证单元认证的对象姓名对应的个人的属性，将检索到的个人的属性登录在所述对象信息中，所述参数设定单元通过记述表示对由个人属性特定的对象的处理的参数来生成剧本。
由此，可生成具有对由个人属性特定的对象进行处理的视觉效果的电影短片并进行再现。
并且，根据本发明的电影短片生成再现系统具备使用至少1个静止图像来生成视频并进行再现的电影短片生成再现装置、及经网络与所述电影短片生成再现装置连接的电影短片再现装置，其特征在于：所述电影短片生成再现装置具备：数据库单元，存储所述静止图像、所述静止图像的图像特征量、表示所生成视频的整体图像的风格、所述风格的风格特征量、音乐和所述音乐的音乐特征量；选择单元，用于选择在生成视频时使用的所述静止图像、所述音乐及所述风格中的任意一个；特征量读出单元，从所述数据库单元中读出由所述选择单元选择的所述静止图像、所述音乐及所述风格中的任意一个对应的特征量；特征量变换单元，将由所述特征量读出单元读出的所述特征量变换为其他特征量；决定单元，根据由所述特征量变换单元变换的所述其他特征量，分别决定生成视频时使用的所述静止图像、所述音乐及所述风格内、未由所述选择单元选择的所述静止图像、所述音乐及所述风格；剧本生成单元，根据由所述选择单元选择的所述静止图像、所述音乐及所述风格中的任意一个以及由所述决定单元决定的所述静止图像、所述音乐及所述风格，生成视频的剧本；及通信单元，从所述数据库单元中读出由所述电影短片再现装置选择的视频的剧本、以及所述剧本中所定义的所述静止图像和所述音乐，经所述网络发送到所述电影短片再现装置，所述电影短片再现装置具备：电影短片选择单元，用于选择再现的视频；通信单元，经所述网络与所述电影短片生成再现装置进行通信；存储单元，暂时保持由所述电影短片生成再现装置接收到的视频的剧本、以及所述剧本中所定义的所述静止图像和所述音乐；电影短片再现单元，从所述存储单元中读出由所述电影短片选择单元选择的视频的剧本、以及所述剧本中所定义的所述静止图像和所述音乐，根据所述剧本来再现所述视频；及显示单元，用于显示由所述电影短片再现单元再现的所述视频。
由此，因为用户可仅轻便地携带电影短片再现装置，所以可在外出目的地等处再现视频。
另外，本发明不仅可实现为这种电影短片生成再现装置，也可实现为将这种电影短片生成再现装置具备的特征单元步骤化的电影短片生成再现方法，或实现为使这些步骤在计算机中执行的程序。另外，不用说，这些程序可经CD-ROM等记录媒体或因特网等传输媒体进行发送。
发明效果
从上述说明可知，根据本发明的电影短片生成再现装置，通过选择为了生成电影短片所必需的3个素材(静止图像、音乐、风格)或主题内之一，决定适于该特征量的剩余素材，生成电影短片，所以用户节约了在庞大的数据库中进行检索所花费的时间，可实现能非常简单且愉快地生成电影短片的效果。
另外，因为从静止图像中抽取对象信息并制作反映该对象信息的电影短片，所以可提供进一步提高娱乐性的视觉效果。
由此，通过利用所谓静止图像、音乐、风格等电影短片的素材特征量，可更简单、舒适、轻便地生成电影短片，另外通过抽取静止图像内的对象信息，可更有效地生成剧本，在这方面实用价值极高。
并且，用户仅通过按下预定按钮，就可再现电影短片，所以节省了用户的操作待续，可简单地视听电影短片。
另外，因为可根据静止图像的对象信息来决定确定特效的动作的参数，所以避免了断开对象的情况，可生成着眼于对象的使娱乐性提高的电影短片并进行再现。
另外，根据本发明的电影短片生成再现装置，因为通过记述表示对对象中包含的特征点位置的处理的参数来生成剧本，所以可生成着眼于对象特征点的使娱乐性提高的电影短片并进行再现。
另外，根据本发明的电影短片生成再现装置，因为通过记述表示对由姓名特定的对象的处理的参数来生成剧本，所以通过识别对象的姓名并使其反映到视觉效果上，可生成聚焦到特定对象上的电影短片并进行再现。
并且，根据本发明的电影短片生成再现装置，因为通过记述表示对由个人属性特定的对象的处理的参数来生成剧本，所以可生成具有对由个人属性特定的对象进行处理的视觉效果的电影短片并进行再现。
由此，通过本发明，可进行着眼于静止图像的对象的各种图像处理，可生成娱乐性高的电影短片并进行再现，在数码相机普及的今天，本申请发明的实用价值极高。
附图说明
图1是表示根据本发明的电影短片生成再现装置一实施方式的构成框图。
图2是表示上述电影短片生成再现装置中的风格与剧本的关系的概念图。
图3是用连续性图(continuity)来示意地表示使用上述电影短片生成再现装置的特效的一例的图。
图4是表示上述电影短片生成再现装置的输入部中输入静止图像时的算法的流程图。
图5是表示由上述电影短片生成再现装置的电影短片生成部生成剧本时的算法的流程图。
图6是表示上述电影短片生成部决定特效排列的算法的流程图。
图7是表示上述电影短片生成部进行时间调整前后的相对音乐时间的特效的排列状态的概念图。
图8是表示根据本发明的电影短片生成再现装置的其他实施方式的构成框图。
图9是表示上述电影短片生成再现装置的电影短片生成部生成剧本时的算法的流程图。
图10是表示根据本发明的电影短片生成再现装置的其他实施方式的构成框图。
图11是表示上述电影短片生成再现装置的电影短片生成部生成剧本时的算法的流程图。
图12是表示根据本发明的电影短片生成再现装置的其他实施方式的构成框图。
图13是表示上述电影短片生成再现装置的电影短片生成部生成剧本时的算法的流程图。
图14是表示上述电影短片生成再现装置的剧本生成部在由对象信息来生成视觉效果时的算法的流程图。
图15是表示上述电影短片生成再现装置的剧本生成部对排列在时间轴上的静止图像的特效的分配的概念图。
图16是表示上述电影短片生成再现装置的剧本生成部对静止图像分配特效的算法的流程图。
图17是表示根据本发明实施方式7的电影短片生成再现装置的构成功能框图。
图18是表示登录在数据库中的对象信息的构成例的图。
图19是表示特效表格的构成例的图。
图20是表示输入部输入静止图像时的算法的流程图。
图21是表示剧本生成部的生成各部执行的剧本之前的算法的流程图。
图22是说明参数设定部决定特效的变量和参数的算法的流程图。
图23是表示滑出的纵、横、斜、4角的4个变化的图。
图24是说明使原始坐标系(x-o-y)旋转θ°(0°＜θ＜90°)的旋转坐标系：s-o-t坐标系的图。
图25是表示登录在数据库中的剧本的构成例的图。
图26是表示根据本发明实施方式8的电影短片生成再现装置的功能构成框图。
图27是表示剪接(蒙太奇)的一例的连续性图。
图28是表示特效表格的构成例的图。
图29是表示生成实现蒙太奇风格的特效的对象信息的算法的流程图。
图30是表示对象信息的构成例的图。
图31是表示剧本生成部生成各部执行的剧本之前的算法的流程图。
图32是表示登录在数据库中的剧本的构成例的图。
图33是表示剪接的变形例的连续性图。
图34是表示根据本发明实施方式9的电影短片生成再现装置的功能构成的框图。
图35是表示聚焦到特定人上的特效(聚光)的一例的连续性图。
图36是表示特效表格的构成例的图。
图37是表示生成实现向1人聚光等特效的对象信息的算法的流程图。
图38是表示对象信息的构成例的图。
图39是表示剧本生成部生成各部执行的剧本之前的算法的流程图。
图40是表示登录在数据库中的剧本的构成例的图。
图41是表示根据本发明实施方式10的电影短片生成再现装置的功能构成框图。
图42是表示地址簿的构成例的图。
图43是表示使用性别(男-女)的特效的一例的连续性图。
图44是表示使用性别(男-男)的特效的一例的连续性图。
图45是表示特效表格的构成例的图。
图46是表示生成实现通过性别组合来改变显示字符的特效的对象信息的算法的流程图。
图47是表示存储在数据库中的对象信息的构成例的图。
图48是表示剧本生成部生成各部执行的剧本之前的算法的流程图。
图49是表示特效块的集合和特效块的选择的状态的图。
图50是表示对选择出的特效块生成参数和所生成的参数值的设定状态的图。
图51是表示根据本发明实施方式11的电影短片生成再现装置的功能构成框图。
图52是表示电影短片生成再现装置的各部执行的电影短片生成处理的流程图。
图53是表示根据本发明的电影短片生成再现系统的一实施方式的构成框图。
图54是表示根据本发明的电影短片生成再现装置的其他实施方式的构成框图。
图55是显示部上的主题选择画面的显示图像图。
图56是显示部上的用户选择画面的显示图像图。
图57是表示根据本发明的电影短片生成再现装置的其他实施方式的构成框图。
图58是表示根据本发明的电影短片生成再现装置的其他实施方式的构成框图。
具体实施方式
下面，参照附图来说明根据本发明的实施方式。
(实施方式1)
图1是表示根据本发明实施方式1的电影短片生成再现装置的构成的功能框图。
电影短片生成再现装置1001a是使用所输入的不少于1个(不少于1个)的静止图像来生成短篇的视频(电影短片)并进行再现的装置，如图1所示，具备输入部1101、数据库部1102、再现部1103、内部总线1104和电影短片生成部1105a。另外，在再现部1103上连接显示装置1002。显示装置1002是LCD或阴极射线管等用于显示视频的设备，显示所再现的电影短片。
静止图像包含图像数据和表示其属性的元数据(metadata)，大部分元数据是生成静止图像的例如由数码照相机等设备生成的数据。作为该元数据的代表数据，有拍摄日期、拍摄场所(基于GPS的位置信息)、拍摄条件(快门速度、焦距、曝光时间等)等(下面将其统称为[含义信息])，将这些数据作为EXIF，由JEIDA(日本电子工业振兴协会)来制定标准。
输入部1101从记录静止图像的媒体输入静止图像，具备静止图像输入部1106、图像特征量抽取部1107和图像内对象抽取部1108。
数据库部1102至少包含1个数据记录装置，存储静止图像、音乐和预先设定的不少于1个的风格，具有检索数据库1109内的数据的功能。
静止图像输入部1106将记录在媒体中的静止图像读出到该电影短片生成再现装置1001a内的存储器(未图示)中，而且记录在数据库1109中。媒体例如是致密快闪(compact flash)(R)存储卡、SD存储卡(R)等半导体存储器媒体、CD-R/ROM/RW、DVD-R/RAM/RW等光盘媒体、磁带、软盘等磁性媒体、MO等磁光盘等。
图像特征量抽取部1107从读出的图像数据中抽取图像特征量。这里，所谓图像特征量是表示颜色配合、颜色宽度、颜色位置、亮度、亮度位置等的指标，为了抽取这些特征量，计算颜色直方图、频率直方图等。
图像内对象抽取部1108从输入的图像数据中抽取例如人物等对象，生成对象信息。这里，对象信息包含由与抽取的对象相接的圆的中心坐标和半径大小表示的位置信息、及对象的种类。对象的种类包括是否是人的脸。此时，可持有识别个人的信息来作为对象的种类。另外，对象的位置信息不依赖于用圆的中心和半径表现的方法，例如也可用四边形的一个对角线的起点和终点坐标来表示。
上述电影短片生成部1105a具备图像选择部1113、图像特征量读出部1114、图像-风格特征量变换部1115、图像-音乐特征量变换部1118、风格决定部1116、音乐决定部1119和剧本生成部1117。
图像选择部1113向用户提供用于选择静止图像的GUI(图形用户界面：graphical user interface)。图像特征量读出部1114从数据库1109中读出用户使用图像选择部1113选择出的静止图像的特征量。图像-风格特征量变换部1115将由图像特征量读出部1114读出的图像特征量变换为风格特征量。风格决定部1116根据风格特征量来检索记录在数据库1109中的风格，决定最佳的风格。另一方面，图像-音乐特征量变换部1118将由图像特征量读出部1114读出的图像特征量变换为音乐特征量。音乐决定部1119根据音乐特征量来检索记录在数据库1109中的音乐，决定最佳的音乐。另外，剧本生成部1117使用用户选择的静止图像、由风格决定部1116决定的风格和由音乐决定部1119决定的音乐来生成剧本。
图2是表示风格与剧本的关系的概念图。
风格的构成包含对所生成的电影短片整体中共同的项目或属性进行记述的“标题”、及根据1个概念所聚集的任意个“特效的集合”。该特效规定使用哪个视觉效果来再现成为对象的不少于1个的静止图像，记述提供实际的视觉效果的函数及其属性。此时，在风格所具有的“特效的集合”内，特效间的时间轴的序列或对成为对象的静止图像的指针不确定。属性例如有速度属性(例如“慢”，“标准”，“快”)、排列属性(例如“序幕”，“主体”，“尾声”，“任意”)等。在决定后述的剧本中的特效排列顺序时参照这些属性。
标题包含姓名、色调、共同效果、剧本构成、节奏、风格的特征量等。其中，色调、共同效果是电影短片整体中共同的设定项目。
剧本构成是涉及特效排列的属性，例如，在剧本构成是<“序幕”-“主体”-“尾声”>的情况下，根据特效持有的排列属性，按1)序幕、2)正题、3)尾声的顺序分别排列剧本。节奏表示在排列特效时，排列具有速度属性“快”和“慢”的特效的比率。例如，若节奏是<2-1>，则在排列两个具有“快”属性的特效后，必需排列具有“慢”速度属性的特效。风格的特征量分别用5阶段的等级来表示[激烈]、[跳动感]、[爽快感]、[朴素]、[柔和]等5个关键字。
图3是用连续性图来示意地表示特效一例的图。
在该特效中，如图3(a)～图3(e)所示，对拍摄人物的1个图像搜索聚光为对象的脸。接着，如图3(f)所示，搜索脸以使聚光与脸配合。并且，如图3(g)所示，仅切下聚光的部分，删除其他部分。最后，如图3(h)所示，推拍(zoom in)至聚光部分，扩大到画面最大限度来显示。
剧本如图2所示，与音乐的时间长度配合，从“特效的集合”中获得特效来决定排列，并决定各特效中使用的静止图像。
上述再现部1103具备电影短片选择部1110和电影短片再现部1112。
电影短片选择部1110向用户提供GUI，用于选择设为要再现的电影短片。电影短片再现部1112从数据库1109中读出所选择的电影短片的剧本以及其所定义的静止图像和音乐，对剧本进行解码后，再现电影短片，输出至显示装置1002。
下面，说明通过上述构成的电影短片生成再现装置1001a输入静止图像时的动作。
图4是表示输入部1101输入静止图像时的算法的流程图。
静止图像输入部1106将记录在媒体中的静止图像读出到该电影短片生成再现装置1001a内的存储器(S1101)中。接着，图像特征量抽取部1107抽取所读出的图像数据的图像特征量(S1102)。并且，图像内对象抽取部1108抽取静止图像中的对象，生成对象信息(S1103)。
最后，将由图像特征量抽取部1107抽取出的图像特征量与由图像内对象抽取部1108生成的对象信息，追加到静止图像具有的元数据中，与静止图像数据一起登录在数据库1109中(S1104)。另外，图像数据的保存形式既可以是以JPEG形式为代表的压缩形式，也可以是非压缩形式。
下面，说明由电影短片生成再现装置1001a生成电影短片的剧本时的动作。
图5是表示电影短片生成部1105生成剧本时的算法的流程图。
首先，图像选择部1113从用户处接收成为所制作的电影短片对象、即静止图像(不少于1个)的选择范围的决定(S1201)。电影短片使用的静止图像在该范围内的静止图像成为对象。图像特征量读出部1114从数据库1109中读出所选择的静止图像(组)的图像特征量和含义信息(S1202)。
另外，图像特征量读出部1114根据所读出的图像特征量的颜色直方图，求出各个静止图像中占最多数量的颜色。合计该颜色的数量，决定成为最多数量的颜色，作为静止图像(组)的代表色(S1203)。
接着，图像-音乐特征量变换部1118将由图像特征量读出部1114决定的代表色变换为音乐感性形象(image)(S1204)。表1是表示对颜色的颜色感性形象和音乐感性形象的对应的一例的对应表。这里，根据对各颜色的颜色感性形象来预先决定音乐感性形象，如果决定了代表颜色，则决定音乐感性形象。另外，音乐感性形象与风格特征量一样，分别用5阶段的等级来表示[激烈]、[跳动感]、[爽快感]、[朴素]、[柔和]等5个关键字。
【表1】
  颜色           颜色感性形象       音乐感性形象
红 生命力、精力、热情、兴奋、喜欢、健康、华丽、豪华、危险、妒嫉、贪欲、争论、革命、压力、压迫感、欲望不满足、愤怒、激情、攻击、冲动、神经过敏、疯狂 激烈(5)、跳动感(5)、爽快感(1)、朴素(1)、柔和(1)
橙 温暖、快活、明快、开放、快乐、明朗、愉快 激烈(2)、跳动感(3)、爽快感(2)、朴素(1)、柔和(1)
白 胜利、清凉、好感、纯洁、清洁、善良、真实、冰冷、警戒心、失败感、孤独 激烈(1)、跳动感(1)、爽快感(3)、朴素(5)、柔和(5)
黑 失败、恶魔、不利、不吉、恐怖、压抑、自卑感、绝望 激烈(1)、跳动感(1)、爽快感(1)、朴素(1)、柔和(1)
粉 浪漫、童话、明快、幸福感、优秀、可爱、柔和、甜蜜 激烈(1)、跳动感(2)、爽快感(1)、朴素(3)、柔和(4)
黄 活泼、希望、幸福、明快、轻快、愉快、明朗、好奇心、知识、智慧、探索、创造性、开放感、注意、警告、危险、轻率、不安 激烈(3)、跳动感(4)、爽快感(4)、朴素(1)、柔和(2)
绿 沉着、舒适、安全、平和、安息、平等、永久、公平、安慰、亲爱、悠闲、新鲜、自然、健康、清爽、营养、丰富、青春、成长、不成熟、黄口小儿 激烈(2)、跳动感(2)、爽快感(3)、朴素(5)、柔和(3)
蓝 理智、理性、精神、静寂、冷静、平和、清洁、典雅、威严、自制心、自律、成功、安全、信赖、冥想、诚意、保守、冰冷、凉快、清爽、坚强、广大、无限、孤独、悲伤、冷淡、失望、忧郁、寂寞、不安、不成熟、消极、内向、服从、冷酷 激烈(2)、跳动感(2)、爽快感(5)、朴素(2)、柔和(2)
紫 高尚、神秘、神圣、权威、艺术、想像力、尊严、不安、孤独、情绪不稳定、自满 激烈(3)、跳动感(2)、爽快感(2)、朴素(3)、柔和(2)
接着，图像-音乐特征量变换部1118通过预先设定的预定方法，将音乐感性形象变换为音乐特征量(S1205)。表2是表示音乐特征量一例的表。在本实施方式1中，作为音乐特征量，有[拍子]、[拍白色性]、[基本拍]、[拍强度1]、[拍强度2]、[拍强度比]、[平均音节数]、[频谱变化率]等8个。
【表2】
  音乐特征量 概要
  拍子(tempo) 表示乐曲速度
拍白色性 表示有助于形成拍(beat)的音与无助于形成拍的音的出现频度的比率、节奏的起伏
  基本拍 构成乐曲的基本节奏的拍、8拍、16拍等
  拍强度1 相当于1/2拍的拍(大概8分音符)的等级指标
  拍强度2 相当于1/4拍的拍(大概16分音符)的等级指标
  拍强度比 拍强度1与拍强度2的比率
  平均音节数 所发出的音的上升的频度
  频谱变化率 频率特性的时间变化程度
接着，音乐决定部1119从由图像特征量读出部1114读出的含义信息中的拍摄日期时刻取得拍摄季节，从拍摄位置中取得大的拍摄场所。这里，所谓大的拍摄场所例如是海附近、山中、街中、地方/市内、日本/国外等信息。另外，音乐决定部1119将音乐特征量作为关键，检索数据库1109，考虑从集中的音乐中取得的拍摄季节、拍摄场所，决定一个音乐(S1206)。例如，若是在7月的海附近拍摄的静止图像，则从以音乐特征量集中的音乐中选择拍子变强(uptempo)的乐曲。
另一方面，图像-风格特征量变换部1115将由图像特征量读出部1114决定的代表颜色变换为风格特征量(S1207)。表3是表示对颜色的颜色感性形象和风格特征量的对应一例的对应表。这里，风格特征量与音乐感性形象一样，根据对各颜色的颜色感性形象来预先设定，若决定了代表颜色，则决定风格特征量。
【表3】
  颜色             颜色感性形象            风格特征量
红 生命力、精力、热情、兴奋、喜欢、健康、华丽、豪华、危险、妒嫉、贪欲、争论、革命、压力、压迫感、欲望不满足、愤怒、激情、攻击、冲动、神经过敏、疯狂     段落(ク-ル)(现代…怀旧)3跳动感(动态…静止)5速度感(快…慢)4动作(线性…圆形)4
橙 温暖、快活、明快、开放、快乐、明朗、愉快     段落(现代…怀旧)3跳动感(动态…静止)4速度感(快…慢)2动作(线性…圆形)3
白 胜利、清凉、好感、纯洁、清洁、善良、真实、冰冷、警戒心、失败感、孤独     段落(现代…怀旧)4跳动感(动态…静止)2速度感(快…慢)2动作(线性…圆形)4
黑 失败、恶魔、不利、不吉、恐怖、压抑、自卑感、绝望     段落(现代…怀旧)3跳动感(动态…静止)3速度感(快…慢)1动作(线性…圆形)3
粉 浪漫、童话、明快、幸福感、优秀、可爱、柔和、甜蜜     段落(现代…怀旧)3跳动感(动态…静止)2速度感(快…慢)1动作(线性…圆形)1
黄 活泼、希望、幸福、明快、轻快、愉快、明朗、好奇心、知识、智慧、探索、创造性、开放感、注意、警告、轻率、不安     段落(现代…怀旧)5跳动感(动态…静止)5速度感(快…慢)5动作(线性…圆形)5
绿 沉着、舒适、安全、平和、安息、平等、永久、公平、安慰、亲爱、悠闲、新鲜、自然、健康、清爽、营养、丰富、青春、成长、不成熟、黄口小儿     段落(现代…怀旧)3跳动感(动态…静止)1速度感(快…慢)1动作(线性…圆形)1
蓝 理智、理性、精神、静寂、冷静、平和、清洁、典雅、威严、自制心、自律、成功、安全、信赖、冥想、诚意、保守、冰冷、凉快、清爽、坚强、广大、无限、孤独、悲伤、冷淡、失望、忧郁、寂寞、不安、不成熟、消极、内向、服从、冷酷     段落(现代…怀旧)5跳动感(动态…静止)3速度感(快…慢)1动作(线性…圆形)5
紫 高尚、神秘、神圣、权威、艺术、想像力、尊严、不安、孤独、情绪不稳定、自满     段落(现代…怀旧)5跳动感(动态…静止)3速度感(快…慢)3动作(线性…圆形)3
接着，风格决定部1116将风格特征量和含义信息作为关键，检索数据库1109，并决定风格(S1208)。
剧本生成部1117使用上述决定的静止图像、音乐和风格，生成剧本(S1209)。
下面，详细说明该剧本生成部1117所进行的剧本的生成。
图6是表示决定特效排列的算法的流程图。
首先，剧本生成部1117读出由音乐决定部1119决定的构成BGM的音乐，得到其时间长度(S1301)。接着，剧本生成部1117读出由风格决定部1116决定的风格，得到作为其属性的剧本构成和节奏(S1302)。
若取得剧本的构成和节奏，则重复进行以下处理，直到超过音乐的时间长度的95％(S1303)。另外，在本实施方式1中，进行特效的排列，直到超过音乐的时间长度的95％，但也可变更这个95％的数值。
剧本生成部1117根据剧本的构成和排列履历，决定接着应排列的特效的排列属性(S1304)。例如，在剧本构成为<“序幕”-“主体”-“尾声”>的情况下，配置在从音乐开头开始0-30％以内的特效是具有“序幕”或“任意”排列属性的特效。另外，配置在从音乐开头开始30-80％以内的特效是具有“主体”或“任意”的排列属性的特效。配置在从音乐开头开始80-100％以内的特效是具有“尾声”或“任意”的排列属性的特效。
另外，剧本生成部1117根据排列属性，获得已排列的特效的速度属性的比率“慢”∶“快”。根据该比率和节奏所表示的比率，决定接着应排列的特效的速度属性(S1304)。例如，在节奏为<3-1>的情况下，决定选择时的加权，以使特效的速度属性的比率“慢”∶“快”为3比1，具有“慢”速度属性的特效不连续4次以上。
接着，剧本生成部1117通过该决定的排列属性和速度属性的“与”逻辑，从风格具有的“特效的集合”中决定应排列的特效(S1305)。之后，剧本生成部1117将决定的特效追加在剧本的特效排列的最末尾，更新排列履历(S1306)。
在决定特效的排列属性和速度属性的处理和决定应排列的特效的处理中，如果进行特效的排列直到超过音乐的时间长度的95％(S1307)，则剧本生成部1117读出风格的速度属性，并决定进行时间调整的对象的特效(S1308)。例如，在风格的动作属性为“慢”的情况下，所排列的全部特效是扩展执行时间的对象。在风格的动作属性为“标准”的情况下，特效的速度属性为“慢”或“标准”的特效是对象。在风格的动作属性为“快”的情况下，特效的速度属性为“慢”的特效是对象。
图7是表示进行时间调整前后的特效的排列相对音乐时间的状态的概念图，是风格的速度属性为“快”时的例子。
剧本生成部1117对被决定为时间调整对象的特效的执行时间进行扩展，以特效排列的总执行时间与音乐相同的方式进行调整(S1309)。由此，可配合音乐的时间长度来配置特效。
接着，剧本生成部1117在数据库1109中检索并决定具有各特效中所定义的图像特征量的静止图像。剧本生成部1117通过如此决定各特效和静止图像的链接，将静止图像、音乐、风格的关系作为剧本记述。
如上所述，剧本生成部1117生成剧本(图5中步骤S1209)。最后，剧本生成部1117将生成的剧本保存在数据库1109中(S1210)。
下面，说明对上述所生成的电影短片进行再现时的动作。
再现部1103的电影短片选择部1110取得登录在数据库部1102中的电影短片的列表，并显示给用户。当用户选择想观看的电影短片时，电影短片选择部1110指示读出该选择的电影短片的剧本及其所定义的音乐和静止图像。电影短片再现部1112对从数据库1109中读出的剧本进行解码，使用读出的音乐和静止图像来再现电影短片，并输出到显示装置1002。
如上所述，根据从用户选择的静止图像中抽取的图像特征量，决定适于静止图像的作为BGM的音乐和适于静止图像的风格，制作电影短片，所以当用户制作电影短片时，可避免从庞大的音乐中选择最佳的音乐，或从多个风格中选择最佳的风格等麻烦。另外，仅通过选择静止图像就可制作与静止图像配合的电影短片，用户可构筑快捷的制作环境。
另外，如上所述通过排列特效，可感到形成的电影短片有故事性。例如，在使用家庭旅行的静止图像来制作电影短片的情况下，在序幕中使用多个静止图像，准备可概括整体的特效。本申请中，配置慢慢观看各静止图像的特效，并在尾声中配置可生成家庭集体相片的特效。由此，使电影短片具有抑扬、使观看的用户感到故事性。
另外，因为可考虑慢的特效与快拍子(up tempo)的特效的平衡来排列特效，所以可制作不会使用户厌烦的电影短片。
另外，在本实施方式1中，在静止图像具有的图像特征量内，仅着眼于颜色直方图，将静止图像的代表色的颜色感性形象作为基准，变换为音乐特征量、风格特征量。不限于颜色直方图，也可以着眼于空间频率、对象数量等其他特征量，变换为音乐特征量、风格特征量。另外，也可以通过组合这些方法来变换为音乐特征量、风格特征量的方法。并且，不限于合计的方法，也可以采用抽取特征的静止图像并决定音乐特征量和风格特征量来作为选择该特征静止图像的静止图像组的代表图像的方法。
另外，在本实施方式1中，根据风格属性的剧本构成和节奏来决定特效的排列，但不限于此。例如，也可以根据音乐特征量的拍子，在慢部分中，选择动作慢来一个一个慢慢观看静止图像的特效，相反在快节奏的部分中，选择使用多个静止图像有跳动感的特效。
(实施方式2)
下面，说明用户通过选择音乐来生成与该音乐的图像配合的电影短片的情况。
图8是表示根据本发明实施方式2的电影短片生成再现装置的其他构成框图。另外，向与实施方式1的电影短片生成再现装置1001a对应的部分附加相同序号，并省略说明。
在图8所示电影短片生成再现装置1001b中，电影短片生成部1105b的构成与根据图像生成与该图像的图像配合的电影短片的电影短片生成部1105a不同，其他一样。
电影短片生成部1105b是通过用户选择音乐来生成与该音乐的图像配合的电影短片的装置，除上述风格决定部1116和剧本生成部1117外，还具备音乐选择部1120、音乐特征量读出部1121、音乐-图像特征量变换部1122、音乐-风格特征量变换部1124和图像决定部1123。
音乐选择部1120向用户提供用于选择音乐的GUI。音乐特征量读出部1121从数据库1109中读出用户选择的音乐的特征量。音乐-图像特征量变换部1122将由音乐特征量读出部1121读出的音乐特征量变换为图像特征量。图像决定部1123根据图像特征量，检索记录在数据库1109中的静止图像，决定最佳的静止图像。另一方面，音乐-风格特征量变换部1124将由音乐特征量读出部1121读出的音乐特征量变换为风格特征量。风格决定部1116根据风格特征量来检索记录在数据库1109中的风格，决定最佳的风格。另外，剧本生成部1117使用用户选择的音乐、由图像决定部1123决定的静止图像和由风格决定部1116决定的风格来生成剧本。
下面，说明上述构成的电影短片生成部1105b生成电影短片的剧本时的动作。
图9是表示电影短片生成部1105b生成剧本时的算法的流程图。
首先，用户通过音乐选择部1120选择所制作的电影短片的想作为BGM的乐曲(音乐1)(S1401)。音乐特征量读出部1121从数据库1109中读出所选择的音乐1的音乐特征量(S1402)。另外，在本实施方式2中，采用从数据库1109中读出音乐特征量的形式，也可以使音乐特征量读出部1121具有抽取音乐特征量的功能、直接从选择的音乐中抽取音乐特征量。接着，音乐特征量读出部1121将读出的音乐特征量变换为音乐感性形象(S1403)。
音乐-风格特征量变换部1124将变换后的音乐感性形象原样设为风格特征量(S1404)。这是因为在本实施方式2中，音乐感性形象和风格特征量同时分别用5阶段的等级来表示[激烈]、[跳动感]、[爽快感]、[朴素]、[柔和]等5个关键字。另外，风格决定部1116将风格特征量(＝音乐感性形象)作为关键，检索数据库1109，并决定风格(S1405)。
另一方面，音乐-图像特征量变换部1122将变换后的音乐感性形象变换为图像特征量(S1406)。之后，图像决定部1123将图像特征量作为关键，检索记录在数据库1109中的静止图像，并决定预定数量的静止图像(S1407)。
剧本生成部1117使用如上所述决定的静止图像、音乐和风格，与上述实施方式1一样，生成剧本(S1408)。最后，剧本生成部1117将生成的剧本保存在数据库1109中(S1409)。
如上所述，根据用户选择的音乐的音乐特征量，决定最适于音乐的风格和最适于音乐的静止图像，制作电影短片，所以当用户制作电影短片时，可避免从庞大的图像数据库中选择最佳的静止图像，或从多个风格中选择最佳的风格等麻烦。另外，仅通过选择构成BGM的音乐就可制作与该音乐配合的电影短片，用户可构筑快捷的制作环境。这样仅通过选择音乐来制作电影短片，所以在生成例如卡拉OK的BGV的情况等下是有效的。
另外，在本实施方式2中，图像决定部1123将图像特征量作为关键，检索记录在数据库1109中的静止图像，但不限于此。例如，也可使记录在数据库1109中的音乐具有含义信息，通过该含义信息和图像特征量来检索记录在数据库1109中的静止图像。此时，例如若音乐的含义信息包含所谓[夏]等季节感，则可将拍摄日期限定在7月到9月来进行检索。
(实施方式3)
下面，说明用户通过选择风格来生成按照该风格的图像的电影短片的情况。
图10是表示根据本发明实施方式3的电影短片生成再现装置的其他构成框图。另外，向与实施方式1、2的电影短片生成再现装置1001a、1001b对应的部分附加相同序号，并省略说明。
在图10所示电影短片生成再现装置1001c中，电影短片生成部1105c的构成与上述实施方式1、2中所示的电影短片生成部1105a、1005b不同，其他一样。
电影短片生成部1105c是通过用户选择风格来生成按照该风格的图像的电影短片的装置，除上述图像决定部1123、音乐决定部1119和剧本生成部1117外，还具备风格选择部1125、风格特征量读出部1126、风格-图像特征量变换部1127和风格-音乐特征量变换部1128。
风格选择部1125向用户提供用于选择风格的GUI。风格特征量读出部1126从数据库1109中读出用户选择的风格的特征量。风格-图像特征量变换部1127将由风格特征量读出部1126读出的风格特征量变换为图像特征量。图像决定部1123根据图像特征量，检索记录在数据库1109中的静止图像，决定最佳的静止图像。另一方面，风格-音乐特征量变换部1128将由风格特征量读出部1126读出的风格特征量变换为音乐特征量。音乐决定部1119根据音乐特征量来检索记录在数据库1109中的音乐，决定最佳的音乐。另外，剧本生成部1117使用用户选择的风格、由图像决定部1123决定的静止图像和由音乐决定部1119决定的音乐来生成剧本。
下面，说明上述构成的电影短片生成再现装置1101c生成电影短片的剧本时的动作。
图11是表示电影短片生成部1105c生成剧本时的算法的流程图。
首先，用户通过风格选择部1125选择所制作的电影短片中想使用的风格(S1501)。风格特征量读出部1126从数据库1109中读出所选择的风格，取得如图2所示记述在该风格的标题部分中的风格特征量(S1502)。接着，风格-音乐特征量变换部1128将风格特征量变换为音乐特征量(S1503)。在本实施方式3中，作为风格特征量，记述与该风格匹配的音乐感性形象，将该音乐感性形象变换为音乐特征量。接着，音乐决定部1119将音乐特征量作为关键，检索数据库1109，并决定电影短片的构成BGM的1个音乐(S1504)。
另一方面，风格-图像特征量变换部1127将风格特征量(＝音乐感性形象)变换为音乐特征量(S1505)。之后，图像决定部1123将图像特征量作为关键，检索记录在数据库1109中的静止图像，并决定预定数量的静止图像(S1506)。
剧本生成部1117使用如上所述决定的静止图像、音乐和风格，与上述实施方式1、2一样，生成剧本(S1507)。最后，剧本生成部1117将生成的剧本保存在数据库1109中(S1508)。
如上所述，根据用户选择的风格的风格特征量，决定最适于风格的音乐和最适于风格的静止图像，制作电影短片，所以当用户制作电影短片时，可避免从庞大的图像和音乐数据库中选择适当的静止图像和最佳的音乐等麻烦。另外，仅通过选择表示电影短片整体形象的风格就可制作与该风格配合的电影短片，用户可构筑快捷的制作环境。
另外，在本实施方式3中，音乐决定部1119将音乐特征量作为关键，检索记录在数据库1109中的音乐，但不限于此。例如，也可使记录在数据库1109中的音乐具有含义信息，音乐决定部1119通过含义信息和音乐特征量来检索记录在数据库1109中的音乐。此时，例如音乐决定部1119通过从当前的时间信息中取得当前的季节，并追加到检索数据库1109时的关键中，即便是相同的音乐特征量，也可选择对应于季节的乐曲。
另外，在本实施方式3中，用与风格匹配的音乐感性形象来表示风格特征量，但不限于此。例如，也可用音乐感性形象以外的关键字来表示风格特征量，并根据对比该风格特征量与音乐特征量的表，来将风格特征量变换为音乐特征量。
并且，在本实施方式3中，图像决定部1123将图像特征量作为关键来检索记录在数据库1109中的静止图像，但不限于此。例如，也可定义对象信息来作为一个风格特征量，图像决定部1123通过对象信息和图像特征量来检索记录在数据库1109中的静止图像。此时，最好以使观看以快拍照片为中心的静止图像的风格来选择包含许多人(脸)的对象的静止图像。
(实施方式4)
下面，说明用户通过选择主题来生成按照该主题的形象的电影短片的情况。
图12是表示根据本发明实施方式4的电影短片生成再现装置的其他构成框图。另外，向与实施方式1～3的电影短片生成再现装置1001a～1001c对应的部分附加相同序号，并省略说明。
在图12所示电影短片生成再现装置1001d中，电影短片生成部1105d的构成与上述实施方式1～3的电影短片生成部1105a～1005c不同，其他一样。
电影短片生成部1105d是通过用户选择主题来生成按照该主题的形象的电影短片的装置，除图像决定部1123、风格决定部1116、音乐决定部1119和剧本生成部1117外，还具备主题选择部1129、主题特征量读出部1130、主题-图像特征量变换部1131、主题-风格特征量部1132和主题-音乐特征量变换部1133。
这里，所谓主题事先由开发者或用户定义，与该主题配合来决定图像特征量、音乐感性形象(音乐特征量)、风格特征量。作为主题，例如有季节(春夏秋冬、初夏、晚秋等)、去年的今天、最近的事件等含糊的日期指定字、或象2000年或1990年等指定具体西历年的字等。
主题选择部1129向用户提供用于选择主题的GUI。主题特征量读出部1130从数据库1109中读出用户选择的主题的主题定义文件。主题-图像特征量变换部1131取出记述在主题定义文件中的图像特征量。图像决定部1123根据图像特征量，检索记录在数据库1109中的静止图像，决定最佳的静止图像。主题-风格特征量变换部1132取出记述在主题定义文件中的风格特征量。另一方面，风格决定部1116根据风格特征量，检索记录在数据库1109中的风格，决定最佳的风格。主题-音乐特征量变换部1133取出记述在主题定义文件中的音乐特征量。另一方面，音乐决定部1119根据音乐特征量，检索记录在数据库1109中的音乐，决定最佳的音乐。之后，剧本生成部1117使用由图像决定部1113决定的静止图像、由风格决定部1116决定的风格和由音乐决定部1119决定的音乐来生成剧本。
下面，说明上述构成的电影短片生成再现装置1101d生成电影短片的剧本时的动作。
图13是表示电影短片生成部1105d生成剧本时的算法的流程图。
首先，用户通过主题选择部1129选择制作的电影短片中想使用的主题(S1601)。主题特征量读出部1130从数据库1109中读出所选择的主题的主题定义文件(S1602)。接着，主题-风格特征量变换部1132取得记述在主题定义文件中的风格特征量(S1603)。然后，风格决定部1116将风格特征量作为关键来检索数据库，以决定风格(S1604)。
接着，主题-音乐特征量变换部1133取出记述在主题定义文件中的音乐感性形象，将该音乐感性形象变换为音乐特征量(S1605)。接着，音乐决定部1119将音乐特征量作为关键，检索数据库1109，并决定电影短片的构成BGM的1个音乐(S1606)。
接着，主题-图像特征量变换部1131取出记述在主题定义文件中的图像特征量(S1607)。之后，图像决定部1123将图像特征量作为关键，检索记录在数据库1109中的静止图像，并决定预定数量的静止图像(S1608)。
剧本生成部1117使用如上所述决定的静止图像、音乐和风格，与上述实施方式1一样，生成剧本(S1609)。最后，剧本生成部1117将生成的剧本保存在数据库1109中(S1610)。
如上所述，根据用户选择的主题，决定适于主题的风格、适于主题的音乐和适于主题的静止图像，制作电影短片，所以当用户制作电影短片时，可避免从庞大的图像、音乐和风格中选择最佳的静止图像、音乐和风格等麻烦。另外，仅通过选择主题就可制作与该主题配合的电影短片，用户可构筑快捷的制作环境。
另外，在本实施方式4中，图像决定部1123将图像特征量作为关键，检索记录在数据库1109中的静止图像，但不限于此。例如，也可使主题定义文件具有按照主题的限制条件，通过该限制条件和图像特征量来检索记录在数据库1109中的静止图像。此时，例如若将[夏]设为主题，则将拍摄日期＝6月到9月、拍摄场所＝山、海、游泳池、色调＝蓝、白等设为限制条件，通过这些限制仅选择夏季的静止图像。
另外，在上述各实施方式1～4中，将显示装置1002连接到电影短片生成再现装置1001d上，但不限于此，例如也可在电影短片生成再现装置1001d中具备显示装置1002。
(实施方式5)
下面，描述剧本生成部1117中特效与静止图像的对应。这里，说明向图3所示特效分配静止图像的情况。该特效表示对上述拍摄人物的1个静止图像搜索聚光为对象的脸，最终搜索到脸，最后放大的特效。
图14是表示剧本生成部1117向特效分配静止图像并由其对象信息来生成视觉效果时的算法的流程图。
剧本生成部1117读出特效的属性(S1701)。该特效的属性是预定的静止图像的检索规则，例如如表4所示，设定“脸的数量”、“脸的位置”、“脸的大小”、“类似图像的数量”等。在图3所示特效中，因为若是按一人来拍摄人的静止图像则可有效地观看，所以例如将检索规则设定为[脸的数量＝1]。
【表4】
  特效属性 说明
  脸的数量＝ 静止图像中脸的数量
  脸的位置＝ 静止图像中脸的位置(重心的坐标)
  脸的大小＝ 静止图像中脸的大小(相接的圆的半径)
  类似图像的数量＝ 图像特征量中有类似性的图像的数量
剧本生成部1117根据上述检索规则来检索数据库1109，决定应分配给本特效的静止图像(S1702)。接着，剧本生成部1117从数据库1109中读出所决定的静止图像的对象信息(S1703)。剧本生成部1117将特效所需的对象信息设置在特效中(S1704)。在图3所示特效中，因为需要作为对象的脸的位置和大小，所以根据静止图像的对象信息来取得这些位置和大小，并设置在特效中。
如上所述，在图3所示特效中，从数据库1109中选择按一人来拍摄人的静止图像，并在特效中设置脸的对象信息(重心的坐标位置、半径)，所以如同知道脸的位置、大小，搜索到脸后聚光到脸上，最后提供放大的视觉效果。
这样，因为可从数据库中选择与特效最匹配的静止图像，所以可提供进一步提高娱乐性的视觉效果。另外，因为通过识别以脸为主的静止图像内的对象来向静止图像提供效果，所以可进一步增加乐趣，提供故事性。
(实施方式6)
上述各实施方式1～5中，剧本生成部1117如上所述首先排列特效，接着，从数据库1109中对特效选择具有特效所要求的图像特征量的静止图像，确定特效与静止图像的链接。相反，本实施方式6是如下情况，在首先排列静止图像后，根据静止图像的图像特征量和对象信息来选择特效，由此确定特效与静止图像的链接。
图15是表示对排列在时间轴上的静止图像分配特效的概念图。这里，在时间轴上按登录在数据库1109中的顺序排列静止图像A～F。另外，若分别根据图像特征量和对象信息来分类，则静止图像A是被摄体为二人的快拍照片。静止图像B～D是类似性高的照片。静止图像E是未拍摄人的风景照片。静止图像F是拍摄一人的快拍照片。另外，表5是表示与基于图像特征量的分类相对应的特效的表。
对剧本生成部1117使用所决定的静止图像、音乐和风格来生成剧本时的动作进行说明。
图16是表示对静止图像分配特效的算法的流程图。
剧本生成部1117按登录在数据库1109中的顺序来读出所决定的静止图像(多个)，且排列在时间轴上(S1801)。接着，剧本生成部1117根据各静止图像的图像特征量和对象信息来决定静止图像的类似性和种类(S1802)。之后，剧本生成部1117通过例如表5所示的变换表格来分配与各静止图像的类似性和种类相对应的特效，确定特效与静止图像的链接(S1803)。在图15所示实例中，在静止图像A中，从快拍照片(二人)的项目中选择“聚光2”。同时，在静止图像B～D、E、F中，选择所谓“摇摄”、“still”、“推拍1”的视觉效果。另外，因为此时特效的选择若是同一项目内则无论选择哪个都无妨，所以例如也可按随机、循环(round robin)等规则来进行选择。
【表5】
    分类     相对应的特效(effect)
类似图像 摇摄(pan)(第1张：右上→左下、第2张：左上→右下、第3张：左中央→右中央)
快拍照片(一人) 聚光1(spotlight1)…聚光到1张脸上推拍1(zoomIn1)…放大1张脸
快拍照片(二人) 聚光2(spotlight2)…聚光到2张脸上推拍2(zoomIn2)…放大2张脸
快拍照片(三人) 聚光3(spotlight3)…聚光到3张脸上推拍3(zoomIn3)…放大3张脸
快拍照片(四人以上) 滑入4(slidein4)…滑入以4人为中心的部分图像
风景照片 静态(still)…一张张地慢慢观看摇摄(pan)…从右向左运动
最后，剧本生成部1117对排列的确定的特效设置例如对象的位置、大小等对象信息(S1804)。
如上所述，在首先排列静止图像后，根据静止图像的图像特征量和对象信息来确定特效与静止图像的链接，所以可生成将由用户选择的静止图像或由图像决定部1123决定的静止图像全部用作素材的剧本。另外，可根据静止图像的图像特征量和对象信息来选择适于静止图像的特效。
另外，在本实施方式6中，当将静止图像排列在时间轴上时，虽按登录在数据库1109中的顺序来排列，但不限于此，例如也可按拍摄静止图像的日期顺序来排列。
另外，也可首先在时间轴上不排列静止图像，在根据静止图像的图像特征量和对象信息来确定特效与静止图像的链接后，仅通过在时间轴上对链接已确定的特效进行排列来生成剧本。
另外，在上述实施方式1～6中，电影短片生成再现装置1001a～1001d与显示装置1002单独构成，但不限于此，例如也可全部一体构成。
(实施方式7)
图17是表示根据本发明实施方式7的电影短片生成再现装置的其他构成功能框图。
电影短片生成再现装置2001是使用所输入的不少于1个的静止图像来生成短篇视频(电影短片)的剧本、或使用生成的剧本来再现电影短片的计算机装置。如图17所示，由输入部2010、数据库2020、剧本生成部2030、再现部2040、显示部2050、连接这些输入部2010～显示部2050的内部总线2060等构成。这里，仅示出对应上述电影短片生成部1105a～110Sd内剧本生成部1117的剧本生成部2030。
这里，剧本不是以MPEG为代表的动态图像数据本身，而是通过以XML为代表的脚本语言，按时间系列记述视觉效果(特效)、规定特效动作的参数、向成为特效对象的静止图像的指针等。另外，在本实施方式7中，也可对配置在时间轴上的特效映射(mapping)静止图像，生成剧本。
输入部2010从数码相机或由数码相机记录静止图像的媒体中输入静止图像，由静止图像选择部2110和对象信息提取部2120等构成。
静止图像选择部2110在将记录在媒体中的静止图像读出到该电影短片生成再现装置2001内的存储器(未图示)的同时，登录到数据库2020中。媒体例如是致密快闪(R)存储卡、SD存储卡(R)等半导体存储器媒体、CD-R/ROM/RW、DVD-R/RAM/RW等光盘媒体、磁带、软盘等磁性媒体、MO等磁光盘等。
另外，经静止图像选择部2110登录在数据库2020中的静止图像2210是例如JPEG形式的图像数据，包含静止图像本身和表示其属性的元数据，元数据的大部分是生成静止图像的、例如由数码照相机等设备生成的数据。作为该元数据的代表数据，有拍摄日期、拍摄场所(基于GPS的位置信息)、拍摄条件(快门速度、焦距、曝光时间等)等(下面称为“含义信息”)，将这些数据作为EXIF，由JEIDA(日本电子工业振兴协会)来设定标准。
对象信息抽取部2120从输入的图像数据中抽取例如人物的脸等对象，生成对象信息。将生成的对象信息登录在数据库2020中。
图18是表示登录在数据库2020中的对象信息2220的构成例的图。
对象信息2220如图18所示，包含与所抽取的对象相接的圆的中心坐标、由半径的大小表示的位置信息2213、对象的种类2212和所对应的静止图像的文件名2211。对象的种类有是否是人的脸。另外，对象的位置信息不依赖于由圆的中心和半径表现的方法，例如也可由四边形的一个对角线的起点和终点坐标来表示。
数据库2020除从输入部2010的静止图像选择部2110输入的静止图像2210、或由对象信息抽取部2120生成的对象信息2220外，还具有对特效表格2230、电影短片再现时用作BGM的音乐2240、表示生成的视频的整体图像的风格2250、生成的视频的主题2260、剧本2270等进行登录或检索的功能。
数据库2020可由硬盘或RAM等存储媒体构成。另外，此时，也可另外设置将静止图像2210等存储在存储媒体中或从存储媒体中读出的单元。
特效表格2230是表示特效组中包含的各特效的特效名称、与该特效要求的对象数量的关系的表格。
图19是表示特效表格2230的构成例的图。
如图19所示，特效表格2230由特效名称栏和所要求对象的数量栏构成。
在特效名称栏中，一览地存储规定使用哪个视觉效果来再现成为对象的不少于1个的静止图像的特效名称、例如聚光eff1、变焦eff2、剪切eff3、干扰eff4、滑入eff5、滑出eff6等。在要求的对象的数量栏中，对应于聚光eff1-滑出eff6，分别存储[1～4]、[1～4]、[1、2]、[2]、[无论多少都可以]、[无论多少都可以]。
例如，聚光eff1是着眼于1个对象，在聚光检索照片内之后，最终聚焦到成为目标的对象的特效。映射拍摄1至4个对象的照片。另外，滑入eff5或滑出eff6是将静止图像纵向、横向或斜向分割，向纵向、横向或斜向滑入或滑出，或将4方照片分割成4份，向4个角方向滑入或滑出各断片的特效，拍摄对象数量多的照片也进行映射。
另外，将静止图像整体向任一方向运动的摇摄存储在特效名称栏中，检索对象的位置，将最远的位置设为开始位置，从而运动变大，得到外观好的视觉效果，当两张照片重叠时，将进行对象部分位置生命的剪接存储在特效名称栏中，若滑出上位照片，则得到在蒙太奇风格中看到下位照片的视觉效果，或将以特定对象为中心放大/缩小的推近(zoom in)/拉远(zoom out)存储在特效名称栏中，边进行α混合，边将要消失/看见的淡入(fade in)/淡出(fade out)存储在特效名称栏中，读出对象的坐标位置，得到从远的位置开始减小α值的视觉效果，聚焦到特定的对象，同时将掩饰背景的聚焦/散焦存储在特效名称栏中，决定聚焦图形的重心位置与对象的坐标位置的关系，得到两者不重合，设置在不同位置(最远的位置等)的视觉效果。此时，也可对应于特效的属性来设置所要求对象的数量。
与音乐的时间长度配合，从特效的集合中拾取特效来决定排列，对配置在时间轴上的特效，映射静止图像来生成剧本2270。
剧本生成部2030使用用户事先选择的静止图像、或所决定的风格和音乐或所决定的风格、音乐和主题，来生成剧本，将生成的剧本登录在数据库2020中，具备特效配置部2310、静止图像分配部2320和参数设定部2330等。
特效配置部2310是根据预先设定的音乐和风格或音乐、风格和主题，从特效的集合中取出1个特效，配置在时间轴上的块，通过反复上述操作，形成具有某个再现时间长度的剧本的框架。此时，剧本的再现时间长度既可以是成为BGM的音乐的长度，也可以是用户或系统定义的时间长度。
静止图像分配部2320对特效配置部2310形成的剧本的框架的各特效，读出其属性中的记述，从数据库2020中检索具有其所要求的属性的静止图像并映射。具体而言，在本实施方式7中，静止图像分配部2320根据各特效要求的对象数量，检索静止图像，并对特效分配检索结果所得到的静止图像。即，进行映射。因此，在特效是聚光的情况下，静止图像分配部2320检索拍摄1至4个对象的照片，决定1个结果所得到的照片，映射到聚光。
参数设定部2330在特效与静止图像的映射确定的状态下被调用，决定用于确定剧本中各特效动作的参数。例如，例举特效为滑出eff6的情况下，通过确定
(1)方向：滑出的块的运动方向(从纵向、横向、斜向、中央到4个角)；
(2)大小：滑出的块的幅度；
(3)顺序：块滑出的顺序；
这3个参数，可确定滑出的动作。
再现部2040读入剧本，生成多个帧数据，按时间系列显示，由电影短片选择部2410和电影短片再现部2420等构成。
电影短片选择部2410向用户提供用于选择要再现的电影短片的GUI。
电影短片再现部2420从数据库2020中读出所选择的电影短片的剧本及其中定义的静止图像和音乐，对剧本解码后再现电影短片，输出到显示部2050。由此，用户可将之作为动态图像来进行视听。
显示部2050由LCD、阴极射线管等显示视频的设备和内置的扬声器构成，显示再现的电影短片的视频等。
下面，说明上述构成的电影短片生成再现装置输入静止图像时的动作。
图20是表示输入部2010输入静止图像时的算法的流程图。
静止图像选择部2110和对象信息抽取部2120对记录在媒体中的全部静止图像中每个静止图像反复执行以下处理(S2011)。
首先，静止图像选择部2110将记录在媒体中的静止图像读出到该电影短片生成再现装置2002内的存储器中(S2012)，将读出的静止图像登录在数据库2021中(S2013)。另外，图像数据的保存形式可以是以JPEG形式为代表的压缩形式，也可以是非压缩形式。
接着，对象信息抽取部2120抽取所读出的静止图像中包含的对象(在本实施方式7中为人的脸)，生成由该对象的位置信息等构成的对象信息(S2014)。若对象信息的生成结束，则输入部2010将对象信息登录在数据库2020中(S2015)。由此，将对应于静止图像2210的对象信息2220(参照图18)登录在数据库2020中。
对于全部静止图像，将全部静止图像2210和对象信息2220登录到数据库2020中结束时(S2016)，输入部2010结束静止图像的数据输入处理。
通过以上处理，对构成图像处理对象的全部静止图像分别取得对象的位置等，可进行以对象为中心的图像处理。
下面，说明生成电影短片的剧本时的动作。
图21是表示剧本生成部2030生成各部执行的剧本之前的算法的流程图。在从用户处接收电影短片中使用的静止图像的对象范围的指示或决定由该电影短片使用的音乐或风格、主题后，执行该剧本生成处理。
首先，特效配置部2310从存储在特效表格2230中的多个特效中选择一个特效，配置在选出的时间轴上(S2021)。具体而言，是与决定的音乐的时间长度配合，按顺序配置特效的风格或变焦、滑入、滑出……的情况。由此，形成剧本的框架。
若结束向时间轴上配置特效，则静止图像分配部2320和参数设定部2330对配置在时间轴上的全部特效决定映射的静止图像，并设定各种参数(S2022)。
首先，静止图像分配部2320将特效的属性信息中的对象数量作为关键，使用对象信息2220来检索满足所要求的对象数量的静止图像，将从由检索得到的多个静止图像中选择的1个静止图像决定被映射的静止图像(S2023)。具体而言，在特效为滑出eff6的情况下，静止图像分配部2320检索拍摄不少于1个对象的照片，决定1张结果所得到的照片，并映射到滑出eff6。
接着，参数设定部2330根据与被映射的静止图像对应的对象信息，决定参数(S2024)。具体而言，参数设定部2330读出与被映射的静止图像相对应的对象信息(各对象的位置信息(重心坐标、大小)，并决定各特效的参数。
如果对于全部特效进行的被映射的静止图像的决定和参数的决定结束(S2025)，则剧本完成，所以剧本生成部2030将生成的剧本登录在数据库2020中(S2026)，结束剧本生成处理。
下面，说明步骤S2024的参数决定处理。
图22是表示说明参数设定部2330决定特效的变量和参数的算法的子程序的流程图。另外，为了简化说明，以[滑出]为例，具体说明参数的决定处理。
这里，滑出是将显示的静止图像分割成1～n个(n为大于2的自然数)的块，将该块顺序移动到画面外的特效，按滑出块的方向不同，有纵向、横向、斜向、4个角等4个变量(参照图23)。
(1)在纵向变量中，通过垂直线将静止图像分割成纵长的长方形块，向上或下移动块(图23(a))。
(2)在横向变量中，通过水平线将静止图像分割成横长的长方形块，向右或左移动块(图23(b))。
(3)在斜向变量中，通过倾角为θ(0°＜θ＜90°)的直线分割成向右倾斜的块(也有梯形、两端成三角形的块)，向右斜上方或左斜下方移动块(图23(c))。
(4)在4个角变量中，通过在静止图像的重心交叉的水平线和垂直线将静止图像4等分，将各等分后的块向最近的角方向(因此各块向4个方向移动)移动(图23(d))。
另外，在斜向变量中，在θ＝-90°、0°的情况下，因为分别与横向、纵向的变量等价，所以对于可否实施，在相同的算法中进行考虑。另外，在本实施方式7中，静止图像的对象是人的脸。
首先，参数设定部2330使用对象信息2220，读出包含在与特效匹配的静止图像中的对象0[i](i＝0、1、2、……)在x-o-y坐标系的重心坐标x[i]、y[i]和大小r[i](S2401)。
接着，参数设定部2330对旋转角θ(θ＝-90°、θ＝0°、0°＜θ＜90°)取得块边界线，设置纵向、横向、斜向的标志(S2402)。
首先，参数设定部2330算出旋转坐标(s-o-t)系的各对象0[i]的重心坐标s[i]、t[i](S2403)。
图24是说明使原始坐标系(x-o-y)旋转θ°(0°＜θ＜90°)的旋转坐标系：s-o-t坐标系的图。
图24(a)中，对象0[i]用在x-o-y坐标系中的对象的重心坐标(x[i]、y[i])和外接对象的圆半径：r[i]来表示。H是静止图像的高度。(s-o-t)坐标系的坐标(s[i]、t[i])可由下列所示公式求出。
【式1】
s [ i ] t [ i ] = cos &theta; sin &theta; - sin cos &theta; x [ i ] y [ i ]
若结束重心坐标的计算，则参数设定部2330将各对象0[i]映射到t轴上(S2404)。另外，图中所示t[i]是对象0[i]向t轴的投影。由此，各对象0[i]排列在t轴上。
接着，参数设定部2330不能将各对象0[i]在t轴上的重心坐标t[i]和将该坐标作为中心的±R的区域设置成点，也就是不能引出平行于s轴的块边界线设定为禁止区域P[i](S2405)。这里，R被设定为比r[i]大、确实包含毛发等的值。
若这些禁止区域的设定、即禁止带的设定结束，则参数设定部2330通过对t轴上的各重心坐标t[i]调查在t轴上的正侧是否存在对象，取得块边界线，并设置纵向、横向、斜向的标志(S2406)。
首先，参数设定部2330判断在对象的对象0[i]的t轴上的正侧是否存在对象、即是否有t[i+1](S2407)。在存在t[i+1]的情况下(在S2407为是)，判断对象0[i]与在t轴上正侧的对象0[i+1]的禁止带间是否有间隙(S2408)。
在有间隙的情况下(在S2408为是)，意味着可通过该间隙间的点由平行于s轴的直线(倾角：θ)分割静止图像(参照图24(b))，可不断开对象地用块边界线来分割静止图像。因此，参数设定部2330算出间隙的中心，并取得通过间隙中心的平行于s轴的θ角的块边界线BL[i](S2409)，对θ角的变量设置标志(S2410)。另外，用y轴上的位置yBL[j]或x轴上的位置和θ来规定块边界线。
另外，在不能取得块边界线的情况下或禁止带间没有间隙的情况下(S2408否)，对其正侧的对象0[i+1]反复执行步骤S2407-S2410，起到不存在t轴上的正侧对象为止。另外，在静止图像的端部与t轴上的正侧对象的禁止区域之间比预定的阈值宽的情况下，如图23(b)中所示的BL1那样，也可在其中间设置块边界线。
若对某旋转角为θ的块边界线的取得和该θ的变量中设置标志并结束(S2411)，则变更旋转角θ，取得变更后的θ的块边界线，并对该θ的变量设置标志。
若对所有旋转角为θ的块边界线进行的取得、以及对该θ的变量进行的标志设置结束(S2412)，则参数设定部2330用通过静止图像中心的平行于x轴的块边界线和平行于y轴的块边界线，将静止图像分割成4块(S2413)。之后，参数设定部2330判断是否所有对象0[i]都容纳在4个块之一中(S2414)。
在所有对象0[i]都容纳在4个块之一中的情况下(在S2414为是)，因为未断开所有对象，所以设置4个角的标志(S2415)，进入步骤S2414。
相反，在对象0[i]的至少1个未容纳在4个块之一中的情况下(在S2414为否)，因为断开了该对象，所以不设置4个角的标志，进入步骤S2414。
若求出可实施的变量，则参数设定部2330从可实施变量中随机选择一个变量(S2416)。这里，选择使用随机数来随机选择的方法来选择一个变量，但也可设定成通过保存可实施变量的实施必需的所有信息或特效的履历，不被上次选择的特效的变量覆盖地进行选择。
在决定变量的同时，参数设定部2330根据块边界线来决定滑出的块的幅度，并根据对象的坐标、大小来决定滑出的块的移动顺序和移动方向(S2417)。具体而言，在去除4个角的变量并分割成n块的情况下，将包含位于最中央的对象的块决定为第n(最后滑出)块，将位于距该块最远位置的块决定为第1滑出的块。下面，将位于次远位置的块决定为第2，将再远的块决定为第3，……。
另外，使块滑出的顺序的决定方法不限于本方法，相反，也可将包含位于最中央的对象的块设为第1。在4个角的变量的情况下，因为使4个块同时向4个方向滑出，所以与滑出的顺序无关。
块的幅度、移动顺序和移动方向、即滑出所需所有参数的决定结束时，返回主程序。由此，将包含滑出的剧本登录在数据库2020中。
图25是表示登录在数据库2020中的剧本2270的构成例的图。剧本2270如上所述通过脚本记述，为了说明方便，以表格形式图示。
如图25所示，剧本2270由表示时间轴上的时间分配的开始时刻和结束时刻、在该时间轴上分配的特效、分配给各特效的静止图像、及参数构成。在特效是滑出eff6的情况下，除选择的变量(表示该θ的变量的标志F0＝1及该θ)外，还在参数中记载滑出的块的幅度(规定该块的块边界的位置yBL[j]及θ)、滑出的块的顺序(B0、B1…)、滑出的块的方向(B0：右斜上，B1：右斜下…)。
若用如此构成的剧本来进行电影短片再现，则通过再现部2040的电影短片选择部2410，指示电影短片的剧本和其所定义的音乐和静止图像的读出，电影短片再现部2420根据指示的剧本，用音乐和静止图像来再现电影短片，并输出到显示部2050。此时，电影短片再现部2420根据每个特效的静止图像，进行用对应于该特效的参数定义的处理，生成帧图像，再现电影短片。
这样，根据本实施方式7，根据静止图像的对象信息，决定特效的变量、确定特效动作的参数。
因此，避免了作为对象的人脸被断开的情况，即便是相同的特效，也可执行最适于映射的静止图像的变化的特效。另一方面，若从观看的角度讲，则即便是相同的特效，也由于被映射的静止图像不同而动作不同。结果，再现时用户看见的电影短片即便在相同特效连续的情况下，如同看见不同的特效连续，不会因一种模式而马上厌烦，可生成娱乐性非常高的内容。并且，即便是相同特效与静止图像的映射，也可从多个变量中选择，也可实现不同的观看。
另外，在根据本实施方式7的发明中，为了判断变量是否有效而进行向旋转坐标系的变换，但此外还有对各变量准备模板，判断能否以在一定范围内不重叠在对象上的方式来移动分割成块的直线的方法。
另外，在取得与图23(c)相反的倾角的块边界线的情况下，也可在90°＜θ＜180°的范围内变更旋转角θ。
(实施方式8)
下面，说明根据本发明实施方式8的电影短片生成再现装置。
图26是表示根据本发明实施方式8的电影短片生成再现装置的其他功能构成框图。另外，向与实施方式7的电影短片生成再现装置2001对应的部分附加相同序号，省略其说明。
如图26所示，电影短片生成再现装置2002由输入部2011、数据库2021、剧本生成部2031、再现部2040、显示部2050、连接这些输入部2011～显示部2050的内部总线2060等构成。输入部2011除上述静止图像选择部2110和对象信息提取部2120外，还具备脸特征点抽取部2130。剧本生成部2031除特效配置部2310外，还具备静止图像分配部2321和参数设定部2331。这里，与实施方式7的情况一样，仅示出对应于上述电影短片生成部1105a～1105d内剧本生成部1117的剧本生成部2031。
但是，虽然构成为由电影短片生成再现装置2001的输入部2010来仅抽取对象(人脸)的位置，但该电影短片生成再现装置2002的输入部2011除输入部2010的构成外，还具备抽取脸的特征点(脸的部分、例如眼、鼻、嘴等)的脸特征点抽取部2 130，通过追加该脸特征点抽取部2130，制作对应于辨别脸的部分的特效(例如剪接)的剧本，并使用该剧本来再现电影短片，这点上与电影短片生成再现装置2001大不相同。
图27是表示一例的连续性图。
如图27(a)～27(g)所示，示出对连续性图，通过依次使包含头、眼、鼻、嘴的部分的块滑出的横向滑出的一种处理来实现所谓蒙太奇风格的特效。
在本特效中，通过取得作为脸的部分的眼、鼻、嘴的位置和大小，决定块的幅度，得到蒙太奇风格的视觉效果上是值得自夸的。
为了实现这种处理，构成存储在数据库2021中的特效表格2231、对象信息2221和剧本2271以实现蒙太奇风格的特效。
具体而言，特效表格2231如图28所示，由特效名称栏、要求的对象数量栏和要求的对象特征点栏构成。另外，在特效名称栏中存储剪接eff10，在对应于剪接eff10的要求的对象数量栏中存储[1]或[2]，在要求的对象特征点栏中存储头、眼、鼻、嘴。
图29是表示生成实现蒙太奇风格的特效的对象信息的算法的流程图。
静止图像选择部2110和对象信息抽取部2120对记录在媒体中的全部静止图像中每个静止图像反复执行以下处理(S2011)。
首先，静止图像选择部2110将记录在媒体中的静止图像读出到该电影短片生成再现装置2001内的存储器中(S2012)，将读出的静止图像登录在数据库2020中(S2013)。接着，对象信息抽取部2120抽取所有读出的静止图像中包含的对象(S2014)，将该对象的位置信息(坐标、大小)等登录在对象信息中(S2015)。
在识别为对象是脸的情况下，若对象的位置信息取得结束，则脸特征点抽取部2130抽取脸特征点(S2101)，将抽取的特征点登录在对象信息中(S2102)。这里，脸特征点信息是包含脸上的特征点坐标(多个)的信息。例如，是内眼角、外眼角、鼻的顶点、嘴的两端、眉的起点和终点等。作为抽取脸上特征点的技术，例如，有传感技术应用研究会主办的2002传感技术应用专题[放心、安全的危机管理与安全]中[脸识别技术和对安全的应用]中介绍的技术，也可使用这种已有的技术。
若结束所有对象信息的生成，则输入部2011将对象信息登录在数据库2021中。由此，将对应于静止图像2210的对象信息2221(参照图30)登录在数据库2021中。
若对于全部静止图像结束将其静止图像2210和对象信息2221登录到数据库2021中(S2016)，则输入部2011结束数据输入处理。
图30是表示通过上述数据输入处理存储在数据库2021中的对象信息2221的构成例的图。
对象信息2221如图30所示，除抽取的对象相接的圆的中心的坐标、由半径的大小表示的位置信息、及对应的静止图像的文件名外，还包含特征点。如上所述，特征点为内眼角、外眼角、鼻的顶点、嘴的两端、眉的起点和终点等的位置坐标。
通过如此构成的对象信息2221，对成为图像处理对象的全部静止图像，可进行分别取得对象的位置和脸特征点等并将对象的部分作为中心的图像处理。
下面，说明剧本生成处理。
图31是表示剧本生成部2031生成各部执行的剧本之前的算法的流程图。在从用户处接收电影短片中使用的静止图像的对象范围的指示或决定该电影短片使用的音乐或风格、主题后，执行该剧本生成处理。
首先，特效配置部2310从存储在特效表格2230中的多个特效中选择一个特效，配置在选出的时间轴上(S2021)。具体而言，是与决定的音乐的时间长度配合，按顺序配置特效的剪接或变焦等的情况。由此，形成剧本的框架。
若结束向时间轴上配置特效，则静止图像分配部2321和参数设定部2331对配置在时间轴上的全部特效决定映射的静止图像，并设定各种参数(S2022)。
首先，静止图像分配部2321将特效的属性信息中的对象数量和特征点作为关键，使用对象信息2221来检索满足所要求的对象数量的静止图像，将从检索得到的多个静止图像中选择的1个静止图像决定为映射的静止图像(S2023)。具体而言，检索具有特效的属性要求的对象的数量和特征点，并映射到特效中。
接着，参数设定部2331根据与映射的静止图像对应的对象信息，决定参数(S2024)。具体而言，参数设定部2331首先读出对象信息。之后，从脸特征点中的关于头、眼、鼻、嘴的信息中取得它们的重心坐标和大小，并决定滑出的块的幅度和块滑出的顺序。块滑出的顺序可以是随机的，但若最初使脸以外的部分滑出、接着象包含嘴的块、包含鼻的块、包含头的块、包含眼的块这样使包含眼的块最后滑出，则可实现对观看侧的不适感少的特效。另外，考虑部分的重要性、或重心坐标和大小，确定部分间的块边界，使部分的分割变少。另外，也可以是对象的位置信息不依赖于由圆的中心和半径表现的方法，例如由四边形的一个对角线的起点和终点坐标来表示。
若对全部特效结束映射的静止图像的决定和参数的决定(S2025)，则完成剧本，所以剧本生成部2031将生成的剧本登录在数据库2021中(S2026)，结束剧本生成处理。
图32是表示登录在数据库2021中的剧本2271的构成例的图。
如图32所示，剧本2271由表示时间轴上的时间分配的开始时刻和结束时刻、在该时间轴上分配的特效、分配给各特效的静止图像、及参数构成。在特效是剪接的情况下，在参数中记载滑出的块的幅度、滑出的块的顺序、滑出的块的方向。
若用如此构成的剧本2271来进行电影短片再现，则通过再现部2040的电影短片选择部2410，指示电影短片的剧本和其所定义的音乐和静止图像的读出，电影短片再现部2420根据所指示的剧本，用音乐和静止图像来再现电影短片，并输出到显示部2050。此时，电影短片再现部2420根据每个特效的静止图像，生成用对应于该特效的参数定义的帧图像，再现电影短片。另外，在生成帧图像的情况下，根据静止图像的对象(脸)中的脸部分信息(头、眼、鼻、嘴)，决定确定块的位置、大小的参数。
因此，根据本实施方式8的发明，若是在脸的中途切开的特效，则不会对观看人造成不适感，可产生包含有趣内容的娱乐性更高的视觉效果。
另外，如图33(a)所示，在映射到剪接上的静止图像中包含2个人的脸情况下，剪切2个人的脸的部分，进行归一化以使脸的大小基本相同，进行对象的部分的位置配合，重叠两个照片(参照图33(b))，进行对部分的每个块使上位的照片滑出，对每个部分观看下位照片的蒙太奇风格的处理(图33(c)-图33(h))。
通过这种处理，可产生娱乐性进一步提高的视觉效果。
(实施方式9)
图34是表示根据本发明实施方式9的电影短片生成再现装置2003的功能构成的框图。
如图34所示，电影短片生成再现装置2003由输入部2012、数据库2022、剧本生成部2032、再现部2040、显示部2050、连接这些输入部2012～显示部2050的内部总线2060等构成。另外，对与实施方式7的电影短片生成再现装置2001对应的部分附加相同序号，省略其说明。这里，与实施方式7、8的情况一样，仅示出对应于上述电影短片生成部1105a～1105d内剧本生成部1117的剧本生成部2032。
输入部2012除上述静止图像选择部2110和对象信息提取部2120外，还具备脸认证部2140。另外，剧本生成部2032除特效配置部2310外，还具备静止图像分配部2322和参数设定部2332。
但是，虽然构成为由电影短片生成再现装置2001的输入部2010仅抽取对象(人脸)的位置，但该电影短片生成再现装置2003的输入部2012除输入部2010的构成外，还具备认证该对象是谁的脸认证部2140，通过追加该脸特征点抽取部2130，制作对应于辨别被认证者的特效(例如聚光)的剧本，并使用该剧本来再现电影短片，这点上与电影短片生成再现装置2001大不相同。
脸认证部2140是将静止图像中检测到的脸与事先登录在数据库2022中的脸信息2280相对比来判断是谁，且除脸信息外还追加姓名来作为对象信息之一的块，可使用已有的脸认证技术。这里，使用脸认证技术的应用程序由各种公司商品化，有欧姆龙公司的FaceKey、NEC公司的NeoFace等。这些应用程序在安全系统中使用，比较事先登录的脸图像与取得的图像中的脸，若是所登录的人则打开门锁，脸认证部2140可使用这些已有的脸认证技术。
图35是表示聚焦到特定人的特效(聚光)的一例的连续性图。该连续性图是拍摄3人(从左面开始为秀奇阿德、纳什、尼基塔)的静止图像(参照图35(a))，表示在其上移动聚光(参照图35(b)～图35(d))，最终使聚光聚焦到尼基塔小姐(参照图35(e))身上的状态。根据该效果，即便是包含尼基塔小姐而将多个人作为被摄体拍摄的照片，也可将观看的注意集中到尼基塔小姐1人身上，所以形成的电影短片聚焦到尼基塔小姐。
在本特效中，通过认证人是谁，可得到聚光到特定人身上的视觉效果，这是值得自夸的。
为了实现这种处理，构成存储在数据库2022中的特效表格2232、对象信息2222和剧本2272以实现聚光到特定人的特效。
具体而言，特效表格2232如图36所示，除特效名称栏和要求的对象数量栏外，还具备可否向1人聚焦的栏。在可否向1人聚焦的栏中存储可和否之一。例如，在聚光eff1的情况下存储可，在该情况下，可得到进行向1人聚焦的视觉效果。
图37是表示生成实现聚光到1人身上的特效的对象信息的算法的流程图。
静止图像选择部2110、对象信息抽取部2120和脸认证部2140对记录在媒体中的全部静止图像中每个静止图像反复执行以下处理(S2011)。
首先，静止图像选择部2110将记录在媒体中的静止图像读出到该电影短片生成再现装置2003内的存储器中(S2012)，将读出的静止图像登录在数据库2022中(S2013)。接着，对象信息抽取部2120抽取所有读出的静止图像中包含的对象，生成由该对象的位置信息等构成的对象信息(S2014、S2015)。
在识别为对象是脸的情况下，若对象的位置信息取得结束，则脸认证部2140执行脸认证处理，并取得各对象的姓名(S2111)，将取得的姓名登录在对象信息中(S2112)。具体而言，脸认证部2140对事先登录在数据库2022中的个人认证用脸信息2280与从对象信息抽取部2120传递来的脸信息进行比较，搜索姓名。在找到的情况下，将姓名作为对象信息的一部分，与脸信息一起登录在数据库2022中。另外，在未找到的情况下，不登录姓名。
若结束所有对象信息的生成，则输入部2012将对象信息登录在数据库2022中。由此，将对应于静止图像2210的对象信息2222(参照图38)登录在数据库2022中。
若对全部静止图像而言结束将所有静止图像2210和对象信息2222登录到数据库2022中(S2016)，则输入部2012结束数据输入处理。
图38是表示通过上述数据输入处理存储在数据库2022中的对象信息2222的构成例的图。
对象信息2222如图38所示，除抽取的对象相接的圆的中心的坐标、由半径的大小表示的位置信息、及对应的静止图像的文件名外，还包含姓名。
通过如此构成的对象信息2222，对成为图像处理对象的全部静止图像，可进行分别取得对象的位置和姓名等并将用户指定的对象的姓名作为中心的图像处理。
图39是表示剧本生成部2032生成各部执行的剧本之前的算法的流程图。在从用户处接收电影短片中使用的静止图像的对象范围的指示或决定该电影短片使用的音乐或风格、主题后，执行该剧本生成处理。
首先，特效配置部2310从存储在特效表格2232中的多个特效中选择一个可执行聚焦到一人身上的视觉效果的特效，配置在选出的时间轴上(S2021)。具体而言，是与决定的音乐的时间长度配合，按顺序配置特效的聚光或变焦等的情况。由此，形成剧本的框架。
若结束向时间轴上配置特效，则静止图像分配部2322和参数设定部2332对配置在时间轴上的全部特效，从数据库2022中检索拍摄尼基塔小姐的照片，并决定所映射的静止图像，并设定各种参数(S2022)。此时，不仅拍摄尼基塔小姐一人的照片，也可以是包含尼基塔小姐而拍摄多个人的照片。
首先，静止图像分配部2322将特效的属性信息作为关键，使用特效表格2232来检索满足要求的属性信息数量的静止图像，将从检索得到的多个静止图像中选择的1个静止图像决定为映射的静止图像(S2023)。具体而言，检索具有特效的属性要求的对象的数量和可否向1人(尼基塔小姐)聚焦的静止图像，并映射到特效中。
接着，参数设定部2332根据与所映射的静止图像对应的对象信息，决定参数(S2024)。具体而言，参数设定部2332读出对象信息，设置其中包含的尼基塔小姐的脸的位置、大小，决定聚光的到达位置(指定)。另外，在不是聚光的特效而是滑出的特效的情况下，通过设定成包含尼基塔小姐的脸的块最后滑出，可在观看时较长时间观看尼基塔小姐，可对尼基塔小姐有印象。相反，在滑入的特效的情况下，通过设定成包含尼基塔小姐的脸的块最先滑入，可较长时间观看尼基塔小姐，可对尼基塔小姐有印象。
若对全部特效结束被映射的静止图像的决定和参数的决定(S2025)，则完成剧本，所以剧本生成部2032将生成的剧本登录在数据库2022中(S2026)，结束剧本生成处理。
图40是表示登录在数据库2022中的剧本2272的构成例的图。
如图40所示，剧本2272由表示时间轴上的时间分配的开始时刻和结束时刻、在该时间轴上分配的特效、分配给各特效的静止图像、及参数构成。在特效是聚光的情况下，在参数中记载聚光的对象(包含位置、大小)。
若用如此构成的剧本2272来进行电影短片再现，则通过再现部2040的电影短片选择部2410，指示电影短片的剧本和其所定义的音乐和静止图像的读出，电影短片再现部2420根据所指示的剧本，用音乐和静止图像再现电影短片，并输出到显示部2050。此时，电影短片再现部2420根据每个特效的静止图像，生成用对应于该特效的参数定义的帧图像，再现电影短片。另外，在生成帧图像的情况下，决定聚光到由静止图像的姓名特定的对象(脸)的位置信息的参数。
如上所述，根据实施方式9的发明，通过脸认证部2140，可识别静止图像内的对象的姓名，所以可使用包含任意人的照片来执行聚焦到该人身上的特效。结果，形成的电影短片聚焦到任意人，可按照再现电影短片的目的来使用。例如，因为在结婚仪式的宴会上新郎新娘是主角，所以即便是使用包含新郎新娘并拍摄多个朋友的照片生成的电影短片，也期望是聚焦到新郎新娘身上的电影短片。若使用根据本发明实施方式9的电影短片生成再现装置2003，则通过选择拍摄新郎新娘的照片，可将他们设定成特效的中心，所以可容易生成聚焦到新郎新娘身上的电影短片。
(实施方式10)
图41是表示根据本发明实施方式10的电影短片生成再现装置2004的功能构成框图。
如图41所示，电影短片生成再现装置2004除输入部2013、数据库2023、剧本生成部2033、再现部2040、显示部2050、连接这些输入部2013～显示部2050的内部总线2060外，还包含地址薄2070。另外，向与实施方式9的电影短片生成再现装置2003对应的部分附加相同序号，省略其说明。另外，这里，与实施方式7、8的情况一样，仅示出对应于上述电影短片生成部1105a～1105d内剧本生成部1117的剧本生成部2033。
实施方式9的输入部2012通过脸认证部2140来取得对象的姓名，但输入部2013还具备使用由脸认证部2140得到的姓名对登录姓名与个人的个人数据的查询表(look up table)(例如地址薄)进行检索的个人信息检索部2150，追加静止图像内的对象(被摄体)的属性(例如性别、年龄、兴趣、工作单位等)作为对象信息，使用追加的对象信息，对相同的对象也可进一步追加作为附加价值的乐趣、趣味、娱乐性，在这点上大不相同。
另外，地址薄2070如图42所示，除姓名外，还由住址、电话号码、邮件地址、性别、年龄、出生年月日、工作单位、兴趣等属性构成。
图43是表示使用性别的特效的一个例子的连续性图。该特效与现有的滑入特效相反，在对象为男女的情况下，显示暗示其关系的字符(图43中心标记)。滑入包含男性的脸的块和包含女性的脸的块，生成1张图(图43(a)、图43(b))。之后，显示暗示两者关系的字符，例如心形标记等(图43(c)、图43(d))。相反，在性别不是男女的情况下，如图44所示，用通常的圆来聚焦到两人的脸上。
为了实现这种处理，构成存储在数据库2023中的特效表格2233、对象信息2223和剧本2273以实现考虑特定者的性别的特效。
具体而言，特效表格2233如图45所示，除特效名称栏和要求的对象数量栏外，还具备所要求对象的性别和字符栏。在所要求对象的性别栏中，存储男1人且女1人或其他组合，在字符栏中，在男女组合的情况下存储“心”，在其他组合的情况下存储“○”。由此，可得到显示与性别的组合一致的字符的视觉效果。
图46是表示生成实现通过性别组合来改变显示字符的特效的对象信息的算法的流程图。
静止图像选择部2110、对象信息抽取部2120、脸认证部2140和个人信息检索部2150对记录在媒体中的全部静止图像中每个静止图像反复执行以下处理(S2011)。
首先，静止图像选择部2110将记录在媒体中的静止图像读出到该电影短片生成再现装置2004内的存储器中(S2012)，将读出的静止图像登录在数据库2023中(S2013)。接着，对象信息抽取部2120抽取所有读出的静止图像中包含的对象，生成由该对象的位置信息等构成的对象信息(S2014、S2015)。
在识别为对象是脸的情况下，若对象的位置信息取得结束，则脸认证部2140执行脸认证处理，并取得各对象的姓名(S2111)，将取得的姓名登录在对象信息2223中(S2112)。
若登录姓名，则个人信息检索部2150通过姓名来检索地址簿2070，并将对应于该姓名的个人信息追加到对象信息2223中(S2121)。若结束所有对象信息的生成，则输入部2013将对象信息2223登录在数据库2023中。由此，将对应于静止图像2210的对象信息2223(参照图47)登录在数据库2023中。
若对全部静止图像结束将所有静止图像2210和对象信息2223登录到数据库2023中(S2016)，则输入部2013结束数据输入处理。
图47是表示通过上述数据输入处理存储在数据库2023中的对象信息2223的构成例的图。
如图47所示，对象信息2223除抽取的对象相接的圆的中心的坐标、由半径的大小表示的位置信息、对应的静止图像的文件名、及对象的姓名外，还包含个人信息、即对象的属性。
通过如此构成的对象信息2223，根据成为图像处理对象的全部静止图像，可进行分别取得对象的位置和姓名等，将用户指定的对象的性别组作为中心的图像处理。
图48是表示剧本生成部2033生成各部执行的剧本之前的算法的流程图。在从用户处接收电影短片中使用的静止图像的对象范围的指示或决定该电影短片使用的音乐或风格、主题后，执行该剧本生成处理。
首先，特效配置部2310从存储在特效表格2233中的多个特效中选择一个可执行与由用户指定的性别组配合的视觉效果的特效，配置在所选出的时间轴上(S2021)。具体而言，是与所决定的音乐的时间长度配合，按顺序配置特效的风格或变焦等的情况。由此，形成剧本的框架。
若结束向时间轴上配置特效，则静止图像分配部2323对配置在时间轴上的所有特效检索与性别组配合的照片，决定所映射的静止图像，并设定各种参数(S2211)。具体而言，特效的属性记述映射到该特效上为好的静止图像的特征量，这里，对象的数量＝2，性别＝男1、女1。此时，不仅是拍摄满足被指定的组的两人的照片，也可以是包含这两人并拍摄多个人的照片。
若结束映射，则参数设定部2333根据与被映射的静止图像对应的对象信息，判断对象是否男女(S2213)。在静止图像中的对象是男女的情况下(在S2213为是)，提供作为对用于定义男女的字符的心形标记(S2214)。在不是的情况下(在S2213为否)，提供用于定义男女以外的字符“○”(S2215)。
若字符的提供结束，则剧本完成，所以剧本生成部2033将所生成的剧本登录在数据库2023中(S2026)，结束剧本生成处理。
若用如此构成的剧本2273来进行电影短片再现，则通过再现部2040的电影短片选择部2410，指示电影短片的剧本和其所定义的音乐和静止图像的读出，电影短片再现部2420根据所指示的剧本，用音乐和静止图像来再现电影短片，并输出到显示部2050。此时，电影短片再现部2420根据每个特效的静止图像，生成用对应于该特效的参数定义的帧图像，再现电影短片。另外，在生成帧图像的情况下，决定由静止图像的对象的性别组特定的字符。
另外，在本实施方式10中，使用性别来作对象的属性，但也可使用年龄、出生年月日等其他属性来生成剧本，也可与字符一起显示姓名或年龄、出生年月日等其他属性。
如上所述，根据实施方式10的发明，使用由脸认证部2140得到的静止图像内的对象的姓名，通过与地址簿链接，可将附带在姓名上的各种属性(性别、年龄、工作单位、兴趣等)附加到对象信息中。因此，若使用这些信息，则即便是相同的对象也可发现新的娱乐性。
在上述实施方式7～10中，说明对象是人脸的情况，但本申请发明不限于对象是人脸的情况，也可适用于人的姿态整体或狗、猫等动物、苹果、柠檬等植物、桌、椅子等动产、观光旅游地图等不动产等各种风格的对象。
另外，在上述实施方式7中，静止图像分配部2320对特效配置部2310配置在时间轴上的每个特效，根据登录在数据库2020中的对象信息，分配满足该特效所要求的对象数量的静止图像，但本实施方式的静止图像分配部2320分配满足特效所要求的对象的种类、颜色、形状和数量至少之一的静止图像。此时，也可由对象信息抽取部2120来抽取对象的颜色和形状。
并且，静止图像分配部2320也可分配满足特效所要求的图像的特征量(表示颜色配合、颜色宽度、颜色位置、亮度、亮度的位置等的图像指标)的静止图像。此时，输入部2013对每个静止图像计算颜色直方图、频率直方图等，并事先抽取图像的特征量。
(实施方式11)
下面，说明通过选择特效块来生成剧本、即电影短片的情况。
但在上述实施方式1～10中，从特效的集合的组中选择特效、即摇摄(pan)，静态(still)，擦入(wipein)等视觉上表示一个动作的基本特效。相反，在本实施方式11中，从汇集多个不少于1个基本特效的排列的特效块的集合中选择特效块，这点与上述实施方式1～10的情况大不相同。
数据库存储音乐、图像、特效块的集合。音乐将音乐特征量作为元数据附加到实际信息中进行保持，图像将图像特征量作为元数据附加到实际信息中进行保持。
如图49所示，特效块的集合汇集多个不少于1个基本特效的排列。另外，各特效块至少组合1个摇摄，静态，擦入等视觉上表示一个动作的基本特效、及与该基本特效相同的基本特效或与该基本特效不同的基本特效。在特效块包含在该集合中的状态(初始状态)下，不设定任何再现该特效块时的参数。
在这样由特效块构成的情况下，剧本生成部根据音乐特征量或图像特征量之一，依次执行以下所示的(1)～(4)，从而可生成剧本、即电影短片。
(1)选出用于生成内容所使用的特效块(多个)。
(2)生成决定内容特征的特效块的参数。
(3)将与音乐匹配的特效块排列在时间轴上。
(4)分派(分配)与特效块匹配的图像。
这里，例举根据音乐特征量来生成剧本。
音乐特征量可分类成乐谱信息与感性信息两种。乐谱信息是拍子、变化点等可从乐谱取得的信息，拍子表示音乐整体的节奏的速度，变化点是乐曲中曲调变化的点，表示打击乐器等特征音进入的点。另一方面，感性信息是人听到音乐时感到的信息，通过对激烈、跳动感、爽快感、朴素、柔和等感性关键字的10阶段评价的点，表示人听音乐时感到的感性。另外，也可不用10阶段评价而用5阶段或3阶段。另外，特效块是不少于1个基本特效的排列，在初始状态下，仅排列决定完成，实际的特效块的所以动作、定义观看方法的参数的时间长度、开始位置、结束位置、色相等任一都未定义。
电影短片生成再现装置具有多个特效块。
基本特效如摇摄，滑入，静态，擦入，焦入(Focusin)等视觉上表示一个动作。特效块通过在时间轴上排列任意个数的基本特效，定义例如电影的1个场面的一连串集中的某个动作。
例如，由静态-静态-静态-盒出(BoxOut)等4个基本特效排列构成的特效块在静止状态下观看3张照片后，边缩小显示边使最后一张照片消失，使一个场面完成。
下面，表示当选择音乐时，根据音乐特征量，将特效块、照片作为素材，自动生成电影短片(内容)的构成和算法。
图51是表示根据本发明实施方式11的电影短片生成再现装置3000的功能构成框图。
如图51所示，电影短片生成再现装置3000除存储在数据库中的音乐特征量、图像特征量和上述特效块的集合外，包含特效块选出部3002、参数决定部3003、特效块排列部3004、照片分配部3005和坐标数据生成部3006。另外，这里的电影短片生成再现装置3000仅示出数据库和剧本生成部的部分。
图52是表示电影短片生成再现装置3000的各部执行的电影短片生成处理的流程图。
电影短片生成再现装置3000首先从数据库中选择作为电影短片的BGM再现的音乐(S3001)。该选出方法是电影短片生成再现装置3000提供GUI等界面，用户自己选择喜欢的乐曲的方法，或者是由电影短片生成再现装置3000从数据库中自动选出的方法。若结束音乐选出，则电影短片生成再现装置3000从数据库中读出音乐数据和音乐特征量的数据。另外，在数据库中不存在音乐特征量的情况下，也可在从数据库中读出音乐数据时，从该音乐数据中抽取音乐特征量数据。
若取得音乐数据和音乐特征量数据，则特效块选出部3002根据音乐特征量从特效块的集合中选出这次内容生成中使用的特效块(S3002，参照图49)。例如，作为事先添加到所有特效块上的标签信息之一，提供拍子信息。使用该拍子信息，特效块选出部3002根据乐谱信息，在快节奏的乐曲的情况下，选出变化激烈的特效块，在慢拍子乐曲的情况下，选出变化小的特效块。
若特效块的选出结束，则参数决定部3003决定所选出特效块的参数值(S3003，参照图50)。具体而言，参数决定部3003根据感性信息来决定内容整体的色调、帧图案、背景颜色等，另外，决定各基本特效的执行时间长度、动作(由摇摄的最初和最后坐标值确定)、分配的照片的检索规则等。例如，感性信息为激烈(2)、跳动感(2)、爽快感(3)、朴素(8)、柔和(6)的情况下，为了生成悠闲的单色调内容的剧本，将参数决定为色调＝单色、背景颜色＝黑、执行时间＝长、动作＝大、照片检索规则＝时间系列等。
另外，通过由上述步骤S3002选出的特效块的集合和由步骤S3003决定的参数的集合，生成风格。这里，在本实施方式中将该风格规定为特效的上位层，但也可规定为同一层。
若参数决定结束，则特效块排列部3004根据音乐特征量的乐谱信息，从选出的多个特效块中依次选择1个特效块，排列在时间轴上(S3004)。具体而言，尤其是通过变化点的信息进行配置，以便使在曲中的曲调变化的点或打击乐器等特征音进入的点，与特效的变化配合。例如，在变化点连续的情况下，配置象静态-静态-静态那样显示的静止图像连续切换的特效块。
若特效块在时间轴上的排列结束，则照片分配部3005向各特效块分配照片(静止图像)(S3005)。具体而言，根据特效块中的基本特效所要求的图像特征量和上述检索规则，检索数据库内的照片。例如，焦入是以照片内的特定对象的中心点为中心，缩小显示区域的基本特效，但在照片内有不少于1个的对象，选择纵向或横向长度为静止图像的60％以上的照片。
若照片分配结束，则坐标数据生成部3006根据分配的照片的图像特征量，生成实际移动基本特效所需坐标值(S3006)。具体而言，以焦出(FocusOut)为例，则焦出是聚焦到图像上任一点来指示兴趣区域，通过慢慢放大显示表示该聚焦的图形，使静止图像整体被看到的基本特效，但必需表示最初和最后的聚焦图形大小的坐标值。另外，在将图形固定在正方形或圆形等的情况下，也可通过中心点和最初和最后半径大小来指定。为了取得该坐标值，坐标数据生成部3006根据分配的图像的图像特征量的对象信息来使用坐标值。
若坐标数据的生成结束，则剧本的生成完成(S3007)，电影短片生成再现装置3000将生成的剧本、即电影短片存储在数据库中，结束电影短片生成处理。
另外，在步骤S3002、S3003可使用音乐特征量，也可使用图像特征量来代替音乐特征量。即，在步骤S3002，使用从图像中抽取的代表色作为图像特征量，在代表色为“红”的情况下，选出变化激烈的特效块，在代表色为“蓝”的情况下，选出变化缓慢的特效块。
另外，在步骤S3003中，根据图像特征量来决定特效块的参数。
例如，在代表色为“红”的情况下，为了生成跳动感的内容，取色调＝正常、背景颜色＝白、执行时间＝短、动作＝大、照片检索规则＝时间系列等。
因此，根据本实施方式11的发明，特效的连接变得流畅，可产生有趣味的娱乐性更高的视觉效果。
(实施方式12)
图53是表示根据本发明实施方式的电影短片生成再现系统一实施方式的构成框图。另外，向与上述各实施方式一样的部分附加相同记号，并省略说明。
本实施方式12的电影短片生成再现系统与电影短片生成再现装置不同，将上述各实施方式中所示再现部1103与显示装置1002一起构成为电影短片再现装置1400，在电影短片生成再现装置1001e中具备通信部1401，这与上述各实施方式不同，其他一样。
电影短片生成再现装置1001e的通信部1401经网络1402与外部装置进行通信。另一方面，电影短片再现装置1400具备电影短片选择部1110、显示部1111、电影短片再现部1112、存储部1403和通信部1404。
电影短片选择部1110向用户提供用于选择要再现的电影短片的GUI。电影短片再现部1112从存储部1403中读出所选择的电影短片的剧本以及该剧本所定义的静止图像和音乐，对剧本进行解码后再现电影短片。通信部1404经网络1402与外部装置进行通信。存储部1403暂时保持从外部装置经通信部1404接收到的数据。显示部1111是LCD等用于显示视频的设备，显示所再现的电影短片。
下面，说明通过上述构成的电影短片再现装置1400再现电影短片时的动作。
电影短片选择部1110经通信部1404和网络1402取得登录在电影短片生成再现装置1001e的数据库部1102中的电影短片的列表，显示给用户。若用户选择想看的电影短片，则电影短片选择部1110经通信部1404将包含姓名的信息发送到电影短片生成再现装置1001e，要求发送选择的电影短片的剧本、音乐和静止图像。
电影短片生成再现装置1001e的通信部1401从数据库部1102中读出电影短片再现装置1400要求的电影短片的剧本、音乐和静止图像，发送到电影短片再现装置1400。
接收所要求的电影短片的剧本、音乐和静止图像的电影短片再现装置1400的通信部1404，将该剧本、音乐和静止图像存储在存储部1403中。接着，电影短片再现部1112从存储部1403中读出所选择的电影短片的剧本、静止图像和音乐，对剧本进行解码后再现电影短片，输出到显示部1111。
如上所述，通过与电影短片生成再现装置不同地将再现部1103与显示装置1002一起构成为电影短片再现装置1400，用户可仅携带电影短片再现装置1400。另外，也可将电影短片再现装置1400构成为便携电话，可轻便地携带。结果，可使在外出目的地聚会的人看见在家里制作的电影短片，乐趣、快乐飞跃提升。
(实施方式13)
下面，说明象上述各实施方式1～12那样构成的电影短片生成再现装置再现电影短片时的其他实施方式。
图54是表示根据本发明的电影短片生成再现装置的其他实施方式的构成框图。另外，向与上述各实施方式1～12一样的部分附加相同序号，并省略说明。
电影短片生成再现装置1001f与作为显示装置的电视机1020连接，具备接收遥控器1004的操作信号的遥控器接收部(未图示)。
电影短片生成再现装置1001f的再现部1103将再现的电影短片调制成RF信号后输出到电视机1020中。这里，RF信号是调制到电视频道的频带上的信号。通常，使用U/VHF频段来作为频带，与电视机的频道(例如5、7等)对应。
电视机1020具备频道选择部1021、显示部1022和接收遥控器1004的操作信号的遥控器接收部(未图示)，在频道选择部1021上连接天线1003。
频道选择部1021具备调谐器和解调电路等(未图示)，接收从电影短片生成再现装置1001f输入的RF信号和来自天线1003的信号，选择期望的频率后输出到显示部1022中。显示部1022是LCD、阴极射线管等显示视频的设备，用于显示再现的电影短片。
遥控器1004具备菜单按钮1041和多个频道按钮1042。用户通过遥控器1004来进行操作，由菜单按钮1041来选择电影短片的主题。另外，向频道按钮1042的预定频道(例如5)分配从电影短片生成再现装置1001f输入的RF信号，由频道按钮1042进行电影短片与通常的电视节目的选择。
说明如此构成的电影短片生成再现装置1001f再现电影短片时的动作。
用户通过遥控器1004的频道按钮1042，按下分配从电影短片生成再现装置1001f输入的RF信号的频道(例如5)。接收RF信号后，再现部1103的电影短片选择部1110取得登录在数据库部1102中的主题，作为主题选择画面，调制成RF信号后输出到电视机1020上。后面详细说明该主题的选择。
用户通过菜单按钮1041从显示于显示部1022中的主题选择画面中选择想看的主题。接收选择后，再现部1103的电影短片选择部1110指示读出对应于该选择的主题的电影短片的剧本和其所定义的音乐和静止图像。电影短片再现部1112解码从数据库1109中读出的剧本，用读出的音乐和静止图像来再现电影短片，调制成RF信号后输出到电视机1020。
下面，说明主题的选择。
图55是主题选择画面的显示形象图，图56是用户选择画面的形象图。
主题选择中有手动选择和自动选择，用户可事先选择任一种。
在手动选择中，有用户使用事先设定的主题(默认设定)的情况和用户每次选择的情况。作为默认设定的设定例，是上次的主题、常用主题等固定主题。另一方面，在用户每次选择的情况下，例如图55所示，通过菜单按钮1041从所提示的多个主题中进行选择。作为主题，如上述实施方式1中说明的那样，例如有时间系列的[去年的今天][最近的事件]、作为事件的[圣诞节][运动会]等主题。
另外，在自动选择中，有主题因日期不同而变化的情况、及主题因看见的人而变化的情况。在主题因日期不同而变化的情况下，选择例如对应于定期事件(生日、圣诞节等)日期的主题。另一方面，在主题因看见的人而变化的情况下，例如在图56所示用户选择画面中选择用户名，以选择的用户生成的电影短片或该用户拍摄的电影短片为中心进行再现。
如上所述，因为从电影短片生成再现装置1001f向预定频道分配再现输出，所以用户操作上不区别电视节目和电影短片，按与电视机操作大致相同的步骤来视听电影短片。另外，在所谓冲浪(没有明确目的频繁切换频道来搜索有趣的节目)的感觉下无缝地选择、视听电视节目和电影短片，所以可节省用户的操作手续。
另外，上述动作的说明以用户每次通过搬运选择来选择主题的情况为例。在此外的情况下，若用户通过频道按钮1042按下分配了从电影短片生成再现装置1001f来的RF信号的频道，则电影短片再现部1112马上再现电影短片，调制成RF信号后输出到电视机1020上。
另外，也可按下分配给电影短片的频道按钮，切换再现中的电影短片。此时，用户可享受不会厌烦的电影短片。
另外，将电视机1020的显示部1022构成为子母画面，例如使子画面显示电影短片的再现，相反也可由母画面来显示。
(实施方式14)
图57是表示根据本发明的电影短片生成再现装置的其他实施方式的构成框图。向与上述实施方式13一样的部分附加相同序号，并省略说明。
本实施方式14与上述实施方式13的不同之处在于设置多个来自电影短片生成再现装置1001g的RF信号输出，其他一样。
电影短片生成再现装置1001g的再现部1103将再现的电影短片调制成RF信号后输出到电视机1020，设置多个该RF信号输出。
电视机1020的频道选择部1021接收从电影短片生成再现装置1001g输入的多个RF信号和来自天线1003的信号，选择期望的频率后输出到显示部1022。
在遥控器1004的频道按钮1042中，对预定的多个频道(例如5、7等)分别分配从电影短片生成再现装置1001g输入的多个RF信号。即，向例如不同的频道分配对应于不同主题的电影短片。另外，菜单按钮1041向每个频道进行主题选择。
如上所述，因为设置多个来自电影短片生成再现装置1001g的RF信号输出，所以在改变频道时，能够以切换电影短片等进一步接近电视机的操作感觉来视听电影短片。
另外，每次按下选择中的频道按钮1042，都可能不改变主题地切换再现中的电影短片。即，由频道按钮1042切换主题选择，每次按下相同按钮，切换电影短片。此时用户可不厌烦地享受电影短片。
(实施方式15)
图58是表示根据本发明的电影短片生成再现装置的其他实施方式的构成框图。向与上述实施方式13一样的部分附加相同序号，并省略说明。
本实施方式15与上述实施方式13的不同之处在于通过视频信号来进行来自电影短片生成再现装置1001h的电影短片的再现输出，其他一样。
电影短片生成再现装置1001h的再现部1103将再现的电影短片变换为视频信号，并输出到电视机1020。
电视机1020通过视频输入端子(未图示)接收从电影短片生成再现装置1001h输入的视频信号。
遥控器1004具备菜单按钮1041和电影短片按钮1043。用户通过遥控器1004进行操作，通过菜单按钮1041来选择电影短片的主题。另外，通过电影短片按钮1043来视听电影短片。即，若按下电影短片按钮1043，则电视机1020选择并显示从电影短片生成再现装置1001h输入的视频信号。这里，每次按下电影短片按钮1043都可能切换再现中的电影短片。此时，用户可不厌烦地享受电影短片。
如上所述，因为用视频信号来进行来自电影短片生成再现装置1001h的电影短片的再现输出，所以可以操作电视机的感觉来视听电影短片。
另外，在上述实施方式13～15中，分割成电影短片生成再现装置1001e～1001h和电视机1020来单独构成，但不限于此，例如也可将全部构成一体。
另外，上述各实施方式中所述的电影短片生成再现装置1001a～1001h、2001～2004也可实现为例如家庭服务器、个人计算机、便携电话装置、便携信息终端、汽车导航装置等。
另外，在上述各实施方式中，从记录了静止图像的媒体输入静止图像，但也可以象带相机的便携电话机那样由本装置拍摄的静止图像、添加到邮件中发送来的静止图像、经网络接收到的静止图像等。即，只要是取得的静止图像，则不管取得方式如何，都包含在本申请发明的范围内。
并且，在上述实施方式中，根据成为BGM的音乐的时间长度来排列特效和特效块，但该时间长度也可以是通过GUI等由用户指定的时间长度。
产业上的可利用性
本发明的电影短片生成再现装置适于在个人计算机、便携电话机等便携信息终端装置中，从用户所拥有的庞大的静止图像和所期望的音乐中生成并进行再现提高娱乐性的短篇的视频。

Claims (40)

1、一种电影短片生成再现装置，使用至少1个静止图像来生成视频并进行再现，其特征在于：具备
数据库单元，存储所述静止图像、表示所述静止图像的特征的图像特征量、表示所生成视频的整体图像的风格、表示该风格的特征的风格特征量、音乐及表示该音乐的特征的音乐特征量；
选择单元，用于选择在生成视频时使用的所述静止图像、所述音乐及所述风格中的任意一个；
特征量读出单元，从所述数据库单元中读出由所述选择单元选择的所述静止图像、所述音乐及所述风格中的任意一个对应的特征量；
特征量变换单元，将由所述特征量读出单元读出的所述特征量变换为其他特征量；
决定单元，根据由所述特征量变换单元变换的所述其他特征量，分别决定生成视频时使用的所述静止图像、所述音乐及所述风格内、未由所述选择单元选择的所述静止图像、所述音乐及所述风格；及
剧本生成单元，根据由所述选择单元选择的所述静止图像、所述音乐及所述风格中的任意一个以及由所述决定单元决定的所述静止图像、所述音乐及所述风格，生成视频的剧本。
2、如权利要求1所述的电影短片生成再现装置，其特征在于：
在由所述选择单元选择了静止图像的情况下，所述特征量变换单元将由所述特征量读出单元读出的图像特征量变换为音乐特征量及风格特征量。
3、如权利要求1所述的电影短片生成再现装置，其特征在于：
在由所述选择单元选择了音乐的情况下，所述特征量变换单元将由所述特征量读出单元读出的音乐特征量变换为图像特征量和风格特征量。
4、如权利要求1所述的电影短片生成再现装置，其特征在于：
在由所述选择单元选择了风格的情况下，所述特征量变换单元将由所述特征量读出单元读出的风格特征量变换为图像特征量和音乐特征量。
5、如权利要求1所述的电影短片生成再现装置，其特征在于：
所述数据库单元还存储生成的视频的主题和表示该主题的特征的主题特征量，
所述选择单元选择生成视频时所用的所述静止图像、所述音乐、所述风格和所述主题中的任意一个，
所述特征量读出单元从所述数据库单元中读出由所述选择单元选择的所述静止图像、所述音乐、所述风格和所述主题中的任意一个的特征量。
6、如权利要求2所述的电影短片生成再现装置，其特征在于：
所述特征量变换单元将由所述特征量读出单元读出的主题特征量变换为图像特征量、音乐特征量及风格特征量。
7、如权利要求1所述的电影短片生成再现装置，其特征在于：
所述电影短片生成再现装置还具备取得静止图像的静止图像取得单元；及从由所述静止图像取得单元取得的静止图像中抽取图像特征量的图像特征量抽取单元。
8、如权利要求7所述的电影短片生成再现装置，其特征在于：
所述电影短片生成再现装置还具备从由所述静止图像取得单元取得的静止图像中抽取对象信息的对象信息抽取单元，该对象信息表示该静止图像中所含对象的信息。
9、如权利要求8所述的电影短片生成再现装置，其特征在于：
所述风格具有包含规定用哪种视觉效果来再现成为对象的不少于1个静止图像的预定数量的特效和属性的参数，
所述剧本生成单元将作为所述特效的对象的静止图像的所述对象信息与所述特效相关联。
10、如权利要求9所述的电影短片生成再现装置，其特征在于：
所述剧本生成单元具有：
特效配置单元，从所述风格具备的一组特效中，逐个选择1个特效，并在时间轴上依次配置所选择的特效；
静止图像分配单元，根据所述对象信息，向所述特效配置单元配置在时间轴上的每个特效，分配满足该特效要求的图像特征量的静止图像；及
参数设定单元，通过记述表示对与所述特效配置单元配置在时间轴上的特效一致的对象的处理的参数来生成剧本，将生成的剧本登录在所述数据库单元中。
11、如权利要求10所述的电影短片生成再现装置，其特征在于：
所述特效要求的图像的特征量是对象的特征量。
12、如权利要求10所述的电影短片生成再现装置，其特征在于：
所述对象的特征是对象的种类、颜色、形状和数量中的至少一个。
13、如权利要求10所述的电影短片生成再现装置，其特征在于：
所述电影短片生成再现装置还具备特征点抽取单元，抽取表示对象中包含的特征部分的特征点，将抽取的特征点登录在所述对象信息中；
所述参数设定单元通过记述表示对对象中包含的特征点位置的处理的参数来生成剧本。
14、如权利要求10所述的电影短片生成再现装置，其特征在于：
所述数据库单元还存储用于特定个人的脸的个人认证用脸信息，
所述电影短片生成再现装置还具有脸认证单元，在所述对象信息抽取单元抽取的对象是人的脸的情况下，用所述个人认证用脸信息认证对象的姓名，将认证的对象的姓名登录在所述对象信息中，
所述参数设定单元通过记述表示对由姓名特定的对象的处理的参数来生成剧本。
15、如权利要求14所述的电影短片生成再现装置，其特征在于：
所述电影短片生成再现装置还具有个人信息存储单元，存储将个人的姓名与该个人的属性相对应的个人信息；及个人信息检索单元，从所述个人信息中检索与脸认证单元认证的对象姓名对应的个人的属性，将检索到的个人的属性登录在所述对象信息中，
所述参数设定单元通过记述表示对由个人属性特定的对象的处理的参数来生成剧本。
16、如权利要求1所述的电影短片生成再现装置，其特征在于：
所述风格具有包含规定用哪种视觉效果来再现成为对象的不少于1个静止图像的预定数量的特效和属性的参数，
所述剧本生成单元根据所述风格具有的所述属性和所述特效具有的属性来进行所述特效的排列。
17、如权利要求16所述的电影短片生成再现装置，其特征在于：
所述特效是仅由1个特效构成的基本特效和由多个基本特效的组成构成的特效块中的任意一个，
所述剧本生成单元根据所述风格具有的所述属性和所述特效具有的属性，来进行所述基本特效或所述特效块的排列。
18、如权利要求16所述的电影短片生成再现装置，其特征在于：所述剧本生成单元向所述特效分配对应于该特效种类的静止图像。
19、如权利要求1所述的电影短片生成再现装置，其特征在于：
所述电影短片生成再现装置还具备电影短片选择单元，用于选择再现的视频；及
电影短片再现单元，从所述数据库单元中读出由所述电影短片选择单元选择的视频的剧本、以及所述剧本中所定义的所述静止图像和上述音乐，并根据所述剧本来再现所述视频。
20、如权利要求19所述的电影短片生成再现装置，其特征在于：
所述电影短片生成再现装置还具备显示单元，用于显示由所述电影短片再现单元再现的所述视频。
21、如权利要求19所述的电影短片生成再现装置，其特征在于：
所述电影短片生成再现装置还具备操作单元，用于操作该装置和连接于该装置上的显示所述视频用的显示装置，
所述电影短片再现单元在将再现所述视频的信号调制成RF信号后输出，而且按下在所述操作单元中设置的分配所述RF信号的规定频道按钮时，开始所述视频的再现。
22、如权利要求21所述的电影短片生成再现装置，其特征在于：
在每次按下所述频道按钮时，所述电影短片再现单元都将正进行再现的所述视频切换成其他视频。
23、如权利要求22所述的电影短片生成再现装置，其特征在于：
所述电影短片再现单元同时再现多个所述视频，并输出多个所述RF信号。
24、如权利要求19所述的电影短片生成再现装置，其特征在于：
所述电影短片生成再现装置还具备操作单元，用于操作该装置和连接于该装置上的显示所述视频用的显示装置，
所述电影短片再现单元在将再现所述视频的信号调制成视频信号后输出，而且按下设置在所述操作单元中的分配所述视频信号的预定按钮时，开始所述视频的再现。
25、如权利要求24所述的电影短片生成再现装置，其特征在于：
在每次按下所述按钮时，所述电影短片再现单元都将正进行再现的所述视频切换成其他视频。
26、如权利要求1所述的电影短片生成再现装置，其特征在于：
所述电影短片生成再现装置是家庭服务器。
27、一种电影短片生成再现装置，使用至少1个静止图像来生成视频并进行再现，其特征在于：具备
操作单元，用于操作该装置和连接于该装置上的显示视频用的显示装置；及
电影短片再现单元，在将再现视频的信号调制成RF信号后输出，而且按下设置在所述操作单元中的分配所述RF信号的预定按钮时，开始视频的再现。
28、一种电影短片生成再现装置，使用至少1个静止图像来生成视频并进行再现，其特征在于：具备
数据库单元，存储所述静止图像、表示所述静止图像的特征的图像特征量、音乐、表示所述音乐特征的音乐特征量、及规定用哪种视觉效果，来再现成为对象的不少于1个静止图像的特效；
选择单元，用于选择在生成视频时使用的所述静止图像和所述音乐中的任意一个；
特征量读出单元，从所述数据库单元中读出由所述选择单元选择的表示所述静止图像和所述音乐中的任意一个特征的特征量；
特征量变换单元，将由所述特征量读出单元读出的所述特征量变换为其他特征量；
决定单元，根据由所述特征量变换单元变换的所述其他特征量，分别决定生成视频时使用的所述静止图像和所述音乐内、未由所述选择单元选择的所述静止图像和所述音乐；
风格生成单元，根据由所述选择单元选择的所述静止图像和所述音乐中的任意一个以及由所述决定单元决定的所述静止图像和所述音乐，来决定生成视频时所用的预定数量的所述特效和参数，生成表示生成视频整体图像的风格；及
剧本生成单元，根据由所述选择单元选择的所述静止图像和所述音乐中的任意一个、由所述决定单元决定的所述静止图像和所述音乐、及由所述风格生成单元生成的所述风格，来生成视频的剧本。
29、一种电影短片生成再现装置，使用至少1个静止图像来生成视频并进行再现，其特征在于，具备：
取得静止图像的静止图像取得单元；
存储所述静止图像的数据库单元；及
对象信息抽取单元，从由所述静止图像取得单元取得的静止图像中抽取该静止图像中包含的对象，将包含抽取的对象位置的对象信息登录在所述数据库单元中。
30、一种电影短片生成再现装置，使用至少1个静止图像来生成视频并进行再现，其特征在于：具备
输入单元，输入从外部输入的静止图像；
数据库单元，存储所述静止图像、具有对用哪种视觉效果来再现成为对象的不少于的1个静止图像进行规定的预定数量的特效和参数的风格、及用于生成的视频的音乐；及
剧本生成单元，根据预先决定的风格和音乐的特征，生成视频的剧本；
所述输入单元具有对象信息抽取单元，在每次从外部输入静止图像时，抽取该静止图像中包含的对象，将包含抽取的对象位置的对象信息登录在所述数据库单元中；
所述剧本生成单元具有：
特效配置单元，从存储在所述数据库单元中的一组特效中，逐个选择1个特效，并在时间轴上依次配置所选择的特效；
静止图像分配单元，根据登录在所述数据库单元中的对象信息，向所述特效配置单元配置在时间轴上的每个特效，分配满足该特效要求的图像特征量的静止图像；及
参数设定单元，通过记述表示对与所述特效配置单元配置在时间轴上的特效一致的对象的处理的参数来生成剧本，将生成的剧本登录在所述数据库单元中。
31、如权利要求30所述的电影短片生成再现装置，其特征在于：
所述特效要求的图像的特征量是对象的特征量。
32、如权利要求31所述的电影短片生成再现装置，其特征在于：
所述对象的特征是对象的种类、颜色、形状和数量中的至少一个。
33、如权利要求30所述的电影短片生成再现装置，其特征在于：
所述输入单元还具备特征点抽取单元，抽取表示对象中包含的特征部分的特征点，将抽取的特征点登录在所述对象信息中，
所述参数设定单元通过记述表示对对象中包含的特征点位置的处理的参数来生成剧本。
34、如权利要求30所述的电影短片生成再现装置，其特征在于：
所述数据库单元还存储用于特定个人的脸的个人认证用脸信息，
所述输入单元还具有脸认证单元，在所述对象信息抽取单元抽取的对象是人的脸的情况下，用所述个人认证用脸信息认证对象的姓名，将认证的对象的姓名登录在所述对象信息中，
所述参数设定单元通过记述表示对由姓名特定的对象的处理的参数来生成剧本。
35、如权利要求34所述的电影短片生成再现装置，其特征在于：
所述电影短片生成再现装置还具有个人信息存储单元，存储将个人的姓名与该个人的属性相对应的个人信息，
所述输入单元还具有个人信息检索单元，从所述个人信息中检索与脸认证单元认证的对象姓名对应的个人的属性，将检索到的个人的属性登录在所述对象信息中，
所述参数设定单元通过记述表示对由个人属性特定的对象的处理的参数来生成剧本。
36、一种电影短片生成再现系统，具备使用至少1个静止图像来生成视频并进行再现的电影短片生成再现装置、及经网络与所述电影短片生成再现装置连接的电影短片再现装置，其特征在于：
所述电影短片生成再现装置具备：
数据库单元，存储所述静止图像、所述静止图像的图像特征量、表示所生成视频的整体图像的风格、所述风格的风格特征量、音乐和所述音乐的音乐特征量；
选择单元，用于选择在生成视频时使用的所述静止图像、所述音乐及所述风格中的任意一个；
特征量读出单元，从所述数据库单元中读出由所述选择单元选择的所述静止图像、所述音乐及所述风格中的任意一个对应的特征量；
特征量变换单元，将由所述特征量读出单元读出的所述特征量变换为其他特征量；
决定单元，根据由所述特征量变换单元变换的所述其他特征量，分别决定生成视频时使用的所述静止图像、所述音乐及所述风格内、未由所述选择单元选择的所述静止图像、所述音乐及所述风格；
剧本生成单元，根据由所述选择单元选择的所述静止图像、所述音乐及所述风格中的任意一个以及由所述决定单元决定的所述静止图像、所述音乐及所述风格，生成视频的剧本；及
通信单元，从所述数据库单元中读出由所述电影短片再现装置选择的视频的剧本、以及所述剧本中所定义的所述静止图像和所述音乐，经所述网络发送到所述电影短片再现装置，
所述电影短片再现装置具备：
电影短片选择单元，用于选择再现的视频；
通信单元，经所述网络与所述电影短片生成再现装置进行通信；
存储单元，暂时保持由所述电影短片生成再现装置接收到的视频的剧本、以及所述剧本中所定义的所述静止图像和所述音乐；
电影短片再现单元，从所述存储单元中读出由所述电影短片选择单元选择的视频的剧本、以及所述剧本中所定义的所述静止图像和所述音乐，根据所述剧本来再现所述视频；及
显示单元，用于显示由所述电影短片再现单元再现的所述视频。
37、一种电影短片生成再现方法，使用至少1个静止图像来生成视频并进行再现，其特征在于：包含
选择步骤，用于选择在生成视频时使用的静止图像、音乐和表示生成的视频整体图像的风格中的任意一个；
特征量读出步骤，读出由所述选择步骤选择的所述静止图像、所述音乐及所述风格中的任意一个对应的特征量；
特征量变换步骤，将由所述特征量读出步骤读出的所述特征量变换为其他特征量；
决定步骤，根据由所述特征量变换步骤变换的所述其他特征量，分别决定生成视频时使用的所述静止图像、所述音乐及所述风格内、未由所述选择步骤选择的所述静止图像、所述音乐及所述风格；及
剧本生成步骤，根据由所述选择步骤选择的所述静止图像、所述音乐及所述风格中的任意一个以及由所述决定步骤决定的所述静止图像、所述音乐及所述风格，生成视频的剧本。
38、一种电影短片生成再现方法，使用至少1个静止图像来生成视频并进行再现，其特征在于：包含
输入步骤，输入从外部输入的静止图像；及
剧本生成步骤，根据预先决定的表示所生成视频的整体图像的风格和用于所生成视频的音乐的特征，生成视频的剧本，
所述输入步骤包含对象信息抽取步骤，在每次从外部输入静止图像时，抽取该静止图像中包含的对象，生成包含所抽取对象的位置的对象信息，
所述剧本生成步骤包含：
特效配置步骤，从一组特效中逐个选择1个特效，并在时间轴上依次配置所选择的特效；
静止图像分配步骤，根据所述对象信息，向所述特效配置步骤配置在时间轴上的每个特效，分配满足该特效要求的图像特征的静止图像；及
参数设定步骤，通过记述表示对与所述特效配置步骤配置在时间轴上的特效一致的对象的处理的参数来生成剧本。
39、一种程序，用于使用至少1个静止图像来生成视频并进行再现，其特征在于：在计算机中执行
选择步骤，用于选择在生成视频时使用的静止图像、音乐和表示生成的视频整体图像的风格中的任意一个；
特征量读出步骤，读出由所述选择步骤选择的所述静止图像、所述音乐及所述风格中的任意一个对应的特征量；
特征量变换步骤，将由所述特征量读出步骤读出的所述特征量变换为其他特征量；
决定步骤，根据由所述特征量变换步骤变换的所述其他特征量，分别决定生成视频时使用的所述静止图像、所述音乐及所述风格内、未由所述选择步骤选择的所述静止图像、所述音乐及所述风格；及
剧本生成步骤，根据由所述选择步骤选择的所述静止图像、所述音乐及所述风格中的任意一个以及由所述决定步骤决定的所述静止图像、所述音乐及所述风格，生成视频的剧本。
40、一种程序，用于使用至少1个静止图像来生成视频并进行再现，其特征在于：在计算机中执行
输入步骤，输入从外部输入的静止图像；及
剧本生成步骤，根据预先决定的表示所生成视频的整体图像的风格和用于所生成视频的音乐的特征，生成视频的剧本，
所述输入步骤包含对象信息抽取步骤，在每次从外部输入静止图像时，抽取该静止图像中包含的对象，生成包含所抽取对象的位置的对象信息；
所述剧本生成步骤包含：
特效配置步骤，从一组特效中逐个选择1个特效，并在时间轴上依次配置所选择的特效；
静止图像分配步骤，根据所述对象信息，向所述特效配置步骤配置在时间轴上的每个特效，分配满足该特效要求的图像特征的静止图像；及
参数设定步骤，通过记述表示对与所述特效配置步骤配置在时间轴上的特效一致的对象的处理的参数来生成剧本。
CNB200310118047XA 2002-11-25 2003-11-24 电影短片生成再现装置及其方法 Expired - Lifetime CN100365618C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002341292 2002-11-25
JP341292/2002 2002-11-25
JP167825/2003 2003-06-12
JP2003167825 2003-06-12

Publications (2)

Publication Number Publication Date
CN1503159A true CN1503159A (zh) 2004-06-09
CN100365618C CN100365618C (zh) 2008-01-30

Family

ID=32232734

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200310118047XA Expired - Lifetime CN100365618C (zh) 2002-11-25 2003-11-24 电影短片生成再现装置及其方法

Country Status (3)

Country Link
US (1) US7711241B2 (zh)
EP (1) EP1422668B1 (zh)
CN (1) CN100365618C (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382973B2 (en) 2004-11-08 2008-06-03 Fujitsu Limited Data processing apparatus, information processing system and computer-readable recording medium recording selecting program
CN100440199C (zh) * 2004-12-27 2008-12-03 索尼株式会社 信息处理设备和方法
CN101178923B (zh) * 2006-11-09 2010-06-02 索尼株式会社 信息处理装置、信息处理方法和程序
CN1755695B (zh) * 2004-09-14 2011-07-27 索尼株式会社 信息处理设备、方法和程序
CN102163339A (zh) * 2010-02-19 2011-08-24 索尼公司 信息处理装置、信息处理方法和程序
CN101269269B (zh) * 2007-03-23 2011-08-31 铋象电子股份有限公司 用以制作跳舞类电子游戏的前制系统以及前制方法
CN102739975A (zh) * 2011-05-17 2012-10-17 新奥特（北京）视频技术有限公司 一种通过数据阵列实现动态二维字幕的方法及系统
CN101727943B (zh) * 2009-12-03 2012-10-17 无锡中星微电子有限公司 一种图像配乐的方法、图像配乐装置及图像播放装置
CN104392737A (zh) * 2013-08-09 2015-03-04 株式会社理光 显示系统、信息终端、显示设备和回放控制方法
WO2015058643A1 (en) * 2013-10-22 2015-04-30 Tencent Technology (Shenzhen) Company Limited Devices, terminals and methods for multimedia processing
CN108196813A (zh) * 2017-12-27 2018-06-22 广州酷狗计算机科技有限公司 添加音效的方法和装置
CN108495036A (zh) * 2018-03-29 2018-09-04 维沃移动通信有限公司 一种图像处理方法及移动终端
CN109309776A (zh) * 2018-08-13 2019-02-05 张利军 基于动感程度的片尾曲选择系统
CN111667588A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 人物图像处理方法、装置、ar设备以及存储介质
CN112862927A (zh) * 2021-01-07 2021-05-28 北京字跳网络技术有限公司 用于发布视频的方法、装置、设备和介质
CN117336539A (zh) * 2023-09-28 2024-01-02 北京风平智能科技有限公司 一种用于短视频ip打造的视频脚本生产方法及系统

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328134A (ja) * 2003-04-22 2004-11-18 Fuji Photo Film Co Ltd 画像処理サーバ
JP2005044297A (ja) * 2003-07-25 2005-02-17 Sony Corp オーディオ再生方法及び装置
JP4221308B2 (ja) * 2004-01-15 2009-02-12 パナソニック株式会社 静止画再生装置、静止画再生方法及びプログラム
JP2005215750A (ja) * 2004-01-27 2005-08-11 Canon Inc 顔検知装置および顔検知方法
JP2005303908A (ja) * 2004-04-15 2005-10-27 Fuji Photo Film Co Ltd 画像編集装置，方法およびプログラム
JP4274087B2 (ja) * 2004-09-14 2009-06-03 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4581924B2 (ja) * 2004-09-29 2010-11-17 株式会社ニコン 画像再生装置、および画像再生プログラム
US20060117047A1 (en) * 2004-11-29 2006-06-01 Flick Software Inc. Apparatus and method for presenting media content files
US8249426B2 (en) 2004-12-13 2012-08-21 Muvee Technologies Pte Ltd Method of automatically editing media recordings
JP3862027B2 (ja) * 2005-01-25 2006-12-27 船井電機株式会社 放送信号受信システム
US8145034B2 (en) 2005-03-02 2012-03-27 Sony Corporation Contents replay apparatus and contents replay method
JP2006244002A (ja) 2005-03-02 2006-09-14 Sony Corp コンテンツ再生装置およびコンテンツ再生方法
JP4200976B2 (ja) * 2005-03-23 2008-12-24 セイコーエプソン株式会社 コンテンツ再生装置及び電子機器
JP3974624B2 (ja) * 2005-05-27 2007-09-12 松下電器産業株式会社 表示装置
JP4926416B2 (ja) * 2005-06-15 2012-05-09 キヤノン株式会社 画像表示方法、プログラム、記録媒体及び画像表示装置
WO2007004139A2 (en) * 2005-06-30 2007-01-11 Koninklijke Philips Electronics N.V. Method of associating an audio file with an electronic image file, system for associating an audio file with an electronic image file, and camera for making an electronic image file
JP4244972B2 (ja) * 2005-08-02 2009-03-25 ソニー株式会社 情報処理装置，情報処理方法，およびコンピュータプログラム
EP1750270A3 (en) * 2005-08-05 2008-01-16 Samsung Electronics Co., Ltd. Method and apparatus for creating and reproducing media data in a mobile terminal
US8803886B2 (en) * 2005-08-12 2014-08-12 Sony Corporation Face image display, face image display method, and face image display program
TW200708983A (en) * 2005-08-16 2007-03-01 Benq Corp Mobile electronic device and data processing system utilizing the same
CN101313364B (zh) * 2005-11-21 2011-12-21 皇家飞利浦电子股份有限公司 使用数字图像的元数据和内容特征来找到相关音频伴奏的系统和方法
US20070124766A1 (en) * 2005-11-30 2007-05-31 Broadcom Corporation Video synthesizer
US7614012B1 (en) * 2005-12-22 2009-11-03 Adobe Systems Incorporated Methods and apparatus for graphical object implementation
JP4382045B2 (ja) 2006-01-24 2009-12-09 シャープ株式会社 データ出力装置、データ出力方法、データ出力プログラム、および記録媒体
JP4229127B2 (ja) * 2006-02-14 2009-02-25 ソニー株式会社 映像処理装置及びタイムコードの付加方法
US7656413B2 (en) * 2006-03-29 2010-02-02 Autodesk, Inc. Large display attention focus system
WO2008001905A1 (fr) * 2006-06-30 2008-01-03 Nikon Corporation Appareil photo numérique
CN101568969B (zh) * 2006-12-20 2013-05-08 高智83基金会有限责任公司 故事共享自动化
US20080215984A1 (en) * 2006-12-20 2008-09-04 Joseph Anthony Manico Storyshare automation
JP4971469B2 (ja) * 2007-03-15 2012-07-11 ジーブイビービー ホールディングス エス．エイ．アール．エル． シーングラフ間の自動美的遷移方法及び装置
US8578273B2 (en) * 2007-10-30 2013-11-05 Microsoft Corporation Slideshow method for displaying images on a display
US20090138332A1 (en) * 2007-11-23 2009-05-28 Dimitri Kanevsky System and method for dynamically adapting a user slide show presentation to audience behavior
EP2073193A1 (en) * 2007-12-17 2009-06-24 Sony Corporation Method and device for generating a soundtrack
JP4548495B2 (ja) * 2008-02-22 2010-09-22 ソニー株式会社 情報処理置および方法、並びにプログラム
CN103475837B (zh) 2008-05-19 2017-06-23 日立麦克赛尔株式会社 记录再现装置及方法
KR20100000336A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 컨텐츠 감상 경험을 기록/재생하는 멀티미디어 콘텐츠 처리방법 및 장치
US8261178B2 (en) * 2008-09-12 2012-09-04 Sony Corporation Audio data distribution system and method for generating a photo slideshow which automatically selects music
US8502878B2 (en) * 2008-12-12 2013-08-06 Olympus Imaging Corp. Imaging apparatus having a changeable operating mode responsive to an inclined orientation
JP4952739B2 (ja) * 2009-04-01 2012-06-13 株式会社ニコン 画像ファイル生成装置および画像再生装置
US8542982B2 (en) * 2009-12-22 2013-09-24 Sony Corporation Image/video data editing apparatus and method for generating image or video soundtracks
US8639095B2 (en) * 2012-06-29 2014-01-28 Apple, Inc. Intelligent browser for media editing applications
US20140362290A1 (en) * 2013-06-06 2014-12-11 Hallmark Cards, Incorporated Facilitating generation and presentation of sound images
WO2015024249A1 (en) * 2013-08-23 2015-02-26 Telefonaktiebolaget L M Ericsson(Publ) On demand information for video
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
CN105227864A (zh) * 2015-10-16 2016-01-06 南阳师范学院 一种图片生成动画并与视频片段拼接合成的视频编辑方法
US10956669B2 (en) * 2018-07-10 2021-03-23 Beijing Didi Infinity Technology And Development Co., Ltd. Expression recognition using character skipping
CN109862393B (zh) * 2019-03-20 2022-06-14 深圳前海微众银行股份有限公司 视频文件的配乐方法、系统、设备及存储介质
CN110324718B (zh) * 2019-08-05 2021-09-07 北京字节跳动网络技术有限公司 音视频生成方法、装置、电子设备及可读介质
CN113055738B (zh) * 2019-12-26 2022-07-29 北京字节跳动网络技术有限公司 视频特效处理方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0192875A (ja) 1988-08-05 1989-04-12 Toshiba Corp 画像情報検索装置
SE8902154L (sv) * 1989-06-15 1990-12-16 Johan Lindstroem Presentationsfoerfarande
JP3491981B2 (ja) 1994-07-29 2004-02-03 富士写真フイルム株式会社 マルチメディア・プレゼンテーション方法およびシステム，ならびにマルチメディア・データ作成方法およびシステム
US6243171B1 (en) * 1994-07-29 2001-06-05 Fuji Photo Film Co., Ltd. Laboratory system, method of controlling operation thereof, playback apparatus and method, film image management method, image data copying system and method of copying image data
JP4197192B2 (ja) 1996-09-20 2008-12-17 株式会社ニコン 画像再生装置
JPH10336558A (ja) 1997-06-02 1998-12-18 Sony Corp 編集装置
JPH1115993A (ja) 1997-06-19 1999-01-22 Minolta Co Ltd 画像情報処理用の装置及び記憶媒体
JPH11243484A (ja) 1997-07-03 1999-09-07 Canon Inc 画像処理装置、画像処理方法、フィルム画像表示システム、フィルム画像表示方法、フィルム画像表示装置、フィルム画像読み取り装置、再生装置、再生方法及び記憶媒体
US6072480A (en) * 1997-11-05 2000-06-06 Microsoft Corporation Method and apparatus for controlling composition and performance of soundtracks to accompany a slide show
KR100300993B1 (ko) * 1998-03-13 2001-09-06 윤종용 브로져블 정지화 및 슬라이드 쇼 기능들을 위한 부가 정보가 저장되는 저장 매체 및 이 기능들을 수행하기 위한 기록재생장치와 그방법
KR100313849B1 (ko) * 1998-03-17 2001-12-20 윤종용 정지영상기록및재생방법
JP2000295566A (ja) 1999-04-06 2000-10-20 Hitachi Ltd マルチメディアデータの編集再生方法、マルチメディアデータ編集再生システム及びマルチメディアデータ記録媒体
JP2001013939A (ja) 1999-06-29 2001-01-19 Hitachi Maxell Ltd デジタル画像情報の制作表示方法
US6859608B1 (en) * 1999-12-10 2005-02-22 Sony Corporation Auto title frames generation method and apparatus
JP4291963B2 (ja) 2000-04-13 2009-07-08 富士フイルム株式会社 画像処理方法
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
JP2002092019A (ja) 2000-09-18 2002-03-29 Nippon Telegr & Teleph Corp <Ntt> マルチメディアコンテンツ管理及びコーディネート支援方法と装置並びにその方法を実行するためのプログラムを記録した記録媒体
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
GB2372658A (en) 2001-02-23 2002-08-28 Hewlett Packard Co A method of creating moving video data from a static image

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1755695B (zh) * 2004-09-14 2011-07-27 索尼株式会社 信息处理设备、方法和程序
CN100416563C (zh) * 2004-11-08 2008-09-03 富士通株式会社 数据处理装置和信息处理系统
US7382973B2 (en) 2004-11-08 2008-06-03 Fujitsu Limited Data processing apparatus, information processing system and computer-readable recording medium recording selecting program
CN100440199C (zh) * 2004-12-27 2008-12-03 索尼株式会社 信息处理设备和方法
CN101178923B (zh) * 2006-11-09 2010-06-02 索尼株式会社 信息处理装置、信息处理方法和程序
CN101269269B (zh) * 2007-03-23 2011-08-31 铋象电子股份有限公司 用以制作跳舞类电子游戏的前制系统以及前制方法
CN101727943B (zh) * 2009-12-03 2012-10-17 无锡中星微电子有限公司 一种图像配乐的方法、图像配乐装置及图像播放装置
CN102163339B (zh) * 2010-02-19 2016-06-08 索尼公司 信息处理装置、信息处理方法和程序
CN102163339A (zh) * 2010-02-19 2011-08-24 索尼公司 信息处理装置、信息处理方法和程序
CN102739975B (zh) * 2011-05-17 2017-09-12 新奥特（北京）视频技术有限公司 一种通过数据阵列实现动态二维字幕的方法及系统
CN102739975A (zh) * 2011-05-17 2012-10-17 新奥特（北京）视频技术有限公司 一种通过数据阵列实现动态二维字幕的方法及系统
CN104392737A (zh) * 2013-08-09 2015-03-04 株式会社理光 显示系统、信息终端、显示设备和回放控制方法
CN104392737B (zh) * 2013-08-09 2017-10-13 株式会社理光 显示系统、信息终端、显示设备和回放控制方法
US10139984B2 (en) 2013-10-22 2018-11-27 Tencent Technology (Shenzhen) Company Limited Devices, storage medium, and methods for multimedia processing
WO2015058643A1 (en) * 2013-10-22 2015-04-30 Tencent Technology (Shenzhen) Company Limited Devices, terminals and methods for multimedia processing
CN108196813A (zh) * 2017-12-27 2018-06-22 广州酷狗计算机科技有限公司 添加音效的方法和装置
CN108196813B (zh) * 2017-12-27 2021-03-30 广州酷狗计算机科技有限公司 添加音效的方法和装置
CN108495036B (zh) * 2018-03-29 2020-07-31 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108495036A (zh) * 2018-03-29 2018-09-04 维沃移动通信有限公司 一种图像处理方法及移动终端
CN109309776B (zh) * 2018-08-13 2019-08-27 上海蒙彤文化传播有限公司 基于动感程度的片尾曲选择系统
CN109309776A (zh) * 2018-08-13 2019-02-05 张利军 基于动感程度的片尾曲选择系统
CN111667588A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 人物图像处理方法、装置、ar设备以及存储介质
CN112862927A (zh) * 2021-01-07 2021-05-28 北京字跳网络技术有限公司 用于发布视频的方法、装置、设备和介质
WO2022148266A1 (zh) * 2021-01-07 2022-07-14 北京字跳网络技术有限公司 用于发布视频的方法、装置、设备和介质
CN112862927B (zh) * 2021-01-07 2023-07-25 北京字跳网络技术有限公司 用于发布视频的方法、装置、设备和介质
CN117336539A (zh) * 2023-09-28 2024-01-02 北京风平智能科技有限公司 一种用于短视频ip打造的视频脚本生产方法及系统
CN117336539B (zh) * 2023-09-28 2024-05-14 北京风平智能科技有限公司 一种用于短视频ip打造的视频脚本生产方法及系统

Also Published As

Publication number Publication date
EP1422668A3 (en) 2007-08-29
US20040100487A1 (en) 2004-05-27
US7711241B2 (en) 2010-05-04
EP1422668A2 (en) 2004-05-26
CN100365618C (zh) 2008-01-30
EP1422668B1 (en) 2017-07-26

Similar Documents

Publication Publication Date Title
CN1503159A (zh) 电影短片生成再现装置及其方法
CN100348023C (zh) 数据处理设备
CN1270523C (zh) 视频图像回放方法及其设备
CN100346352C (zh) 图像显示装置和短片生成装置
CN1924777A (zh) 信息处理设备和方法以及程序
CN1991728A (zh) 信息处理设备、方法和程序
CN1135488C (zh) 图像处理设备，图像处理方法
CN1507266A (zh) 信息处理装置和方法、节目广播系统、存储媒体及程序
CN1967695A (zh) 信息处理装置、再现装置、通信方法、再现方法及计算机程序
CN1940910A (zh) 内容提供系统、装置和方法、内容分发服务器和接收终端
CN100339907C (zh) 同步重放系统及其记录器和播放器
CN1286024C (zh) 记录装置、记录方法和通信装置
CN1856993A (zh) 信息信号处理设备和信息信号处理方法
CN1156780C (zh) 电子邮件准备装置、终端装置、信息发送系统和程序记录媒体
CN1957327A (zh) 数据处理设备，数据处理方法，和数据处理程序
CN1538444A (zh) 图像记录/再现装置和其控制方法
CN1166170C (zh) 图象控制装置、图象控制系统及图象控制方法
CN1779715A (zh) 信息处理设备和方法及其程序
CN1833437A (zh) 节目推荐装置
CN1830018A (zh) 绑定交互式的多信道数字文档系统
CN1783140A (zh) 信息内容发送设备
CN101053035A (zh) 记录/再现设备和相关的内容显示控制方法
CN101067955A (zh) 内容列表显示方法及装置、内容选择和处理方法及装置
CN1871850A (zh) 再现设备、方法和程序
CN1816980A (zh) 记录装置、记录方法和程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
CI01 Publication of corrected invention patent application

Correction item: Inventor

Correct: Yamauchi Masaki

False: Sendai Maki

Number: 23

Page: 194

Volume: 20

CI02 Correction of invention patent application

Correction item: Inventor

Correct: Yamauchi Masaki

False: Sendai Maki

Number: 23

Page: The title page

Volume: 20

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: MAKI SENDAI TO: ZHISHU YAMAUCKI

ERR Gazette correction

Free format text: CORRECT: INVENTOR; FROM: MAKI SENDAI TO: ZHISHU YAMAUCKI

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20080130

CX01 Expiry of patent term