CN101141603A - 用于产生音乐与图像同步的动画的脚本的方法、程序和设备 - Google Patents

用于产生音乐与图像同步的动画的脚本的方法、程序和设备 Download PDF

Info

Publication number
CN101141603A
CN101141603A CNA200710149543XA CN200710149543A CN101141603A CN 101141603 A CN101141603 A CN 101141603A CN A200710149543X A CNA200710149543X A CN A200710149543XA CN 200710149543 A CN200710149543 A CN 200710149543A CN 101141603 A CN101141603 A CN 101141603A
Authority
CN
China
Prior art keywords
music
image
animation
script
produce
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200710149543XA
Other languages
English (en)
Other versions
CN101141603B (zh
Inventor
宫坂恭正
寺横素
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN101141603A publication Critical patent/CN101141603A/zh
Application granted granted Critical
Publication of CN101141603B publication Critical patent/CN101141603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供用于产生音乐与图像同步的动画的一个脚本的方法，包括步骤：提取音乐的特征；根据提取的音乐特征来提取音乐的结构，并根据该提取的结果将该音乐划分成多个成分；解析图像的特征；根据对应于该音乐成分的特征和该图像的特征将该音乐和该图像相互关联；并产生使该相互关联的音乐和图像能被同步再现的动画的脚本。根据本发明，由于根据图像的特征将音乐的成分与图像互相关联，因而与传统的同步再现相比，有可能同步地再现匹配该音乐内容的图像。

Description

用于产生音乐与图像同步的动画的脚本的方法、程序和设备
技术领域
本发明涉及用于产生与音乐同步的动画的技术。
背景技术
在日本专利申请公开No.2004-96617中，通过从音乐数据中提取节拍(tempo)信息并根据该节拍信息执行图像数据的剪接编辑来执行视频编辑。
国际专利申请的日本公开No.2005-506643公开了一种系统，其中：从输入的资料中解析一个描述符；根据该解析来限定样式信息；
根据该输入的资料、从输入的材料获得的描述符以及该样式信息来创建一个作品集；并通过执行该作品集来产生输出数据。在输入/输出中包括至少一个动画数据和至少一个音频数据，并且能通过解析该输入的资料来获得该描述符。也能够从用户接收该描述符。
发明内容
输出动画的质量在相当的程度上受到显示图像和音乐之间的时间的相关性的影响，例如受到把一个故事给到整个动画流程的影响、或受到输出与音乐以良好的定时匹配的图像的影响。
但是日本专利申请公开No.2004-96617展示了一种仅通过使用来自音乐的节拍信息来编辑视频的方法而没有说明使用除该节拍信息之外的音乐特征的方法。在国际专利申请No.2005-506643的日本公开中，虽然有可能产生与音乐同步的动画，但没有说明将以何种定时输出何种图像。
因此，本发明的目的是不仅通过简单地将动画与音乐的特征点同步而且通过使图像的属性同步来大大地提高输出动画的质量。
为了解决上述问题，用于为音乐与图像同步的动画产生一个脚本的方法包括步骤：提取音乐的特征；根据提取的音乐特征来提取音乐的结构，并根据该提取的结果将该音乐划分成多个成分；解析图像的特征；根据对应于该音乐成分的特征和该图像的特征将该音乐和该图像相互关联；以及，产生使该相互关联的音乐和图像能被同步再现的动画脚本。
根据本发明，由于根据图像的特征将音乐的一个成分与图像互相关联，因而与传统的同步再现相比，有可能同步地再现匹配该音乐内容的图像。
该方法可以进一步包括步骤：将具有共同或类似特征的图像分类到同一个图像组中；根据该音乐的乐句(phras es)的特征和该图像组的特征将音乐的乐句和图像组相互关联；以及，根据该音乐的一个成分的拍或弱拍(up beats)的特征和包括在与该音乐成分相互关联的图像组中的每一个图像的特征，来将该音乐成分的拍或弱拍与该图像相互关联。
该图像的特征可以包括关于该图像模糊的评估值；并且该方法可以进一步包括步骤：根据该评估值排除将要与该音乐成分相互关联的图像。
该方法可以进一步包括步骤：根据该动画脚本来产生可与该音乐同步再现的动画。
该方法可以进一步包括步骤：再现所产生的动画。
本发明还包括一种程序，用于产生音乐与图像同步的动画的脚本，该程序使运算单元执行上述的用于产生音乐与图像同步的动画的脚本的方法。
本发明还包括用于产生音乐与图像同步的动画的脚本的设备，该设备具有：存储装置，储存上述的用于产生音乐与图像同步的动画的脚本的程序；以及运算单元，执行存储在该存储装置中的用于产生音乐与图像同步的动画的一个脚本的程序。
根据本发明，由于根据图像的特征将音乐的一个成分与图像互相关联，因而与传统的同步再现相比，有可能同步地再现匹配该音乐内容的图像。
附图说明
图1是脚本创建设备的框图；
图2是图像处理装置的框图；
图3是根据第一实施例的脚本产生处理流程的流程图；
图4是展示音乐成分和图像组之间的相互关联(音乐乐句和图像事件之间的相互关联)的实例示意图；
图5是展示音乐成分和图像组之间的相互关联(音乐的反复部分和相似图像组之间的相互关联)的实例示意图；
图6是展示音乐成分和图像组之间的相互关联(音乐的每一乐句和每一相似图像组之间的相互关联)的实例示意图；
图7是展示音乐成分和图像组之间的相互关联(音乐的反复部分和针对该反复部分的一个图像组之间的相互关联)的实例示意图；
图8是表示拍或弱拍与图像之间的相互关联实例的示意图；
图9是表示脚本实例的示意图；
图10是表示根据第二实施例的脚本产生处理流程的流程图；
图11是动画创建设备的框图；
图12是表示动画产生处理流程的流程图；以及
图13是动画输出设备的框图。
具体实施方式
<第一实施例>
图1是根据本发明优选实施例的脚本创建设备的框图。
图像输入装置11是例如一个存储卡读出器，用于输入为创建脚本所需的图像组。
音乐输入装置12是例如一个存储卡读出器，用于输入为创建脚本所需的音乐。
输入装置13是例如键盘和鼠标，由用户用来执行各种系统操作。
脚本产生装置14用于解析输入的音乐、产生脚本或选择图像。
图2是包括在该脚本产生装置14中的图像处理装置20的框图。
图像处理装置20主要具有包括多个处理模块的个别处理部分21、全体处理部分22和控制部分23。
该个别处理部分21具有计算功能，利用图像以及伴随该图像的各种信息(图像拍摄日期等)的至少任何之一计算特征或个别评估值。在此情况中，“特征”是指与图像或图像组有关的信息，从该图像或图像组中能够获得唯一/绝对结果(例如指示图像边缘强度的模糊信息)。“个别评估值”是指与图像或图像组的输入有关的不明确/相对信息，从该图像或图像组获得的结果可以随着用户的爱好的不同而不同(例如，从模糊的角度来看指示图像的评估程度的一个模糊评估值)。下面的表1将示出该个别处理部分的实例。
[表1]
  个别处理部分的实例   功能的描述
  事件分类部分   使用包括在伴随该图像的信息中的图像提取时间来执行图像的分组并计算关于图像组的事件信息(特征的一个实例)
  事件重要性计算部分   利用事件信息或相似图像组信息(特征)来计算一个事件的重要性(个别评估值的实例)
  相似确定部分   从多个图像计算图像之间的相似性(特征)
  相似图像分组部分   利用图像之间的相似性计算相似图像组信息(特征)
  面部检测部分   从一个图像中检测图像中示出的人的面部并计算面部信息(特征)
  面部评估部分   从面部度信息中计算该图像的面部评估值(个别评估值)，指示从图像面部角度看到的一个评估值
  亮度确定部分   从图像中计算关于该图像的亮度信息(特征)
  模糊确定部分   从图像中计算关于该图像的模糊信息(特征)
  模糊评估值   从亮度信息中计算该图像的模糊评估值(个别评估值)，指示从图像模糊角度看到的一个评估值
该全体处理部分22具有计算功能，根据部分或全部上述特征的总和、部分或全部上述个别评估值的总和、或部分或全部上述特征以及上述个别评估值的总和来计算全体图像的评估值。
例如，根据事件信息(特征)、面部评估值(个别评估值)和亮度评估值(个别评估值)这三个数值来计算一个特定的图像的全体图像评估值(指示该图像是否适于例如进行打印的特定目的的数值)。
但是，本实施例不是在打印图像的假定下的实施例。因此，如果不需要全体图像的评估，则可以不提供该全体处理部分22。
控制部分23具有在图象处理装置20和外部设备(其它图像处理装置或将由操作员操作的操作装置)之间的接口，负责控制该个别处理部分21和该全体处理部分22来执行处理。
下面参考图3的流程图来描述由该动画脚本创建设备执行的动画脚本产生处理的流程。
在步骤S1从音乐中提取特征。音乐的特征涉及拍和弱拍、重音、音乐的节拍变化点等。一种常规方法能被用作提取音乐特征的方法。例如可以使用日本专利申请公开No.2003-263162和日本专利申请公开No.2005-027751中公开的方法。
在步骤S2，提取该音乐的结构(这种结构也可被包括在音乐的特征中)，并根据提取的结构把该音乐分成多个部分。例如可想到下列划分方法。
(1)以节拍变化的位置来分离该结构。
(2)按照从起始拍开始的8拍为一个成分来分离该结构。
(3)把该结构分成例如A曲调、B曲调和反复部分的所谓的几个“乐句”。
(4)在音乐具有等于或高于一个确定的门限的节拍的情况下把4拍视为一个成分并且在音乐具有等于或低于该确定的门限的节拍的情况下把8拍视为一个成分来分离该结构。
能使用一种常规方法作为用于获得一个乐句的方法。例如可以使用日本专利申请公开No.09-90978和日本专利申请公开No.2004-233965中公开的方法。
在步骤S3来解析图像。由图像处理装置20执行该图像的解析。
在步骤S4，根据步骤S2和S3的解析结果，把音乐的成分和图像组互相关联。即，以步骤S2确定的音乐的结构特征(例如音乐中的成分、以及A曲调、B曲调和反复部分的出现次序)和以步骤S3确定的图像组的特征(事件信息或属于特定图像组的图像所共有的图像拍摄日期)被相互对照查验，并根据该查验结果相互关联。下面是关联的具体实例。
例1)通过把已经分组的图像组顺序应用于从音乐的起始成分开始的各个乐句，来把音乐和图形相互关联，其中所述分组是根据基于图像拍摄的目标事件是否相同、例如把附带有指示同一图像拍摄日期的信息的图像分入同一图像组的分类来进行的(参见图4)。由于具有相同或相似属性(例如图像拍摄日期)的一组图像(相似图像组)被指定到一个乐句，因而有可能创建其中的图像在音乐的分离位置自然切换的一种用于再现的动画脚本。
例2)每个相似图像组与每个音乐成分关联(参见图5)。由于针对每一音乐成分来切换相似图像，因而有可能产生用于再现变化动画的脚本。
例3)相同的图像组被与相同的音乐乐句关联(参见图6)。通过反复地使用同一个图像组，有可能产生用于再现与音乐相称的动画的一个脚本。
例4)具有适于该音乐的反复部分的预定特征的图像组被与该反复部分关联(参见图7)。
例如，下列内容被认为是具有适于反复部分的特征的图像组。
(1)具有最高亮度的图像组
(2)以最近事件(或在最新图像拍摄日期)拍摄的一组图像
(3)其中用户预先登记的被示为一个主题的一组图像
任何如上所述的实例或全部这些实例的部分或全部的组合被标识作为具有适于该音乐的反复部分的特征并与该反复部分关联的图像组。
在步骤S5，对照步骤S3确定的每一图像的特征查验步骤S1确定的拍或弱拍。根据该查验的结果，在每一成分中的拍或弱拍与属于与该成分关联的图像组的各个图像关联。下列是可想到的具体实例。
例1)以图像与拍或弱拍同步地顺序显示的方式将对应图像组的各个图像与该拍或该弱拍关联。
例2)除了例1的方法之外，如果在图像组中的图像的数量小于在一乐句中的拍的数量，则重复地使用一个特定的图像或一个随机选择的图像。
例3)对于提取了其中图像的面部的一个图像组来说，与拍或弱拍完全同步地提供例如该面部的缩小或放大的显示效果。
例4)就将被加重的拍而言，在对应于包括该拍的音乐成分的图像组中的最亮的图像被标识并与该拍相互关联。
例5)不使用从该音乐中提取的所有拍。确定一个模式，并根据该模式指定图像。例如图8所示，以每八拍来分离音乐的结构，并以第一拍、第三拍、第六弱拍和第八拍显示图像。通过增加和重复这样一个模式，有可能避免单调的图像切换。通过对上述实例的结合，把图像指定到音乐的全部成分。
在步骤S6，创建一个动画再现脚本。脚本的形式无关紧要。例如，可以使用图9所示的XML(扩展标记语言)。可以使用SMIL(同步多媒体集成语言)或二进制形式。在该脚本中，描述用于选择图像、显示该选择的图像的时间等的方法。通过根据该脚本来显示该图像，将能够再现与音乐同步的动画。
<第二实施例>
图10是表示根据第二实施例的动画脚本产生处理流程的流程图。
步骤S11至S13以及S15至S17分别与第一实施例的步骤S1至S3以及S4至S6类似。
但是，在步骤S14，从步骤S13的图像解析中获得的模糊评估值高于一个预定值的那些图像被从将要与音乐成分相互关联的图像组中排除。在步骤S16的处理中，不对在步骤S13被排除的图像进行关联。
由于能够从动画中排除模糊的低质量图像，所以自然有可能产生用于再现高质量动画的脚本。
如果由于图像排除的结果而使得图像的数量不足，则可以重复使用低模糊评估值的图像来弥补该图像的缺乏。
<第三实施例>
本发明还包括一种设备，用于根据上述产生的脚本创建动画。
图11是根据本发明优选实施例的动画创建设备的框图。
与脚本创建设备(图1)类似，本设备具有图像输入装置11、音乐输入装置12、输入装置13和脚本产生装置14。该设备还具有动画产生装置15。
图12是表示动画产生处理流程的流程图。
在步骤S21，由脚本产生装置14创建一个脚本(例如图9所示的XML文件)。
在步骤S22，动画产生装置15分别从图像输入装置11和音乐输入装置12输入的图像和音乐的字段中获得为了产生由该脚本指定的动画所需要的图像和音乐。该脚本指定的数据是例如存储在PC中的数据或网上公开的数据。
在步骤S23，根据脚本中的描述，该动画产生装置15从获得的图像和音乐中产生动画。具体地说，针对全部获得的图像数据，动画产生装置15考虑在确定时刻的效果或变化来执行图象处理，并根据一个顺序来重叠该图像数据，以便创建帧图像。通过按时间顺序连接帧图像来创建动画。可用例如动画GIF和MPEG的任何压缩记录方法来压缩地记录该创建的动画。
<第四实施例>
本发明还包括动画输出设备，用于上述创建的动画的再现输出。
图13是按照本发明优选实施例的动画输出设备的框图。与动画创建设备(图11)类似，该动画输出设备具有图像输入装置11、音乐输入装置12、输入装置13、脚本产生装置14和动画产生装置15。还具有动画再现装置16和输出装置17。
动画再现装置16是把由动画产生装置15产生的动画转换为供给输出装置17的再现信号的一个装置。例如，给出在个人计算机上操作的比如网络介质播放器的动画播放器和MPEG解码器来作为动画再现装置16的实例。
输出装置17是根据来自动画再现装置16的再现信号来输出动画并且输出音乐的声音的一个装置。例如，给出显示器和扬声器作为输出装置17的实例。

Claims (18)

1.一种用于产生音乐与图像同步的动画的一个脚本的方法，所述方法包括步骤：
提取音乐的特征；
根据提取的音乐特征来提取音乐的结构，并根据该提取的结果将该音乐划分成多个成分；
解析图像的特征；
根据对应于该音乐成分的特征和该图像的特征将该音乐与该图像相互关联；以及
产生使该相互关联的音乐和图像能被同步再现的动画脚本。
2.根据权利要求1的用于产生音乐与图像同步的动画的脚本的方法，所述方法进一步包括步骤：
将具有共同或类似特征的图像分类到同一个图像组中；
根据所述音乐的乐句的特征和该图像组的特征将音乐的乐句与图像组相互关联；以及，
根据音乐的一个成分的拍或弱拍的特征和包括在与该音乐成分相互关联的图像组中的每一个图像的特征，来将该音乐成分的拍或弱拍与该图像相互关联。
3.根据权利要求1的用于产生音乐与图像同步的动画的脚本的方法，其中
所述图像的特征包括关于该图像模糊的评估值；并且
所述方法进一步包括步骤：根据该评估值排除将要与该音乐成分相互关联的图像。
4.根据权利要求2的用于产生音乐与图像同步的动画的脚本的方法，其中
所述图像的特征包括关于该图像模糊的评估值；并且
所述方法进一步包括步骤：根据该评估值排除将要与该音乐成分相互关联的图像。
5.根据权利要求1的用于产生音乐与图像同步的动画的脚本的方法，进一步包括步骤：根据所述动画脚本来产生可与所述音乐同步再现的动画。
6.根据权利要求4的用于产生音乐与图像同步的动画的脚本的方法，进一步包括步骤：根据所述动画脚本来产生可与所述音乐同步再现的动画。
7.根据权利要求5的用于产生音乐与图像同步的动画的脚本的方法，进一步包括步骤：再现所产生的动画。
8.根据权利要求6的用于产生音乐与图像同步的动画的脚本的方法，进一步包括步骤：再现所产生的动画。
9.一种用于产生音乐与图像同步的动画的脚本的程序，该程序使运算单元执行根据权利要求1的用于产生音乐与图像同步的动画的一个脚本的方法。
10.一种用于产生音乐与图像同步的动画的脚本的程序，该程序使运算单元执行根据权利要求2的用于产生音乐与图像同步的动画的一个脚本的方法。
11.一种用于产生音乐与图像同步的动画的脚本的程序，该程序使运算单元执行根据权利要求4的用于产生音乐与图像同步的动画的一个脚本的方法。
12.一种用于产生音乐与图像同步的动画的脚本的程序，该程序使运算单元执行根据权利要求6的用于产生音乐与图像同步的动画的一个脚本的方法。
13.一种用于产生音乐与图像同步的动画的脚本的程序，该程序使运算单元执行根据权利要求8的用于产生音乐与图像同步的动画的一个脚本的方法。
14.一种用于产生音乐与图像同步的动画的脚本的设备，所述设备包括：
存储装置，储存根据权利要求9的用于产生音乐与图像同步的动画的一个脚本的程序；和
运算单元，执行存储在所述存储装置中的所述用于产生音乐与图像同步的动画的一个脚本的程序。
15.一种用于产生音乐与图像同步的动画的脚本的设备，所述设备包括：
存储装置，储存根据权利要求10的用于产生音乐与图像同步的动画的一个脚本的程序；和
运算单元，执行存储在所述存储装置中的所述用于产生音乐与图像同步的动画的一个脚本的程序。
16.一种用于产生音乐与图像同步的动画的脚本的设备，所述设备包括：
存储装置，储存根据权利要求11的用于产生音乐与图像同步的动画的一个脚本的程序；和
运算单元，执行存储在所述存储装置中的所述用于产生音乐与图像同步的动画的一个脚本的程序。
17.一种用于产生音乐与图像同步的动画的脚本的设备，所述设备包括：
存储装置，储存根据权利要求12的用于产生音乐与图像同步的动画的一个脚本的程序；和
运算单元，执行存储在所述存储装置中的所述用于产生音乐与图像同步的动画一个的脚本的程序。
18.一种用于产生音乐与图像同步的动画的脚本所设备，所述设备包括：
存储装置，储存根据权利要求13的用于产生音乐与图像同步的动画的一个脚本的程序；和
运算单元，执行存储在所述存储装置中的所述用于产生音乐与图像同步的动画一个的脚本的程序。
CN200710149543XA 2006-09-06 2007-09-06 用于产生音乐与图像同步的动画的脚本的方法和设备 Active CN101141603B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006241465 2006-09-06
JP2006-241465 2006-09-06
JP2006241465A JP4660861B2 (ja) 2006-09-06 2006-09-06 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置

Publications (2)

Publication Number Publication Date
CN101141603A true CN101141603A (zh) 2008-03-12
CN101141603B CN101141603B (zh) 2011-05-11

Family

ID=38800825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710149543XA Active CN101141603B (zh) 2006-09-06 2007-09-06 用于产生音乐与图像同步的动画的脚本的方法和设备

Country Status (5)

Country Link
US (1) US20080055469A1 (zh)
EP (1) EP1898416A1 (zh)
JP (1) JP4660861B2 (zh)
KR (1) KR100983840B1 (zh)
CN (1) CN101141603B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853668A (zh) * 2010-03-29 2010-10-06 北京中星微电子有限公司 一种将midi音乐生成动画的方法和系统
CN101901595A (zh) * 2010-05-05 2010-12-01 北京中星微电子有限公司 一种根据音频音乐生成动画的方法和系统
CN101989173A (zh) * 2009-07-29 2011-03-23 索尼公司 图像编辑装置、图像编辑方法和程序
CN102055845A (zh) * 2010-11-30 2011-05-11 深圳市五巨科技有限公司 移动通信终端及其音乐播放器图片切换方法
CN101727943B (zh) * 2009-12-03 2012-10-17 无锡中星微电子有限公司 一种图像配乐的方法、图像配乐装置及图像播放装置
CN109246474A (zh) * 2018-10-16 2019-01-18 维沃移动通信（杭州）有限公司 一种视频文件编辑方法及移动终端
CN109615682A (zh) * 2018-12-07 2019-04-12 北京微播视界科技有限公司 动画生成方法、装置、电子设备及计算机可读存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8386630B1 (en) * 2007-09-09 2013-02-26 Arris Solutions, Inc. Video-aware P2P streaming and download with support for real-time content alteration
JP2009076982A (ja) * 2007-09-18 2009-04-09 Toshiba Corp 電子機器および顔画像表示方法
JP2009081699A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 電子機器および顔画像抽出制御方法
JP5238602B2 (ja) * 2009-05-14 2013-07-17 Ｋｄｄｉ株式会社 映像コンテンツ生成装置及びコンピュータプログラム
JP5551403B2 (ja) * 2009-10-05 2014-07-16 株式会社河合楽器製作所 動画作成装置、コンピュータプログラム及び記憶媒体
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
CN103902862B (zh) * 2012-12-30 2018-04-27 联想(北京)有限公司 一种移动设备管理方法、装置及一种移动设备
US20140317480A1 (en) * 2013-04-23 2014-10-23 Microsoft Corporation Automatic music video creation from a set of photos
CN104424955B (zh) * 2013-08-29 2018-11-27 国际商业机器公司 生成音频的图形表示的方法和设备、音频搜索方法和设备
CN104103300A (zh) * 2014-07-04 2014-10-15 厦门美图之家科技有限公司 一种根据音乐节拍自动处理视频的方法
JP6569687B2 (ja) * 2014-12-15 2019-09-04 ソニー株式会社 情報処理方法、映像処理装置及びプログラム
US10681408B2 (en) 2015-05-11 2020-06-09 David Leiberman Systems and methods for creating composite videos
US9691429B2 (en) * 2015-05-11 2017-06-27 Mibblio, Inc. Systems and methods for creating music videos synchronized with an audio track
JP2018170678A (ja) * 2017-03-30 2018-11-01 株式会社ライブ・アース ライブ映像処理システム、ライブ映像処理方法及びプログラム
CN112259062B (zh) * 2020-10-20 2022-11-04 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202376A (ja) * 1995-01-31 1996-08-09 Matsushita Electric Ind Co Ltd 映像付きカラオケ装置
EP1354318A1 (en) * 2000-12-22 2003-10-22 Muvee Technologies Pte Ltd System and method for media production
US6930235B2 (en) * 2001-03-15 2005-08-16 Ms Squared System and method for relating electromagnetic waves to sound waves
US6639649B2 (en) * 2001-08-06 2003-10-28 Eastman Kodak Company Synchronization of music and images in a camera with audio capabilities
WO2003017145A1 (en) * 2001-08-21 2003-02-27 Yesvideo, Inc. Creation of slideshow based on characteristic of audio content used to produce accompanying audio display
JP4228641B2 (ja) * 2002-09-20 2009-02-25 セイコーエプソン株式会社 出力対象画像データ選択
DE10304098B4 (de) * 2003-01-31 2006-08-31 Miclip S.A. Verfahren und Vorrichtung zur Steuerung eines Tonfolge gekoppelten Bildfolgeablaufs sowie zugehöriges Programm
JP2005033554A (ja) * 2003-07-14 2005-02-03 Seiko Epson Corp 画像再生システム及び画像再生プログラム、並びに画像再生方法
JP4221308B2 (ja) * 2004-01-15 2009-02-12 パナソニック株式会社 静止画再生装置、静止画再生方法及びプログラム
JP4611649B2 (ja) * 2004-02-27 2011-01-12 大日本印刷株式会社 Ｗｅｂ解析型音楽装置
JP2005318295A (ja) * 2004-04-28 2005-11-10 Pioneer Electronic Corp 画像生成システム、画像生成方法、画像生成用プログラム並びに情報記録媒体
JP2005354333A (ja) * 2004-06-10 2005-12-22 Casio Comput Co Ltd 画像再生装置およびプログラム
JP4940588B2 (ja) * 2005-07-27 2012-05-30 ソニー株式会社 ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法
US20080320378A1 (en) * 2005-10-22 2008-12-25 Jeff Shuter Accelerated Visual Text to Screen Translation Method
KR100725356B1 (ko) * 2005-11-03 2007-06-07 삼성전자주식회사 컨텐츠를 동적으로 표현하는 장치 및 방법
US7945142B2 (en) * 2006-06-15 2011-05-17 Microsoft Corporation Audio/visual editing tool

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989173A (zh) * 2009-07-29 2011-03-23 索尼公司 图像编辑装置、图像编辑方法和程序
CN101989173B (zh) * 2009-07-29 2013-11-27 索尼公司 图像编辑装置和图像编辑方法
CN101727943B (zh) * 2009-12-03 2012-10-17 无锡中星微电子有限公司 一种图像配乐的方法、图像配乐装置及图像播放装置
CN101853668A (zh) * 2010-03-29 2010-10-06 北京中星微电子有限公司 一种将midi音乐生成动画的方法和系统
CN101853668B (zh) * 2010-03-29 2014-10-29 北京中星微电子有限公司 一种将midi音乐生成动画的方法和系统
CN101901595A (zh) * 2010-05-05 2010-12-01 北京中星微电子有限公司 一种根据音频音乐生成动画的方法和系统
CN101901595B (zh) * 2010-05-05 2014-10-29 北京中星微电子有限公司 一种根据音频音乐生成动画的方法和系统
CN102055845A (zh) * 2010-11-30 2011-05-11 深圳市五巨科技有限公司 移动通信终端及其音乐播放器图片切换方法
CN109246474A (zh) * 2018-10-16 2019-01-18 维沃移动通信（杭州）有限公司 一种视频文件编辑方法及移动终端
CN109246474B (zh) * 2018-10-16 2021-03-02 维沃移动通信（杭州）有限公司 一种视频文件编辑方法及移动终端
CN109615682A (zh) * 2018-12-07 2019-04-12 北京微播视界科技有限公司 动画生成方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN101141603B (zh) 2011-05-11
KR20080022512A (ko) 2008-03-11
JP4660861B2 (ja) 2011-03-30
JP2008066956A (ja) 2008-03-21
EP1898416A1 (en) 2008-03-12
KR100983840B1 (ko) 2010-09-27
US20080055469A1 (en) 2008-03-06

Similar Documents

Publication Publication Date Title
CN101141603B (zh) 用于产生音乐与图像同步的动画的脚本的方法和设备
AU2021201916B2 (en) Rhythmic Synchronization Of Cross Fading For Musical Audio Section Replacement For Multimedia Playback
Castellano et al. Automated analysis of body movement in emotionally expressive piano performances
EP1020843A1 (en) Automatic musical composition method
CN111683209A (zh) 混剪视频的生成方法、装置、电子设备及计算机可读存储介质
JP4655047B2 (ja) 音声評価装置及びカラオケ装置
JP4491700B2 (ja) 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置
CN105187936B (zh) 基于演唱音频评分的多媒体文件播放方法和装置
CN109788345A (zh) 直播控制方法、装置、直播设备及可读存储介质
JP2014217627A (ja) 身体動作評価装置、カラオケシステム、及びプログラム
KR102161080B1 (ko) 동영상의 배경음악 생성 장치, 방법 및 프로그램
Liem et al. PHENICX: Innovating the classical music experience
CN101924847B (zh) 多媒体播放装置及其播放方法
CN109410972A (zh) 生成音效参数的方法、装置及存储介质
JP2012039523A (ja) 動画像処理装置、動画像処理方法およびプログラム
JP2004015523A (ja) 映像関連コンテンツ生成装置、映像関連コンテンツ生成方法及び映像関連コンテンツ生成プログラム
CN112750184A (zh) 数据处理、动作驱动与人机交互方法及设备
CN115529500A (zh) 动态影像的生成方法和装置
CN113643442B (zh) 一种虚拟对象舞蹈生成方法及计算机存储介质
CN109327731A (zh) 一种基于卡拉ok的diy视频实时合成方法及系统
CN113656635A (zh) 视频彩铃合成方法、装置、设备及计算机可读存储介质
CN108694934B (zh) 一种位图转换为音乐旋律的方法
JP2017092832A (ja) 再生方法および再生装置
JP7502921B2 (ja) カラオケ装置
JP2012203071A (ja) カラオケ装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant