CN101379807A - 用于音乐报警的视频序列 - Google Patents

用于音乐报警的视频序列 Download PDF

Info

Publication number
CN101379807A
CN101379807A CNA2006800531199A CN200680053119A CN101379807A CN 101379807 A CN101379807 A CN 101379807A CN A2006800531199 A CNA2006800531199 A CN A2006800531199A CN 200680053119 A CN200680053119 A CN 200680053119A CN 101379807 A CN101379807 A CN 101379807A
Authority
CN
China
Prior art keywords
music
image
alarm
metadata
video sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800531199A
Other languages
English (en)
Inventor
J·A·奥尔姆
K·阿维凯南
A·埃罗南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101379807A publication Critical patent/CN101379807A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/57—Arrangements for indicating or recording the number of the calling subscriber at the called subscriber's set
    • H04M1/575—Means for retrieving and displaying personal data about calling party
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005—Device type or category
    • G10H2230/021—Mobile ringtone, i.e. generation, transmission, conversion or downloading of ringing tones or other sounds for mobile telephony; Special musical data formats or protocols therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)

Abstract

一种创建用于与音乐报警同步显示的视频序列的方法，包括：选择一个或者多个图像；根据用于音乐报警的音乐元数据来修改一个或者多个所选图像以创建视频序列，其中修改的范围和/或类型依赖于音乐元数据；以及与音乐报警一起播放视频序列。

Description

用于音乐报警的视频序列
技术领域
本发明的实施例涉及创建和显示用于音乐报警的视频序列。具体而言，本发明的实施例涉及一种创建用于与音乐报警同步显示的视频序列的方法和一种用于与音乐报警同步显示视频序列的电子设备。
背景技术
当前的音乐播放器软件具有根据用户收听的音乐而改变的形象(visualization)。然而，这些形象既抽象又无个性。
将希望提供音乐报警的形象。具体是电话铃音的形象。
定义
图像的‘修改’意味着向用户呈现的图像中至少一部分的外观的明显改变。它不包括尺度改变或裁剪。
发明内容
根据本发明的一个实施例，提供一种创建用于与音乐报警同步显示的视频序列的方法，包括：选择一个或者多个图像；根据用于音乐报警的音乐元数据来修改一个或者多个所选图像以创建视频序列，其中修改的范围和/或类型依赖于音乐元数据；以及与音乐报警一起播放视频序列。
根据本发明的另一实施例，提供一种用于与音乐报警同步显示视频序列的电子设备，包括：用于分析音乐报警以获得音乐元数据的装置；用于选择一个或者多个图像的装置；用于根据音乐元数据来修改一个或者多个所选图像以创建视频序列的装置，其中修改的范围和/或类型依赖于音乐元数据；以及用于与音乐报警一起播放视频序列的装置。
与音乐元数据有关的修改提供了视频可以随音乐而改变节奏和/或视频可以具有与音乐关联的‘情绪’的优点。
对一个或者多个图像的选择实现了个性化视频的创建。
一个或者多个图像可以选自于个性化图像集。这提供音乐报警的个性化形象。
个性化图像集可以包括用于除视频序列创建之外的一个或者多个目的由用户捕获的图像和由用户选择的图像。
一个或者多个图像的选择可以依赖于音乐元数据。如果设备是电话而音乐报警是铃音，则对一个或者多个图像的选择可以依赖于电话呼叫者的身份。
根据本发明的又一实施例，提供一种创建用于与音频报警同步显示的视频序列的方法，包括：选择一个或者多个图像；根据用于音频报警的音频元数据来修改一个或者多个所选图像以创建视频序列，其中修改的范围和/或类型依赖于音频元数据；以及与音频报警一起播放视频序列。
附图说明
为了更好理解本发明，现在将仅通过例子对附图进行参照，在附图中：
图1A示意地图示了产生音乐报警的电子设备而图1B示意地图示了设备的操作；
图2A是用于分析音乐报警(铃音)的方法的示例；
图2B示意地图示了联系人数据库中的条目；
图2C图示了视频创建的方法70；
图3A-3D图示了对图像的修改；以及
图4图示了用于控制与音乐报警一起播放视频的方法。
具体实施方式
图1A示意地图示了产生音乐报警的电子设备10。所示特定电子设备10是移动蜂窝电话，但是这仅为许多不同类型的适当电子设备的一个例子。
移动蜂窝电话10包括处理器2、存储器12、显示器8、用户输入机构4如例如键盘、操纵杆、触屏等、音频输出机构6如扬声器、耳机等和用于在蜂窝电话网络中通信的蜂窝无线收发器14。仅图示以下描述所必需的部件。移动蜂窝电话可以具有附加部件。
处理器2被布置用以向存储器12写入和从存储器12读取。它被连接用以从用户输入机构4接收用户输入命令以及向音频输出设备6并且单独向显示器8提供输出命令。处理器2被连接用以从蜂窝无线收发器14接收数据以及将数据提供给蜂窝收发器14用于发送。
存储器12在这一例子中存储联系人数据库20、音乐报警(铃音)22、在第一存储器位置的图像24A、在第二存储器位置的图像24B、音乐播放器软件部件30、音乐分析器软件部件32、联系人管理软件部件34、视频创建软件部件36和视频回放软件部件38。
虽然存储器在图中图示为单个实体，但是它可以是多个分离存储器，其中一些存储器可以是可拆卸的，比如SD存储卡等。
软件部件在加载到处理器中时控制电子设备10的操作。软件部件提供使电子设备10能够执行图2A、图2C和图4中所示方法的逻辑和例程。
软件部件可以经由电磁载波信号到达电子设备10或者可以从物理实体如计算机程序产品、存储器设备或者记录介质如CD-ROM或者DVD来复制。
图1B将设备10的操作示意地图示为功能块的系统，该系统包括操作系统块40、铃音播放器块(由音乐播放器软件部件30提供)、铃音分析器块(由音乐分析器软件部件32提供)和形象化器块(由视频创建软件部件36和视频回放软件部件38提供)。
操作系统块40是指移动电话的操作系统中负责与蜂窝无线收发器14通信、访问联系人数据库20、音乐报警22等和控制显示器8的那些部分。
当呼入到达时，操作系统块40将铃音22加载到铃音播放器块30和铃音分析器块32。
音乐播放器部件30可以是任何音乐播放器，比如MIDI合成器、MP3或者AAC播放器等。它控制由音频输出设备6输出的声音。
音乐分析器部件32用来针对比如音调、能量、拍子和出现某些乐器这样的相关音乐特征来分析铃音。特征列表依赖于所用音频格式。
铃音分析器块和铃音播放器块相互独立。如果设备10具有足够处理能力，则可以实时完成分析。如果设备10太慢，则可以更早一点开始分析或者可以预先完成分析。在预先分析的情况下，将分析结果存储为与用于铃音的音频文件22关联的元数据。
形象化器块控制对用于形象化的图像进行的选择、修改和转变。选择和修改依赖于从操作系统接收的但是由铃音分析器块产生的音乐元数据。
图2A是用于分析音乐报警(铃音)的方法的示例。音乐分析器软件部件32在步骤50加载到处理器2中。处理器2然后在步骤52从存储器12读取音乐报警数据结构22，比如MP3文件。在步骤54，音乐分析器软件分析音乐报警(铃音)22的音乐而在步骤56产生记录音乐属性如拍子、音调、能量的音乐元数据作为输出。
音乐元数据可以针对音乐报警中所用多种乐器中的各种乐器记录这些属性并且它根本可以记录它们如何随时间而变化。
从分析的观点来看，音乐报警(铃音)格式可以分成两个主要类别：合成(即符号)音频如MIDI和数字(即非符号)音频如MP3、AAC、Wave等。
MIDI符号音频格式具有十六个不同通道而各通道可以一次指代一种乐器。因此有可能获得与歌曲的任何音乐参数有关的具体信息。
音乐分析器部件32可以检测任何MIDI事件，例如它可以检测何时出现任一如下情形：
·设置或者改变歌曲的拍子；
·同时播放某一数目的音符；
·播放某个音调(即C3)；
·选择或者播放某种乐器。
任何MIDI事件都可以作为音乐元数据发送到系统的操作系统块并且因此用来控制形象化器块。
如果MP3 ID3元数据可用，则也可以提取和产生音乐流派作为供形象化器使用的音乐元数据。
MP3、AAC等不是符号音频格式，而用于这些音频格式的分析方法不同于符号音频的分析方法并且需要更多处理器资源。可能不能实时执行这一分析。
一些特征易于从符号音频中提取而难以从采样音频中提取。在压缩的采样音频如MP3或者AAC的情况下，分析器可以将音频解码成PCM格式使得同一分析方法集可以应用于不同音频压缩格式。另一替代方式是在压缩域中进行音频分析，例如存在节拍检测方法(Wang，Vilermo的“System and method for compressed domain beatdetection in audio bitstreams”，美国专利申请2002/0178012 A1)。
从信号中检测音调是复杂的问题。存在单通道音调检测算法。用于采样音频的单通道音调检测算法的例子是：A.de Cheveigne和H.Kawahara的“YIN，a fundamental frequency estimator for speech andmusic”，J.Acoust.Soc.Am.第111卷第1917-1930页，2002年4月。多通道音调检测的例子：Matti P.
Figure A200680053119D0009173032QIETU
和Anssi Klapuri的“POLYPHONIC MUSIC TRANSCRIPTION USING NOTE EVENTMODELING”，Proc.IEEE Workshop on Applications of SignalProcessing to Audio and Acoustics，2005年10月16-19日，New Paltz，New York。虽然不可能获得从多通道音乐剪辑中估计的所有音调，但是这种方法可以用来分析主旋律。虽然对于主旋律的估计可能由于瞬态声音(鼓声)使估计有困难而有噪声和出错，但是如果估计用来控制视觉效果则这可以不成问题，因为即使估计并不绝对正确但是结果可以看起来很好。如果音调估计器产生乱真和有噪声的音调估计，则系统也可以将例如低通滤波应用于音调估计来使它们改变没有那么频繁。
可以检测和产生音调和音调变化作为供形象化器块使用的音乐元数据。
可以使用节拍跟踪算法来计算数字音频的拍子，比如在 J.的TUT 2001年M.Sc.论文Computational models of musicalmeter recognition中呈现的算法。可以产生拍子作为供形象化器块使用的音乐元数据。
滤波器组可以用来将音乐频谱分成N个频带并且分析各频带中的能量。作为例子，可以检测和产生不同频带中的能量和能量变化作为供形象化器块使用的音乐元数据。
音乐元数据可以标识不同乐器。Essid、Richard和David在2005年Proc.IEEE Int.Conference on Acoustics，Speech，and SignalProcessing中的“Instrument Recognition in polyphonic music”提供一种用于识别存在不同乐器的方法。
音乐元数据可以标识音乐和声以及声调：Gomez，Herrera在2004年6月17-19日英国伦敦AES 25th International Conference中的“Automatic Extraction of Tonal Metadata from Polyphonic AudioRecordings”提供一种用于标识音乐和声以及声调的方法。
音乐元数据可以标识音乐流派。存在根据采样音乐自动对音乐流派分类的方法，例如“Musical Genre Classification of Audio Signals”George Tzanetakis和Perry Cook IEEE Transaction on Speech andAudio Processing，10(5)，2002年7月。
音乐元数据可以标识音乐调子。从采样音频中发现调子的例子是
Figure A200680053119D0010173149QIETU
 Izmirli：“An Algorithm for audio key finding”，ISMIR 2005(6th International Conference on Music Information Retrieval London，UK，2005年9月11-15日)。
其它音乐元数据可以包括音乐情绪(快乐/中性/悲伤)、情感(温柔/中性/盛气凌人)、复杂性和嗓音内容(嗓音比对乐器)、拍子类别(缓慢、快速、很快、改变的)。例如在以下文献中评价了用以提取这种元数据的方法和特征：Tim Pohle，Elias Pampalk和GerhardWidmer的“EVALUATION OF FREQUENTLY USED AUDIOFEATURES FOR CLASSIFICATION MUSIC INTO PERCEPTUALCATEGORIES”，Proceedings of the Fourth International Workshop onContent-Based Multimedia Indexing(CBMI’05)，Riga，Latvia，6月21-23日。
图2B示意地图示了联系人数据库20中的条目60。联系人数据库具有多个条目。通常，条目用于单个联系人，比如朋友或者某人的家庭成员。条目包括提供联系人信息和可能提供关于联系人的其它信息的多个项目62。项目通常例如包括姓名62A、联系人电话号码62B、联系人地址等。联系人条目可以存储为数据结构，该数据结构包含或者引用提供联系人项目的其它数据结构。
联系人条目内的‘铃音’项目62C可以允许用户指定当这一联系人给用户打电话时用来向用户报警的特定音乐报警。该项目可以例如引用音乐报警文件22。
在电话网络中，当始发终端呼叫目的地终端时将始发终端的电话号码发送到目的地终端是普遍做法。因此可以在生成用于呼入的报警时向目的地终端的用户呈现始发终端的电话号码。这一特征常常称为‘呼叫线识别’(CLI)。联系人条目60内电话号码62B与音乐报警62C之间的关联允许目的地终端使用经由CLI接收的所标识的始发终端的电话号码来访问和播放联系人条目60内与该电话号码62B关联的音乐报警62C。
根据本发明的一个实施例，在联系人条目内也提供用于指定一个或者多个图像的一个或者多个图像项目62D。指定的图像可以是视频剪辑和/或图片和/或图形文件。联系人条目内电话号码与一个或者多个指定图像之间的关联允许目的地终端使用经由CLI接收的始发终端的电话号码来访问也包括始发终端的电话号码62B的该联系人条目的项目62D中指定的图像。
图2C图示了视频创建的方法70。形象化器块36、38可操作用以根据铃音分析器块32所产生的音乐元数据74来选择、修改和转变一个或者多个图像。形象化器块创建可以在显示器8上播放和/或在存储器12中存储的视频76作为输出。输出视频可以例如存储为联系人条目60的图像项目62D。无论该联系人何时给用户打电话，视频因此将随同铃音一起播放。
在视频76中表现的一个或者多个图像选自于图像集。图像集是包括用户为了个人使用而已经捕获或者选择的图像(比如空闲屏幕中的背景图像)的个性化图像集合。图像可以位于各种存储器位置，比如位于捕获图像图库中，或者存储为联系人条目的图像项目62D。图像可以例如是来自视频剪辑的图片或者帧。
用户也可以选择图像集合中的哪些图像可以用作个性化集。图像集也可以以依赖于从音乐分析器接收的音乐元数据和/或其它背景信息，比如电话呼叫者的身份。
音乐元数据74可以影响从图像集中选择一个或者多个图像。
例如，如果音乐元数据表明音乐报警属于重金属流派，则形象化器块从图像集中选择色调更深的一个或者多个图像。而如果音乐元数据表明音乐报警属于心情更轻松的流派，比如宴会时间爵士，则形象化器块从图像集中选择色调更浅和/或更富于色彩的一个或者多个图像。
取代了颜色或者亮度，流派也可以映射到其它视觉特征，比如图像的复杂性(大量/少数区域、线条等)。
如果选择多个图像，则形象化器可以对图像排序。例如，如果铃音缓慢而平和地开始但是发展为在结束时很强烈，则可以选择图像使得先显示明亮图像而在结束时显示黯淡图像。
可以处理所选一个或者多个图像以修改它/它们。该修改是基于从音乐分析器接收的音乐元数据74。例如，修改可以是音调、能量、拍子(作为整体或者涉及某些乐器)中任意一个或者多个的值或者变化结果。
音乐元数据74可以限定修改的量和/或类型。图像的‘修改’意味着向用户呈现的图像中至少一部分的外观的显著变化。它不包括尺度改变和裁剪。
作为例子，在呼入的情况下，呼叫人的图像可以在显示器8上显示并且按铃音音乐的拍子而旋转。图像与节拍同步旋转，如图3A中所示。
作为另一例子，在呼入的情况下，呼叫人的图像可以晃动或者起伏。当作用在扬声器上时，在低频频带中预定阈值以上的节拍或者能量值也可以用来以与水在玻璃杯中起伏相似的方式晃动图像。在图3B中图示了这一点。
作为另一例子，在呼入的情况下，呼叫人的图像可以根据音乐元数据74来着色。在音乐分析器块中分析来自不同频带的音频信号能量并且所得音乐元数据74由形象化器块用来强调图像的某些色元素。例如，低频(直至例如400Hz)能量调整图像的蓝色饱和量，中频(例如从400Hz到3000Hz)能量调整红色饱和量，而高频(3000Hz和以上)能量调整绿色饱和量。无论音乐的频率内容何时改变都可以使图像随音乐报警的节奏而富于色彩地闪烁并且一般改变它的颜色。
作为另一例子，在呼入的情况下，呼叫人的图像可以根据音乐流派来着色。关于流派和拍子的信息可以由音乐分析器块提取而由形象化器块使用。更缓慢和更具环境性的流派可以导致具有浅颜色的更亮图像，而快速和沉重的音乐可以导致更暗的颜色。映射例如可以如下所示：
·沉重、盛气凌人、快速等音乐->黑色、黯淡图像
·缓慢、放松、环境、经典等音乐->白色、黄色、浅色、亮色
·蓝调音乐->蓝色
·乡村音乐->绿色
·早期爵士、灵魂音乐->棕色
·华丽摇滚->粉色
·其它。
作为另一例子，在呼入的情况下，呼叫人的图像可以根据音乐元数据74而涡旋。在音乐元数据中标识的(某一频率范围的)音频信号的能量值可以用来涡旋图像。如图4D中所示，能量越多，所施加的涡旋就越大。
上述例子修改已经施加到整个图像。然而，修改在一些实施例中可以仅施加到图像的一部分。例如，可以对图像过滤以标识图像中具有预定特征(例如颜色)的部分并且可以修改这些标识的部分。用户可以能够限定预定特征或者可选地标识用于修改的部分。
可以通过直接剪切或者使用其它技术来转变各种图像，这些技术比如是可以与音乐同步的交叉衰落式转变、变形和图像扩张。
图4图示了用于控制与音乐报警一起播放视频的方法80。
在步骤82，使用CLI来提取呼入者的电话号码。
接着在步骤84，在联系人数据库20中搜寻包含与标识的电话号码对应的电话号码项目62B的联系人条目60。如果存在这样的联系人条目，则该过程进行步骤90。如果不存在这样的联系人条目，则该过程进行到步骤86。
在步骤86，加载默认音乐报警并且加载默认图像集。该过程然后进行到步骤94。
在步骤90，搜索所找到的联系人条目以标识关联音乐报警。如果找到音乐报警，则该过程进行到步骤92，否则在步骤88加载默认音乐报警而该过程继续到步骤94。
在步骤92，搜索所找到的联系人条目以标识关联视频76。如果找到这样的视频，则该过程进行到播放视频的步骤120，否则该过程进行到步骤94。
在步骤94，检查音乐报警以确认它是否已经具有与它关联的音乐元数据74。如果它具有与它关联的音乐元数据74，则该过程进行到步骤98。如果它没有与它关联的音乐元数据74，则该过程进行到步骤96，其中如先前参照图2A描述的那样由铃音分析块分析音乐报警。与音乐报警关联地存储所得音乐元数据。
在步骤98，该过程检查就这一联系人而言是否存在图像集。如果存在图像集则该过程进行到步骤102，而如果不存在图像集则该过程进行到步骤100。
在步骤100，生成图像集。图像集优选地基于个人图像，即用户捕获或者选择的图像。图像集也可以基于呼叫者的身份和/或音乐元数据74。在生成图像集之后，该过程进行到步骤102。
在步骤102，如先前参照图2C描述的那样由形象化器块使用图像集来创建视频。向一个或者多个图像施加的修改的范围和类型可以依赖于音乐元数据和/或呼叫者的身份。
然后在步骤120在显示器8中播放所产生的视频76。视频也可以根据用户的选择而存储于用于呼叫者的联系人条目60(如果有)中备用。
虽然参照各种例子在前述段落中描述了本发明的实施例，但是应当认识到可以在不脱离要求保护的本发明范围的情况下做出对所给例子的修改。
例如，虽然上述实施例描述了如在电子设备进行的为了获得元数据而对音乐报警的分析，但是在其它实施例中音乐元数据可以由第三方创建并且传送到电子设备。在这一情况下，电子设备并非必须能够分析音乐报警。一些例子情形是在PC上而不是在移动设备上分析音乐报警但是将音乐报警随用于音乐报警的文件一起传送到移动设备；音乐报警在音乐服务的服务器上被分析、然后附加到用于音乐报警的文件、并且该组合被下载到电子设备；电子设备的用户通过将标识信息发送到服务器、然后该服务器为音乐报警的歌曲找到恰当元数据来下载用于现有音乐报警的音乐元数据。
在所给例子中的音乐元数据已经通过计算机分析来自动产生。然而，从音乐服务或者铃音销售商递送的元数据可以由人类专家评注而不是通过自动分析来生成。另外，电子设备的用户可以例如通过将流派标签或者情绪信息添加到电子设备中存储的音乐报警文件来评注音乐元数据本身。
虽然已经参照音乐报警描述了本发明的实施例，但是报警并非必然是音乐而可以是任何人类可听报警形式，比如声效如动物叫声、机器噪声等。当使用音频报警时，可以引入预分析阶段，其中先标识音频报警类型，例如音乐、语音、动物叫声等，然后使用针对该类型而优化的分析方法使得所生成的元数据依赖于音频报警类型。可以针对音频元数据来分析非音乐音频采样，比如：如从语音识别领域已知的使用滤波器组能量或者梅尔频率对数倒频谱系数的频率内容或者MPEG-7低级音频描述符。例如，如果测量狗吠噪声的能量，则该能量可以用来控制图像中的起伏效果。高频鸟叫可以选择明亮图像，熊的低频吼叫或者机器声可以选择更暗图像。如果采样的音调用来控制色饱和度，则在高频鸟叫期间显示的图像看起来与猫叫或者熊叫时不同。如果铃音是语音采样，则将语音的能量或者频谱内容映射到图像效果可以使图像例如按发出的语音的速度而起伏。
虽然主要在用于电话的铃音应用中已经描述了音乐报警，但是应当理解它也可以是日历应用中的约会报警、报警闹钟等。为报警而选择的图像在这些情形下也可以依赖于约会的性质等。
尽管在前述说明书中着力将注意力引向被认为特别重要的本发明的那些特征，但是应当理解申请人对于至此提及的和/或在附图中示出的任何可授予专利的特征或者特征组合无论是否已经对之加以强调都要求获得保护。

Claims (22)

1.一种创建用于与音乐报警同步显示的视频序列的方法，包括:
选择一个或者多个图像；
根据用于所述音乐报警的音乐元数据来修改所述一个或者多个所选图像以创建视频序列，其中修改的范围和/或类型依赖于所述音乐元数据；以及
与所述音乐报警一起播放所述视频序列。
2.如权利要求1所述的方法，其中所述修改的范围依赖于所述音乐元数据。
3.如权利要求1或者2所述的方法，其中所述修改的类型依赖于所述音乐元数据。
4.如任一前述权利要求所述的方法，其中所述一个或者多个图像选自于个性化图像集。
5.如权利要求4所述的方法，其中所述个性化图像集包括用于除视频序列创建之外的一个或者多个目的由所述用户捕获的图像和由所述用户选择的图像。
6.如权利要求4或者5所述的方法，其中所述个性化图像集内的所述图像用于除视频创建以外的不同目的。
7.如任一前述权利要求所述的方法，其中所述选择依赖于所述音乐元数据。
8.如任一前述权利要求所述的方法，其中所述音乐报警是用于电话的铃音。
9.如权利要求8所述的方法，其中所述铃音依赖于电话呼叫者的身份。
10.如权利要求9所述的方法，其中对一个或者多个图像的选择依赖于电话呼叫者的身份。
11.如权利要求9或者10所述的方法，其中所述修改的范围依赖于电话呼叫者的身份。
12.如权利要求9、10或者11所述的方法，其中所述修改的类型依赖于电话呼叫者的身份。
13.如任一前述权利要求所述的方法，其中所述音乐元数据标识拍子、音调、能量中的一个或者多个。
14.如任一前述权利要求所述的方法，还包括分析所述音乐报警以获得音乐元数据。
15.一种用于执行如权利要求1至14中任一权利要求所述的方法的计算机程序。
16.一种收录如权利要求15中所述的计算机程序的物理实体。
17.一种用于与音乐报警同步显示视频序列的电子设备，包括:
用于选择一个或者多个图像的装置；
用于根据用于所述音乐报警的音乐元数据来修改所述一个或者多个所选图像以创建视频序列的装置，其中修改的范围和/或类型依赖于所述音乐元数据；以及
用于与所述音乐报警一起播放所述视频序列的装置。
18.如权利要求17所述的电子设备，包括用于存储个性化图像集的一个或者多个存储器，其中所述一个或者多个图像选自于所述个性化图像集。
19.如权利要求18所述的电子设备，其中所述个性化图像集包括用于除所述视频序列之外的一个或者多个目的由所述用户捕获的图像和由所述用户选择的图像。
20.如权利要求17至19中任一权利要求所述的电子设备，可作为电话来操作，其中所述音乐报警是用于所述电话的铃音。
21.如权利要求17至20中任一权利要求所述的电子设备，还包括用于分析所述音乐报警以获得音乐元数据的装置。
21.一种创建用于与音频报警同步显示的视频序列的方法，包括:
选择一个或者多个图像；
根据用于所述音频报警的音频元数据来修改所述一个或者多个所选图像以创建视频序列，其中修改的范围和/或类型依赖于所述音频元数据；以及
与所述音频报警一起播放所述视频序列。
CNA2006800531199A 2006-02-21 2006-02-21 用于音乐报警的视频序列 Pending CN101379807A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2006/001033 WO2007096692A1 (en) 2006-02-21 2006-02-21 Video sequence for a musical alert

Publications (1)

Publication Number Publication Date
CN101379807A true CN101379807A (zh) 2009-03-04

Family

ID=38436986

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800531199A Pending CN101379807A (zh) 2006-02-21 2006-02-21 用于音乐报警的视频序列

Country Status (3)

Country Link
US (1) US20090067605A1 (zh)
CN (1) CN101379807A (zh)
WO (1) WO2007096692A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970119B2 (en) * 2006-12-26 2011-06-28 Sony Ericsson Mobile Communications Ab Ring tone visualizer
US20090015563A1 (en) * 2007-07-11 2009-01-15 John Thomas Sadler Stylized interactive icon for portable mobile communications device
US20090083281A1 (en) * 2007-08-22 2009-03-26 Amnon Sarig System and method for real time local music playback and remote server lyric timing synchronization utilizing social networks and wiki technology
US20090169001A1 (en) * 2007-12-28 2009-07-02 Cisco Technology, Inc. System and Method for Encryption and Secure Transmission of Compressed Media
US8334888B2 (en) * 2009-08-27 2012-12-18 Apple Inc. Dynamically generated ring tones
KR102358025B1 (ko) 2015-10-07 2022-02-04 삼성전자주식회사 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
US10277834B2 (en) * 2017-01-10 2019-04-30 International Business Machines Corporation Suggestion of visual effects based on detected sound patterns
KR102660124B1 (ko) * 2018-03-08 2024-04-23 한국전자통신연구원 동영상 감정 학습용 데이터 생성 방법, 동영상 감정 판단 방법, 이를 이용하는 동영상 감정 판단 장치
US12051133B2 (en) * 2021-06-01 2024-07-30 Apple Inc. Color treatment and color normalization for digital assets

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411289B1 (en) * 1996-08-07 2002-06-25 Franklin B. Zimmerman Music visualization system utilizing three dimensional graphical representations of musical characteristics
US6661418B1 (en) * 2001-01-22 2003-12-09 Digital Animations Limited Character animation system
US6639649B2 (en) * 2001-08-06 2003-10-28 Eastman Kodak Company Synchronization of music and images in a camera with audio capabilities
DE10212574B4 (de) * 2002-03-12 2004-02-05 Perakis, Petros, Dipl.-Ing. Versenkbares Dach für Personenkraftfahrzeuge, insbesondere Hartdach für zweisitzige Cabriolets, Roadster oder dergleichen
US7383509B2 (en) * 2002-09-13 2008-06-03 Fuji Xerox Co., Ltd. Automatic generation of multimedia presentation
US7208669B2 (en) * 2003-08-25 2007-04-24 Blue Street Studios, Inc. Video game system and method
US20050275805A1 (en) * 2004-06-15 2005-12-15 Yu-Ru Lin Slideshow composition method
US7889853B2 (en) * 2004-07-27 2011-02-15 At&T Intellectual Property I, L.P. Methods, systems, devices, and products for providing ring backs

Also Published As

Publication number Publication date
US20090067605A1 (en) 2009-03-12
WO2007096692A1 (en) 2007-08-30

Similar Documents

Publication Publication Date Title
CA2650612C (en) An adaptive user interface
CN101379807A (zh) 用于音乐报警的视频序列
US7363227B2 (en) Disruption of speech understanding by adding a privacy sound thereto
JP4438144B2 (ja) 信号分類方法及び装置、記述子生成方法及び装置、信号検索方法及び装置
US20130266147A1 (en) System and method for identification of highly-variable vocalizations
CN110472097A (zh) 乐曲自动分类方法、装置、计算机设备和存储介质
CN110211556A (zh) 音乐文件的处理方法、装置、终端及存储介质
Kirchhoff et al. Evaluation of features for audio-to-audio alignment
CN105719640B (zh) 声音合成装置及声音合成方法
CN113781989B (zh) 一种音频的动画播放、节奏卡点识别方法及相关装置
Oermann et al. Verifier-tuple for audio-forensic to determine speaker environment
Valero et al. Narrow-band autocorrelation function features for the automatic recognition of acoustic environments
Pilia et al. Time scaling detection and estimation in audio recordings
KR20150118974A (ko) 음성 처리 장치
Wang et al. Revealing the processing history of pitch-shifted voice using CNNs
Senevirathna et al. Audio music monitoring: Analyzing current techniques for song recognition and identification
Melih et al. Audio retrieval using perceptually based structures
Bhatia et al. Analysis of audio features for music representation
Fayyad-Kazan et al. Verifying the audio evidence to assist forensic investigation
CN115273826A (zh) 歌声识别模型训练方法、歌声识别方法及相关装置
Benatan et al. Cross-covariance-based features for speech classification in film audio
CN114678038A (zh) 音频噪声检测方法、计算机设备和计算机程序产品
CN104869233B (zh) 一种录音方法
Park et al. Frequency filtering for a highly robust audio fingerprinting scheme in a real-noise environment
Veltkamp et al. Content Based Music Retrieval.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090304