CN101901595A - 一种根据音频音乐生成动画的方法和系统 - Google Patents
一种根据音频音乐生成动画的方法和系统 Download PDFInfo
- Publication number
- CN101901595A CN101901595A CN2010101686922A CN201010168692A CN101901595A CN 101901595 A CN101901595 A CN 101901595A CN 2010101686922 A CN2010101686922 A CN 2010101686922A CN 201010168692 A CN201010168692 A CN 201010168692A CN 101901595 A CN101901595 A CN 101901595A
- Authority
- CN
- China
- Prior art keywords
- analysis
- audio
- music
- frequency
- rhythm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 191
- 230000033764 rhythmic process Effects 0.000 claims abstract description 74
- 239000000463 material Substances 0.000 claims abstract description 29
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 239000000284 extract Substances 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 9
- 230000008676 import Effects 0.000 claims description 6
- 108020005210 Integrons Proteins 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 68
- 230000009471 action Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 241000931705 Cicada Species 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 240000003537 Ficus benghalensis Species 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000004020 conductor Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 241000531807 Psophiidae Species 0.000 description 2
- 238000010009 beating Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000009527 percussion Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 241000255777 Lepidoptera Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Abstract
本发明提供了一种根据音频音乐生成动画的方法和系统，所述方法包括：对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；依据所述各个音频的频率特性获得各个音轨，并组合生成MIDI文件；对MIDI文件进行音乐结构的分析，获得音乐分析结果以及音乐的时间属性；根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输入的参数构建各个动画元素及其对应关系；根据所述时间属性将各个动画元素及其对应关系组合成动画。通过本发明，可以自动的将音频音乐生成为内容丰富、与音乐表达的内容相对应的可视信息。
Description
技术领域
本发明涉及音乐数据处理技术领域，特别是涉及一种根据音频音乐生成动画的方法和系统。
背景技术
随着生活水平的提高，人们对于音乐的欣赏已经渐渐进入日常生活中，成为休闲娱乐的重要方式。通常，人们播放音乐只是满足听觉上的享受，但是用眼睛感受音乐表达的信息，却有待于人们开发和研究。
常见的一种方法是使组成音乐的不同结构元素与不同的颜色相对应，将音乐的变化转变为颜色的变化，根据不同颜色代表的音乐属性，通过颜色种类的变化和颜色的深浅变化，反映出音乐的表现内容，例如欢快还是忧郁，舒缓还是激烈。还有一种方法，是将音乐与颜色和几何图像相结合，随着音乐的播放，产生颜色的变化以及几何图像的变形和重组，该方法增加了几何图形的变化，比起单独的颜色变化，增加了表现方式，比较直观，用户可以根据图形的变化样式和的快慢，获得音乐表现内容。上述方法仅得到音乐表达的风格和节奏等，表现内容单调，无法将音乐中的人物、场景、动作等内容表达出来，缺乏表现力。
通常人们将音乐中的内容通过动画的形式表现出来，传统的根据音频音乐制作成动画的过程需要运用一些动画处理软件，如Flash MX，该过程需要对人物、背景、动作等进行一系列的设计，然后绘制相应内容的矢量图形，最后将各种图形进一步组合生成动画。由人工对动画进行设计制作的过程复杂，并且需要手动操作处理。
因此，目前需要本领域技术人员解决的问题就是：怎样自动的将音频音乐生成为内容丰富、与音乐表达的内容相对应的可视信息。
发明内容
本发明所要解决的技术问题是提供一种根据音频音乐生成动画的方法 和系统，自动的将音频音乐生成为内容丰富、与音乐表达的内容相对应的可视信息。
为了解决上述问题，本发明公开了一种根据音频音乐生成动画的方法，包括：
对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；
依据所述各个音频的频率特性获得各个音轨，并组合生成MIDI文件；
对MIDI文件进行音乐结构的分析，获得音乐分析结果以及音乐的时间属性；
根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输入的参数构建各个动画元素及其对应关系；
根据所述时间属性将各个动画元素及其对应关系组合成动画。
优选的，所述对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频，具体包括：
通过在预设频率段中提取打击乐器的频率获得节奏音频；
通过过滤音频音乐中的节奏音频获得伴奏音频。
优选的，当音频音乐中有人声信息时，所述对音频音乐的预设频率段进行分析还包括：通过在预设频率段中提取人声的频率获得旋律音频；则所述伴奏音频通过过滤音频音乐中的节奏音频和旋律音频得到。
优选的，所述依据所述获得的各个音频的频率特性获得各个音轨包括：
通过对节奏音频中频率的振幅和周期的分析，生成节奏轨；
将旋律音频与预设的音符频率进行匹配，生成旋律轨；
将伴奏音频与预设的音符频率进行匹配，生成伴奏轨。
优选的，所述音乐结构的分析包括：音符分析、音节分析、乐句分析、乐段分析、音轨分析中的一个或多个。
优选的，当所述音频音乐中有歌词时，所述方法还包括：进行歌词信息的分析，获得歌词分析结果；将所述歌词分析结果引入到各个动画元素及其对应关系的构建中。
优选的，所述歌词信息的分析包括：词元分析、语法分析、语句分析、段落分析、章节分析中的一个或多个。
优选的，所述构建各个动画元素及其对应关系具体包括：
根据所述动画素材库，通过音符分析、音节分析和词元分析中的一个或者多个组合构建包括角色、行为、子场景的动画元素，通过语法分析构建上述各个动画元素的对应关系；根据所述动画素材库，通过乐句分析、乐段分析、音轨分析和语句分析、段落分析、章节分析中的一个或者多个组合构建由相应的子场景组成的总场景。
优选的，所述将各个动画元素及其对应关系组合成动画具体包括：在所述总场景中加入相应的角色、行为并进行整体合成；根据所述时间属性设定各个动画元素出现的时间，使动画与音乐的播放时间同步。
优选的，所述将各个动画元素及其对应关系组合成动画具体还包括：设定视角转变路径，将各个动画元素之间的视角转变进行衔接。
此外，本发明还公开了一种根据音频音乐生成动画的系统，所述系统包括：
音频提取模块，用于对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；
MIDI生成模块，用于依据所述各个音频的频率特性获得各个音轨，并组合生成MIDI文件；
音乐分析模块，用于对MIDI文件进行音乐结构分析，获得音乐分析结果以及音乐的时间属性；
元素构建模块，用于根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输入的参数构建各个动画元素及其对应关系；
动画合成模块，用于根据所述时间属性将各个动画元素及其对应关系组合成动画。
优选的，所述音频提取模块包括：
节奏提取子模块，用于通过在预设频率段中提取打击乐器的频率获得节 奏音频；
伴奏提取子模块，用于通过过滤音频音乐中的节奏音频获得伴奏音频。
优选的，所述音频提取模块还包括：
旋律提取子模块，用于当音频音乐中有人声信息时，通过在预设频率段中提取人声的频率获得旋律音频；
则所述伴奏提取子模块通过过滤音频音乐中的节奏音频和旋律音频获得伴奏音频。
优选的，所述MIDI生成模块包括：
节奏轨生成子模块，用于通过对节奏音频中频率的振幅和周期的分析，生成节奏轨；
旋律轨生成子模块，用于将旋律音频与预设的音符频率进行匹配，生成旋律轨；
伴奏轨生成子模块，用于将伴奏音频与预设的音符频率进行匹配，生成伴奏轨。
优选的，所述系统还包括：
歌词分析模块，用于当所述音频音乐中有歌词时，进行歌词信息的分析，获得歌词分析结果；
则歌词分析模块将获得的歌词分析结果输入到元素构建模块中，元素构建模块根据预置的动画素材库、音乐分析结果和所述歌词分析结果进行各个动画元素及其对应关系的构建。
优选的，所述元素构建模块包括：
子元素构建子模块，用于根据所述动画素材库，通过音符分析、音节分析和词元分析中的一个或者多个组合构建包括角色、行为、子场景的动画元素，通过语法分析构建上述各个动画元素的对应关系；
总场景构建子模块，用于根据所述动画素材库，通过乐句分析、乐段分析、音轨分析和语句分析、段落分析、章节分析中的一个或者多个组合构建由相应的子场景组成的总场景。
优选的，所述动画合成模块包括：
元素整合子模块，用于在所述总场景中加入相应的角色、行为并进行整体合成；
时间同步子模块，用于根据所述时间属性设定各个动画元素出现的时间，使动画与音乐的播放时间同步。
优选的，所述动画合成模块还包括：视角转变子模块，用于设定视角转变路径，将各个动画元素之间的视角转变进行衔接。
与现有技术相比，本发明具有以下优点：
本发明通过对音频音乐的频率进行分析，获得MIDI文件，然后对MIDI文件进行音乐属性的分析，通过预置规则或者用户输入的参数从动画素材库中选取各个动画元素及其对应关系，最后将各个动画元素及其对应关系组合成动画。本发明适用于各种音频音乐，如MP3、WAV等，根据频率特性的分析得到有关节奏、旋律、伴奏等MIDI信息，然后与动画元素相联系，对于没有歌词的音乐，通过系统定义或者用户设置生成相应的动画，最终形成音乐电视(MV，Music Television)动画，实现动画与音乐的视听绑定，满足听觉与视觉同时享受、相互统一的需求。此外，对于有歌词的音乐，通过歌词分析构建动画元素及其关系，生成的动画能够表达出歌词的内容，表现形式丰富，与音乐的表现更为贴切。
总之，本发明将音频音乐生成与音乐相匹配的动画，实现了视听绑定，提高了用户的体验度，增加了音乐的娱乐性。
附图说明
图1是本发明一种根据音频音乐生成动画的方法实施例的流程图；
图2是本发明一种将音频音乐生成动画的方法优选实施例的流程图；
图3是本发明一种根据音频音乐生成动画的系统实施例的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明一种根据音频音乐生成动画的方法实施例的流程图，包括：
步骤101，对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；
音频音乐包含不同的频率成分，除去特定范围的频率或减低特定范围频率的幅值，可实现滤波效果，即只分析某些特定的频率段，过滤其它频率的音频，得到特定音乐元素的音频信息。
音乐中的节奏信息由打击乐器表现出来，打击乐器的发声在一定的频率范围内，因此通过对打击乐器的预设频率段进行提取，可以得到节奏音频。此外，由于节奏具有一定的规律性，因此还可以对预设频率在音频音乐中的出现的规律进行分析，得到节奏音频。
一般来说，200Hz～240Hz为手鼓的共鸣声频；2KHz影响小军鼓(响弦鼓)的力度(响度)，5KHz是小军鼓的响弦音频(泛音区)；60Hz～100Hz为低音鼓的低音力度频率，2.5KHz是低音鼓的敲击声频率，8KHz是低音鼓的鼓皮泛音频率。例如可以利用带通滤波器(band-pass filter)对上述频率进行提取，带通滤波器是一个允许特定频段的波通过同时屏蔽其他频段的设备，一个理想的带通滤波器应该有平稳的通带(band pass，即允许通过的频带)，同时限制所有通带外频率的波通过。因此，通过对预设频率中打击乐频率的提取就可以得到节奏音频。
进一步，通过过滤音频音乐中的节奏音频获得伴奏音频。一般可以利用带阻滤波器，对节奏音频进行过滤。带阻滤波器是指能通过大多数频率分量，但将某些范围的频率分量衰减到极低水平的滤波器，与带通滤波器的概念相对。则通过带阻滤波器减弱或者消除上节奏音频的特定频率段，即可以得到伴奏音频。
优选的，当音频音乐中有人声信息时，所述对音频音乐的预设频率段进行分析还包括：通过提取人声的频率获得旋律音频；则所述伴奏音频通过过滤音频音乐中的节奏音频和旋律音频得到。
通常，童声高音频率范围为260Hz～880Hz，低音频率范围为 196Hz～700Hz，女声高音频率范围为220Hz～1.1KHz，低音频率范围为200Hz～700KHz，男声高音频率范围为160Hz～523Hz，低音频率范围为80Hz～358Hz。利用人声的一些频率特征，通过滤波器可以得到人声的音频信息，由于人声是演唱者对主旋律的表现方式，因此，所述人声的音频信息作为音乐的旋律音频。
步骤102，依据所述各个音频的频率特性获得各个音轨，并组合生成MIDI文件；
通过对节奏音频中频率的振幅和周期的分析，生成节奏轨。对于提取到的节奏音频，分析某一特定频率值在时间轴上振幅规律，得到节奏信息。例如对于鼓的某一频率，其振幅在时间轴上呈周期性的变化，例如设其振幅的最高值为F，则分析其振幅为80％F以上的频率值在时间轴上的位置，若出现的位置在t1、t2、t3一直到t20，且t1、t2、t3直到t20之间有周期性规律的变化，则可以判断t1、t2、t3直到t20时刻为对应打击乐器的节奏信息。根据分析得出的节奏信息生成节奏音轨。
以下给出了在不同音乐中节奏的规律：
华尔兹 X X X | X X X |......
伦巴 X X X X X X X |X X X X X X X |......
探戈 X X 
X X | 
X X 
X X |
......
此外，生成的节奏轨中节奏的变化规律还反映了音节信息(一个周期性变化的节奏与一个音节相对应)以及音乐的速度属性。
优选的，将旋律音频与预设的音符频率进行匹配，生成旋律轨；将伴奏音频与预设的音符频率进行匹配，生成伴奏轨。
音乐是由是各种频率的音符组成的。在物理上，声音的形成是因为力学系统中的震动所造成的，因此我们通常用赫兹来测量频率大小，每秒震动一次即为一赫兹。通常在一个八度中(也就是在某一频率至该频率的两倍之间)我们只使用十二个特定频率的音符。这些固定频率之间彼此有数学关系，而最基本的音符则为A4。目前该音符的标准音高为440赫兹，不过在实际使用上可能会略有差异。
按照惯例，音名包含了一个字母、变音记号以及一个用来代表在第几八度的数字。所有的音符都可以用中央A(A4)的整数倍来代表。我们可以把这个距离记为‘n’。若一个音符高于A4，则‘n’为正；反之则为负。因此，音符的频率(记为f，以赫兹表示)可记为：
f＝2n/12×440Hz
如音符C5，最接近A4且高于A4的C音，其距离A4有三个半音的距离(A4→A#4→B4→C5)且高于A4，所以C5的n值为+3。由此可知音符的频率为：
f＝23/12×440Hz≈523.2511Hz
另外，若音符低于A4则n为负。例如F4，其低于A4且相差四个半音(A4→A 
4→G4→G 
4→F4)，因此n值为-4。因此得到此音符的频率为：
f＝2-4/12×440Hz≈349.2290Hz
由上述方法得到的与各个音符对应的频率作为预设的音符频率，可以生成一个音符与频率的映射表。则对于旋律音频或者伴奏音频，通过音符与频率的映射表，使音频信息与预设的音符频率进行匹配，即可得到各个时刻的音符，而音符是组成音乐的最小单位，因此根据音符生成旋律轨或者伴奏轨。
最后由节奏轨、伴奏轨(有人声信息时还对应加入旋律轨)，进行组合生成一个MIDI文件。
步骤103，对MIDI文件进行音乐结构的分析，获得音乐分析结果以及音乐的时间属性；
所述MIDI文件作为一个完整的音乐，音乐结构的最小单位是音符，由音符组成音节，音节组成乐句，乐句再组成乐段，各个乐段组成旋律轨、伴奏轨，由各个音轨组成一首完整的音乐。相应的，音乐结构的分析包括：音符分析、音节分析、乐句分析、乐段分析、音轨分析。
对于音符分析是确定各个音符在整个MIDI音乐中出现的时间，使音符与时间相对应，得到音乐的时间属性。音节的分析是分析每一小节音节所包含的音符，根据音符确定音节所属的和弦结构。对于乐句的分析是分析符合 和弦规律的音节组成。对于乐段的分析是分析符合和弦规律的乐句的组成，从而确定和弦随着音乐的变化情况，进一步得到音乐的稳定程度的变化。一般来说，I和弦与VI和弦稳定，II和弦与IV和弦比较稳定，V和弦与III和弦不稳定。对于音轨的分析，是分析旋律轨、伴奏轨和节奏轨的长短、高低、强弱的音符以及速度，得到音乐的表现风格，例如是舒缓还是欢快。
步骤104，根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输入的参数构建各个动画元素及其对应关系；
预置的动画素材库中存储有大量的图形素材，例如标准人图形库、演唱乐队图形库、各类动物图形库、背景图形库、文字图形库等。根据步骤103的音乐分析结果和预置的动画素材库构建各个动画元素及其对应关系，可以按照系统预置的规则，也可以按照用户输入的参数。
例如，根据音乐的分析，判断该音乐为交响乐演奏，则按照系统预置的规则，从动画素材库中选择演奏乐团图形、指挥家图形、鼓手图形、小号手图形等角色构建角色列表；同时，选择具有演奏大厅的图形构建场景列表；并且确定各个角色相应的动作构建行为动作列表，如指挥动作、敲鼓动作、吹奏动作等。可以按照系统预置的规则将上述音乐分析结果中和弦的变化与背景颜色变化相对应，例如对于稳定的I和弦赋予黄色的舞台背景；对于不稳定的V和弦赋予红色的舞台背景等。还可以根据用户输入的参数进行设置，如按照演奏乐队的规模、演奏大厅的背景颜色等进行图形的选择。最后，将角色列表中的元素与动作列表中的元素进行对应：指挥家与指挥动作相对应；鼓手与敲鼓动作相对应；小号手与吹奏动作相对应等。
此外，还可以根据音乐分析结果，灵活设定其他的动画元素，例如演奏舞台的灯光效果，假设通过音轨的分析得到，前一段音乐的旋律舒缓，设置灯光为表示柔和的黄色；中间一段音乐的旋律欢快，设置灯光为表示激烈的红色，最后一段音乐的旋律宁静，则设置灯光的颜色为蓝色。
步骤105，根据所述时间属性将各个动画元素及其对应关系组合成动画。
按照音符与时间的对应关系，对于每小段音乐，确定场景中不同角色和其对应的行为的出现时间，可以将某一角色的出现对应到某一指定音符的时 间上，或者将某一角色的行为动作与另一个指定音符的时间相对应。该步骤根据时间属性设定不同角色出现的时间，例如开始时，根据第一乐句第一个音符的时间，在演奏大厅场景中出现演奏乐队一起演奏的动画；之后，根据第二乐句第一个音符的时间，将动画角色替换为指挥家，画面转换为指挥家指挥乐队的动画；然后，根据第三乐句第一个音符的时间，将动画角色替换为鼓手，画面转换为鼓手敲鼓的动画场景，最终使音乐的播放时间与动画的播放时间一致。最后，通过音乐的整体分析，设定试点转变路径，将各个角色、场景的转变进行衔接。
本发明实施例对音频音乐的频率进行分析，获得MIDI文件，然后对MIDI文件进行音乐结构的分析，对于没有歌词的音乐，通过预置规则或者用户输入的参数，提取具有音乐表达特性的动画素材，通过各个动画元素及其对应关系将其组合成动画。该方法能够用视觉感知音乐的变化信息，通过将音频音乐与转换的动画相结合，生成MV动画，实现了动画与音乐的视听绑定，满足听觉与视觉同时享受、相互统一的需求。
对于音频音乐中包含歌词的情况，除了音乐结构的分析，还可以对歌词进行分析，按照歌词的分析结果构建相应的动画元素，使动画的表现与歌词表达的内容相对应。参照图2，示出了本发明一种将音频音乐生成动画的方法优选实施例的流程图。例如选取歌曲《童年》中的一段音频音乐：
【0098】 
【0099】 
其对应歌词为：“池塘边的榕树上知了在声声叫着夏天，操场边的秋千上只有蝴蝶停在上面，黑板上老师的粉笔还在拼命嘁嘁嚓嚓写个不停，等待着下课等待着放学等待游戏的童年。”将上述配有歌词的音频音乐生成动画。下面根据上述音乐详细说明本发明优选实施例，包括步骤：
步骤201，对音频音乐的预设频率段进行分析，获得节奏音频、旋律音频和伴奏音频；
首先，提取打击乐器的频率，在本实施例中对200Hz～240Hz的频率范围进行提取，得到节奏音频。其次，由于该歌曲的演唱者为男生，因此对范围为160Hz～523Hz的男声频率进行提取，将得到人声的音频信息作为旋律音频。上述关于节奏音频、旋律音频的特定频率段的提取方法可以采用带通滤波器。还有一种人声的提取方法是根据左右声道中人声相同的特点。首先把左右声道反相叠加，这样可以得到左右声道的不同部分音频信息，也就是去掉了相同部分(人声、鼓点音频)，然后把上述结果和左或右声道反相叠加，可以在一定程度上去掉伴奏。但提取到的人声可能会包含鼓的音频信息，因此，再与节奏音频反相叠加，大致可得到人声的音频。
进一步，通过过滤音频音乐中的旋律音频和节奏音频得到伴奏音频。可以利用带阻滤波器，对节奏音频、人声音频进行过滤。还可以利用人声在左右两个通道中基本相同的特点，过滤人声，即将两个声道中的信号反相叠加来消除人声。对于左右两个声道没有对齐的情况下，进行延迟处理。对于左右两个声道中的音频信号，通过带通滤波技术按频率将其分为两部分，第一部分在160Hz～523Hz范围内，第二部分在在160Hz～523Hz范围以外，将左右两个声道中输出的音频信号分别分成包含人声音频的第一部分音频信息和不包含人声音频的第二部分音频信息，同时将需要进行延时处理的第一部分音频信息延时相应数量的取样点，使左右两个声道中的人声音频位置对齐，再将对齐后的人声音频利用反相叠加的方法进行消除，将消除人声的第一部分音频与第二部分音频叠加即可以得到伴奏音频。
步骤202，依据节奏音频、旋律音频和伴奏音频的频率特性获得节奏音轨、旋律音轨和伴奏音轨，并组合生成MIDI文件；
通过对节奏音频中频率的振幅和周期的分析，生成节奏轨。通常以“拍每分钟”(beats per minute，省略为bpm)作单位表示音乐的速度，这表示了一个指定的音符，通常是四分音符，被任命了一个特定的速度时值。bpm的数值越大，拍子速度就越高越快。例如120bpm表示一个四分音符的时间长度为：1分钟除/120＝0.5秒。本实施例给出的音乐为4/4拍，所以1小节的时间为：0.5秒×4＝2秒。
该实施例中得到的节奏轨为流行节奏：
X X X X |X X X X |……
将旋律音频与预设的音符频率进行匹配，生成旋律轨。根据预设的音符频率，低音1至中音1所对应的频率依次是：262Hz、294Hz、330Hz、349Hz、392Hz、440Hz、494Hz、523Hz。乘以二就提升该声音一个八度音阶，减半则降一个八度。以下给出了部分音符与频率的对应关系：
由上述的匹配可以得知，旋律音频中频率659Hz匹配到第一、第二个音符均为中音3，频率784HZ匹配到的第三个音符为中音5，659Hz匹配到第四个音符为中音3。其他音符的匹配与上述类似，且包含各个音符与时间的对应关系，进而能够根据音符生成旋律轨。
伴奏轨的生成方法与旋律轨类似，即将伴奏音频与预设的音符频率进行匹配，由得到的各个音符组成伴奏轨。
步骤203，对MIDI文件进行音乐结构的分析，获得音乐分析结果以及音乐的时间属性；
所述音乐结构的分析包括：音符分析、音节分析、乐句分析、乐段分析、音轨分析。根据音符分析确定各个音符在整个MIDI文件中出现的时间，使音符与时间相对应。对MIDI文件进行音节分析，通常是分析旋律轨，即音符重叠比较少的那一轨。每一个音节按照和弦规律赋予一个或多个和弦属 
析，得到符合音乐规律的乐句，音乐规律为和弦进行规律，如下面几个音节：
是一个I-VI-IV-V和弦进行，分析得到和弦的变化为：稳定和弦-稳定和弦-不稳定和弦-很不稳定和弦，即为一个规律的和弦进行。本步骤中，对音乐结构的分析可以结合歌词，通过歌词的标点符号对乐句进行预处理。在本实施例中，通过标点符号分析得出上述前四个音节组成一个合理乐句，其它乐句的分析类似。
根据乐句的重复度及歌词的重复度大致确定乐段，几个乐句组成乐段。实际上，《童年》的整首音乐可以分为四个乐段，本实施例仅针对前一个乐段(即以上给出的部分)进行分析。此外，对于节奏轨和伴奏轨，这类音轨中某一个音符重复度比较高，对这些音轨的分析可得到节奏信息，为动画图形的构建提供了参考依据。本实施例中，对于节奏轨的分析还可以得到音乐的表现风格为舒缓，为动画元素的选取提供了依据。
步骤204，进行歌词信息的分析，获得歌词分析结果；
所述歌词信息的分析包括：词元分析、语法分析、语句分析。一个歌词文本从形式上看是由汉字(包括标点符号等)组成的一个字符串。由字可组成词元，由词元可组成句子，进而由一些句子组成段落、章节。
对词元的分析，可以利用基于字符串匹配的分词方法，按照一定的策略 将待分析的汉字串与预置词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功，识别出一个词元；也可以利用基于理解的分词方法，让计算机模拟人对句子的理解，其基本思想是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象，达到识别词的效果；还可以利用基于统计的分词方法，由于词元是稳定的字的组合，因此相邻的字同时出现的次数越多，就越有可能构成一个词，利用字与字相邻共现的频率或概率反映的词的可信度，对相邻共现的各个字的组合的频度进行统计，计算它们的互现信息，从而进行词元识别。通过词元分析，获得各个词元表达的含义，例如是什么人、什么事物、什么行为、什么场景等。
语法分析，是分析按确定用法来运用的词类、词的屈折变化或表示相互关系的其他手段以及分析词在句中的功能和关系。通过分析句子的组成成分，确定定语、状语、补语、主语、谓语、宾语，来理解词元之间的关系，从而确定句子表达的意思。
语句是由一个词或句法上有关联的一组词构成，通过语句分析，能够得出歌词的每一小句表达的主张、愿望或意境等。段落和章节，是文章思想内容在表达时由于转折、强调、间歇等情况所造成的文字停顿。通过段落和章节的分析，对歌词内容进行划分，确定出每一部分所要表达的情感、意境等内容。
步骤205，根据动画素材库，通过音符分析、音节分析、旋律分析和词元分析构建包括角色、行为、子场景的动画元素，通过语法分析构建上述各个动画元素的对应关系；
音符、乐句、乐段分别对应歌词的字或词元、语句、语段或章节。音乐分析中的得到的速度、风格信息可以结合歌词的情感作为图形风格的构建依据。通过“池塘、榕树、知了、秋千、蝴蝶”等词元的分析，可以从人、物、景等图形库中选取相对应的图形，例如绿树、知了、秋千、蝴蝶、黑板、老师、粉笔等角色图形，池塘、操场、教室的子场景图形，进一步将这些图形添加到角色列表和子场景列表中。通过“写、等待”这些词元的分析，构建 写字、思索等行为列表。
通过语法分析，构建角色列表、子场景列表、行为列表之间列表元素的对应关系。如老师、粉笔与写字的行为相对应；学生与思索的动作相对应等。
步骤206，根据所述动画素材库，通过乐句分析、乐段分析和语句分析、段落分析、章节分析中的一个或者多个组合构建由相应的子场景组成的总场景；
音乐结构分析中得到的节奏信息可以为图形的节奏变化提供依据。通过对歌词的每一句进行分析，得到每一句表达的情境，对本例中给出的歌词段进行分析，获得该段落表达的内容，按照每一歌词语句与MIDI音乐乐句的对应关系，在子场景列表中提取各个子场景，按照歌词段落与音乐乐段的对应关系，将各个子场景组合成一个总场景，该总场景按照子场景的出现具有转换视角：池塘—操场—教室。
步骤207，在所述总场景中加入相应的角色、行为并进行整体合成；
将老师、粉笔的角色图形与写字的行为相对应加入到总场景；学生的图形与思索的动作相对应加入到总场景中。其他角色如绿树、知了、秋千、蝴蝶等作为静态图形依次加入到总场景中。最后整合形成动画：池塘边种着一棵绿树，一只知了停在榕树上；然后视觉转换到操场上，操场上有一架秋千，一只蝴蝶停在秋千上；然后视觉转换到教室里，老师拿着黑粉笔在黑板上写字，几个学生托着脑袋做思考状(具体可以为学生的上方出现一团云朵状的图形，里面出现下课时的场景)。
步骤208，根据时间属性设定各个动画元素出现的时间，使动画与音乐的播放时间同步；
按照音符与时间的对应关系，对于每小段音乐，确定场景中不同角色和其对应的行为的出现时间。本实施例中，根据第一小节的第一个音符3的时间，确定池塘子场景、榕树的出现时间；根据第二小节的第五个音符6的时间，确定知了的出现时间；根据第五小节第一个音符3的时间，将子场景转换为操场；根据第六小节的第一个音符6的时间，确定秋千的出现时间。其他角色、行为、场景的时间设置与上述类似。
步骤209，设定视角转变路径，将各个动画元素之间的视角转变相衔接。
该步骤设置视角转变路径，确定各个动画元素的视角以及元素之间的过度关系，进行视觉效果的加工、优化处理，使动画的播放顺畅自然。
进一步，还可以在动画素材库中提取相应的文字信息，进行艺术处理后加入到动画中，实现对动画的解释、凸显内容等作用。还可以根据歌词信息进行文字提取，生成相应的字幕进行显示，将伴奏轨加入动画中，形成卡拉OK音乐文件。
本发明实施例，对于有歌词的音乐，通过歌词分析构建动画元素及其对应关系，通过动画的播放显示出歌词表达的内容，表现内容丰富。此外，生成的动画增加了音乐的娱乐性，提高了用户的体验度。
参照图3，示出了本发明一种根据音频音乐生成动画的系统实施例的示意图，包括：
音频提取模块301，用于对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；
MIDI生成模块302，用于依据所述各个音频的频率特性获得各个音轨，并组合生成MIDI文件；
音乐分析模块303，用于对MIDI文件进行音乐结构分析，获得音乐分析结果以及音乐的时间属性；
元素构建模块304，用于根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输入的参数构建各个动画元素及其对应关系；
动画合成模块305，用于根据所述时间属性将各个动画元素及其对应关系组合成动画。
进一步，所述音频提取模块301包括：
节奏提取子模块3011，用于通过在预设频率段中提取打击乐器的频率获得节奏音频；
伴奏提取子模块3012，用于通过过滤音频音乐中的节奏音频获得伴奏音频。
进一步，所述音频提取模块301还包括：
旋律提取子模块3013，用于当音频音乐中有人声信息时，通过在预设频率段中提取人声的频率获得旋律音频；
则所述伴奏提取子模块3012通过过滤音频音乐中的节奏音频和旋律音频获得伴奏音频。
优选的，所述MIDI生成模块302包括：
节奏轨生成子模块3021，用于通过对节奏音频中频率的振幅和周期的分析，生成节奏轨；
旋律轨生成子模块3022，用于将旋律音频与预设的音符频率进行匹配，生成旋律轨；
伴奏轨生成子模块3023，用于将伴奏音频与预设的音符频率进行匹配，生成伴奏轨。
在本发明的优选实施例中，对于有歌词信息的音频音乐，所述系统还包括：
歌词分析模块306，用于当所述音频音乐中有歌词时，进行歌词信息的分析，获得歌词分析结果；
则歌词分析模块306将获得的歌词分析结果输入到元素构建模块304中，元素构建模块304根据预置的动画素材库、音乐分析结果和所述歌词分析结果进行各个动画元素及其对应关系的构建。
优选的，所述元素构建模块304包括：
子元素构建子模块3041，用于根据所述动画素材库，通过音符分析、音节分析和词元分析中的一个或者多个组合构建包括角色、行为、子场景的动画元素，通过语法分析构建上述各个动画元素的对应关系；
总场景构建子模块3042，用于根据所述动画素材库，通过乐句分析、乐段分析、音轨分析和语句分析、段落分析、章节分析中的一个或者多个组合构建由相应的子场景组成的总场景。
优选的，所述动画合成模块305包括：
元素整合子模块3051，用于在所述总场景中加入相应的角色、行为并进 行整体合成；
时间同步子模块3052，用于根据所述时间属性设定各个动画元素出现的时间，使动画与音乐的播放时间同步。
优选的，所述动画合成模块305还包括：视角转变子模块3053，用于设定视角转变路径，将各个动画元素之间的视角转变进行衔接。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本发明所提供的一种根据音频音乐生成动画的方法和系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (18)
1.一种根据音频音乐生成动画的方法，其特征在于，包括：
对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；
依据所述各个音频的频率特性获得各个音轨，并组合生成MIDI文件；
对MIDI文件进行音乐结构的分析，获得音乐分析结果以及音乐的时间属性；
根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输入的参数构建各个动画元素及其对应关系；
根据所述时间属性将各个动画元素及其对应关系组合成动画。
2.根据权利要求1所述的方法，其特征在于，所述对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频，具体包括：
通过在预设频率段中提取打击乐器的频率获得节奏音频；
通过过滤音频音乐中的节奏音频获得伴奏音频。
3.根据权利要求2所述的方法，其特征在于，当音频音乐中有人声信息时，所述对音频音乐的预设频率段进行分析还包括：
通过在预设频率段中提取人声的频率获得旋律音频；
则所述伴奏音频通过过滤音频音乐中的节奏音频和旋律音频得到。
4.根据权利要求3所述的方法，其特征在于，所述依据所述获得的各个音频的频率特性获得各个音轨包括：
通过对节奏音频中频率的振幅和周期的分析，生成节奏轨；
将旋律音频与预设的音符频率进行匹配，生成旋律轨；
将伴奏音频与预设的音符频率进行匹配，生成伴奏轨。
5.根据权利要求1所述的方法，其特征在于，所述音乐结构的分析包括：音符分析、音节分析、乐句分析、乐段分析、音轨分析中的一个或多个。
6.根据权利要求5所述的方法，其特征在于，当所述音频音乐中有歌词时，所述方法还包括：
进行歌词信息的分析，获得歌词分析结果；
将所述歌词分析结果引入到各个动画元素及其对应关系的构建中。
7.根据权利要求6所述的方法，其特征在于，所述歌词信息的分析包括：词元分析、语法分析、语句分析、段落分析、章节分析中的一个或多个。
8.根据权利要求7所述的方法，其特征在于，所述构建各个动画元素及其对应关系具体包括：
根据所述动画素材库，通过音符分析、音节分析和词元分析中的一个或者多个组合构建包括角色、行为、子场景的动画元素，通过语法分析构建上述各个动画元素的对应关系；
根据所述动画素材库，通过乐句分析、乐段分析、音轨分析和语句分析、段落分析、章节分析中的一个或者多个组合构建由相应的子场景组成的总场景。
9.根据权利要求8所述的方法，其特征在于，所述将各个动画元素及其对应关系组合成动画具体包括：
在所述总场景中加入相应的角色、行为并进行整体合成；
根据所述时间属性设定各个动画元素出现的时间，使动画与音乐的播放时间同步。
10.根据权利要求9所述的方法，其特征在于，所述将各个动画元素及其对应关系组合成动画具体还包括：
设定视角转变路径，将各个动画元素之间的视角转变进行衔接。
11.一种根据音频音乐生成动画的系统，其特征在于，所述系统包括：
音频提取模块，用于对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；
MIDI生成模块，用于依据所述各个音频的频率特性获得各个音轨，并组合生成MIDI文件；
音乐分析模块，用于对MIDI文件进行音乐结构分析，获得音乐分析结果以及音乐的时间属性；
元素构建模块，用于根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输入的参数构建各个动画元素及其对应关系；
动画合成模块，用于根据所述时间属性将各个动画元素及其对应关系组合成动画。
12.根据权利要求11所述的方法，其特征在于，所述音频提取模块包括：
节奏提取子模块，用于通过在预设频率段中提取打击乐器的频率获得节奏音频；
伴奏提取子模块，用于通过过滤音频音乐中的节奏音频获得伴奏音频。
13.根据权利要求12所述的方法，其特征在于，所述音频提取模块还包括：
旋律提取子模块，用于当音频音乐中有人声信息时，通过在预设频率段中提取人声的频率获得旋律音频；
则所述伴奏提取子模块通过过滤音频音乐中的节奏音频和旋律音频获得伴奏音频。
14.根据权利要求13所述的方法，其特征在于，所述MIDI生成模块包括：
节奏轨生成子模块，用于通过对节奏音频中频率的振幅和周期的分析，生成节奏轨；
旋律轨生成子模块，用于将旋律音频与预设的音符频率进行匹配，生成旋律轨；
伴奏轨生成子模块，用于将伴奏音频与预设的音符频率进行匹配，生成伴奏轨。
15.根据权利要求11所述的系统，其特征在于，所述系统还包括：
歌词分析模块，用于当所述音频音乐中有歌词时，进行歌词信息的分析，获得歌词分析结果；
则歌词分析模块将获得的歌词分析结果输入到元素构建模块中，元素构建模块根据预置的动画素材库、音乐分析结果和所述歌词分析结果进行各个动画元素及其对应关系的构建。
16.根据权利要求15所述的系统，其特征在于，所述元素构建模块包括：
子元素构建子模块，用于根据所述动画素材库，通过音符分析、音节分析和词元分析中的一个或者多个组合构建包括角色、行为、子场景的动画元素，通过语法分析构建上述各个动画元素的对应关系；
总场景构建子模块，用于根据所述动画素材库，通过乐句分析、乐段分析、音轨分析和语句分析、段落分析、章节分析中的一个或者多个组合构建由相应的子场景组成的总场景。
17.根据权利要求16所述的系统，其特征在于，所述动画合成模块包括：
元素整合子模块，用于在所述总场景中加入相应的角色、行为并进行整体合成；
时间同步子模块，用于根据所述时间属性设定各个动画元素出现的时间，使动画与音乐的播放时间同步。
18.根据权利要求17所述的系统，其特征在于，所述动画合成模块还包括：视角转变子模块，用于设定视角转变路径，将各个动画元素之间的视角转变进行衔接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010168692.2A CN101901595B (zh) | 2010-05-05 | 2010-05-05 | 一种根据音频音乐生成动画的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010168692.2A CN101901595B (zh) | 2010-05-05 | 2010-05-05 | 一种根据音频音乐生成动画的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101901595A true CN101901595A (zh) | 2010-12-01 |
| CN101901595B CN101901595B (zh) | 2014-10-29 |
Family
ID=43227088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010168692.2A Expired - Fee Related CN101901595B (zh) | 2010-05-05 | 2010-05-05 | 一种根据音频音乐生成动画的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101901595B (zh) |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779144A (zh) * | 2012-03-20 | 2012-11-14 | 北京捷通华声语音技术有限公司 | 一种手写控制、查询的方法和装置 |
| CN103440137A (zh) * | 2013-09-06 | 2013-12-11 | 叶鼎 | 一种同步显示演奏乐器位置的数字音频播放方法及其系统 |
| CN103886881A (zh) * | 2014-04-14 | 2014-06-25 | 福建星网视易信息系统有限公司 | 一种扩展点歌曲库的方法及其系统 |
| CN104216386A (zh) * | 2014-09-26 | 2014-12-17 | 上海水晶石视觉展示有限公司 | 一体化同步智能集中控制系统 |
| CN104244039A (zh) * | 2014-09-25 | 2014-12-24 | 苏州乐聚一堂电子科技有限公司 | 声音感应影像播放系统 |
| CN104244530A (zh) * | 2014-09-25 | 2014-12-24 | 苏州乐聚一堂电子科技有限公司 | 震动感应变色灯光特效系统 |
| CN104320889A (zh) * | 2014-11-10 | 2015-01-28 | 苏州乐聚一堂电子科技有限公司 | 活动感应改变基础亮度级别的方法 |
| CN104392729A (zh) * | 2013-11-04 | 2015-03-04 | 贵阳朗玛信息技术股份有限公司 | 一种动画内容的提供方法及装置 |
| CN104408905A (zh) * | 2014-12-02 | 2015-03-11 | 苏州乐聚一堂电子科技有限公司 | 智能灯光特效遥控器 |
| CN104411067A (zh) * | 2014-12-02 | 2015-03-11 | 苏州乐聚一堂电子科技有限公司 | 智能互动灯光阵列 |
| CN104424955A (zh) * | 2013-08-29 | 2015-03-18 | 国际商业机器公司 | 生成音频的图形表示的方法和设备、音频搜索方法和设备 |
| CN104470064A (zh) * | 2014-11-10 | 2015-03-25 | 苏州乐聚一堂电子科技有限公司 | 声音及活动感应改变亮度级别的方法 |
| CN104486878A (zh) * | 2014-12-02 | 2015-04-01 | 苏州乐聚一堂电子科技有限公司 | 智能互动节拍灯光特效方法 |
| CN104978973A (zh) * | 2014-10-22 | 2015-10-14 | 腾讯科技（深圳）有限公司 | 一种音频处理方法及装置 |
| CN104992461A (zh) * | 2015-06-29 | 2015-10-21 | 北京奇虎科技有限公司 | 一种快速动画场景构建方法和装置 |
| CN106471574A (zh) * | 2014-06-30 | 2017-03-01 | 索尼公司 | 信息处理装置和信息处理方法 |
| CN106898369A (zh) * | 2017-02-23 | 2017-06-27 | 上海与德信息技术有限公司 | 一种音乐播放方法及装置 |
| CN107545883A (zh) * | 2017-10-13 | 2018-01-05 | 广州酷狗计算机科技有限公司 | 确定音乐的节奏快慢等级的方法和装置 |
| CN107610725A (zh) * | 2017-09-19 | 2018-01-19 | 广东小天才科技有限公司 | 一种视频制作方法及终端 |
| CN108305604A (zh) * | 2018-01-30 | 2018-07-20 | 浙江省公众信息产业有限公司 | 音乐可视化方法、装置及计算机可读存储介质 |
| CN108921923A (zh) * | 2018-05-04 | 2018-11-30 | 北京物灵智能科技有限公司 | 一种基于音乐播放动画的方法、装置及存储设备 |
| CN109003321A (zh) * | 2018-06-21 | 2018-12-14 | 珠海金山网络游戏科技有限公司 | 一种基于声音波形数据的三维动画辅助制作方法和装置 |
| CN109615682A (zh) * | 2018-12-07 | 2019-04-12 | 北京微播视界科技有限公司 | 动画生成方法、装置、电子设备及计算机可读存储介质 |
| CN109800037A (zh) * | 2017-11-16 | 2019-05-24 | 阿里巴巴集团控股有限公司 | 界面显示、界面数据处理方法、客户端及服务器 |
| CN110085253A (zh) * | 2019-05-09 | 2019-08-02 | 广州小鹏汽车科技有限公司 | 一种音乐可视化信息的控制方法、装置、车辆及存储介质 |
| CN110085202A (zh) * | 2019-03-19 | 2019-08-02 | 北京卡路里信息技术有限公司 | 音乐生成方法、装置、存储介质及处理器 |
| CN110753245A (zh) * | 2019-09-30 | 2020-02-04 | 深圳市嘀哒知经科技有限责任公司 | 音频与动画同步协调播放方法、系统及终端设备 |
| CN110853675A (zh) * | 2019-10-24 | 2020-02-28 | 广州大学 | 一种音乐联觉绘画的装置及其实现方法 |
| CN111339865A (zh) * | 2020-02-17 | 2020-06-26 | 杭州慧川智能科技有限公司 | 一种基于自监督学习的音乐合成视频mv的方法 |
| CN112533030A (zh) * | 2019-09-19 | 2021-03-19 | 聚好看科技股份有限公司 | 一种演唱界面的显示方法、显示设备及服务器 |
| CN112685592A (zh) * | 2020-12-24 | 2021-04-20 | 上海掌门科技有限公司 | 生成运动视频配乐的方法和装置 |
| CN112712783A (zh) * | 2020-12-21 | 2021-04-27 | 北京百度网讯科技有限公司 | 生成音乐的方法和装置、计算机设备和介质 |
| CN113571087A (zh) * | 2020-04-29 | 2021-10-29 | 宏达国际电子股份有限公司 | 依据音频信号产生动作的方法及电子装置 |
| CN113836344A (zh) * | 2021-09-30 | 2021-12-24 | 广州艾美网络科技有限公司 | 个性化歌曲文件生成方法和装置、音乐演唱设备 |
| CN114446323A (zh) * | 2022-01-25 | 2022-05-06 | 电子科技大学 | 一种动态多维度的音乐情感分析方法及系统 |
| TWI821948B (zh) * | 2022-03-15 | 2023-11-11 | 美商美國未來科技公司 | 隨著音樂節奏變換之圖像顯示方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006126687A1 (ja) * | 2005-05-27 | 2006-11-30 | Matsushita Electric Industrial Co., Ltd. | 表示装置 |
| CN1885976A (zh) * | 2005-06-24 | 2006-12-27 | 英华达(上海)电子有限公司 | 将声音在手机显示屏上图形化显示并播放的方法 |
| CN101093661A (zh) * | 2006-06-23 | 2007-12-26 | 凌阳科技股份有限公司 | 一种音高跟踪和播放方法及其系统 |
| CN101141603A (zh) * | 2006-09-06 | 2008-03-12 | 富士胶片株式会社 | 用于产生音乐与图像同步的动画的脚本的方法、程序和设备 |
| CN101364407A (zh) * | 2008-09-17 | 2009-02-11 | 清华大学 | 保持主观一致性的卡拉ok演唱评分方法 |
| CN101546587A (zh) * | 2008-03-25 | 2009-09-30 | 国际商业机器公司 | 在播放歌曲时自动显示视觉元素的方法和装置 |
-
2010
- 2010-05-05 CN CN201010168692.2A patent/CN101901595B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006126687A1 (ja) * | 2005-05-27 | 2006-11-30 | Matsushita Electric Industrial Co., Ltd. | 表示装置 |
| CN1885976A (zh) * | 2005-06-24 | 2006-12-27 | 英华达(上海)电子有限公司 | 将声音在手机显示屏上图形化显示并播放的方法 |
| CN101093661A (zh) * | 2006-06-23 | 2007-12-26 | 凌阳科技股份有限公司 | 一种音高跟踪和播放方法及其系统 |
| CN101141603A (zh) * | 2006-09-06 | 2008-03-12 | 富士胶片株式会社 | 用于产生音乐与图像同步的动画的脚本的方法、程序和设备 |
| CN101546587A (zh) * | 2008-03-25 | 2009-09-30 | 国际商业机器公司 | 在播放歌曲时自动显示视觉元素的方法和装置 |
| CN101364407A (zh) * | 2008-09-17 | 2009-02-11 | 清华大学 | 保持主观一致性的卡拉ok演唱评分方法 |
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779144A (zh) * | 2012-03-20 | 2012-11-14 | 北京捷通华声语音技术有限公司 | 一种手写控制、查询的方法和装置 |
| CN104424955A (zh) * | 2013-08-29 | 2015-03-18 | 国际商业机器公司 | 生成音频的图形表示的方法和设备、音频搜索方法和设备 |
| CN104424955B (zh) * | 2013-08-29 | 2018-11-27 | 国际商业机器公司 | 生成音频的图形表示的方法和设备、音频搜索方法和设备 |
| CN103440137A (zh) * | 2013-09-06 | 2013-12-11 | 叶鼎 | 一种同步显示演奏乐器位置的数字音频播放方法及其系统 |
| CN103440137B (zh) * | 2013-09-06 | 2016-02-10 | 叶鼎 | 一种同步显示演奏乐器位置的数字音频播放方法及其系统 |
| CN104392729A (zh) * | 2013-11-04 | 2015-03-04 | 贵阳朗玛信息技术股份有限公司 | 一种动画内容的提供方法及装置 |
| CN103886881A (zh) * | 2014-04-14 | 2014-06-25 | 福建星网视易信息系统有限公司 | 一种扩展点歌曲库的方法及其系统 |
| CN106471574A (zh) * | 2014-06-30 | 2017-03-01 | 索尼公司 | 信息处理装置和信息处理方法 |
| CN104244039A (zh) * | 2014-09-25 | 2014-12-24 | 苏州乐聚一堂电子科技有限公司 | 声音感应影像播放系统 |
| CN104244530A (zh) * | 2014-09-25 | 2014-12-24 | 苏州乐聚一堂电子科技有限公司 | 震动感应变色灯光特效系统 |
| CN104216386A (zh) * | 2014-09-26 | 2014-12-17 | 上海水晶石视觉展示有限公司 | 一体化同步智能集中控制系统 |
| CN104978973B (zh) * | 2014-10-22 | 2019-08-13 | 广州酷狗计算机科技有限公司 | 一种音频处理方法及装置 |
| CN104978973A (zh) * | 2014-10-22 | 2015-10-14 | 腾讯科技（深圳）有限公司 | 一种音频处理方法及装置 |
| CN104470064A (zh) * | 2014-11-10 | 2015-03-25 | 苏州乐聚一堂电子科技有限公司 | 声音及活动感应改变亮度级别的方法 |
| CN104320889A (zh) * | 2014-11-10 | 2015-01-28 | 苏州乐聚一堂电子科技有限公司 | 活动感应改变基础亮度级别的方法 |
| CN104486878A (zh) * | 2014-12-02 | 2015-04-01 | 苏州乐聚一堂电子科技有限公司 | 智能互动节拍灯光特效方法 |
| CN104411067A (zh) * | 2014-12-02 | 2015-03-11 | 苏州乐聚一堂电子科技有限公司 | 智能互动灯光阵列 |
| CN104408905A (zh) * | 2014-12-02 | 2015-03-11 | 苏州乐聚一堂电子科技有限公司 | 智能灯光特效遥控器 |
| CN104992461B (zh) * | 2015-06-29 | 2018-05-04 | 北京奇虎科技有限公司 | 一种快速动画场景构建方法和装置 |
| CN104992461A (zh) * | 2015-06-29 | 2015-10-21 | 北京奇虎科技有限公司 | 一种快速动画场景构建方法和装置 |
| CN106898369A (zh) * | 2017-02-23 | 2017-06-27 | 上海与德信息技术有限公司 | 一种音乐播放方法及装置 |
| CN107610725A (zh) * | 2017-09-19 | 2018-01-19 | 广东小天才科技有限公司 | 一种视频制作方法及终端 |
| CN107545883A (zh) * | 2017-10-13 | 2018-01-05 | 广州酷狗计算机科技有限公司 | 确定音乐的节奏快慢等级的方法和装置 |
| CN109800037A (zh) * | 2017-11-16 | 2019-05-24 | 阿里巴巴集团控股有限公司 | 界面显示、界面数据处理方法、客户端及服务器 |
| CN108305604A (zh) * | 2018-01-30 | 2018-07-20 | 浙江省公众信息产业有限公司 | 音乐可视化方法、装置及计算机可读存储介质 |
| CN108305604B (zh) * | 2018-01-30 | 2020-11-24 | 浙江省公众信息产业有限公司 | 音乐可视化方法、装置及计算机可读存储介质 |
| CN108921923A (zh) * | 2018-05-04 | 2018-11-30 | 北京物灵智能科技有限公司 | 一种基于音乐播放动画的方法、装置及存储设备 |
| CN109003321A (zh) * | 2018-06-21 | 2018-12-14 | 珠海金山网络游戏科技有限公司 | 一种基于声音波形数据的三维动画辅助制作方法和装置 |
| CN109615682A (zh) * | 2018-12-07 | 2019-04-12 | 北京微播视界科技有限公司 | 动画生成方法、装置、电子设备及计算机可读存储介质 |
| CN110085202A (zh) * | 2019-03-19 | 2019-08-02 | 北京卡路里信息技术有限公司 | 音乐生成方法、装置、存储介质及处理器 |
| CN110085253A (zh) * | 2019-05-09 | 2019-08-02 | 广州小鹏汽车科技有限公司 | 一种音乐可视化信息的控制方法、装置、车辆及存储介质 |
| CN112533030A (zh) * | 2019-09-19 | 2021-03-19 | 聚好看科技股份有限公司 | 一种演唱界面的显示方法、显示设备及服务器 |
| CN110753245A (zh) * | 2019-09-30 | 2020-02-04 | 深圳市嘀哒知经科技有限责任公司 | 音频与动画同步协调播放方法、系统及终端设备 |
| CN110853675A (zh) * | 2019-10-24 | 2020-02-28 | 广州大学 | 一种音乐联觉绘画的装置及其实现方法 |
| CN111339865A (zh) * | 2020-02-17 | 2020-06-26 | 杭州慧川智能科技有限公司 | 一种基于自监督学习的音乐合成视频mv的方法 |
| CN113571087A (zh) * | 2020-04-29 | 2021-10-29 | 宏达国际电子股份有限公司 | 依据音频信号产生动作的方法及电子装置 |
| CN113571087B (zh) * | 2020-04-29 | 2023-07-28 | 宏达国际电子股份有限公司 | 依据音频信号产生动作的方法及电子装置 |
| CN112712783A (zh) * | 2020-12-21 | 2021-04-27 | 北京百度网讯科技有限公司 | 生成音乐的方法和装置、计算机设备和介质 |
| CN112712783B (zh) * | 2020-12-21 | 2023-09-29 | 北京百度网讯科技有限公司 | 生成音乐的方法和装置、计算机设备和介质 |
| CN112685592B (zh) * | 2020-12-24 | 2023-05-26 | 上海掌门科技有限公司 | 生成运动视频配乐的方法和装置 |
| CN112685592A (zh) * | 2020-12-24 | 2021-04-20 | 上海掌门科技有限公司 | 生成运动视频配乐的方法和装置 |
| CN113836344A (zh) * | 2021-09-30 | 2021-12-24 | 广州艾美网络科技有限公司 | 个性化歌曲文件生成方法和装置、音乐演唱设备 |
| CN114446323A (zh) * | 2022-01-25 | 2022-05-06 | 电子科技大学 | 一种动态多维度的音乐情感分析方法及系统 |
| TWI821948B (zh) * | 2022-03-15 | 2023-11-11 | 美商美國未來科技公司 | 隨著音樂節奏變換之圖像顯示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101901595B (zh) | 2014-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101901595B (zh) | 一种根据音频音乐生成动画的方法和系统 | |
| Temperley | The musical language of rock | |
| Kernfeld | What to Listen for in Jazz | |
| CN101853668B (zh) | 一种将midi音乐生成动画的方法和系统 | |
| Potter et al. | The Ashgate research companion to minimalist and postminimalist music | |
| Block et al. | Charles Ives and the Classical Tradition | |
| Knight | The intersection of improvisation and composition: A music practice in flux | |
| Emmerson | Timbre composition in electroacoustic music | |
| Föllmer | Audio Art | |
| Cushing | Three solitudes and a DJ: A mashed-up study of counterpoint in a digital realm | |
| Kolek | " Finding the proper sequence": Form and narrative in the collage music of John Zorn | |
| Oddekalv | What makes the shit dope | |
| Tammetta | Beyond Hollywood: A Multidimensional Examination of Erich Wolfgang Korngold's Violin Concerto in D Major | |
| Zavorskas | Reconceptualizing and Expanding Minimalism: Drones, Totalism, Spectral Postminimalism, and Post-Totalism | |
| Fraser | Exploring pluralism and musical meaning in the compositions of Hans Roosenschoon | |
| Harmeyer | Liminal aesthetics: perspectives on harmony and timbre in the music of Olivier Messiaen, Tristan Murail, and Kaija Saariaho. | |
| Nicely | A Community-Driven Musical Syntax: Collaboration and Momentum in Guinean Malinke Dance Drumming | |
| McInerney | PERFORMANCE AND THE PAGE: An artist's investigation of the dialogue between the musical event and the written score | |
| Felici | Spectral thinking as spiritual search… und electronics ist auch dabei: Jonathan Harvey’s Tombeau de Messiaen, String Quartet No. 4 and Speakings. | |
| Bakker | Two responses to modernism: minimalism and new complexity in solo flute repertoire | |
| Acord | Twenty-First Century Storytellers: Six Compositions for Unaccompanied Violin, 2000-2019 | |
| Wu | Pedagogical Approaches to Polytemporality and Form Process in György Ligeti’s Études pour piano, premier livre | |
| Gluck | Pat Metheny: Stories beyond Words | |
| Colle | Pastoralism in British Cello Music: Solo and Chamber Works from the 1940s to the Present Day | |
| Gibson | Toward Expansion: Composing Scale and Time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20151218 Address after: 519031 Guangdong city of Zhuhai province Hengqin Baohua Road No. 6, room 105 -478 Patentee after: Guangdong Zhongxing Electronics Co.,Ltd. Address before: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16 Patentee before: VIMICRO Corp. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141029 |