CN101577114B - 一种音频可视化实现方法及装置 - Google Patents
一种音频可视化实现方法及装置 Download PDFInfo
- Publication number
- CN101577114B CN101577114B CN2009100866963A CN200910086696A CN101577114B CN 101577114 B CN101577114 B CN 101577114B CN 2009100866963 A CN2009100866963 A CN 2009100866963A CN 200910086696 A CN200910086696 A CN 200910086696A CN 101577114 B CN101577114 B CN 101577114B
- Authority
- CN
- China
- Prior art keywords
- beat
- model
- information
- picture
- confirm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012800 visualization Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000008859 change Effects 0.000 claims abstract description 53
- 230000005236 sound signal Effects 0.000 claims abstract description 38
- 239000000284 extract Substances 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 abstract description 18
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 230000033001 locomotion Effects 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000010009 beating Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001050985 Disco Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
Images
Abstract
本发明公开了一种音频可视化实现方法，该方法包括：提取音频文件中的音频信号属性信息，所述属性信息至少包括音频信号的节拍信息；根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数，生成与所述音频文件对应的视频模型；根据所述视频模型生成与所述音频文件对应的视频文件。上述方法所生成的视频文件能够很好的反映音频文件的节拍信息，获得了良好的视频可视化效果。
Description
技术领域
本发明涉及信号处理领域，尤指一种基于参数模型的音频可视化实现方法及装置。
背景技术
音频可视化，在手持多媒体设备和PC版本的播放器中已有较为广泛的应用。例如：Windows Media Player，Winamp等常用的音频播放软件都可以支持音频可视化功能。音频可视化是指在播放纯音频或音乐播放时，不仅显示歌曲歌词或者其他音频信息，还会显示丰富的图形信息，例如：显示频谱轮廓，变换的几何图形，或者与音乐相关的跳动图形等等等。这些显示一般称为可视化效果。
目前，音频可视化功能的实现都是基于参数模式的。具体而言，现有音频可视化效果的实现都是基于音频能量变化的，通过音频能量的变化控制对应的视频画面的效显示果。
现有技术中的音频可视化效果，其基本实现原理如图1所示。对音频信号进行FFT变换得到频域信号，对变换得到的频域信号进行频带划分，计算各个频带的能量，根据得到的各个频带的能量值，调制得到视频生成模型，利用得到的视频生成模型，生成对应的视频文件并显示。
音乐(音频)作为与人类共通的情感语言，之所以能拨动人的心弦，生物物理学的解释是：声音由耳神经触传到大脑中枢神经中心，从而产生人与音乐声响的共鸣和共振，并不断的合上节拍，表现出情感的诉说与付出。因此，音乐的节拍和能量实质是音乐最重要的两个特征。
本申请发明人发现现有的音频可视化效果都是基于音频能量变化的，没有体现出音频的节拍信息。因此视频画面的变化没能实现与音频信号变化的完美结合，即没能完全体现音频的特性，未能获得最佳的可视化效果。
发明内容
本发明实施例提供一种音频可视化实现方法及装置，解决了现有技术中音频可视化未体现音频信号节拍信息的问题，获得了良好的视频可视化效果。
一种音频可视化实现方法，包括：
提取音频文件中的音频信号属性信息，所述属性信息至少包括音频信号的节拍信息；
根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数，生成与所述音频文件对应的视频模型；
根据所述视频模型生成与所述音频文件对应的视频文件。所述节拍信息，包括：各节拍点所对应的时刻；
所述根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数的步骤包括：
根据所述属性信息中包含的节拍信息，确定各节拍点所对应的时刻；以及
确定所述节拍点所对应的时刻为所述画面元素突变的时刻。
本发明的上述方法，所述节拍信息，还包括：节拍速率和每个所述节拍速率所对应的时间段；或
所述节拍信息还包括：规定时间内的节拍数、以及每拍的起始时间或终止时间；或
所述节拍信息还包括：节拍速率、每个所述节拍速率所对应的时间段，以及规定时间内的节拍数、以及每拍的起始时间或终止时间。
本发明的上述方法，根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数，具体包括：
选取画面产生模型；
根据提取到的所述属性信息中包含的节拍信息，确定节拍速率和每个节拍速率所对应的时间段；
根据所述节拍速率和对应的时间段，确定所述画面产生模型中包含的画面元素在每个所述时间段内的变化周期或变化频率。
根据本发明的上述方法，所述属性信息，还包括：音频信号的能量信息；
所述根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数，具体包括：
选取画面产生模型；
根据提取到的所述属性信息中包含的节拍信息，确定节拍速率和每个节拍速率所对应的时间段；并根据所述节拍速率和对应的时间段，确定所述画面产生模型中包含的画面元素在每个所述时间段内的变化周期或变化频率；以及
根据提取到的所述能量信息，确定所述画面产生模型中包含的画面元素在每个变化周期内的变化幅度。
本发明的上述方法，还包括：
在所述各节拍点所对应的时刻，进行画面产生模型的切换。
根据本发明的上述方法，所述画面元素，包括至少一种下列元素和/或至少两种下列元素的组合：点、线、图形、曲线、设定形状的实体。
一种音频可视化实现装置，包括：
信息提取模块，用于提取音频文件中的音频信号属性信息，所述属性信息至少包括音频信号的节拍信息；
模型生成模块，用于根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数，生成与所述音频文件对应的视频模型；
视频生成模块，用于根据所述视频模型生成与所述音频文件对应的视频文件。所述模型生成模块，还包括：
变化控制单元，用于根据所述属性信息中包含的节拍信息，确定各节拍点所对应的时刻；以及确定所述节拍点所对应的时刻为所述画面元素突变的时刻。
根据本发明的上述装置，所述模型生成模块，还具体包括：
选取单元，用于选取画面产生模型；
第一确定单元，用于根据提取到的所述属性信息中包含的节拍信息，确定节拍速率和每个节拍速率所对应的时间段；以及根据所述节拍速率和对应的时间段，确定所述画面产生模型中包含的画面元素在每个所述时间段内的变化周期或变化频率。
根据本发明的上述方装置，所述信息提取模块提取的所述属性信息，还包括：音频信号的能量信息；
所述模型生成模块，还包括：
第二确定单元，用于根据提取到的所述能量信息，确定所述画面产生模型中包含的画面元素在每个变化周期内的变化幅度。
根据本发明的上述装置，所述变化控制单元，还用于：
在所述各节拍点所对应的时刻，执行画面产生模型的切换。
本发明实施例提供的音频可视化实现方法及装置，通过提取音频文件中至少包括音频信号的节拍信息的音频信号属性信息；并根据属性信息，确定选取的画面产生模型中画面元素的变化参数，生成与音频文件对应的视频模型；根据视频模型生成与音频文件对应的视频文件。使得生成的视频文件能够很好的反映音频文件的节拍信息，在播放时视频画面变化与语音频节拍变化能够很好的匹配，获得了良好的视频可视化效果。
附图说明
图1为现有技术中音频可视化效果的实现原理示意图；
图2为本发明实施例中音频可视化实现原理示意图；
图3为本发明实施例中音频可视化实现方法的流程图；
图4为本发明实施例中音频可视化装置的结构示意图。
具体实施方式
本发明实施例提供的音频可视化实现方法。其原理如图2所示，通过提取音频文件中包含的音频信号的属性信息(至少包括对应的节拍信息，还可以包括音频信号的能量信息)，确定选取的画面产生模型中画面元素的变化参数，生成与所述音频文件对应的视频模型，根据生成的视频模型生成与该音频文件对应的视频文件，并在播放该音频文件时同步播放生成的视频文件。
本发明实施例提供的音频可视化实现方法，其流程如图3所示，具体执行步骤如下：
步骤S101：提取音频文件对应的音频信号属性信息。其中，音频信号的属性信息至少包括音频信号节拍信息，还可以包括音频信号能量信息。
根据音频文件(音乐)所具有的节拍特征，可以将音乐分为“劲歌”“慢歌”等音乐形式。例如：快节奏的Disco、Hip-Hop舞曲音乐就属于“快歌”；而浪漫的情歌等则属于“慢歌”。上述分类体现了听众对音乐速度(Tempo，一个专业术语)层面的需求，而真正用来量化描述音乐速度的却是BPM(Beats PerMinute，每分钟的节拍数)，也就是节拍速率。
例如：当音乐的规定节拍速率为60BMP时，那么每拍占的时间是每分钟的60分之一，也就是一秒，(半拍为二分之一秒)，如果规定的节拍速率为120BMP，那么每一拍占的时间是半秒钟(半拍是1/4秒)，现在是半秒钟打一拍，前面是一秒钟打一拍，显然后者要比前者快。所以，节拍体现了音乐节奏的快慢。
具体而言，节拍信息包括：节拍速率以及每个节拍速率所对应的时间段；或包括规定时间内的节拍数(例如一分钟)或每拍的起始时间或终止时间等各种参数信息(根据这些也可以方便的确定出节拍速率以及每个节拍速率所对应的时间段等)；或者上述节拍速率和每个节拍速率所对应的时间段，以及规定时间内的节拍数(例如一分钟)或每拍的起始时间或终止时间均包含在节拍信息中。节拍信息还可以包括：各节拍点所对应的时刻。
能量信息可以是：音频信号的能量变化情况或音频信号中每个数据帧的能量大小等各种参数信息。
提取音频文件的能量信息和节拍信息，在现有技术中有很多中实现方式。例如，现有提取音频信号能量信息的方法可以方便的提取到音频信号每个数据帧的能量信息以及多个数据帧的能量信息的变化规律等。现有提取节拍信息的方法，既能分析出音乐的行进速度以及每一拍所出现的时刻，还能够分辨出其中的强拍和弱拍。例如：采用共振器的方法分析出音乐中可能存在的多个节拍速率和每个节拍速率所出现的时刻，然后结合音乐知识，最终确定出可能的节拍，并分辨出其中的强拍和弱拍。
需要说明的是：节拍信息中包含的各个参数有时候可以相互转化，也就是说，当提取到某一个节拍参数时，可以通过关系运算得到另一个节拍参数的值。同理能量信息中包含的各个参数有时候可以相互转化的。
由于音频速率的节拍信息体现了音乐节奏的快慢，因此视频文件要体现音频文件的节拍信息，需要确定音频文件的节拍速率。
例如：对节拍信息的提取，可以直接提取节拍速率；也可以提取规定时间内的节拍数(如：1分钟)或每拍的持续时间，并计算得到节拍速率。当提取到音频文件的节拍速率为B拍/分钟时，则可以计算得到每拍的持续时间是60/B。
步骤S102：选取画面生成模型。
不同的画面产生模型，所产生的画面也不同。如模拟产生喷泉、火焰、风暴等抽象效果的画面产生模型都是一些音频可视化中常用的画面产生模型，除此之外，画面产生模型中画面的组成元素也可以是点、线、图形、曲线、或者其他设定形状的实体等等，也可以是上述图形与曲线、点与线等任意两种或多种的组合。例如：三角形、柱状图、波形图等等
因此，针对待配置视频的每一个音频文件都需要预先选择一个或多个画面生成模型，从而确定为该音频文件所配置的一个或多个画面。
特别的，可以选用已有的画面生成模型，也可以自行设计画面生成模型，以更好的体现待配置视频的音频文件的风格特征。
通常音频可视化效果的画面产生模型大致可以分为以下几种类别：
一是显示跟频谱相关性很强的图形，比如柱状图，曲线图或者部分波形图。
二是显示完全随机的内容，每次都不一样，跟音频本身也没有联系。
三是部分参数是随机的，比如颜色，而部分参数是跟音频的频谱相关的，比如形状或者幅度等等，这样图形可以随着音乐变化，而又不会太单调。
步骤S103：根据提取到的属性信息，确定选取的画面产生模型中画面元素的变化参数。具体包括下列两种情况：
(1)根据节拍信息确定画面产生模型中画面元素的变化参数。具体为：
根据上述提取到的音频信号属性信息中包含的节拍信息，确定节拍速率和每个节拍速率所对应的时间段。然后再根据节拍速率和对应的时间段，确定画面产生模型中包含的画面元素在每个时间段内的变化周期或变化频率。
例如：视频模型中的画面组成元素按照一定的画面产生模型中规定的运动变化规律产生画面时，各画面元素的运动速度v必须与音乐节拍速率b(BMP)成正比。这样才能达到视觉与听觉的一致性。例如：通常所使用的cyclone模型，就是，旋转线速度v＝cons*b。其中，cons为常数(constant)。
需要说明的是，变化参数也可以包括画面产生模型中各画面元素对应的2D和/或3D的各种形状变化参数，使得生成的可视化图形具备更多的表现效果。比如在屏幕上一个到处跳动的小球的跳动方向和速度等。
(2)根据节拍信息和能量信息确定画面产生模型中画面元素的变化参数。具体为：
根据提取到的音频信号属性信息中包含的节拍信息，确定节拍速率和每个节拍速率所对应的时间段；并根据节拍速率和对应的时间段，确定画面产生模型中包含的画面元素在每个时间段内的变化周期或变化频率；以及
根据提取到的音频信号能量信息，确定画面产生模型中包含的画面元素在每个变化周期内的变化幅度。
除了如(1)中所举例说明的画面元素运动速度与节拍速率成正比外，每个变化周期内画面元素的变化幅度。例如：喷泉的的高度变化等等也与音频信号的能量信息相关，例如与能量的大小成正比，等等。
节拍也是指强拍和弱拍的组合规律。有很多有强有弱的音，在长度相同的时间内，按照一定的次序反复出现，形成有规律的强弱变化。节拍的“强”与“弱”变化可以表征各种情感，各种不同风格的乐曲。在强拍处(即能量大的节拍处)，使变化幅度增大，能够更好的反应音频的风格和情感特征。
特别的，上述根据属性信息，确定选取的画面产生模型中画面元素的变化参数，除了包括(1)、(2)中所述的确定画面元素在每个时间段内的变化周期或变化频率、以及画面元素在每个变化周期内的变化幅度外，还包括：在节拍点处实现画面突变。具体为：
根据属性信息中包含的节拍信息，确定各节拍点所对应的时刻；以及确定节拍点所对应的时刻为画面元素突变的时刻。
音乐视觉效果的节拍跟踪，就是在音乐的节拍点处，画面出现具有视觉冲击力的变化，在视觉上体现出强拍和弱拍的秩序，在音频的强拍点上，突出视觉的变化，在音频的弱拍上保持原来的运动方式，在视觉上对强弱进行区分，从而可以使视频更具有可欣赏性，从而获取更好的视觉效果。
例如：通常使用的cyclone模型，通常情况下，每个目标个体(particle)的运动都是连续的，在强拍点，产生一个位移的突变，这样，整个画面就有了一种“舞蹈”效果，这样能很好的强调出音频的节拍。
除此之外，还包括：当一个音频文件对应选择了不止一个视频模型时，在各节拍点所对应的时刻，进行画面产生模型的切换。
在音乐的节拍点处，更新画面模型以及对应的各种参数信息，重新调制画面产生模型，产生颜色、运动速率、运动方向、变化幅度等不相同的画面。不仅能降低运算的复杂度，而且使视频显示更好的体现出了音乐的节拍信息。
步骤S104：根据选取的画面产生模型和确定出的变化参数，生成与该音频文件对应的视频模型。
上述步骤S103确定了选取的画面产生模型的各种变化参数后，就可以生生成对应的视频模型了。视频模型中包含了：视频画面的画面元素及其对应的运动变化规律。如：变化幅度、变化周期或变化频率等，还包括：切换时间、突变时间等等。
例如：以三角形为画面组成元素(particle)，可视化效果以cyclone模型为基础演变得到的。Cyclone模型的核心是由6个参考点坐标根据贝塞尔函数得到一条曲线，N个particles以拟合曲线为中心由曲线底部螺旋上升到曲线顶点，旋转半径遵循由小(底部)到大(顶部)的变化规律，旋转线速度保持稳定。在视频模型中，至少要包含该曲线的变化幅度、一个变化周期的时间长度等，还可以包括在某些时间点切换成心的变化曲线，以及在某些时间点发生显示形状的突变等。
步骤S105：根据视频模型生成与音频文件对应的视频文件。
该步骤中实现根据视频模型生成可以使用播放软件播放的视频文件。
在播放音频文件时，同步播放为该音频文件配置的视频文件，从而取得良好的视频可视化效果。
根据本发明实施例的上述音频可视化实现方法，可以构建一种音频可视化实现装置，如图4所示，包括：信息提取模块11、模型生成模块12和视频生成模块13。
信息提取模块11，用于提取音频文件中的音频信号属性信息，其中，属性信息至少包括音频信号的节拍信息。
模型生成模块12，用于根据信息提取模块11提取到的属性信息，确定选取的画面产生模型中画面元素的变化参数，生成与该音频文件对应的视频模型。
较佳的，模型生成模块12，进一步可以包括：选取单元121和第一确定单元122。
选取单元121，用于选取画面产生模型。
第一确定单元122，用于根据信息提取模块11提取到的属性信息中包含的节拍信息，确定节拍速率和每个节拍速率所对应的时间段；以及根据确定出的节拍速率和对应的时间段，确定选取的画面产生模型中包含的画面元素在每个时间段内的变化周期或变化频率。
特别的，信息提取模块11提取的属性信息，还包括：音频信号的能量信息。
模型生成模块12，进一步还包括：第二确定单元123，用于根据信息提取模块11提取到的能量信息，确定画面产生模型中包含的画面元素在每个变化周期内的变化幅度。
特别的，模型生成模块12，还包括：变化控制单元124，用于根据信息提取模块11属性信息中包含的节拍信息，确定各节拍点所对应的时刻；以及确定各节拍点所对应的时刻为画面元素突变的时刻。
变化控制单元124，还用于：在所述各节拍点所对应的时刻，执行不同画面产生模型的切换。
视频生成模块13，用于根据模型生成模块12生成的视频模型生成与该音频文件对应的视频文件。
本发明实施例的上述音频可视化实现方法及装置，提取音频文件中的音频信号属性信息，根据属性信息中包含的节拍信息，确定选取的画面产生模型中画面元素的变化参数，生成与音频文件对应的视频模型；并根据视频模型生成与音频文件对应的视频文件。使得生成的视频文件能够很好的反映音频文件的节拍信息，在播放时视频画面变化与语音频节拍变化能够很好的匹配，获得了良好的视频可视化效果。
以及根据根据属性信息中包含的节拍信息和能量信息，共同确定选取的画面产生模型中画面元素的变化参数，利用视频画面的画面组成元素的运动速度，运动轨迹，元素形状，及元素数量等各种参数的变化体现音频能量信息和节拍信息的改变，从而使声音的美学在物理层面变的可见。其中，画面组成元素的运动速度，运动轨迹，形状变化和元素数目都是基于一定的参数模型的，利用音频的能量信息和节拍信息作为参数，去调制画面产生模型，从而产生出各种随音频能量和节拍变化而变化的音乐视觉效果。使得生成的视频文件能够更好的反映音频信号的特征，在播放时视频画面变化与语音频特征变化的更完美的匹配，获得了更好好的视频可视化效果。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化、替换或应用到其他类似的装置，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种音频可视化实现方法，其特征在于，包括：
提取音频文件中的音频信号属性信息，所述属性信息至少包括音频信号的节拍信息；
根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数，生成与所述音频文件对应的视频模型；
根据所述视频模型生成与所述音频文件对应的视频文件；
所述节拍信息，包括：各节拍点所对应的时刻；
所述根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数的步骤包括：
根据所述属性信息中包含的节拍信息，确定各节拍点所对应的时刻；以及
确定所述节拍点所对应的时刻为所述画面元素突变的时刻。
2.如权利要求1所述的方法，其特征在于，所述节拍信息，还包括：节拍速率和每个所述节拍速率所对应的时间段；或
所述节拍信息还包括：规定时间内的节拍数、以及每拍的起始时间或终止时间；或
所述节拍信息还包括：节拍速率、每个所述节拍速率所对应的时间段，以及规定时间内的节拍数、以及每拍的起始时间或终止时间。
3.如权利要求2所述的方法，其特征在于，根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数，具体包括：
选取画面产生模型；
根据提取到的所述属性信息中包含的节拍信息，确定节拍速率和每个节拍速率所对应的时间段；
根据所述节拍速率和对应的时间段，确定所述画面产生模型中包含的画面元素在每个所述时间段内的变化周期或变化频率。
4.如权利要求2所述的方法，其特征在于，所述属性信息，还包括：音频信号的能量信息；
所述根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数，具体包括：
选取画面产生模型；
根据提取到的所述属性信息中包含的节拍信息，确定节拍速率和每个节拍速率所对应的时间段；并根据所述节拍速率和对应的时间段，确定所述画面产生模型中包含的画面元素在每个所述时间段内的变化周期或变化频率；以及
根据提取到的所述能量信息，确定所述画面产生模型中包含的画面元素在每个变化周期内的变化幅度。
5.如权利要求3或4所述的方法，其特征在于，还包括：
在所述各节拍点所对应的时刻，进行画面产生模型的切换。
6.如权利要求1-4任一所述的方法，其特征在于，所述画面元素，包括至少一种下列元素和/或至少两种下列元素的组合：点、线、图形、曲线、设定形状的实体。
7.一种音频可视化实现装置，其特征在于，包括：
信息提取模块，用于提取音频文件中的音频信号属性信息，所述属性信息至少包括音频信号的节拍信息；
模型生成模块，用于根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数，生成与所述音频文件对应的视频模型；
视频生成模块，用于根据所述视频模型生成与所述音频文件对应的视频文件；
所述模型生成模块，还包括：
变化控制单元，用于根据所述属性信息中包含的节拍信息，确定各节拍点所对应的时刻；以及确定所述节拍点所对应的时刻为所述画面元素突变的时刻。
8.如权利要求7所述的装置，其特征在于，所述模型生成模块，还具体包括：
选取单元，用于选取画面产生模型；
第一确定单元，用于根据提取到的所述属性信息中包含的节拍信息，确定节拍速率和每个节拍速率所对应的时间段；以及根据所述节拍速率和对应的时间段，确定所述画面产生模型中包含的画面元素在每个所述时间段内的变化周期或变化频率。
9.如权利要求8所述的装置，其特征在于，所述信息提取模块提取的所述属性信息，还包括：音频信号的能量信息；
所述模型生成模块，还包括：
第二确定单元，用于根据提取到的所述能量信息，确定所述画面产生模型中包含的画面元素在每个变化周期内的变化幅度。
10.如权利要求8或9所述的装置，其特征在于，所述变化控制单元，还用于：
在所述各节拍点所对应的时刻，执行画面产生模型的切换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100866963A CN101577114B (zh) | 2009-06-18 | 2009-06-18 | 一种音频可视化实现方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100866963A CN101577114B (zh) | 2009-06-18 | 2009-06-18 | 一种音频可视化实现方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101577114A CN101577114A (zh) | 2009-11-11 |
| CN101577114B true CN101577114B (zh) | 2012-01-25 |
Family
ID=41272037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100866963A Expired - Fee Related CN101577114B (zh) | 2009-06-18 | 2009-06-18 | 一种音频可视化实现方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101577114B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112714355A (zh) * | 2021-03-29 | 2021-04-27 | 深圳市火乐科技发展有限公司 | 音频可视化的方法、装置、投影设备及存储介质 |
| EP4167192A4 (en) * | 2020-07-10 | 2023-12-13 | Beijing Bytedance Network Technology Co., Ltd. | IMAGE PROCESSING METHOD AND APPARATUS FOR AUGMENTED REALITY, ELECTRONIC DEVICE AND RECORDING MEDIUM |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101841674B (zh) * | 2010-02-10 | 2012-07-04 | 青岛海信电器股份有限公司 | 一种频谱处理方法及装置、osd显示的频谱处理装置及其电视机 |
| CN101916577B (zh) * | 2010-08-19 | 2016-09-28 | 无锡中感微电子股份有限公司 | 一种音视频播放同步的方法及装置 |
| CN103428406B (zh) * | 2012-05-23 | 2017-11-07 | 中兴通讯股份有限公司 | 监控录像分析方法和装置 |
| CN104574453A (zh) * | 2013-10-17 | 2015-04-29 | 付晓宇 | 用图像表达音乐的软件 |
| CN103699323A (zh) * | 2013-12-20 | 2014-04-02 | 上海卓悠网络科技有限公司 | 一种实现音乐桌面显示的方法及装置 |
| CN104598215B (zh) * | 2014-05-30 | 2018-01-05 | 小米科技有限责任公司 | 音频图形展示方法及装置 |
| CN104103300A (zh) * | 2014-07-04 | 2014-10-15 | 厦门美图之家科技有限公司 | 一种根据音乐节拍自动处理视频的方法 |
| KR102207208B1 (ko) * | 2014-07-31 | 2021-01-25 | 삼성전자주식회사 | 음악 정보 시각화 방법 및 장치 |
| CN106384601A (zh) * | 2016-08-31 | 2017-02-08 | 天脉聚源（北京）科技有限公司 | 显示音频信息的方法和装置 |
| CN106373591A (zh) * | 2016-08-31 | 2017-02-01 | 天脉聚源（北京）科技有限公司 | 显示音频信息的方法和装置 |
| CN106356045A (zh) * | 2016-08-31 | 2017-01-25 | 天脉聚源（北京）科技有限公司 | 显示音频信息的方法和装置 |
| CN106373595A (zh) * | 2016-08-31 | 2017-02-01 | 天脉聚源（北京）科技有限公司 | 显示音频信息的方法和装置 |
| CN106340307A (zh) * | 2016-08-31 | 2017-01-18 | 天脉聚源（北京）科技有限公司 | 显示音频信息的方法和装置 |
| CN106502606B (zh) * | 2016-10-19 | 2020-04-28 | 华为机器有限公司 | 一种显示边缘图像的方法和电子设备 |
| KR102410840B1 (ko) * | 2017-01-27 | 2022-06-21 | 소니그룹주식회사 | 정보 처리 장치, 정보 처리 방법 및 그 프로그램 |
| CN107329980B (zh) * | 2017-05-31 | 2022-04-12 | 福建星网视易信息系统有限公司 | 一种基于音频的实时联动显示方法及存储设备 |
| CN107545883A (zh) * | 2017-10-13 | 2018-01-05 | 广州酷狗计算机科技有限公司 | 确定音乐的节奏快慢等级的方法和装置 |
| CN107718992A (zh) * | 2017-11-14 | 2018-02-23 | 上海电机学院 | 一种基于声音响度值的交互式绘画方法和装置 |
| CN107901693A (zh) * | 2017-11-14 | 2018-04-13 | 上海电机学院 | 一种基于声音mfcc特征的交互式绘画方法和装置 |
| JP7035486B2 (ja) * | 2017-11-30 | 2022-03-15 | カシオ計算機株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、及び、電子楽器 |
| CN108305604B (zh) * | 2018-01-30 | 2020-11-24 | 浙江省公众信息产业有限公司 | 音乐可视化方法、装置及计算机可读存储介质 |
| CN108492347B (zh) * | 2018-04-11 | 2022-02-15 | 广东数相智能科技有限公司 | 图像生成方法、装置与计算机可读存储介质 |
| CN108733765A (zh) * | 2018-04-16 | 2018-11-02 | 维沃移动通信有限公司 | 一种音频推荐方法及终端设备 |
| CN108769769B (zh) * | 2018-05-30 | 2020-11-27 | 北京小米移动软件有限公司 | 视频的播放方法、装置及计算机可读存储介质 |
| CN108776985A (zh) * | 2018-06-05 | 2018-11-09 | 科大讯飞股份有限公司 | 一种语音处理方法、装置、设备及可读存储介质 |
| CN112118482A (zh) * | 2020-09-17 | 2020-12-22 | 广州酷狗计算机科技有限公司 | 音频文件的播放方法、装置、终端及存储介质 |
| CN112237740B (zh) * | 2020-10-26 | 2024-03-15 | 网易（杭州）网络有限公司 | 节拍数据的提取方法、装置、电子设备及计算机可读介质 |
| CN115035909A (zh) * | 2022-05-31 | 2022-09-09 | 中国第一汽车股份有限公司 | 音乐可视化展示方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1321964A (zh) * | 2000-05-02 | 2001-11-14 | 莫绍祥 | 声音及节拍的图象显示方法和设备 |
| US6411289B1 (en) * | 1996-08-07 | 2002-06-25 | Franklin B. Zimmerman | Music visualization system utilizing three dimensional graphical representations of musical characteristics |
| CN1885976A (zh) * | 2005-06-24 | 2006-12-27 | 英华达(上海)电子有限公司 | 将声音在手机显示屏上图形化显示并播放的方法 |
-
2009
- 2009-06-18 CN CN2009100866963A patent/CN101577114B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6411289B1 (en) * | 1996-08-07 | 2002-06-25 | Franklin B. Zimmerman | Music visualization system utilizing three dimensional graphical representations of musical characteristics |
| CN1321964A (zh) * | 2000-05-02 | 2001-11-14 | 莫绍祥 | 声音及节拍的图象显示方法和设备 |
| CN1885976A (zh) * | 2005-06-24 | 2006-12-27 | 英华达(上海)电子有限公司 | 将声音在手机显示屏上图形化显示并播放的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4167192A4 (en) * | 2020-07-10 | 2023-12-13 | Beijing Bytedance Network Technology Co., Ltd. | IMAGE PROCESSING METHOD AND APPARATUS FOR AUGMENTED REALITY, ELECTRONIC DEVICE AND RECORDING MEDIUM |
| CN112714355A (zh) * | 2021-03-29 | 2021-04-27 | 深圳市火乐科技发展有限公司 | 音频可视化的方法、装置、投影设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101577114A (zh) | 2009-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101577114B (zh) | 一种音频可视化实现方法及装置 | |
| JP6942300B2 (ja) | コンピュータグラフィックスのプログラム、表示装置、送信装置、受信装置、動画生成装置、データ変換装置、データ生成装置、情報処理方法及び情報処理システム | |
| US7589727B2 (en) | Method and apparatus for generating visual images based on musical compositions | |
| Langner et al. | Visualizing expressive performance in tempo-loudness space | |
| US10290291B2 (en) | Information processing apparatus, method, and program for controlling output of a processing pattern in association with reproduced content | |
| CN105513583A (zh) | 一种歌曲节奏的显示方法及其系统 | |
| CN107329980A (zh) | 一种基于音频的实时联动显示方法及存储设备 | |
| Landry et al. | Participatory design research methodologies: A case study in dancer sonification | |
| Yun et al. | Improving viewing experiences of first-person shooter gameplays with automatically-generated motion effects | |
| Turchet | Footstep sounds synthesis: design, implementation, and evaluation of foot–floor interactions, surface materials, shoe types, and walkers’ features | |
| US6828498B2 (en) | Audio signal outputting method, audio signal reproduction method, and computer program product | |
| TW201340694A (zh) | 情境指令系統以及其運作方法 | |
| Haugen | Music-Dance. Investigating Rhythm Structures in Brazilian Samba and Norwegian Telespringar Performance | |
| JP2893082B2 (ja) | カラオケ演奏装置 | |
| US8382589B2 (en) | Musical action response system | |
| Sauer et al. | Music-driven character animation | |
| JP2014123085A (ja) | カラオケにおいて歌唱に合わせて視聴者が行う身体動作等をより有効に演出し提供する装置、方法、およびプログラム | |
| JP2018064216A (ja) | 力覚データ生成装置、電子機器、力覚データ生成方法、および制御プログラム | |
| CN108694934B (zh) | 一种位图转换为音乐旋律的方法 | |
| Lin et al. | VocalistMirror: A Singer Support Interface for Avoiding Undesirable Facial Expressions | |
| JP4728593B2 (ja) | プログラム、情報記憶媒体およびゲームシステム | |
| Garner | Cinematic sound design for players | |
| US11797267B2 (en) | Method for playing audio source using user interaction and a music application using the same | |
| TWI821948B (zh) | 隨著音樂節奏變換之圖像顯示方法 | |
| JP4391885B2 (ja) | プログラム、情報記憶媒体およびゲームシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: WUXI VIMICRO CO., LTD. Free format text: FORMER OWNER: BEIJING ZHONGXING MICROELECTRONICS CO., LTD. Effective date: 20110406 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100083 15/F, SHINING BUILDING, NO. 35, XUEYUAN ROAD, HAIDIAN DISTRICT, BEIJING TO: 214028 NATIONAL INTEGRATED CIRCUIT DESIGN PARK (CHUANGYUAN BUILDING), NO. 21-1, CHANGJIANG ROAD, WUXI NEW DISTRICT, JIANGSU PROVINCE |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20110406 Address after: 214028 national integrated circuit design Park, Changjiang Road, New District, Jiangsu,, Wuxi Applicant after: Wuxi Vimicro Co., Ltd. Address before: 100083, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 15 Floor Applicant before: Beijing Vimicro Corporation |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 214135 Taihu International Science Park Sensor Network University Science Park 530 Building A1001, 18 Qingyuan Road, Wuxi, Jiangsu Province Patentee after: WUXI ZHONGGAN MICROELECTRONIC CO., LTD. Address before: 214028 National Integrated Circuit Design Park 21-1 Changjiang Road, New District, Wuxi City, Jiangsu Province (Chuangyuan Building) Patentee before: Wuxi Vimicro Co., Ltd. |
|
| CP03 | Change of name, title or address | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120125 Termination date: 20200618 |