CN106373595A - 显示音频信息的方法和装置 - Google Patents
显示音频信息的方法和装置 Download PDFInfo
- Publication number
- CN106373595A CN106373595A CN201610798582.1A CN201610798582A CN106373595A CN 106373595 A CN106373595 A CN 106373595A CN 201610798582 A CN201610798582 A CN 201610798582A CN 106373595 A CN106373595 A CN 106373595A
- Authority
- CN
- China
- Prior art keywords
- note
- audio
- frequency information
- amplitude
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000008901 benefit Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 14
- 230000005236 sound signal Effects 0.000 abstract description 5
- 230000008859 change Effects 0.000 abstract description 4
- 230000000881 depressing effect Effects 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000009191 jumping Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010009 beating Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
- G10L2025/906—Pitch tracking
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开了一种显示音频信息的方法和装置，属于通信领域。所述方法包括：预先生成音符模型；实时采集音频信息，并解析所述音频信息得到幅度；按照预设的对应关系，将所述幅度转换为所述音符模型内音符跳动的高度值；显示所述音符模型，且控制所述音符模型内的音符按照所述高度值进行跳动。所述装置包括：生成模块、采集模块、转换模块和控制模块。本发明能够在画面上显示出音频信号的变化，更清晰直观，克服了传统展示方式单一、沉闷的局限性，提高了音频信息的展示效果，极大地提升了用户体验。
Description
技术领域
本发明涉及通信领域，特别涉及一种显示音频信息的方法和装置。
背景技术
多媒体是多种媒体的综合，一般包括文本、声音和图像等多种媒体形式。多媒体的应用已涉足诸多领域，如广告、艺术、教育、娱乐、工程、医药、商业及科学研究等等。多媒体应用已经越来越丰富，如视频会议系统、虚拟现实、超文本和家庭视听等等，多媒体技术正在改变人们生活的方方面面。
在多媒体的应用中，通常需要对多媒体内容进行传输、解析和展示。在对多媒体的音频信息进行展示时，目前的展示方式就是直接播放，这种展示方式比较单一，视觉上比较沉闷。
发明内容
有鉴于此，本发明提供了一种显示音频信息的方法和装置，以提高音频信息的展示效果。所述技术方案如下：
一方面，本发明提供了一种显示音频信息的方法，所述方法包括：
预先生成音符模型；
实时采集音频信息，并解析所述音频信息得到幅度；
按照预设的对应关系，将所述幅度转换为所述音符模型内音符跳动的高度值；
显示所述音符模型，且控制所述音符模型内的音符按照所述高度值进行跳动。
其中，所述预先生成音符模型，包括：
预先生成包括多个音符的音符模型，所述多个音符的初始高度均相同。
其中，所述按照预设的对应关系，将所述幅度转换为所述音符模型内音符跳动的高度值，包括：
根据音频信息的幅度范围和屏幕的尺寸设置转换系数；
用所述幅度乘所述转换系数得到所述音符模型内音符跳动的高度值。
其中，所述控制所述音符模型内的音符按照所述高度值进行跳动，包括：
从所述音符模型内随机选取一个音符，控制选取的所述音符按照所述高度值进行跳动。
其中，所述解析所述音频信息得到幅度，包括：
采用快速傅氏变换分析方法解析所述音频信息得到幅度。
另一方面，本发明还提供了一种显示音频信息的装置，所述装置包括：
生成模块，用于预先生成音符模型；
采集模块，用于实时采集音频信息，并解析所述音频信息得到幅度；
转换模块，用于按照预设的对应关系，将所述幅度转换为所述音符模型内音符跳动的高度值；
控制模块，用于显示所述音符模型，且控制所述音符模型内的音符按照所述高度值进行跳动。
其中，所述生成模块包括：
生成单元，用于预先生成包括多个音符的音符模型，所述多个音符的初始高度均相同。
其中，所述转换模块包括：
设置单元，用于根据音频信息的幅度范围和屏幕的尺寸设置转换系数；
计算单元，用于用所述幅度乘所述转换系数得到所述音符模型内音符跳动的高度值。
其中，所述控制模块用于：
从所述音符模型内随机选取一个音符，控制选取的所述音符按照所述高度值进行跳动。
其中，所述采集模块用于：
采用快速傅氏变换分析方法解析所述音频信息得到幅度。
本发明提供的技术方案带来的有益效果是：通过预先生成音符模型；实时采集音频信息，并解析所述音频信息得到幅度；按照预设的对应关系，将所述幅度转换为所述音符模型内音符跳动的高度值；显示所述音符模型，且控制所述音符模型内的音符按照所述高度值进行跳动；能够在画面上显示出音频信号的变化，更清晰直观，克服了传统展示方式单一、沉闷的局限性，提高了音频信息的展示效果，极大地提升了用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的显示音频信息的方法流程图；
图2是本发明另一实施例提供的显示音频信息的方法流程图；
图3是本发明另一实施例提供的音频幅度转换为音符跳动高度值的示意图；
图4是本发明另一实施例提供的显示音频信息的效果示意图；
图5是本发明另一实施例提供的显示音频信息的效果示意图；
图6是本发明另一实施例提供的显示音频信息的装置结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
参见图1，本发明一实施例提供了一种显示音频信息的方法，包括：
101：预先生成音符模型；
本实施例中，可选的，音符模型的大小和颜色等属性信息可以根据需要设置，具体不限定。其中，音符模型至少包括一个音符，当然优选地包括多个音符。音符可以为简谱音符或者五线谱音频，具体不限定。
102：实时采集音频信息，并解析该音频信息得到幅度；
本实施例中，所述音频信息的格式不限定，可以为任一种音频格式，如WAV、AU、SND、RAW、AFC、MP3等等。
103：按照预设的对应关系，将该幅度转换为该音符模型内音符跳动的高度值；
其中，所述对应关系可以为比例对应关系，比例系数可以根据需要设置，具体不限定。
104：显示该音符模型，且控制该音符模型内的音符按照该高度值进行跳动。
其中，音符跳动的速度可以设置，且每次跳动都可以安排不同的音符来执行，如随机选择音符模型内的一个音符或者按照一定的规律来选择音符执行跳动的操作，本发明实施例对此不做具体限定。
本实施例中，可选的，该预先生成音符模型，包括：
预先生成包括多个音符的音符模型，该多个音符的初始高度均相同。
本实施例中，可选的，该按照预设的对应关系，将该幅度转换为该音符模型内音符跳动的高度值，包括：
根据音频信息的幅度范围和屏幕的尺寸设置转换系数；
用该幅度乘该转换系数得到该音符模型内音符跳动的高度值。
本实施例中，可选的，该控制该音符模型内的音符按照该高度值进行跳动，包括：
从该音符模型内随机选取一个音符，控制选取的该音符按照该高度值进行跳动。
本实施例中，可选的，该解析该音频信息得到幅度，包括：
采用快速傅氏变换分析方法解析该音频信息得到幅度。
本实施例提供的上述方法，通过预先生成音符模型；实时采集音频信息，并解析所述音频信息得到幅度；按照预设的对应关系，将所述幅度转换为所述音符模型内音符跳动的高度值；显示所述音符模型，且控制所述音符模型内的音符按照所述高度值进行跳动；能够在画面上显示出音频信号的变化，更清晰直观，克服了传统展示方式单一、沉闷的局限性，提高了音频信息的展示效果，极大地提升了用户体验。
参见图2，本发明另一实施例提供了一种显示音频信息的方法，包括：
201：预先生成包括多个音符的音符模型，该多个音符的初始高度均相同；
其中，音符模型中音符的个数可以根据需要设置，具体不限定。所述初始高度的数值也可以根据需要设置，具体不限定。
202：实时采集音频信息，并采用快速傅氏变换分析方法解析该音频信息得到幅度；
其中，快速傅氏变换(FFT，Fast Fourier Transformation)，是一种高清晰度音频分析工具，快速分析频率和振幅的算法。通过FFT分析方法可以快速得出音频信息的幅度。
203：根据音频信息的幅度范围和屏幕的尺寸设置转换系数；
其中，所述转换系数用于将音频的幅度转换为屏幕上音符跳动的高度，因此，可以按照音频信息的幅度范围和屏幕的尺寸设置转换系数，以保证转换后得到的高度能够在屏幕内正常显示。
204：用该幅度乘该转换系数得到该音符模型内音符跳动的高度值；
205：显示该音符模型；
206：从该音符模型内随机选取一个音符，控制选取的该音符按照该高度值进行跳动。
本实施例中，所述随机选取音符的方式也可以采用其它方式来替换，如按照音符的排列顺序选取，或者按照一定的算法选取等等，具体不限定。
参见图3，为本发明另一实施例提供的音频幅度转换为音符跳动高度值的示意图。其中，Band值为利用FFT方法分析得到的音频幅度，每隔固定的周期采样一次，总共得到16个幅度值，具体为Band00至Band15，用预设的转换系数分别乘这16个Band值得到各个时刻对应的音符跳动高度值，如图中右侧数值所示。从而可以按照得到的各个高度值来控制音符的跳动。
参见图4，为本发明另一实施例提供的显示音频信息的效果示意图。其中，预先生成长条波浪形的音符模型，包括多个随机的五线谱音符，音符的排列顺序可以固定也可以不固定。实时采集音频信息，并解析该音频信息得到幅度。按照预设的对应关系，将该幅度转换为音符模型内音符跳动的高度值。显示该音符模型，每次采集并转换得到高度值后，在音符模型中任选一个音符，控制该音符按照转换后得到的高度值进行跳动。这种方式能够将音频信息的变化实时反映在屏幕上，音符跳动的模式更形象、逼真和生动，极大地增强了显示效果，提升了用户体验。
参见图5，为本发明另一实施例提供的显示音频信息的效果示意图。其中，预先生成圆环形的音符模型，包括多个随机的五线谱音符，音符的排列顺序可以固定也可以不固定。实时采集音频信息，并解析该音频信息得到幅度。按照预设的对应关系，将该幅度转换为音符模型内音符跳动的高度值。显示该音符模型，每次采集并转换得到高度值后，在音符模型中任选一个音符，控制该音符按照转换后得到的高度值进行跳动。优选地，可以控制每次选取的音符都与上一次选取的音符不同，从而能够得到更佳的显示效果。这种方式能够将音频信息的变化实时反映在屏幕上，音符跳动的模式更形象、逼真和生动，极大地增强了显示效果，提升了用户体验。
本实施例提供的上述方法，通过预先生成音符模型；实时采集音频信息，并解析所述音频信息得到幅度；按照预设的对应关系，将所述幅度转换为所述音符模型内音符跳动的高度值；显示所述音符模型，且控制所述音符模型内的音符按照所述高度值进行跳动；能够在画面上显示出音频信号的变化，更清晰直观，克服了传统展示方式单一、沉闷的局限性，提高了音频信息的展示效果，极大地提升了用户体验。
参见图6，本发明另一实施例提供了一种显示音频信息的装置，包括：
生成模块601，用于预先生成音符模型；
采集模块602，用于实时采集音频信息，并解析该音频信息得到幅度；
转换模块603，用于按照预设的对应关系，将该幅度转换为该音符模型内音符跳动的高度值；
控制模块604，用于显示该音符模型，且控制该音符模型内的音符按照该高度值进行跳动。
本实施例中，可选的，该生成模块包括：
生成单元，用于预先生成包括多个音符的音符模型，该多个音符的初始高度均相同。
本实施例中，可选的，该转换模块包括：
设置单元，用于根据音频信息的幅度范围和屏幕的尺寸设置转换系数；
计算单元，用于用该幅度乘该转换系数得到该音符模型内音符跳动的高度值。
本实施例中，可选的，该控制模块用于：
从该音符模型内随机选取一个音符，控制选取的该音符按照该高度值进行跳动。
本实施例中，可选的，该采集模块用于：
采用快速傅氏变换分析方法解析该音频信息得到幅度。
本实施例提供的上述装置可以执行上述任一方法实施例中提供的方法，详细过程见方法实施例中的描述，此处不赘述。
本实施例提供的上述装置，通过预先生成音符模型；实时采集音频信息，并解析所述音频信息得到幅度；按照预设的对应关系，将所述幅度转换为所述音符模型内音符跳动的高度值；显示所述音符模型，且控制所述音符模型内的音符按照所述高度值进行跳动；能够在画面上显示出音频信号的变化，更清晰直观，克服了传统展示方式单一、沉闷的局限性，提高了音频信息的展示效果，极大地提升了用户体验。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种显示音频信息的方法，其特征在于，所述方法包括：
预先生成音符模型；
实时采集音频信息，并解析所述音频信息得到幅度；
按照预设的对应关系，将所述幅度转换为所述音符模型内音符跳动的高度值；
显示所述音符模型，且控制所述音符模型内的音符按照所述高度值进行跳动。
2.根据权利要求1所述的方法，其特征在于，所述预先生成音符模型，包括：
预先生成包括多个音符的音符模型，所述多个音符的初始高度均相同。
3.根据权利要求1所述的方法，其特征在于，所述按照预设的对应关系，将所述幅度转换为所述音符模型内音符跳动的高度值，包括：
根据音频信息的幅度范围和屏幕的尺寸设置转换系数；
用所述幅度乘所述转换系数得到所述音符模型内音符跳动的高度值。
4.根据权利要求1所述的方法，其特征在于，所述控制所述音符模型内的音符按照所述高度值进行跳动，包括：
从所述音符模型内随机选取一个音符，控制选取的所述音符按照所述高度值进行跳动。
5.根据权利要求1所述的方法，其特征在于，所述解析所述音频信息得到幅度，包括：
采用快速傅氏变换分析方法解析所述音频信息得到幅度。
6.一种显示音频信息的装置，其特征在于，所述装置包括：
生成模块，用于预先生成音符模型；
采集模块，用于实时采集音频信息，并解析所述音频信息得到幅度；
转换模块，用于按照预设的对应关系，将所述幅度转换为所述音符模型内音符跳动的高度值；
控制模块，用于显示所述音符模型，且控制所述音符模型内的音符按照所述高度值进行跳动。
7.根据权利要求6所述的装置，其特征在于，所述生成模块包括：
生成单元，用于预先生成包括多个音符的音符模型，所述多个音符的初始高度均相同。
8.根据权利要求6所述的装置，其特征在于，所述转换模块包括：
设置单元，用于根据音频信息的幅度范围和屏幕的尺寸设置转换系数；
计算单元，用于用所述幅度乘所述转换系数得到所述音符模型内音符跳动的高度值。
9.根据权利要求6所述的装置，其特征在于，所述控制模块用于：
从所述音符模型内随机选取一个音符，控制选取的所述音符按照所述高度值进行跳动。
10.根据权利要求6所述的装置，其特征在于，所述采集模块用于：
采用快速傅氏变换分析方法解析所述音频信息得到幅度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610798582.1A CN106373595A (zh) | 2016-08-31 | 2016-08-31 | 显示音频信息的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610798582.1A CN106373595A (zh) | 2016-08-31 | 2016-08-31 | 显示音频信息的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106373595A true CN106373595A (zh) | 2017-02-01 |
Family
ID=57900479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610798582.1A Pending CN106373595A (zh) | 2016-08-31 | 2016-08-31 | 显示音频信息的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106373595A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112911774A (zh) * | 2021-01-18 | 2021-06-04 | 智马达汽车有限公司 | 一种氛围灯的控制方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577114A (zh) * | 2009-06-18 | 2009-11-11 | 北京中星微电子有限公司 | 一种音频可视化实现方法及装置 |
| CN104574453A (zh) * | 2013-10-17 | 2015-04-29 | 付晓宇 | 用图像表达音乐的软件 |
| CN105513583A (zh) * | 2015-11-25 | 2016-04-20 | 福建星网视易信息系统有限公司 | 一种歌曲节奏的显示方法及其系统 |
-
2016
- 2016-08-31 CN CN201610798582.1A patent/CN106373595A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577114A (zh) * | 2009-06-18 | 2009-11-11 | 北京中星微电子有限公司 | 一种音频可视化实现方法及装置 |
| CN104574453A (zh) * | 2013-10-17 | 2015-04-29 | 付晓宇 | 用图像表达音乐的软件 |
| CN105513583A (zh) * | 2015-11-25 | 2016-04-20 | 福建星网视易信息系统有限公司 | 一种歌曲节奏的显示方法及其系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112911774A (zh) * | 2021-01-18 | 2021-06-04 | 智马达汽车有限公司 | 一种氛围灯的控制方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109547819A (zh) | 直播列表展示方法、装置以及电子设备 | |
| Weitzner et al. | massMobile-an Audience Participation Framework. | |
| JP6058192B1 (ja) | 音楽情報生成装置、音楽情報生成方法、プログラム、および記録媒体 | |
| CN113365134A (zh) | 音频分享方法、装置、设备及介质 | |
| Stevens et al. | In the heat of the moment: audience real-time response to music and dance performance | |
| CN106611603A (zh) | 一种音频处理方法及装置 | |
| CN110000777A (zh) | 多屏显示机器人、多屏显示方法和装置、可读存储介质 | |
| Pauwels et al. | Exploring real-time visualisations to support chord learning with a large music collection | |
| CN113709578B (zh) | 弹幕展示方法、装置、设备及介质 | |
| CN106373595A (zh) | 显示音频信息的方法和装置 | |
| CN106340307A (zh) | 显示音频信息的方法和装置 | |
| US20240290305A1 (en) | Music generation method and apparatus, device, storage medium, and program | |
| CN106356045A (zh) | 显示音频信息的方法和装置 | |
| Gingrich et al. | Transmission: a telepresence interface for neural and kinetic interaction | |
| CN110097618A (zh) | 一种音乐动画的控制方法、装置、车辆及存储介质 | |
| Tez et al. | Exploring the effect of interface constraints on live collaborative music improvisation. | |
| Vickery | Exploring a visual/sonic representational continuum | |
| Erkut et al. | A Structured Design and Evaluation Model with Application to Rhythmic Interaction Displays. | |
| Freeman et al. | Tools for real-time music notation | |
| JP2017199058A (ja) | 認識装置、映像コンテンツ提示システム、プログラム | |
| CN106406792A (zh) | 显示音频信息的方法和装置 | |
| CN106384601A (zh) | 显示音频信息的方法和装置 | |
| Fenn | The building of boutique effects pedals—the “where” of improvisation | |
| Fan et al. | Time giver: An installation of collective expression using mobile ppg and eeg in the allosphere | |
| Pedersen | The paradoxical marketer: Interpretations, illustrations, and implications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170201 |