CN115206338A - 基于频谱分析的音乐可视化系统 - Google Patents

Abstract

本发明提出了对音乐频谱的识别方法，确定与播放中的音乐相匹配的色彩，以达到播放中的音乐与色彩实时匹配的效果，并给人在意识、神经系统以及心理上带来冲击，并产生多种感受。将在城市景观、舞台灯光、心理治疗以及教育等方面有广阔的应用前景。本发明通过采用现代电子信息技术，基于微处理器，微电子技术，计算机软件编程，以及计算机I/O接口技术，信息管理系统设计等科知识，进行的开发制作、编程、经过反复调试而达到音频播放与色彩实时匹配效果的高科技电子智能设备。系统功能包括：在嵌入式系统上实现FAT32文件系统，对音频文件进行操作；对音频文件解码、播放；对音频信号A/D采样、FFT转换、小波变换、以及双频谱识别；PWM驱动RGB‑LED混光；音频频谱LCD实时显示等。

Description

基于频谱分析的音乐可视化系统

技术领域

本发明是一种基于频谱分析的音乐可视化系统，属于计算机科学技术领域。通过这个系统，可以实现音乐与色彩的实时匹配的效果，能够促进具有音乐与色彩相匹配技术的发展，将在城市景观、舞台灯光、心理治疗以及教育等方面有广阔的应用前景。

背景技术

本发明是针对播放中的音乐与色彩不匹配的问题而展开的研究。首先在音乐和弦与色彩研究的基础上，探索构成音乐的各种和弦的机理，对音乐和色彩之间对应关系进行研究，开展对播放中的音乐能够实时识别的方法，提出通过频谱分析的方法对音乐的特征进行识别，从而确定与播放中的音乐相匹配的色彩。各种光的色彩产生是通过计算机技术控制RGB-LED混光而实现的。通过对RGB-LED混光研究，最终达到使播放中的音乐与光的色彩实时匹配的效果。灯光的色彩随着播放中的音乐的情感，实时无级地自动变化，产生良好的联觉效果。本发明是集音乐、光学、电子学等学科而发展形成的新型音乐视听形式。

发明内容

本发明提供了一种嵌入式系统上进行的音频频谱分析方法，提取音乐的相关特征。并通过在设计的硬件平台上实现音乐与色彩的实时匹配。在嵌入式系统上实现了对音频文件进行操作；对音频文件解码，播放；对音频信号A/D采样，FFT转换，小波变换，以及双频谱识别；PWM驱动RGB-LED混光；音频频谱LCD实时显示等功能。系统软件能实现音频实验系统的多任务时序调度安排。通过系统的时序调试，确定合适的音频信号采样频率，采样样本点数，以及两次样本点采集处理的间隔，音频双频谱识别方法效率评估，RGB-LED混光效果测试，达到了最佳的音乐与色彩的匹配效果。

附图说明

图1是整体技术路线图。

图2是系统的整体硬件框图。

具体实施方式

下面结合附图和具体实施方式对本发明进一步说明。

在图1中频谱分析系统是通过FFT，提取音乐音频信号的频谱特征，从本质上揭示构成音乐的频谱规律。为了实现色彩与播放中的音乐相匹配，仅对播放的音频信号进行频谱分析是不够的，必须还要通过与前面论述的音乐和弦的频谱进行对比，确定实时播放的音频的频谱与哪个和弦相对应，进而决定此时驱动RGB-LED的色彩。对播放(演奏)中的音乐的音频信号进行采样，采用FFT进行傅立叶变换。为保证频谱变换的精度，必须要有足够多的采样点。而为了保证实时性，必须要有足够快的变换速度。为此，进行一组A/D采样，样本点，N在32～2048之间，最低采样频率fs要保证转换后，信号的最高频率fm能被分辨出来，则需服从奈奎斯特采样定理。两组A/D采样之间的间隔一般在200～500ms之间。选用FFT高效算法中的基2时分FFT算法进行频谱分析，FFT算法是离散傅里叶变换DFT的快速算法，主要利用了旋转因子的周期性、对称性等性质，将DFT算法逐次分解为点数较少的DFT，从而改进了算法，减少了运算量。

在图2中对硬件系统整体进行设计研制，其硬件组成包括内嵌微处理器的控制系统,在MPU的选择过程中，为了满足实验平台的各实验要求的诸多功能，从性价比上，选择STC15W4K6134作为系统的微处理器。系统包括RAM存储器电路，音频SD卡SPI接口和U盘接口芯片CH375接口电路，解码器VS1003接口电路，双路音频信号放大采集电路，LCD显示，LED数码管显示，键盘电路，以及多路PWM驱动LED显示电路等。音频文件需要大容量存储器，采用SD/TF卡，和U盘。MPU通过SPI同步串行总线与SD/TF卡接口连接。CH375是USB总线通用接口芯片，支持USB主机及从设备方式。在本地端，CH375具有8位数据总线和读、写、片选控制线以及中断输出，可以方便地挂接到单片机/DSP/MCU/MPU等控制器的系统总线上。在USB主机方式下，CH375还提供了串行通讯方式，通过串行输入、输出和中断输出与单片机/DSP/MCU/MPU等相连接。

MPU通过SPI总线在SD/TF卡，或者通过CH375从U盘上读取音频文件，由SPI总线把音频文件数据发送给音频解码器VS1003。VS1003是一个MP3/WMA等格式的音频解码器及ADPCM编码器。利用VS1003对左右声道的输出音频信号，分别驱动两个音箱，播放音乐。同时两路音频信号经过放大器、滤波器，送入MPU的A/D转换通道。

PWM输出驱动RGB-LED混光电路设计，选择红(R)、绿(G)、蓝(B)三种LED发光管作为光源，通过微处理器的PWM输出，驱动LED发光管，根据不同占空比比例，达到驱动的这些R、G、B三种LED发光管亮度混合，从而形成混光效果。

Claims (9)

1.一种基于频谱分析的音乐可视化系统，其特征是，包括:色彩与音乐理论分析，频谱分析，PWM驱动RGB-LED混光，系统硬件的设计。

2.根据权利要求1所述的一种基于频谱分析的音乐可视化系统，其特征是：通过分析音乐的各种音程关系推导出与之关联的色关系，建立和弦与色彩的映射数据库。

3.根据权利要求2所述的一种基于频谱分析的音乐可视化系统，其特征是：通过频谱分析找出各种和弦形成的规律，除了和弦中包括的频率信息，还有频谱差，以及倍数关系，都可以解释组成和弦的频率成分，并确定要符合和弦调性色彩的规律。

4.根据权利要求1所述的一种基于频谱分析的音乐可视化系统，其特征是：采用FFT，对音乐音频信号进行频谱变换。采用的频谱分析方法，无论何种类型音乐，从频谱分析的角度，它们的音频信号都由正弦信号的各种谐波构成。音频信号的频谱是其本质特征。对播放中的音乐的音频信号进行采样，在嵌入式实验系统上进行FFT变换，得到其频谱。

5.根据权利要求1所述的一种基于频谱分析的音乐可视化系统，其特征是，嵌入式系统设计包括：RAM存储器电路，由CH378芯片控制的SD卡和U盘的接口电路，音频解码器VS1003接口电路，双路音频信号放大采集电路，LCD显示，LED数码管显示，键盘电路，以及多路PWM驱动LED显示电路等。

6.根据权利要求5所述的一种基于频谱分析的音乐可视化系统，其特征是：MPU可以通过对CH378芯片的操作读取U盘和SD卡上的数据，实现相互通信。因此在此系统中选择CH378作为读取数据的接口芯片，除了有一定的缓存，CH378还能实现快速通讯。可以检查并报告U盘和SD卡的断开、连接等状态。因为存储空间较大所以对大容量U盘和SD卡也可以流畅的读取并播放，另外操作简单，只需要配合电容和晶体就可以操作，具有多功能、便携的特点。

7.根据权利要求5所述的一种基于频谱分析的音乐可视化系统，其特征是：单片机通过CH378得到U盘上的音频数据后，将数据通过SPI总线传输给VS1003解码，进而由VS1003送出音频信号，对音乐进行播放。主机将获取的数据发送到VS1003，并通过传输命令消息控制VS1003。

8.根据权利要求7所述的一种基于频谱分析的音乐可视化系统，其特征是：其中VS1003传送或者接收数据的时候，一般采用串行数据接口以及串行控制接口的形式。其中前者的功能是传送命令指令，而后者的功能是传送数据信息。对VS1003进行初始化时需要通过SCI接口配置它的功能控制，比如时钟、音量复位、采样率等参数。初始化完成后，把音频数据发送到VS1003就可以进行音乐的播放。

9.根据权利要求1所述的一种基于频谱分析的音乐可视化系统，其特征是：在RGB对照表中可找到近百个颜色的RGB值，为每个颜色设定具体的数值如1到100，白色为1，黑色为50等。通过程序实现在按键上输入颜色的数值就可以控制PWM，根据这些值可以确定对应三原色的占空比，进而混合出需要呈现的颜色。

Images