CN101645268B - 一种演唱和演奏的计算机实时分析系统 - Google Patents

Abstract

本发明涉及一种演唱和演奏的计算机实时分析系统，包括：声音信号的分段检包装置，声音信号时间域数据的实时记录、存储、显示和播放装置，短时快速傅里叶变换，绘制“时间-频率-强度”的联合图的装置，短时快速傅里叶变换，绘制“时间-频率”的实时频谱图的装置，声音的基音、泛音和共振峰的识别、分析处理和显示的装置，声音的节奏识别、分析处理和显示装置，根据基音、唱词、节奏和律制等信息，分析整理成曲谱并显示的装置：声音时间域和频率域信号修改、记录、存储、评估、显示、播放和传输的装置。本发明对声乐和器乐进行计算机实时可视化、系统而定量地测量和测试，并采用计算机图像和视频自动识别技术识别并指导演唱状态和演奏状态。

Description

一种演唱和演奏的计算机实时分析系统

技术领域

发明涉及一种演唱和演奏的计算机实时分析系统。

技术背景

长期以来，由于科技水平的局限，又由于声乐(演唱)和器乐(演奏)学科本身固有的复杂性(涉及音乐学、数学、物理学、生理解剖学、心理学等多学科)和主观性(难以观察人的活动的内部腔体、个人对美学的自我判断不一、听众受人耳生理阈限的限制无法准确地听到歌手实际演唱的声音的全域等)，人们对声乐和器乐的研究一直只是停留在定性或稍许定量方面，在声乐和器乐的计算机处理实时可视化、系统而定量地测量和测试等方面一直非常欠缺，采用计算机图像和视频自动识别并指导演唱状态和演奏状态就更是至今都鲜有研究。

近两百年以来，人们逐步开始从理性和科学的角度来分析和研究声乐和器乐，以便更好更科学地获得所需的音色，也为创立各种民族声乐学派提供基础理论。自从半个多世纪前世界上第一部真正的计算机得以发明以来，计算机和其他学科的紧密结合并广泛应用，逐步在影响和改变着人们的生活和工作，并为其他各学科的高速发展提供了现代化的有力工具，声乐和器乐学科便是其中受益的学科之一。

在声乐(演唱)和器乐(演奏)中，需要结合计算机、数学、物理学等学科的相关知识，以便对声音进行实时分析，获得对声音的真实情况和定量情况的掌握，其原因是由于人、乐器和演奏方法等本身就存在一些听觉上难以克服的问题：

1.在演唱时，演唱者自身听不到自己的声音的真实情况，其原因主要是：演唱者的各个发声器官的振动影响到其听觉神经，使演唱者产生错误听觉；同时，演唱者所发声音的声波是向前传播(特别是较高频的声音)，而不是向演唱者的两旁耳朵传播的，所以导致演唱者在演唱时听不到自身真正真实性的声音情况，从而使演唱者产生错误听觉；另外，人本身对于以前自身和别人演唱的听觉记忆、多次演唱的疲惫或产生的麻木等主观情况也影响演唱时的演唱者听觉的真实反应；

2.在演奏时，演奏者自身听不到自己的声音的真实情况，其原因主要是：演奏的乐器的振动通过乐器与人的振动接触影响到其听觉神经，使演唱者产生错误听觉；同时，乐器所发声音的声波是往往是背对演奏者传播的，而不是向演唱者的两旁耳朵传播的，所以导致演奏者在演奏时听不到真正真实性的声音情况，从而使演奏者产生错误听觉；另外，人本身对于以前自身和别人演奏的听觉记忆、多次演奏的疲惫或产生的麻木等主观情况也影响演奏时的演奏者听觉的真实反应。

本发明中，音乐的“节奏、音准、音色”及相关名词的含义分别是：

1.节奏：节奏指的是音乐中交替出现的有规律的强弱、长短的现象；

2.音准：音准指的是音高(声音的高低，由音波振动的频率来决定)的准确程度；

3.一般的乐音都是复合音(Compound Tone，亦简称复音)，一个复合音中，频率最低的纯音叫做基音(Fundamental Tone)，基音是声音的最主要成分，由发声体整体振动所产生)；除去基音外，所有其余的纯音叫做泛音(Harmonics)，也叫倍音(Overtone)、分音(Partial)；一个复合音中的泛音按次序分别称为“二倍音”(第一泛音)、“三倍音”(第二泛音)、“四倍音”(第三泛音)等等；

4.音色(Musical Quality)：音色指音的感觉特性，主要由其泛音的多寡及各泛音的相对强度所决定；音色也称音品、音质；音色是音乐中极为吸引人、能直接触动感官的重要表现手段；每个人的声音以及各种乐器所发出的声音的区别，就是由音色不同造成的；

5.共振峰(Formant)：对于两个振动频率相同的物体，一个物体发生振动时将引起另一个物体振动，从而形成共振，也称共鸣。共振的产生能使音量显著增强，并使声音更为饱满。共振峰指的是声音的产生由于存在共振现象，从而使得声音频谱的泛音列在某一特定段所形成的局部高峰。

发明内容

本发明的演唱和演奏的计算机实时分析系统，包括：

声音信号的分段检包装置，用于根据声音信号，检测某个音到哪个位置转换成了另外一个音，或者严格限定分段步长，然后按照一定规则进行分段；

声音信号时间域数据的实时记录、存储、显示和播放装置，用于根据声音信号的分段检包得到的数据序列，实时记录在内存中，并对这些数据进行存储和显示，获得声音的时间-幅度序列图，并实时发送给扬声器等发生设备进行播放；

短时快速傅里叶变换，绘制“时间-频率-强度”的联合图的装置，对声音的时间域数据进行短时快速傅里叶变换，并由此得到“时间-频率-强度/功率”，即(声音音色)的联合图，其中“时间-频率-强度”的联合图用于反应声音音色的如下信息：

声音的稳定性和抖动范围情况；

声音的共振峰位置及其强度情况；

声音的连续行进中，两个基音之间滑音的粘连情况；

声音的基音和各泛音的强弱对比情况；

声音的基音和各泛音的频率随时间的行进情况；

短时快速傅里叶变换，绘制“时间-频率”的实时频谱图的装置，用于对声音的时间域数据，分段取数据，进行短时快速傅里叶变换，绘制“时间-频率”的实时频谱图；

声音的基音、泛音和共振峰的识别、分析处理和显示的装置，用于

对声音的时间域分段数据进行基音搜索、剔除噪声等一系列识别和分析处理之后，显示声音的基音的值，以及声音的基音跟所选定的律制下的最接近的音的频率偏差值，同时，根据音乐学中音分的定义，即时把这个频率偏差值转换为音分值，并加以显示；

通过对频率曲线各个局部峰的搜索，并且根据音乐学的规律进行推算，可以实时分析获得声音的泛音信息，从而得到声音的共振峰状况；

声音的节奏识别、分析处理和显示装置，用于对声音的时间域数据，采用时间域分析、频率域分析或“时-频”联合分析，实时获得声音的节奏及其变化；

声音的基音序列的律制分析装置，用于由声音的基音序列对声音的律制进行分析，分析得到声音的曲谱是十二平均律、五度相生律、纯律，还是其他特别的律制体系；

根据基音、唱词、节奏和律制等信息，分析整理成曲谱并显示的装置：

由前述所获得的基音、唱词、节奏和律制等的信息，实时分析整理，获得含有各个音偏移的律制信息的曲谱序列；

声音时间域和频率域信号修改、记录、存储、评估、显示、播放和传输的装置，用于

对声音的时间域和频率域信号，不做任何修改，直接进行记录、存储、评估、显示、播放和传输；或

基于一定的修改规则，对声音的时间域和频率域信号进行记录、存储、评估、显示、播放和传输。

本发明的目的是对声乐(演唱)和器乐(演奏)进行计算机实时可视化、系统而定量地测量和测试，并采用计算机图像和视频自动识别技术识别并指导演唱状态和演奏状态，形成一套“演唱和演奏的计算机实时分析系统”。本发明的“演唱和演奏的计算机实时分析系统”主要实时分析声乐(演唱)和器乐(演奏)的声音和视频，解决音乐的三个基本要素问题：节奏、音准、音色。使用本发明的演唱和演奏的计算机实时分析系统后，用户能够在短时间内迅速提高对于“节奏、音准、音色”三者的把握。

从计算机辅助声乐和器乐的角度出发，在总结国内外研究现状的基础上，从音乐学、物理学、声学、数学的角度出发，对现场及录音音频材料做精确测量和分析，将声音以数据、图、表和数据视频等声音用可视化方式详尽显示，精确测量、实时分析出声音的各个物理学参数(包括声音的音准和强度/功率、基音的位置及其强弱、泛音的位置及其强弱、共振峰的位置及其强弱、频谱图、时频图等)和各个音乐学参数(包括音乐序列的节奏、音乐序列的律制、音乐序列的曲谱等)，使得声音视频化后使得声音既可以听得见，还可以看得见；这些信息的分析和输出(音乐信息化)用以构建一个智能音乐分析专家系统——“演唱和演奏的计算机实时分析系统”，使得声音“百闻不如一见”；在声乐(演唱)和器乐(演奏)中实时指导演唱者和演奏者，展现声音的可视化信息，从而可以实时调节歌唱的发声状态和腔体、器乐的演奏状态和演奏方法等而获得所需的声情并茂的音色。

本发明对于演唱的声音，采用语音模式识别，对声音中演唱的唱词的语音进行识别和显示，识别出来的唱词用于后续曲谱的整理和分析。

本发明由声音实时分析所获得的基音、唱词、节奏和律制等的信息，实时分析整理，获得含有各个音偏移的律制信息的曲谱序列。

本发明采用计算机图像和视频自动识别技术，对演唱的发声状态或器乐的演奏状态进行识别，结合前述对于声音的“节奏、音准、音色”的分析，根据演唱或演奏的状况，实时给出指导建议。

因为说话语音的声音与声乐(演唱)和器乐(演奏)的声音在本质上没有什么区别，所以本发明对于说话语音的计算机实时分析也是适用的。

附图说明

图1一种演唱和演奏的计算机实时分析系统的系统结构图。

具体实施方式

本发明的“演唱和演奏的计算机实时分析系统”由声音采集输入设备和计算机软件系统等组成。本发明的声音采集输入设备包括但不限于麦克风、录音线路和CD(Compact Disc，光盘)等。本发明的“演唱和演奏的计算机实时分析系统”的软件系统部分可以运行于包括但不限于台式计算机、智能设备(如手机、掌上电脑、个人数字助理PDA等)、智能家电(如电视电脑一体机等)等平台上。

在律制方面，本发明的“演唱和演奏的计算机实时分析系统”支持十二平均律、五度相生律、纯律等律制体系，也支持用户自定义律制体系；在音准显示方面，本发明的“演唱和演奏的计算机实时分析系统”支持简谱显示方式、五线谱显示方式、国际钢琴标准标记法、中国大字组小字组记谱法、MIDI标记法等。本发明的“演唱和演奏的计算机实时分析系统”在保证精度的同时，具有实时分析的优点，所以具有测量精确(精度为0.5Hz)、实时(时延50ms)、可视化和方便等特点。本发明的“演唱和演奏的计算机实时分析系统”的软件界面主要由声音的响度窗口、声音的音色窗口、声音的频率窗口、声音的音准窗口、声音的曲谱窗口、声音的节奏窗口、声音的信号修改窗口等组成。

声音的各个物理学参数和各个音乐学参数的精确检测，帮助人们理性和感性相结合来认识声音，摆脱传统研究中人作为研究主体因生理阈限制及主观审美差异等原因造成的误差甚至错误。

图1是本发明的系统结构图。本发明的演唱和演奏的计算机实时分析系统组成及其功能分别是：

1.声音信号的采集装置：这里的采集装置和线路包含但并不仅限于麦克风、录音线路和CD(Compact Disc，光盘)等；

2.声音信号数字化装置，用于在时间和幅度上都连续的模拟声音信号，经过采样、量化和编码后，得到用离散的数字表示的数字信号，然后才可以传递给计算机做进一步处理；

3.声音信号数字化后存储的文件，声音信号在数字化以后，以一定的压缩或非压缩存储格式保存在文件中。其中，常见的数字声音信号存储格式有WAV、MP3、WMA、CDA、APE、MJF、VOC、PCM、AIF、RA、RM、RMX、VQF、MIDI、RMI等；还包括含有声音和视频的合成文件格式，如AVI、MPG、MPEG、DAT、FLV、MP4、DivX、MOV、QT、ASF、WMV、RM、RMVB等；

4.声音信号的分段检包装置，用于根据声音信号的数字化数据，按照第16项的系统设置与选项中的设置，检测某个音到哪个大概位置转换成了另外一个音，或者严格限定分段步长，然后按照一定规则进行分段；

5.声音信号时间域数据的实时记录、存储、显示和播放装置，用于根据声音信号的分段检包得到的数据序列，实时记录在内存中，并对这些数据进行存储和显示，获得声音的时间-幅度序列图，并可以实时发送给扬声器等发生设备进行播放；

6.短时快速傅里叶变换，绘制“时间-频率-强度”的联合图的装置，对声音的时间域数据进行短时快速傅里叶变换，并由此得到“时间-频率-强度/功率”，即(声音音色)的联合图。时间轴与频率轴组成垂直正交平面A；强度/功率数据的表示可以是用深浅颜色数据表示数据的大小；强度/功率数据也可以使用笛卡儿坐标系统中与平面A相垂直正交的第三轴表示，从而绘制出三维图；“时间-频率-强度”的联合图主要用于反应声音音色的如下信息：

1)声音的稳定性和抖动范围情况(音色稳定性和丰富不单薄性的指标)；

2)声音的共振峰位置及其强度情况(音色光泽度、亮度和穿透力的指标)；

3)声音的连续行进中，两个基音之间滑音的粘连情况(音色行腔韵味的指标)；

4)声音的基音和各泛音的强弱对比情况(音色力度、圆润度、柔和度、厚度、饱满度与和谐度的指标)；

5)声音的基音和各泛音的频率随时间的行进情况(音色协调性的指标)；

7.短时快速傅里叶变换，绘制“时间-频率”的实时频谱图的装置，用于对声音的时间域数据，分段取数据，进行短时快速傅里叶变换，绘制“时间-频率”的实时频谱图，为便于用户实时观看，频率值可以绘制成Decibel(分贝)的形式，也可以绘制成Decibel-Log-Frequency(分贝对数频率)的形式，还可以绘制成数据傅里叶变换后实部与虚部的平方和的形式；

8.声音的基音、泛音和共振峰的识别、分析处理和显示的装置：

1)大多数人声和乐器所发出的声音都包含有泛音，而且有时泛音的能量可能超过基音，尤其是频率较低的时候。对声音的时间域分段数据进行基音搜索、剔除噪声等一系列识别和分析处理之后，以数据和指针盘等方式，显示声音的基音的值，以及声音的基音跟所选定的律制下的最接近的音的频率偏差值(单位为赫兹，Hz)，同时，根据音乐学中音分的定义，即时把这个频率偏差值转换为音分值(单位为音分，Cent)，并加以显示；

2)由于在声音的各频率中，比基音频率高的频段中可能包含有整数倍频率和分数倍频率，比基音频率低的频段中也可能包含有整数倍频率和分数倍频率，通过对频率曲线各个局部峰的搜索，并且根据音乐学的规律进行推算，可以实时分析获得声音的泛音信息(泛音的多少、泛音的位置、泛音的强度/功率等)，从而得到声音的共振峰状况；

3)在显示基音、泛音及其偏差的时候，用户可以更改音乐的调式、显示方式、律制等音符显示选项，以便于对声音的音准信息进行实时观察。这些处理，也有利于后续曲谱的整理和分析；

4)该模块还可以发出MIDI(Musical Instrument Digital Interface，乐器数字接口)的标准音准，也可以发出由数学函数(如正弦函数、余弦函数等)构造的标准音准，以便将标准音和用户演唱或演奏的音进行核对；

5)在精度方面，采用频率拓展技术，频率偏差值小于0.5Hz，音分偏差值小于0.5Cent；在实时性方面，采用多线程与算法优化技术，对于目前一般的个人计算机配置而言，两次声音信号时间域数据的检包与后续处理之间的时间间隔小于50毫秒，从而可以达到每秒20次运算的高实时性；

9.声音中演唱的唱词的语音识别装置，用于对于演唱的声音，采用语音模式识别，对声音中演唱的唱词的语音进行识别和显示，识别出来的唱词用于后续曲谱的整理和分析；

10.声音的节奏识别、分析处理和显示装置，用于对声音的时间域数据，采用时间域分析、频率域分析或“时-频”联合分析，实时获得声音的节奏及其变化，使得演唱者和演奏者实时“看到”声音的节奏。这也以便于后续曲谱的整理和分析。也可以由用户自定义节奏(音乐的速度)，使得该模块成为一个节拍器，以节奏运动视频的方式显示节拍，或者以节奏声音播放的方式表达节拍；

11.声音的基音序列的律制分析装置：由声音的基音序列对声音的律制进行分析，分析得到声音的曲谱是十二平均律、五度相生律、纯律，还是其他特别的律制体系；

12.根据基音、唱词、节奏和律制等信息，分析整理成曲谱并显示的装 置：

1)由前述所获得的基音、唱词、节奏和律制等的信息，实时分析整理，获得含有各个音偏移的律制信息的曲谱序列；

2)在显示时，可以使用简谱方式、五线谱方式、国际钢琴标准标记法、中国大字组小字组记谱法、MIDI标记法等；

3)所获得的曲谱允许用户进行剪切、复制、粘贴、删除、查找、替换、新建、打开、保存等编辑处理；

4)用户可以设置曲谱的演唱和演奏模版，可以将实时分析获得的曲谱与设置的曲谱模版进行对比分析，得到模版和实时声音数据之间的节奏、音准、音色等对比分析信息；

13.声音时间域和频率域信号修改、记录、存储、评估、显示、播放和 传输的装置：

1)这个装置主要有两个功能，一是对声音的时间域和频率域信号，不做任何修改，直接进行记录、存储、评估、显示、播放和传输；二是可以基于一定的修改规则(如演唱和演奏的模版、实时调整节奏、实时调整音准、实时调整音色、实时自动配和弦等)，对声音的时间域和频率域信号进行记录、存储、评估、显示、播放和传输；

2)这里的评估指的是对声音的节奏、音准、音色进行评价分析；

3)这里第二个功能的一个应用是：当用户跟随伴奏进行演唱或演奏时，本发明的“演唱和演奏的计算机实时分析系统”能够根据演唱和演奏的模版、实时调整节奏、实时调整音准、实时调整音色、实时自动配和弦等处理后，然后播放输出，这将给人感觉节奏准确、声音准确、音色纯正、和声动听；

14.视频信号和声音信号混合的实时采集、记录、存储、显示、播放和 传输的装置：在对声音实时进行数据采集和记录的同时，对演唱和演奏的视频信号实时进行数据采集和记录，然后，将视频信号和声音信号进行混合，然后存储、显示、播放和传输，有利于用户回放现场、回放测量分析声音信号、从回放中总结演唱和演奏的经验等；

15.从视频信号中识别演唱的发声状态或器乐的演奏状态，实时给出指 导建议的装置：采用计算机图像和视频自动识别技术，对演唱的发声状态或器乐的演奏状态进行实时识别，结合前述对于声音的“节奏、音准、音色”的分析，根据演唱或演奏的状况，实时给出指导建议；

16.系统设置与选项：用于对声音的采集选项、数字化选项、数字化文件录入选项、显示颜色信息选项、强度显示选项、频率显示选项、音符显示选项、语音识别选项、节奏选项、曲谱选项、视频采集选项、视频识别选项、自动更新等等系统必要选项进行设置；

17.帮助和使用指南等文件：主要包括本发明的“演唱和演奏的计算机实时分析系统”的帮助文件和使用指南等文件，方便用户操作使用，也包含常见问题解答等信息。

应当理解，上述的声音信号采集装置、声音信号数字化装置、声音信号数字化后存储的文件对于本发明并不是必要的。这些装置和文件在声音信号是模拟信号的情况下才会采用。对于已经是数字化的音源来说，则可直接将输入的数字化音频信号用于本发明的演唱和演奏的实时分析。

本发明中涉及语音识别的部分也是可选的。对没有演唱的乐曲或演奏，则可不采用语言识别分析。

本发明中涉及视频信号的部分也是可选的。在没有视频信号的情况下，则可不采用与视频信号相关的分析和处理。

以上对本发明进行了详细描述。应当理解，上述描述是示意性的，而非用于限定本发明。本领域的普通技术人员能够在上述描述的基础上进行各种修改，这些修改应该属于本发明的保护范围。

Claims (4)

1.一种演唱和演奏的计算机实时分析系统，包括：

声音信号的分段检包装置，用于根据声音信号，检测某个音到哪个位置转换成了另外一个音，或者严格限定分段步长，然后按照一定规则进行分段；

声音信号时间域数据的实时记录、存储、显示和播放装置，用于根据声音信号的分段检包得到的数据序列，实时记录在内存中，并对这些数据进行存储和显示，获得声音的时间-幅度序列图，并实时发送给扬声器进行播放；

短时快速傅里叶变换，绘制“时间-频率-强度”的联合图的装置，用于对声音的时间域数据进行短时快速傅里叶变换，并由此得到“时间-频率-强度”的联合图，其中“时间-频率-强度”的联合图用于反映声音音色的如下信息：

1)声音的稳定性和抖动范围情况；

2)声音的共振峰位置及其强度情况；

3)声音的连续行进中，两个基音之间滑音的粘连情况；

4)声音的基音和各泛音的强弱对比情况；

5)声音的基音和各泛音的频率随时间的行进情况；

短时快速傅里叶变换，绘制“时间-频率”的实时频谱图的装置，用于对声音的时间域数据，分段取数据，进行短时快速傅里叶变换，绘制“时间-频率”的实时频谱图；

声音的基音、泛音和共振峰的识别、分析处理和显示的装置，用于对声音的时间域分段数据进行基音搜索、剔除噪声的一系列识别和分析处理之后，显示声音的基音的值，以及声音的基音跟所选定的律制下的最接近的音的频率偏差值，同时，根据音乐学中音分的定义，即时把这个频率偏差值转换为音分值，并加以显示；通过对频率曲线各个局部峰的搜索，并且根据音乐学的规律进行推算，可以实时分析获得声音的泛音信息，从而得到声音的共振峰状况；

声音的节奏识别、分析处理和显示装置，用于对声音的时间域数据，采用时间域分析、频率域分析或“时间-频率”联合分析，实时获得声音的节奏及其变化；

声音的基音序列的律制分析装置，用于由声音的基音序列对声音的律制进行分析，分析得到声音的曲谱是十二平均律、五度相生律、纯律，还是其他特别的律制体系；

根据基音、唱词、节奏和律制的信息，分析整理成曲谱并显示的装置，用于由基音、唱词、节奏和律制的信息，实时分析整理，获得含有各个音偏移的律制信息的曲谱序列；

声音时间域和频率域信号修改、记录、存储、评估、显示、播放和传输的装置，用于对声音的时间域和频率域信号，不做任何修改，直接进行记录、存储、评估、显示、播放和传输；或基于一定的修改规则，对声音的时间域和频率域信号进行记录、存储、评估、显示、播放和传输。

2.根据权利要求1的演唱和演奏的计算机实时分析系统，进一步包括：

视频信号和声音信号混合的实时采集、记录、存储、显示、播放和传输的装置，用于在对声音实时进行数据采集和记录的同时，对演唱和演奏的视频信号实时进行数据采集和记录，然后，将视频信号和声音信号进行混合，然后存储、显示、播放和传输。

3.根据权利要求1的演唱和演奏的计算机实时分析系统，进一步包括：

从视频信号中识别演唱的发声状态或器乐的演奏状态，实时给出指导建议的装置，用于采用计算机图像和视频自动识别技术，对演唱的发声状态或器乐的演奏状态进行实时识别，结合对于声音的“节奏、音准、音色”的分析，根据演唱或演奏的状况，实时给出指导建议。

4.根据权利要求1的演唱和演奏的计算机实时分析系统，进一步包括：

声音中演唱的唱词的语音识别装置，用于对于演唱的声音，采用语音模式识别，对声音中演唱的唱词的语音进行识别和显示，识别出来的唱词用于后续曲谱的整理和分析。

Images