CN105139866A - 南音的识别方法及装置 - Google Patents

Abstract

本发明公开了一种南音的识别方法及装置，其利用傅里叶变换将南音曲子的特征提取出来，通过与南音曲库中各南音曲子的特征相比较，识别出该南音曲子的曲名，并将此南音曲子的曲名和其他相关信息通过屏幕显示出来，将南音用简单易懂的图形、文字表现出来，让更多的人懂南音，了解南音。

Description

南音的识别方法及装置

技术领域

本发明涉及声音识别技术领域，具体是南音的识别方法及装置。

背景技术

泉州是座拥有多种多样的文化、悠久的历史、至今还保留着许多文化遗产、情系着海外同胞的古老城市，因此它在2013年8月26日从诸多城市中脱颖而出，被评为“东亚文化之都”。伴随着泉州被评为“东亚文化之都”之后，这座古老的城市被世界各地的人们所熟知，这座古老的城市的文化被世界各地的人们所了解。

福建泉州是南音的发源地，有音乐文化的“活化石”之称，南音作为一种陶冶情操、自娱自乐的文化表现形式，它和闽南人的生活密切相关。南音流传到许多地方，成为许多流落在外的侨乡们对家乡情感的一种精神上的寄托。但是对于那些不熟悉南音的门外汉来说，根本听不懂南音所表达的情感，南音的曲调曲风，因此我们希望将南音用简单易懂的图形、文字表现出来，让更多的人懂南音，了解南音。

发明内容

本发明的目的是提供一种南音的识别方法及装置，其可将南音用简单易懂的图形、文字表现出来，让更多的人懂南音，了解南音。

为了实现上述目的，本发明采用如下技术方案：

南音的识别方法，通过如下方案实现：

S100：创建南音曲库，所述南音曲库里的每一首南音曲子都配置有相应的曲名、特征和其他相关信息；

S200：对采集到的南音曲子进行预处理，即依次对南音曲子进行采样与量化、预加重、加窗分帧、端点检测；

S21：采样与量化，采样是把模拟的南音信号在时域上根据乐曲长度来取样，量化是将模拟的南音信号进行模数转换，变为数字的南音信号；

S22：预加重，预加重的主要目的是滤掉低频干扰，提高对南音识别有用的高频部分，使步骤S21所得的数字的南音信号的频谱变得更为平整；

S23：加窗分帧，将步骤S22所得的南音信号以相等时间长度分成一个一个的短时段，每一个短时段即为一帧，每一帧即一个样本信号，用时间窗函数乘以样本信号，完成时域频域转换；

S24：端点检测，利用短时能量和过零率二者相结合对步骤S23所得的各个帧进行端点检测，判断各个帧的语音段；

S300：利用傅里叶变换把将步骤S24所得的各个帧的特征提取出来；

S400：将步骤S300提取出来的特征与南音曲库里所有南音曲子的特征进行匹配；

若匹配成功，则识别出的南音曲子的曲名，并将此南音曲子的曲名和其他相关信息通过屏幕显示出来，完成南音曲子的识别；

若匹配不成功，则将步骤S300提取出来的特征存储到南音曲库中，在南音曲库中创建新的南音曲子，生成相应的频谱，并在南音曲库中给此新的南音曲子录入一个暂定曲名，等查证后，再为此新的南音曲子更正曲名，并补充录入此新的南音曲子的曲子大小、演奏者、背景和歌词。

通过上述步骤S300提取同一首南音曲子中的三个特征，此多个特征分别记为第一个特征、第二个特征、第三个特征，通过此三个特征来识别南音曲子的曲名，具体识别过程如下：

S41：提取第一个特征，通过与南音曲库里所有南音曲子的特征进行匹配，匹配成功后识别出曲名1；提取第二个特征，再次通过与南音曲库里所有南音曲子的特征进行匹配，匹配成功后识别出曲名2；提取第三个特征，再次通过与南音曲库里所有南音曲子的特征进行匹配，匹配成功后识别出曲名3；

S42：将曲名1与曲名2进行比较，如果曲名1和曲名2一样则初步确认曲名；如果曲名1和曲名2的比较结果不一样则返回步骤S200重新进行预处理，然后再重新识别；

S43：将此初步确认的曲名与曲名3进行比较，如果初步确认的曲名与曲名3一样就将匹配后的结果通过函数的调用使之呈现出来，完成南音的识别；如果初步确认的曲名与曲名3比较结果不一样，则返回步骤S200重新进行预处理，然后再重新识别。

上述南音曲子的其他相关信息包括频谱、曲子大小、演奏者、背景和歌词。

南音的识别装置，包括南音曲库、嵌入式系统、APP平台和显示屏，南音曲库与嵌入式系统相连接，APP平台连接于嵌入式系统的输入端，显示屏连接于嵌入式系统的输出端；

南音曲库，其所存储的每一首南音曲子都配置有相应的曲名、特征和其他相关信息；

嵌入式系统，具有对南音曲子进行预处理的预处理模块、用于提取南音曲子的特征的傅里叶变换模块以及用于将所提取的特征与南音曲库中南音曲子的特征进行匹配的能量谱模块；

APP平台，用于南音曲库的信息录入、更新；

显示屏，用于显示南音曲子的曲名和其他相关信息。

采用上述方案后，本发明南音的识别方法及装置，利用傅里叶变换将南音曲子的特征提取出来，通过与南音曲库中各南音曲子的特征相比较，识别出该南音曲子的曲名，并将此南音曲子的曲名和其他相关信息通过屏幕显示出来，将南音用简单易懂的图形、文字表现出来，让更多的人懂南音，了解南音。

附图说明

图1为南音乐队的组成示意图；

图2为南音曲子随时间变化的频谱图；其中图2a、图2b、图2c分别为不同南音曲子随时间变化的频谱图。

图3为图2a中一小段频谱的频率分析图。

图4为图2b中一小段频谱的频率分析图。

图5为图2c中一小段频谱的频率分析图。

图6为不同南音曲子的频率能量分析图。

图7为本发明中南音曲子识别的原理示意图。

图8为本发明南音识别装置的结构示意简图。

图9为本发明中南音曲子识别的流程图。

图10为本发明中南音识别装置采样电路的电路图。

具体实施方式

南音又有“南曲”之称，起源于历史悠久的城市泉州，用泉州闽南语演奏，是中国现存最古老的音乐之一。南音主要包括：指、谱、曲三类。南音曲子中有词有谱并且有标明琵琶指法的大曲称为“指”。南音曲子中无词而有琵琶指法的器乐演奏谱称为“谱”。“曲”是指散曲，在南音中占很大比重，只唱不说，有词、有谱。南音的乐队组合有其固定的组合形式，如图1所示。

通过研究发现南音的曲谱不同时，它的频谱也相应不同。将不同曲子的南音信号进行频谱分析，可以得到南音曲子随时间变化的频谱图(如图2所示)，从图2a、2b、2c上可以发现南音曲子随时间变化的图形特征不明显，不利于我们对频谱的分析及发现南音信号的频谱特点。因此我们截取南音的一小段频谱进行频率解析，如图3-5所示。从图3-5的频率分析图可以看出不同南音曲子的频率分析图的曲线不同。将FFT(离散傅立叶变换的快速算法)取样后的点导入到Excel中，从数据中会发现参考电平都为负值，为了便于观察，把所有的数据取绝对值，并取出其中的一部分画成柱状图，如图6所示。观察柱状图可以发现同一频率下不同曲子的南音参考电平不同。因此我们可以通过南音曲子的这一特征进行匹配，然后识别出输入的南音信号，并将其特征体现出来。

本发明南音的识别方法，如图7所示，通过如下方案实现：

S100：利用SQLite创建南音曲库，使得南音曲库里的每一首南音曲子都配置有相应的曲名、特征和其他相关信息；这里所说的其他相关信息包括频谱、曲子大小、演奏者、背景和歌词等；

S200：对采集到的南音曲子进行预处理，即依次对南音曲子进行采样与量化、预加重、加窗分帧、端点检测；

S21：采样与量化，采样是把模拟的南音信号在时域上根据乐曲长度来取样，量化是将模拟的南音信号进行模数转换，变为数字的南音信号；

S22：预加重，预加重的主要目的是滤掉低频干扰，提高对南音识别有用的高频部分，使步骤S21所得的数字的南音信号的频谱变得更为平整；

S23：加窗分帧，南音信号是非平稳信号，但在一个较短的时间内，它的特征几乎不变，即在这段时间内信号是平稳的，因此将步骤S22所得的南音信号以相等时间长度分成一个一个的短时段，每一个短时段即为一帧，每一帧即一个样本信号，用时间窗函数乘以样本信号，完成时域频域转换；

S24：端点检测，利用短时能量和过零率二者相结合对步骤S23所得的各个帧进行端点检测，准确判断每个输入语音的起点和终点，从而判断各个帧的语音段；

S300：利用傅里叶变换函数把将步骤S24所得的各个帧的特征提取出来；

S400：将步骤S300提取出来的特征通过能量谱函数与南音曲库里所有南音曲子的特征进行匹配；

若匹配成功，则识别出的南音曲子的曲名，并将此南音曲子的曲名和其他相关信息通过屏幕显示出来，完成南音曲子的识别；

若匹配不成功，则将步骤S300提取出来的特征存储到南音曲库中，在南音曲库中创建新的南音曲子，生成相应的频谱，并在南音曲库中给此新的南音曲子录入一个暂定曲名，等查证后，再为此新的南音曲子更正曲名，并补充录入此新的南音曲子的曲子大小、演奏者、背景和歌词。

为了提高南音识别的准确度，我们可以将同一首曲子多截取几段南音片段进行特征提取并识别。作为一个较佳的实施例，通过步骤S300提取同一首南音曲子中的三个特征，此多个特征分别记为第一个特征、第二个特征、第三个特征，通过此三个特征来识别南音曲子的曲名，如图9所示，具体识别过程如下：

S41：提取第一个特征，通过与南音曲库里所有南音曲子的特征进行匹配，匹配成功后识别出曲名1；提取第二个特征，再次通过与南音曲库里所有南音曲子的特征进行匹配，匹配成功后识别出曲名2；提取第三个特征，再次通过与南音曲库里所有南音曲子的特征进行匹配，匹配成功后识别出曲名3；

S42：将曲名1与曲名2进行比较，如果曲名1和曲名2一样，则输出1，得出初步确认曲名(如曲名1)；如果曲名1和曲名2的比较结果不一样则输出O，返回步骤S200重新进行预处理，然后再重新识别；

S43：将此初步确认的曲名与曲名3进行比较，如果初步确认的曲名与曲名3一样则输出1，将匹配后的结果通过函数的调用使之呈现出来，完成南音的识别；如果初步确认的曲名与曲名3比较结果不一样，则输出O，返回步骤S200重新进行预处理，然后再重新识别。

南音的识别装置，如图8和图10所示，包括南音曲库、嵌入式系统、APP平台和LCD显示屏，南音曲库与嵌入式系统相连接，APP平台连接于嵌入式系统的输入端，显示屏连接于嵌入式系统的输出端；

利用SQLite创建南音曲库，南音曲库中所存储的每一首南音曲子都配置有相应的曲名、特征和其他相关信息，这里所说的其他相关信息包括频谱、曲子大小、演奏者、背景和歌词等；

嵌入式系统用于接收南音曲子并对其进行预处理，并提取南音曲子的特征。本发明中，嵌入式系统采用ARM四核Cortex-A17架构Mali-T764瑞芯微处理器，配置2GBDDR3内存,16GBROM内部存储，以及各种常用接口，内核支持Linux3.10系统。

嵌入式系统具有对南音曲子进行预处理的预处理模块、用于提取南音曲子的特征的傅里叶变换模块以及用于将所提取的特征与南音曲库中南音曲子的特征进行匹配的能量谱模块。

通过预处理模块对南音曲子进行采样与量化、预加重、加窗分帧和端点检测。预处理模块中，对南音曲子进行采样与量化的采样电路如图10所示，南音曲子从接口J1输入，接口J1可连接麦克风进行现场采样，接口J1也可以连接音频线对录制好的南音曲子进行采样。输入的南音曲子用模数转换器进行采样，将模拟的南音信号进行模数转换，变为数字的南音信号，由于人能够听到的声音频率在20HZ到20KHZ之间，因此设模数转换器的采样频率为40KHZ就可以满足采样定理。预加重的主要目的是滤掉低频干扰，提高对南音识别有用的高频部分，使数字的南音信号的频谱变得更为平整，在嵌入式系统设置相应的常规电路即可实现。加窗分帧和端点检测通过在预处理模块中设置相应的常规软件即可实现。

傅里叶变换模块设置有傅里叶变换函数，用于提取南音曲子的特征。

能量谱模块设置有能量谱函数，用于将所提取的特征与南音曲库中南音曲子的特征进行匹配。

APP平台，供使用者操作，用于南音曲库的信息录入、更新；

LCD显示屏，用于显示南音曲子的曲名和其他相关信息。

Claims (4)

1.南音的识别方法，其特征在于，通过如下方案实现：

S100：创建南音曲库，所述南音曲库里的每一首南音曲子都配置有相应的曲名、特征和其他相关信息；

S200：对采集到的南音曲子进行预处理，即依次对南音曲子进行采样与量化、预加重、加窗分帧、端点检测；

S21：采样与量化，采样是把模拟的南音信号在时域上根据乐曲长度来取样，量化是将模拟的南音信号进行模数转换，变为数字的南音信号；

S22：预加重，预加重的主要目的是滤掉低频干扰，提高对南音识别有用的高频部分，使步骤S21所得的数字的南音信号的频谱变得更为平整；

S23：加窗分帧，将步骤S22所得的南音信号以相等时间长度分成一个一个的短时段，每一个短时段即为一帧，每一帧即一个样本信号，用时间窗函数乘以样本信号，完成时域频域转换；

S24：端点检测，利用短时能量和过零率二者相结合对步骤S23所得的各个帧进行端点检测，判断各个帧的语音段；

S300：利用傅里叶变换把将步骤S24所得的各个帧的特征提取出来；

S400：将步骤S300提取出来的特征与南音曲库里所有南音曲子的特征进行匹配；

若匹配成功，则识别出的南音曲子的曲名，并将此南音曲子的曲名和其他相关信息通过屏幕显示出来，完成南音曲子的识别；

若匹配不成功，则将步骤S300提取出来的特征存储到南音曲库中，在南音曲库中创建新的南音曲子，生成相应的频谱，并在南音曲库中给此新的南音曲子录入一个暂定曲名，等查证后，再为此新的南音曲子更正曲名，并补充录入此新的南音曲子的曲子大小、演奏者、背景和歌词。

2.根据权利要求1所述的南音的识别方法，其特征在于：通过上述步骤S300提取同一首南音曲子中的三个特征，此多个特征分别记为第一个特征、第二个特征、第三个特征，通过此三个特征来识别南音曲子的曲名，具体识别过程如下：

S41：提取第一个特征，通过与南音曲库里所有南音曲子的特征进行匹配，匹配成功后识别出曲名1；提取第二个特征，再次通过与南音曲库里所有南音曲子的特征进行匹配，匹配成功后识别出曲名2；提取第三个特征，再次通过与南音曲库里所有南音曲子的特征进行匹配，匹配成功后识别出曲名3；

S42：将曲名1与曲名2进行比较，如果曲名1和曲名2一样则初步确认曲名；如果曲名1和曲名2的比较结果不一样则返回步骤S200重新进行预处理，然后再重新识别；

S43：将此初步确认的曲名与曲名3进行比较，如果初步确认的曲名与曲名3一样就将匹配后的结果通过函数的调用使之呈现出来，完成南音的识别；如果初步确认的曲名与曲名3比较结果不一样，则返回步骤S200重新进行预处理，然后再重新识别。

3.根据权利要求1所述的南音的识别方法，其特征在于：上述南音曲子的其他相关信息包括频谱、曲子大小、演奏者、背景和歌词。

4.南音的识别装置，其特征在于：包括南音曲库、嵌入式系统、APP平台和显示屏，南音曲库与嵌入式系统相连接，APP平台连接于嵌入式系统的输入端，显示屏连接于嵌入式系统的输出端；

南音曲库，其所存储的每一首南音曲子都配置有相应的曲名、特征和其他相关信息；

嵌入式系统，具有对南音曲子进行预处理的预处理模块、用于提取南音曲子的特征的傅里叶变换模块以及用于将所提取的特征与南音曲库中南音曲子的特征进行匹配的能量谱模块；

APP平台，用于南音曲库的信息录入、更新；

显示屏，用于显示南音曲子的曲名和其他相关信息。