CN107210029B - 用于处理一连串信号以进行复调音符辨识的方法和装置 - Google Patents

Abstract

本发明提供一种方法和装置，其中将时域数字音频信号拆分成局限于特定频带的多个窄带时域数字音频信号，所述窄带时域数字音频信号的短期区段临时存储于存储器中。所述方法包括使用信号处理算法，用于以固定序列或根据来自决策制定算法的请求从所述短期区段提取多个信号特征。所述决策制定算法进行关于由所述提取特征引起的频带占用的类型的试探性或最终决策。所述决策制定算法可以从所述信号处理算法请求从特定短期区段提取另外的特定特征，并且进行关于由所述请求特征引起的频带占用的类型的进一步试探性或最终决策。接着，所述决策制定算法存储其关于频带占用的试探性决策并制定最终决策，用于连同来自后续短期区段的结果一起进行处理。最终，所述决策制定算法连同关于从新近的某一时间间隔内已经演奏的一组音符中产生的每个音符的时序的信息一起以所述音符组的形式输出从当前和过去的短区段导出的最终决策。

Description

用于处理一连串信号以进行复调音符辨识的方法和装置

技术领域

本发明涉及通过用于处理一连串信号的方法识别音乐信号中的音符的任务。更确切地说，本发明涉及一种用于从捕捉或回放的音乐信号辨识同时且连续演奏的多个音符的复调音符的方法和装置。

背景技术

尤其因为数字音频技术以及以数字方式处理数字音频信号的技术的引入，已经存在许多研发旨在从数字信号当中识别正演奏哪些连串的单个或多个音符。在许多应用中，例如当使用计算机程序辅助音乐学者演奏乐器时，额外要求是实时地表现这种识别，延时适中且具有高级别可靠性。

在对识别音频信号中的音符的问题的当今解决方案中，使用一连串以数字方式译码的样本来表示音频信号。音符识别的任务因此是在存在由环境声引起的以及由演奏的乐器引起的非所要噪音的情况下从一连串数字样本中提取指向音符的瞬时存在的信号特征。

众所周知的是，对于大多数乐器，任何给定的持续音符可以历经较短观察阶段描述为基频处的正弦振荡和谐频处的若干正弦振荡的时变总和，每个谐频的值是基频的值的若干整数倍，并且每个振荡具有瞬时振幅和相位。

在本领域中通常选择连续组样本并且以离散傅里叶变换分析其在频域中的频谱含量。这种变换产生多个复值或实值，所述值可以用来等效地表征等距的恒定宽度的频谱带中存在的信号能量的振幅或量。相对于总能量以及相对于相邻频带的能量具有低能量的频谱带被视为空，而具有大量能量的频谱带被识别并表征为峰。接着使用与每个峰相关联的通常定义为下截止频率和上截止频率的算术平均值或定义为其几何平均值的峰值频率进行进一步处理，并且音符检测变为以下任务：寻找由音符的可能组合产生的基音以及和声的哪些模式最佳匹配此类峰值频率的模式。

在下文中，基于三个参考进一步论述现有技术水平，这三个参考即这些文档：

参考1：专利US8592670，《复调音符检测(Polyphonic Note Detection)》。

参考2：Judith C.Brown和Miller S.Puckette，《针对常数Q变换的计算的高效算法(An efficient algorithm for the calculation of a constant Q transform)》，《美国声学学会杂志(J.Acoust.Soc.Am)》，92(5)：2698-2701(1992)。

参考3：R.C.Maher和J.W.Beauchamp，《使用双向不匹配程序的音乐信号基频估计(Fundamental frequency estimation of musical signals using a two-way mismatchprocedure)》，《美国声学学会杂志(J.Acoust.Soc.Am)》，94(4)，2254-2263(1994)。

参考1是用于复调音符检测的此类方法的新近实例。以上方法虽然相当简单明了，但是由于与时域中的基音以及和声特性直接相关的原因而通常低效。例如，和音通常包含正好相隔一个八度音阶的两个音符。在这种情况下，较低音符的第二和声将与较高音符的基音处于同一频带。这使得较高音符的基音的检测更为困难，因为其自身以及所有其和声将处于也由较低音符的和声占用的频带中。另外，源自这两种音符且在同一频带中存在的频谱分量将展示节拍的熟知现象，其中具有较小频率差的两个正弦振荡将替代地加强或部分地彼此消除。因此，历经较短时间段，频带相当可能呈现几乎为空且因此不被识别为峰。

因为简单明了的傅里叶变换执行基于等距频带的瞬时频率分析，而音符以及许多心理声学效应的常见定义是基于对数频率调整，因此所属领域执行傅里叶变换的技术人员通常基于具有与绝对带宽相反的恒定相对带宽的频带使用频域分析的变化形式，如参考2所说明。当将此方法应用于音符辨识时，常见的做法是计算历经较短时间间隔在频带中存在的能量并接着定义频率峰值，所述频率峰值现在相关于与常规傅里叶分析的等距频带相反的非等距频带。然而，显然保留了在个别频带由源自不同音符的频谱分量多重占用的情况下遇到的相同基音缺点。

源自不同音符且在给定的个别频带内同时存在的分量可经受更精确的分析，例如通过提高由频率分析提供的解析度。这可以通过显著增加频带的数目来实现，但是具有同时增加待通过傅里叶变换处理的样本的数目的缺点，这反过来会增加检测方法的响应时间。

因此，大量关注在于开发用于音符以及和音检测的方法，从而提供关于给定频带是仅被噪音占用还是被短期相消的具有显著振幅的两个信号占用的精确、详细且可靠的决策，以及关于给定频带是被具有显著振幅的一个单个信号占用还是被若干此类信号占用的更好决策。

迄今为止遇到的所有用于音符检测的方法常见的一个特征涉及信息减少。如参考 1中所描述的且涉及音频信号的连续时间区段的傅里叶变换针对每个频带计算每个频带中存在的频率分量的能量的平均值。这对如参考2中所描述的所属领域的技术人员也熟知的另一类处理也适用，其组合傅里叶变换与频带特定的窗口函数且产生具有不均匀频带的频谱分析。这种变换还在输入信号的一个区段上操作，接着是输入信号的具有相同长度的下一个区段等，并且其输出也对应于特定频带中存在的频率分量的能量的平均值。

类似地，将信号拆分成频带并计算历经一些时间间隔在每个频带内存在的信号能量以进行进一步处理相当于在进行进一步处理之前计算平均值。在这两种情况下，基于短期信号平均值定义峰值，并且通过仅仅考虑峰值频率或如参看参考3偶尔进行的通过也考虑峰值的能量值来进行关于可能的音符和音符组合的后续决策。换句话说，在存在于频带中的信息的非常显著的减少(通过求平均值)之后进行决策。

因此，复杂度和有效性的自然的下一步骤(虽然是在对音符以及和音检测的问题的任何现有解决方案中尚未遇到的一个)是通过算法方法定义峰值，所述算法方法制止了将现有信息减少到仅仅峰值能量，因此允许出于解析频带占用中的不明确性或检测精确度起见对频带信号特性进行进一步处理。复杂度和有效性的另一进一步且自然的步骤(且同样是在对音符以及和音检测的问题的任何现有解决方案中尚未遇到的一个)是避免频带到非峰值或峰值的初始二元分配，并且基于从所有频带提取几类短期特征而进行决策，因此允许基于更大量的信息的更稳定的决策制定过程。在这两种进一步的自然步骤中，重要的是确保额外处理步骤不会过分增加延时，即，达成关于所考虑的时间间隔演奏哪些音符(若有的话)的决策所需的时间。

发明内容

本发明解决了基于由复调乐器产生的声学信号或自其导出的信号的短期低延时分析确定在所述乐器上演奏哪些音符的问题。

本发明的一个目的是与早期在决策过程中舍弃大量信息相反，在决策过程期间尽可能长地考虑尽可能多的可用信息。

本发明的又一目的是使得可能每当适当时详细分析所有可用信息以便在最佳可能条件的情形下解析频带被和声以及所有基音的占用，这仅基于简单的峰值定义是不可能解析的。

本发明的再一个目的是使得可能针对在普通演奏条件下遇到的频带占用的大多数情形使用产生快速、可靠且精确的解析度的算法。

本发明的又一目的是使得可能使用对复调音符检测的整个计算复杂度不具有显著影响的算法，因为这是在如乐器的软件辅助学习的此类情境中实施实时的、几乎瞬时的复调音符检测时的重要边界条件。

本发明的实施例克服了背景技术中描述的困难，因为本发明的方法历经就其而言必须进行决策的时间间隔的整个长度保持所有可用的信息，而不是在制定关于假设的一组音符与观察到的数据之间的最佳可能配合的决策之前舍弃检测相关的信息，这对展示大量能量的频带且对具有低得多的能量的频带同等地适用。

本发明的进一步目的是应用类似方法辨识演奏的音符，辨识开始演奏新音符时的那些相位(较短时间间隔在本领域中通常被称为“起始”)，以及持续辨识所演奏的乐器的确切调音。

在下文中将借助于与以下图式相关的实例阐述和描述所述方法，以下图式示出：

图1描述由谱线表示的个别振荡；

图2可以在由两个谱线占用的一个特定窄带内观察到的节拍；

图3从信号到音符的傅里叶变换处理的步骤；

图4使用一组窄带带通滤波器从信号到音符的信号处理；

图5用于使用局限于每个个别频带的信号的个别时间序列将信号处理为音符的改进方法，临时存储所述序列以便使从信号提取的单个特征或多个特征以固定序列或根据来自决策制定算法的请求存储在存储器中；

图6根据图5的此机制的特定实施，其中处理给定频带的时域输出的短区段以便粗略估计其信号包络并且从信号区段的过零点提取频率测量值；

图7表示用于实施本发明的处理器的总体逻辑结构。

附图说明

图1描述其中演奏的第一音符由一个基音振荡和多个和声振荡的总和表示并且同时演奏的第二音符也由另一个基音振荡和多个和声振荡的总和表示的情况。个别振荡由谱线表示，并且一些频带可以由源自第一音符和第二音符两者的谱线占用。

图2描述可以在由具有较小频率差(与频带的窄带宽一致)并且具有大致类似振幅的两个谱线占用的一个特定窄带内观察到的节拍现象。

图3描述以下机制：借助所述机制进行数字音频信号的有限长度区段的傅里叶变换(经开窗或未经开窗)且接着进行数字信号的后续相邻有限长度区段的相同傅里叶变换，所述机制在每个频带中产生数字信号的每个有限长度区段的一个单一数，表示输入信号对此特定频带的所有比重的水平。换句话说，在对相连区段执行傅里叶变换时以及在使用一个单一数表征给定频带内的条件时存在显著的信息减少。换句话说，每一区段一次决定每个频带是否可以定义为峰值并且仅处理如此定义的峰值组在频域中的位置，这相当于相对于给定频带的可用于决策制定的信息量的非常显著的减少。

图4描述以下机制：借助所述机制通过一组带通滤波器拆分占用宽带频率的输入信号，从而在其输出处产生局限于每个个别频带的信号的个别时间序列。在此类实施方案中常见的做法是测量历经给定时间间隔在每个频带中存在的信号能量，唯一地基于能量测量将每个频带表征为峰值或非峰值，并且仅仅基于如此定义的峰值组在频域中的位置处理决策制定过程，这同样相当于可用于决策制定的信息量的非常显著的减少。

图5描述以下基音机制：借助所述机制通过一组带通滤波器拆分占用宽带频率的输入信号，从而在其输出处产生局限于每个个别频带的信号的个别时间序列，所述时间序列被临时存储，以便使从信号提取的单个特征或多个特征以固定序列或根据来自决策制定算法的请求存储在存储器中。虽然可以使用此类方案明显地计算每个频带中的累计能量，但是同样可能提取信息丰富的频带信号特征，例如平均值、方差、最大值和最小值、局部极大值和极小值、信号包络、多项式近似参数、内插值、观察到的过零点与计算出的过零点之间的距离统计数据等。

图6描述此机制的特定实施，其中处理给定频带的时域输出的短区段以便粗略估计其信号包络并且从信号区段的过零点提取频率测量值。在具有半静止特性的单一频谱分量的情况下，除了由噪音引起的可能的小波动之外，包络将是平坦的。在频带中存在两个频谱分量的情况下，包络将总体上具有明显的且可测量的斜率。换句话说，检测具有太大而尚未由噪音引起的斜率的一段包络明显指示存在超过一个谱线。另一方面，基本上平坦的包络指示存在单一频谱分量，或存在两个或更多个频谱分量，所述两个或更多个频谱分量的总和产生短期最大值。可以从过零点之间测得的距离的统计数据提取进一步信息。组合来自包络和来自频率测量值的信息可以促成对历经观察区段在频带内存在的频谱分量的更精确估计。后续区段的观察将获得额外信息，例如当两个或更多个频谱分量的总和开始产生与先前最大值愈加不同的信号时。当仅由给定频带内存在的总能量定义峰值时，一个以及若干个频谱分量的存在之间的这种简单且通常非常清晰的区分是不可能的。

图7描述用于实施本发明的处理器的总体逻辑结构。将输入信号拆分成窄带，并且在频带区段信号存储器中输入短期区段。用于特征提取的算法块可以从存储器读取所述区段，并且执行来自请求特定特征的决策制定算法块的命令。区段决策制定算法块处理来自若干频带的若干短期同时区段的特征。特征和决策短期地存储在区段决策存储器中。用于决策制定的较高层级算法块处理来自若干短期区段和若干频带的结果并且输出关于音符、其时序以及和弦的信息。

具体实施方式

在本发明中，经由带通滤波器组由输入信号产生一组窄带、时域信号，所述带通滤波器组自身可以如所属领域的技术人员所熟知的通过直接实施个别滤波器或通过经由傅里叶变换执行处理的至少一个部分来实施。所得时域信号被临时存储，因此允许从个别窄带时域信号预定义提取或取决于决策提取相关特征。不执行早期的基于能量平均测量值的峰值/非峰值决策。

安装数字信号处理算法，其可以从个别窄带时域信号提取特定特征，例如出于说明而非作为详尽列举，通过处理短期统计、信号包络、由包络导出的信号参数估计值、以及频率测量值及其统计数据。

此类信号处理的结果允许决策制定算法达成关于个别频带由频谱分量的非占用、模糊占用以及单一或多重占用的试探性或最终部分决策，并且还允许根据信号模型表示就参数组而言频带信号的对应区段。

决策制定算法请求从一组时域频带信号提取第一组特征。在接收并处理此类特征后，决策制定算法可要求从一些时域频带信号选择性地提取另外的特征，并且取决于信号特性和决策制定的复杂度，可以重复多次请求特征、处理结果以及可能地请求另外的特征的过程。

所属领域的技术人员应了解，属于一个特定决策间隔的时间信号可以在所述决策间隔的持续时间专门存储，而且在连续的若干决策间隔内存储，以便确认或否定在较短时间段内进行的试探性决策。类似地，还可能在若干连续的决策间隔内存储提取特征。

所属领域的技术人员还应了解，虽然已经在基于基音以及和声检测音符的范围内描述了本发明，但是本发明可以同等地适用于检测并非以简单和声模型为特征的多个声音的任务、同等地适用于可靠地检测音符的起始的任务，以及同等地适用于相对于乐器的调音提取持续信息的任务。

所属领域的技术人员还应进一步了解，本发明中描述的信号处理方法可以实时地离线实施，并且运行于具有所需内置或外部外围设备的具有充足处理能力的通用固定或便携式计算机(例如台式计算机或笔记本电脑)、具有所需内置或外部外围设备的具有充足处理能力的专用固定或便携式装置(例如平板电脑或智能手机)，或具有所需内置或外部外围设备的具有充足处理能力的专用电子装置上。

所属领域的技术人员还应进一步了解，本发明中提及的个别功能块可以多种方式实施，例如(在列举说明性实例而非作为详尽列举的意义上)，在单独的信号处理器内或在一个通用的信号处理器内、使用单独的存储器装置或通用的存储器装置，以及具有可以固定格式存储或从外部代码存储库检索到或按需求在本地汇编的代码。

Claims (10)

1.一种用于处理初始时域数字音频信号的方法，其中将所述信号拆分成局限于特定频带的多个窄带时域数字音频信号，所述窄带时域数字音频信号的短期区段临时存储于存储器中，

使信号处理算法以固定序列或根据来自决策制定算法的请求从所述窄带时域数字音频信号的所述区段提取窄带时域特征，例如，平均功率，和/或平均振幅，和/或从此导出的瞬时频率或特征，和/或从此导出的瞬时时段或特征，和/或从此导出的瞬时包络或特征，和/或直接或通过内插从样本值导出的过零的时域位置，或从此导出的特征，

使所述决策制定算法进行关于由所述窄带时域特征引起的频带占用的类型的试探性或最终决策，

使所述决策制定算法从所述信号处理算法请求从特定短期区段提取另外的特定特征，并且进行关于由所述请求特征引起的频带占用的类型的试探性或最终决策，

使所述决策制定算法存储其关于频带占用的试探性以及最终决策，连同来自后续短期区段的结果一起进行处理，

以及使所述决策制定算法连同关于从新近的某一时间间隔内已经演奏的一组音符中产生的每个音符的时序的信息一起以所述音符组的形式输出从当前和过去的短区段导出的最终决策。

2.根据权利要求1所述的方法，其中所述决策制定还考虑所述初始时域数字音频信号的短期功率。

3.根据权利要求1所述的方法，其中所述决策制定还基于所述时域数字音频信号来源于在同时演奏特定组音符时具有特定物理限制的特定乐器的先验知识而考虑对频带占用模式的限制。

4.根据权利要求1-3中的一项所述的方法，其中除了识别其中检测到音符的基频的所述频带之外，所述决策制定包含还对已检测到的所述音符的实际基频的连续分段式估计、所述实际基频的此类连续分段式估计到单音符调音信息的转译，以及输出此单音符调音信息的能力。

5.根据权利要求1-3中的一项所述的方法，其中所述决策制定包含音符起始的具体辨识、与起始相关的时序信息的提取，相对于单个或多个音符的预定义参考序列中的个别音符的时序的时序偏离的计算以及输出此类时序信息和时序偏离的能力。

6.根据权利要求1-3中的一项所述的方法，其中所述决策制定还包含从单音符调音信息以及所述时域数字音频信号来源于特定乐器的先验知识中提取关于所述乐器的调音行为的额外信息。

7.根据权利要求1-3中的一项所述的方法，其中所述决策制定还包含出于自适应地改进所述决策制定算法的性能的目的而提取信息。

8.一种用于处理一连串信号的设备，其中将初始时域数字音频信号拆分成局限于特定频带的多个窄带时域数字音频信号，所述窄带时域数字音频信号的短期区段被临时存储，所述设备具有包含至少处理器和存储器的物理元件，从而允许使用信号处理算法从所述短期区段提取窄带时域特征，例如，平均功率，和/或平均振幅，和/或从此导出的瞬时频率或特征，和/或从此导出的瞬时时段或特征，和/或从此导出的瞬时包络或特征，和/或直接或通过内插从样本值导出的过零的时域位置，或从此导出的特征，所述特征的所述提取以固定序列或根据来自决策制定算法的请求发生，接着使所述决策制定算法进行关于由所述窄带时域特征引起的频带占用的类型的试探性或最终决策，接着使所述决策制定算法从所述信号处理算法请求从特定短期区段提取另外的特定窄带时域特征，并且进行关于由所述请求特征引起的频带占用的类型的试探性或最终决策，所述决策制定算法将其关于频带占用的试探性以及最终决策存储在所述存储器中，用于连同来自后续短期区段的结果一起进行处理，并且所述处理器进一步用于使所述决策制定算法连同关于从新近的某一时间间隔内已经演奏的一组音符中产生的每个音符的时序的信息一起以所述音符组的形式输出从当前和过去的短区段导出的最终决策。

9.根据权利要求8所述的设备，另外具有麦克风作为所述初始时域数字音频信号的来源。

10.根据权利要求8或权利要求9所述的设备，另外具有显示器，并且使所述显示器连同关于从新近的某一时间间隔内已经演奏的一组音符中产生的每个音符的所述时序的信息一起在视觉上表示所述组音符。

Images