CN103354092B - 一种带检错功能的音频乐谱比对方法 - Google Patents

Abstract

本发明公开了一种带检错功能的音频乐谱比对方法，包括提取MIDI文件中每个音符的起始时间信息，将MIDI文件转为音频WAV文件；对演奏音频P进行端点检测，以确定每个单音或和弦的起始时间；提取乐谱音频S和演奏音频P的特征值得到每个单音或和弦的12维色度向量；计算演奏音频P特征向量与乐谱音频S特征向量的欧式距离矩阵，将两个特征值矩阵进行比较，利用DTW算法最终实现演奏音频与乐谱音频对齐功能；从而检测演奏音频中是否有多弹、漏弹、错弹的情况。本发明能够实现计算机收听现场演奏音乐，最终跟踪确定演奏音符在乐谱中的位置，不仅在对齐时间上更加精确，同时不受节拍变化的影响，而且能够检测出演奏音频中是否有偏差音符。

Description

一种带检错功能的音频乐谱比对方法

技术领域

本发明涉及一种计算机乐谱跟随系统，尤其涉及一种利用计算机自动跟踪演奏音频，使计算机中存储的乐谱与现场演奏音频同步的方法。

背景技术

乐谱跟随最初在20世纪80年代以计算机辅助自动伴奏的形式出现，1984年由BarryVercoe和RogerDannenberg首次独立提出乐谱跟随的概念。乐谱跟随系统在计算机伴奏，虚拟演奏排练，计算机辅助乐器演奏练习等方面有广阔的应用前景。乐谱跟随的核心技术是音频乐谱比对，比对的本质是音频特征值与乐谱特征值之间的相似度比较。其中，演奏音频特征值的提取是比对系统的重要组成部分，通过提取音频的特征值，可以获取音乐的内容信息，进而有助于音乐分析、检索、音乐内容的直接定位播放等。近10年来，研究人员更倾向于使用低层音乐特征作为比对特征，例如：梅尔倒频谱系数、音高直方图、色度图谱。对于音频乐谱比对方法来说，实验证明色度特征优于其他特征。

乐谱跟随使用的主流算法主要有隐马尔科夫模型(HiddenMarkovModel,HMM)和动态时间规整(DynamicTimeWarping,DTW)算法。很多学者在研究中使用HMM构造乐谱跟随系统，Cont进一步提出了隐马尔科夫/半马尔可夫模型。然而HMM算法需要精心设计和训练，而DTW算法只需简单的模型不需训练即可获得很好的结果，处理音乐音频使用DTW算法在时间复杂度上具有很大的优势。

目前，大多数乐谱跟随采用的音频与乐谱比对算法均对时间域进行比较随机的分帧，大多只具有音符对齐的功能，无法检测偏差音符例如多弹、漏弹、错弹等情况。

发明内容

针对上述现有技术，本发明提供一种带检错功能的音频乐谱比对方法，使演奏音频在与乐谱对齐的同时可以准确、快速检测出偏差音符。本比对系统可以自动分析出一段演奏音频的错误所在，是乐器初学者和教授者教与学的有力辅助工具。

为了解决上述技术问题，本发明一种带检错功能的音频乐谱比对方法予以实现的技术方案是：该比对方法包括以下步骤：

步骤一、乐谱中的信息包含在MIDI文件当中，提取MIDI文件中每个音符的起始时间信息；将MIDI文件转录为音频WAV文件，采样率22050Hz，16bit，单通道，成为被参考的乐谱音频S；

步骤二、对演奏音频P进行端点检测，以确定每个单音或和弦的起始时间；

步骤三、提取乐谱音频S和演奏音频P的特征值，得到每个单音或和弦的12维色度向量，对于演奏音频P，构成演奏音频特征向量chro_P(i),i=1…N，i为音频中第i个端点开始的音频片段，N为一段演奏音频的总端点数，对于乐谱音频S，构成乐谱音频特征值向量chro_S(j),j=1…M，j为音频中第j个端点开始的音频片段，M为一段乐谱音频的总端点数；

步骤四、计算演奏音频P特征向量与乐谱音频S特征向量的欧式距离矩阵，利用DTW算法得到对齐路径W=W₁,…,W_m，m为总对应点数，每一个W_k对应一个有序对(i_k,j_k)，意味着P_i与S_j对齐；

步骤五、检测演奏音频中是否有多弹、漏弹、错弹的情况。

进一步讲，本发明一种带检错功能的音频乐谱比对方法中，

步骤二中：对演奏音频P进行短时傅里叶变换，得到音频信号的频谱X=(X(t,k))_t,k，k=1,2…,K，t=1,2…,T，其中K为每帧的样本点数，T是信号的帧数；将频带分为5个子带，对每个子带的频谱幅度|X|作对数运算，服从Y=log(1+C·|X|)，其中C=1000；计算压缩频谱Y的离散导数，得到端点强度曲线 ${\left|x\right|}_{\&GreaterEqual;0}=\left\{\begin{array}{cc}x& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.;$ 利用半波整流减去局部平均值并去除负值，将每个子带结果相加并取曲线的极大值，最终得到演奏音频中每个音符或和弦的起始时间。

步骤三中：提取乐谱音频S和演奏音频P的特征值，得到每个单音或和弦的12维色度向量包括以下步骤：首先，使用恒Q变换，计算CQT谱线频率， $X^{\mathrm{cq}}\left(k\right)=\frac{1}{N_k}\underset{n=0}{\overset{N_k-1}{\mathrm{\&Sigma;}}}x\left(n\right)w_{N_k}\left(n\right)e^{-j\frac{2\mathrm{\&pi;Q}}{N_k}n},k=\mathrm{0,1},...,$ 其中k表示第k条频率谱线，x(n)为音频时域信号，为长度为N_k的窗函数，N_k由决定，f_s为采样频率，f_k是第k个频率分量，满足f_k=2^k/βf_min，f_min=73.42Hz是所处理信号的频率下限，Q是由β决定的常数，β=36表示每个半音内有3条频率谱线；然后，计算每帧色度，其中b∈[1,β]表示色度点数，M表示Q谱内八度的数目；最后，经过调谐运算，修正偏离数据，然后通过低通滤波器进行平滑处理，结合端点检测算法，求出每个音符片段内色度图谱的平均值，相加每个半音内的数据，将36维的数据转换12维，最终得到每个单音或和弦的12维色度向量。

步骤四中：计算演奏音频P特征值向量与乐谱音频S特征值向量的欧氏距离矩阵，得到相似度矩阵：递归计算累加矩阵： $D(i,j)=\mathrm{SM}(i,j)+\min \left\{\begin{array}{c}{\mathrm{\&omega;}}_a*D(i,j-1)\\ {\mathrm{\&omega;}}_a*D(i,-1j)\\ {\mathrm{\&omega;}}_b*D(i-1,j-1)\end{array}\right\},$ 其中D(1,1)=SM(1,1)，取权重ω_a=1，ω_b=1.2；DTW路径由D(i,j)获得，最终确定对齐路径W=W₁,…,W_m，m为总对应点数，每一个W_k对应一个有序对(i_k,j_k)，意味着P_i与S_j对齐。

步骤五中：设定一个相似矩阵的阈值σ，路径W_n对应的有序对为(i_n,j_n)，当SM(i,j)＜σ时，确定乐谱第j段音符为错弹；当路径W_n+1对应的有序对为(i+1_n+1,j_n+1)时，确定演奏中第i+1个单音或和弦为多弹；当W_n+1对应的有序对为(i_n+1,j+1_n+1)时，确定乐谱中第j+1段音符为漏弹。

与现有技术相比，本发明的有益效果是：

本发明将DTW方法与端点检测方法相结合，不仅提高了演奏音频与乐谱音频对齐时间的精确度，同时可以实现检错功能，与传统DTW相比，本发明增加了端点检测，特征向量不是逐帧进行比对，而是每个音之间的比对，节省了动态规划时间，提高了执行效率。这一变化还可以使得系统不受节奏快慢的影响，更具有稳健性。

附图说明

图1.本发明乐谱跟随系统流程图；

图2.巴赫法国组曲No.2inCminor,BWV813_IV,Air选段，其中：(a)乐谱前2小节，(b)实际演奏音频，(c)端点强度曲线；

图3包含多弹、漏弹的小星星演奏音频经过系统后的动态规划结果；

图4不同比对检测方法的准确度比较图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。图1为本发明的总流程图，具体步骤如下：

1.转录MIDI。乐谱中的起始时间信息包含在MIDI文件当中，提取MIDI文件中每个音符的起始时间信息，然后将MIDI文件转录为WAV音频文件，采样率22050Hz，16bit，单通道，成为被参考的标准音频，此时的音频文件包含准确的音符端点信息。

2.端点检测，对演奏音频P进行端点检测，以确定每个单音或和弦的起始时间。

对测试钢琴曲（即演奏音频P）进行短时傅里叶变换，得到音频信号的频谱X=(X(t,k))_t,k，k=1,2…,K，t=1,2…,T，其中K为每帧的样本点数，T是信号的帧数，选用0.023秒作为帧长。将频带分为[0500]、[5001250]、[12503125]、[31257812.5]、[7812.5fs/2]5个子带，fs为采样频率。对每个子带的频谱幅度|X|作对数运算，得到压缩后的频谱Y，Y=log(1+C·|X|)，其中C=1000。计算压缩频谱Y的离散导数，得到端点强度曲线 $\mathrm{\&Delta;}\left(t\right)=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{|Y(t+1,k)-Y(t,k)|}_{\&GreaterEqual;0},{\left|x\right|}_{\&GreaterEqual;0}=\left\{\begin{array}{cc}x& x\&GreaterEqual;0\\ 0& x\&GreaterEqual;0\end{array}\right..$ 最后利用半波整流减去局部平均值并去除负值，将每个子带△(t)对应帧相加得到最终端点强度曲线取曲线的极大值最终得到演奏音频中每个音符或和弦的起始时间。

以巴赫法国组曲No.2inCminor,BWV813_IV,Air选段为例，其端点检测结果如图2所示。

3.提取特征值，利用恒Q变换（ConstantQTransform,CQT），计算CQT谱线频率 $X^{\mathrm{cq}}\left(k\right),X^{\mathrm{cq}}\left(k\right)=\frac{1}{N_k}\underset{n=0}{\overset{N_k-1}{\mathrm{\&Sigma;}}}x\left(n\right)w_{N_k}\left(n\right)e^{-j\frac{2\mathrm{\&pi;Q}}{N_k}n},k=\mathrm{0,1},...,$ 其中k表示第k条频率谱线，x(n)为音频时域信号，为长度为N_k的窗函数，N_k由决定，f_s为采样频率，f_k是第k个频率分量，满足f_k=2^k/βf_min，f_min=73.42Hz是所处理信号的频率下限，Q是由β决定的常数，β=36表示每个半音内有3条频率谱线。计算每帧色度， $\mathrm{Chroma}\left(b\right)=\underset{m=0}{\overset{M}{\mathrm{\&Sigma;}}}\left|X^{\mathrm{cq}}(b+\mathrm{m\&beta;})\right|,b=\mathrm{1,2}...,\mathrm{\&beta;},$ b表示色度点数，M表示Q谱内八度的数目。经过调谐运算，修正偏离数据，然后通过低通滤波器进行平滑处理，最后结合端点检测算法，求出每个音符片段内色度图谱的平均值，相加每个半音内的数据，将36维的数据转换12维，最终得到每个单音或和弦的12维色度向量（即色度特征值）。

4.DTW比对，计算演奏音频P特征向量chro_P(i),i=1…N与乐谱音频S特征向量chro_S(j),j=1…M的欧氏距离，得到相似度矩阵（similaritymatrix，SM）， $\mathrm{SM}(i,j)=\sqrt{\mathrm{\&Sigma;}({\mathrm{chro}}_P\left(i\right)-{\mathrm{chro}}_S\left(j\right){)}^2}.$

递归计算累加矩阵D， $D(i,j)=\mathrm{SM}(i,j)+\min \left\{\begin{array}{c}{\mathrm{\&omega;}}_a*D(i,j-1)\\ {\mathrm{\&omega;}}_a*D(i,-1j)\\ {\mathrm{\&omega;}}_b*D(i-1,j-1)\end{array}\right\},$ 其中D(1,1)=SM(1,1)，取权重ω_a=1，ω_b=1.2。DTW路径由D(i,j)获得，最终确定距离路径W=W₁,…,W_m，m为总对应点数。每一个W_k对应一个有序对(i_k,j_k)，意味着S_i与P_j对齐。

5.检错功能，

设定一个相似矩阵的阈值σ，路径W_n对应的有序对为(i_n,j_n)，当SM(i,j)＜σ时，确定乐谱第j段音符为错弹。

当路径W_n+1对应的有序对为(i+1_n+1,j_n+1)时，确定演奏中第i+1个单音或和弦为多弹。当W_n+1对应的有序对为(i_n+1,j+1_n+1)时，确定乐谱中第j+1段音符为漏弹。

以包含多个漏弹、多弹的小星星演奏音频为例，实验结果如图3所示。由图3可以得出，演奏的第3个和第4个音之间漏弹了参考乐谱中的第4个音，演奏的第9个和第10个音之间漏弹了参考乐谱中的第11个音，演奏音频中第15个音是多弹的，演奏的第37个和第38个音之间漏弹了参考乐谱中的第39个音，演奏的第38个和第39个音之间漏弹了参考乐谱中的第41个音。

为证明本发明比对方法的有效性，从巴赫的法国组曲第一组（作品BWV812）至第三组（作品BWV814）中选择了5首曲目作为实验曲目，所选曲目均为复调钢琴音乐，且速度、节奏、风格各不相同，具有代表性。

为便于评估，每首乐曲只取前8小节。实验中，所用音频均为22050Hz采样率，16bit，单声道，wav格式的文件。

实验采用人工标准的方式确定对应时间，将本发明提出的带检错功能的音频乐谱比对方法（表1中以onset-DTW表示）与传统DTW在平均偏移量和运行时间方面进行对比，实验结果如表1所示。

表1传统DTW与本发明比对方法的平均偏移量和运行时间的比对，（单位：秒）

本发明提出的比对方法在时间精度上取决于端点检测算法，准确度明显高于传统的算法。而运行时间又低于传统算法，虽然系统加了端点检测步骤，但是比对每个音的特征值替代了比对每帧的特征值，节省了动态规划时间，对于节奏慢的音频，效果更佳明显。

同时，检验本发明时间准确度时，使用由台湾国立中正大学计算机科学与信息工程学院多媒体计算机实验室朱威达和李孟伦搜集整理的数据库（均来自http://www.free-scores.com/）。该数据库中全部为多音音频，包含67个实际演奏音频和与之对应的67个MIDI文件，最短持续时间为27.1秒，最长为191.5秒，小节数从9～92不等。本发明以每小节的第一拍的起始音符作为标注点，与实验结果中该音符在音频中被对应到的位置比较，计算其偏移时间。设定阈值为0.1秒，偏移时间在0.1秒之内算正确位置。比较了不同特征值的准确度，同时比较了传统算法与本发明提出比对方法的准确度。分别计算了提取音高直方图特征值并使用传统DTW算法、提取色度特征值并使用传统DTW算法和提取色度特征值并使用本发明提出的onset-DTW算法的准确度。本发明的准确度明显高于传统算法，不同算法的准确度比较如图4所示，由图4可见，本发明提出的比对方法的准确度明显高于传统算法，使用相同色度特征值，本发明比对方法比传统DTW方法准确率提高了7.64%。

综上，本发明比对方法能够实现计算机收听现场演奏音乐，最终跟踪确定演奏音符在乐谱中的位置。其中包括：结合端点检测算法，确定出演奏音频每个单音或和弦的起始时间；提取基于恒Q变换（CQT）的色度特征值，构成每个单音或和弦的特征值向量；将两个特征值矩阵进行比较，利用DTW算法最终实现演奏音频与乐谱音频对齐功能。本发明不仅在对齐时间上更加精确，同时不受节拍变化的影响，而且能够检测出演奏音频中是否有偏差音符。

尽管上面结合图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以作出很多变形，这些均属于本发明的保护之内。

Claims (1)

1.一种带检错功能的音频乐谱比对方法，包括以下步骤：

步骤一、乐谱中的信息包含在MIDI文件当中，提取MIDI文件中每个音符的起始时间信息；将MIDI文件转录为音频WAV文件，采样率22050Hz，16bit，单通道，成为被参考的乐谱音频S；

步骤二、对演奏音频P进行端点检测，以确定每个单音或和弦的起始时间，包括：

对演奏音频P进行短时傅里叶变换，得到音频信号的频谱X＝(X(t,k))_t,k，k＝1,2…,K，t＝1,2…,T，其中K为每帧的样本点数，T是信号的帧数；

将频带分为5个子带，对每个子带的频谱幅度|X|作对数运算，服从Y＝log(1+C·|X|)，其中C＝1000；

计算压缩频谱Y的离散导数，得到端点强度曲线 ${\left|x\right|}_{\&GreaterEqual;0}=\{\begin{array}{cc}x& x\&GreaterEqual;0\\ 0& x<0\end{array};$

利用半波整流减去局部平均值并去除负值，将每个子带结果相加并取曲线的极大值，最终得到演奏音频中每个音符或和弦的起始时间；

步骤三、提取乐谱音频S和演奏音频P的特征值，得到每个单音或和弦的12维色度向量，对于演奏音频P，构成演奏音频特征向量chro_P(i),i＝1…N，i为音频中第i个端点开始的音频片段，N为一段演奏音频的总端点数，对于乐谱音频S，构成乐谱音频特征值向量chro_S(j),j＝1…M，j为音频中第j个端点开始的音频片段，M为一段乐谱音频的总端点数；

其中，提取乐谱音频S和演奏音频P的特征值，得到每个单音或和弦的12维色度向量包括以下步骤：

使用恒Q变换，计算CQT谱线频率， $X^{\mathrm{cq}}\left(k\right)=\frac{1}{N_k}\underset{n=0}{\overset{N_k-1}{\mathrm{\&Sigma;}}}x\left(n\right)w_{N_k}\left(n\right)e^{-j\frac{2\mathrm{\&pi;Q}}{N_k}n},$ k＝0,1,…，其中k表示第k条频率谱线，x(n)为音频时域信号，为长度为N_k的窗函数，N_k由决定，f_s为采样频率，f_k是第k个频率分量，满足f_k＝2^k/βf_min，f_min＝73.42Hz是所处理信号的频率下限，Q是由β决定的常数，β＝36表示每个半音内有3条频率谱线；

计算每帧色度，其中b∈[1,β]表示色度点数，M表示Q谱内八度的数目；

经过调谐运算，修正偏离数据，然后通过低通滤波器进行平滑处理，最后结合端点检测算法，求出每个音符片段内色度图谱的平均值，相加每个半音内的数据，将36维的数据转换12维，最终得到每个单音或和弦的12维色度向量；

步骤四、计算演奏音频P特征向量与乐谱音频S特征向量的欧式距离矩阵，利用DTW算法得到对齐路径W＝W₁,…,W_m，m为总对应点数，每一个W_k对应一个有序对(i_k,j_k)，意味着P_i与S_j对齐；包括：计算演奏音频P特征值向量与乐谱音频S特征值向量的欧氏距离矩阵，得到相似度矩阵： $SM(i,j)=\sqrt{\mathrm{\&Sigma;}{\left({\mathrm{chro}}_P\right(i)-{\mathrm{chro}}_S(j\left)\right)}^2};$ 递归计算累加矩阵： $D(i,j)=SM(i,j)+min\left\{\begin{array}{c}{\mathrm{\&omega;}}_a*D(i,j-1)\\ {\mathrm{\&omega;}}_a*D(i,-1j)\\ {\mathrm{\&omega;}}_b*D(i-1,j-1)\end{array}\right\},$ 其中D(1,1)＝SM(1,1)，取权重ω_a＝1，ω_b＝1.2；DTW路径由D(i,j)获得，最终确定对齐路径W＝W₁,…,W_m，m为总对应点数，每一个W_k对应一个有序对(i_k,j_k)，意味着P_i与S_j对齐；

步骤五、检测演奏音频中是否有多弹、漏弹、错弹的情况，包括：设定一个相似矩阵的阈值σ，路径W_n对应的有序对为(i_n,j_n)，当SM(i,j)＜σ时，确定乐谱第j段音符为错弹；当路径W_n+1对应的有序对为(i+1_n+1,j_n+1)时，确定演奏中第i+1个单音或和弦为多弹；当W_n+1对应的有序对为(i_n+1,j+1_n+1)时，确定乐谱中第j+1段音符为漏弹。