CN103354092A - 一种带检错功能的音频乐谱比对方法 - Google Patents
一种带检错功能的音频乐谱比对方法 Download PDFInfo
- Publication number
- CN103354092A CN103354092A CN2013102641871A CN201310264187A CN103354092A CN 103354092 A CN103354092 A CN 103354092A CN 2013102641871 A CN2013102641871 A CN 2013102641871A CN 201310264187 A CN201310264187 A CN 201310264187A CN 103354092 A CN103354092 A CN 103354092A
- Authority
- CN
- China
- Prior art keywords
- audio frequency
- music score
- frequency
- music
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 23
- 238000001228 spectrum Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 7
- 239000012634 fragment Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 4
- IJJWOSAXNHWBPR-HUBLWGQQSA-N 5-[(3as,4s,6ar)-2-oxo-1,3,3a,4,6,6a-hexahydrothieno[3,4-d]imidazol-4-yl]-n-(6-hydrazinyl-6-oxohexyl)pentanamide Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)NCCCCCC(=O)NN)SC[C@@H]21 IJJWOSAXNHWBPR-HUBLWGQQSA-N 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- QHGVXILFMXYDRS-UHFFFAOYSA-N pyraclofos Chemical compound C1=C(OP(=O)(OCC)SCCC)C=NN1C1=CC=C(Cl)C=C1 QHGVXILFMXYDRS-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开了一种带检错功能的音频乐谱比对方法,包括提取MIDI文件中每个音符的起始时间信息,将MIDI文件转为音频WAV文件;对演奏音频P进行端点检测,以确定每个单音或和弦的起始时间;提取乐谱音频S和演奏音频P的特征值得到每个单音或和弦的12维色度向量;计算演奏音频P特征向量与乐谱音频S特征向量的欧式距离矩阵,将两个特征值矩阵进行比较,利用DTW算法最终实现演奏音频与乐谱音频对齐功能;从而检测演奏音频中是否有多弹、漏弹、错弹的情况。本发明能够实现计算机收听现场演奏音乐,最终跟踪确定演奏音符在乐谱中的位置,不仅在对齐时间上更加精确,同时不受节拍变化的影响,而且能够检测出演奏音频中是否有偏差音符。
Description
技术领域
本发明涉及一种计算机乐谱跟随系统,尤其涉及一种利用计算机自动跟踪演奏音频,使计算机中存储的乐谱与现场演奏音频同步的方法。
背景技术
乐谱跟随最初在20世纪80年代以计算机辅助自动伴奏的形式出现,1984年由BarryVercoe和Roger Dannenberg首次独立提出乐谱跟随的概念。乐谱跟随系统在计算机伴奏,虚拟演奏排练,计算机辅助乐器演奏练习等方面有广阔的应用前景。乐谱跟随的核心技术是音频乐谱比对,比对的本质是音频特征值与乐谱特征值之间的相似度比较。其中,演奏音频特征值的提取是比对系统的重要组成部分,通过提取音频的特征值,可以获取音乐的内容信息,进而有助于音乐分析、检索、音乐内容的直接定位播放等。近10年来,研究人员更倾向于使用低层音乐特征作为比对特征,例如:梅尔倒频谱系数、音高直方图、色度图谱。对于音频乐谱比对方法来说,实验证明色度特征优于其他特征。
乐谱跟随使用的主流算法主要有隐马尔科夫模型(Hidden Markov Model,HMM)和动态时间规整(Dynamic Time Warping,DTW)算法。很多学者在研究中使用HMM构造乐谱跟随系统,Cont进一步提出了隐马尔科夫/半马尔可夫模型。然而HMM算法需要精心设计和训练,而DTW算法只需简单的模型不需训练即可获得很好的结果,处理音乐音频使用DTW算法在时间复杂度上具有很大的优势。
目前,大多数乐谱跟随采用的音频与乐谱比对算法均对时间域进行比较随机的分帧,大多只具有音符对齐的功能,无法检测偏差音符例如多弹、漏弹、错弹等情况。
发明内容
针对上述现有技术,本发明提供一种带检错功能的音频乐谱比对方法,使演奏音频在与乐谱对齐的同时可以准确、快速检测出偏差音符。本比对系统可以自动分析出一段演奏音频的错误所在,是乐器初学者和教授者教与学的有力辅助工具。
为了解决上述技术问题,本发明一种带检错功能的音频乐谱比对方法予以实现的技术方案是:该比对方法包括以下步骤:
步骤一、乐谱中的信息包含在MIDI文件当中,提取MIDI文件中每个音符的起始时间信息;将MIDI文件转录为音频WAV文件,采样率22050Hz,16bit,单通道,成为被参考的乐谱音频S;
步骤二、对演奏音频P进行端点检测,以确定每个单音或和弦的起始时间;
步骤三、提取乐谱音频S和演奏音频P的特征值,得到每个单音或和弦的12维色度向量,对于演奏音频P,构成演奏音频特征向量chroP(i),i=1…N,i为音频中第i个端点开始的音频片段,N为一段演奏音频的总端点数,对于乐谱音频S,构成乐谱音频特征值向量chroS(j),j=1…M,j为音频中第j个端点开始的音频片段,M为一段乐谱音频的总端点数;
步骤四、计算演奏音频P特征向量与乐谱音频S特征向量的欧式距离矩阵,利用DTW算法得到对齐路径W=W1,…,Wm,m为总对应点数,每一个Wk对应一个有序对(ik,jk),意味着Pi与Sj对齐;
步骤五、检测演奏音频中是否有多弹、漏弹、错弹的情况。
进一步讲,本发明一种带检错功能的音频乐谱比对方法中,
步骤二中:对演奏音频P进行短时傅里叶变换,得到音频信号的频谱X=(X(t,k))t,k,k=1,2…,K,t=1,2…,T,其中K为每帧的样本点数,T是信号的帧数;将频带分为5个子带,对每个子带的频谱幅度|X|作对数运算,服从Y=log(1+C·|X|),其中C=1000;计算压缩频谱Y的离散导数,得到端点强度曲线 利用半波整流减去局部平均值并去除负值,将每个子带结果相加并取曲线的极大值,最终得到演奏音频中每个音符或和弦的起始时间。
步骤三中:提取乐谱音频S和演奏音频P的特征值,得到每个单音或和弦的12维色度向量包括以下步骤:首先,使用恒Q变换,计算CQT谱线频率, 其中k表示第k条频率谱线,x(n)为音频时域信号,为长度为Nk的窗函数,Nk由决定,fs为采样频率,fk是第k个频率分量,满足fk=2k/βfmin,fmin=73.42Hz是所处理信号的频率下限,Q是由β决定的常数,β=36表示每个半音内有3条频率谱线;然后,计算每帧色度,其中b∈[1,β]表示色度点数,M表示Q谱内八度的数目;最后,经过调谐运算,修正偏离数据,然后通过低通滤波器进行平滑处理,结合端点检测算法,求出每个音符片段内色度图谱的平均值,相加每个半音内的数据,将36维的数据转换12维,最终得到每个单音或和弦的12维色度向量。
步骤四中:计算演奏音频P特征值向量与乐谱音频S特征值向量的欧氏距离矩阵,得到相似度矩阵:递归计算累加矩阵: 其中D(1,1)=SM(1,1),取权重ωa=1,ωb=1.2;DTW路径由D(i,j)获得,最终确定对齐路径W=W1,…,Wm,m为总对应点数,每一个Wk对应一个有序对(ik,jk),意味着Pi与Sj对齐。
步骤五中:设定一个相似矩阵的阈值σ,路径Wn对应的有序对为(in,jn),当SM(i,j)<σ时,确定乐谱第j段音符为错弹;当路径Wn+1对应的有序对为(i+1n+1,jn+1)时,确定演奏中第i+1个单音或和弦为多弹;当Wn+1对应的有序对为(in+1,j+1n+1)时,确定乐谱中第j+1段音符为漏弹。
与现有技术相比,本发明的有益效果是:
本发明将DTW方法与端点检测方法相结合,不仅提高了演奏音频与乐谱音频对齐时间的精确度,同时可以实现检错功能,与传统DTW相比,本发明增加了端点检测,特征向量不是逐帧进行比对,而是每个音之间的比对,节省了动态规划时间,提高了执行效率。这一变化还可以使得系统不受节奏快慢的影响,更具有稳健性。
附图说明
图1.本发明乐谱跟随系统流程图;
图3包含多弹、漏弹的小星星演奏音频经过系统后的动态规划结果;
图4不同比对检测方法的准确度比较图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。图1为本发明的总流程图,具体步骤如下:
1.转录MIDI。乐谱中的起始时间信息包含在MIDI文件当中,提取MIDI文件中每个音符的起始时间信息,然后将MIDI文件转录为WAV音频文件,采样率22050Hz,16bit,单通道,成为被参考的标准音频,此时的音频文件包含准确的音符端点信息。
2.端点检测,对演奏音频P进行端点检测,以确定每个单音或和弦的起始时间。
对测试钢琴曲(即演奏音频P)进行短时傅里叶变换,得到音频信号的频谱X=(X(t,k))t,k,k=1,2…,K,t=1,2…,T,其中K为每帧的样本点数,T是信号的帧数,选用0.023秒作为帧长。将频带分为[0500]、[5001250]、[12503125]、[31257812.5]、[7812.5fs/2]5个子带,fs为采样频率。对每个子带的频谱幅度|X|作对数运算,得到压缩后的频谱Y,Y=log(1+C·|X|),其中C=1000。计算压缩频谱Y的离散导数,得到端点强度曲线 最后利用半波整流减去局部平均值并去除负值,将每个子带△(t)对应帧相加得到最终端点强度曲线取曲线的极大值最终得到演奏音频中每个音符或和弦的起始时间。
以巴赫法国组曲No.2in C minor,BWV813_IV,Air选段为例,其端点检测结果如图2所示。
3.提取特征值,利用恒Q变换(Constant Q Transform,CQT),计算CQT谱线频率 其中k表示第k条频率谱线,x(n)为音频时域信号,为长度为Nk的窗函数,Nk由决定,fs为采样频率,fk是第k个频率分量,满足fk=2k/βfmin,fmin=73.42Hz是所处理信号的频率下限,Q是由β决定的常数,β=36表示每个半音内有3条频率谱线。计算每帧色度, b表示色度点数,M表示Q谱内八度的数目。经过调谐运算,修正偏离数据,然后通过低通滤波器进行平滑处理,最后结合端点检测算法,求出每个音符片段内色度图谱的平均值,相加每个半音内的数据,将36维的数据转换12维,最终得到每个单音或和弦的12维色度向量(即色度特征值)。
4.DTW比对,计算演奏音频P特征向量chroP(i),i=1…N与乐谱音频S特征向量chroS(j),j=1…M的欧氏距离,得到相似度矩阵(similarity matrix,SM),
递归计算累加矩阵D, 其中D(1,1)=SM(1,1),取权重ωa=1,ωb=1.2。DTW路径由D(i,j)获得,最终确定距离路径W=W1,…,Wm,m为总对应点数。每一个Wk对应一个有序对(ik,jk),意味着Si与Pj对齐。
5.检错功能,
设定一个相似矩阵的阈值σ,路径Wn对应的有序对为(in,jn),当SM(i,j)<σ时,确定乐谱第j段音符为错弹。
当路径Wn+1对应的有序对为(i+1n+1,jn+1)时,确定演奏中第i+1个单音或和弦为多弹。当Wn+1对应的有序对为(in+1,j+1n+1)时,确定乐谱中第j+1段音符为漏弹。
以包含多个漏弹、多弹的小星星演奏音频为例,实验结果如图3所示。由图3可以得出,演奏的第3个和第4个音之间漏弹了参考乐谱中的第4个音,演奏的第9个和第10个音之间漏弹了参考乐谱中的第11个音,演奏音频中第15个音是多弹的,演奏的第37个和第38个音之间漏弹了参考乐谱中的第39个音,演奏的第38个和第39个音之间漏弹了参考乐谱中的第41个音。
为证明本发明比对方法的有效性,从巴赫的法国组曲第一组(作品BWV812)至第三组(作品BWV814)中选择了5首曲目作为实验曲目,所选曲目均为复调钢琴音乐,且速度、节奏、风格各不相同,具有代表性。
为便于评估,每首乐曲只取前8小节。实验中,所用音频均为22050Hz采样率,16bit,单声道,wav格式的文件。
实验采用人工标准的方式确定对应时间,将本发明提出的带检错功能的音频乐谱比对方法(表1中以onset-DTW表示)与传统DTW在平均偏移量和运行时间方面进行对比,实验结果如表1所示。
表1传统DTW与本发明比对方法的平均偏移量和运行时间的比对,(单位:秒)
本发明提出的比对方法在时间精度上取决于端点检测算法,准确度明显高于传统的算法。而运行时间又低于传统算法,虽然系统加了端点检测步骤,但是比对每个音的特征值替代了比对每帧的特征值,节省了动态规划时间,对于节奏慢的音频,效果更佳明显。
同时,检验本发明时间准确度时,使用由台湾国立中正大学计算机科学与信息工程学院多媒体计算机实验室朱威达和李孟伦搜集整理的数据库(均来自http://www.free-scores.com/)。该数据库中全部为多音音频,包含67个实际演奏音频和与之对应的67个MIDI文件,最短持续时间为27.1秒,最长为191.5秒,小节数从9~92不等。本发明以每小节的第一拍的起始音符作为标注点,与实验结果中该音符在音频中被对应到的位置比较,计算其偏移时间。设定阈值为0.1秒,偏移时间在0.1秒之内算正确位置。比较了不同特征值的准确度,同时比较了传统算法与本发明提出比对方法的准确度。分别计算了提取音高直方图特征值并使用传统DTW算法、提取色度特征值并使用传统DTW算法和提取色度特征值并使用本发明提出的onset-DTW算法的准确度。本发明的准确度明显高于传统算法,不同算法的准确度比较如图4所示,由图4可见,本发明提出的比对方法的准确度明显高于传统算法,使用相同色度特征值,本发明比对方法比传统DTW方法准确率提高了7.64%。
综上,本发明比对方法能够实现计算机收听现场演奏音乐,最终跟踪确定演奏音符在乐谱中的位置。其中包括:结合端点检测算法,确定出演奏音频每个单音或和弦的起始时间;提取基于恒Q变换(CQT)的色度特征值,构成每个单音或和弦的特征值向量;将两个特征值矩阵进行比较,利用DTW算法最终实现演奏音频与乐谱音频对齐功能。本发明不仅在对齐时间上更加精确,同时不受节拍变化的影响,而且能够检测出演奏音频中是否有偏差音符。
尽管上面结合图对本发明进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨的情况下,还可以作出很多变形,这些均属于本发明的保护之内。
Claims (5)
1.一种带检错功能的音频乐谱比对方法,包括以下步骤:
步骤一、乐谱中的信息包含在MIDI文件当中,提取MIDI文件中每个音符的起始时间信息;将MIDI文件转录为音频WAV文件,采样率22050Hz,16bit,单通道,成为被参考的乐谱音频S;
步骤二、对演奏音频P进行端点检测,以确定每个单音或和弦的起始时间;
步骤三、提取乐谱音频S和演奏音频P的特征值,得到每个单音或和弦的12维色度向量,对于演奏音频P,构成演奏音频特征向量chroP(i),i=1…N,i为音频中第i个端点开始的音频片段,N为一段演奏音频的总端点数,对于乐谱音频S,构成乐谱音频特征值向量chroS(j),j=1…M,j为音频中第j个端点开始的音频片段,M为一段乐谱音频的总端点数;
步骤四、计算演奏音频P特征向量与乐谱音频S特征向量的欧式距离矩阵,利用DTW算法得到对齐路径W=W1,…,Wm,m为总对应点数,每一个Wk对应一个有序对(ik,jk),意味着Pi与Sj对齐;
步骤五、检测演奏音频中是否有多弹、漏弹、错弹的情况。
3.如权利要求1所述带检错功能的音频乐谱比对方法,其中,步骤三中,提取乐谱音频S和演奏音频P的特征值,得到每个单音或和弦的12维色度向量包括以下步骤:
使用恒Q变换,计算CQT谱线频率, 其中k表示第k条频率谱线,x(n)为音频时域信号,(n)为长度为Nk的窗函数,Nk由决定,fs为采样频率,fk是第k个频率分量,满足fk=2k/βfmin,fmin=73.42Hz是所处理信号的频率下限,Q是由β决定的常数,β=36表示每个半音内有3条频率谱线;
经过调谐运算,修正偏离数据,然后通过低通滤波器进行平滑处理,最后结合端点检测算法,求出每个音符片段内色度图谱的平均值,相加每个半音内的数据,将36维的数据转换12维,最终得到每个单音或和弦的12维色度向量。
4.如权利要求1所述带检错功能的音频乐谱比对方法,其中,步骤四中,包括:计算演奏音频P特征值向量与乐谱音频S特征值向量的欧氏距离矩阵,得到相似度矩阵: 递归计算累加矩阵: 其中D(1,1)=SM(1,1),取权重ωa=1,ωb=1.2;DTW路径由D(i,j)获得,最终确定对齐路径W=W1,…,Wm,m为总对应点数,每一个Wk对应一个有序对(ik,jk),意味着Pi与Sj对齐。
5.如权利要求1所述带检错功能的音频乐谱比对方法,其中,步骤五中,包括:设定一个相似矩阵的阈值σ,路径Wn对应的有序对为(in,jn),当SM(i,j)<σ时,确定乐谱第j段音符为错弹;当路径Wn+1对应的有序对为(i+1n+1,jn+1)时,确定演奏中第i+1个单音或和弦为多弹;当Wn+1对应的有序对为(in+1,j+1n+1)时,确定乐谱中第j+1段音符为漏弹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310264187.1A CN103354092B (zh) | 2013-06-27 | 2013-06-27 | 一种带检错功能的音频乐谱比对方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310264187.1A CN103354092B (zh) | 2013-06-27 | 2013-06-27 | 一种带检错功能的音频乐谱比对方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103354092A true CN103354092A (zh) | 2013-10-16 |
CN103354092B CN103354092B (zh) | 2016-01-20 |
Family
ID=49310451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310264187.1A Expired - Fee Related CN103354092B (zh) | 2013-06-27 | 2013-06-27 | 一种带检错功能的音频乐谱比对方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103354092B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104217731A (zh) * | 2014-08-28 | 2014-12-17 | 东南大学 | 一种快速识别独奏乐曲乐谱的方法 |
CN104978973A (zh) * | 2014-10-22 | 2015-10-14 | 腾讯科技(深圳)有限公司 | 一种音频处理方法及装置 |
FR3022048A1 (fr) * | 2014-06-10 | 2015-12-11 | Weezic | Procede de suivi d'une partition musicale et procede de modelisation associe |
CN105825844A (zh) * | 2015-07-30 | 2016-08-03 | 维沃移动通信有限公司 | 一种修音的方法和装置 |
CN106340286A (zh) * | 2016-09-27 | 2017-01-18 | 华中科技大学 | 一种通用的实时乐器演奏评价系统 |
CN106531184A (zh) * | 2016-09-23 | 2017-03-22 | 南京凡豆信息科技有限公司 | 一种基于旋律特征匹配的智能硬件钢琴曲复练指导方法 |
CN107068125A (zh) * | 2017-03-31 | 2017-08-18 | 北京小米移动软件有限公司 | 乐器控制方法及装置 |
CN107481738A (zh) * | 2017-06-27 | 2017-12-15 | 中央电视台 | 实时音频比对方法及装置 |
CN107919110A (zh) * | 2017-11-27 | 2018-04-17 | 哈尔滨理工大学 | 一种针对乐谱的译码方式 |
CN109300484A (zh) * | 2018-09-13 | 2019-02-01 | 广州酷狗计算机科技有限公司 | 音频对齐方法、装置、计算机设备以及可读存储介质 |
CN109493853A (zh) * | 2018-09-30 | 2019-03-19 | 福建星网视易信息系统有限公司 | 一种音频相似度的确定方法及终端 |
FR3072207A1 (fr) * | 2017-10-06 | 2019-04-12 | Amentz | Dispositif multimedia pour musicien |
CN109817192A (zh) * | 2019-01-21 | 2019-05-28 | 深圳蜜蜂云科技有限公司 | 一种智能陪练方法 |
CN109978030A (zh) * | 2019-03-15 | 2019-07-05 | 北京和弦佳佳人工智能科技有限公司 | 应用于演奏的序列对齐方法和装置 |
CN109979488A (zh) * | 2019-03-14 | 2019-07-05 | 浙江大学 | 基于重音分析的人声转乐谱系统 |
US10636402B2 (en) | 2016-01-15 | 2020-04-28 | Sunland Information Technology Co., Ltd. | Systems and methods for automatic calibration of musical devices |
CN111383620A (zh) * | 2018-12-29 | 2020-07-07 | 广州市百果园信息技术有限公司 | 一种音频的修正方法、装置、设备及存储介质 |
CN111680187A (zh) * | 2020-05-26 | 2020-09-18 | 平安科技(深圳)有限公司 | 乐谱跟随路径的确定方法、装置、电子设备及存储介质 |
CN112420071A (zh) * | 2020-11-09 | 2021-02-26 | 上海交通大学 | 一种基于恒q变换的复调电子琴音乐音符识方法 |
CN113593502A (zh) * | 2021-07-26 | 2021-11-02 | 深圳芒果未来教育科技有限公司 | 一种基于音视频演奏示范的交互式乐谱展示方法及系统 |
CN114758560A (zh) * | 2022-03-30 | 2022-07-15 | 厦门大学 | 一种基于动态时间规整的哼唱音准评价方法 |
CN115881065A (zh) * | 2022-11-29 | 2023-03-31 | 广州珠江艾茉森数码乐器股份有限公司 | 一种智能钢琴录音系统及方法 |
WO2023079419A1 (en) * | 2021-11-03 | 2023-05-11 | Sphereo Sound Ltd. | Aligning digital note files with audio |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011110486A1 (en) * | 2010-03-11 | 2011-09-15 | Telefonica, S.A. | Real time music to music video synchronization method and system |
CN102956237A (zh) * | 2011-08-19 | 2013-03-06 | 杜比实验室特许公司 | 测量内容一致性的方法和设备、测量相似度的方法和设备 |
-
2013
- 2013-06-27 CN CN201310264187.1A patent/CN103354092B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011110486A1 (en) * | 2010-03-11 | 2011-09-15 | Telefonica, S.A. | Real time music to music video synchronization method and system |
CN102956237A (zh) * | 2011-08-19 | 2013-03-06 | 杜比实验室特许公司 | 测量内容一致性的方法和设备、测量相似度的方法和设备 |
Non-Patent Citations (4)
Title |
---|
SIMON DIXON: "Live tracking of musical performances using on-line time warping", 《PROC. OF THE 8TH INT. CONFERENCE ON DIGITAL AUDIO EFFECTS (DAFX’05)》, 22 September 2005 (2005-09-22) * |
张苾荍,韩圣龙: "基于色度特征和动态时间卷曲算法的音频与乐谱对位", 《现代图书情报技术》, 31 January 2012 (2012-01-31), pages 40 - 45 * |
董丽梦等: "基于稀疏表示分类器的和弦识别研究", 《计算机工程与应用》, vol. 48, no. 29, 11 October 2012 (2012-10-11) * |
郑玉婷等: "一种适用于非特定哼唱方式的起音点检测算法", 《计算机工程》, vol. 38, no. 10, 31 May 2012 (2012-05-31), pages 250 - 252 * |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3022048A1 (fr) * | 2014-06-10 | 2015-12-11 | Weezic | Procede de suivi d'une partition musicale et procede de modelisation associe |
CN107077836A (zh) * | 2014-06-10 | 2017-08-18 | Makemusic公司 | 用于跟踪乐谱的方法以及相关的建模方法 |
CN104217731A (zh) * | 2014-08-28 | 2014-12-17 | 东南大学 | 一种快速识别独奏乐曲乐谱的方法 |
CN104978973A (zh) * | 2014-10-22 | 2015-10-14 | 腾讯科技(深圳)有限公司 | 一种音频处理方法及装置 |
CN104978973B (zh) * | 2014-10-22 | 2019-08-13 | 广州酷狗计算机科技有限公司 | 一种音频处理方法及装置 |
CN105825844A (zh) * | 2015-07-30 | 2016-08-03 | 维沃移动通信有限公司 | 一种修音的方法和装置 |
US10657943B2 (en) | 2016-01-15 | 2020-05-19 | Sunland Information Technology Co., Ltd. | Systems and methods for calibrating a musical device |
US11328618B2 (en) | 2016-01-15 | 2022-05-10 | Sunland Information Technology Co., Ltd. | Systems and methods for calibrating a musical device |
US10636402B2 (en) | 2016-01-15 | 2020-04-28 | Sunland Information Technology Co., Ltd. | Systems and methods for automatic calibration of musical devices |
CN106531184A (zh) * | 2016-09-23 | 2017-03-22 | 南京凡豆信息科技有限公司 | 一种基于旋律特征匹配的智能硬件钢琴曲复练指导方法 |
CN106340286A (zh) * | 2016-09-27 | 2017-01-18 | 华中科技大学 | 一种通用的实时乐器演奏评价系统 |
CN107068125A (zh) * | 2017-03-31 | 2017-08-18 | 北京小米移动软件有限公司 | 乐器控制方法及装置 |
CN107068125B (zh) * | 2017-03-31 | 2021-11-02 | 北京小米移动软件有限公司 | 乐器控制方法及装置 |
CN107481738A (zh) * | 2017-06-27 | 2017-12-15 | 中央电视台 | 实时音频比对方法及装置 |
CN107481738B (zh) * | 2017-06-27 | 2021-06-08 | 中央电视台 | 实时音频比对方法及装置 |
FR3072207A1 (fr) * | 2017-10-06 | 2019-04-12 | Amentz | Dispositif multimedia pour musicien |
CN107919110A (zh) * | 2017-11-27 | 2018-04-17 | 哈尔滨理工大学 | 一种针对乐谱的译码方式 |
CN109300484B (zh) * | 2018-09-13 | 2021-07-02 | 广州酷狗计算机科技有限公司 | 音频对齐方法、装置、计算机设备以及可读存储介质 |
CN109300484A (zh) * | 2018-09-13 | 2019-02-01 | 广州酷狗计算机科技有限公司 | 音频对齐方法、装置、计算机设备以及可读存储介质 |
CN109493853B (zh) * | 2018-09-30 | 2022-03-22 | 福建星网视易信息系统有限公司 | 一种音频相似度的确定方法及终端 |
CN109493853A (zh) * | 2018-09-30 | 2019-03-19 | 福建星网视易信息系统有限公司 | 一种音频相似度的确定方法及终端 |
CN111383620B (zh) * | 2018-12-29 | 2022-10-11 | 广州市百果园信息技术有限公司 | 一种音频的修正方法、装置、设备及存储介质 |
CN111383620A (zh) * | 2018-12-29 | 2020-07-07 | 广州市百果园信息技术有限公司 | 一种音频的修正方法、装置、设备及存储介质 |
CN109817192A (zh) * | 2019-01-21 | 2019-05-28 | 深圳蜜蜂云科技有限公司 | 一种智能陪练方法 |
CN109979488A (zh) * | 2019-03-14 | 2019-07-05 | 浙江大学 | 基于重音分析的人声转乐谱系统 |
CN109978030A (zh) * | 2019-03-15 | 2019-07-05 | 北京和弦佳佳人工智能科技有限公司 | 应用于演奏的序列对齐方法和装置 |
CN111680187B (zh) * | 2020-05-26 | 2023-11-24 | 平安科技(深圳)有限公司 | 乐谱跟随路径的确定方法、装置、电子设备及存储介质 |
WO2021114815A1 (zh) * | 2020-05-26 | 2021-06-17 | 平安科技(深圳)有限公司 | 乐谱跟随路径的确定方法、装置、电子设备及存储介质 |
CN111680187A (zh) * | 2020-05-26 | 2020-09-18 | 平安科技(深圳)有限公司 | 乐谱跟随路径的确定方法、装置、电子设备及存储介质 |
CN112420071A (zh) * | 2020-11-09 | 2021-02-26 | 上海交通大学 | 一种基于恒q变换的复调电子琴音乐音符识方法 |
CN113593502A (zh) * | 2021-07-26 | 2021-11-02 | 深圳芒果未来教育科技有限公司 | 一种基于音视频演奏示范的交互式乐谱展示方法及系统 |
CN113593502B (zh) * | 2021-07-26 | 2024-04-30 | 深圳市芒果未来科技有限公司 | 一种基于音视频演奏示范的交互式乐谱展示方法及系统 |
WO2023079419A1 (en) * | 2021-11-03 | 2023-05-11 | Sphereo Sound Ltd. | Aligning digital note files with audio |
CN114758560A (zh) * | 2022-03-30 | 2022-07-15 | 厦门大学 | 一种基于动态时间规整的哼唱音准评价方法 |
CN114758560B (zh) * | 2022-03-30 | 2023-06-06 | 厦门大学 | 一种基于动态时间规整的哼唱音准评价方法 |
CN115881065A (zh) * | 2022-11-29 | 2023-03-31 | 广州珠江艾茉森数码乐器股份有限公司 | 一种智能钢琴录音系统及方法 |
CN115881065B (zh) * | 2022-11-29 | 2023-08-18 | 广州珠江艾茉森数码乐器股份有限公司 | 一种智能钢琴录音系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103354092B (zh) | 2016-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103354092B (zh) | 一种带检错功能的音频乐谱比对方法 | |
Ryynänen et al. | Transcription of the Singing Melody in Polyphonic Music. | |
Zhang | Automatic singer identification | |
Basaran et al. | Main melody extraction with source-filter NMF and CRNN | |
CN103177722B (zh) | 一种基于音色相似度的歌曲检索方法 | |
CN102723079B (zh) | 基于稀疏表示的音乐和弦自动识别方法 | |
Salamon et al. | A multipitch approach to tonic identification in indian classical music | |
CN109545191B (zh) | 一种歌曲中人声起始位置的实时检测方法 | |
Lagrange et al. | Normalized cuts for predominant melodic source separation | |
Maddage et al. | Singer identification based on vocal and instrumental models | |
Toh et al. | Multiple-Feature Fusion Based Onset Detection for Solo Singing Voice. | |
CN105976803B (zh) | 一种结合乐谱的音符切分方法 | |
Yamamoto et al. | Investigating time-frequency representations for audio feature extraction in singing technique classification | |
Maddage et al. | Singing voice detection using twice-iterated composite fourier transform | |
CN102664018B (zh) | 基于径向基函数统计模型的演唱评分方法 | |
CN109410968B (zh) | 一种高效的歌曲中人声起始位置检测方法 | |
Waghmare et al. | Analyzing acoustics of indian music audio signal using timbre and pitch features for raga identification | |
Montecchio et al. | A Discrete Filter Bank Approach to Audio to Score Matching for Polyphonic Music. | |
Katte et al. | Techniques for Indian classical raga identification-a survey | |
CN111976329B (zh) | 一种乐器弹奏中的五线谱自动跟随方法及自动跟踪系统 | |
CN112270929B (zh) | 一种歌曲识别的方法及装置 | |
Sridhar et al. | Music information retrieval of carnatic songs based on carnatic music singer identification | |
Tang et al. | Melody Extraction from Polyphonic Audio of Western Opera: A Method based on Detection of the Singer's Formant. | |
Joder et al. | Optimizing the mapping from a symbolic to an audio representation for music-to-score alignment | |
Zhao et al. | Piano accompaniment features and performance processing based on music feature matching algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20201130 Address after: No.11, no.13-956-960, 961-1, - 2, Nanma Road, Heping District, Tianjin Patentee after: TIANJIN HUAGUOREN CARTOON CREATION Co.,Ltd. Address before: 300072 Tianjin City, Nankai District Wei Jin Road No. 92 Patentee before: Tianjin University |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160120 |