CN110600057B - 演奏声音信息和曲谱信息比对方法及比对系统 - Google Patents
演奏声音信息和曲谱信息比对方法及比对系统 Download PDFInfo
- Publication number
- CN110600057B CN110600057B CN201910806968.6A CN201910806968A CN110600057B CN 110600057 B CN110600057 B CN 110600057B CN 201910806968 A CN201910806968 A CN 201910806968A CN 110600057 B CN110600057 B CN 110600057B
- Authority
- CN
- China
- Prior art keywords
- pitch
- matrix
- information
- comparison
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 116
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 239000011295 pitch Substances 0.000 claims description 121
- 230000006870 function Effects 0.000 claims description 28
- 238000003780 insertion Methods 0.000 claims description 10
- 230000037431 insertion Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 150000001875 compounds Chemical group 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract description 56
- 230000033764 rhythmic process Effects 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000012217 deletion Methods 0.000 description 6
- 230000037430 deletion Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 241001269524 Dura Species 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
- G10L2025/906—Pitch tracking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开了演奏声音信息和曲谱信息比对方法及比对系统，主要解决现有技术中存在的现有评价系统和方法机械化地要求实际演奏数据与标准演奏数据的匹配，忽视了实际演奏过程的不流畅性，缺少例如音区错误、抢拍、拖拍、节奏不稳等细致技术点的评价，从而造成演奏评价较低的问题。本发明通过先获取演奏声音信息和曲谱信息；然后将演奏声音信息和曲谱信息分别进行编码转换生成矩阵；然后将矩阵输入对应的比对函数中生成比对矩阵；然后根据比对矩阵进行路径规划，生产最优路径；然后根据最优比对路径的位置索引将最先生成的矩阵进行切分；最后根据评价词典进行评价并输出评价语。通过上述方案，本发明达到了能进行细节点评的目的。
Description
技术领域
本发明涉及音乐分析技术领域，具体地说，是涉及演奏声音信息和曲谱信息比对方法及比对系统。
背景技术
目前，对于乐音乐器的演奏评价方法通常是基于在电子乐器上附加评价演奏状态的系统；该方法和系统主要将标准演奏数据存储在电子乐器或电子乐器元配件中，通过比较标准演奏数据和实际的演奏数据进行演奏评价。
上述方法在适用于音乐教育中的乐器演奏训练和演奏评价中存在诸多障碍，主要表现为：高度依赖电子乐器或电子乐器元配件，但音乐教育大部分采用非电子乐器；乐器学习者在进行演奏训练的过程中，需要逐步提高演奏技术，通常很难直接达到标准演奏数据的要求，而上述方法通常机械化地要求实际演奏数据与标准演奏数据的匹配，忽视了实际演奏过程的不流畅性，从而造成演奏评价较低；乐器学习者进行演奏训练的核心目的是提高演奏技术，而上述评价方法通常仅仅涉及总体评价，缺少例如音区错误、抢拍、拖拍、节奏不稳等细致技术点的评价，采用上述技术，不能很好地辅助乐器学习者的演奏训练。
发明内容
本发明的目的在于提供演奏声音信息和曲谱信息比对方法及比对系统，以解决现有评价系统和方法机械化地要求实际演奏数据与标准演奏数据的匹配，忽视了实际演奏过程的不流畅性，缺少例如音区错误、抢拍、拖拍、节奏不稳等细致技术点的评价，从而造成演奏评价较低的问题。
为了解决上述问题，本发明提供如下技术方案：
一种演奏音高信息与曲谱音高信息最优比对路径的获得方法包括以下步骤：
(A1)获取演奏声音音高信息和曲谱音高信息；
(A2)将(A1)演奏声音音高信息和曲谱音高信息分别进行编码转换，生成音高矩阵；
(A3)将(A2)的音高矩阵输入音高比对函数生成音高比对矩阵；
(A4)将(A3)的音高比对矩阵进行路径规划，生成音高最小得分路径作为最优路径。
具体地，步骤(A1)中的曲谱音高信息取自可扩展标记格式(XML/MusicXML)的曲谱文件中的<NOTE<PITCH<STEPS><OCTAVE>>>标记的信息。
具体地，步骤(A2)中将音高信息编码转换为128*n的二维布尔矩阵，列坐标代表音高序列中每个演奏音符的位置索引，行坐标代表科学记谱法中绝对音高C-1至G9的128个半音音符的位置索引，矩阵中元素值用0或1表示，0代表不演奏对应的音符，1代表演奏对应的音符。
具体地，步骤(A3)中的音高比对函数为复合函数，包括音高打分函数和音高匹配函数；
音高打分函数为：
音高匹配函数为：
其中，m1＜g1≤u1′；
aj代表步骤(A2)中将声音音高信息转换成音高矩阵的列向量；
xi代表步骤(A2)中将曲谱音高信息转换成音高矩阵的列向量；
曲谱音高矩阵的第i列和声音音高矩阵第j列之间满足表达式xi＝xi*aj，则判断二者匹配，将打分矩阵的(i+1，j+1)位置赋值为匹配得分m1，反之则为不匹配，将打分矩阵的(i+1，j+1)位置赋值为匹配得分u1；
g1代表为在音高矩阵中从左往右和从上往下过程中，每移动一位代表引入一个插入操作，插入得分为g1。
具体地，步骤(A4)中的路径规划为基于位置索引的最小得分路径动态规划，其具体过程为通过位置索引变换将曲谱音符和声音音符位置索引整体偏移1个正单位，用0代表插入或删除，根据最小得分索引函数生成最优路径的位置索引(r，c)序列；
其中，i为曲谱音高矩阵的第i列；j为声音音高矩阵的第j列；令R序列为所有r的集合；C序列为所有c的集合。
具体地，一种演奏时值信息与曲谱时值信息最优比对路径的获得方法包括以下步骤：
(B1)获取演奏声音时值信息和曲谱时值信息；
(B2)将(B1)演奏声音时值信息和曲谱时值信息分别进行编码转换，生成时值矩阵；
(B3)将(B2)的时值矩阵输入时值比对函数生成时值比对矩阵；
(B4)根据(B3)的时值比对矩阵进行路径规划，生成时值最小方差路径作为最优路径。
具体地，步骤(B1)中的曲谱时值信息取自可扩展标记格式(XML/MusicXML)的曲谱文件中的<NOTE<DURATION>>标记的信息。
具体地，步骤(B2)中将时值信息编码转换为1*n的二维数值矩阵，列坐标代表时值序列中每个演奏音符的位置索引，矩阵中元素值用整型数值表示，代表时间帧数。
具体地，步骤(B3)中的时值比对函数为：
其中，曲谱时值矩阵为
声音时值矩阵为B＝b1b2b3...bn2，其中yi代表曲谱时值矩阵第i列列向量，bj代表声音时值矩阵第j列的列向量；DURA_S为时值比对矩阵。
具体地，步骤(B4)中的路径规划为基于位置索引的最小方差路径动态规划，其具体过程为对时值比对矩阵进行有向图遍历，获取从DURA_S(0，0)到
的所有遍历路径，计算每条路径的方差，得到最小方差路径，并将最小方差路径转换为基于位置索引的(r，c)序列，其中0代表插入或删除，通过位置索引变换将曲谱音符和声音音符位置索引整体偏移1个正单位；
一种演奏声音信息和曲谱信息的比对方法包括以下步骤：
(C1)根据演奏音高信息与曲谱音高信息最优比对路径的获得方法获取音高信息的最优比对路径；
(C2)根据演奏时值信息与曲谱时值信息最优比对路径的获得方法获取时值信息的最优比对路径；
(C3)根据步骤(C1)(C2)的比对路径得到最优比对路径；
(C4)根据步骤(C3)的最优比对路径的位置索引将(B2)的音高矩阵、时值矩阵进行切分，生成小节、乐句、段落矩阵；
(C5)预先构建不同层次的评价规则，生成评价词典；
(C6)根据(C4)生成的不同矩阵和(C5)的评价词典，生成不同矩阵的评价词。
具体地，步骤(C5)的评价词词典包括音高、节奏、流畅度三个维度，音符、乐句、乐段、乐曲四个评价层次的评价词；评价词包括：音区错误、抢拍、拖拍、节奏不稳、临时变音记号错误、调号错误、错音、抢拍、拖拍、节奏不稳、跨小节不连贯、乐句不连贯。
具体地，步骤(C3)的具体过程为：路径排序值rank＝P*W，P为属性序列，W为权重序列，rank最大值对应的路径即为最优路径；将步骤(A4)中的r，c分别添加至序列R和C中，属性序列P的八个属性值依次为序列R中元素0的数量比例、序列C中元素0的数量比例、序列R中元素0的相对起始位置、序列C中元素0的相对起始位置、序列R中元素0的相对结束位置、序列C中元素0的相对结束位置、序列R中元素0的最大连续数量比例、序列C中元素0的最大连续数量比例，权重序列W＝w1w2w3W4w5 w6w7w8。
具体地，步骤(C4)的具体过程为：切分为根据可扩展标记(XML/MusicXML)的曲谱文件<MEASURE>标记的位置索引、预先构建的乐句位置索引和段落位置索引将(C3)中生成的最优比对路径的位置索引进行匹配，生成切分标记，根据切分标记，将(A2)和(B2)中的矩阵分别切分为小节、乐句、段落矩阵。
一种演奏声音信息和曲谱信息的比对系统包括依次连接的信息提取模块、向量转换模块、比对矩阵计算模块、路径规划模块、演奏评价模块。
具体地，信息提取模块包括音频接收模块和存储的乐谱；音频接收模块和存储的乐谱分别与时值信息提取模块及音高信息提取模块连接；
向量转换模块包括分别与时值信息提取模块和音高信息提取模块连接的时值向量转换模块和音高向量转换模块；
比对矩阵计算模块包括分别与时值向量转换模块和音高向量转换模块连接的时值比对矩阵计算模块和音高比对矩阵计算模块；
路径规划模块包括排序模块、分别与时值比对矩阵计算模块和音高比对矩阵计算模块连接的时值最小方差路径规划模块和音高最小得分路径规划模块；音高最小得分路径规划模块依次与时值最小方差路径规划模块和排序模块连接；
演奏评价模块包括与排序模块连接的切分模块和评价模块；
时值信息提取模块和音高信息提取模块分别用于提取曲谱和音频接收模块接收声音的时值信息和音高信息；
时值向量转换模块和音高向量转换模块分别用于将曲谱和声音中的音高信息、时值信息转换为对应编码格式的二维矩阵；
时值比对矩阵计算模块和音高比对矩阵计算模块分别用于根据比对函数计算音高比对矩阵和时值比对矩阵；
时值最小方差路径规划模块和音高最小得分路径规划模块用于比对矩阵进行路径动态规划和排序得到最优路径；
切分模块用于将音高矩阵和时值矩阵切分为小节、乐句和段落矩阵。
具体地，排序模块中排序值为属性序列P与权重序列W的乘积，其中属性序列P的八个属性值依次为序列R中元素0的数量比例、序列C中元素0的数量比例、序列R中元素0的相对起始位置、序列C中元素0的相对起始位置、序列R中元素0的相对结束位置、序列C中元素0的相对结束位置、序列R中元素0的最大连续数量比例、序列C中元素0的最大连续数量比例，权重序列W＝w1w2w3w4w5 w6w7w8。
一种计算机设备包括处理器和存储器，存储器中存储有计算机程序，计算机程序在被处理器加载并执行时实现所述的获得方法。
一种计算机可读介质计算机可读介质中存储有计算机程序，计算机程序由处理器加载并执行以实现所述的获得方法。
与现有技术相比，本发明具有以下有益效果：
(1)本发明通过声音识别分析的方式，脱离了对电子乐器和电子乐器元配件的依赖，扩大了乐器演奏评价的范围；充分考虑了乐器学习者在演奏训练过程中的不流畅性，通过比对算法对实际演奏数据和标准演奏数据进行匹配，评价结果更准确和灵活；构建评价词字典，评价层次更丰富，对演奏技术的评价不再局限于总体评价，比如总体打分，评价颗粒度可以达到单个演奏音符演奏技术点的评价，从而更好地辅助演奏训练。
(2)本发明通过提出在位置索引的基础上构造通过编码转换成矩阵、基于列向量(位置索引向量)的比对函数和基于位置索引的动态规划算法，可用于实现d维(d≥2)信息比对并生成基于位置索引的比对路径，从一维字符串比对拓展到多维矩阵比对。
(3)本发明采用演奏声音作为输入源，消除了目前演奏评价系统中对于电子乐器和电子乐器元件的依赖；针对乐器学习者在演奏训练过程中频繁出现的回弹、漏音等不流畅问题，引入“插入”和“删除”等比对概念，通过比对算法识别乐器学习者实际演奏；本发明通过构建音符、小节、乐句、段落、曲目等五个层次和音高、时值、流畅、强弱等不同演奏维度的评价规则和评价词字典，以实现多层次多维度的演奏评价。
附图说明
图1为比对系统的结构框图。
图2为音高向量矩阵的编码方式的示例。
图3为小节和乐句切分的示例。
图4为评价词典的示例。
具体实施方式
下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。
如图1至图4所示，本发明中音频接收模块用于接收演奏声音；本发明通过先获取演奏声音信息和曲谱信息；然后将演奏声音信息和曲谱信息分别进行编码转换生成矩阵；然后将矩阵输入对应的比对函数中生成比对矩阵；然后根据比对矩阵进行路径规划，生产最优路径；然后根据最优比对路径的位置索引将最先生成的矩阵进行切分，生产小节、乐句、段落矩阵；最后根据评价词典对小节、乐句、段落矩阵进行评价并输出评价语；具体实施过程如下：
【M111】音高信息提取模块提取并存储曲谱中的音高信息，音高信息取自可扩展标记格式(XML/MusicXML)的曲谱文件中的<NOTE<PITCH<STEPS><OCTAVE>>>标记的信息。
【M112】音高信息提取模块提取并存储声音中的音高信息，音高信息提取引用专利申请号为：201910669985.X，专利名称为：一种音乐分析数据集构建方法及基于其的音高、时值提取方法中的提取方法，得到音高信息。
【M121】时值信息提取模块提取并存储曲谱中的时值信息，时值信息取自可扩展标记格式(XML/MusicXML)的曲谱文件中的<NOTE<DURATION>>标记的信息。
【M122】时值信息提取模块提取并存储声音中的时值信息，时值信息提取引用专利申请号为：201910669985.X，专利名称为：一种音乐分析数据集构建方法及基于其的音高、时值提取方法中的提取方法，得到时值信息。
【M211】将【M111】中的音高信息转换为(128*n1)二维布尔向量矩阵。其中列坐标代表音高序列中每个演奏音符的位置索引，行坐标代表代表科学记谱法中绝对音高C-1至G9的128个半音音符，矩阵中每个位置的值用0/1表示，0代表不演奏对应的音符，1代表演奏对应的音符。
【M212】将【M112】中的音高信息转换为(128*n2)二维布尔向量矩阵；二维布尔向量矩阵的表示方法同【M211】。
【M221】将【M121】中的时值信息转换为(1*n1)二维数值向量矩阵；其中列坐标代表音高序列中每个演奏音符的位置索引。
【M223】将【M122】中的时值信息转换为(1*n2)二维数值向量矩阵；二维数值向量矩阵的表示方法同【M221】。
【M311】构建音高得分矩阵PITCH_S，初始化赋值为0，形状为((n1+1)*(n2+1))。
【M312】将【M211】【M212】中的矩阵输入，根据打分函数更新【M311】得到的得分矩阵S；其中打分函数描述如下。
设曲谱音高矩阵为
声音音高矩阵为
其中xi表曲谱音高矩阵第i列列向量，aj代表声音音高矩阵第j列的列向量，则：
【M313】构建音高比对矩阵PITCH_M，初始化赋值为0，形状为((n1+1)*(n2+1))。
【M314】以【M312】的得分矩阵为输入，根据匹配函数更新【M313】得到的音高比对矩阵PITCH_M。其中的匹配函数描述如下：
【M321】构建时值比对矩阵DURA_M，初始化赋值为0，形状为((n1+1)*(n2+1))。
【M322】将【M221】【M222】中的矩阵输入，根据比对函数更新【M321】得到的时值比对矩阵DURA_M。其中比对函数描述如下：
设曲谱时值矩阵为
声音时值矩阵为B＝b1b2b3...bn2，其中yi代表曲谱时值矩阵第i列列向量，bj代表声音时值矩阵第j列的列向量，则：
【M411】计算得到【M314】的音高比对矩阵中最佳得分路径，最佳得分路径的数量大于等于1；其计算规则描述如下：
对音高比对矩阵PITCH_M中的元素进行遍历，根据迭代与赋值规则生成r，c，并将r，c分别添加至序列R和C中，迭代与赋值规则如下，其中0代表插入或删除，用于表示实际演奏过程中的多演奏或少演奏音符：
将【M411】的多条最佳得分路径和【M322】的曲谱时值矩阵输入，计算每条路径的时值方差，选取方差最小的路径记为最小方差路径，其中最小方差路径的数量大于等于1：
【M431】分别获取【M421】中多条最小方差路径的八个属性值记为P，八个属性值依次为序列R中元素0的数量比例、序列C中元素0的数量比例、序列R中元素0的相对起始位置、序列C中元素0的相对起始位置、序列R中元素0的相对结束位置、序列C中元素0的相对结束位置、序列R中元素0的最大连续数量比例、序列C中元素0的最大连续数量比例。
【M432】将【M431】的八个属性值分别输入排序模型排序，得到最优路径；其中排序模型为因为最优路径中的元素0的分布服从一定规律，计算路径排序值rank＝P*W，rank最大值对应的路径即为最优路径；W为权重序列W＝w1w2w3w4w5w6w7w8。
【M511】根据最优路径序列将向量矩阵切分成小节向量矩阵，其切分规则为，从可扩展标记格式的曲谱文件<MEASURE>标记提取小节起始音符位置索引，并与最优比对路径的位置索引进行匹配，生成小节切分标记，根据小节切分标记，将音高向量矩阵和时值向量矩阵分别切分为小节音高向量矩阵、小节时值向量矩阵。
【M512】根据最优路径序列将向量矩阵切分成乐句向量矩阵，其切分规则为，从预先构建的乐句位置索引提取乐句起始音符位置索引，并与最优比对路径的位置索引进行匹配，生成乐句切分标记，根据乐句切分标记，将音高向量矩阵和时值向量矩阵分别切分为乐句音高向量矩阵、乐句时值向量矩阵；
【M513】根据最优路径序列将向量矩阵切分成段落向量矩阵，其切分规则为，从预先构建的段落位置索引提取段落起始音符位置索引，并与最优比对路径的位置索引进行匹配，生成段落切分标记，根据段落切分标记，将音高向量矩阵和时值向量矩阵分别切分为段落音高向量矩阵、段落时值向量矩阵。
【M521】根据评价规则对【M513】各个数据元组进行评价，输出对应位置索引。
【M522】从预先构建的评价词词典匹配选取评价词，输出对应评价词。其中评价词词典包括音高、时值、流畅性等多个维度的评价词。
本发明获取演奏声音信息和标准曲谱信息；分别将演奏声音信息和标准曲谱信息编码转换为向量矩阵；分别将上述向量矩阵输入比对函数生成比对矩阵；采用动态规划算法、排序模型等生成最优比对路径；演奏声音信息与曲谱信息的评价包括：构建评价词字典；将最优比对路径切分为多层次评价序列；根据评价规则生成不同层次序列的评价信息。
路径规划具体过程为通过位置索引变换将曲谱音符和声音音符位置索引整体偏移1个正单位，用0代表插入或删除；如本来是从0-8，现在先整体变换成1-9之后，如果需要插入或删除就引入0，比如变换后的结果是102345006789，代表第一个位置后面需要插入空格，第5个位置后面插入2个空格。
本发明采用演奏声音作为输入源，消除了目前演奏评价系统中对于电子乐器和电子乐器元件的依赖；针对乐器学习者在演奏训练过程中频繁出现的回弹、漏音等不流畅问题，引入“插入”和“删除”等比对概念，通过比对算法识别乐器学习者实际演奏；本发明通过构建音符、小节、乐句、段落、曲目等五个层次和音高、时值、流畅、强弱等不同演奏维度的评价规则和评价词字典，以实现多层次多维度的演奏评价。
按照上述实施例，便可很好地实现本发明。值得说明的是，基于上述结构设计的前提下，为解决同样的技术问题，即使在本发明上做出的一些无实质性的改动或润色，所采用的技术方案的实质仍然与本发明一样，故其也应当在本发明的保护范围内。
Claims (6)
1.一种演奏音高信息与曲谱音高信息最优比对路径的获得方法，其特征在于，包括以下步骤：
(A1)获取演奏声音音高信息和曲谱音高信息；
(A2)将(A1)演奏声音音高信息和曲谱音高信息分别进行编码转换，生成音高矩阵；
(A3)将(A2)的音高矩阵输入音高比对函数生成音高比对矩阵；
(A4)将(A3)的音高比对矩阵进行路径规划，生成音高最小得分路径作为最优路径；
步骤(A3)中的音高比对函数为复合函数，包括音高打分函数和音高匹配函数；
音高打分函数为：
音高匹配函数为：
其中，m1＜g1≤u1；
aj代表步骤(A2)中将声音音高信息转换成音高矩阵的列向量；
xi代表步骤(A2)中将曲谱音高信息转换成音高矩阵的列向量；
曲谱音高矩阵的第i列和声音音高矩阵第j列之间满足表达式xi＝xi＊aj，则判断二者匹配，将打分矩阵的(i+1，j+1)位置赋值为匹配得分m1，反之则为不匹配，将打分矩阵的(i+1，j+1)位置赋值为匹配得分u1；
g1代表为在音高矩阵中从左往右和从上往下过程中，每移动一位代表引入一个插入操作，插入得分为g1。
2.根据权利要求1所述的获得方法，其特征在于，步骤(A1)中的曲谱音高信息取自可扩展标记格式的曲谱文件中的<NOTE<PITCH<STEPS><OCTAVE>>>标记的信息。
3.根据权利要求1所述的获得方法，其特征在于，步骤(A2)中将音高信息编码转换为128＊n的二维布尔矩阵，列坐标代表音高序列中每个演奏音符的位置索引，行坐标代表科学记谱法中绝对音高C-1至G9的128个半音音符的位置索引，矩阵中元素值用0或1表示，0代表不演奏对应的音符，1代表演奏对应的音符。
4.根据权利要求3所述的获得方法，其特征在于，步骤(A4)中的路径规划为基于位置索引的最小得分路径动态规划，其具体过程为通过位置索引变换将曲谱音符和声音音符位置索引整体偏移1个正单位，用0代表插入或删除，根据最小得分索引函数生成最优路径的位置索引(r，c)序列；
其中，i为曲谱音高矩阵的第i列；j为声音音高矩阵的第j列；令R序列为所有r的集合；C序列为所有c的集合。
5.一种计算机设备，其特征在于，包括处理器和存储器，存储器中存储有计算机程序，计算机程序在被处理器加载并执行时实现如权利要求1至4任一项所述的获得方法。
6.一种计算机可读介质，其特征在于，计算机可读介质中存储有计算机程序，计算机程序由处理器加载并执行以实现如权利要求1至4任一项所述的获得方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910806968.6A CN110600057B (zh) | 2019-09-02 | 2019-09-02 | 演奏声音信息和曲谱信息比对方法及比对系统 |
| CN202111041068.0A CN113763991B (zh) | 2019-09-02 | 2019-09-02 | 一种演奏声音信息和曲谱信息的比对方法及系统 |
| CN202111036222.5A CN113744764B (zh) | 2019-09-02 | 2019-09-02 | 一种演奏时值信息与曲谱时值信息最优比对路径的获得方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910806968.6A CN110600057B (zh) | 2019-09-02 | 2019-09-02 | 演奏声音信息和曲谱信息比对方法及比对系统 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111036222.5A Division CN113744764B (zh) | 2019-09-02 | 2019-09-02 | 一种演奏时值信息与曲谱时值信息最优比对路径的获得方法 |
| CN202111041068.0A Division CN113763991B (zh) | 2019-09-02 | 2019-09-02 | 一种演奏声音信息和曲谱信息的比对方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110600057A CN110600057A (zh) | 2019-12-20 |
| CN110600057B true CN110600057B (zh) | 2021-12-10 |
Family
ID=68856284
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111036222.5A Active CN113744764B (zh) | 2019-09-02 | 2019-09-02 | 一种演奏时值信息与曲谱时值信息最优比对路径的获得方法 |
| CN201910806968.6A Active CN110600057B (zh) | 2019-09-02 | 2019-09-02 | 演奏声音信息和曲谱信息比对方法及比对系统 |
| CN202111041068.0A Active CN113763991B (zh) | 2019-09-02 | 2019-09-02 | 一种演奏声音信息和曲谱信息的比对方法及系统 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111036222.5A Active CN113744764B (zh) | 2019-09-02 | 2019-09-02 | 一种演奏时值信息与曲谱时值信息最优比对路径的获得方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111041068.0A Active CN113763991B (zh) | 2019-09-02 | 2019-09-02 | 一种演奏声音信息和曲谱信息的比对方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (3) | CN113744764B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744764B (zh) * | 2019-09-02 | 2024-04-26 | 深圳市平均律科技有限公司 | 一种演奏时值信息与曲谱时值信息最优比对路径的获得方法 |
| CN113643676A (zh) * | 2020-04-27 | 2021-11-12 | 汲趣艺术科技(上海)有限公司 | 一种演奏评价系统 |
| CN111554257A (zh) * | 2020-05-07 | 2020-08-18 | 南京邮电大学 | 一种传统中国民族乐器的音符比对系统及其使用方法 |
| CN112258932B (zh) * | 2020-11-04 | 2022-07-19 | 深圳市平均律科技有限公司 | 一种乐器演奏辅助练习装置、方法及系统 |
| CN112836080B (zh) * | 2021-02-05 | 2023-09-12 | 小叶子（北京）科技有限公司 | 一种通过音频查找曲谱的方法及系统 |
| CN114417915B (zh) * | 2021-12-29 | 2024-08-13 | 星星趣弹(苏州)科技有限公司 | 一种用于翻谱的二维序列相似度评估系统 |
| CN116070077A (zh) * | 2022-12-29 | 2023-05-05 | 江苏理工学院 | 乐曲自动编曲算法的编曲效果评价方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010134290A (ja) * | 2008-12-05 | 2010-06-17 | Sony Corp | 情報処理装置、メロディーライン抽出方法、ベースライン抽出方法、及びプログラム |
| WO2010140166A2 (en) * | 2009-06-02 | 2010-12-09 | Indian Institute Of Technology, Bombay | A system and method for scoring a singing voice |
| CN103823867A (zh) * | 2014-02-26 | 2014-05-28 | 深圳大学 | 一种基于音符建模的哼唱式音乐检索方法及系统 |
| CN103871426A (zh) * | 2012-12-13 | 2014-06-18 | 上海八方视界网络科技有限公司 | 对比用户音频与原唱音频相似度的方法及其系统 |
| CN105070298A (zh) * | 2015-07-20 | 2015-11-18 | 科大讯飞股份有限公司 | 复调乐器的评分方法和装置 |
| CN107818796A (zh) * | 2017-11-16 | 2018-03-20 | 重庆师范大学 | 一种音乐考试评定方法及系统 |
| CN110070847A (zh) * | 2019-03-28 | 2019-07-30 | 深圳芒果未来教育科技有限公司 | 乐音测评方法及相关产品 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5952597A (en) * | 1996-10-25 | 1999-09-14 | Timewarp Technologies, Ltd. | Method and apparatus for real-time correlation of a performance to a musical score |
| US20020116196A1 (en) * | 1998-11-12 | 2002-08-22 | Tran Bao Q. | Speech recognizer |
| KR100658219B1 (ko) * | 2001-06-25 | 2006-12-15 | 어뮤즈텍(주) | 동기정보에 의한 연주음 표시 방법 및 장치 |
| US8367921B2 (en) * | 2004-10-22 | 2013-02-05 | Starplayit Pty Ltd | Method and system for assessing a musical performance |
| US7750224B1 (en) * | 2007-08-09 | 2010-07-06 | Neocraft Ltd. | Musical composition user interface representation |
| CN103824565B (zh) * | 2014-02-26 | 2017-02-15 | 曾新 | 一种基于音符和时值建模的哼唱识谱方法及系统 |
| JP2016184112A (ja) * | 2015-03-26 | 2016-10-20 | ヤマハ株式会社 | アンサンブル評価装置 |
| CN106228996B (zh) * | 2016-07-15 | 2019-08-02 | 黄河科技学院 | 声乐学习电子辅助发音系统 |
| CN106228961A (zh) * | 2016-07-21 | 2016-12-14 | 赵洪云 | 演奏评价方法及装置 |
| CN106340286B (zh) * | 2016-09-27 | 2020-05-19 | 华中科技大学 | 一种通用的实时乐器演奏评价系统 |
| CN107424476A (zh) * | 2017-08-01 | 2017-12-01 | 上海破破飞网络科技有限公司 | 一种器乐陪练系统 |
| CN107767847B (zh) * | 2017-09-29 | 2020-10-27 | 小叶子（北京）科技有限公司 | 一种智能钢琴演奏测评方法及系统 |
| CN108711336B (zh) * | 2018-04-27 | 2020-05-12 | 山东英才学院 | 一种钢琴演奏评分方法、装置、计算机设备及存储介质 |
| CN109448682A (zh) * | 2018-12-04 | 2019-03-08 | 无锡市思娱文化科技有限公司 | 一种实现话筒与点唱机互动的系统及其使用方法 |
| CN113744764B (zh) * | 2019-09-02 | 2024-04-26 | 深圳市平均律科技有限公司 | 一种演奏时值信息与曲谱时值信息最优比对路径的获得方法 |
-
2019
- 2019-09-02 CN CN202111036222.5A patent/CN113744764B/zh active Active
- 2019-09-02 CN CN201910806968.6A patent/CN110600057B/zh active Active
- 2019-09-02 CN CN202111041068.0A patent/CN113763991B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010134290A (ja) * | 2008-12-05 | 2010-06-17 | Sony Corp | 情報処理装置、メロディーライン抽出方法、ベースライン抽出方法、及びプログラム |
| WO2010140166A2 (en) * | 2009-06-02 | 2010-12-09 | Indian Institute Of Technology, Bombay | A system and method for scoring a singing voice |
| CN103871426A (zh) * | 2012-12-13 | 2014-06-18 | 上海八方视界网络科技有限公司 | 对比用户音频与原唱音频相似度的方法及其系统 |
| CN103823867A (zh) * | 2014-02-26 | 2014-05-28 | 深圳大学 | 一种基于音符建模的哼唱式音乐检索方法及系统 |
| CN105070298A (zh) * | 2015-07-20 | 2015-11-18 | 科大讯飞股份有限公司 | 复调乐器的评分方法和装置 |
| CN107818796A (zh) * | 2017-11-16 | 2018-03-20 | 重庆师范大学 | 一种音乐考试评定方法及系统 |
| CN110070847A (zh) * | 2019-03-28 | 2019-07-30 | 深圳芒果未来教育科技有限公司 | 乐音测评方法及相关产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763991A (zh) | 2021-12-07 |
| CN113744764A (zh) | 2021-12-03 |
| CN110600057A (zh) | 2019-12-20 |
| CN113763991B (zh) | 2024-04-19 |
| CN113744764B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110600057B (zh) | 演奏声音信息和曲谱信息比对方法及比对系统 | |
| CN111241294B (zh) | 基于依赖解析和关键词的图卷积网络的关系抽取方法 | |
| US7035789B2 (en) | Supervised automatic text generation based on word classes for language modeling | |
| CN110147451B (zh) | 一种基于知识图谱的对话命令理解方法 | |
| CN111630590B (zh) | 生成音乐数据的方法 | |
| CN107993636B (zh) | 基于递归神经网络的乐谱建模与生成方法 | |
| CN106875929B (zh) | 一种音乐旋律转化方法及系统 | |
| CN110837736B (zh) | 一种基于字结构的中文医疗记录的命名实体识别方法 | |
| CN114021573B (zh) | 一种自然语言处理方法、装置、设备及可读存储介质 | |
| CN115293139A (zh) | 一种语音转写文本纠错模型的训练方法和计算机设备 | |
| CN113010730A (zh) | 音乐文件生成方法、装置、设备及存储介质 | |
| CN114021572B (zh) | 一种自然语言处理方法、装置、设备及可读存储介质 | |
| Lou et al. | Communicating with sentences: A multi-word naming game model | |
| US10431191B2 (en) | Method and apparatus for analyzing characteristics of music information | |
| CN109102006A (zh) | 一种基于音频特征诱导信息增强的音乐自动标记方法 | |
| CN110516109B (zh) | 音乐标签的关联方法、装置及存储介质 | |
| CN114417824A (zh) | 基于依存句法预训练模型的篇章级关系抽取方法及系统 | |
| JPH06274157A (ja) | 音符列間類似度計算装置 | |
| Perkins | Musical Phrase Segmentation via Grammatical Induction | |
| CN110781678B (zh) | 一种基于矩阵形式的文本表示方法 | |
| CN118762675A (zh) | 基于条件lstm-gan的古琴减字谱打谱方法和装置 | |
| JP2007101780A (ja) | 楽曲のタイムスパン木の自動分析方法、自動分析装置、プログラムおよび記録媒体 | |
| Freedman | Correlational Harmonic Metrics: Bridging Computational and Human Notions of Musical Harmony | |
| CN117807221A (zh) | 一种标签对齐的关键信息引导生成文本摘要方法 | |
| CN115391513A (zh) | 基于问题对匹配和问答对匹配的问答匹配方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |