CN115547280A - 一种乐器演奏评测方法和系统 - Google Patents

一种乐器演奏评测方法和系统 Download PDF

Info

Publication number
CN115547280A
CN115547280A CN202211227512.2A CN202211227512A CN115547280A CN 115547280 A CN115547280 A CN 115547280A CN 202211227512 A CN202211227512 A CN 202211227512A CN 115547280 A CN115547280 A CN 115547280A
Authority
CN
China
Prior art keywords
performance
note
playing
music
musical instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211227512.2A
Other languages
English (en)
Inventor
任时弘
贺思原
于阳
姚禹
李莹
白心玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tianxia Zaiwang Information Technology Co ltd
Original Assignee
Shanghai Tianxia Zaiwang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tianxia Zaiwang Information Technology Co ltd filed Critical Shanghai Tianxia Zaiwang Information Technology Co ltd
Priority to CN202211227512.2A priority Critical patent/CN115547280A/zh
Publication of CN115547280A publication Critical patent/CN115547280A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H5/00—Instruments in which the tones are generated by means of electronic generators
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G10L19/0216—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation using wavelet decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission

Abstract

本发明提供一种乐器演奏评测方法和系统，对演奏音频信号进行快速傅里叶变换得到该演奏音频信号的频域信号；把乐谱信息与该演奏音频信号的频域信号进行相似性比对，得到演奏失误音符集和演奏音频特征集；通过同一乐曲多种不同演奏的演奏失误音符集和演奏音频特征集以及与其对应的评分信息集构建训练样本数据集，使用训练样本数据集训练回归模型。本发明对乐曲多种不同演奏的演奏音频信号进行量化分析，再通过演奏失误音符集、演奏音频特征集以及与其对应的评分信息集构建训练样本数据集，训练回归模型后对实际乐曲演奏进行评测，能够实现在乐器演奏场景下的自动化评测，省时省力，很大程度上提升了乐器演奏评测的便利性。

Description

一种乐器演奏评测方法和系统
技术领域
本发明涉及音乐评测技术领域，特别是涉及一种乐器演奏评测方法和系统。
背景技术
音乐是由不同的音符通过有组织有规律的组合创造出来的艺术，以演唱或演奏的形式表达人们的思想感情，人们的日常生活中离不开音乐。随着科技的迅速发展，人们希望在乐器演奏过程中能通过计算机来进行自动化的识别评测。然而，在当下的乐器考级、乐器考试以及一些乐器比赛过程中，依然还是通过评委人工进行评测打分，费时费力。此外，如果不具备在现场演奏评分的条件下，就无法完成乐器考级以及乐器比赛的评测。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种乐器演奏评测方法和系统，用于解决现有技术中对乐器考级以及乐器比赛通过人工进行评测的问题。
为解决上述技术问题，本发明是按如下方式实现的：一种乐器演奏评测方法，所述方法包括以下步骤：
步骤1，获取乐曲多种不同演奏的演奏音频信号，对演奏音频信号分别进行快速傅里叶变换得到该演奏音频信号的频域信号；
步骤2，获取所述乐曲对应的乐谱信息，所述乐谱信息与该演奏音频信号的频域信号进行相似性比对，得到演奏失误音符集和演奏音频特征集；
步骤3，通过多种不同演奏的演奏失误音符集和演奏音频特征集以及与其对应的评分信息集构建训练样本数据集，使用所述训练样本数据集训练回归模型；
步骤4，通过已经训练完成的模型对实际乐曲演奏进行评测。
为了进一步解决本发明所要解决的技术问题，本发明提供的一种乐器演奏评测方法中，所述步骤1中，对演奏音频信号以PCM格式编码，在编码后使用窗函数。
为了进一步解决本发明所要解决的技术问题，本发明提供的一种乐器演奏评测方法中，所述乐谱信息与该演奏音频信号的频域信号通过DTW算法进行相似性比对。
为了进一步解决本发明所要解决的技术问题，本发明提供的一种乐器演奏评测方法中，所述演奏失误音符集包括多演奏的音符集、少演奏的音符集、演奏错的音符集。
为了进一步解决本发明所要解决的技术问题，本发明提供的一种乐器演奏评测方法中，所述演奏音频特征集包括音符起音间隔偏离度、音符力度偏离度和音符音色偏离度。
为了进一步解决本发明所要解决的技术问题，本发明提供的一种乐器演奏评测方法中，所述音符起音间隔偏离度的计算公式为：
Figure BDA0003880526480000021
其中，
Figure BDA0003880526480000022
为演奏时的音符起音间隔偏离度，
Figure BDA0003880526480000023
为前一个音符演奏的起奏点属性，
Figure BDA0003880526480000024
为后一个音符演奏的起奏点属性，
Figure BDA0003880526480000025
为与
Figure BDA0003880526480000026
路径对齐的乐谱音符的起奏点属性，
Figure BDA0003880526480000027
为与
Figure BDA0003880526480000028
路径对齐的乐谱音符的起奏点属性。
为了进一步解决本发明所要解决的技术问题，本发明提供的一种乐器演奏评测方法中，所述音符力度偏离度的计算公式为：
Figure BDA0003880526480000029
其中，
Figure BDA00038805264800000210
为演奏时的音符力度偏离度，
Figure BDA00038805264800000211
为演奏音符的力度属性，
Figure BDA00038805264800000212
为与
Figure BDA00038805264800000213
路径对齐到的乐谱音符的力度属性。
为了进一步解决本发明所要解决的技术问题，本发明提供的一种乐器演奏评测方法中，所述音符音色偏离度的计算公式为：
Figure BDA00038805264800000214
其中，
Figure BDA00038805264800000215
为演奏时的音符音色偏离度，
Figure BDA00038805264800000216
为演奏时的音符音色属性。
为了进一步解决本发明所要解决的技术问题，本发明提供的一种乐器演奏评测方法中，计算得到演奏时的音符音色属性包括以下步骤：
步骤2.1，计算每帧的频谱重心，所述频谱重心的计算公式为：
Figure BDA00038805264800000217
其中，SCf为频谱重心，Ff[k]为演奏音频信号的频域信号；
步骤2.2，计算每帧的频谱分散度，所述频谱分散度的计算公式为：
Figure BDA00038805264800000218
其中，SSf为频谱分散度，SCf为频谱重心，Ff[k]为演奏音频信号的频域信号；
步骤2.3，计算每帧的频谱尖削度，所述频谱尖削度的计算公式为：
Figure BDA0003880526480000031
其中，SKf为频谱尖削度，SSf为频谱分散度，SCf为频谱重心，Ff[k]为演奏音频信号的频域信号；
步骤2.4，通过所述频谱尖削度以及归一化处理计算演奏时的音符音色属性，演奏时的音色音色属性的计算公式为：
Figure BDA0003880526480000032
其中，xtimbre为演奏时的音符音色属性，SKf为频谱尖削度，f0为从频域信号中得到相对应帧的起始帧，f1为从频域信号中得到相对应帧的结束帧。
为了进一步解决本发明所要解决的技术问题，本发明还提供一种乐器演奏评测系统，包括：
演奏音频信号采集模块，用于获取乐曲多种不同演奏的演奏音频信号；
演奏音频信号处理模块，用于对演奏音频信号分别进行快速傅里叶变换得到该演奏音频信号的频域信号；
乐谱信息采集模块，用于获取所述乐曲对应的乐谱信息；
相似度比对模块，用于所述乐谱信息与演奏音频信号的频域信号进行相似度比对；
训练样本数据集构建模块，用于通过多种不同演奏的演奏失误音符集和演奏音频特征集以及与其对应的评分信息集构建训练样本数据集；
样本训练模块，用于通过所述训练样本数据集训练回归模型；
乐曲演奏评测模块，用于通过已经训练完成的模型对实际乐曲演奏进行评测。
如上所述，本发明的一种乐器演奏评测方法和系统，通过巧妙的设计，对乐曲多种不同演奏的演奏音频信号进行量化分析，再通过演奏失误音符集、演奏音频特征集以及与其对应的评分信息集构建训练样本数据集，训练回归模型后对实际乐曲演奏进行评测，能够实现在乐器演奏场景下的自动化评测，省时省力，很大程度上提升了乐器演奏评测的便利性。
附图说明
图1显示为本发明实施例中一种乐器演奏评测方法的流程图；
图2显示为本发明实施例中一种乐器演奏评测方法的演奏音频信号的示意图；
图3显示为本发明实施例中一种乐器演奏评测方法的演奏频域信号的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种乐器演奏评测方法，方法包括以下步骤：
步骤1，如图2所示，获取乐曲多种不同演奏的演奏音频信号S，对演奏音频信号以PCM格式编码，单声道，采样率为44,100Hz，位深度为16bit。在编码后使用窗函数窗大小N＝1024，50％重叠，如图3所示，对演奏音频信号分别进行快速傅里叶变换得到该演奏音频信号的频域信号，包含frames个FFT帧频域信号F：
Figure BDA0003880526480000041
步骤2，获取乐曲对应的乐谱信息，乐谱信息通过乐曲的MIDI文件中解码获取。MIDI是Musical Instrument Digital Interface的简称，意为音乐设备数字接口。它是一种电子乐器之间以及电子乐器与电脑之间的统一交流协议。
MIDI文件是一种描述性的音乐语言，将所要演奏的乐曲信息用字节进行描述。譬如在某一时刻使用什么乐器，以什么音符开始，以什么音调结束，加以什么伴奏等，也就说MIDI文件本身并不包含波形数据，所以MIDI文件非常小巧。MIDI文件并不是一段录制好的声音，而是记录声音的信息，然后在告诉声卡如何再现音乐的一组指令。这样一个MIDI文件每存1分钟的音乐只用大约5～10KB。今天，MID文件主要用于原始乐器作品，流行歌曲的业余表演，游戏音轨以及电子贺卡等。MIDI文件重放的效果完全依赖声卡的档次。
MIDI文件可以用作曲软件写出，也可以通过声卡的MIDI口把外接音序器演奏的乐曲输入电脑里，制成.mid文件。MIDI软件有多种类型，有MIDI播放软件、演奏软件和创作软件几类。
解码后包括以下信息：音高ypitch，以Hz为单位，对于MIDI文件中的音高信息pitch,0≤pitch≤127，转换为Hz单位的音高信息：
Figure BDA0003880526480000051
力度yvelocity，对于MIDI文件中的音符力度信息vel,0≤vel≤127，均分为5档后归一化：
Figure BDA0003880526480000052
起奏点yonset，以毫秒为单位；时值yduration，以毫秒为单位；当前速度ytempo，以每分钟节拍数(BPM)为单位，将速度变化的各个时间点设为Tbpm∶＝(t1,t2,…,tn)。
将上述这些事件设为Y＝(y1,y2,…,yn)，其中，n为乐曲的总音符数。
例如,乐谱信息为：
y1{onset＝0,duration＝0.5,vel＝1.0,tempo＝120.0},
y2{onset＝0.5,duration＝0.5,vel＝0.6,tempo＝120.0},
y3{onset＝1.0,duration＝0.5,vel＝0.4,tempo＝120.0},
y4{onset＝1.5,duration＝0.5,vel＝0.4,tempo＝120.0},
y5{onset＝2.0,duration＝0.5,vel＝0.4,tempo＝120.0},
y6{onset＝2.5,duration＝0.5,vel＝0.6,tempo＝120.0},
y7{onset＝3.0,duration＝0.5,vel＝0.8,tempo＝120.0},
y8{onset＝3.5,duration＝0.5,vel＝1.0,tempo＝120.0}。
对照上述事件，乐谱信息与该演奏音频信号的频域信号通过DTW算法进行相似性比对，得到演奏失误音符集和演奏音频特征集。演奏失误音符集包括多演奏的音符集、少演奏的音符集、演奏错的音符集。演奏音频特征集包括音符起音间隔偏离度、音符力度偏离度和音符音色偏离度。
使用DTW(Dynamic Time Warping)算法对演奏音频信号S作音频-乐谱比对(Audio-to-Score Alignment,A2SA)，得到实际演奏的事件列表X＝(x1,x2,…,xm)，其中m是乐曲的总音符数。算法得到X和Y的对齐路径P＝(p1,p2,…,pl)，p＝(xi,yj),i≤m,j≤n。同时，检出相比乐谱多演奏的音符集Wa、少演奏的音符集Wb、演奏错误的音符集Wc。
Figure BDA0003880526480000053
Figure BDA0003880526480000054
Wc＝|{pi}|,pi＝(x,y),xpitch≠ypitch。
例如，演奏信息如下：
x1{onset＝0.0,dur＝0.416,vel＝0.8,tempo＝120.0},
x2{onset＝0.416,dur＝0.5013333333333334,vel＝0.8,tempo＝83.26530612244898},
x3{onset＝0.9173333333333333,dur＝0.5066666666666666,vel＝1.0,tempo＝120.0},
x4{onset＝1.424,dur＝0.5226666666666668,vel＝0.8,tempo＝120.0},
x5{onset＝1.9466666666666668,dur＝0.3893333333333331,vel＝1.0,tempo＝120.0},
x6{onset＝2.336,dur＝0.16533333333333333,vel＝0.8,tempo＝71.0204081632653},
x7{onset＝2.501333333333333,dur＝0.5013333333333336,vel＝0.8,tempo＝19.591836734693878},
x8{onset＝3.002666666666667,dur＝0.976,vel＝0.6,tempo＝120.0}。
DTW算法给出演奏的起奏点属性xonset。将路径P中包含的各个事件p重新与演奏音频信号S比对，对事件对应的音频片段Sp进行时域频域分析，得到音符音高xpitch、音符力度xvelocity、音符时值xduration。
音符起音间隔偏离度的计算公式为：
Figure BDA0003880526480000061
其中，
Figure BDA0003880526480000062
为演奏时的音符起音间隔偏离度，
Figure BDA0003880526480000063
为前一个音符演奏的起奏点属性，
Figure BDA0003880526480000064
为后一个音符演奏的起奏点属性，
Figure BDA0003880526480000065
为与
Figure BDA0003880526480000066
路径对齐的乐谱音符的起奏点属性，
Figure BDA0003880526480000067
为与
Figure BDA0003880526480000068
路径对齐的乐谱音符的起奏点属性。
音符起音间隔偏离度曲线如下：
[1,0.832,1.0026666666666668,1.0133333333333332,1.0453333333333337,0.7786666666666662,0.33066666666666666,1.0026666666666673]。
音符力度偏离度的计算公式为：
Figure BDA0003880526480000069
其中，
Figure BDA00038805264800000610
为演奏时的音符力度偏离度，
Figure BDA00038805264800000611
为演奏音符的力度属性，
Figure BDA00038805264800000612
为与
Figure BDA00038805264800000613
路径对齐到的乐谱音符的力度属性。
音符力度偏离度曲线如下：
[0.8,1.3333333333333335,2.5,2.0,2.5,1.3333333333333335,1.0,0.6]。
音符音色偏离度的计算公式为：
Figure BDA0003880526480000071
其中，
Figure BDA0003880526480000072
为演奏时的音符音色偏离度，
Figure BDA0003880526480000073
为演奏时的音符音色属性。
音符音色偏离度曲线如下：
[1.3186490139846225,1.048354625632218,1.034196241406035,0.928835522226516,1.1452800482543692,0.6767212762159915,1.0962650332611479,0.7516982390190999]。
计算得到演奏时的音符音色属性
Figure BDA0003880526480000074
包括以下步骤：
步骤2.1，计算每帧的频谱重心，频谱重心的计算公式为：
Figure BDA0003880526480000075
其中，SCf为频谱重心，Ff[k]为演奏音频信号的频域信号；
步骤2.2，计算每帧的频谱分散度，频谱分散度的计算公式为：
Figure BDA0003880526480000076
其中，SSf为频谱分散度，SCf为频谱重心，Ff[k]为演奏音频信号的频域信号；
步骤2.3，计算每帧的频谱尖削度，频谱尖削度的计算公式为：
Figure BDA0003880526480000077
其中，SKf为频谱尖削度，SSf为频谱分散度，SCf为频谱重心，Ff[k]为演奏音频信号的频域信号；
步骤2.4，通过频谱尖削度以及归一化处理计算演奏时的音符音色属性，演奏时的音色音色属性的计算公式为：
Figure BDA0003880526480000078
其中，xtimbre为演奏时的音符音色属性，SKf为频谱尖削度，f0为从频域信号中得到相对应帧的起始帧，f1为从频域信号中得到相对应帧的结束帧。
可根据实际需求还可以对于路径P中的每个演奏事件的各偏离度属性进行滤波、偏移、缩放等调整，以忽略演奏中持续的且前后一致的速度和力度偏差。
步骤3，通过多种不同演奏的演奏失误音符集和演奏音频特征集以及与其对应的评分信息集构建训练样本数据集，使用训练样本数据集训练回归模型。评分信息集是通过各音符的音准、节奏、力度和音色评判的，对于每个演奏的各个音符都有考官事先打分记录，创建这个数据集作为特征数据输入。
对于每一首需要评测的乐曲，准备一组用于训练和测试的数据集。训练样本数据集占到90％，测试集占全部数据的10％。
训练样本数据集输入到向量向量x(i)由以下特征组成：多演奏的音符集Wa、少演奏的音符集Wb、演奏错误的音符集Wc。对于Y中的每个音符y，如y存在于路径P中，将对应的xioid、xveld、xtbrd填入，否则将这三个值取0。
Figure BDA0003880526480000081
Figure BDA0003880526480000082
该数据集的输出y(i)为评分，0≤y(i)≤1。对于预测结果
Figure BDA0003880526480000083
Figure BDA0003880526480000084
使用一种评估方法，如均方根误差(RMSE)或平均绝对误差(MAE)对模型进行评估：
Figure BDA0003880526480000085
Figure BDA0003880526480000086
例如有四个演奏的实际分数为[65,90,50,80]，而预测结果为[62,84,30,80]，对上述四个演奏，RMSE约为10.5475，MAE约为7.25。
使用一种回归模型，如支持向量机(Support-Vector Machine)或随机森林回归(Random Forest Regression)模型，使用训练样本数据集训对其进行训练。
步骤4，通过已经训练完成的模型对实际乐曲演奏进行评测。训练得到的模型可用于该乐曲演奏的实际评测，将输出层的结果作为评分。
例如，对应x(i)有一组演奏数据输入：
[0,(Wa)
0,(Wb)
0,(Wc)
1,
Figure BDA0003880526480000091
0.8,
Figure BDA0003880526480000092
1.3186490139846225,
Figure BDA0003880526480000093
0.832,
Figure BDA0003880526480000094
1.3333333333333335,
Figure BDA0003880526480000095
1.048354625632218,
Figure BDA0003880526480000096
1.0026666666666668,
2.5,
1.034196241406035,
1.0133333333333332,
2.0,
0.928835522226516,
1.0453333333333337,
2.5,
1.1452800482543692,
0.7786666666666662,
1.3333333333333335,
0.6767212762159915,
0.33066666666666666,
1.0,
1.0962650332611479,
1.0026666666666673,
0.6,
0.7516982390190999]。
输出得分为65。
本发明还提供一种乐器演奏评测系统，包括演奏音频信号采集模块、演奏音频信号处理模块、演奏音频信号处理模块、乐谱信息采集模块、相似度比对模块、训练样本数据集构建模块、样本训练模块和乐曲演奏评测模块。演奏音频信号采集模块用于获取乐曲多种不同演奏的演奏音频信号，演奏音频信号处理模块用于对演奏音频信号分别进行快速傅里叶变换得到该演奏音频信号的频域信号，乐谱信息采集模块用于获取乐曲对应的乐谱信息，相似度比对模块用于乐谱信息与演奏音频信号的频域信号进行相似度比对，训练样本数据集构建模块用于通过多种不同演奏的演奏失误音符集和演奏音频特征集以及与其对应的评分信息集构建训练样本数据集，样本训练模块用于通过训练样本数据集训练回归模型，乐曲演奏评测模块用于通过已经训练完成的模型对实际乐曲演奏进行评测。
综上所述，本发明的一种乐器演奏评测方法和系统，通过巧妙的设计，对乐曲多种不同演奏的演奏音频信号进行量化分析，再通过演奏失误音符集、演奏音频特征集以及与其对应的评分信息集构建训练样本数据集，训练回归模型后对实际乐曲演奏进行评测，能够实现在乐器演奏场景下的自动化评测，省时省力，很大程度上提升了乐器演奏评测的便利性。所以，本发明有效克服了现有技术中的种种缺点而达到更好的实用效果。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种乐器演奏评测方法，其特征在于，所述方法包括以下步骤：
步骤1，获取乐曲多种不同演奏的演奏音频信号，对演奏音频信号分别进行快速傅里叶变换得到该演奏音频信号的频域信号；
步骤2，获取所述乐曲对应的乐谱信息，所述乐谱信息与该演奏音频信号的频域信号进行相似性比对，得到演奏失误音符集和演奏音频特征集；
步骤3，通过多种不同演奏的演奏失误音符集和演奏音频特征集以及与其对应的评分信息集构建训练样本数据集，使用所述训练样本数据集训练回归模型；
步骤4，通过已经训练完成的模型对实际乐曲演奏进行评测。
2.根据权利要求1所述的一种乐器演奏评测方法，其特征在于：所述步骤1中，对演奏音频信号以PCM格式编码，在编码后使用窗函数。
3.根据权利要求1所述的一种乐器演奏评测方法，其特征在于：所述乐谱信息与该演奏音频信号的频域信号通过DTW算法进行相似性比对。
4.根据权利要求3所述的一种乐器演奏评测方法，其特征在于：所述演奏失误音符集包括多演奏的音符集、少演奏的音符集、演奏错的音符集。
5.根据权利要求3所述的一种乐器演奏评测方法，其特征在于：所述演奏音频特征集包括音符起音间隔偏离度、音符力度偏离度和音符音色偏离度。
6.根据权利要求5所述的一种乐器演奏评测方法，其特征在于，所述音符起音间隔偏离度的计算公式为：
Figure FDA0003880526470000011
其中，
Figure FDA0003880526470000012
为演奏时的音符起音间隔偏离度，
Figure FDA0003880526470000013
为前一个音符演奏的起奏点属性，
Figure FDA0003880526470000014
为后一个音符演奏的起奏点属性，
Figure FDA0003880526470000015
为与
Figure FDA0003880526470000016
路径对齐的乐谱音符的起奏点属性，
Figure FDA0003880526470000017
为与
Figure FDA0003880526470000018
路径对齐的乐谱音符的起奏点属性。
7.根据权利要求5所述的一种乐器演奏评测方法，其特征在于，所述音符力度偏离度的计算公式为：
Figure FDA0003880526470000021
其中，
Figure FDA0003880526470000022
为演奏时的音符力度偏离度，
Figure FDA0003880526470000023
为演奏音符的力度属性，
Figure FDA0003880526470000024
为与
Figure FDA0003880526470000025
路径对齐到的乐谱音符的力度属性。
8.根据权利要求5所述的一种乐器演奏评测方法，其特征在于，所述音符音色偏离度的计算公式为：
Figure FDA0003880526470000026
其中，
Figure FDA0003880526470000027
为演奏时的音符音色偏离度，
Figure FDA0003880526470000028
为演奏时的音符音色属性。
9.根据权利要求8所述的一种乐器演奏评测方法，其特征在于，计算得到演奏时的音符音色属性包括以下步骤：
步骤2.1，计算每帧的频谱重心，所述频谱重心的计算公式为：
Figure FDA0003880526470000029
其中，SCf为频谱重心，Ff[k]为演奏音频信号的频域信号；
步骤2.2，计算每帧的频谱分散度，所述频谱分散度的计算公式为：
Figure FDA00038805264700000210
其中，SSf为频谱分散度，SCf为频谱重心，Ff[k]为演奏音频信号的频域信号；
步骤2.3，计算每帧的频谱尖削度，所述频谱尖削度的计算公式为：
Figure FDA00038805264700000211
其中，SKf为频谱尖削度，SSf为频谱分散度，SCf为频谱重心，Ff[k]为演奏音频信号的频域信号；
步骤2.4，通过所述频谱尖削度以及归一化处理计算演奏时的音符音色属性，演奏时的音色属性的计算公式为：
Figure FDA00038805264700000212
其中，xtimbre为演奏时的音符音色属性，SKf为频谱尖削度，f0为从频域信号中得到相对应帧的起始帧，f1为从频域信号中得到相对应帧的结束帧。
10.一种乐器演奏评测系统，其特征在于，包括：
演奏音频信号采集模块，用于获取乐曲多种不同演奏的演奏音频信号；
演奏音频信号处理模块，用于对演奏音频信号分别进行快速傅里叶变换得到该演奏音频信号的频域信号；
乐谱信息采集模块，用于获取所述乐曲对应的乐谱信息；
相似度比对模块，用于所述乐谱信息与演奏音频信号的频域信号进行相似度比对；
训练样本数据集构建模块，用于通过多种不同演奏的演奏失误音符集和演奏音频特征集以及与其对应的评分信息集构建训练样本数据集；
样本训练模块，用于通过所述训练样本数据集训练回归模型；
乐曲演奏评测模块，用于通过已经训练完成的模型对实际乐曲演奏进行评测。
CN202211227512.2A 2022-10-09 2022-10-09 一种乐器演奏评测方法和系统 Pending CN115547280A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211227512.2A CN115547280A (zh) 2022-10-09 2022-10-09 一种乐器演奏评测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211227512.2A CN115547280A (zh) 2022-10-09 2022-10-09 一种乐器演奏评测方法和系统

Publications (1)

Publication Number Publication Date
CN115547280A true CN115547280A (zh) 2022-12-30

Family

ID=84732949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211227512.2A Pending CN115547280A (zh) 2022-10-09 2022-10-09 一种乐器演奏评测方法和系统

Country Status (1)

Country Link
CN (1) CN115547280A (zh)

Similar Documents

Publication Publication Date Title
CN103959372B (zh) 用于使用呈现高速缓存针对所请求的音符提供音频的系统和方法
US9099064B2 (en) Method for extracting representative segments from music
KR101094687B1 (ko) 노래학습 기능을 갖는 노래방 시스템
US20230402026A1 (en) Audio processing method and apparatus, and device and medium
US20020144587A1 (en) Virtual music system
US20200228596A1 (en) Streaming music categorization using rhythm, texture and pitch
WO2022089097A1 (zh) 音频处理方法、装置及电子设备和计算机可读存储介质
JP4479701B2 (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
JP2008216486A (ja) 音楽再生システム
KR102118189B1 (ko) 미디어 컨텐츠 서비스 시스템
JPH10247099A (ja) 音声信号の符号化方法および音声の記録再生装置
JP2008225116A (ja) 評価装置及びカラオケ装置
CN115547280A (zh) 一种乐器演奏评测方法和系统
Dobashi et al. A music performance assistance system based on vocal, harmonic, and percussive source separation and content visualization for music audio signals
JP5782972B2 (ja) 情報処理システム，プログラム
CN115331648A (zh) 音频数据处理方法、装置、设备、存储介质及产品
CN115527512A (zh) 一种音乐评测方法和系统
Pardo Finding structure in audio for music information retrieval
CN203165441U (zh) 交响乐器
JP2008040258A (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
Papich et al. Research in the performance practices of musicians
JPH03242700A (ja) 音楽評価装置
Ciesla MIDI and Composing in the Digital Age
JPS59204095A (ja) 楽音ピツチ可変装置
Zhao et al. Piano accompaniment features and performance processing based on music feature matching algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination