CN105070298B - 复调乐器的评分方法和装置 - Google Patents

复调乐器的评分方法和装置 Download PDF

Info

Publication number
CN105070298B
CN105070298B CN201510428450.5A CN201510428450A CN105070298B CN 105070298 B CN105070298 B CN 105070298B CN 201510428450 A CN201510428450 A CN 201510428450A CN 105070298 B CN105070298 B CN 105070298B
Authority
CN
China
Prior art keywords
user
performance data
standard
note
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510428450.5A
Other languages
English (en)
Other versions
CN105070298A (zh
Inventor
蒋成林
王影
胡国平
胡郁
刘庆峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201510428450.5A priority Critical patent/CN105070298B/zh
Publication of CN105070298A publication Critical patent/CN105070298A/zh
Application granted granted Critical
Publication of CN105070298B publication Critical patent/CN105070298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Auxiliary Devices For Music (AREA)

Abstract

本发明提出一种复调乐器的评分方法和装置，该复调乐器的评分方法包括接收用户演奏数据；对用户演奏数据进行特征提取以获取对应的频谱特征；根据提取的频谱特征计算用户演奏数据的分解系数；根据分解系数确定用户演奏音符信息；根据用户演奏音符信息对用户演奏数据进行评分。该方法能够有效提高复调乐器的评分效果且降低评分成本。

Description

复调乐器的评分方法和装置
技术领域
本发明涉及乐器评分技术领域，尤其涉及一种复调乐器的评分方法和装置。
背景技术
计算机的出现推动了现代电子音乐技术的发展，如果能利用计算机开发一套能够对复调乐器演奏者的演奏进行科学而客观评判的系统，所述系统也可称之为用户乐器演奏的“电子导师”。这个“电子导师”会像复调乐器教学工作者一样，智能的理解分析音乐，评价演奏者的演奏水平。这无疑可以对于复调乐器演奏学习者进行全面而准确的指导，提高他们对音乐的认知能力。同时“电子导师”也可以辅助复调乐器教学工作者进行乐器演奏的教学，进而减轻他们的工作强度。
传统的针对复调乐器评分方法，主要是采用人工评分的方法，在用户演奏时，组织音乐领域专家对用户演奏情况进行评分。然而由于每个人的评分标准很难一致，因此，在评分时很难客观的给出评分结果，往往带有较强的主观性；由于每个用户演奏时都需要人工进行评分，人工工作量较大，成本较高。此外，用户在平常练习时，没有专家评分，很难知道自己的练习情况。因此，构建一套复调乐器的自动评分方法及系统，在用户练习时，可以给出练习情况的得分无疑对音乐学习或音乐教学具有重大意义。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种复调乐器的评分方法，该方法能够有效提高复调乐器的评分效果且降低评分成本。
本发明的另一个目的在于提出一种复调乐器的评分装置。
为达到上述目的，本发明第一方面实施例提出的复调乐器的评分方法，包括：接收用户演奏数据；对所述用户演奏数据进行特征提取以获取对应的频谱特征；根据提取的所述频谱特征计算用户演奏数据的分解系数；根据分解系数确定用户演奏音符信息；根据所述用户演奏音符信息对所述用户演奏数据进行评分。
本发明第一方面实施例提出的复调乐器的评分方法，通过获取用户演奏数据对应的频谱特征，计算用户演奏数据的分解系数，并根据分解系数确定用户演奏音符信息，根据用 户演奏音符信息对用户演奏数据进行评分，可以实现复调乐器的自动评分，从而有效提高复调乐器的评分效果且降低评分成本。
为达到上述目的，本发明第二方面实施例提出的复调乐器的评分装置，包括：接收模块，用于接收用户演奏数据；提取模块，用于对所述用户演奏数据进行特征提取以获取对应的频谱特征；计算模块，用于根据提取的所述频谱特征计算用户演奏数据的分解系数；确定模块，用于根据分解系数确定用户演奏音符信息；第一评分模块，用于根据所述用户演奏音符信息对所述用户演奏数据进行评分。
本发明第二方面实施例提出的复调乐器的评分装置，通过获取用户演奏数据对应的频谱特征，计算用户演奏数据的分解系数，并根据分解系数确定用户演奏音符信息，根据用户演奏音符信息对用户演奏数据进行评分，可以实现复调乐器的自动评分，从而有效提高复调乐器的评分效果且降低评分成本。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例提出的复调乐器的评分方法的流程示意图；
图2是本发明另一实施例提出的复调乐器的评分方法的流程示意图；
图3是本发明另一实施例提出的复调乐器的评分装置的结构示意图；
图4是本发明另一实施例提出的复调乐器的评分装置的结构示意图；
图5是本发明另一实施例提出的复调乐器的评分装置的结构示意图；
图6是本发明另一实施例提出的复调乐器的评分装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本发明一实施例提出的复调乐器的评分方法的流程示意图，该方法包括：
S11：接收用户演奏数据。
本实施例的执行主体可以是复调乐器。
复调乐器是指可以同时演奏多个音符的乐器，具体如钢琴、手风琴、笛子等。
用户演奏数据是指复调乐器演奏者演奏乐曲的过程中所包含的数据信息，例如用户演奏乐曲的音频数据、用户演奏时的乐器的使用情况等。
本申请实施例中，采用用户演奏数据中的用户演奏音符信息，对用户演奏数据进行评分。
S12：对用户演奏数据进行特征提取以获取对应的频谱特征。
频谱特征例如Mel频率倒谱系数(Mel Frequency Cepstrum Coefficient，MFCC)。
具体地，复调乐器接收用户演奏数据后，对用户演奏数据进行分帧处理，进而对每帧用户演奏数据进行特征提取，以获取每帧用户演奏数据对应的频谱特征，频谱特征维数例如39维。
以钢琴演奏为例，可以将用户演奏数据分成50帧，对每帧用户演奏数据提取出39维的频谱特征。
本实施例中，具体的对用户演奏数据进行特征提取方法与现有技术相同，在此不再赘述。
S13：根据提取的频谱特征计算用户演奏数据的分解系数。
以使用非负矩阵因子分解(Nonnegative Matrix Factorization，NMF)方法对用户演奏数据进行分解为例进行说明，使用得到的分解系数表示用户演奏数据对应的用户演奏音符的力度信息。
可选的，可以根据以下公式计算用户演奏数据的NMF分解系数H，
V＝W×H，
其中，V表示每帧语音的频谱特征，W表示复调乐器按键的基矩阵。
另外，可以预先通过分析复调乐器中每个按键所对应音符的特性构建复调乐器按键的基矩阵W。
S14：根据分解系数确定用户演奏音符信息。
其中，用户演奏音符信息可以包括音高信息、时值信息、力度信息。
具体地，用户演奏音符信息中的力度信息用分解系数表示。
用户演奏音符信息中的时值信息用步骤S12中所提取的用户演奏数据中的每个音符持续的帧数表示。
用户演奏音符信息中的音高信息，可以采用统计建模方法，确定用户演奏数据对应的具体音符，进而根据具体音符的标准发音来确定。
其中，可以预先使用大量用户演奏数据进行统计建模，得到统计模型，使用该统计模型确定用户演奏数据对应的具体音符。
S15：根据用户演奏音符信息对用户演奏数据进行评分。
可选的，根据用户演奏音符信息，对用户演奏数据进行评分，包括：
获取标准演奏数据；根据标准演奏数据构建标准评分模板；将用户演奏数据与标准演奏数据对齐；根据用户演奏数据中的每个音符与标准演奏数据中的标准音符的对应关系对用户演奏数据进行评分。
进一步，根据用户演奏数据中的每个音符与标准演奏数据中的标准音符的对应关系对用户演奏数据进行评分，具体包括：
计算用户演奏数据中所有音符与标准音符之间的平均音高错误率；计算用户演奏数据中所有音符与标准音符之间的平均时值偏差；计算用户演奏数据中所有音符与标准音符之间的平均力度偏差；根据平均音高错误率、平均时值偏差，以及平均力度偏差，对用户演奏数据进行总体评分。
本实施例通过获取用户演奏数据对应的频谱特征，计算用户演奏数据的分解系数，并根据分解系数确定用户演奏音符信息，根据用户演奏音符信息对用户演奏数据进行评分，可以实现复调乐器的自动评分，从而有效提高复调乐器的评分效果且降低评分成本。
图2是本发明另一实施例提出的复调乐器的评分方法的流程示意图，本实施例以复调乐器是钢琴，以使用非负矩阵因子分解(Nonnegative Matrix Factorization，NMF)方法对用户演奏数据进行分解为例，该方法包括：
S201：接收用户演奏数据。
用户演奏数据是指复调乐器演奏者演奏乐曲的过程中所包含的数据信息，例如用户演奏乐曲的音频数据、用户演奏时的乐器的使用情况等。
本实施例中，采用用户演奏数据中的用户演奏音符信息和用户演奏时的乐器的使用情况，对用户演奏数据进行评分。
S202：对用户演奏数据进行特征提取以获取对应的频谱特征。
例如，可以将用户演奏数据分成50帧，对每帧用户演奏数据提取出39维的频谱特征。
S203：根据提取的频谱特征计算用户演奏数据的NMF分解系数H。
可以根据以下公式计算用户演奏数据的NMF分解系数H，
V＝W×H，
其中，V表示每帧语音的频谱特征，W表示复调乐器按键的基矩阵。
另外，可以预先通过分析复调乐器中每个按键所对应音符的特性构建复调乐器按键的基矩阵W。
具体地，假设一段音频的时长为N帧，每一帧提取的特征维数为F维，则V为F×N的矩阵，假设一共用到K个音符就可以表示用户演奏的全部情况，则基矩阵W为F×K的矩 阵，矩阵的每一列表示一个音符的频谱特征，H为K×N的矩阵，每一列表示一帧音频在各个基上的分解系数，表示每帧数据在每个音符上的演奏情况，H可以用来表示每帧数据在每个音符上的力度信息，值越大，表示力度越大。
例如，本实施例中，以钢琴演奏为例，每帧用户演奏数据对应的频谱特征的维数例如39维，用户演奏数据共50帧，则V的维数即为39×50，其中，用户演奏过程中，共用到88个钢琴音符，则基矩阵W的维数为39×88，分解系数H的维数为88×50。
S204：根据NMF分解系数H确定用户演奏音符信息。
例如，用户演奏音符信息中的力度信息用NMF分解系数H表示。
用户演奏音符信息中的时值信息用步骤S12中所提取的用户演奏数据中的每个音符持续的帧数表示。
用户演奏音符信息中的音高信息，可以采用统计建模方法，确定用户演奏数据对应的具体音符，进而根据具体音符的标准发音确定。
其中，可以预先使用大量用户演奏数据进行统计建模，得到统计模型，利用该统计模型确定用户演奏数据对应的具体音符。
例如，可以通过预先构建深度神经网络(Deep Neural Networks，DNN)模型来获取用户演奏音符信息。
具体地，可以将NMF分解系数H作为DNN的输入，将用户演奏每个音符的概率作为DNN的输出，可以预先设定标准音符中每个音符相应演奏概率阈值，演奏概率阈值例如3/4，当户演奏每个音符的概率超过阈值后，判断用户演奏了该音符。
S205：获取标准演奏数据。
标准演奏数据指用户演奏数据对应的标准乐谱所包含的数据。
S206：根据标准演奏数据构建标准评分模板。
本实施例中，采用标准演奏数据中的标准音符信息构建标准评分模板。
标准音符信息可以包括标准音符的音高信息、时值信息和力度信息。
可选的，可以采用NMF分解及统计建模的方法提取标准音符信息。
S207：将用户演奏数据与标准演奏数据对齐。
具体地，采用动态规划方法将标准演奏数据中的音符序列，与用户演奏数据中的音符序列进行对齐处理，得到用户演奏数据中每个音符对应的标准音符。
S208：计算用户演奏数据中所有音符与标准音符之间的平均音高错误率。
由于每个音符的音高是固定的，因此，可以根据用户的错误演奏音符情况来计算用户演奏数据的平均音高错误率。
具体地，根据以下公式计算用户演奏数据中所有音符与标准音符之间的平均音高错误 率，
其中，LostNum表示用户少演奏的音符数，InsterNum表示用户多演奏的音符数，ErrorNum表示用户演奏错误的音符数，StdNum表示标准演奏数据中的音符数，PitchErrRa表示平均音高错误率。
S209：计算用户演奏数据中所有音符与标准音符之间的平均时值偏差。
为了解决用户演奏数据与标准演奏数据存在演奏速度不同时，时值的不可比问题，需要将用户演奏数据中的所有音符的开始时间和标准演奏数据中的所有音符的开始时间进行规整。
具体地，根据公式(k',b')＝arg min∑|k×Ti user-Ti std+b|将用户演奏数据中所有音符的开始时间和标准演奏数据中所有音符的开始时间进行时间规整，其中，Ti user表示用户演奏数据中第i个音符的开始时间，Ti std表示标准音符中第i个标准音符的开始时间，k表示用户演奏数据中的用户演奏速度，b表示用户演奏数据中的用户开始演奏时间，k'表示时间规整后的用户最佳演奏速度，b'表示时间规整后的用户最佳开始演奏时间；
进一步，根据公式计算时间规整之后的用户演奏数据中所有音符与标准音符之间的平均时值偏差，其中，Toffset表示平均时值偏差，N表示标准演奏数据中所有音符的总数。
S210：计算用户演奏数据中所有音符与标准音符之间的平均力度偏差。
为了解决用户演奏数据与标准演奏数据存在演奏力度不同时，力度的不可比问题，需要根据标准演奏数据中音符的力度，将用户演奏数据中的所有音符的力度进行规整。
具体地，首先计算用户演奏数据的规整权重β，如公式其中，Cstd表示所有标准演奏音符的力度的平均值，Cuser表示所有用户演奏音符的力度的平均值；
进一步，根据公式计算力度规整之后的用户演奏数据中所有音符与标准音符之间的平均力度偏差，其中，Soffset表示平均力度偏差，表示用户演奏数据中第i个音符的平均力度值，表示标准音符中第i个标准音符的平均力度值。
S211：根据平均音高错误率、平均时值偏差，以及平均力度偏差，对用户演奏数据进行总体评分。
具体地，将用户演奏数据中的平均音高错误率、平均时值偏差，以及平均力度偏差，进行融合，得到用户总体水平得分。
本申请对具体融合方法不作限制。
例如，通过如下公式加权组合用户演奏数据中的平均音高错误率、平均时值偏差，以及平均力度偏差，计算得到用户演奏数据总体评分Tscore，
其中，λij表示用户演奏数据中的第i个音符的第j维特征的权重，xij表示用户演奏数据中的第i个音符的第j维特征值，m表示音符特征维数，特征维数例如3维，即音高信息、时值信息，以及力度信息。
S212：获取用户演奏时的乐器的使用情况。
本申请可以根据具体应用需求，对用户演奏时的技巧进行评分。
可选的，可以采用双通道的录音方式，即通道1记录用户演奏录音，通道2用来记录钢琴每个踏板的使用时间和每个手指的按键时间。
例如，以钢琴是三个踏板，和使用十个手指进行按键为例。
可以预先设计十三种不同频段的脉冲信号，表示每个踏板的使用情况和每个手指的按键情况，具体如在高频7kHz到8kHz之间划分十三个频段，7kHz到7.1kHz表示左踏板脉冲信号，7.1kHz到7.2kHz表示中间踏板脉冲信号，7.2kHz到7.3kHz表示右踏板脉冲信号，7.3kHz到7.35kHz表示左手小指的脉冲信号等。当使用其中一个踏板时，传感器接收踩踏的激励信号，将信号传送到通道2中，记录该信号的时间点。当用户演奏结束后，可以采集到演奏过程中，每个踏板的踩踏时间点和每个手指的按键时间点。
S213：根据用户演奏时的乐器的使用情况，进行用户演奏技巧评分。
具体地，将得到的每个踏板时间点和每个手指的按键时间点与标准演奏数据中规定的时间点进行比对，如果采集到的时间点在标准演奏数据规定的时间点附近，则认为用户的操作正确。
例如，标准演奏数据中右踏板的使用时间点为第40s，用户在第39s或第41s的范围内使用了右踏板，认为用户的操作正确，从而可以得到用户正确操作次数，即正确使用踏板的次数和正确使用手指按键的次数。
进一步，根据正确操作次数进行演奏技巧评分。
本申请对具体技巧评分方法不作限定。
例如，技巧评分方法可以根据如下公式确定，
其中，PSKscore为用户演奏技巧得分，Pstd为标准演奏数据中规定的应该使用踏板总数，Puser为用户正确使用踏板总数，Qstd为标准演奏数据中规定的应该按键次数，Quser为用户正确按键次数；μ1为用户正确使用所有踏板时的得分，μ2为用户正确使用左右手按所有键时的得分。
本实施例中，通过获取用户演奏数据对应的频谱特征，计算用户演奏数据的NMF分解系数H，并根据NMF分解系数H确定用户演奏音符信息，根据用户演奏音符信息对用户 演奏数据进行评分，可以实现复调乐器的自动评分，从而有效提高复调乐器的评分效果且降低评分成本。并且，NMF分解方法涉及每个音符特征的总体分布，因此在确定音符时，有更好的容错性。另外，本实施例不仅从音高信息、时值信息和力度信息三个方面对用户演奏数据进行评分，同时对用户演奏技巧进行评分，得出用户演奏数据的总体评分，有利于用户实现针对性的练习。
图3是本发明另一实施例提出的复调乐器的评分装置的结构示意图，该装置30包括接收模块301、提取模块302、计算模块303、确定模块304，以及第一评分模块305。
接收模块301，用于接收用户演奏数据。
本实施例的执行主体可以是复调乐器。
复调乐器是指可以同时演奏多个音符的乐器，具体如钢琴、手风琴、笛子等。
用户演奏数据是指复调乐器演奏者演奏乐曲的过程中所包含的数据信息，例如用户演奏乐曲的音频数据、用户演奏时的乐器的使用情况等。
本申请实施例中，采用用户演奏数据中的用户演奏音符信息，对用户演奏数据进行评分。
提取模块302，用于对用户演奏数据进行特征提取以获取对应的频谱特征。
频谱特征例如MFCC。
具体地，复调乐器接收用户演奏数据后，对用户演奏数据进行分帧处理，进而对每帧用户演奏数据进行特征提取，以获取每帧用户演奏数据对应的频谱特征，频谱特征维数例如39维。
以钢琴演奏为例，可以将用户演奏数据分成50帧，对每帧用户演奏数据提取出39维的频谱特征。
本实施例中，具体的对用户演奏数据进行特征提取方法与现有技术相同，在此不再赘述。
计算模块303，用于根据提取的频谱特征计算用户演奏数据的分解系数。
以使用非负矩阵因子分解(Nonnegative Matrix Factorization，NMF)方法对用户演奏数据进行分解为例进行说明，使用得到的分解系数表示用户演奏数据对应的用户演奏音符的力度信息。
可选的，可以根据以下公式计算用户演奏数据的NMF分解系数H，
V＝W×H，
其中，V表示每帧语音的频谱特征，W表示复调乐器按键的基矩阵。
另外，可以预先通过分析复调乐器中每个按键所对应音符的特性构建复调乐器按键的基矩阵W。
确定模块304，用于根据分解系数确定用户演奏音符信息。
其中，用户演奏音符信息可以包括音高信息、时值信息、力度信息。
具体地，用户演奏音符信息中的力度信息用NMF分解系数H表示。
用户演奏音符信息中的时值信息用步骤S12中所提取的用户演奏数据中的每个音符持续的帧数表示。
用户演奏音符信息中的音高信息，可以采用统计建模方法，确定用户演奏数据对应的具体音符，进而根据具体音符的标准发音确定。
其中，可以预先使用大量用户演奏数据进行统计建模，得到统计模型，使用该统计模型确定用户演奏数据对应的具体音符。
第一评分模块305，用于根据用户演奏音符信息对用户演奏数据进行评分。
一个实施例中，参见图4，第一评分模块305具体包括：
获取子模块3051，用于获取标准演奏数据。
标准演奏数据指用户演奏数据对应的标准乐谱所包含的数据。
标准评分模板构建子模块3052，用于根据标准演奏数据构建标准评分模板。
本实施例中，采用标准演奏数据中的标准音符信息构建标准评分模板。
标准音符信息可以包括标准音符的音高信息、时值信息和力度信息。
可选的，可以采用NMF分解及统计建模的方法提取标准音符信息。
对齐子模块3053，用于将用户演奏数据与标准演奏数据对齐。
具体地，采用动态规划方法将标准演奏数据中的音符序列，与用户演奏数据中的音符序列进行对齐处理，得到用户演奏数据中每个音符对应的标准音符。
评分子模块3054，用于根据用户演奏数据中的每个音符与标准演奏数据中的标准音符的对应关系对用户演奏数据进行评分。
另一个实施例中，参见图5，评分子模块3054具体包括：
平均音高错误率计算单元30541，用于计算用户演奏数据中所有音符与标准音符之间的平均音高错误率。
由于每个音符的音高是固定的，因此，可以根据用户的错误演奏音符情况来计算用户演奏数据的平均音高错误率。
另一个实施例中，平均音高错误率计算单元30541具体用于根据以下公式计算用户演奏数据中所有音符与标准音符之间的平均音高错误率，
其中，LostNum表示用户少演奏的音符数，InsterNum表示用户多演奏的音符数，ErrorNum表示用户演奏错误的音符数，StdNum表示标准演奏数据中的音符数，PitchErrRa表示平均音高错误率。
平均时值偏差计算单元30542，用于计算用户演奏数据中所有音符与标准音符之间的平均时值偏差。
为了解决用户演奏数据与标准演奏数据存在演奏速度不同时，时值的不可比问题，需要将用户演奏数据中的所有音符的开始时间和标准演奏数据中的所有音符的开始时间进行规整。
另一个实施例中，平均时值偏差计算单元30542具体用于根据公式(k',b')＝argmin∑|k×Ti user-Ti std+b|将用户演奏数据中所有音符的开始时间和标准演奏数据中所有音符的开始时间进行时间规整，其中，Ti user表示用户演奏数据中第i个音符的开始时间，Ti std表示标准音符中第i个标准音符的开始时间，k表示用户演奏数据中的用户演奏速度，b表示用户演奏数据中的用户开始演奏时间，k'表示时间规整后的用户最佳演奏速度，b'表示时间规整后的用户最佳开始演奏时间；
根据公式计算时间规整之后的用户演奏数据中所有音符与标准音符之间的平均时值偏差，其中，Toffset表示平均时值偏差，N表示标准演奏数据中所有音符的总数。
平均力度偏差计算单元30543，用于计算用户演奏数据中所有音符与标准音符之间的平均力度偏差。
为了解决用户演奏数据与标准演奏数据存在演奏力度不同时，力度的不可比问题，需要根据标准演奏数据中音符的力度，将用户演奏数据中的所有音符的力度进行规整。
另一个实施例中，平均力度偏差计算单元30543具体用于根据公式得到用户演奏数据规整权重，其中，β表示用户演奏数据力度规整权重，Cstd表示所有标准演奏音符的力度的平均值，Cuser表示所有用户演奏音符的力度的平均值；
根据公式计算力度规整之后的用户演奏数据中所有音符与标准音符之间的平均力度偏差，其中，Soffset表示平均力度偏差，表示用户演奏数据中第i个音符的平均力度值，表示标准音符中第i个标准音符的平均力度值。
评分单元30544，用于根据平均音高错误率、平均时值偏差，以及平均力度偏差，对用户演奏数据进行总体评分。
具体地，将用户演奏数据中的平均音高错误率、平均时值偏差，以及平均力度偏差，进行融合，得到用户总体水平得分。
本申请对具体融合方法不作限制。
例如，通过如下公式加权组合用户演奏数据中的平均音高错误率、平均时值偏差，以及平均力度偏差，计算得到用户演奏数据总体评分Tscore，
其中，λij表示用户演奏数据中的第i个音符的第j维特征的权重，xij表示用户演奏数据中的第i个音符的第j维特征值，m表示音符特征维数，特征维数例如3维，即音高信息、时值信息，以及力度信息。
另一个实施例中，参见图6，还包括：
获取模块306，用于获取用户演奏时的乐器的使用情况。
本申请可以根据具体应用需求，对用户演奏时的技巧进行评分。
可选的，可以采用双通道的录音方式，即通道1记录用户演奏录音，通道2用来记录钢琴每个踏板的使用时间和每个手指的按键时间。
例如，以钢琴是三个踏板，和使用十个手指进行按键为例。
可以预先设计十三种不同频段的脉冲信号，表示每个踏板的使用情况和每个手指的按键情况，具体如在高频7kHz到8kHz之间划分十三个频段，7kHz到7.1kHz表示左踏板脉冲信号，7.1kHz到7.2kHz表示中间踏板脉冲信号，7.2kHz到7.3kHz表示右踏板脉冲信号，7.3kHz到7.35kHz表示左手小指的脉冲信号等。当使用其中一个踏板时，传感器接收踩踏的激励信号，将信号传送到通道2中，记录该信号的时间点。当用户演奏结束后，可以采集到演奏过程中，每个踏板的踩踏时间点和每个手指的按键时间点。
第二评分模块307，用于根据用户演奏时的乐器的使用情况，进行用户演奏技巧评分。
具体地，将得到的每个踏板时间点和每个手指的按键时间点与标准演奏数据中规定的时间点进行比对，如果采集到的时间点在标准演奏数据规定的时间点附近，则认为用户的操作正确。
例如，标准演奏数据中右踏板的使用时间点为第40s，用户在第39s或第41s的范围内使用了右踏板，认为用户的操作正确，从而可以得到用户正确操作次数，即正确使用踏板的次数和正确使用手指按键的次数。
进一步，根据正确操作次数进行演奏技巧评分。
本申请对具体技巧评分方法不作限定。
例如，技巧评分方法可以根据如下公式确定，
其中，PSKscore为用户演奏技巧得分，Pstd为标准演奏数据中规定的应该使用踏板总数，Puser为用户正确使用踏板总数，Qstd为标准演奏数据中规定的应该按键次数，Quser为用户正确按键次数；μ1为用户正确使用所有踏板时的得分，μ2为用户正确使用左右手按所有键时的得分。
本实施例通过获取用户演奏数据对应的频谱特征，计算用户演奏数据的NMF分解系数 H，并根据NMF分解系数H确定用户演奏音符信息，根据用户演奏音符信息对用户演奏数据进行评分，可以实现复调乐器的自动评分，从而有效提高复调乐器的评分效果且降低评分成本。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的， 不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种复调乐器评分方法，其特征在于，包括：
接收用户演奏数据；
对所述用户演奏数据进行特征提取以获取对应的频谱特征；
根据提取的所述频谱特征计算用户演奏数据的分解系数；
根据分解系数确定用户演奏音符信息，所述用户演奏音符信息包括音高信息、时值信息、力度信息，其中，所述时值信息用于标记所述用户演奏数据中的每个音符持续的帧数，所述力度信息用于标记每帧用户演奏数据在每个音符上的力度；
根据所述用户演奏音符信息对所述用户演奏数据进行评分。
2.根据权利要求1所述的方法，其特征在于，所述根据用户演奏音符信息，对用户演奏数据进行评分，包括：
获取标准演奏数据；
根据所述标准演奏数据构建标准评分模板；
将所述用户演奏数据与所述标准演奏数据对齐；
根据所述用户演奏数据中的每个音符与所述标准演奏数据中的标准音符的对应关系对所述用户演奏数据进行评分。
3.根据权利要求2所述的方法，其特征在于，所述根据用户演奏数据中的每个音符与所述标准演奏数据中的标准音符的对应关系对用户演奏数据进行评分，具体包括：
计算所述用户演奏数据中所有音符与所述标准音符之间的平均音高错误率；
计算所述用户演奏数据中所有音符与所述标准音符之间的平均时值偏差；
计算所述用户演奏数据中所有音符与所述标准音符之间的平均力度偏差；
根据所述平均音高错误率、平均时值偏差，以及平均力度偏差，对所述用户演奏数据进行总体评分。
4.根据权利要求1所述的方法，其特征在于，在所述根据用户演奏音符信息对用户演奏数据进行评分之后，还包括：
获取用户演奏时的乐器的使用情况；
根据用户演奏时的乐器的使用情况，进行用户演奏技巧评分。
5.一种复调乐器评分装置，其特征在于，包括：
接收模块，用于接收用户演奏数据；
提取模块，用于对所述用户演奏数据进行特征提取以获取对应的频谱特征；
计算模块，用于根据提取的所述频谱特征计算用户演奏数据的分解系数；
确定模块，用于根据分解系数确定用户演奏音符信息，所述用户演奏音符信息包括音高信息、时值信息、力度信息，其中，所述时值信息用于标记所述用户演奏数据中的每个音符持续的帧数，所述力度信息用于标记每帧用户演奏数据在每个音符上的力度；
第一评分模块，用于根据所述用户演奏音符信息对所述用户演奏数据进行评分。
6.根据权利要求5所述的装置，其特征在于，所述第一评分模块具体包括：
获取子模块，用于获取标准演奏数据；
标准评分模板构建子模块，用于根据所述标准演奏数据构建标准评分模板；
对齐子模块，用于将所述用户演奏数据与所述标准演奏数据对齐；
评分子模块，用于根据所述用户演奏数据中的每个音符与所述标准演奏数据中的标准音符的对应关系对所述用户演奏数据进行评分。
7.根据权利要求6所述的装置，其特征在于，所述评分子模块具体包括：
平均音高错误率计算单元，用于计算所述用户演奏数据中所有音符与所述标准音符之间的平均音高错误率；
平均时值偏差计算单元，用于计算所述用户演奏数据中所有音符与所述标准音符之间的平均时值偏差；
平均力度偏差计算单元，用于计算所述用户演奏数据中所有音符与所述标准音符之间的平均力度偏差；
评分单元，用于根据所述平均音高错误率、平均时值偏差，以及平均力度偏差，对所述用户演奏数据进行总体评分。
8.根据权利要求5所述的装置，其特征在于，还包括：
获取模块，用于获取用户演奏时的乐器的使用情况；
第二评分模块，用于根据用户演奏时的乐器的使用情况，进行用户演奏技巧评分。
CN201510428450.5A 2015-07-20 2015-07-20 复调乐器的评分方法和装置 Active CN105070298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510428450.5A CN105070298B (zh) 2015-07-20 2015-07-20 复调乐器的评分方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510428450.5A CN105070298B (zh) 2015-07-20 2015-07-20 复调乐器的评分方法和装置

Publications (2)

Publication Number Publication Date
CN105070298A CN105070298A (zh) 2015-11-18
CN105070298B true CN105070298B (zh) 2019-07-30

Family

ID=54499651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510428450.5A Active CN105070298B (zh) 2015-07-20 2015-07-20 复调乐器的评分方法和装置

Country Status (1)

Country Link
CN (1) CN105070298B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719661B (zh) * 2016-01-29 2019-06-11 西安交通大学 一种弦乐器演奏音质自动判别方法
CN106228965A (zh) * 2016-07-12 2016-12-14 赵倩仪 一种基于音频识别的乐器教学辅助方法
CN106340286B (zh) * 2016-09-27 2020-05-19 华中科技大学 一种通用的实时乐器演奏评价系统
CN108074437A (zh) * 2016-11-18 2018-05-25 北京酷我科技有限公司 一种钢琴演奏的纠错方法及系统
CN108074553A (zh) * 2016-11-18 2018-05-25 北京酷我科技有限公司 一种钢琴演奏的评价方法及系统
CN108074438A (zh) * 2016-11-18 2018-05-25 北京酷我科技有限公司 一种钢琴演奏的纠错方法及系统
CN108711336B (zh) * 2018-04-27 2020-05-12 山东英才学院 一种钢琴演奏评分方法、装置、计算机设备及存储介质
CN109671332A (zh) * 2019-02-24 2019-04-23 苏州缪斯谈谈科技有限公司 一种乐器辅助智能教学系统及其教学方法
CN113744764B (zh) * 2019-09-02 2024-04-26 深圳市平均律科技有限公司 一种演奏时值信息与曲谱时值信息最优比对路径的获得方法
CN110675879B (zh) * 2019-09-04 2023-06-23 平安科技（深圳）有限公司 基于大数据的音频评估方法、系统、设备及存储介质
CN111477249A (zh) * 2020-04-03 2020-07-31 北京乐界乐科技有限公司 一种用于乐器的智能评分方法
CN111415682A (zh) * 2020-04-03 2020-07-14 北京乐界乐科技有限公司 一种用于乐器的智能评测方法
CN113658481B (zh) * 2021-08-06 2023-02-14 安徽多效信息科技有限公司 一种基于深度学习的钢琴弹奏识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889224A (en) * 1996-08-06 1999-03-30 Yamaha Corporation Karaoke scoring apparatus analyzing singing voice relative to melody data
CN1226048A (zh) * 1998-01-29 1999-08-18 雅马哈株式会社 具有本地培训终端和远程监控站的音乐教学系统
US6072113A (en) * 1996-10-18 2000-06-06 Yamaha Corporation Musical performance teaching system and method, and machine readable medium containing program therefor
CN1629901A (zh) * 2003-12-15 2005-06-22 联发科技股份有限公司 卡拉ok评分装置与方法
CN101777341A (zh) * 2009-01-13 2010-07-14 雅马哈株式会社 音乐演奏练习装置及方法
CN102317991A (zh) * 2009-01-21 2012-01-11 缪莎有限公司 用于演奏音乐的教学的基于计算机的系统
CN103366723A (zh) * 2012-03-26 2013-10-23 雅马哈株式会社 电子打击乐器组和演奏评价装置
CN103531189A (zh) * 2013-09-25 2014-01-22 熊世林 一种用于智能电钢琴的演奏评价器
CN104183171A (zh) * 2013-05-23 2014-12-03 杭州灵机科技有限公司 一种基于电子乐谱的乐器演奏水平精准评判的系统和方法
CN103514866B (zh) * 2012-06-28 2018-01-16 深圳市咪发发科技有限公司 一种乐器演奏评分的方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4229058B2 (ja) * 2004-12-10 2009-02-25 ヤマハ株式会社 端末装置および記録媒体
EP2261896B1 (en) * 2008-07-29 2017-12-06 Yamaha Corporation Performance-related information output device, system provided with performance-related information output device, and electronic musical instrument
CN103151029A (zh) * 2013-02-28 2013-06-12 上海罗兰数字音乐文化投资有限公司 电子乐器信号的处理方法及系统
CN104516670B (zh) * 2013-12-25 2018-08-28 柳州金之源商务服务有限公司 有力度感的乐器琴键
CN103971674B (zh) * 2014-05-22 2017-02-15 天格科技（杭州）有限公司 一种演唱实时评分方法
CN104658528B (zh) * 2015-02-05 2018-05-25 得理电子(上海)有限公司 一种电声架子鼓底鼓的自动多踩实现方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889224A (en) * 1996-08-06 1999-03-30 Yamaha Corporation Karaoke scoring apparatus analyzing singing voice relative to melody data
US6072113A (en) * 1996-10-18 2000-06-06 Yamaha Corporation Musical performance teaching system and method, and machine readable medium containing program therefor
CN1226048A (zh) * 1998-01-29 1999-08-18 雅马哈株式会社 具有本地培训终端和远程监控站的音乐教学系统
CN1629901A (zh) * 2003-12-15 2005-06-22 联发科技股份有限公司 卡拉ok评分装置与方法
CN101777341A (zh) * 2009-01-13 2010-07-14 雅马哈株式会社 音乐演奏练习装置及方法
CN102317991A (zh) * 2009-01-21 2012-01-11 缪莎有限公司 用于演奏音乐的教学的基于计算机的系统
CN103366723A (zh) * 2012-03-26 2013-10-23 雅马哈株式会社 电子打击乐器组和演奏评价装置
CN103514866B (zh) * 2012-06-28 2018-01-16 深圳市咪发发科技有限公司 一种乐器演奏评分的方法及装置
CN104183171A (zh) * 2013-05-23 2014-12-03 杭州灵机科技有限公司 一种基于电子乐谱的乐器演奏水平精准评判的系统和方法
CN103531189A (zh) * 2013-09-25 2014-01-22 熊世林 一种用于智能电钢琴的演奏评价器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Non-Negative Matrix Factorization for Polyphonic Music Transcription";Paris Smaragdis ET AL;《2013IEEE Workshop on applications of Signal Processing to audio acoustic》;20030122;第177-179页 *

Also Published As

Publication number Publication date
CN105070298A (zh) 2015-11-18

Similar Documents

Publication Publication Date Title
CN105070298B (zh) 复调乐器的评分方法和装置
CN103824565B (zh) 一种基于音符和时值建模的哼唱识谱方法及系统
Condit-Schultz MCFlow: A digital corpus of rap transcriptions
Teixeira et al. Motion analysis of clarinet performers
EP1606793A1 (en) Speech recognition method
CN111554256B (zh) 一种基于强弱标准的钢琴视奏能力评价系统
Duinker et al. In search of the golden age hip-hop sound (1986–1996)
CN102880693A (zh) 一种基于个体发声能力的音乐推荐方法
Caruso et al. Gestures in contemporary music performance: a method to assist the performer’s artistic process
Wang et al. Real-time pitch training system for violin learners
Sabu et al. Automatic assessment of children’s oral reading using speech recognition and prosody modeling
Zhang [Retracted] Practice and Exploration of Music Solfeggio Teaching Based on Data Mining Technology
Vurkaç Clave-direction analysis: A new arena for educational and creative applications of music technology
CN108091207A (zh) 一种盲人钢琴
Jaime et al. A new multiformat rhythm game for music tutoring
CN208706088U (zh) 一种盲人钢琴
CN108182946B (zh) 一种基于声纹识别的声乐模式选择方法及装置
Prince et al. Cross-modal melodic contour similarity
Jimenez et al. What helps jazz musicians name tunes from harmony? The relationship between work with harmony and the ability to identify well-known jazz standards from chord progressions
Youngblood MUSIC AND LANGUAGE: SOME RELATED ANALYTICAL TECHNIQUES.
Kokkinidis et al. Error prooving and sensorimotor feedback for singing voice
Gupta Comprehensive evaluation of singing quality
Acquilino et al. Detecting efficiency in trumpet sound production: proposed methodology and pedagogical implications
AlTalmas et al. Characteristics with opposite of quranic letters mispronunciation detection: a classifier-based approach
Rector " Inbetween" Performance: Morton Feldman's Piano (Three Hands)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant