CN109871467A - 一种基于判决隐马尔可夫模型的钢琴指法自动标注方法 - Google Patents

Abstract

本发明涉及一种基于判决隐马尔可夫模型的钢琴指法自动标注方法，包括以下步骤：建立标注好指法的数字钢琴乐谱代表集；从乐谱中提取音符的音高序列和对应的指法序列；将指法标注过程映射为一个隐藏的马尔可夫链随机生成不可观测的指法状态随机序列，再由各个指法状态生成一个观测音符而产生音符随机序列的过程，建立隐马尔可夫模型；利用极大似然估计法估计判决隐马尔可夫模型的指法转移概率和音符观测概率；对于输入的待标注音符序列，利用训练好的转移概率和观测概率参数，结合判决函数，使用维特比算法，回溯得到最优指法路径。

Description

一种基于判决隐马尔可夫模型的钢琴指法自动标注方法

技术领域

本发明属于自然语言处理领域中的序列标注问题，通过结合钢琴指法的先验知识，对机器学习算法进行改进，修正现有方法中标注结果存在物理不可实现情况的问题，完成钢琴指法的自动标注任务。

背景技术

指法是钢琴演奏中最基本最重要的技术之一。合理的指法，指手指的运动规律满足以下几点：(1)符合手的生理结构及每个手指的灵活性等特点；(2)满足手指与音符间的关系。适当的指法可以增加演奏的流畅性，对快板(Allegro)类乐曲尤为重要。理论上每个钢琴谱都存在最佳指法序列，但目前乐谱的理想指法仍主要依赖实践经验和反复尝试。因此钢琴乐谱自动指法标注可以节省实践时的探索时间，消除业余爱好者早期的演奏障碍，并为职业钢琴家提供初始参考指法。如果将该任务看成钢琴演奏机器人运动规划的一部分，实现指法自动标注的方法还能推广至使用类人机器手的更一般的机器人操作任务中。我们的研究目标是为乐谱中的音符序列，预测对应的指法序列，即选择舒适正确的手指号完成弹奏。它可以看作是一个时间序列的预测问题，需要利用时刻间音符和指法的相关性进行标注。

隐马尔可夫模型(HMM)是解决时间序列标注问题常用的统计学习模型，它描述由一个隐藏的马尔科夫链随机生成不可观测的状态序列，再由各个状态生成一个观测而产生观测随机序列的过程。将模型映射到钢琴指法标注问题中，音符序列对应观测序列，目标是预测不可见的指法状态序列。模型参数包括指法状态转移概率矩阵和音符输出概率矩阵，预测阶段使用两个概率矩阵采用维特比算法，利用动态规划的原理在路径搜索图中选择最大概率路径为最优的指法序列。

但一阶HMM假设每个时刻的指法状态只与前一时刻指法状态和当前时刻音符观测有关，没有利用更长距离的指法和音符信息，导致标注结果出现了物理不可弹指法，包括错误的穿跨指和超出手指间最大跨度的指法。

发明内容

本发明的主要目的是结合钢琴指法先验知识，对隐马尔可夫模型进行改进，提供一种钢琴指法自动标注方法，修剪动态规划寻找路径中的不可弹指法路径，解决现有方法中出现物理不可弹指法的问题，从而为钢琴演奏者提供指导。技术方案如下：

一种基于判决隐马尔可夫模型的钢琴指法自动标注方法，包括以下步骤：

1)建立标注好指法的xml格式数字钢琴乐谱代表集；

2)从乐谱中提取音符的音高序列和对应的指法序列；

3)将指法标注过程映射为一个隐藏的马尔可夫链随机生成不可观测的指法状态随机序列，再由各个指法状态生成一个观测音符而产生音符随机序列的过程，建立隐马尔可夫模型；

4)利用正确指法类型和指法的音程约束两个先验知识为隐马尔可夫模型加入ψ₁和ψ₂判决函数，得到判决隐马尔可夫模型，当使用ψ₂标注时若出现找不到可选路径的极端情况，则替换为ψ'₂，放松音程约束，增多待选路径；判决函数用以结合相邻音符信息约束指法路径的搜索空间，判决函数如下：

其中o_t,o_t-1∈{o₁,o₂,...,o_N}，N表示音符种类的数目，表示音符序列中t和t-1时刻的音符号；s_t,s_t-1∈{s₁,s₂,...,s_M}，M表示指法种类的数目，表示指法序列中t和t-1时刻的指法号，指法号小于5为单音指法，大于5为和弦指法；Sgn表示符号函数；MaxComf(s_t,s_t-1)为表2中s_t-s_t-1行，MaxComf列的对应值，表示两种单音指法在舒适状态下可跨的最大音程差；MaxPrac(s_t,s_t-1)为表2中s_t-s_t-1行，MaxPrac列的对应值，表示两种单音指法在可实现状态下的最大音程差；left或right用于区分o_t,o_t-1,s_t,s_t-1为左手或右手演奏的音符和指法序列；

5)利用极大似然估计法估计判决隐马尔可夫模型的指法转移概率和音符观测概率；

6)对于输入的待标注音符序列，利用训练好的转移概率和观测概率参数，结合判决函数ψ₁和ψ₂，使用维特比算法，递推地计算在时刻t指法状态为i的各条部分路径的最大概率，直至得到终点时刻状态为i的各条路径的最大概率，选择终点时刻的最大概率状态为最终的指法状态，以此回溯得到最优指法路径。

优选地，步骤4)中，将ψ₂替换为ψ'₂，后，若问题仍然存在，音符分布超出手部自然状态下的可弹范围，将指法序列从当前时刻断开，从下一时刻重新开始进行后续指法标注。

步骤5)具体如下：

a).统计样本的指法序列中时刻t处于指法状态i、时刻t+1转移到指法状态j的频数为A_ij，则指法转移概率a_ij的估计是

b).统计样本中指法状态为j并音符观测为k的频数是B_jk，则指法状态为j音符观测为k的概率b_j(k)的估计是

其中M为指法种类数，N为音符种类数。

本发明提出了一种基于判决隐马尔可夫模型的钢琴指法自动标注算法。我们结合指法规则的先验知识，包括正确指法类型和手部舒适状态的最大音程跨度两个先验知识，在判决HMM中引入判决函数，克服了传统HMM不能结合音符序列信息的缺点，去除了错误的穿跨指和超出可弹跨度的指法。然后在预测指法路径时，利用修改后的模型参数在修剪了不可弹的路径后，寻找概率最大的指法路径。通过一定量数据集的实验验证，相较之前的算法性能有了较大的提升，一致率提升至58％，错误指法占比降为0％。

附图说明

图1本发明的系统流程图

图2预测阶段的维特比算法路径搜索示意图

具体实施方式

本发明利用钢琴指法的先验知识对HMM的训练和预测阶段进行改进，提出了基于判决HMM的钢琴指法自动标注算法。结合的钢琴指法先验知识如下：

(1)正确指法类型

钢琴乐谱中的音符序列由单音符和多音符和弦构成。单音符序列基本指法包括：顺指法，穿指法，跨指法，扩指法，缩指法。顺指法即在自然手位下，一个手指弹奏一个音符，它是演奏中最常用的基本指法。穿指和跨指即“拇指潜移”和“穿跨拇指”，分别指将1指从2、3、4指下面穿过和将2、3、4指从1指上面越过，其他手指间的穿跨不被允许，穿跨指主要发生在连续的音符上升或下降时，作为更换手位处的衔接。扩指和缩指即手指的横向张开和横向紧缩，发生在两个手指编号差小于或大于音符间音程时。和弦指法包括同一时刻发生的顺指和扩指。

上述5种基本指法包括了所有允许的手指转移组合，其中穿跨指对手指号有要求，因此5*5个手指转移组合不全是任意可行的。以右手为例，音符升时，2、3、4指到1指的转移是正确穿指，其他手指号降的转移为错误穿指；音符降时，1指到2、3、4指的转移是正确跨指，其余手指号升的转移为错误跨指，左手情况与上述相反。表1总结了右手音符降同时也是左手音符升时的正误手指转移组合，错误指法即错误跨指，右手音符升同时也是左手音符降时的正确指法和错误穿指情况与表1斜对角镜像对称。我们利用这一先验知识保证指法的正确性。

表1左手音符升/右手音符降的正误指法

(2)音程约束

正确的手指转换需要在两指间可承受的音程跨度下实现，Parncutt等总结了任意两指在轻松、舒适和可实现三种弹奏状态下的最大音程差，详见表2。

表2两指在轻松、舒适和可实现状态下的最大音程差

我们选取舒适状态下的最大音程差MaxComf约束可转移的手指选项，超出MaxComf音程跨度的指法组合均视为很吃力的指法，尽量不被使用。

结合上述钢琴指法先验知识，我们对隐马尔可夫模型(HMM)进行改进，提出了判决隐马尔可夫模型(DHMM)：在训练阶段修改模型参数，引入对应两种先验知识的判决函数，使得预测阶段寻找最优路径时，结合音符序列修剪了物理不可弹指法路径，保证了标注结果是物理可弹的。

本发明采用如下的技术方案：

1)收集数据。收集具有指法标签的数据集(包括Bach 28短片钢琴(28首)，Cherny299(5首)和中国音乐学院社会艺术水平考级1-3级(7首)，共计四十首，左手4000多音符，右手6000多音符。)，所有数据为xml格式的乐谱，从xml文件中提取文本格式的音符序列和指法序列，作为训练集和验证集。

2)训练模型。为HMM引入两个判决函数作为新的模型参数，用于结合相邻时刻音符信息对指法转移概率进行修正，判决函数直接根据表一和表二中的先验知识确定。待训练参数仍为指法转移概率和音符输出概率，采用极大似然估计法进行有监督训练，由于左右手数据的音符、指法概率分布情况不同，因此分别使用左右手的音符和指法数据训练两组模型参数。

3)预测结果。利用训练得到的指法状态转移概率矩阵和音符输出概率矩阵，以及根据先验知识确定的两个判决函数，采用维特比算法预测标注指法序列，寻找所有路径中的最大概率路径。由于引入的两个判决函数会将不可弹指法概率判决为0，使得错误的穿跨指和超出音程跨度的指法路径被修剪掉了，得到的是完全物理可实现的指法序列。

下面结合实施例对本发明进行详细说明。

1)判决隐马尔可夫模型

设输入的音符序列是o₁，o₂，o₃…o_N-1，o_N∈O，对应的指法序列是s₁，s₂，s₃…，s_N-1，s_N∈S。

预测目标是：

一阶HMM使用下式分解分母的联合概率：

分子是定值，因此HMM的预测目标变为：

上式体现了HMM的假设，即每个时刻的指法状态只与前一时刻指法和当前时刻音符输出有关，与音符间的关系无关。这与指法规则的先验知识不符，它造成指法的搜索空间中出现了不可弹指法。因此我们修改联合概率的分解公式为：

则预测目标变为：

此时，模型假设每个时刻的指法与前一时刻的指法和音符及当前时刻的音符有关，目的是结合表1和表2中的先验知识，引入音符间的升降和音程信息，排除错误的穿跨指以及超出可弹跨度的指法。我们将P(s_t|s_t-1，o_t，o_t-1)定义为P(s_t|s_t-1)和2个判决函数ψ₁(o_t，o_t-1，s_t，s_t-1)、ψ₂(o_t，o_t-1，s_t，s_t-1)∈{0，1}的乘积：

P(s_t|s_t-1，o_t，o_t-1)＝ψ₁(o_t，o_t-1，s_t，s_t-1)·ψ₂(o_t，o_t-1，s_t，s_t-1)·P(s_t|s_t-1)

其中函数ψ₁利用相邻音符的升降信息判断当前的转指是否为错误的穿跨指，如果是，则ψ₁的值置为0，否则置为1，保留在转指组合空间中所有正确组合的概率，将错误的转指概率置为0。同理，对当前指法面临的音程跨度作判断，若超出表2中对应行的MaxComf值，则ψ₂值置为0，否则置为1。

2)维特比算法

维特比算法定义了两个变量δ和δ为时刻t指法为i的所有单个路径(i₁，i₂，…，i_t)中概率最大值：

由判决HMM定义可得变量δ的递推公式：

在时刻t状态为i的所有单个路径(i₁，i₂，…，i_t-1，i)中概率最大的路径的第t-1个结点为：

在最终时刻选择δ最大的指法状态为最后时刻指法状态：

接着以为起点回溯所有的得到最大概率路径为最优的指法路径：

由于判决函数为0时，两个时刻之间待选的指法转移路径会变少，某些转移路径被剪掉了。极少数音符序列特殊的情况下，会出现某些时刻δ_t(i)全为0，即t时刻没有可选指法了。此时我们的选择是将ψ₂使用的最大音程跨度适当放大一些，不超过MaxPrac，这样会增多所有时刻的可选指法路径，减小出现没有可选指法的可能性。最坏的情况下则需要在t时刻与t-1时刻之间增加一个分段间隔。

Claims (3)

1.一种基于判决隐马尔可夫模型的钢琴指法自动标注算法，包括以下步骤：

1)建立标注好指法的xml格式数字钢琴乐谱代表集；

2)从乐谱中提取音符的音高序列和对应的指法序列；

3)将指法标注过程映射为一个隐藏的马尔可夫链随机生成不可观测的指法状态随机序列，再由各个指法状态生成一个观测音符而产生音符随机序列的过程，建立隐马尔可夫模型。

4)利用正确指法类型和指法的音程约束两个先验知识为隐马尔可夫模型加入ψ₁和ψ₂判决函数，得到判决隐马尔可夫模型，当使用ψ₂标注时若出现找不到可选路径的极端情况，则替换为ψ'₂，放松音程约束，增多待选路径；判决函数用以结合相邻音符信息约束指法路径的搜索空间，判决函数如下：

其中o_t,o_t-1∈{o₁,o₂,...,o_N}，N表示音符种类的数目，表示音符序列中t和t-1时刻的音符号；s_t,s_t-1∈{s₁,s₂,...,s_M}，M表示指法种类的数目，表示指法序列中t和t-1时刻的指法号，指法号小于5为单音指法，大于5为和弦指法；Sgn表示符号函数；MaxComf(s_t,s_t-1)为表2中s_t-s_t-1行，MaxComf列的对应值，表示两种单音指法在舒适状态下可跨的最大音程差；MaxPrac(s_t,s_t-1)为表2中s_t-s_t-1行，MaxPrac列的对应值，表示两种单音指法在可实现状态下的最大音程差；left或right用于区分o_t,o_t-1,s_t,s_t-1为左手或右手演奏的音符和指法序列；

5)利用极大似然估计法估计判决隐马尔可夫模型的指法转移概率和音符观测概率；

6)对于输入的待标注音符序列，利用训练好的转移概率和观测概率参数，结合判决函数ψ₁和ψ₂，使用维特比算法，递推地计算在时刻t指法状态为i的各条部分路径的最大概率，直至得到终点时刻状态为i的各条路径的最大概率，选择终点时刻的最大概率状态为最终的指法状态，以此回溯得到最优指法路径。

2.根据权利要求1所述的方法，其特征在于，步骤4)中，将ψ₂替换为ψ'₂，后，若问题仍然存在，音符分布超出手部自然状态下的可弹范围，将指法序列从当前时刻断开，从下一时刻重新开始进行后续指法标注。

3.根据权利要求1所述的方法，其特征在于，步骤5)具体如下：

a).统计样本的指法序列中时刻t处于指法状态i、时刻t+1转移到指法状态j的频数为A_ij，则指法转移概率a_ij的估计是

b).统计样本中指法状态为j并音符观测为k的频数是B_jk，则指法状态为j音符观测为k的概率b_j(k)的估计是

其中M为指法种类数，N为音符种类数。