CN114822593B - 演奏数据识别方法及系统 - Google Patents

Abstract

本申请提供一种演奏数据识别方法及系统，通过采集至少一个演奏事件演奏活动音频数据及音位类别分布概率信息，并基于每个演奏事件的演奏活动音频数据，确定该演奏事件在其所基于的演奏时序图谱下的多种目标指法数据分别对应的目标演奏特征向量，将目标演奏特征向量传递至初始演奏数据识别模型中进行游走训练，获取该演奏事件的预测音位类别信息，基于预测音位类别信息以及音位类别分布概率信息对初始演奏数据识别模型进行模型训练和优化，获取目标演奏数据识别模型。本申请能够训练学习多种不同演奏时序图谱的演奏音位向量，基于这种目标演奏数据识别模型进行目标演奏数据的音位类别识别可以提高演奏数据识别精度。

Description

演奏数据识别方法及系统

技术领域

本申请涉及演奏数据处理技术领域，具体而言，涉及一种演奏数据识别方法及系统。

背景技术

随着人工智能技术的应用，对于各类乐器的演奏数据而言，基于演奏数据进行特征分析，以便于获得其音位类别的变化，从而更有效地便于后续的教学指导工作，是当前的研究重点。也即，如何有效进行目标演奏数据的音位类别识别，提高演奏数据识别精度，是当前亟待研究的技术发展趋势。

发明内容

为了至少克服现有技术中的上述不足，本申请的目的在于提供一种演奏数据识别方法及系统。

第一方面，本申请提供一种演奏数据识别方法，应用于演奏数据学习系统，所述演奏数据学习系统与多个演奏音频数据采集设备通信连接，所述方法包括：

采集至少一个演奏事件在第一演奏片段内基于至少两个演奏时序图谱进行演奏活动的演奏活动音频数据，以及每个所述演奏事件在第二演奏片段在其所基于的所述演奏时序图谱执行预设音位类别的音位类别分布概率信息；至少两个所述演奏时序图谱包括一个全局演奏时序图谱以及至少一个单位演奏时序图谱；

对应于每个演奏事件，基于该演奏事件在第一演奏片段内的所述演奏活动音频数据，确定该演奏事件在其所基于的演奏时序图谱下的多种目标指法数据分别对应的目标演奏特征向量；

将各个演奏事件的所述目标演奏特征向量传递至初始演奏数据识别模型中进行从所述全局演奏时序图谱至所述至少两个演奏时序图谱的游走训练，获取该演奏事件在其所基于的演奏时序图谱的预测音位类别信息；

基于每个所述演奏事件在其所基于的演奏时序图谱的预测音位类别信息，以及该演奏事件在其所基于的演奏时序图谱执行预设音位类别的音位类别分布概率信息，对所述初始演奏数据识别模型进行模型训练和优化，获取目标演奏数据识别模型，并基于所述目标演奏数据识别模型进行目标演奏数据的音位类别识别。

第二方面，本申请还提供一种演奏数据识别系统，所述演奏数据识别系统包括演奏数据学习系统以及与所述演奏数据学习系统通信连接的多个演奏音频数据采集设备；

所述演奏数据学习系统，用于：

采集至少一个演奏事件在第一演奏片段内基于至少两个演奏时序图谱进行演奏活动的演奏活动音频数据，以及每个所述演奏事件在第二演奏片段在其所基于的所述演奏时序图谱执行预设音位类别的音位类别分布概率信息；至少两个所述演奏时序图谱包括一个全局演奏时序图谱以及至少一个单位演奏时序图谱；

对应于每个演奏事件，基于该演奏事件在第一演奏片段内的所述演奏活动音频数据，确定该演奏事件在其所基于的演奏时序图谱下的多种目标指法数据分别对应的目标演奏特征向量；

将各个演奏事件的所述目标演奏特征向量传递至初始演奏数据识别模型中进行从所述全局演奏时序图谱至所述至少两个演奏时序图谱的游走训练，获取该演奏事件在其所基于的演奏时序图谱的预测音位类别信息；

基于每个所述演奏事件在其所基于的演奏时序图谱的预测音位类别信息，以及该演奏事件在其所基于的演奏时序图谱执行预设音位类别的音位类别分布概率信息，对所述初始演奏数据识别模型进行模型训练和优化，获取目标演奏数据识别模型，并基于所述目标演奏数据识别模型进行目标演奏数据的音位类别识别。

基于以上方面，本申请通过采集至少一个演奏事件演奏活动音频数据及音位类别分布概率信息，并基于每个演奏事件的演奏活动音频数据，确定该演奏事件在其所基于的演奏时序图谱下的多种目标指法数据分别对应的目标演奏特征向量，将目标演奏特征向量传递至初始演奏数据识别模型中进行游走训练，获取该演奏事件的预测音位类别信息，基于预测音位类别信息以及音位类别分布概率信息对初始演奏数据识别模型进行模型训练和优化，获取目标演奏数据识别模型。如此，能够基于游走训练方式，使得模型训练和优化的目标演奏数据识别模型学习到多种不同演奏时序图谱的演奏音位向量，基于这种目标演奏数据识别模型进行目标演奏数据的音位类别识别可以提高演奏数据识别精度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要基于的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的演奏数据识别系统的应用场景示意图。

图2为本申请实施例提供的演奏数据识别方法的流程示意图。

图3为本申请实施例提供的用于实现上述的演奏数据识别方法的演奏数据学习系统的结构示意框图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是本申请一种实施例提供的演奏数据识别系统10的场景示意图。演奏数据识别系统10可以包括演奏数据学习系统100以及与演奏数据学习系统100通信连接的演奏音频数据采集设备200。图1所示的演奏数据识别系统10仅为一种可行的示例，在其它可行的实施例中，该演奏数据识别系统10也可以仅包括图1所示组成部分的其中的至少部分或者还可以包括其它的组成部分。

一种示例性的实现方案中，演奏数据识别系统10中的演奏数据学习系统100和演奏音频数据采集设备200可以通过配合执行以下方法实施例所描述的演奏数据识别方法，具体演奏数据学习系统100和演奏音频数据采集设备200的执行步骤部分可以参照以下方法实施例的详细描述。

为了解决前述背景技术中的技术问题，图2为本申请实施例提供的演奏数据识别方法的流程示意图，本实施例提供的演奏数据识别方法可以由图1中所示的演奏数据学习系统100执行，下面对该演奏数据识别方法进行详细介绍。

步骤R101：获取至少两个第一演奏事件中每个第一演奏事件在第一演奏片段内基于所述全局演奏时序图谱执行随机演奏活动的演奏活动音频数据，以及每个所述第一演奏事件在第二演奏片段基于所述全局演奏时序图谱执行预设音位类别的音位类别分布概率信息。

步骤R102：获取多个所述第二演奏事件中每个第二演奏事件在第一演奏片段内按照其基于的所述单位演奏时序图谱执行随机演奏活动的演奏活动音频数据，以及每个所述第二演奏事件在第二演奏片段在其所基于的所述单位演奏时序图谱执行预设音位类别的音位类别分布概率信息。此处，步骤R101和步骤R102无执行的先后顺序。

通过步骤R101获取了演奏活动音频数据和音位类别分布概率信息后，执行步骤R102，确定每种演奏时序图谱下的多种目标指法数据分别对应的目标演奏特征向量。

步骤R102：对应于每个演奏事件，基于该演奏事件在第一演奏片段内的所述演奏活动音频数据，确定该演奏事件在其所基于的演奏时序图谱下的多种目标指法数据分别对应的目标演奏特征向量。

一种示例性的实现方案中，目标演奏特征向量包括前向目标演奏特征向量以及后向目标演奏特征向量；多种目标指法数据包括：多种基础目标指法数据以及多种扩充目标指法数据。

其中，前向目标演奏特征向量为全局演奏时序图谱对应的第一演奏事件的目标演奏特征向量；后向目标演奏特征向量为基于各个单位演奏时序图谱进行演奏活动的各个第二演奏事件的目标演奏特征向量。

上述步骤R102中所指多种目标指法数据，例如可以包括基础目标指法数据和扩充目标指法数据；基础目标指法数据，基于目标指法数据的具体可以有多种；扩充目标指法数据，也可以基于不同的指法方式划分为多种扩充目标指法数据。

其中，为每个演奏事件确定的多种目标指法数据分别对应的目标演奏特征向量，包括：针对基础目标指法数据的目标演奏特征向量，以及针对每一种扩充目标指法数据对应的目标演奏特征向量。

针对基于全局演奏时序图谱和单位演奏时序图谱进行不同演奏事件，可以采用下述方式获得每个演奏事件在其所基于的演奏时序图谱下的多种目标指法数据分别对应的目标演奏特征向量：

A：针对第一演奏事件，可以采用下述方式获取每个第一演奏事件的前向目标演奏特征向量：

对应于每个所述第一演奏事件，依据该第一演奏事件在所述全局演奏时序图谱下的演奏活动音频数据，提取该第一演奏事件在所述全局演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的前向目标演奏特征向量。

例如，可以采用下述步骤获取每个第一演奏事件在全局演奏时序图谱下的多种目标指法数据分别对应的目标演奏特征向量：

步骤R201：对应于每个所述第一演奏事件，依据该第一演奏事件在所述全局演奏时序图谱下的演奏活动音频数据，确定该第一演奏事件在所述全局演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的多个预设目标指法数据向量下的关注特征向量数值。

步骤R202：依据该第一演奏事件在所述全局演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的多个预设目标指法数据向量下的关注特征向量数值，确定该第一演奏事件在所述全局演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的前向目标演奏特征向量。

此处，每种基础目标指法数据都对应有多个预设目标指法数据向量，且不同的基础目标指法数据对应的预设目标指法数据向量可以不同。

所生成的某种目标指法数据对应的目标演奏特征向量中的各个向量片段的值，即为第一演奏事件在全局演奏时序图谱下的该目标指法数据对应的多个预设目标指法数据向量下的关注特征向量数值。

B：针对第二演奏事件，可以采用下述方式获取每个第二演奏事件的后向目标演奏特征向量：

对应于每个所述第二演奏事件，基于该第二演奏事件在其基于的单位演奏时序图谱下的演奏活动音频数据，提取该第二演奏事件在其基于的所述单位演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的后向目标演奏特征向量。

例如，可以采用下述步骤获取每个第二演奏事件在其所基于的单位演奏时序图谱下的多种目标指法数据分别对应的目标演奏特征向量：

步骤R301：对应于每个所述第二演奏事件，基于该第二演奏事件在其基于的所述单位演奏时序图谱下的演奏活动音频数据，确定该第二演奏事件在其基于的所述单位演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的多个预设目标指法数据向量下的关注特征向量数值；

步骤R302：基于该第二演奏事件在其基于的所述单位演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的多个预设目标指法数据向量下的关注特征向量数值，确定该第二演奏事件在其基于的所述单位演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的后向目标演奏特征向量。

此处，每种扩充目标指法数据也都对应有多个预设目标指法数据向量，且不同的扩充目标指法数据对应的预设目标指法数据向量也可以不同。

此外，在构成前向目标演奏特征向量和后向目标演奏特征向量之前，还可以对第一演奏事件在所述全局演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的多个预设目标指法数据向量下的关注特征向量数值，和/或，第二演奏事件在其基于的所述单位演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的多个预设目标指法数据向量下的关注特征向量数值。

通过上述步骤得到最终的前向目标演奏特征向量以及后向目标演奏特征向量后，本申请实施例提供的目标演奏数据识别模型训练方法还包括下述步骤R103和步骤R104：

步骤R103：将各个演奏事件的所述目标演奏特征向量传递至初始演奏数据识别模型中进行从所述全局演奏时序图谱至所述至少一个单位演奏时序图谱的游走训练，获取该演奏事件在其所基于的演奏时序图谱的预测音位类别信息。

其中，初始演奏数据识别模型包括：整体向量聚合结构、学习识别结构，所述基础目标指法数据对应的第一单位向量聚合结构，以及所述扩充目标指法数据对应的第二单位向量聚合结构。

此处，当确定每个演奏事件在其所基于的演奏时序图谱下，与其所基于的演奏时序图谱下的多种目标指法数据分别对应的目标演奏特征向量后，通过提取多层向量提取结构来对提取的目标演奏特征向量进行目标演奏特征向量的演奏频率变化特征，挖掘出目标演奏特征向量之间演奏变化关系，对目标演奏特征向量进行向量聚合，基于拼接的目标演奏特征向量对初始演奏数据识别模型进行模型训练和优化，能够使得到的初始演奏数据识别模型具有更高的模型训练和优化学习效果。

此处，通过基于分级聚合方法进行向量聚合，例如可以先基于第一单位向量聚合结构对多种基础目标指法数据分别对应的目标演奏特征向量进行向量聚合，然后基于第二单位向量聚合结构对多种扩充目标指法数据分别对应的目标演奏特征向量进行向量聚合，最后基于整体向量聚合结构上述两个聚合向量进行向量聚合。

例如，本申请实施例基于下述方式获取各个第一演奏事件其所基于的全局演奏时序图谱的预测音位类别信息：

步骤R501：对应于该演奏事件为第一演奏事件时，基于所述第一单位向量聚合结构，对该第一演奏事件在所述全局演奏时序图谱下的多种基础目标指法数据分别对应的前向目标演奏特征向量进行向量聚合，获取该第一演奏事件对应的第一前向聚合演奏特征向量；

步骤R502：基于所述第二单位向量聚合结构，对该第一演奏事件在所述全局演奏时序图谱下的多种所述扩充目标指法数据分别对应的所述前向目标演奏特征向量进行向量聚合，获取该第一演奏事件对应的第二前向聚合演奏特征向量；

步骤R503：基于所述整体向量聚合结构对所述第一前向聚合演奏特征向量和所述第二前向聚合演奏特征向量进行向量聚合，获取该第一演奏事件的目标演奏特征向量；

步骤R504：将该第一演奏事件的目标演奏特征向量传递至所述学习识别结构，获取该第一演奏事件在所述全局演奏时序图谱的预测音位类别信息。

本申请实施例基于下述方式获取各个第二演奏事件其所基于的单位演奏时序图谱的预测音位类别信息：

步骤R601：对应于该演奏事件为第二演奏事件时，基于第一单位向量聚合结构，对该第二演奏事件在其基于的所述单位演奏时序图谱下的多种所述基础目标指法数据分别对应的所述后向目标演奏特征向量进行向量聚合，获取该第二演奏事件对应的第一后向聚合演奏特征向量；

步骤R602：基于所述第二单位向量聚合结构，对该第二演奏事件在其基于的所述单位演奏时序图谱下的多种所述扩充目标指法数据分别对应的所述后向目标演奏特征向量进行向量聚合，获取该第二演奏事件对应的第二后向聚合演奏特征向量；

步骤R603：基于所述整体向量聚合结构对所述第一后向聚合演奏特征向量和所述第二后向聚合演奏特征向量进行向量聚合，获取该第二演奏事件的目标演奏特征向量；

步骤R604：将该第二演奏事件的目标演奏特征向量传递至所述学习识别结构，获取该第二演奏事件在该单位演奏时序图谱的预测音位类别信息。

获取该演奏事件在各个演奏时序图谱的预测音位类别信息后，执行步骤R104，获取目标演奏数据识别模型。

步骤R104：基于每个所述演奏事件在其所基于的演奏时序图谱的预测音位类别信息，以及该演奏事件在其所基于的演奏时序图谱执行预设音位类别的音位类别分布概率信息，对所述初始演奏数据识别模型进行模型训练和优化，获取目标演奏数据识别模型，并基于目标演奏数据识别模型进行目标演奏数据的音位类别识别。

一种示例性的实现方案中，本申请实施例基于下述方式获取目标演奏数据识别模型：

步骤R701：基于各个所述演奏事件在其所基于的演奏时序图谱的预测音位类别信息，以及该演奏事件在其所基于的演奏时序图谱执行预设音位类别的音位类别分布概率信息，对所述初始演奏数据识别模型进行本次模型训练和优化；

步骤R702：将经过多次模型训练和优化后的所述初始演奏数据识别模型作为所述目标演奏数据识别模型。

一种示例性的实现方案中，本申请实施例具体基于下述方式获取目标演奏数据识别模型：

步骤R801：将本次模型训练和优化未达到训练终止条件的所述演奏事件中的任意一个演奏事件作为目标演奏事件。

步骤R802：基于该目标演奏事件在其所基于的演奏时序图谱的预测音位类别信息，以及该演奏事件在其所基于的演奏时序图谱执行预设音位类别的音位类别分布概率信息，确定所述目标演奏事件在本次模型训练和优化的学习风险预测系数。

一种示例性的实现方案中，基于该目标演奏事件在全局演奏时序图谱的预测音位类别信息，以及该演奏事件在全局演奏时序图谱执行预设音位类别的音位类别分布概率信息，获得目标演奏事件在本次模型训练和优化的全局演奏时序图谱的学习风险预测系数，并基于该目标演奏事件在全局演奏时序图谱的预测音位类别信息，获得目标演奏事件在本次模型训练和优化的学习风险预测系数。

学习风险预测系数越大，则表示学习训练的精度越低。反之，学习风险预测系数越小，则表示学习训练的精度越高。

步骤R803：基于目标演奏事件在本次模型训练和优化的学习风险预测系数，更新初始演奏数据识别模型的模型参数信息。

譬如在基于学习风险预测系数调整初始演奏数据识别模型的模型参数信息时，还可以采用下述方式：

针对所述目标演奏事件为第一目标演奏事件时，基于所述目标演奏事件在本次模型训练和优化的所述学习风险预测系数，以第一优化系数值更新所述初始演奏数据识别模型的模型参数信息；

针对所述目标演奏事件为第二目标演奏事件时，基于所述目标演奏事件在本次模型训练和优化的所述学习风险预测系数，以第二优化系数值更新所述初始演奏数据识别模型的模型参数信息；

其中所述第一优化系数值大于所述第二优化系数值。

对于不同的训练流程的模型训练和优化中的第一优化系数值可以相同或者不同；在不同训练流程的模型训练和优化中第二优化系数值可以相同或者不同。

如此，步进可以保证全局演奏时序图谱的学习风险预测系数对模型参数信息进行优化的主体影响，又能通过单位演奏时序图谱的学习风险预测系数作为单位影响元素对模型参数信息更新优化产生的影响。

步骤R804：将目标演奏事件作为符合训练终止条件的演奏事件。

步骤R805：检测目前训练流程是否还存在未符合训练终止条件的演奏事件；如果是，则跳转至步骤R806；如果否，则跳转至步骤R808。

步骤R806：将目前训练流程未达到训练终止条件的演奏事件中任意一个演奏事件作为新的目标演奏事件。

步骤R807：基于优化的所述初始演奏数据识别模型，获取该新的目标演奏事件在其所基于的演奏时序图谱的预测音位类别信息，并重新返回步骤R702。

步骤R808：完成对所述初始演奏数据识别模型的本次模型训练和优化。

经过对初始演奏数据识别模型的多次模型训练和优化，获取目标演奏数据识别模型。

在完成对初始演奏数据识别模型的本次模型训练和优化后，本申请实施例通过下述三种方式获取目标演奏数据识别模型：

方式一：检测本次模型训练和优化是否达到预设模型训练和优化次数；如果是，则停止对初始演奏数据识别模型的模型训练和优化，将最后一次模型训练和优化得到的初始演奏数据识别模型作为目标演奏数据识别模型。

一种示例性的实现方案中，在模型训练和优化时，会预先设置一个训练的预设模型训练和优化次数，如果检测到本次模型训练和优化达到预设模型训练和优化次数，则停止对初始演奏数据识别模型的模型训练和优化，将最后一次模型训练和优化得到的初始演奏数据识别模型作为目标演奏数据识别模型。

学习训练的目的是将联合学习风险预测系数不断减小的过程，但过多的模型训练和优化次数可能会导致联合学习风险预测系数不减反升，因此可以选取联合学习风险预测系数最小的本次模型训练和优化得到的演奏数据识别模型作为目标演奏数据识别模型。

基于以上步骤，在目标演奏数据识别模型训练的过程中，通过采集至少一个演奏事件在第一演奏片段内基于至少两个演奏时序图谱进行演奏活动的演奏活动音频数据，以及每个演奏事件在第二演奏片段在各个演奏时序图谱执行预设音位类别的音位类别分布概率信息；至少两个演奏时序图谱包括一个全局演奏时序图谱以及至少一个单位演奏时序图谱；对应于每个演奏事件，基于该演奏事件在第一演奏片段内的演奏活动音频数据，确定该演奏事件在每种演奏时序图谱下，与该演奏时序图谱下的多种目标指法数据一一对应的目标演奏特征向量；将该演奏事件在每种演奏时序图谱下，与该演奏时序图谱的多种目标指法数据分别对应的目标演奏特征向量传递至初始演奏数据识别模型中进行游走训练，获取该演奏事件在各个演奏时序图谱的预测音位类别信息；基于各个演奏事件在各个演奏时序图谱的预测音位类别信息，以及该演奏事件在各个演奏时序图谱执行预设音位类别的音位类别分布概率信息，对初始演奏数据识别模型进行模型训练和优化，获取目标演奏数据识别模型。本申请能够基于游走训练方式，使得模型训练和优化的目标演奏数据识别模型能够训练学习多种不同演奏时序图谱的演奏音位向量，基于这种目标演奏数据识别模型检测用户的目标指法数据是否属于预设音位类别，可以提高识别精度。

一种示例性的实现方案中，本申请实施例还提供一种演奏数据识别方法包括：

步骤R901：当目标演奏事件基于全局演奏时序图谱触发目标指法数据时，获取该目标演奏事件在第三演奏片段内基于全局演奏时序图谱执行随机演奏活动的目标指法数据信息。

步骤R902：基于该目标演奏事件在第三演奏片段内基于全局演奏时序图谱执行随机演奏活动的目标指法数据信息，确定该目标演奏事件在全局演奏时序图谱下，与全局演奏时序图谱下的多种目标指法数据一一对应的目标演奏特征向量。

一种示例性的实现方案中，参考本申请中步骤R102中的方法，确定该目标演奏事件在全局演奏时序图谱下，与全局演奏时序图谱下的多种目标指法数据一一对应的目标演奏特征向量。

步骤R903：将全局演奏时序图谱下的多种目标指法数据一一对应的目标演奏特征向量，传递至前述的目标演奏数据识别模型中，获取目标演奏事件在基于全局演奏时序图谱触发的目标指法数据属于预设音位类别的概率分布。

步骤R904，基于所述目标演奏事件在基于全局演奏时序图谱触发的目标指法数据属于预设音位类别的概率分布获取所述目标演奏事件对应的目标音位类别。

步骤R905，基于所述目标演奏事件对应的目标音位类别对所述目标演奏事件进行在线教学信息推送。

基于以上步骤，在目标演奏数据识别模型训练的时候，通过采集至少一个演奏事件在第一演奏片段内基于至少两个演奏时序图谱进行演奏活动的演奏活动音频数据，以及每个演奏事件在第二演奏片段在各个演奏时序图谱执行预设音位类别的音位类别分布概率信息；至少两个演奏时序图谱包括一个全局演奏时序图谱以及至少一个单位演奏时序图谱；对应于每个演奏事件，基于该演奏事件在第一演奏片段内的演奏活动音频数据，确定该演奏事件在每种演奏时序图谱下，与该演奏时序图谱下的多种目标指法数据一一对应的目标演奏特征向量；将该演奏事件在每种演奏时序图谱下，与该演奏时序图谱的多种目标指法数据分别对应的目标演奏特征向量传递至初始演奏数据识别模型中进行游走训练，获取该演奏事件在各个演奏时序图谱的预测音位类别信息；基于各个演奏事件在各个演奏时序图谱的预测音位类别信息，以及该演奏事件在各个演奏时序图谱执行预设音位类别的音位类别分布概率信息，对初始演奏数据识别模型进行模型训练和优化，获取目标演奏数据识别模型。本申请能够基于游走训练方式，使得模型训练和优化的目标演奏数据识别模型能够训练学习多种不同演奏时序图谱的演奏音位向量，基于这种目标演奏数据识别模型检测用户的目标指法数据是否属于预设音位类别，可以提高识别精度。

图3示出了本申请实施例提供的用于实现上述的演奏数据识别方法的演奏数据学习系统100的硬件结构意图，如图3所示，演奏数据学习系统100可包括处理器110、机器可读存储介质120、总线130以及通信单元140。

在具体实现过程中，一个或者多个处理器110执行机器可读存储介质120存储的机器可读执行指令，使得处理器110可以执行如上方法实施例的演奏数据识别方法，处理器110、机器可读存储介质120以及通信单元140通过总线130连接，处理器110可以用于控制通信单元140的收发动作，从而可以与前述的演奏音频数据采集设备200进行数据收发。

处理器110的具体实现过程可参见上述演奏数据学习系统100执行的各个方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

此外，本申请实施例还提供一种可读存储介质，所述可读存储介质中预设有机器可读执行指令，当处理器执行所述机器可读执行指令时，实现如上演奏数据识别方法。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书实施例的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书实施例进行各种修改、改进和修正。该类修改、改进和修正在本说明书实施例中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书实施例的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书实施例的各个方面可以完全由硬件执行、可以完全由软件（包括固件、常驻软件、微码等）执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书实施例的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书实施例各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。

此外，除非权利要求中明确说明，本说明书实施例所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书实施例流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书实施例披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书实施例对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件（当前或之后附加于本说明书中的）也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书实施例的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种演奏数据识别方法，其特征在于，应用于演奏数据学习系统，所述演奏数据学习系统与多个演奏音频数据采集设备通信连接，所述方法包括：

采集至少一个演奏事件在第一演奏片段内基于至少两个演奏时序图谱进行演奏活动的演奏活动音频数据，以及每个所述演奏事件在第二演奏片段在其所基于的所述演奏时序图谱执行预设音位类别的音位类别分布概率信息；至少两个所述演奏时序图谱包括一个全局演奏时序图谱以及至少一个单位演奏时序图谱；

对应于每个演奏事件，基于该演奏事件在第一演奏片段内的所述演奏活动音频数据，确定该演奏事件在其所基于的演奏时序图谱下的多种目标指法数据分别对应的目标演奏特征向量；

将各个演奏事件的所述目标演奏特征向量传递至初始演奏数据识别模型中进行从所述全局演奏时序图谱至所述至少两个演奏时序图谱的游走训练，获取该演奏事件在其所基于的演奏时序图谱的预测音位类别信息；

基于每个所述演奏事件在其所基于的演奏时序图谱的预测音位类别信息，以及该演奏事件在其所基于的演奏时序图谱执行预设音位类别的音位类别分布概率信息，对所述初始演奏数据识别模型进行模型训练和优化，获取目标演奏数据识别模型，并基于所述目标演奏数据识别模型进行目标演奏数据的音位类别识别。

2.根据权利要求1所述的演奏数据识别方法，其特征在于，所述演奏事件包括：第一演奏事件以及第二演奏事件；

采集至少一个演奏事件在第一演奏片段内基于至少两个演奏时序图谱进行演奏活动的演奏活动音频数据，以及每个所述演奏事件在第二演奏片段在其所基于的所述演奏时序图谱执行预设音位类别的音位类别分布概率信息，包括：

获取至少两个第一演奏事件中每个第一演奏事件在第一演奏片段内基于所述全局演奏时序图谱执行随机演奏活动的演奏活动音频数据，以及每个所述第一演奏事件在第二演奏片段基于所述全局演奏时序图谱执行预设音位类别的音位类别分布概率信息；

以及，获取多个所述第二演奏事件中每个第二演奏事件在第一演奏片段内按照其基于的所述单位演奏时序图谱执行随机演奏活动的演奏活动音频数据，以及每个所述第二演奏事件在第二演奏片段在其所基于的所述单位演奏时序图谱执行预设音位类别的音位类别分布概率信息。

3.根据权利要求2所述的演奏数据识别方法，其特征在于，所述目标演奏特征向量包括前向目标演奏特征向量以及后向目标演奏特征向量；多种目标指法数据包括：多种基础目标指法数据以及多种扩充目标指法数据；

所述对应于每个演奏事件，基于该演奏事件在第一演奏片段内的所述演奏活动音频数据，确定该演奏事件在其所基于的演奏时序图谱下的多种目标指法数据分别对应的目标演奏特征向量，包括：

对应于每个所述第一演奏事件，依据该第一演奏事件在所述全局演奏时序图谱下的演奏活动音频数据，提取该第一演奏事件在所述全局演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的前向目标演奏特征向量；

对应于每个所述第二演奏事件，基于该第二演奏事件在其基于的单位演奏时序图谱下的演奏活动音频数据，提取该第二演奏事件在其基于的所述单位演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的后向目标演奏特征向量。

4.根据权利要求3所述的演奏数据识别方法，其特征在于，所述对应于每个所述第一演奏事件，依据该第一演奏事件在所述全局演奏时序图谱下的演奏活动音频数据，提取该第一演奏事件在所述全局演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的前向目标演奏特征向量，包括：

对应于每个所述第一演奏事件，依据该第一演奏事件在所述全局演奏时序图谱下的演奏活动音频数据，确定该第一演奏事件在所述全局演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的多个预设目标指法数据向量下的关注特征向量数值；

依据该第一演奏事件在所述全局演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的多个预设目标指法数据向量下的关注特征向量数值，确定该第一演奏事件在所述全局演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的前向目标演奏特征向量；

所述对应于每个所述第二演奏事件，基于该第二演奏事件在其基于的单位演奏时序图谱下的演奏活动音频数据，提取该第二演奏事件在其基于的所述单位演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的后向目标演奏特征向量，包括：

对应于每个所述第二演奏事件，基于该第二演奏事件在其基于的所述单位演奏时序图谱下的演奏活动音频数据，确定该第二演奏事件在其基于的所述单位演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的多个预设目标指法数据向量下的关注特征向量数值；

基于该第二演奏事件在其基于的所述单位演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的多个预设目标指法数据向量下的关注特征向量数值，确定该第二演奏事件在其基于的所述单位演奏时序图谱下的每种基础目标指法数据和每种扩充目标指法数据分别对应的后向目标演奏特征向量。

5.根据权利要求3所述的演奏数据识别方法，其特征在于，所述初始演奏数据识别模型包括：整体向量聚合结构、学习识别结构，所述基础目标指法数据对应的第一单位向量聚合结构，以及所述扩充目标指法数据对应的第二单位向量聚合结构；

所述将各个演奏事件的所述目标演奏特征向量传递至初始演奏数据识别模型中进行从所述全局演奏时序图谱至所述至少两个演奏时序图谱的游走训练，获取该演奏事件在其所基于的演奏时序图谱的预测音位类别信息，包括：

对应于该演奏事件为第一演奏事件时，基于所述第一单位向量聚合结构，对该第一演奏事件在所述全局演奏时序图谱下的多种基础目标指法数据分别对应的前向目标演奏特征向量进行向量聚合，获取该第一演奏事件对应的第一前向聚合演奏特征向量；

基于所述第二单位向量聚合结构，对该第一演奏事件在所述全局演奏时序图谱下的多种所述扩充目标指法数据分别对应的所述前向目标演奏特征向量进行向量聚合，获取该第一演奏事件对应的第二前向聚合演奏特征向量；

基于所述整体向量聚合结构对所述第一前向聚合演奏特征向量和所述第二前向聚合演奏特征向量进行向量聚合，获取该第一演奏事件的目标演奏特征向量； 将该第一演奏事件的目标演奏特征向量传递至所述学习识别结构，获取该第一演奏事件在所述全局演奏时序图谱的预测音位类别信息；

对应于该演奏事件为第二演奏事件时，基于第一单位向量聚合结构，对该第二演奏事件在其基于的所述单位演奏时序图谱下的多种所述基础目标指法数据分别对应的所述后向目标演奏特征向量进行向量聚合，获取该第二演奏事件对应的第一后向聚合演奏特征向量；

基于所述第二单位向量聚合结构，对该第二演奏事件在其基于的所述单位演奏时序图谱下的多种所述扩充目标指法数据分别对应的所述后向目标演奏特征向量进行向量聚合，获取该第二演奏事件对应的第二后向聚合演奏特征向量；

基于所述整体向量聚合结构对所述第一后向聚合演奏特征向量和所述第二后向聚合演奏特征向量进行向量聚合，获取该第二演奏事件的目标演奏特征向量；

将该第二演奏事件的目标演奏特征向量传递至所述学习识别结构，获取该第二演奏事件在该单位演奏时序图谱的预测音位类别信息。

6.根据权利要求1所述的演奏数据识别方法，其特征在于，所述基于每个所述演奏事件在其所基于的演奏时序图谱的预测音位类别信息，以及该演奏事件在其所基于的演奏时序图谱执行预设音位类别的音位类别分布概率信息，对所述初始演奏数据识别模型进行模型训练和优化，获取目标演奏数据识别模型，包括：

基于各个所述演奏事件在其所基于的演奏时序图谱的预测音位类别信息，以及该演奏事件在其所基于的演奏时序图谱执行预设音位类别的音位类别分布概率信息，对所述初始演奏数据识别模型进行本次模型训练和优化；

将经过多次模型训练和优化后的所述初始演奏数据识别模型作为所述目标演奏数据识别模型。

7.根据权利要求6所述的演奏数据识别方法，其特征在于，所述基于各个所述演奏事件在其所基于的演奏时序图谱的预测音位类别信息，以及该演奏事件在其所基于的演奏时序图谱执行预设音位类别的音位类别分布概率信息，对所述初始演奏数据识别模型进行模型训练和优化，获取目标演奏数据识别模型，包括：

将本次模型训练和优化未达到训练终止条件的所述演奏事件中的任意一个演奏事件作为目标演奏事件，基于该目标演奏事件在其所基于的演奏时序图谱的预测音位类别信息，以及该演奏事件在其所基于的演奏时序图谱执行预设音位类别的音位类别分布概率信息，确定所述目标演奏事件在本次模型训练和优化的学习风险预测系数；

基于所述目标演奏事件在本次模型训练和优化的所述学习风险预测系数，更新所述初始演奏数据识别模型的模型参数信息；

将所述目标演奏事件作为符合训练终止条件的演奏事件，并将目前训练流程获得的符合训练终止条件的演奏事件中其它任意一个演奏事件作为新的目标演奏事件，基于优化的所述初始演奏数据识别模型，获取该新的目标演奏事件在其所基于的演奏时序图谱的预测音位类别信息，并重新返回基于该目标演奏事件在其所基于的演奏时序图谱的预测音位类别信息，以及该演奏事件在其所基于的演奏时序图谱执行预设音位类别的音位类别分布概率信息，确定所述目标演奏事件在本次模型训练和优化的学习风险预测系数的步骤；直至所有演奏事件都完成目前训练流程的模型训练和优化，完成对所述初始演奏数据识别模型的本次模型训练和优化；

经过对所述初始演奏数据识别模型的多次模型训练和优化，获取所述目标演奏数据识别模型。

8.根据权利要求1-7中任意一项所述的演奏数据识别方法，其特征在于，所述基于所述目标演奏数据识别模型进行目标演奏数据的音位类别识别的步骤，包括：

当目标演奏事件基于全局演奏时序图谱触发目标指法数据时，获取该目标演奏事件在第三演奏片段内基于所述全局演奏时序图谱执行随机演奏活动的目标指法数据信息；

基于该目标演奏事件在第三演奏片段内基于所述全局演奏时序图谱执行随机演奏活动的目标指法数据信息，确定该目标演奏事件在所述全局演奏时序图谱下，与所述全局演奏时序图谱下的多种目标指法数据一一对应的目标演奏特征向量；

将所述全局演奏时序图谱下的多种目标指法数据一一对应的目标演奏特征向量，传递至所述目标演奏数据识别模型中，获取所述目标演奏事件在基于全局演奏时序图谱触发的目标指法数据属于预设音位类别的概率分布；

基于所述目标演奏事件在基于全局演奏时序图谱触发的目标指法数据属于预设音位类别的概率分布获取所述目标演奏事件对应的目标音位类别。

9.一种演奏数据识别系统，其特征在于，所述演奏数据识别系统包括演奏数据学习系统以及与所述演奏数据学习系统通信连接的多个演奏音频数据采集设备；

所述演奏数据学习系统，用于：

采集至少一个演奏事件在第一演奏片段内基于至少两个演奏时序图谱进行演奏活动的演奏活动音频数据，以及每个所述演奏事件在第二演奏片段在其所基于的所述演奏时序图谱执行预设音位类别的音位类别分布概率信息；至少两个所述演奏时序图谱包括一个全局演奏时序图谱以及至少一个单位演奏时序图谱；

对应于每个演奏事件，基于该演奏事件在第一演奏片段内的所述演奏活动音频数据，确定该演奏事件在其所基于的演奏时序图谱下的多种目标指法数据分别对应的目标演奏特征向量；

将各个演奏事件的所述目标演奏特征向量传递至初始演奏数据识别模型中进行从所述全局演奏时序图谱至所述至少两个演奏时序图谱的游走训练，获取该演奏事件在其所基于的演奏时序图谱的预测音位类别信息；

基于每个所述演奏事件在其所基于的演奏时序图谱的预测音位类别信息，以及该演奏事件在其所基于的演奏时序图谱执行预设音位类别的音位类别分布概率信息，对所述初始演奏数据识别模型进行模型训练和优化，获取目标演奏数据识别模型，并基于所述目标演奏数据识别模型进行目标演奏数据的音位类别识别。

10.一种演奏数据学习系统，其特征在于，包括：

存储器，用于存储可执行的指令；

处理器，用于根据所述可执行的指令的控制，运行所述演奏数据学习系统执行权利要求1-8中任意一项所述的演奏数据识别方法。

Images