CN117349257A

CN117349257A - 乐谱训练数据库的构建和应用

Info

Publication number: CN117349257A
Application number: CN202210749199.2A
Authority: CN
Inventors: 郑琬婷
Original assignee: Education Technology Plus Private Ltd
Current assignee: Education Technology Plus Private Ltd
Priority date: 2022-06-28
Filing date: 2022-06-28
Publication date: 2024-01-05
Also published as: WO2024002070A1

Abstract

本公开涉及乐谱训练数据库的构建和应用。提出了一种乐谱训练数据库的构建方法，所述方法包括对于乐谱训练数据库的每一个等级，获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集通过机器学习生成的第一标签(L1)；获取基于该音乐特征集生成的第二标签(L1H)以及包含在第二标签(L1H)中的至少一个第二子标签(L2H)；根据第二子标签(L2H)所规定的音乐特征组合以及音乐特征取值范围生成候选音乐样本，利用所生成的候选音乐样本对第一标签(L1)和第二标签(L1H)中的至少一者进行验证，其中第一标签(L1)和第二标签(L1H)中的至少一者的规定能够基于验证结果被调整；以及基于通过验证的候选音乐样本及其对应的标签来构建乐谱训练数据库。

Description

乐谱训练数据库的构建和应用

技术领域

本发明属于数据库领域，并且尤其涉及乐谱训练数据库的构建和应用。

背景技术

器乐演奏是一项逻辑思维与形象思维、脑力与体力、技巧性与艺术性相结合的综合性活动。在器乐演奏的训练、练习、学习等等方面，往往需要根据适当的音乐资料，尤其是乐谱，来逐渐学习、熟练、甚至提高器乐演奏的技能。特别地，为了优化乐谱训练、练习甚至学习等而构建乐谱训练数据库是非常必要的。

现代科学技术的迅猛发展，特别是计算机技术和数据库技术的广泛应用，为器乐演奏的资料库构建提供了先进的手段，开辟了广阔的前景。

除非另有说明，否则不应假定本节中描述的任何方法仅仅因为包含在本节中而成为现有技术。同样，除非另有说明，否则关于一种或多种方法所认识出的问题不应在本节的基础上假定在任何现有技术中都认识到。

发明内容

本公开提出了改进的乐谱训练数据库的构建和应用。特别地，本公开通过利用音乐相关的特征来获取音乐资料的分级标签并且通过验证分级标签来调整分级标签的设置，从而构建得到改进的乐谱训练数据库。附加地，本公开进一步提出了乐谱训练数据的应用，其中特别地可以基于用户在应用乐谱训练数据库的反馈来进一步优化所构建的乐谱训练数据库。

本公开的一个方面涉及一种乐谱训练数据库的构建方法，其中所述乐谱训练数据库具有至少一个等级，对于每一等级具有对应的等级标签，所述方法包括以下步骤：对于每一个等级，获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集通过机器学习生成的第一标签(L1)，获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集生成的第二标签(L1H)以及包含在第二标签(L1H)中的至少一个第二子标签(L2H)，其中各第二标签以及子标签规定了音乐特征集中的一个或多个音乐特征的组合及其特定取值范围；根据第二子标签(L2H)所规定的音乐特征组合以及音乐特征取值范围生成候选音乐样本，利用所生成的候选音乐样本对第一标签(L1)和第二标签(L1H)中的至少一者进行验证，其中基于验证结果对第一标签 (L1)和第二标签(L1H)中的至少一者的规定进行调整；以及基于通过验证的候选音乐样本及其对应的等级标签来构建乐谱训练数据库。

本公开的另一个方面涉及一种乐谱训练数据库的构建装置，其中所述乐谱训练数据库具有至少一个等级，对于每一等级具有对应的等级标签，所述构建装置包括处理电路，所述处理电路被配置为：对于每一个等级，获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集通过机器学习生成的第一标签(L1)，获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集生成的第二标签(L1H)以及包含在第二标签(L1H)中的至少一个第二子标签(L2H)，其中各第二标签以及子标签规定了音乐特征集中的一个或多个音乐特征的组合及其特定取值范围；根据第二子标签(L2H)所规定的音乐特征组合以及音乐特征取值范围生成候选音乐样本，利用所生成的候选音乐样本对第一标签(L1)和第二标签(L1H)中的至少一者进行验证，其中基于验证结果对第一标签(L1)和第二标签(L1H)中的至少一者的规定进行调整；以及基于通过验证的候选音乐样本及其对应的等级标签来构建乐谱训练数据库。

本公开的还另一个方面涉及一种存储可执行指令的非暂时性计算机可读存储介质，所述可执行指令当被执行时实现本公开的实施例中所述的方法。

本公开的又另一个方面涉及一种电子设备。根据一个实施例，所述电子设备包括：处理器和存储装置，所述存储装置存储有可执行指令，所述可执行指令当被执行时实现本公开的实施例中所述的方法。

本公开的又另一个方面涉及一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本公开的实施例中所述的方法。

本公开的又另一个方面涉及一种计算机程序，所述计算机程序包括的程序代码在由计算机执行时使得计算机执行本公开的实施例中所述的方法。

本公开的又另一方面涉及一种装置，包括用于执行本公开的实施例中所述的方法的部件。

提供本公开内容是为了以简化的形式介绍一些概念，这些概念将在下面的详细描述中进一步描述。本公开内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。从以下对实施例的详细描述和附图中，本技术的其他方面和优点将变得显而易见。

附图说明

下面结合具体的实施例，并参照附图，对本公开的上述和其它目的和优点做进一步的描述。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。

图1示出了根据本公开的实施例的构建和应用乐谱训练数据库的系统的示意性概念图。

图2示出了根据本公开的实施例的乐谱训练数据库的构建方法的流程图。

图3A和3B示出了根据本公开的实施例的针对待构建的乐谱训练数据库预先设置的音乐特征集，图3C示出了根据本公开的实施例的示例性标签。

图4示出了根据本公开的实施例的乐谱训练数据库的构建的示例性流程图。

图5示出了根据本公开的实施例的乐谱训练数据库的构建的示例性流程图。

图6A示出了根据本公开的实施例的乐谱训练数据库的应用的流程图。

图6B示出了根据本公开的实施例的乐谱训练数据库构建和应用的整体流程图。

图7A到7C示出了根据本公开的实施例的乐谱训练数据库的示例性应用场景。

图8示例性地示出了根据本公开的实施例的分类曲谱库。

图9示出了根据本公开的实施例的用于乐谱训练数据库的构建装置的框图。

图10示出了在其中可以实现根据本公开的实施例的计算机系统概图。

虽然在本公开内容中所描述的实施例可能易于有各种修改和另选形式，但是其具体实施例在附图中作为例子示出并且在本文中被详细描述。但是，应当理解，附图以及对其的详细描述不是要将实施例限定到所公开的特定形式，而是相反，目的是要涵盖属于权利要求的精神和范围内的所有修改、等同和另选方案。

具体实施方式

在下文中将结合附图对本公开的示范性实施例进行描述。但是显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对实施例的描述实际上也仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。这里，为了清楚和简明起见，在说明书中并未描述实施例的所有特征。还应当注意，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与至少根据本公开的方案密切相关的处理步骤和/或设备结构，而省略了与本公开关系不大的其他细节。

然而，应该了解，在对实施例进行实施的过程中必须做出很多特定于实施方式的设置，以便实现开发人员的具体目标，例如，符合与设备及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值应被解释为仅仅是示例性的，不限制本公开的范围。

本公开中使用的术语“包括”及其变型意指至少包括后面的元件/特征、但不排除其他元件/特征的开放性术语，即“包括但不限于”。此外，本公开使用的术语“包含”及其变型意指至少包含后面的元件/特征、但不排除其他元件/特征的开放性术语，即“包含但不限于”。因此，包括与包含是同义的。术语“基于”意指“至少部分地基于”。

整个说明书中所称“一个实施例”、“一些实施例”或“实施例”意味着与实施例结合描述的特定的特征、结构或特性被包括在本发明的至少一个实施例中。例如，术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例” 表示“至少一些实施例”。而且，短语“在一个实施例中”、“在一些实施例中”或“在实施例中”在整个说明书中各个地方的出现不一定全都指的是同一个实施例，但是也可以指同一个实施例。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。除非另有指定，否则“第一”、“第二”等概念并非意图暗示如此描述的对象必须按时间上、空间上、排名上的给定顺序或任何其他方式的给定顺序。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

构建并应用适当的乐谱训练数据库对于乐谱训练、练习甚至学习等是非常关键的。特别地，对于乐谱训练、练习甚至学习而言，希望提供一种以用户、尤其是进行音乐训练或者学习的用户为中心的高效系统。特别地，希望能够准确地构建乐谱训练数据库并且将之提供给用户以供进行训练、练习甚至学习，进一步地，还可以获得用户应用该数据库的反馈，诸如利用该数据库进行训练、练习甚至学习结果作为反馈，由此可以基于这样的反馈来进一步优化乐谱训练数据库的构建。

图1示出了根据本公开的实施例的构建和应用乐谱训练数据库的系统的示意性概念图，其中示意性地示出了乐谱训练数据库与用户或者用户端设备之间的交互。特别地，根据本公开的系统中，基于音乐素材来创建乐谱训练数据库(后端)，并且将所生成的乐谱训练数据库与用户(前端)进行交互，例如呈现给用户或客户端设备，并且用户使用该乐谱训练数据库，并且将用户的使用数据作为反馈提供给后端，以优化乐谱训练数据库。上述交互可通过各种适当的方式来执行，例如通过交互软件、收发装置、各种类型的呈现设备等。

根据本公开的实施例，特别地可以通过机器学习、知识图谱等技术的运用来构建乐谱训练数据库，其中尤其通过机器学习、知识图谱等技术等从音乐素材/样本/资料(例如乐谱资料，尤其是可能具有预先规定的特定难度级别的乐谱资料)中提取音乐相关的特征，由此设定音乐素材/样本/资料的分级标签，实现音乐素材/样本/资料的适当的、准确的分级，这里分级/等级尤其是对应于音乐资料在演奏过程中可能的难度等级，由此可以构建被进行适当分级的训练数据库。

应指出，用于提取音乐相关的特征的机器学习技术可包括各种适当的技术，例如包括深度学习、图像识别、音频识别等。音乐相关的特征例如可以是乐谱中的音乐相关特征，例如乐谱乐曲的音乐属性特征、演奏相关特征等等，并且可以采用各种适当的方式来被获取。作为示例，可以从音乐素材/样本/资料的Music XML格式文件中提取，例如通过深度学习来提取，Music XML格式文件中包含整体乐曲元素和属性信息。作为另一示例，可以通过对音乐素材/样本/资料的图像进行图像识别，从图像中提取出音乐特征，例如提取与音乐特征相关的子图像并且将之与参考图像进行比较，以确定音乐特征。还作为另一示例，可以通过对音乐素材/样本/资料的音频内容进行音频识别，特别地通过声音信号处理从中获取音乐特征。

作为示例，用于从音乐素材中提取音乐特征的技术可包括但不限于光学乐谱识别技术(OMR)：Score Transformer；乐谱标准化编码：MIDI，MusicXML，Musescore；音乐难度分级：多层神经网络 (MLP)，Xgboost，支持向量机(SVM)，随机森林(RF)；乐谱特征分析工具：numpy，pandas，scipy；图数据库工具：PyKEEN， Neo4j，Nebula等等。

根据本公开的实施例，优选地，在音乐资料分级中还进一步考虑了作为参考的音乐相关的特征，并且基于这样的参考特征和所提取的音乐相关的特征两者来优化音乐资料的分级，其中特别地基于参考特征来对所提取的音乐相关的特征进行验证，从而进一步提高分级的精确性，例如是等级分类标签的调整/优化，从而进一步提高了乐谱训练数据库构建的准确性。

应指出，作为参考的音乐相关的特征可以采用各种适当的方式来被获取。作为示例，作为参考的音乐相关的特征可通过各种适当的方式从音乐素材/样本/资料中获取，例如通过Music XML格式文件提取、图像识别、声音处理等，如上所述，这些操作可由各种适当的设备(例如基准提取设备)来执行。或者，作为参考的音乐相关的特征可由专业音乐人士或者富有经验的用户等通过阅读或提取音乐素材/样本/资料而根据经验而得出。

优选地，参考特征可以是根据经验设定的细化的难度级别标签。其可用于调整级别的划分，例如各级别中特征的构成，或者将各级别的特征进一步进行细化，例如进行子分类，从而可以进一步优化资料库的特征的细化，从而实现更加合适的资料分级以构建更加适当的资料库，为用户提供/推荐更加准确的音乐资料。

以下将简述通过机器学习进行乐谱训练库的构建的一种示例性实现，其中特别地通过机器学习来获取等级标签以及相关联的特征。基于有公开难度等级的乐谱及其对应的乐谱特征，首先可以进行多标签难度分级：通过统计存在音乐特征值的乐谱对应的公开难度等级，可以得出各音乐特征值(即标签)的可能难度等级范围(例如3/8拍只存在于某一难度等级以上乐谱中；双附点四分休止符只存在于某一难度等级以上乐谱中)。通过定义第i个特征维度为x_i，存在该特征值为a的乐谱j的难度等级为g_j，通过统计所有满足条件的乐谱的难度等级，可以得出该音乐特征值对应的可能难度范围f(xi＝a)。已知各音乐特征值对应的可能难度范围f(x_i＝a)，对于任意乐谱j，通过考虑多个音乐特征维度x_i所对应的特征值频率分布，可以估测出该乐谱的最小可能难度进行乐段难度预测：通过机器学习模型(如多层神经网络，决策森林)学习从乐谱的音乐特征到其对应的公开难度等级之间的映射关系，来得到最粗粒度的第一层乐段难度预测模型，也即对应于某一难度等级的较粗糙的音乐特征，从而获得该等级的标签；在每一个公开难度等级之内，通过众包方式从教学过程中钢琴教学专家对乐段难度细分的共识，训练第二层难度小级预测的分类模型，由此获得对应于该难度等级的更精细的音乐特征，从而获得该第二等级的标签，这样可以获得乐谱中对应于各种难度等级的音乐特征，并且可以还可在应用过程中进行调整，特别地可在不同的应用模式(如视奏、听音等)下，通过累计的用户训练数据(如错误率、最终通过率、首次通过需要平均的练习次数等)，进行不同应用模式下自适应的难度精细预测及排序。

根据本公开的实施例，所构建的乐谱训练数据库被以适当的方式提供用户使用。在一些实施例中，所构建的乐谱训练数据库可作为音乐样本训练库，其供用户进行训练。例如，可以逐个等级地将对应样本提供给用户以供进行训练、练习、甚至是学习。乐谱训练数据库中的数据可被以各种适当的方式，例如作为游戏，等提供给用户。例如，可以将乐谱训练数据库中通过各种适当的设备，例如显示设备、声学设备等提供给用户。在一些实现中，可以通过游戏转化器将乐谱训练数据库中的数据转化成为基于游戏的练习，系统自动判断和纠正孩子的练习，推动自主学习，使学习内容可视化，课后练习可追踪。

在另一个示例中，所构建的乐谱训练数据库可作为一种单曲训练库，特别地，可以对于一首单曲进行分级，例如难度分级，从而可以由该单曲得到各种等级的分级样本，继而由单曲可以构成一个单曲训练库，并提供给用户进行训练。单曲训练库可以运用旋律波形提取和比对的识别工具，识别并爬取一首单曲相关的训练素材(视频，音频)；经过大量用户的素材选取使用结果，优化系统推荐功能，让单曲精讲内容不断优化，准确精简；单曲训练库还可以提取该单曲的相关特征形成针对该单曲的专项训练。

根据本公开的实施例，可以根据用户的训练、练习、甚至是学习的结果作为反馈来进一步调整乐谱训练数据库。在一些实施例中，可以根据用户的反馈来优化乐谱训练数据库中各等级的数据/资料的排序和布置，从而有助于为用户提供更适当和准确的乐谱训练数据库。在还另一些实施例中，还可根据用户的反馈来对乐谱训练数据库进行优化，特别地对乐谱训练数据库的等级标签和相关联的特征进行优化、更新等等。在一个示例中，该音乐样本训练库里的内容通过交互式游戏方式而呈现给用户进行训练时，这些交互型的游戏能够记录、判断和测评用户反馈，通过大量用户的交互记录，可以对训练库里的训练内容进行难度排序优化，甚至还可对训练库中的难度等级和相关联的特征进行优化。

由此，本公开提出了改进的乐谱训练数据库的构建方法。特别地，在本公开中，通过机器学习、知识图谱、声音分离等信息获取技术来从音乐素材中提取音乐特征，提高了特征获取效率和准确度，由此准确地设置音乐素材的等级标签。在本公开中，附加地，还通过可作为参考的音乐相关特征来对于机器学习分级标签进行进一步调整和优化，从而进一步提高了机器学习的分级准确度，从而能够构建更加精确适当的资料库。而且，附加地，在本公开中还进一步利用用户应用该数据库的反馈来进一步优化乐谱训练数据库的构建和应用。

以下将参照附图来描述根据本公开的乐谱训练数据库的构建和应用。但是应指出，本公开的数据库构建和应用的构思可以同样地应用于其他类型的音乐训练数据库，特别地可用于用户进行训练和学习的其它类型的音乐资料的数据库构建和应用。

图2示出了根据本公开的实施例的乐谱训练数据库的构建方法的流程图。所述乐谱训练数据库具有至少一个等级，对于每一等级具有对应的等级标签。这里，等级可对应于音乐资料的分级，尤其是难度分级。难度分级可对应于音乐资料中所包含的音乐相关特征的组合。不同的难度分级可对应于不同的特征组合，下文将对此进行详细说明。

根据本公开的乐谱训练数据库的构建方法200可以对于每个资料等级来执行，并且对于每个资料等级可以包括如下步骤：

在步骤S201中，获取通过机器学习生成的第一标签(L1)；

在步骤S202中，获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集生成的第二标签(L1H)以及包含在第二标签(L1H) 中的至少一个第二子标签(L2H)，其中各第二标签以及子标签规定了音乐特征集中的一个或多个音乐特征的组合及其特定取值范围；

在步骤S203中，根据第二子标签(L2H)所规定的音乐特征组合以及音乐特征取值范围生成候选音乐样本；

在步骤S204中，利用所生成的候选音乐样本对第一标签(L1) 和第二标签(L1H)中的至少一者进行验证，其中第一标签(L1)和第二标签(L1H)中的至少一者的规定能够基于验证结果被调整；

在步骤S205中，基于通过验证的候选音乐样本及其对应的标签来构建乐谱训练数据库。

接下来将进一步描述上述方法中所执行的操作。

根据本公开的一些实施例，第一标签可以通过各种适当的方式来生成。在一些实现中，可通过机器学习、尤其深度学习从所提供的乐谱训练样本库生成等级标签。特别地，可通过机器学习获取乐谱的音乐特征到其对应的公开难度等级之间的映射关系，从而获得各难度等级的标签以及相关联的特征。作为一个示例，通过深度机器学习方式，直接将乐谱和/或音频作为输入，通过监督或自监督的方法学习出一种输入数据的编码方式，得出固定长度的特征编码(比如用 TripNet或Transformer抽出1024维的特征)，再基于此特征编码进行难度分级，从而能够从乐谱中获取等级标签以及对应的特征组合。在另一些示例中，可以从音频文件或标准化的乐谱编码文件，学习乐谱的深度表征进行乐谱相似性的比较，并分析其与乐谱难度的相关性，通过度量学习等的方式来扩大不同难度等级乐谱特征的距离以实现更好的难度等级分类。

在另一种实现中，可以基于预先设置的特征集，对乐谱或样本进行学习以获取标签和对应的特征组合。特别地，可以参考针对待构建的乐谱训练数据库预先设置的音乐特征集来生成第一标签。作为示例，通过特征工程，对给定的预先设置的特征集，将其中的多个特征维度组合作为输入，难度分级作为输出，来学习两者间的对应关系。

根据本公开的一些实施例，针对待构建的乐谱训练数据库预先设置的音乐特征集包括与待构建的乐谱训练数据库相关联的音乐特征以及各音乐特征的可能取值范围。特别地，在一些实施例中，与待构建的乐谱训练数据库相关联的音乐特征可以是取决于待构建的乐谱训练数据库的类型或者应用属性的音乐表现特征，其可通过对音乐电子乐谱进行音乐特征提取而获取的。

在一些实施例中，预先设置的音乐特征集可以是多维的，其中的每一维可认为对应于一个音乐特征。在一些实施例中，音乐特征可以是任何适当的特征。特别地，其可以是根据乐谱相关的基本元素(例如，尤其是乐谱的音乐属性元素、乐谱演奏相关的特征等等)从已有的或者可广泛获得的音乐资料中提取的。作为示例，可以按照曲谱的调性，节拍，节奏型，手位，音乐记号，和声，奏法，音程，旋律型/ 音乐型分类作为音乐相关的基本元素提取特征，音乐特征可以例如为包含音程特征、音域特征、拍号特征、节奏特征等的特征中的至少一者，它们都可以作为音乐特征集中的特征维度。

根据本公开的一些实施例，所述音乐特征可以是通过对音乐资料进行音乐特征提取而获取的。在一些实施例中，音乐特征可以通过计算机学习、神经网络、机器学习等技术来从音乐资料提取得到的，如前所述的特征提取技术。音乐资料例如是可以从适当的资料源获取的资料，例如各种适当格式的电子乐谱，乐谱图像、音乐等等，音乐资料并不特别受限，只要能够从中提取到音乐相关的特征即可。音乐资料还可以是应用数据库的用户所提交的资料，例如使用/学习反馈等等。在一个示例中，音乐特征可以是通过对已知音乐数据库中的乐谱进行特征采集，然后根据每个特征在相关取值等等来构成该特征的取值范围。例如，每个特征包含至少一个取值，并且每个特征的所有可能的取值则构成该特征的取值范围。

以下描述预先设置的音乐特征集的示例性获取方式。在一种示例中，首先，可以通过各种方式来构建标准化乐谱库(乐谱图片及电子化乐谱编码)，作为示例，一种方式是从音乐教材中扫描实体乐谱或批量爬取公开乐谱图片，并通过光学乐谱识别以生成MIDI、MusicXML或Musescore格式乐谱编码文件；另一种方式是从公开网站如Musescore批量获取已标准化的乐谱编码文件，并编译生成相应的乐谱图片。通过多来源交叉校验及人工校验，以确保乐谱文件的准确性；然后从标准化乐谱库中提取乐谱特征(如调性，节拍，节奏型，手位，音乐记号，和声，奏法，音程，旋律线等)：从已标准化的MIDI、MusicXML或Musescore格式乐谱编码文件中统计各特征维度的分布信息，以多维特征频率作为乐谱的特征。由此，可以获得乐谱特征集合可作为预先设置的特征集。

在另一种示例中，预先设置的音乐特征集还可从特定的乐谱百科信息图谱中获取。作为示例，乐谱百科信息图谱可包含乐谱名，作者，时期，体裁，风格，调式曲式，英皇等级，音协等级，上音等级等：并且可通过从公开数据源中通过爬虫获取海量乐谱百科信息及对应的难度分级信息作为乐谱属性值，以乐谱为节点，乐谱与属性值之间的对应关系为边，构建乐谱百科信息图谱。由此，可以从该乐谱百科信息图谱中提取各种特征以及其相对应的特征取值范围，作为预先设置的特征集。

作为示例，预先设置的特征类别集合可以包括但不限于如下特征中的至少一者，并且这些特征以及每个特征的可能取值可如下：

音域：88个全音，其可指的是88个琴键对应的音频参数；

音程：音程可指的是音与音之间的距离,例如可包括但不限于二度音程内、三度音程内、一度与三度音程、四度音程内、五度音程内、五度音程内(不含四度)、六度音程内、七度音程内、八度音程内；应指出，音程可以采用各种适当的来得出。特别地，一种计算方法是以中央C为440Hz,每向上半音要乘以1.059463。作为示例，也就是说,与中央C相邻的#C频率就是440*1.059463＝466.16372,网页上记为466.16Hz.这个是十二平均率的算法,也就是钢琴上的音。

拍号：2/4、3/4、4/4、3/8、6/8、9/8、12/8、2/2、5/4、 7/4、5/8、7/8、16/3

音符与休止符时值

节奏型：节奏型实质上指的是不同音符和休止符特征的固定顺序组合

调性：特别地，每个调由7个音组成，不同调性之间的分别在于这7个音之间的距离关系和开头的主音不同。作为示例，调性可包括但不限于C大调、G大调、F大调、a小调、d小调、D大调、e 小调、g小调、A大调、b小调、Bb大调、Eb大调、f#小调c小调、E大调、c#小调、f小调、Ab大调、B大调、G#小调Db大调、Bb小调、Gb大调、Eb小调。

指法手位：涉及到指法、左右手、音高和音域范围，例如可包括但不限于单手五指手位、双手轮奏五指手位、双手合奏五指手位、单手轮奏五指手位(换手位)、双手合奏五指手位(换手位)、穿指 (转指)、扩指、缩指、同音换指、手位变化(仅单手出现)、手位变化(双手同时出现)；

伴奏型：实质上是不同音高、音程和调性特征的组合，例如，可包括但不限于短琶音、分解和弦、阿尔贝蒂低音、和弦；

音乐型：实质上是不同音高音程和调性特征的组合，例如，可包括但不限于音阶、琶音、半音阶；

演奏表情记号

演奏奏法记号

临时升降记号

应指出，上述特征仅仅是示例性的，而非限制性的。预设的音乐特征集还可以包含其他适当的音乐特征。图3A和3B分别示出了音乐特征集的一些示例。

根据本公开的一些实施例，第一标签(L1)可以是通过如下方式生成的：通过机器学习对乐谱训练样本库(也可被称为音乐候选数据库)中所包含的具有相应等级的一个或多个音乐样本进行音乐特征提取，以确定与各等级对应的音乐特征组合及其音乐特征取值范围而生成第一标签(L1)。

在一些示例中，可以通过机器学习(例如深度学习)来从样本直接获取特征组合和标签，如前所述。在另一些示例中，还可根据预先设置的音乐特征集中的相应等级所对应的音乐特征来生成第一标签。特别地，对于每个等级，可以从所提供的乐谱训练样本库中的相应资料提取音乐特征，并且将基于上文所预先设置的特征集来设定与该等级相对应的特征及其相应的取值。特别地，从相应的资料库中提取得出包含于上文所预先设置的特征集中的至少一些特征，以及该特征相应的取值，由此得到与该等级相对应的特征以及特征取值范围，这里的特征取值范围可认为被包含在预先设置的特征类别集的范围中。

在本公开的一些实施例中，用于定义标签的“特征”、“特征组合”实质上指的是从素材提取的或者规定的特征的组合以及组合中各特征的取值(例如，范围)，特别地包含哪些类型的特征，以及每种类型的特征的取值。例如，如果特征包括小节、拍号，则定义标签时则还需要指示小节的数量、拍号的取值等等。

在本公开的一些实施例中，这里的等级可尤其指的是难度等级/级别。“难度级别”可以指的预先规定或设定的音乐资料的难度级别，特别的可以是现有考级/分级资料中所规定的难度级别，例如英皇考级中的每一个level，或者是人为认为的难度；请注意，英皇考级只是一种示例，可以用同样的方法应用在其他考级系统；进一步的可以将系统再复杂一步，比对各个考级系统的难度识别，比如将再细化分为英皇考级系统；圣三一考级系统；中央音协考级系统；上音考级系统等。这样复杂化后的好处在于：建立了一套标准的模块化分级资料库，能够针对每一条未来生成的训练素材，去判断其难度属性对应于哪个考级系统的哪一个级别；进一步能够作为一个学生的能力测评模型，通过让用户与系统交互，去判断学生能够达到什么标准，能够成为各个考级系统的模拟考级系统，帮助判断学生的过级率。

作为示例，难度等级可以分为若干级，例如从最低级到最高级，例如从第0级到第N级，其中级别越低，其所包含的特征可能更少，和/或特征的取值范围更窄。

以下给出了难度等级的一些示例，其中难度等级可以包括预备级、一级，每一难度等级的特征以及相应的特征取值范围如下：

预备级

音域中C-E、中C-G、中C-A、中C-F、中A-E、中F-G、低C-G、低C-高C

音程二度音程内(级进)；一度与三度音程(跳进)；三度音程内(级进与跳进)；四度音程内；五度音程内(不含四度)；五度音程内拍号2/4 3/4 4/4

音符与休止符时值

调性C大调 G大调 F大调

手位单手五指手位；双手轮奏五指手位

演奏表情记号

演奏奏法记号

一级

音域中A-E、中C-G、中C-F、低C-G、低C-高C、高C-G、低C- F、低F-高G、5C

音符与休止符时值

调性C大调 G大调 F大调 a小调 d小调

指法手位单手五指手位；双手轮奏五指手位

演奏表情记号

演奏奏法记号

临时升降记号

应指出，以上的示例仅仅是示例性的，难度等级还可以包含其他等级，例如二级到最高级，例如八级。在此情况下，最高等级(八级)可以对应于前文所述的预先设置的特征类别集。

在本公开的一些实施例中，“标签”是针对“难度级别”生成的，并且与“特征和特征组合”相对应的。例如英皇考级中的一个等级或者难度级别(level)，生成一个标签，这个标签指示这个level应该包含的音乐特征、以及各种特征的取值情况。而如果英皇考级中有多个level，那么则生成多个标签，一个level存在一个标签。可以认为“标签”只是个标识符，来指示该标签所对应的一种或多种特征组合以及组合中各特征的取值。在某种程度上其可以理解为一种规则/规定/标准，规定了该标签对应的一种或多种特征组合以及组合中各特征的取值。

在本公开的一些实施例中，标签可以是用任何适当的方式来表示，例如可以由分别与各个等级对应的数字、字符、符号等表示，例如从0级到8级可分别用数字0到8、字母A到H等表示对应的标签，标签的表示形式并不特别受限，只要能够彼此区分开以指示不同的等级。

根据本公开的一些实施例，第二标签(L1H)和至少一个第二子标签(L2H)中的至少一个是通过如下方式生成的：根据预先设置的音乐特征集中的相应等级所对应的音乐特征，选择特定的音乐特征组合以及相应的特征取值范围。特别地，其中各第二标签以及子标签规定了音乐特征集中的一个或多个音乐特征的组合及其特定取值范围。

在本公开的一些实施例中，第二标签包含至少一个第二子标签，并且每个第二子标签所对应的特征被包含在第二标签的全部特征内，和/或每个第二子标签所对应的每个特征的取值范围在第二标签所对应的该特征的取值范围内。

在本公开的一些实施例中，第二标签以及至少一个第二子标签可以被选择，作为示例，对于某一等级，可以由音乐相关技术人员或者有经验的音乐用户利用经验对乐谱训练样本库中的该等级的资料进行分析，从而标注获得包含于上文所预先设置的特征集中的至少一些特征，以及该特征相应的取值范围；或者可以由基准特征提取设备例如，通过机器学习、深度学习等从该等级的音乐资料中进行特征提取，以获得包含于上文所预先设置的特征集中的至少一些特征，以及该特征相应的取值范围，以作为第二标签以及至少一个第二子标签。

作为示例，音乐相关技术人员或者有经验的音乐用户可以包括钢琴教育专家，他们可以是给每个乐段的难度进行估算，并交由数据分析来得出其中的乐谱特征以及各乐谱特征值对应的可能难度范围。当然在积攒足够的标注数据之前，也可以在标注过程中总结出一套难度标注的标准过程(SOP)，这其中就设计了不同音乐特征维度的优先考察关系和难度分级的决策树条件。

在本公开的一些实施例中，上述的第一标签的生成以及第二标签和至少一个第二子标签的生成可以相互独立地执行，可以按照各种适当的顺序执行，也可以并行执行。

以下将仍然以视奏库作为举例来说明标签(对应于第一层标签) 与子标签(对应于第二层标签)：

标签的标签维度有音域；音程；节奏型；调性等等

子标签的标签维度与标签相同，也有音域；音程；节奏型；调性等等；

但是，标签和子标签的标签维度具有不同的粒度，并且标签维度的粒度大于或者能够覆盖子标签维度的粒度。作为示例，可认为标签对应于级别(Grade)，各个维度的范围比较广，而子标签则对应于在级别之下再细分成的单元(Unit)，例如通常有10-20个单元才能组成一个级别。以下仍然以视奏库为例进行说明：

假定标签层的其中一个标签维度有音域(低音C-高音C)，则子标签层在这个对应的音域维度，则会被细分为

中音CDE

中音C-G

中音C-A

中音C-F

中音A-E

中音F-G

低音C-G、

低音C-高音C(这个是进阶到了最大范围，等同标签层在该维度的范围定义)

图3C还示例性地示出了根据本公开的实施例的人工设定的标签，即第二标签以及其至少一个子标签。

根据本公开的实施例，第二标签和/或第二子标签可被用于作为参考或基准来对第一标签进行验证，从而改进第一标签，使得第一标签所对应的特征的提取更加准确。在一些实施例中，特别地利用第二子标签来对第一标签和第二标签都进行验证，特别地，一方面可以利用第二子标签作为基准来验证和/或改进第一标签，如上所述；另一方面，可以利用第二子标签来改进第二标签，从而优化第二标签的获取，提高第二标签的准确性，在第二标签作为基准来验证第一标签的情况下能够实现验证更加准确。

应指出，对等级标签(例如，前述第一标签和/或第二标签)进行优化或改进是非常必要的，这样可以实现训练数据清洗、困难样本挖掘、特征工程和数据标注等等。一方面，乐谱难度分级的标准不是一成不变的，这就会造成噪声数据的存在，由此可以通过标签优化或改进来清洗掉噪声数据的影响。另一方面，在训练模型的过程中，可以进行困难样本的挖掘，比如训练损失较大的样本、预测值与标注不一致的样本或聚类中距离中心点较远的样本。对于挖掘出的样本，可以通过专家团队进行标注以确保数据的正确性，从而借助于这样的挖掘样本来进一步优化标签。在还另一方面，可以在模型训练之前，先通过相关系数、夏普利值等进行特征相关度分析，以选取高度相关的特征作为输入，在提升模型的可解释性同时也降低了模型参数量及对标注数据量的需求；此外，不同等级的乐谱数量也会存在一定的差异性，这种数据不平衡会导致模型的偏差，可以针对样本数较少的等级寻找可能的乐谱进行专家团队标注以补充训练数据，从而可以基于补充训练数据所对应的标签来优化或改进标签的设定，提高标签精度。这里，还可以使用如Focal loss等加权损失函数来平衡样本权重。

根据本公开的实施例，可以采用各种适当的方式来利用第二子标签进行验证。在一些实施例中，通过利用第二子标签来生成音乐样本，由此基于所生成的音乐样本来对第一标签和/或第二标签进行验证。这里，所生成的音乐样本可作为参考音乐样本来进行第一标签和/ 或第二标签的验证。

根据本公开的一些实施例，音乐样本可以通过各种适当的方式来生成。根据本公开的一些实施例，非限制性地，根据第二子标签 (L2H)生成候选音乐样本包括以下中的至少一者：

获取符合第二子标签(L2H)规定的各音乐特征所对应的音乐片段并对所获取的音乐片段进行组合以生成候选音乐样本，或者

从乐谱训练数据库中提取符合第二子标签(L2H)所规定的音乐特征组合以及取值范围的音乐样本以作为候选音乐样本。

在本公开的一些实施例中，可以从已有的音乐素材库中获取符合第二子标签(L2H)规定的各音乐特征所对应的音乐片段并进行组合。可以通过各种适当的方式来实现。在一些示例中，可以通过电子音乐合成的方法利用各音乐特征所对应的音乐片段来合成音乐样本，即电子音乐旋律等等。特别的，音乐特征所对应的音乐片段可以为各种适当的形式，例如可以是包含音乐特征相关信息的信号，例如可以是音域、音程、节拍等对应的声音，可以是用特定格式保存的音乐数据等等，音乐片段的形式并不因此受限，只要能够体现出其对应的音乐特征即可。特别地，在本公开的一些实施例中，优选地对所获取的特征及其组合，随机排列组合，自动生成训练素材。

在本公开的另一些实施例中，音乐特征可以从已知的或者预先设定的特征库或集合中取得，例如前文所述的预先设置的特征库。在一些实施例中，可以从乐谱训练样本库中提取符合第二子标签(L2H) 所规定的音乐特征组合以及取值范围的音乐样本以作为候选音乐样本。这里的乐谱训练样本库可以是任何已知的样本库，例如各种乐谱库等。“已有乐谱库”指的是，人工上传的还未分类的乐谱，包括但不限于提供给机器进行学习的各考级系统历年乐谱；用户(老师或学生)上传至乐谱转换器中的乐谱；开源的数字乐谱库中的乐谱(比如 Giant midi乐谱库)；网络上任何可以爬取的乐谱等。当然，这里的乐谱训练数据库还可以是前述的用于生成第一标签的样本库。

作为示例，这里的提取可以通过机器学习方法对前述样本库和乐谱库中的资料进行特征提取并且与第二子标签的特征以及特征范围进行比对，并且在比对一致的情况将该资料作为用于进行验证的音乐样本。即，通过特征匹配的方法来从乐谱库中找到对应于第二子标签的候选音乐样本以供进行验证。

在一些实施例中，在获取候选音乐样本之后可以进行格式化处理以便于进行验证。作为示例，可以在如上所述地生成音乐样本之后，按照数据库应用场景、模块化训练或应用等的格式要求来对所生成的音乐样本的格式进行调整。

根据本公开的一些实施例，基于根据第二子标签(L2H)生成的候选音乐样本进行验证可包括验证候选音乐样本是否符合第一标签 (L1)的音乐特征组合以及特征取值范围的规定。在一些实施例中，验证可采用各种适当的方式来执行，特别地通过将所生成的候选音乐样本中的音乐特征与第一标签所对应的特征进行比对来执行。

根据本公开的一些实施例，验证根据第二子标签(L2H)生成候选音乐样本是否符合第一标签(L1)的规定包括：通过机器学习从候选音乐样本中提取音乐特征；并且将所提取的音乐特征与第一等级标签所规定的音乐特征组合及其特征取值范围进行比对，以验证候选音乐样本是否符合第一等级标签的规定。

在本公开的一些实施例中，当所提取的音乐特征的类型及其取值被包含在第一标签所规定的音乐特征组合及其特征取值范围内时，则认为候选音乐样本符合第一标签的规定。而所提取的音乐特征的类型和其取值中的至少一个不被包含在第一标签所规定的音乐特征组合及其特征取值范围内时，则认为候选音乐样本不符合第一标签的规定。例如，如果从音乐样本中所提取的特征的类型少于等于标签规定的，并都被涵盖在标签所规定的类型内，并且每一特征类型的取值也都被含在该标签所规定的同一特征的取值范围内，则可认为符合第一标签的规定；相反，如果从音乐样本中所提取的特征的类型中由至少一个不同于标签规定的类型，或者即使从音乐样本中所提取的特征的类型被标签所规定的类型涵盖，但是至少一个类型的取值范围不同于标签所规定的同一特征的取值范围，即使部分重叠仍认为是不同，则认为不符合标签规定的类型。

根据本公开的实施例，根据验证结果来对标签进行进一步的调整或优化，尤其是在验证结果指示标签之间存在差异或者冲突的情况下，对所生成的标签进行优化、调整或者更新，从而提高准确度。

特别地，在一些实施例中，基于验证结果对第一标签(L1)和第二标签(L1H)中的至少一者的规定进行调整包括：在验证根据第二子标签(L2H)生成候选音乐样本不符合第一标签(L1)的规定的情况下，进一步将候选音乐样本呈现给用户以供进行验证；并且根据用户验证结果来对第一标签(L1)和第二标签(L1H)中的至少一者的规定进行调整。由此，借助于作为用户的音乐专业人士等来验证差异或者冲突，可以分析第二子标签(L2H)生成候选音乐样本不符合第一标签(L1)的规定这种不一致或者差异的类型或者原因，并且相应地根据所分析出的类型或者原因来对标签或者特征进行相应地调整。

作为示例，发生不一致或者差异可能是由多种原因导致的。第一种原因是乐谱的实际难度级别背离了规定的难度级别，例如，本来规定难度较低的乐谱实际上难度更高，诸如“5级乐曲也许比次年的6 级乐曲还难”，这种情况下需要对于乐谱的难度级别标签进行优化；第二种原因是参考标签或者人工标签不够清楚明确，导致识别误差。例如人工标签在难度级别的定义边界不够明确，有重叠，或者与考级材料机器学习出来的标签有出入，这种情况下需要对人工标签或者参考标签进行优化明确边界。第三原因则是与预先设置的特征库的维度有关，如预先设置的特征库的特征类别维度不够精细，这种情况下可能需要对于特征类别的维度进行调整。

根据本公开的一些实施例，在确定不一致或者差异所涉及的特征类别或者特征维度仍被包含于在先获取的音乐特征集合，例如先前根据机器学习从音乐样本获取的特征集合或者预先设置的音乐特征集中，则可以执行上述的调整处理，例如第一标签(L1)或第二标签 (L1H)的生成或调整。在一些实施例中，在用户验证结果指示候选音乐样本符合第一标签(L1)的规定的情况下，以该候选音乐样本作为训练样本以用于优化通过机器学习来生成第一标签(L1)，由此利用更加全面的样本图像来进行第一标签的获取，提高了所生成的第一标签的准确度。这例如可对应于前述第一种差异原因。特别地，可以利用根据本公开的机器学习方案来优化第一标签。

在另一些实施例中，在用户验证结果指示候选音乐样本不符合第一标签(L1)的规定的情况下，调整第二标签(L1H)。在本公开的一些实施例中，调整第二标签的设定包括参照第一标签来调整第二标签规定的音乐特征组合和/或各音乐特征的取值范围，以使得基于调整后的第二标签所生成的候选音乐样本符合第一等级标签的规定。这例如可对应于前述第二种差异原因。

根据本公开的实施例，附加地或者替代地，根据用户验证结果还可以对于在先获取的音乐特征集合，例如先前根据机器学习从音乐样本获取的特征集合或者预先设置的音乐特征集，进行调整。特别地，如果确定不一致或者差异所涉及的特征类别或者特征维度并不被包含于在先获取的音乐特征集合中，这例如可对应于前述第三种差异原因，则可以认为在先获取的音乐特征集合的精度不够，因此可对在先获取的音乐特征集合中的特征类别进行进一步的调整，例如增加新的特征类别，或者将已有的特征类别进行进一步细分等等。这里例如可通过将被验证的音乐样本来作为新的训练样本来重新进行特征训练或特征学习，如前所述，由此进一步优化特征标签。

作为示例，在应用识别过程中可预先设置20个特征类别作为预先设置的特征集，并且通过机器学习生成1级难度标签时用了该特征集中的4个特征类别，人工定义1级难度标签时也采用了该特征集中的 4个特征类别，但是在人工定义1级难度标签时候所产生的4个特征跟机器学习定义的4个特征可能会有不同，因此在此情况下，可根据验证结果来进行标签调整或细化。

一方面，如果不同是产生在20个特征之内，比如人的D特征比对机器的D特征属于包含关系，需要调整的部分就是标签的母标签子标签，调整优化标签的设置及取值范围。另一方面，如果不同是产生在20个特征之外，就需要重新增加预制的特征识别维度，细化定义新的特征标签。

应指出，预先设置的特征集还可通过其它适当的方式来进行调整或优化。在一些实施例中，可以从所补充的音频文件或标准化的乐谱编码文件，学习乐谱的深度表征进行乐谱相似性的比较，并分析其与乐谱难度的相关性，通过度量学习等的方式来扩大不同难度等级乐谱特征的距离以实现更好的难度等级分类。

特别地，在本公开的实施例中，能够通过机器学习来优化对应于难度等级的标签的生成和优化。作为示例，通过机器学习，给出音乐乐谱特征，对不同考级标准的素材进行学习，得到对不同考级标准的等级(例如，等级1-10)的特征概率预测，以及取值范围；进一步的，在那之下再细分子模块/标签，用于针对不同的训练模式和模块化训练库进行定制化或者调整。这样的等级标签生成或优化可用于本公开中乐谱训练库的构建的各个阶段，尤其涉及等级标签的生成、等级标签的调整等，例如前述针对第一等级标签和第二等级标签的调整。

图4示意性地示出了根据本公开的实施例的乐谱训练数据库的创建示例，尤其示出了根据本公开的实施例的乐谱训练数据库创建中的标签的设定和优化。

首先，获取预先设置的音乐特征集，特别地，可以对不同模块的库里的素材进行特征预置，这里的预先设置的音乐特征集可如前所述地获取。

然后，根据预先设置的音乐特征集中的相应等级所对应的音乐特征，通过机器学习对乐谱训练样本库中所包含的具有相应等级的一个或多个音乐样本进行音乐特征提取，生成第一标签。作为示例，乐谱训练样本库可以包含历年考级素材(英皇考级为例)，并且用机器学习的方法参照预先设置的特征集进行难度分级规律学习，生成第一级难度级别标签作为第一标签。

然后，根据预先设置的音乐特征集中的相应等级所对应的音乐特征，选择特定的音乐特征组合以及相应的特征取值范围，生成第二标签以及包含在第二标签中的至少一个第二子标签。特别地，可参照难度级别来人工地生成第二标签和第二子标签，例如由音乐专业人员。

接下来，基于所生成的第二标签来生成候选音乐样本以作为训练素材。候选音乐样本可通过两种方式来生成，一种方式是获取符合第二子标签规定的各音乐特征所对应的音乐片段并对所获取的音乐片段进行组合以生成候选音乐样本，作为示例，可以选取与第二相应的特征及其组合，随机排列组合，自动生成训练样本素材；另一种方式是从乐谱训练数据库中提取符合第二子标签所规定的音乐特征组合以及取值范围的音乐样本以作为候选音乐样本，作为示例，可以在已有的乐谱中(可以从分类曲谱库进行提取，也可以从外网爬取)提取符合条件的特征及其组合，自动生成训练样本素材。可选地，还可对所生成的训练样本素材进行格式化，作为示例，可根据各模块训练资料的格式要求进行素材统一(比如节奏库的素材需要去除音高标注)，以作为训练样本素材。

然后，基于所生成的训练样本素材来验证第一标签，特别地，验证候选音乐样本是否符合第一标签的规定，例如该候选音乐样本的特征是否被包含在第一标签规定的特征组合内。从而，可以根据验证结果来进行相应的后续处理。

如果被包含，这样通过验证的训练样本素材可被用于构建乐谱训练数据库，即所有通过验证的训练样本素材可连同其等级标签一起保存到数据库中。

如果未被包含，则进一步对候选音乐样本进行验证，特别地，可以由人工对候选音乐样本进行验证，以验证候选音乐样本与第一标签、第二标签、甚至是预先设置的特征集之间的关系。

一方面，如果验证候选音乐样本符合第一标签的规定的情况下，调整第一标签，特别地，可以人工将该素材作为训练样本以用于第一标签的机器学习，从而提高第一标签的精度；

另一方面，验证候选音乐样本不符合第一标签但与该样本差异相关特征仍包含在先前确定的特征集合中的情况下，调整第二标签，特别地，可以调整所述第二标签，例如通过人工调整或者通过机器学习比对的方式来进行调整，使其与机器判断的结果相符。

还另一方面，在与该样本差异相关的特征不包含在预先设定的特征集中的情况下，进一步对预先设置的特征集进行调整，特别地，可以对预先设置的特征集增加或者细化特征，从而提高特征集中的特征的全面性和/或精度。

上述部分的方案的具体实现可以如上所述地执行，这里将不再详细描述。并且上述部分的操作可以针对用于构建乐谱训练库的样本循环地执行。特别地，可以对于每一等级循环的执行，其中对于每一等级的样本，逐一执行上述的难度标签定义，并且在通过验证的情况下可作为候选样本以用于构建样本，未能通过的情况下则可作为用于调整、优化难度标签。

根据本公开的一些实施例，还可以对于标签进行进一步细化以实现更加精细、准确的标签设定和分级，从而能够构建更加精确的乐谱训练数据库。图5示出了根据本公开的实施例的乐谱训练数据库的创建、尤其是创建期间的标签设置和优化的示例性实现。在本公开的一些实施例中，在如前所述的生成第一标签、第二标签和第二子标签之外，可以获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集通过机器学习生成的至少一个第一子标签(L2)，所述第一子标签 (L2)被包含在第一标签(L1)中，并且，在验证根据第二子标签 (L2H)生成候选音乐样本符合第一标签(L1)的规定的情况下，进一步验证验证根据第二子标签(L2H)生成候选音乐样本是否符合第一子标签(L2)的规定，其中基于验证结果对第一子标签(L2)和第二子标签(L2H)中的至少一者的规定进行调整，甚至也可以对预先设置的特征集进行调整。这里的第一子标签的验证操作、调整操作等可如上文针对第一标签的验证、调整操作那样执行，这里将不再详细描述。

根据本公开的实施例，基于通过验证的候选音乐样本及其对应的等级标签可以构建乐谱训练数据库。特别地，在训练样本库中，将通过验证的候选音乐样本及其对应的等级标签相关联的存储。特别地，在数据库中对候选音乐样本进行排序。排序可以为各种适当的形式。可以遵照各种排序设置来执行。特别地，排序设置可以包括但不限于：难度排序，知识点排序，训练模块排序，关键指标协同推荐排序 (此处指的是协同过滤算法下的关联数据推荐)等。作为示例，推荐排序可以是分析不同样本的用户行为序列以挖掘用户的行为习惯并进而为用户生成合适的推荐列表，完成训练素材生成、主题模型建模、难度序列构造、难度序列分析、推荐列表生成训练内容，给予内容推荐和学习路径规划等。

在一些实施例中，排序设置可以基于用户输入被生成的，并且基于所接收的排序设置对符合同一等级标签的候选音乐样本进行排序，以构建乐谱训练数据库。

作为示例，用户输入可包含用户输入信息，训练数据记录，用户偏好记录等，其中用户输入信息可包括但不限于：年龄、性别、平均训练时长，平均训练频次，累积训练时间，用什么设备(钢琴/电钢等)训练，学习目标选择(考级/兴趣培养/第二乐器/专业训练等)；根据什么考级系统在学习(英皇考级/中国音协考级/央音考级/上音考级等)；训练数据记录可包括但不限于平均训练时长，平均训练频次，累积训练时间，陪练/自主训练频次，用户训练时的平均注意力时长，训练错误率，训练各评分维度平均分数(强弱项)等；用户习惯偏好记录可包括但不限于用户是否愿意在不及格的时候按照系统推荐进行重复练习；用户遇到困难时多久放弃；用户训练时在什么训练结果或者情况下会选择额外强化练习和补充练习；用户在什么样的游戏激励条件下会选择额外强化练习和补充练习)。由此，可以参照这样的用户输入中反映出的用户特点或需求来对资料进行排序。例如，可基于资料训练中所获得的乐谱多维模型，比如乐谱难度、特征(知识点)、模块类别等，与用户样本特征和使用过过程中的情况场景进行匹配，比如不同场景下不同用户样本的共同易错点，从而将匹配的资料优先排序。

在另一些实施例中，排序设置可以是基于优先级的，例如是基于音乐特征的优先级。特别地，排序设置包含按照候选音乐样本中的各个音乐特征的优先级排序。音乐特征的优先级可以考虑数据库的应用场景、数据库的类型等等。例如，对于某种类型的应用，可能在应用时某些特征更加受到重视，因此排序时可以优先考虑包含这些特征的音乐样本，其排序在前面，以优先呈现给用户。

在一个示例中，在考虑音乐特征包括小节、拍号、音符的情况下，相同难度标签下的素材的排序规则可以是优先按照小节数从少到多，按照同等小节数下拍号的排序顺序，前两条都相同的情况下音符从少到多进行排序。当然可以是其它排序方式。

由上，通过适当的排序设置可以将乐谱训练数据库以适当的方式提供给客户，这等同于为用户推荐训练内容，并且这部分可以被认为借助于等同的推荐系统或推荐模块来实现，该推荐系统或推荐模块可被认为包含在本公开的音频训练数据库的生成或者应用设备中。特别地，该推荐模块用来分析不同样本的用户行为序列以挖掘用户的行为习惯并进而为用户生成合适的推荐列表，完成训练素材生成、主题模型建模、难度序列构造、难度序列分析、推荐列表生成训练内容，给予内容推荐和学习路径规划等；所述推荐包括根据学生个体的情况，找到相似的用户样本参考群体协同推荐；所述推荐也包括根据该用户过往的训练数据记录针对其薄弱环节和未掌握的知识点进行关联模块、难度、特征的内容推荐；所述推荐还包括该用户的训练习惯偏好进行内容难易搭配、训练节奏和时长的策略推荐。

根据本公开的实施例，乐谱训练数据库的应用可包括乐谱训练数据库与用户之间的交互，一方面，乐谱训练数据库中的乐谱训练样本被提供给用户，以供用户使用，例如学习、训练等等，例如如果在乐谱训练样本排序的情况下可以按照排序方式被提供给用户，另一方面，用户可以反馈应用结果，从而可以基于用户反馈对乐谱训练数据库进行优化，包括乐谱训练数据库的排序、呈现、甚至是乐谱训练数据库的等级标签和相应的特征组合等，从而得到进一步改进的乐谱训练数据库。

根据本公开的实施例，可以将所构建的乐谱训练数据库通过呈现设备呈现给用户，接收用户基于所构建的乐谱训练数据库的等级学习结果；并且基于等级学习结果来对乐谱训练数据库中的音乐样本配置进行优化。

根据本公开的实施例，在将数据库呈现给用户之前，可以将所构建的乐谱训练数据库进一步进行格式调整，以便更便于用户来使用。特别地，可以根据应用场景，用户学习、训练场景等来进行格式调整。特别地，格式调整可以包括根据所希望的谱面呈现格式对音乐样本的格式进行调整。

根据本公开的实施例，可以将所构建的乐谱训练数据库以各种适当的方式呈现给用户。作为示例，可以采用游戏的方式给呈现给用户，使得用户能够以类似玩游戏的方式来进行学习、训练等。特别地，可以采用转化器从MusicXML文件中进行识别来将数字乐谱图像化，并且静态或者动态地呈现给用户，尤其是以互动的方式提供给用户，从而相应地，可以搜集用户训练的数据跟踪和反馈。例如，在用户通过玩游戏来进行学习、训练等的情况下，用户玩游戏所获取的数据、或者结果、可以作为反馈被提供到乐谱训练数据库侧。例如，大量用户在同一条训练上的过关时间和准确度可作为反馈被提供到乐谱训练数据库侧。

根据本公开的实施例，基于用户反馈的数据来对乐谱训练数据库进行调整、优化。在一些实施例中，可以根据所反馈的用户训练数据，对乐谱训练数据库中的难度排序进行优化，例如前文所述的根据用户输入而优化排序，继而优化在乐谱训练数据库应用中呈现给用户的样本，从而更加适合于用户训练等。

在另一些实施例中，还可以基于用户反馈的数据来对乐谱训练数据库的等级标签和相关联的特征进行优化。特别地，可以考虑通过 AB测试的方式，通过对不同特征值乐谱的投放时学生的反馈信息，来衡量相应特征对难度的影响，从而摆脱对公开难度等级的依赖，以开发更适合于学生能力成长曲线的乐谱难度等级排序。作为示例，还可以根据用户反馈的样本来作为训练样本以进行乐谱训练数据库的训练，以如前所述的方式进行，从而可以使得乐谱训练数据库的等级更加精确。从而，作为示例，在不同的应用模式(如视奏、听音等) 下，通过累计的用户训练数据(如错误率、最终通过率、首次通过需要平均的练习次数等)，进行不同应用模式下自适应的难度精细预测及排序。

图6示出了根据本公开的实施例的乐谱训练数据库的构建和应用的示例性流程图。其中的乐谱训练数据库的构建可如前文所述地那样实现，这里将不再详细描述，然后将所构建的乐谱训练数据库提供给用户以进行应用。

首先，基于特定的排序设置对符合同一等级标签的候选音乐样本进行排序，并将以构建乐谱训练数据库。特别地，将通过前述验证的素材进行排序并且将素材与难度级别标签相关联地存储，以得到了供用户使用的数据库。应指出，此步骤也可被包含在之前的乐谱训练数据库的构造过程中。

作为示例，排序设置可以由用户被预先设置，或者依赖于用户所输入的数据、用户使用数据等等来自动地设置，如上文所述。例如，预置在同等难度级别标签下(细化后的第二级难度标签)素材的排序规则，该排序规则可以为各种适当的排序规则，尤其是可以同时参考多维度标签进行搭配排序，作为示例可以按照任何的标签次序来进行排序，例如考虑优先级等。在一个示例中，按照小节数从少到多，按照同等小节数下拍号的排序顺序，前两条都相同的情况下音符从少到多进行排序等。

然后，将所构建的乐谱训练数据库通过呈现设备呈现给用户，这里可以通过任何适当的呈现设备，例如通过游戏转换器将数据库中的训练样本转换成交互式游戏以供用户进行游戏。应指出，在呈现给用户之前训练数据库中的样本还可被进行格式调整，例如，通过将素材库中的素材按照各个模块资料库的规范谱面呈现格式进行格式统一处理，生成各模块资料的题库，这样所述题库里的谱面通过游戏转换器，转换成交互式游戏，供用户玩游戏(进行训练)。

然后，接收用户基于所构建的乐谱训练数据库的训练结果；并且基于训练结果来对乐谱训练数据库中的音乐样本的布置进行优化，特别地将数据库中音乐样本的排序进行优化。特别地，在不同的应用模式(如视奏、听音等)下，通过累计的用户训练数据(如错误率、最终通过率、首次通过需要平均的练习次数等)，进行不同应用模式下自适应的难度精细预测及排序，使得被依次推荐或提供给用户的乐谱训练样本更加适合于用户的应用。作为示例，搜集用户训练的数据跟踪和反馈(比如大量用户在同一条训练上的过关时间和准确度)；然后在第二级难度标签下持续优化难度排序，并返回更新素材库排序；此部分的操作也可被称为用户交互排序优化循环。

在另一些实施例中，还可通过利用用户应用该数据库的反馈来进一步优化乐谱训练数据库的构建和优化。作为示例，可以根据用户反馈的结果来实现更精细的难度预测，调整难度等级。特别地，如果用户反馈训练结果并不理想，则这样的用户训练的样本可作为困难样本，然后通过机器学习、尤其是深度学习等基于用户反馈的困难样本来进行决策，以调整难度等级中所对应的特征，从而调整数据中的难度标签改进。这里的调整可采用各种适当的方式来进行，例如可以通过采用特征比对来比对纯机器分析的特征去找寻关联度高的特征，加入到预制特征集(精进预制特征集)。

最终形成一个不断更新和优化的模块化训练资料库。这个库可以在机器学习，内容自动生成和用户反馈这个过程中不断的产生和优化相应模块的训练内容。

以下将根据本公开的实施例的乐谱训练数据库的特定应用场景。在一个实施例中，本公开的实施例的乐谱训练数据库可以是专项训练库，尤其是用于音乐节奏训练的节奏库。节奏库里素材的用途或目的是用户(也可被称为受训者或者受训用户)在不同拍号中对音符时值和节奏型的应用能力，熟悉不同的节奏型和节奏风格，能够快速的阅读谱面中的节奏，为音乐或乐器学习的识谱难关打下良好的基础，同时培养好的节奏感。

根据本公开的实施例的针对节奏库的应用场景下用于乐谱训练数据库的构建和应用，

S1难度分级，难度排序定义

需要提取的6个特征类别：a拍号特征，b节奏型特征，c休止符特征，d延音线特征，e小节数特征，f声部特征(合奏，轮奏，卡农)。也就是说，在此应用场景下，库或集合可包括上述6个特征，并且在生成第一和第二等级标签时可需要从上述6个特征中进行选取。

S2根据历年考级素材(英皇考级为例)，根据每个级别的现有视奏资料，对以上6个特征进行特征提取；用机器学习的方法对S1所预置的特征和这些特征的组合进行难度分级规律学习，生成第一级难度级别标签；

S3人工根据节奏的学习进阶规律做出对S1预置的特征和特征组合进行第一级和第二级难度级别标签定义(第二级难度标签更细化并分别置于相应的第一级难度级别标签下)；

S4根据S3生成的第二级难度级别标签，选取与之相应的特征及其组合，随机排列组合，自动生成训练素材；

S5根据S3生成的第二级难度级别标签，在已有的乐谱中(可以从D分类曲谱库进行提取，也可以从外网爬取)提取符合条件的特征及其组合，自动生成待用素材；

S6将S5生成的待用素材根据节奏训练库的格式要求进行格式统一(去除音高标注)；生成训练素材

S7将S4与S6生成的训练素材与S2中定义的第一级难度级别标签进行对比，验证是否为包含关系(即是否能归属到对应的第一级难度级别标签)；

S8若S7的结果是不属于，则应该将该训练素材放置人工验证库，人工判断该素材是否能够归属到S2中定义的第一级难度级别标签；

S9-1 S8所述的人工判断若结果是可以归属，则需要人工将该素材喂给S2的机器学习，优化机器对第一级难度级别标签的定义；

S9-2 S8所述的人工判断若结果是不可归属，则需要人工调整细化 S3中所述的人工定义的难度标签，使其与机器判断的结果相符合；

(上述S2-S9的部分为节奏训练库的难度标签定义循环)

S10预置在同等难度级别标签下(细化后的第二级难度标签)，素材的排序规则(例如按照小节数从少到多，按照同等小节数下拍号的排序顺序，前两条都相同的情况下音符从少到多进行排序等)；

S11将能够通过S8验证库的训练素材根据S10预置的排序规则进行比对排序；

S12将S11排序好的训练素材录入素材库

(以下进入用户交互排序优化循环)

S13将S12素材库中的素材按照节奏专项训练库的规范谱面呈现格式进行格式统一处理，生成专项节奏训练的题库；

S14将S13所述题库里的谱面通过游戏转换器，转换成交互式节奏训练游戏；

S15用户玩游戏(进行训练)；

S16搜集用户训练的数据跟踪和反馈(比如大量用户在同一条训练上的过关时间和准确度)；

S17根据S16搜集的用户数据，在第二级难度标签下持续优化难度排序，并返回S12更新素材库排序；

(上述S13-S17的部分为用户交互排序优化循环)

根据本公开的另一个实施例，本公开的实施例的乐谱训练数据库可以是专项训练库，尤其是视唱库，视唱库其可以包括两个部分，第一个部分是音高音准训练库，第二个部分是单声部旋律视唱训练库。并且本公开的实施例可以分别针对视唱库的两个部分来执行。

在一个实施例中，音高音准训练库的素材的用途或目的是用户在不同谱号中的识谱能力，熟悉标准音高和音与音之间的距离，能够唱准音，逐步拓宽音域。其应用场景分两种，一种是直接作为谱面素材供受教者练习，如图7A所示。第二种是通过适当的转化器转化为视唱软件里的一条训练内容，如图7B所示，视唱软件可以根据麦克风收音去进行音准的比对和示范，直观的将看不见的声音形象化为看得见的旋律线条，使受教者能够看到音的行进方向和音与音的距离，以及标准音与自己唱的音之间的差距，指导受教者修订错误，提升进步。

根据本公开的实施例的乐谱训练数据库可以是音高音准训练库，并且针对音高音准训练库的应用场景下用于乐谱训练数据库的构建和应用可以如下地执行。

“音高音准训练库”的素材有6个特征类别(单音训练，没有节奏)：a音高特征，b音程特征，c音域特征，d音符数量特征，e谱号特征，f调性特征(调号，临时升降记号以及主和弦)。也就是说，在此应用场景下，预先设置的特征类别可包括上述6个特征类别，并且在生成第一和第二等级标签时可需要从上述6个特征中进行选取。后续的等级标签的生成和优化、数据库的构建、与用户的交互等等可以如前文所述，例如如前文所述的步骤S2-S17那样执行，这里将不再详细描述。

在另一个实施例中，“单声部旋律视唱训练库”单声部旋律视唱训练库的素材的用途或目的是用户在不同谱号中的识谱能力，能够在唱准音的同时，控制好一条旋律的节奏节拍，音乐乐感，旋律美感，断句呼吸等。其应用场景分两种，一种是直接作为谱面素材供受教者练习，第二种是通过适当的转化器转化为视唱软件里的一条训练内容，如图7C所示，视唱软件可以根据麦克风收音去进行音准和节奏节拍的比对和示范，类似于KTV或者手机“唱吧“应用软件的跟唱打分功能。

根据本公开的实施例的乐谱训练数据库可以是单声部旋律视唱训练库，并且针对单声部旋律视唱训练库的应用场景下用于单声部旋律视唱训练库的构建和应用可以如下地执行。

“单声部旋律视唱训练库”的素材有多个特征类别，例如包括但不限于：a音程特征，b音域特征，c调性特征，d音乐术语特征，e 旋律线条的模进(音乐型特征)等等特征。其中a，b，c可作为必选项，d，e可作为根据级别进阶逐渐加入的选项。也就是说，在此应用场景下，预先设置的类别可包括上述多个特征类别，并且在生成第一和第二等级标签时可需要从上述多个特征类别中进行选取。例如，等级越低，则可包含的特征类别越少。

后续的等级标签的生成和优化、数据库的构建、与用户的交互等等可以如前文所述，例如前文所述的步骤S2-S17那样执行，这里将不再详细描述。

在一个实施例中，本公开的实施例的乐谱训练数据库可以是专项训练库，尤其是视奏训练库。视奏训练库的素材的用途或目的是用户的快速识谱演奏能力，即拿到新乐谱在最短时间内正确演奏的能力。其应用场景分两种，一种是直接作为谱面素材供受教者练习，第二种是通过E-Library里的转化器转化为视奏软件里的一条训练内容，视奏软件可以根据麦克风收音或者电钢琴连接电脑数据传收的方式去进行演奏的比对，纠错和评分。应用场景可以分别如图所示。

在本公开的一些实施例中，针对视奏训练库的应用场景下用于视奏训练库的构建和应用可以如下地执行。

视奏库的素材有多个特征，包括但不限于a音程特征，b音域特征，c拍号特征，d节奏型特征，e休止符特征，f延音线特征等等。其中a，b，c，d特征可作为必选项，e，f可作为根据级别进阶逐渐加入的选项。

在此应用场景下，预先设置的特征类别可至少包括上述a-f个特征，并且在生成第一和第二等级标签时可需要从上述a-f个特征中进行选取。例如，等级越低，则可包含的特征越少。特别地，a，b，c， d等特征可以构成最低的难度等级，对应于最低等级的难度标签，而随着难度标签的等级增加，可以逐渐增加e，f中的至少一个，作为示例，可以随着等级每增加一级可分别增加上述特征e，f中的一个。上述特征e，f中的增加可以是被随机的增加，或者可以根据应用场景、优先级等来排序，优先级越高则越先增加。

在一个实施例中，本公开的实施例的乐谱训练数据库可以是专项训练库，尤其是听力训练库。听力训练库的素材的用途或目的是用户的内心听觉，听辨能力等，并且作为示例，听力训练库可以包括至少一个子库，例如听音训练库(Guess Key/Guess interval/Guess Chord)、调性听辨库(Guess scales/Guess Chord/Guess the tonality)、节奏训练库(clap the rhythm)、节拍训练库(Clap the time)、旋律听辨库(Telling difference)、旋律分析库(Music Analysis)等中的至少一个。本公开的实施例可以应用于上述听力训练库、尤其是听力训练库中所包含的各子库。

根据本公开的一些实施例，针对听力训练库的应用场景下用于听力训练库中各子库的构建和应用可以如下地执行。

对于听音训练库，可至少提取包括但不限于：a音高，b音域，c 谱号，d和弦等的多个特征；

对于调性听辨库，可至少提取包括但不限于：a和弦,b音程,c调性特征等的多个特征；

对于节奏训练库，可至少提取包括但不限于：a节奏型特征，b休止符特征等的多个特征；

对于节拍训练库，可至少提取包括但不限于a节奏型特征，b拍号特征等的多个特征；

对于旋律听辨库，可至少提取包括但不限于a节奏型特征，b休止符特征等的多个特征；

对于旋律分析库，可至少提取包括但不限于a力度，b奏法，c速度，d调性，e时期等的多个特征；

也就是说，在此应用场景下，对于上述听力训练库中的每个子库，预先设置的特征类别可包括上述各子库所需要提取的特征，并且在生成第一和第二等级标签时可需要从这样的特征中进行选取。后续的等级标签的生成和优化、数据库的构建、与用户的交互等等可以如前文所述，例如如前文所述的步骤S2-S17那样执行，这里将不再详细描述。

在一个实施例中，本公开的实施例的乐谱训练数据库可以是技巧训练库(Fingerboogie)。技巧训练库的用途或目的是用户的手指基本功和演奏技巧，使之能从弹奏技术的层面支撑音乐作品的表达。

S1难度分级，难度排序定义

人工定义素材分类，级别和难度排序(这个部分不需要机器学习和难度标签定义，因为都是难度分层明确的内容，通过预置就可以)

S2自动生成训练素材并入库

根据S1的分类，难度和排序定义，对素材进行识别，排序，以及按照模板排版入库

S3转化成技巧训练软件内容

将成型素材通过E-Library里的转化器转化为技巧训练软件里的一条训练内容。

S4在软件中记录用户操作数据，根据大量用户的操作数据(完成某一条素材的时间，正确率等)对素材再次进行优化难度排序。

根据本公开的实施例的音频训练样本库的构建和应用方案可以应用于分类曲谱库。

分类曲谱库是根据不同类别的特征提取进行音乐乐谱分类的曲谱库，能够完成乐谱识别和自动分类，相应的，也支持用户根据标签进行智能检索。特别地，本公开的分类曲谱库的标签类别包括但不限于以下几种特征提取对应的类别：A1按照曲谱的调性，节拍，节奏型，手位，音乐记号，和声，奏法，音程，旋律型/音乐型分类；A2按照曲谱的时期，作者，体裁，风格，调式曲式分类；A3按照曲谱的主题特征进行分类。

此外，本公开的分类曲谱库的标签类别还可包括按照曲谱的难度标签分类。特别地，本申请所述的交互式精进算法则主要是针对去实现该按照曲谱的难度标签分类。

根据本公开的实施例，可以根据音乐的基本元素来提取特征，从而所提取的特征为表征音乐的基本属性的特征，包括但不限于音程特征、音域特征、拍号特征、节奏特征等。具体实施步骤同近似于节奏库的S1-S17，只是所提取的特征不同。

根据本公开的实施例，通过构建多维模型来支持多维度乐谱标签，这样每个数字乐谱可以从彼此不同的多个维度来进行分类标签。维度的数量和选取可被适当的设定。

作为一个示例，可以从乐理特征标签、难度标签、训练模块标签这三个角度对数字乐谱进行分类标签。如图8所示，在三维模型中， X轴为乐理特征标签，其可通过识别乐谱的乐理相关特征而被获取，可包括但不限于例如音域、拍号、调性、音程、节奏型、音乐型、手位、指法、奏法、音乐记号等，每个乐理特征匹配相应的难度和训练模块；Z轴为训练模块标签，是一个可变动标签，可以定义针对适当应用场景的训练模块，包括但不限于例如技巧模块、视奏专项训练模块、听力专项训练模块、节奏专项训练模块、乐理模块、创作模块、音乐欣赏模块、视唱模块等；满足定制针对性的训练；Y轴为难度标签，能够针对不同训练模块和不同乐理特征的标签进行难度定级。从而，XYZ三个角度共同作用，从而可以在3D模型中形成无数个点，这些点组成了完整的一个数字乐谱标签，例如图8中由无数点连成的面就对应于一个数字乐谱的标签，其涵盖了多个特征维度、多个应用场景和多个难度等级。

应指出上述描述是为了简化起见，根据本公开的多维度乐谱标签还可更加细致地划分。特别地，在乐理特征标签(Music pattern category)中所包含的每一种特征可以看做单个维度，如附图中所示的8个特征看做八个维度，则输入到本公开所构建的模型中，输出是为一个数字乐谱的标签。当然，也可针对每个应用场景输出以一个对应的数字乐谱。

根据本公开的实施例，可以通过构建多维数据库来支持多维度乐谱标签，这里维度的数量和选取可被适当的设定。作为示例，多维数据库可以包括乐谱信息表、曲库特征表、曲库难度分级表、曲库主题特征表。特别地，乐谱信息表可以包含乐谱编号，乐谱名，作者，时期，体裁，风格，调式曲式，英皇等级，音协等级，上音等级等的相关特征；曲库特征表可以包含乐段编号，乐谱编号，小节名，长度，调性，节拍，节奏型，手位，音乐记号，和声，奏法，音程，旋律线等的相关特征；难度分级表可包含乐谱编号，训练模式，一级难度标签，二级难度标签等的相关特征；曲库主题特征表可包含乐段编号，风格，调式曲式，体裁，联想性，客观描写性，性格刻画性等的相关特征。

乐谱数据库(msdb:music sheet database)的创建和使用的示例性程序语言可如下：

create database msdb；

use msdb；

创建乐谱信息表

create table feature(

‘msid’int(8)unsigned NOT NULL auto_increment,

‘name’varchar(50)NOT NULL,

‘author’varchar(50)NOT NULL,

‘period’varchar(50)NOT NULL,

‘genre’varchar(50)NOT NULL,

‘style’varchar(50)NOT NULL,

‘mode’varchar(50)NOT NULL,

‘abrsmlevel’int(8)unsigned NOT NULL,

...

PRIMARY KEY(‘rid’)

)

创建难度分级特征表

create table difficulty(

‘msid’int(8)unsigned NOT NULL auto_increment,

‘tmode’int(8)unsigned NOT NULL,

‘l1_level’int(8)unsigned NOT NULL,

‘l2_level’int(8)unsigned NOT NULL,

...

PRIMARY KEY(‘rid’)

)

...

以下将根据附图来描述根据本公开的实施例的乐谱训练数据库的构建装置，其中所述乐谱训练数据库具有至少一个等级，对于每一等级具有对应的等级标签。如图所示，构建装置900包括处理电路 902，其能够被配置为执行根据本公开的实施例的乐谱训练样本的构建。

在上述电子设备的结构示例中，处理电路902可以是通用处理器的形式，也可以是专用处理器，例如ASIC。例如，处理电路120能够由电路(硬件)或中央处理设备(诸如，中央处理单元(CPU)) 构造。此外，处理电路420上可以承载用于使电路(硬件)或中央处理设备工作的程序(软件)。该程序能够存储在存储器(诸如，布置在存储器中)或从外面连接的外部存储介质中，以及经由网络(诸如，互联网)下载。

根据本公开的实施例，处理电路902可以包括用于实现上述功能的各个单元，例如处理电路可以包括：第一标签获取单元904，被配置为获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集通过机器学习生成的第一标签(L1)，第二标签获取单元906，被配置为获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集生成的第二标签(L1H)以及包含在第二标签(L1H)中的至少一个第二子标签(L2H)，其中各第二标签以及子标签规定了音乐特征集中的一个或多个音乐特征的组合及其特定取值范围；生成单元908，被配置为根据第二子标签(L2H)所规定的音乐特征组合以及音乐特征取值范围生成候选音乐样本，验证单元910，被配置为利用所生成的候选音乐样本对第一标签(L1)和第二标签(L1H)中的至少一者进行验证，其中第一标签(L1)和第二标签(L1H)中的至少一者的规定能够基于验证结果被调整；以及创建单元912，被配置为基于通过验证的候选音乐样本及其对应的等级标签来构建乐谱训练数据库。

在本公开的一些实施例中，所述第一标签获取单元904可进一步被配置为：根据预先设置的音乐特征集中的相应等级所对应的音乐特征，通过机器学习对音乐参考样本库所包含的具有相应等级的一个或多个音乐参考样本进行音乐特征提取，以确定与该等级对应的音乐特征组合及其音乐特征取值范围而生成第一标签(L1)。

在本公开的一些实施例中，所述第二标签获取单元906可进一步被配置为：第二标签(L1H)和至少一个第二子标签(L2H)中的至少一个是通过如下方式生成的：根据预先设置的音乐特征集中的相应等级所对应的音乐特征，选择特定的音乐特征组合以及相应的特征取值范围。

在本公开的一些实施例中，所述生成单元908可进一步被配置为：

在本公开的一些实施例中，所述验证单元910可进一步被配置为：验证根据第二子标签(L2H)生成候选音乐样本是否符合第一标签(L1)的音乐特征组合以及特征取值范围的规定。

在本公开的一些实施例中，所述验证单元910可进一步被配置为：

通过机器学习从候选音乐样本中提取音乐特征；

将所提取的音乐特征与第一等级标签所规定的音乐特征组合及其特征取值范围进行比对，以验证候选音乐样本是否符合第一等级标签的规定。

在本公开的一些实施例中，所述验证单元910可进一步包括调整单元，其被配置为：基于验证结果对第一标签(L1)和第二标签 (L1H)中的至少一者的规定进行调整。在一些实施例中，该调整单元可被配置为在验证根据第二子标签(L2H)生成候选音乐样本不符合第一标签(L1)的规定的情况下，进一步将候选音乐样本呈现给用户以供进行验证；并且根据用户验证结果来对第一标签(L1)和第二标签(L1H)中的至少一者的规定进行调整。

在一些实施例中，在用户验证结果指示候选音乐样本符合第一标签(L1)的规定的情况下，以该候选音乐样本作为训练样本以用于优化通过机器学习来生成第一标签(L1)；在用户验证结果指示候选音乐样本不符合第一标签(L1)的规定的情况下，调整第二标签 (L1H)。

在一些实施例中，所述调整单元被配置为参照第一标签来调整第二标签规定的音乐特征组合和/或各音乐特征的取值范围，以使得基于调整后的第二标签所生成的候选音乐样本符合第一等级标签的规定。

在本公开的一些实施例中，所述构建单元912可进一步被配置为：

接收用户输入的排序设置，并且

基于所接收的排序设置对符合同一等级标签的候选音乐样本进行排序，以构建乐谱训练数据库。

根据本公开的实施例，所述处理电路902可进一步包括子标签生成单元，被配置为获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集通过机器学习生成的至少一个第一子标签(L2)，所述第一子标签(L2)被包含在第一标签(L1)中，

并且，所述验证单元可进一步被配置为：在验证根据第二子标签 (L2H)生成候选音乐样本符合第一标签(L1)的规定的情况下，进一步验证验证根据第二子标签(L2H)生成候选音乐样本是否符合第一子标签(L2)的规定，其中基于验证结果对第一子标签(L2)和第二子标签(L2H)中的至少一者的规定进行调整。

根据本公开的实施例，构建装置进一步包括呈现单元，被配置为将所构建的乐谱训练数据库通过呈现设备呈现给用户，接收单元，被配置为接收用户基于所构建的乐谱训练数据库的等级学习结果；以及优化单元，被配置为基于等级学习结果来对乐谱训练数据库中的音乐样本排序进行优化。应指出，这里的呈现单元和接收单元可以合并为收发单元，以便实现数据库与用户之间的交互。收发单元可以基于各种适当的数据通信、数据呈现、数据接收等来实现，例如呈现单元可以是以视觉、听觉等方式呈现音乐数据的设备，诸如显示器、扬声器等等，接收单元可以是任何适当类型的信号接收装置，这里将不再详细描述。

每个单元的操作可以进行如上文所述地进行，这里将不再详细描述。单元用虚线绘出，旨在说明该单元并不一定被包含在处理电路中，作为示例，收发单元和优化单元可以在数据库构建装置中而处理电路之外，甚至可以位于构建装置之外。需要注意的是，尽管图9中将各个单元示为分立的单元，但是这些单元中的一个或多个也可以合并为一个单元，或者拆分为多个单元。

应注意，上述各个单元仅是根据其所实现的具体功能划分的逻辑模块，而不是用于限制具体的实现方式，例如可以以软件、硬件或者软硬件结合的方式来实现。在实际实现时，上述各个单元可被实现为独立的物理实体，或者也可由单个实体(例如，处理器(CPU或DSP 等)、集成电路等)来实现。此外，上述各个单元在附图中用虚线示出指示这些单元可以并不实际存在，而它们所实现的操作/功能可由处理电路本身来实现。

应理解，图9仅仅是根据本公开的实施例的乐谱训练数据库的构建装置的概略性结构配置，该构建装置还可以包括其他可能的部件 (例如，存储器等)。可选地，该构建装置还可以包括未示出的其它部件，诸如存储器、射频链路、基带处理单元、网络接口、控制器等。处理电路可以与存储器和/或天线相关联。例如，处理电路可以直接或间接(例如，中间可能连接有其它部件)连接到存储器，以进行数据的存取。还例如，处理电路可以直接或间接连接到天线，以经由通信单元发送无线电信号以及经由通信单元接收无线电信号。

存储器可以存储由处理电路902产生的各种信息(例如，数据业务相关信息，配置资源信息等)、用于终端侧电子设备操作的程序和数据、将由终端侧电子设备发送的数据等。存储器还可以位于终端侧电子设备内但在处理电路之外，或者甚至位于终端侧电子设备之外。存储器可以是易失性存储器和/或非易失性存储器。例如，存储器可以包括但不限于随机存储存储器(RAM)、动态随机存储存储器 (DRAM)、静态随机存取存储器(SRAM)、只读存储器 (ROM)、闪存存储器。

应指出，上述描述仅仅是示例性的。本公开的实施例还可以任何其它适当的方式执行，仍可实现本公开的实施例所获得的有利效果。而且，本公开的实施例同样可应用于其它类似的应用实例，仍可实现本公开的实施例所获得的有利效果。应当理解，根据本公开实施例的机器可读存储介质或程序产品中的机器可执行指令可以被配置为执行与上述设备和方法实施例相应的操作。当参考上述设备和方法实施例时，机器可读存储介质或程序产品的实施例对于本领域技术人员而言是明晰的，因此不再重复描述。用于承载或包括上述机器可执行指令的机器可读存储介质和程序产品也落在本公开的范围内。这样的存储介质可以包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

另外，应当理解，上述系列处理和设备也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下，在相关设备的存储介质存储构成相应软件的相应程序，当所述程序被执行时，能够执行各种功能。作为示例，从存储介质或网络向具有专用硬件结构的计算机，例如图10所示的通用个人计算机1000安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。图10是示出根据本公开的实施例的中可采用的信息处理设备的个人计算机的示例结构的框图。在一个例子中，该个人计算机可以对应于根据本公开的上述示例性发射设备或终端侧电子设备。

在图10中，中央处理单元(CPU)1001根据只读存储器 (ROM)1002中存储的程序或从存储部分1008加载到随机存取存储器(RAM)1003的程序执行各种处理。在RAM 1003中，也根据需要存储当CPU 1001执行各种处理等时所需的数据。

CPU 1001、ROM 1002和RAM 1003经由总线1004彼此连接。输入/输出接口1005也连接到总线1004。

下述部件连接到输入/输出接口1005：输入部分1006，包括键盘、鼠标等；输出部分1007，包括显示器，比如阴极射线管 (CRT)、液晶显示器(LCD)等，和扬声器等；存储部分1008，包括硬盘等；和通信部分1009，包括网络接口卡比如LAN卡、调制解调器等。通信部分1009经由网络比如因特网执行通信处理。

根据需要，驱动器1010也连接到输入/输出接口1005。可拆卸介质1011比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1010上，使得从中读出的计算机程序根据需要被安装到存储部分1008中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1011安装构成软件的程序。

本领域技术人员应当理解，这种存储介质不局限于图10所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1011。可拆卸介质1011的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1002、存储部分1008中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

另外，应当理解，在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地，在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外，以上功能之一可由多个单元来实现。无需说，这样的配置包括在本公开的技术范围内。

在该说明书中，流程图中所描述的步骤不仅包括以所述顺序按时间序列执行的处理，而且包括并行地或单独地而不是必须按时间序列执行的处理。此外，甚至在按时间序列处理的步骤中，无需说，也可以适当地改变该顺序。

虽然已经详细说明了本公开及其优点，但是应当理解在不脱离由所附的权利要求所限定的本公开的精神和范围的情况下可以进行各种改变、替代和变换。而且，本公开实施例的术语“包括”、“包含” 或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然已详细描述了本公开的一些具体实施例，但是本领域技术人员应当理解，上述实施例仅是说明性的而不限制本公开的范围。本领域技术人员应该理解，上述实施例可以被组合、修改或替换而不脱离本公开的范围和实质。本公开的范围是通过所附的权利要求限定的。

Claims

1.一种乐谱训练数据库的构建方法，其中所述乐谱训练数据库具有至少一个等级，对于每一等级具有对应的等级标签，所述方法包括以下步骤：对于每一个等级，

获取通过机器学习生成的第一标签(L1)，

获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集生成的第二标签(L1H)以及包含在第二标签(L1H)中的至少一个第二子标签(L2H)，其中各第二标签以及子标签规定了音乐特征集中的一个或多个音乐特征的组合及其特定取值范围；

根据第二子标签(L2H)所规定的音乐特征组合以及音乐特征取值范围生成候选音乐样本，

利用所生成的候选音乐样本对第一标签(L1)和第二标签(L1H)中的至少一者进行验证，其中第一标签(L1)和第二标签(L1H)中的至少一者的规定能够基于验证结果被调整；以及

基于通过验证的候选音乐样本及其对应的标签来构建乐谱训练数据库。

2.根据权利要求1所述的方法，其中，

针对待构建的乐谱训练数据库预先设置的音乐特征集包括与待构建的乐谱训练数据库相关联的音乐特征以及各音乐特征的可能取值范围。

3.根据权利要求1所述的方法，其中，第一标签(L1)是通过如下方式生成的：

通过机器学习对音乐参考样本库所包含的具有相应等级的一个或多个音乐参考样本进行音乐特征提取，以确定与该等级对应的音乐特征组合及其音乐特征取值范围而生成第一标签(L1)。

4.根据权利要求1所述的方法，其中，第二标签(L1H)和至少一个第二子标签(L2H)中的至少一个是通过如下方式生成的：

根据预先设置的音乐特征集中的相应等级所对应的音乐特征，选择特定的音乐特征组合以及相应的特征取值范围。

5.根据权利要求1所述的方法，其中，根据第二子标签(L2H)生成候选音乐样本包括以下中的至少一者：

6.根据权利要求1所述的方法，其中，利用所生成的候选音乐样本对第一标签(L1)进行验证包括验证所生成的候选音乐样本是否符合第一标签(L1)的音乐特征组合以及特征取值范围的规定。

7.根据权利要求6所述的方法，其中，验证所生成的候选音乐样本是否符合第一标签(L1)的规定包括：

通过机器学习从候选音乐样本中提取音乐特征；

8.根据权利要求7所述的方法，其中，当所提取的音乐特征的类型及其取值被包含在第一标签所规定的音乐特征组合及其特征取值范围内时，则认为候选音乐样本符合第一标签的规定。

9.根据权利要求1所述的方法，其中，基于验证结果对第一标签(L1)和第二标签(L1H)中的至少一者的规定进行调整包括：

在验证根据第二子标签(L2H)生成候选音乐样本不符合第一标签(L1)的规定的情况下，进一步将候选音乐样本呈现给用户以供进行验证；并且

根据用户的验证结果来对第一标签(L1)和第二标签(L1H)中的至少一者的规定进行调整。

10.根据权利要求9所述的方法，其中，

在用户的验证结果指示候选音乐样本符合第一标签(L1)的规定的情况下，以该候选音乐样本作为训练样本以用于优化通过机器学习来生成第一标签(L1)；和/或

在用户的验证结果指示候选音乐样本不符合第一标签(L1)的规定的情况下，调整第二标签(L1H)。

11.根据权利要求10所述的方法，其中，调整第二标签包括参照第一标签来调整第二标签规定的音乐特征组合和/或各音乐特征的取值范围，以使得基于调整后的第二标签所生成的候选音乐样本符合第一等级标签的规定。

12.根据权利要求1所述的方法，进一步包括：

根据用户的验证结果对于预先设置的音乐特征集中的等级标签和/或与等级标签相关联的特征组合进行调整。

13.根据权利要求1所述的方法，其中，进一步包括获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集通过机器学习生成的至少一个第一子标签(L2)，所述第一子标签(L2)被包含在第一标签(L1)中，

并且，在验证根据第二子标签(L2H)生成候选音乐样本符合第一标签(L1)的规定的情况下，进一步验证验证根据第二子标签(L2H)生成候选音乐样本是否符合第一子标签(L2)的规定，其中基于验证结果对第一子标签(L2)和第二子标签(L2H)中的至少一者的规定进行调整。

14.根据权利要求1所述的方法，其中，基于通过验证的候选音乐样本及其对应的等级标签来构建乐谱训练数据库包括：

基于特定的排序设置对符合同一等级标签的候选音乐样本进行排序，以构建乐谱训练数据库。

15.根据权利要求14所述的方法，其中，排序设置包含按照候选音乐样本中的各个音乐特征的优先级排序，或者基于用户输入而自适应给出的排序。

16.根据权利要求1所述的方法，进一步包括：

将所构建的乐谱训练数据库通过呈现设备呈现给用户，

接收用户基于所构建的乐谱训练数据库进行训练的结果；并且

基于训练结果来对乐谱训练数据库中的音乐样本配置进行优化，其中音乐样本配置包括音乐样本的排序、或者乐谱训练数据库中的等级标签和/或相关联特征组合中的至少一者。

17.一种乐谱训练数据库的构建装置，其中所述乐谱训练数据库具有至少一个等级，对于每一等级具有对应的等级标签，所述装置包括处理电路，所述处理电路被配置为：对于每一个等级，

获取通过机器学习生成的第一标签(L1)，

18.一种设备，包括：

一个或多个处理器；以及

存储指令的一个或多个存储介质，所述指令在由所述一个或多个处理器执行时使得执行根据权利要求1-16中任一项所述的方法。

19.一种计算机可读存储介质，存储指令，所述指令在由一个或多个处理器执行时使得执行根据权利要求1-16中任一项所述的方法。

20.一种包括用于执行根据权利要求1-16中任一项所述的方法的部件的装置。