CN111552830A - 一种用户自选乐谱练习方法和系统 - Google Patents

Abstract

本发明提供了一种用户自选乐谱练习方法和系统。所述用户自选乐谱练习方法和系统通过图形识别技术，获得乐谱上的元素信息，根据乐理相关知识对元素信息进行修正，获得音乐描述文件后转换成电子乐谱，提取电子乐谱的电子乐谱信息，并将电子乐谱信息中的每一项与乐谱库中乐谱的电子乐谱信息进行匹配，获得匹配的乐谱，本发明所述用户自选乐谱练习系统和方法相较传统的图形识别方法，结合了乐谱的各种元素，提高了匹配的精度。所述用户自选乐谱练习方法还设置了学习流程，在选择乐谱后可进行学习，提高了便利性。

Description

一种用户自选乐谱练习方法和系统

技术领域

本发明涉及一种用户自选乐谱练习方法和系统。

背景技术

随着人们生活水平的不断提高，对自身和下一代的兴趣培养越来越重视，尤其是对美育的重视。音乐是美育中一项非常重要的选择。依靠电子技术的发展，乐谱越来越多的被电子文档的方式存储和展示，现有的纸质乐谱到电子乐谱的识别方法，大多采用图像识别的方法。

申请日为2016年9月28日公告号为CN106446952B的中国专利一种乐谱图像识别方法及装置，采用边缘检测/直线检测等方法获得音符在五线谱中的位置，是一种通过传统图像处理的方式获取音符在五线谱位置的方法，但是该方法未使用未涉及乐理相关知识对识别后的内容做进一步处理，识别的精度较低。

2015年10月10日申请的公布号为CN105280170A的中国专利一种乐谱演奏的方法和装置，使用OCR识别乐谱，在识别乐谱生成对应音乐描述文件没有使用乐理相关知识，在乐谱搜索的时候只使用乐谱的名称，同样存在识别精度较低的问题，在实际的乐谱查找中是需要跟乐谱的各种元素(乐谱名称，作者，节拍，速度记号，音符信息)进行匹配后得到的最佳乐谱。

发明内容

本发明的目的是提供一种用户自选乐谱练习方法和系统，识别纸质乐谱，使用乐理相关知识进行查找得到匹配乐谱。

为了解决上述技术问题，本发明的技术方案是：

一种用户自选乐谱练习方法，包括如下步骤：

S1：获取待选乐谱的乐谱图像。

S2：识别待选乐谱的乐谱图像，获得音乐描述文件。

S3：用户选择是否需要进入搜索乐谱流程，不需要则保存音乐描述文件或乐谱图像，该程序结束，需要则进入步骤S4。

S4：将所述音乐描述文件转换成电子乐谱，并提取所述电子乐谱的电子乐谱信息。

S5：将待选乐谱的电子乐谱信息与乐谱库中乐谱的电子乐谱信息进行匹配，获得匹配乐谱并进行展示。

作为优选，所述步骤S2中，识别所述待选乐谱的乐谱图像包括识别所述待选乐谱的乐谱图像，得到所述待选乐谱的元素信息，根据所述元素信息获得所述待选乐谱的音乐描述文件。

作为优选，所述步骤S2中，还包括根据乐理相关知识，对所述元素信息进行修正。

作为优选，所述步骤S3中，还包括采用人工的方式对所述电子乐谱进行校正，修改识别错误。

作为优选，所述步骤S5中，将待选乐谱的电子乐谱信息与乐谱库中乐谱的电子乐谱信息进行匹配，获得匹配乐谱并进行展示，包括设置所述电子乐谱信息中每一项匹配信息的权重为W，设置每一项匹配信息的匹配程度为E，设置最终的匹配结果为R，

其中，权重W为预设值；匹配程度E为待选乐谱的电子乐谱信息中的一项匹配信息与乐谱库中乐谱的电子乐谱信息中同一项匹配信息的重复比；i为自然数，最大值是所述电子乐谱信息中匹配信息的项目数。

对得到的每个R进行排序，并展示对应的乐谱。

作为优选，还包括S6：用户选择展示的乐谱进行乐谱学习。

本发明还公开了一种用户自选乐谱练习系统，包括乐谱图像获取单元、乐谱图像识别单元、电子乐谱保存单元、电子乐谱生成单元、电子乐谱信息提取单元和电子乐谱查询展示单元。

所述乐谱图像获取单元获取待选乐谱的乐谱图像传输给所述乐谱图像识别单元，所述乐谱图像识别单元识别待选乐谱的乐谱图像获得音乐描述文件，并将所述音乐描述文件传输给所述电子乐谱保存单元保存，或者传输给所述电子乐谱生成单元，所述电子乐谱生成单元将所述音乐描述文件转换成电子乐谱传输给所述电子乐谱信息提取单元，所述电子乐谱信息提取单元提取所述电子乐谱的电子乐谱信息并传输给所述电子乐谱查询展示单元，所述电子乐谱查询展示单元将待选乐谱的电子乐谱信息与乐谱库中乐谱的电子乐谱信息进行匹配，获得匹配乐谱并进行展示。

作为优选，还包括乐理逻辑单元，所述乐理逻辑单元根据乐理相关知识，修正所述音乐描述文件，并将修正后的音乐描述文件传输给电子乐谱生成单元。

作为优选，还包括电子乐谱展示编辑单元，所述电子乐谱展示编辑单元采用人工的方式对所述电子乐谱进行校正，修改识别错误，校正后的电子乐谱经过所述电子乐谱生成单元提取所述电子乐谱信息。

与现有技术相比，本发明具有以下优点：本发明所述用户自选乐谱练习系统和方法通过图形识别技术，获得乐谱上的元素信息，根据乐理相关知识对元素信息进行修正，获得音乐描述文件后转换成电子乐谱，提取电子乐谱的电子乐谱信息，并将电子乐谱信息中的每一项与乐谱库中乐谱的电子乐谱信息进行匹配，本发明所述用户自选乐谱练习系统和方法相较传统的图形识别方法，结合了乐谱的各种元素，提高了匹配的精度。

附图说明

在此描述的附图仅用于解释目的，而不意图以任何方式来限制本发明公开的范围。另外，图中的各部件的形状和比例尺寸等仅为示意性的，用于帮助对本发明的理解，并不是具体限定本发明各部件的形状和比例尺寸。本领域的技术人员在本发明的教导下，可以根据具体情况选择各种可能的形状和比例尺寸来实施本发明。在附图中：

图1是本发明一具体实施例的用户自选乐谱练习方法；

图2是本发明一具体实施例的用户自选乐谱练习系统的学习流程。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，当元件被称为“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施例。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参见图1，一种用户自选乐谱练习系统，包括乐谱图像获取单元10、乐谱图像识别单元11、乐理逻辑单元12、电子乐谱生成单元13、电子乐谱展示编辑单元14、电子乐谱信息提取单元17、电子乐谱查询展示单元18和电子乐谱保存单元15。

所述乐谱图像获取单元10获取乐谱图像信息，可以使用拍照或选择已存在的乐谱图片等形式，所述乐谱图像获取单元10对图像做初步的质量检测(模糊度，亮度，色偏等)优化校正后将图像传输给所述乐谱图像识别单元11。

所述乐谱图像识别单元11对从所述乐谱图像获取单元10得到的乐谱图像做乐谱内容识别，得到乐谱图像中乐谱元素信息的基本属性信息和位置信息，例如，所述基本属性信息包括音符，强弱，装饰音、音符，音高，时值等，从而获得音乐描述文件，所述乐谱图像识别单元11采用OCR(Optical Character Recognition，光学字符识别)技术，OCR技术能够定位图像中文字，音符，音符标记等内容在图像中的具体位置和所表示的内容，所述乐谱图像识别单元对图形进行元素分割、元素位置判断、元素识别等步骤，识别出乐谱元素信息，并生成音乐描述文件传输给所述电子乐谱生成单元13。

所述乐理逻辑单元12在所述乐谱图像识别单元11将乐谱元素信息生成音乐描述文件之前，将乐谱元素信息根据乐理相关知识进行修正。例如，对于变音记号，作用域为当前小节所有相同的音，所以带乐理的修正逻辑是，在当前小节内如果发现变音记号，根据变音记号和MusicXML格式更新变音记号对应小节后所有相同的音。

所述电子乐谱生成单元13将所述音乐描述文件根据MusicXML格式协议将获取的信息转化成MusicXML文件的电子乐谱，也可转换为除MusicXML外的其他乐谱格式文件。

所述电子乐谱展示编辑单元14将电子乐谱载入可编辑的编辑单元中，可以人工对识别后的乐谱做校正，修改识别错误，并将校正后的电子乐谱传输给所述电子乐谱信息提取单元17。

所述电子乐谱信息提取单元17从电子乐谱中获取结构化的乐谱信息，即从结构化数据中读取乐谱信息，例如名称，作者，速度(BPM)，拍号，单位拍，调号，音符序列等。

所述电子乐谱查询展示单元18使用由所述电子乐谱信提取单元17获取的乐谱信息，在乐谱库中以这些信息为查询条件查询乐谱，找到满足匹配条件的乐谱做展示。

所述电子乐谱保存单元15将用户编辑好的拍照乐谱的电子格式保存到乐谱库中。保存时既会保存乐谱的结构化信息，也会保存乐谱的电子文档，所述电子乐谱保存单元15中的乐谱都会保存至乐谱库16。

采用所述用户自选乐谱练习系统的方法包括如下步骤：

S1：获取待选乐谱的乐谱图像。所述乐谱图像获取单元10获取乐谱图像信息，可以使用拍照或选择已存在的乐谱图片等形式，所述乐谱图像获取单元对图像做初步的质量检测，模糊度、亮度、色偏等，优化校正后将图像传输给所述乐谱图像识别单元。

所述乐谱的形式可以是印刷本，也可以是手写本。乐谱的种类包括但不限于：五线谱、六线谱、简谱。

S2：识别所述乐谱图像，获得音乐描述文件。所述乐谱图像识别单元11对从所述乐谱图像获取单元10得到的乐谱图像做乐谱内容识别，得到乐谱图像中乐谱元素信息的基本属性信息和位置信息，生成音乐描述文件。

进一步的，为了提高音乐描述文件的准确性，获得乐谱元素信息之后，采用所述乐理逻辑单元将乐谱元素信息根据乐理相关知识进行修正，获得更加准确的音乐描述文件。

S3：用户选择是否需要进入搜索乐谱流程。

若是不需要则通过所述电子乐谱保存单元15保存音乐描述文件，最终存至乐谱库16中，同一份乐谱多次拍摄的乐谱会合并作为一首乐谱保存。可以选择保存乐谱图形，也可以选择保存音乐描述文件。方法就此结束。

若是需要则进入步骤S4。

S4：将所述音乐描述文件转换成电子乐谱，并提取所述电子乐谱的电子乐谱信息。所述电子乐谱生成单元13根据MusicXML文件格式将电子描述文件转化成MusicXML文件的电子乐谱，也可以转换成其它乐谱格式文件。

进一步的，为了提高电子乐谱的准确性，所述电子乐谱展示编辑单元14将电子乐谱载入可编辑的编辑单元中，可以人工对识别后的乐谱做校正，修改识别错误，并将校正后的电子乐谱传输给所述电子乐谱信息提取单元17。

S5：将待选乐谱的电子乐谱信息与乐谱库中乐谱的电子乐谱信息进行匹配，例如，待选乐谱的电子乐谱信息包括名称、作者、速度(BPM)、拍号、单位拍、调号、音符序列等，待选乐谱的电子乐谱信息需要与乐谱库中乐谱的电子乐谱信息包括名称、作者、速度(BPM)、拍号、单位拍、调号、音符序列等逐一进行匹配。设置所述电子乐谱信息中每一项匹配信息的权重为W，设置每一项匹配信息的匹配程度为E，设置最终的匹配结果为R，

其中，权重W为预设值；匹配程度E为待选乐谱的电子乐谱信息中的一项匹配信息与乐谱库中乐谱的电子乐谱信息中同一项匹配信息的重复比；i为自然数，最大值是所述电子乐谱信息中匹配信息的项目数，例如匹配信息为名称、作者、速度(BPM)、拍号、单位拍、调号、音符序列，i最大为7。

最后，对得到的每个R进行排序，即按匹配度排序，并展示对应的乐谱。

如果没有匹配或者匹配内容不正确，用户在所述电子乐谱展示编辑单元14中编辑所述待选乐谱。

S6:用户选择展示的乐谱进行乐谱学习。

需要学习则进入学习单元20，结合参见图2，所述学习单元20包括乐器信号获取单元21、乐器信号识别单元22、对比单元23和乐谱交互单元24。

所述乐器信号获取单元21获取用户的乐器弹奏音频，可以使用麦克风方式也可以使用拾振器的方式或者两者组合的方式。

所述乐器信号识别单元22使用人工智能的方式对乐器信号提供的音频信号做实时处理，对用户弹奏乐器的实时信号做实时处理，获取用户弹奏音频的音符序列，包括音高，起止时间，力度信息。使用人工智能的方式对音频信号做实时处理，具体的，利用深度神经网络模型识别所述音频信号中的音符序列，将已经进行过音符起始点、结束点以及音高标注的训练样本集中的音频信号进行常数q变换(cqt变换)，得到音频信号的频谱数据，将频谱数据输入卷积神经网络(CNN)进行特征提取，得到特征时间序列，然后使用长短期记忆模型(LSTM)对特征时间序列进行模型训练，用训练好的模型对输入的音频信号进行分析识别，输出音符序列，包含音高，力度，起止时间信息。

所述对比单元23根据当前用户乐器弹奏信号识别的结果与乐谱库中乐谱的音高，起止时间，力度做匹配，得到匹配结果。

所述乐谱交互单元24对乐器弹奏识别结果与乐谱信息匹配的结果进行展示，所述乐谱交互单元24是以图形用户界面直接与用户发生交互的界面，学习过程中，用户通过乐谱交互单元与系统发生交互动作。

学习流程包括：

S61：所述乐器信号获取单元21获得用户弹奏乐器的音频信号。

S62：所述乐器信号识别单元22对乐器信号获取单元输入的用户弹奏乐器的音频信号做实时处理，获取用户弹奏的音高，起止时间，力度信息。

S63：将用户弹奏的音高，起止时间，力度信息与从乐谱中提取的音符的音高，起止时间，力度信息做匹配，得到用户弹奏结果跟乐谱中音符的匹配关系。

S64：将用户弹奏的结果与乐谱实际结果匹配后，通过所述乐谱交互单元24将结果呈现给用户。用户根据系统的反馈做纠正。

本发明涉及一种用户自选乐谱练习系统和方法，用户通过乐谱OCR识别技术识别出乐谱中的音符的音乐元素信息(基础信息：音符的时值，五线谱位置)和其他乐谱信息(速度，谱号，拍号，变音记号，重复记号，反复记号，奏法记号，强弱记号，特殊音符标记等)，根据获得音乐元素信息结合乐理知识得到乐谱对应的结构化描述信息(例如musicxml等)，即音乐描述文件，由结构化信息得到音符序列信息(音高，时值)，结合乐谱中其他元素信息搜索曲库，按匹配度排序搜索结果，由用户确认选择乐谱练习，如果没有匹配或者匹配内容不正确，用户可选择在识别结果基础上编辑乐谱，确认编辑内容后，将当前乐谱作为练习乐谱。用户弹奏当前练习，使用麦克风或拾振器及组合获取乐器弹奏信号，弹奏结束后将弹奏内容与乐谱信息进行比对，返回乐器弹奏内容与乐谱比对的结果，并将比对结果展示在电子乐谱上。所述用户自选乐谱练习系统和方法相较传统的图形识别方法，结合了乐谱的各种元素，提高了匹配的精度。

应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施例和许多应用对本领域技术人员来说都将是显而易见的。因此，本教导的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。出于全面之目的，所有文章和参考包括专利申请和公告的公开都通过参考结合在本文中。在前述权利要求中省略这里公开的主题的任何方面并不是为了放弃该主体内容，也不应该认为申请人没有将该主题考虑为所公开的发明主题的一部分。

Claims (10)

1.一种用户自选乐谱练习方法，其特征在于，包括如下步骤：

S1：获取待选乐谱的乐谱图像；

S2：识别所述乐谱图像，获得音乐描述文件；

S3：用户选择是否需要进入搜索乐谱流程，

若不需要则保存音乐描述文件或乐谱图像，

若需要则进入步骤S4；

S4：将所述音乐描述文件转换成电子乐谱，并提取所述电子乐谱的电子乐谱信息；

S5：将待选乐谱的电子乐谱信息与乐谱库中乐谱的电子乐谱信息进行匹配，获得匹配乐谱并进行展示。

2.根据权利要求1所述的用户自选乐谱练习方法，其特征在于，所述步骤S2中，识别所述乐谱图像包括识别所述待选乐谱的乐谱图像，得到所述待选乐谱的元素信息，根据所述元素信息获得音乐描述文件。

3.根据权利要求2所述的用户自选乐谱练习方法，其特征在于，所述步骤S2中，还包括根据乐理相关知识，对所述元素信息进行修正。

4.根据权利要求1所述的用户自选乐谱练习方法，其特征在于，所述步骤S3中，还包括人工对所述电子乐谱进行校正，修改识别错误。

5.根据权利要求1所述的用户自选乐谱练习方法，其特征在于，所述步骤S5中，将待选乐谱的电子乐谱信息与乐谱库中乐谱的电子乐谱信息进行匹配，获得匹配乐谱并进行展示，包括设置所述电子乐谱信息中每一项匹配信息的权重为W，设置每一项匹配信息的匹配程度为E，设置最终的匹配结果为R，

其中，权重W为预设值；匹配程度E为待选乐谱的电子乐谱信息中的一项匹配信息与乐谱库中乐谱的电子乐谱信息中同一项匹配信息的重复比；i为自然数，最大值是所述电子乐谱信息中匹配信息的项目数；

对得到的每个R进行排序，并展示对应的乐谱。

6.根据权利要求1所述的用户自选乐谱练习方法，其特征在于，还包括，如果没有匹配或者匹配内容不正确，人工对所述电子乐谱进行编辑所述待选乐谱。

7.根据权利要求1所述的用户自选乐谱练习方法，其特征在于，还包括

S6：用户选择展示的乐谱进行乐谱学习。

8.一种用户自选乐谱练习系统，其特征在于，包括乐谱图像获取单元、乐谱图像识别单元、电子乐谱保存单元、电子乐谱生成单元、电子乐谱信息提取单元和电子乐谱查询展示单元，

所述乐谱图像获取单元获取待选乐谱的乐谱图像传输给所述乐谱图像识别单元，所述乐谱图像识别单元识别所述乐谱图像获得音乐描述文件，并将所述音乐描述文件传输给所述电子乐谱保存单元保存，或者传输给所述电子乐谱生成单元，所述电子乐谱生成单元将所述音乐描述文件转换成电子乐谱传输给所述电子乐谱信息提取单元，所述电子乐谱信息提取单元提取所述电子乐谱的电子乐谱信息并传输给所述电子乐谱查询展示单元，所述电子乐谱查询展示单元将待选乐谱的电子乐谱信息与乐谱库中乐谱的电子乐谱信息进行匹配，获得匹配乐谱并进行展示。

9.根据权利要求8所述的用户自选乐谱练习系统，其特征在于，还包括乐理逻辑单元，所述乐理逻辑单元根据乐理相关知识，修正所述音乐描述文件。

10.根据权利要求8所述的用户自选乐谱练习系统，其特征在于，还包括电子乐谱展示编辑单元，所述电子乐谱展示编辑单元采用人工的方式对所述电子乐谱进行校正，修改识别错误，校正后的电子乐谱经过所述电子乐谱生成单元提取所述电子乐谱信息。

Images