CN110853457A - 可互动的音乐教学指导方法 - Google Patents

Abstract

本发明公开了一种可互动的音乐教学指导方法，提供音乐曲库供用户选择，用户选择歌曲版本作为参考音轨后（若用户选择的歌曲版本属于未发行的编曲版本，可以上传乐谱），标定该参考音轨每个音符的音调音阶，绘制参考音轨波形图。采集用户的人声，标定每个音符的音调音阶，与参考音轨波形图保持时间轴一致，实时绘制用户人声音轨波形图。

Description

可互动的音乐教学指导方法

技术领域

本发明属于数据处理领域，尤其是一种可互动的音乐教学指导方法。

背景技术

听歌、唱歌是很多人的兴趣爱好，听到一首好听的歌并学会它是一种极为自然的想法，但却并非每个人在音乐方面都具有无师自通的天赋，更多的需要后天的指导的学习。由于音乐方面的学习无法单单基于理论知识，更为重要的是练习与实践。在实践中发现错误，再通过改正错误提高自己的音乐修养。但是现实生活中，音乐方面的专业人才较为缺乏，学习的时间成本和经济成本都不是普通人可以负担的。因此，在智能手机极为普及的今天，音乐指导类手机软件的开发已经具备一片沃土。

传统的音乐类软件主要分为以下几种：一、以听歌为主要服务的软件：网易云音乐、酷狗音乐等；二、以唱歌作为社交传播内容的软件：如全民K歌、唱吧等；三、以编曲、剪辑、和声为主要服务的音乐制作软件：如iReal Pro、Apple GarageBand、Korg iMS-20。综合市面上的音乐类软件现已具有的功能，以下的功能有待发展：

(1)、第二类的唱歌软件作为可以输入的软件接口，仅具备了简单的打分功能，对于客户输入的人声仅提示音调高了还是低了，缺乏可视化的定量结果展示。不具备标定用户的人声音轨功能：用于判断人声的节奏快慢，指出进拍的时间的乐谱指定的时间的差距。

(2)、不具备识别用户输入每个音符的音调音阶并可视化显示的能力：用户可以判断单个音符距离正确音符的差距，做自我调整。

(3)、不具备发出单个指定音符的能力：对于并不知道正确发音的用户，无法为用户提供可供模仿的样例。

发明内容

发明目的：提供一种可互动的音乐教学指导方法，以解决现有技术存在的上述问题。

技术方案：可互动的音乐教学指导方法，包括：

步骤1、构建音乐库，对音乐库中的歌曲，提取歌曲的基本信息并存入模板数据库中，所述基本信息包括名称、速度、题材、用户标注的关键词；

对音乐库中的歌曲进行初步处理，获取特征数据，包括音符序列、音高序列、节奏序列、装饰音序列、连音序列和音程序列；对于音乐库中的歌曲，按照预定的时长进行切割，获得音频片段，提取音频片段中的频率、音调、音高信息；

对音乐库中的歌曲，随机从若干歌曲中抽取和声，构建和声库，并从和声库中选取若干和声，产生和声的音调；对所述音调进行微调，产生新的和声，计算新和声与原和声的相似度，若达到阈值，则作为新的和声，放入和声库，否则，放弃；重复上述和声产生过程，直到和声的数量达到预期值；

步骤2、对上述音频片段中的每帧进行傅里叶变换，得到幅度频谱，将幅度频谱变换到梅尔域，并将得到的输出能量进行叠加，将输出能量进行离散余弦变换，得到变换系数；采用改变换系数，对每帧的信息进行归一化，得到归一化的音频向量；将上述音频向量和和声数据输入LSTM-RNN模型，进行训练，得到合成后的音频信息，并将音频片段和最终音频存入音乐库；

步骤3、 当用户选择相关乐曲时，可视化展示该乐曲的音轨波形图，并展示每个音符的音调音阶，同时展示用户歌唱时的音调音阶，并进行可视化对比基于音乐库中生成的歌曲信息和用户歌唱时的信息，重新拟合并生成新的歌曲，存储在用户歌曲模块中；

步骤4、对音频进行优化，相邻的音频片段之间进行平滑处理。

在进一步的实施例中，步骤3中，当用户对某个音符进行调节，输入多次音频信息时，选择与标准音符最接近的音频信息，并进行存储。

在进一步的实施例中，所述步骤3中，若音乐库中没有用户选择的歌曲时，如下处理：

接收用户歌唱时的音频信息，将其分割成预定数量的音乐片段，在音乐库中，基于特征数据对音乐片段进行相似度比较，选择最接近的音乐片段，将其作为基准；向用户可视化展示音符的音调音阶，合成完整的音频。

在进一步的实施例中，若音乐库中没有用户选择的歌曲、但用户自定义标准音频信息时，如下处理：

将用户输入的标准音频信息分割成若干音频片段，在音乐库中，基于特征数据对音乐片段进行相似度比较，选择最接近的音乐片段，将其作为基准，重新生成标准音频信息；基于上述标准音频信息，向用户可视化展示音符的音调音阶，合成完整的音频。

有益效果：该发明有效解决了因为性格因素、经济成本、时间成本等原因而无法参加音乐培训的问题，让每个热爱唱歌的人都能随时随地得到有效的、专业的音乐指导，提高大家的音乐素养。

附图说明

图1是本发明的音轨波形示意图。

具体实施方式

结合图1描述本发明的可互动的音乐教学指导方法，包括：

步骤1、构建音乐库，对音乐库中的歌曲，提取歌曲的基本信息并存入模板数据库中，所述基本信息包括名称、速度、题材、用户标注的关键词；

对音乐库中的歌曲进行初步处理，获取特征数据，包括音符序列、音高序列、节奏序列、装饰音序列、连音序列和音程序列；对于音乐库中的歌曲，按照预定的时长进行切割，获得音频片段，提取音频片段中的频率、音调、音高信息；

对音乐库中的歌曲，随机从若干歌曲中抽取和声，构建和声库，并从和声库中选取若干和声，产生和声的音调；对所述音调进行微调，产生新的和声，计算新和声与原和声的相似度，若达到阈值，则作为新的和声，放入和声库，否则，放弃；重复上述和声产生过程，直到和声的数量达到预期值；

步骤2、对上述音频片段中的每帧进行傅里叶变换，得到幅度频谱，将幅度频谱变换到梅尔域，并将得到的输出能量进行叠加，将输出能量进行离散余弦变换，得到变换系数；采用改变换系数，对每帧的信息进行归一化，得到归一化的音频向量；将上述音频向量和和声数据输入LSTM-RNN模型，进行训练，得到合成后的音频信息，并将音频片段和最终音频存入音乐库；

步骤3、 当用户选择相关乐曲时，可视化展示该乐曲的音轨波形图，并展示每个音符的音调音阶，同时展示用户歌唱时的音调音阶，并进行可视化对比基于音乐库中生成的歌曲信息和用户歌唱时的信息，重新拟合并生成新的歌曲，存储在用户歌曲模块中；

步骤4、对音频进行优化，相邻的音频片段之间进行平滑处理。

步骤3中，当用户对某个音符进行调节，输入多次音频信息时，选择与标准音符最接近的音频信息，并进行存储。

所述步骤3中，若音乐库中没有用户选择的歌曲时，如下处理：

接收用户歌唱时的音频信息，将其分割成预定数量的音乐片段，在音乐库中，基于特征数据对音乐片段进行相似度比较，选择最接近的音乐片段，将其作为基准；向用户可视化展示音符的音调音阶，合成完整的音频。若音乐库中没有用户选择的歌曲、但用户自定义标准音频信息时，如下处理：

将用户输入的标准音频信息分割成若干音频片段，在音乐库中，基于特征数据对音乐片段进行相似度比较，选择最接近的音乐片段，将其作为基准，重新生成标准音频信息；基于上述标准音频信息，向用户可视化展示音符的音调音阶，合成完整的音频。

本发明提供音乐曲库供用户选择，用户选择歌曲版本作为参考音轨后（若用户选择的歌曲版本属于未发行的编曲版本，可以上传乐谱），标定该参考音轨每个音符的音调音阶，绘制参考音轨波形图。采集用户的人声，标定每个音符的音调音阶，与参考音轨波形图保持时间轴一致，实时绘制用户人声音轨波形图，两者的对比图如图1）。

由于用户想要练习的歌曲版本，并非网上发行的版本，如专业音乐老师提供的合唱板，本软件提供扫描乐谱功能。扫描后乐谱会保存成可编程格式，用户可调节部分音符的音调。

对于用户并不知道指导如何发生的单个音符或一串音符，根据指定音轨来源，若为乐库中的现有歌曲片段，则播放该段音轨；若为自定义乐谱中，则合成相应的电子声播放。待用户练习后输入该段人声音轨，再重新标定显示。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (4)

1.可互动的音乐教学指导方法，其特征在于，包括：

步骤1、构建音乐库，对音乐库中的歌曲，提取歌曲的基本信息并存入模板数据库中，所述基本信息包括名称、速度、题材、用户标注的关键词；

对音乐库中的歌曲进行初步处理，获取特征数据，包括音符序列、音高序列、节奏序列、装饰音序列、连音序列和音程序列；对于音乐库中的歌曲，按照预定的时长进行切割，获得音频片段，提取音频片段中的频率、音调、音高信息；

对音乐库中的歌曲，随机从若干歌曲中抽取和声，构建和声库，并从和声库中选取若干和声，产生和声的音调；对所述音调进行微调，产生新的和声，计算新和声与原和声的相似度，若达到阈值，则作为新的和声，放入和声库，否则，放弃；重复上述和声产生过程，直到和声的数量达到预期值；

步骤2、对上述音频片段中的每帧进行傅里叶变换，得到幅度频谱，将幅度频谱变换到梅尔域，并将得到的输出能量进行叠加，将输出能量进行离散余弦变换，得到变换系数；采用改变换系数，对每帧的信息进行归一化，得到归一化的音频向量；将上述音频向量和和声数据输入LSTM-RNN模型，进行训练，得到合成后的音频信息，并将音频片段和最终音频存入音乐库；

步骤3、当用户选择相关乐曲时，可视化展示该乐曲的音轨波形图，并展示每个音符的音调音阶，同时展示用户歌唱时的音调音阶，并进行可视化对比基于音乐库中生成的歌曲信息和用户歌唱时的信息，重新拟合并生成新的歌曲，存储在用户歌曲模块中；

步骤4、对音频进行优化，相邻的音频片段之间进行平滑处理。

2.根据权利要求1所述的可互动的音乐教学指导方法，其特征在于，步骤3中，当用户对某个音符进行调节，输入多次音频信息时，选择与标准音符最接近的音频信息，并进行存储。

3.根据权利要求1所述的可互动的音乐教学指导方法，其特征在于，所述步骤3中，若音乐库中没有用户选择的歌曲时，如下处理：

接收用户歌唱时的音频信息，将其分割成预定数量的音乐片段，在音乐库中，基于特征数据对音乐片段进行相似度比较，选择最接近的音乐片段，将其作为基准；向用户可视化展示音符的音调音阶，合成完整的音频。

4.根据权利要求1所述的可互动的音乐教学指导方法，其特征在于，若音乐库中没有用户选择的歌曲、但用户自定义标准音频信息时，如下处理：

将用户输入的标准音频信息分割成若干音频片段，在音乐库中，基于特征数据对音乐片段进行相似度比较，选择最接近的音乐片段，将其作为基准，重新生成标准音频信息；基于上述标准音频信息，向用户可视化展示音符的音调音阶，合成完整的音频。

Images