CN118071554B - 一种多元化的高校钢琴课程教学系统及构建方法 - Google Patents

Abstract

本发明涉及智慧课堂技术领域，其具体公开了一种多元化的高校钢琴课程教学系统及构建方法。该系统包括数据学习素材库模块、个性化教学模块、创造力培养模块和协奏训练模块，实现了高校钢琴教育的多元化教学目标；利用大数据和人工智能技术对学生钢琴练习音频和视频进行智能分析，并根据分析结果实现了个性化学习策略的推荐；利用多种人工智能算法对学生钢琴练习音频和视频进行了音频、视频以及情感的多维度的分析，提升了分析的准确性和评价的完整性，更有利于实现个性化的教学目标。

Description

一种多元化的高校钢琴课程教学系统及构建方法

技术领域

本发明属于智慧课堂技术领域，具体涉及一种多元化的高校钢琴课程教学系统及构建方法。

背景技术

在高校音乐专业的教育教学当中，钢琴师必修课程，同时也是学生具备音乐专业素养的关键要素，在整个音乐教育体系当中占据举足轻重的地位。

目前高校钢琴教育的传统模式为“一对一”或“一对多”的面授形式，通过对学生乐理理论基础和钢琴弹奏技能的培养，以期实现钢琴课程的教学目的。虽然集体面授的形式能够提升授课效率，以及提升教学的沉浸感和集体感，但是也存在一定的问题，比如：学生创造性思维、学生个性化发展等方面的能力培养不够。此外，当下处于多元化教育改革的时代之下，我们应当抓住这个契机，培养出更多具备专业素质和多元化素养的综合型人才，为音乐艺术传播和钢琴教育的创新发展打好基础。

正如前文所说，学生的天赋和创新思维的挖掘，正在逐步成为高校钢琴教学新的理念和目标，在原有教学目标的基础上，当下更强调的是一种多元化的高校钢琴教学培养目标和路径。而随着大数据和人工智能技术的发展，以及智慧课堂理念的发展和不断完善，高校钢琴教学新理念和目标也正逐步实现，并不断更新完善。如何利用智慧课堂框架，结合大数据和人工智能技术，搭建一套适合高校钢琴教学新模式和理念的智慧课堂系统，是本发明要解决的技术问题，本发明旨在提供一种多元化的高校钢琴课程教学系统及构建方法。

发明内容

本发明的目的在于克服现有技术中存在的上述问题，提供了一种多元化的高校钢琴课程教学系统及构建方法，该系统实现了学生钢琴练习数据的采集、处理和分析，定位当前学生所处的不同能力阶段，为学生生成个性化的辅助教学建议和任务，更加有助于因材施教。

为了实现上述发明目的，本发明提供了以下技术方案：

一种多元化的高校钢琴课程教学系统，包括如下功能模块：

学习素材库模块：用于对学习素材进行搜集、整合、标记以及更新，学习素材包括理论基础教学视频、演奏教学视频、理论基础题库；根据知识点，对理论基础教学视频和演奏教学视频进行知识点的标记以及按照知识点对教学视频进行切分以得到知识点教学视频片段；建立知识点关键词和知识点教学视频片段之间的索引关系，通过知识点关键词能够实现对知识点教学视频片段的检索；根据教学大纲中的教学任务，将知识点教学视频片段串接成教学课程集锦；教师能够结合教学实际情况，对教学任务进行自定义操作，并根据自定义的教学任务对知识点进行组合以得到对应的自定义教学课程集锦；

个性化教学模块：包括钢琴练习音频视频采集单元、学习行为数据采集单元、学习数据分析单元、学习策略推荐单元；所述钢琴练习音频视频采集单元，从多个视角采集学生练习钢琴曲目的练习音频数据和练习视频数据，所述练习音频数据通过收音设备完成采集操作，所述练习视频数据通过架设在3个机位的视频采集装置完成采集操作，所述3个机位包括用于拍摄学生手部和钢琴键盘特写的机位一、用于拍摄学生整体坐姿特写的机位二、用于拍摄学生脸部表情特写的机位三，所述机位一用于拍摄得到第一特写视频数据，所述机位二用于拍摄得到第二特写视频数据，所述机位三用于拍摄得到第三特写视频数据；所述学习行为数据采集单元，用于采集学生线上的学习行为数据，所述学习行为数据包括视频课程学习时长、理论基础各知识点的答题数量、理论基础各知识点的答题正确率；所述学习数据分析单元，用于对所述练习音频数据、练习视频数据和学习行为数据进行分析，得到分析结果，所述分析结果包括学生演奏能力级别评价、学生理论基础能力评价、学生综合优势和薄弱点评价，采用可视化的形式展现所述分析结果；所述学习策略推荐单元，用于根据所述分析结果，对学生分别进行理论基础教学视频、演奏教学视频和理论基础题库推荐；

创造力培养模块：包括智能编曲单元和创意作品单元；所述智能编曲单元用于实现目标曲目的检索和匹配、输入编曲元素以及根据编曲元素和目标曲目智能生成编曲；所述创意作品单元，用于实现学生创意作品的展示和交互；

协奏训练模块：包括智能协奏单元和同伴协奏单元；所述智能协奏单元，根据学生选择的乐曲篇章和协奏乐器，自动生成协奏乐曲，学生在进行协奏练习时播放所述协奏乐曲；所述同伴协奏单元，根据所述钢琴练习音频视频采集单元采集的学生钢琴练习音频视频数据，根据预先设置的多个维度提取学生的演奏特征数据，根据每个学生的演奏特征数据之间的相似度，实现班级内协奏搭档的确定。

进一步，所述学习数据分析单元具体包括：

练习音频数据分析子单元：确定待分析的练习音频数据，根据练习音频数据确定该练习音频数据对应的标准曲目，从学习素材库模块中确定出标准曲目的音频素材作为标准音频；分别对练习音频和标准音频分别进行特征提取，再基于提取的特征实现4个维度的相似度匹配，从而得到待分析的练习音频数据的分析结果，所述4个维度包括准确度、完整度、流畅度、力度；

进一步，所述学习数据分析单元具体包括：

练习视频数据分析子单元：数据库预先存储有M类常见错误手型图片和正确手型图片，正确手型和每一类错误手型都分别对应m张训练图片，对训练图片进行手部特征提取，输入到预先构建的手型识别模型中训练，所述手型识别模型采用人工卷积神经网络模型搭建，包括一个输入层、一个输出层、2个隐藏层、3个卷积层，采用relu作为激活函数，采用交叉熵作为损失函数；

对所述第一特写视频数据进行关键帧抽取得到n张关键帧图片，分别识别出n张关键帧图片中的手部区域和钢琴键盘区域，采用颜色阈值分割的方式实现钢琴键盘区域的检测，采用肤色检测算法实现关键帧图片中手部区域的检测；对每张关键帧图片中的手部区域实现21个三维手部关节坐标的关键点定位，再结合钢琴键盘区域的位置，得到每张关键帧图片中手部关键点与钢琴键盘之间的相对位置坐标，作为手部关节位置特征向量；将所述手部关节位置特征向量输入到所述手型识别模型中，得到每张关键帧图片的手型识别结果。

进一步，所述学习数据分析单元具体包括：

数据库预先存储有N类常见错误坐姿图片和正确坐姿图片，正确坐姿和每一类错误坐姿都分别对应n张训练图片，对训练图片进行手部特征提取，输入到预先构建的坐姿识别模型中训练，所述坐姿识别模型采用人工卷积神经网络模型搭建，包括一个输入层、一个输出层、2个隐藏层、3个卷积层，采用relu作为激活函数，采用交叉熵作为损失函数；

对所述第二特写视频数据进行关键帧抽取得到n张关键帧图片，分别识别出n张关键帧图片中的身体区域，采用轮廓检测算法实现身体区域的检测；对每张关键帧图片中的身体区域实现头部、颈部、躯干部的关键点定位，得到每张关键帧图片中身体关键点与垂直方向的偏离程度值，作为身边坐姿特征向量；将所述身边坐姿特征向量输入到所述坐姿识别模型中，得到每张关键帧图片的坐姿识别结果。

进一步，所述学习数据分析单元具体包括：

多模态情感分析子单元：确定同一段练习对应的练习音频数据和第三特写视频数据；对练习音频数据分别进行频域分析和时域分析，实现声学特征提取，包括速度特征、节奏特征、强弱特征，将所述速度特征、节奏特征和强弱特征进行拼接融合后输入预先训练好的音频情感识别模型中进行情感识别，所述音频情感识别模型采用卷积神经网络模型搭建；对第三特写视频数据进行人脸区域识别，再对人脸区域进行表情特征提取，包括眼睛特征、嘴巴特征、眉毛特征；将所述眼睛特征、嘴巴特征和眉毛特征进行拼接融合后输入预先训练好的面部表情情感识别模型中进行情感识别，所述面部表情情感识别模型采用循环神经网络模型搭建。

进一步，所述学习数据分析单元具体包括：

学生演奏能力级别评价具体包括：练习音频数据分析结果中，准确度、完整度、流畅度、力度中某2项与标准音频之间的相似度达到70%以上，则认为学生演奏能力级别高，否则认为演奏能力级别不达标；学生理论基础能力评价：若视频课程学习时长、理论基础各知识点的答题数量、理论基础各知识点的答题正确率三项数据均达到预先设定的目标值，则认为学生理论基础扎实，否则认为学生理论基础不达标；学生综合优势和薄弱点评价：根据手型识别结果、坐姿识别结果、音频情感识别结果、面部表情情感识别结果，分别从手型、坐姿以及情感维度对学生的优势和薄弱点进行评价。

进一步，所述学习策略推荐单元具体包括：

根据所述分析结果，对演奏能力级别不达标的学生，推荐对应的演奏曲目教学视频；对理论基础不达标的学生，推荐对应的基础理论视频课程和题库；对存在薄弱点的学生，推荐薄弱点对应的视频课程。

进一步，所述创造力培养模块具体包括：

所述智能编曲单元，包括预先构建的编曲素材库和乐曲标签库；所述乐曲标签库存储了乐曲类别标签和该乐曲类别标签对应的多个子标签；提取乐曲的文字简介，通过分词操作以及关键词词频统计，得到乐曲的n个主题标签；提取乐曲的声学特征，将所述声学特征输入事先构建的乐曲分类模型中进行分类，得到乐曲的类别，所述乐曲分类模型采用LSTM长短期记忆网络实现；根据乐曲的类别从乐曲标签库实现匹配，得到乐曲的1个类别标签和对应的m个子标签，根据乐曲的n个主题标签、类别标签和子标签，形成该乐曲的标签集合；学生编曲时，输入关键词，将关键词与编曲素材库中所有乐曲的标签集合进行匹配，将匹配得到的乐曲输出，学生从中选择想要改编的乐曲，同时输入钢琴曲节奏和旋律，最终完成编曲。

进一步，所述创造力培养模块具体包括：

所述创意作品单元，学生上传自己的钢琴创意视频并生成简介，教师和学生能够对上传至该创意作品单元的作品进行观看、点赞、评论、收藏操作。

一种多元化的高校钢琴课程教学系统的构建方法，用于构建包括学习素材库模块、个性化教学模块、创造力培养模块、协奏训练模块的高校钢琴课程教学系统；

所述学习素材库模块：用于对学习素材进行搜集、整合、标记以及更新，学习素材包括理论基础教学视频、演奏教学视频、理论基础题库；根据知识点，对理论基础教学视频和演奏教学视频进行知识点的标记以及按照知识点对教学视频进行切分以得到知识点教学视频片段；建立知识点关键词和知识点教学视频片段之间的索引关系，通过知识点关键词能够实现对知识点教学视频片段的检索；根据教学大纲中的教学任务，将知识点教学视频片段串接成教学课程集锦；教师能够结合教学实际情况，对教学任务进行自定义操作，并根据自定义的教学任务对知识点进行组合以得到对应的自定义教学课程集锦；

所述个性化教学模块：包括钢琴练习音频视频采集单元、学习行为数据采集单元、学习数据分析单元、学习策略推荐单元；所述钢琴练习音频视频采集单元，从多个视角采集学生练习钢琴曲目的练习音频数据和练习视频数据，所述练习音频数据通过收音设备完成采集操作，所述练习视频数据通过架设在3个机位的视频采集装置完成采集操作，所述3个机位包括用于拍摄学生手部和钢琴键盘特写的机位一、用于拍摄学生整体坐姿特写的机位二、用于拍摄学生脸部表情特写的机位三，所述机位一用于拍摄得到第一特写视频数据，所述机位二用于拍摄得到第二特写视频数据，所述机位三用于拍摄得到第三特写视频数据；所述学习行为数据采集单元，用于采集学生线上的学习行为数据，所述学习行为数据包括视频课程学习时长、理论基础各知识点的答题数量、理论基础各知识点的答题正确率；所述学习数据分析单元，用于对所述练习音频数据、练习视频数据和学习行为数据进行分析，得到分析结果，所述分析结果包括学生演奏能力级别评价、学生理论基础能力评价、学生综合优势和薄弱点评价，采用可视化的形式展现所述分析结果；所述学习策略推荐单元，用于根据所述分析结果，对学生分别进行理论基础教学视频、演奏教学视频和理论基础题库推荐；

所述创造力培养模块：包括智能编曲单元和创意作品单元；所述智能编曲单元用于实现目标曲目的检索和匹配、输入编曲元素以及根据编曲元素和目标曲目智能生成编曲；所述创意作品单元，用于实现学生创意作品的展示和交互；

所述协奏训练模块：包括智能协奏单元和同伴协奏单元；所述智能协奏单元，根据学生选择的乐曲篇章和协奏乐器，自动生成协奏乐曲，学生在进行协奏练习时播放所述协奏乐曲；所述同伴协奏单元，根据所述钢琴练习音频视频采集单元采集的学生钢琴练习音频视频数据，根据预先设置的多个维度提取学生的演奏特征数据，根据每个学生的演奏特征数据之间的相似度，实现班级内协奏搭档的确定。

通过采用上述技术，与现有技术相比，本发明的有益效果是：

本申请通过设置个性化教学模块、创造力培养模块、协奏训练模块，实现了高校钢琴教育的多元化教学目标。

本申请利用大数据和人工智能技术对学生钢琴练习音频和视频进行智能分析，并根据分析结果实现了个性化学习策略的推荐。

本申请利用多种人工智能算法对学生钢琴练习音频和视频进行了音频、视频以及情感的多维度的分析，提升了分析的准确性和评价的完整性，更有利于实现个性化的教学目标。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定， 对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一种多元化的高校钢琴课程教学系统功能模块图；

图2为本申请学习数据分析单元功能模块图；

图3为本申请创造力培养模块功能模块图；

图4为本申请一种多元化的高校钢琴课程教学系统的构建方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本实施例提供一种多元化的高校钢琴课程教学系统，包括如下功能模块：

学习素材库模块：用于对学习素材进行搜集、整合、标记以及更新，学习素材包括理论基础教学视频、演奏教学视频、理论基础题库；根据知识点，对理论基础教学视频和演奏教学视频进行知识点的标记以及按照知识点对教学视频进行切分以得到知识点教学视频片段；建立知识点关键词和知识点教学视频片段之间的索引关系，通过知识点关键词能够实现对知识点教学视频片段的检索；根据教学大纲中的教学任务，将知识点教学视频片段串接成教学课程集锦；教师能够结合教学实际情况，对教学任务进行自定义操作，并根据自定义的教学任务对知识点进行组合以得到对应的自定义教学课程集锦；

个性化教学模块：包括钢琴练习音频视频采集单元、学习行为数据采集单元、学习数据分析单元、学习策略推荐单元；所述钢琴练习音频视频采集单元，从多个视角采集学生练习钢琴曲目的练习音频数据和练习视频数据，所述练习音频数据通过收音设备完成采集操作，所述练习视频数据通过架设在3个机位的视频采集装置完成采集操作，所述3个机位包括用于拍摄学生手部和钢琴键盘特写的机位一、用于拍摄学生整体坐姿特写的机位二、用于拍摄学生脸部表情特写的机位三，所述机位一用于拍摄得到第一特写视频数据，所述机位二用于拍摄得到第二特写视频数据，所述机位三用于拍摄得到第三特写视频数据；所述学习行为数据采集单元，用于采集学生线上的学习行为数据，所述学习行为数据包括视频课程学习时长、理论基础各知识点的答题数量、理论基础各知识点的答题正确率；所述学习数据分析单元，用于对所述练习音频数据、练习视频数据和学习行为数据进行分析，得到分析结果，所述分析结果包括学生演奏能力级别评价、学生理论基础能力评价、学生综合优势和薄弱点评价，采用可视化的形式展现所述分析结果；所述学习策略推荐单元，用于根据所述分析结果，对学生分别进行理论基础教学视频、演奏教学视频和理论基础题库推荐；

创造力培养模块：包括智能编曲单元和创意作品单元；所述智能编曲单元用于实现目标曲目的检索和匹配、输入编曲元素以及根据编曲元素和目标曲目智能生成编曲；所述创意作品单元，用于实现学生创意作品的展示和交互；

协奏训练模块：包括智能协奏单元和同伴协奏单元；所述智能协奏单元，根据学生选择的乐曲篇章和协奏乐器，自动生成协奏乐曲，学生在进行协奏练习时播放所述协奏乐曲；所述同伴协奏单元，根据所述钢琴练习音频视频采集单元采集的学生钢琴练习音频视频数据，根据预先设置的多个维度提取学生的演奏特征数据，根据每个学生的演奏特征数据之间的相似度，实现班级内协奏搭档的确定。

所述学习策略推荐单元具体包括：

根据所述分析结果，对演奏能力级别不达标的学生，推荐对应的演奏曲目教学视频；对理论基础不达标的学生，推荐对应的基础理论视频课程和题库；对存在薄弱点的学生，推荐薄弱点对应的视频课程。

实施例2

如图2所示，本实施例提供一种多元化的高校钢琴课程教学系统，其中，所述学习数据分析单元具体包括：

练习音频数据分析子单元：确定待分析的练习音频数据，根据练习音频数据确定该练习音频数据对应的标准曲目，从学习素材库模块中确定出标准曲目的音频素材作为标准音频；分别对练习音频和标准音频分别进行特征提取，再基于提取的特征实现4个维度的相似度匹配，从而得到待分析的练习音频数据的分析结果，所述4个维度包括准确度、完整度、流畅度、力度；

练习视频数据分析子单元：数据库预先存储有M类常见错误手型图片和正确手型图片，正确手型和每一类错误手型都分别对应m张训练图片，对训练图片进行手部特征提取，输入到预先构建的手型识别模型中训练，所述手型识别模型采用人工卷积神经网络模型搭建，包括一个输入层、一个输出层、2个隐藏层、3个卷积层，采用relu作为激活函数，采用交叉熵作为损失函数；

对所述第一特写视频数据进行关键帧抽取得到n张关键帧图片，分别识别出n张关键帧图片中的手部区域和钢琴键盘区域，采用颜色阈值分割的方式实现钢琴键盘区域的检测，采用肤色检测算法实现关键帧图片中手部区域的检测；对每张关键帧图片中的手部区域实现21个三维手部关节坐标的关键点定位，再结合钢琴键盘区域的位置，得到每张关键帧图片中手部关键点与钢琴键盘之间的相对位置坐标，作为手部关节位置特征向量；将所述手部关节位置特征向量输入到所述手型识别模型中，得到每张关键帧图片的手型识别结果。

数据库预先存储有N类常见错误坐姿图片和正确坐姿图片，正确坐姿和每一类错误坐姿都分别对应n张训练图片，对训练图片进行手部特征提取，输入到预先构建的坐姿识别模型中训练，所述坐姿识别模型采用人工卷积神经网络模型搭建，包括一个输入层、一个输出层、2个隐藏层、3个卷积层，采用relu作为激活函数，采用交叉熵作为损失函数；

对所述第二特写视频数据进行关键帧抽取得到n张关键帧图片，分别识别出n张关键帧图片中的身体区域，采用轮廓检测算法实现身体区域的检测；对每张关键帧图片中的身体区域实现头部、颈部、躯干部的关键点定位，得到每张关键帧图片中身体关键点与垂直方向的偏离程度值，作为身边坐姿特征向量；将所述身边坐姿特征向量输入到所述坐姿识别模型中，得到每张关键帧图片的坐姿识别结果。

多模态情感分析子单元：确定同一段练习对应的练习音频数据和第三特写视频数据；对练习音频数据分别进行频域分析和时域分析，实现声学特征提取，包括速度特征、节奏特征、强弱特征，将所述速度特征、节奏特征和强弱特征进行拼接融合后输入预先训练好的音频情感识别模型中进行情感识别，所述音频情感识别模型采用卷积神经网络模型搭建；对第三特写视频数据进行人脸区域识别，再对人脸区域进行表情特征提取，包括眼睛特征、嘴巴特征、眉毛特征；将所述眼睛特征、嘴巴特征和眉毛特征进行拼接融合后输入预先训练好的面部表情情感识别模型中进行情感识别，所述面部表情情感识别模型采用循环神经网络模型搭建。

学生演奏能力级别评价具体包括：练习音频数据分析结果中，准确度、完整度、流畅度、力度中某2项与标准音频之间的相似度达到70%以上，则认为学生演奏能力级别高，否则认为演奏能力级别不达标；学生理论基础能力评价：若视频课程学习时长、理论基础各知识点的答题数量、理论基础各知识点的答题正确率三项数据均达到预先设定的目标值，则认为学生理论基础扎实，否则认为学生理论基础不达标；学生综合优势和薄弱点评价：根据手型识别结果、坐姿识别结果、音频情感识别结果、面部表情情感识别结果，分别从手型、坐姿以及情感维度对学生的优势和薄弱点进行评价。

实施例3

如图3所示，本实施例提供一种多元化的高校钢琴课程教学系统，其中，所述创造力培养模块具体包括：

所述智能编曲单元，包括预先构建的编曲素材库和乐曲标签库；所述乐曲标签库存储了乐曲类别标签和该乐曲类别标签对应的多个子标签；提取乐曲的文字简介，通过分词操作以及关键词词频统计，得到乐曲的n个主题标签；提取乐曲的声学特征，将所述声学特征输入事先构建的乐曲分类模型中进行分类，得到乐曲的类别，所述乐曲分类模型采用LSTM长短期记忆网络实现；根据乐曲的类别从乐曲标签库实现匹配，得到乐曲的1个类别标签和对应的m个子标签，根据乐曲的n个主题标签、类别标签和子标签，形成该乐曲的标签集合；学生编曲时，输入关键词，将关键词与编曲素材库中所有乐曲的标签集合进行匹配，将匹配得到的乐曲输出，学生从中选择想要改编的乐曲，同时输入钢琴曲节奏和旋律，最终完成编曲。

进一步，所述创造力培养模块具体包括：

所述创意作品单元，学生上传自己的钢琴创意视频并生成简介，教师和学生能够对上传至该创意作品单元的作品进行观看、点赞、评论、收藏操作。

实施例4

如图4所示，本实施例提供一种多元化的高校钢琴课程教学系统的构建方法，用于构建包括学习素材库模块、个性化教学模块、创造力培养模块、协奏训练模块的高校钢琴课程教学系统；

所述学习素材库模块：用于对学习素材进行搜集、整合、标记以及更新，学习素材包括理论基础教学视频、演奏教学视频、理论基础题库；根据知识点，对理论基础教学视频和演奏教学视频进行知识点的标记以及按照知识点对教学视频进行切分以得到知识点教学视频片段；建立知识点关键词和知识点教学视频片段之间的索引关系，通过知识点关键词能够实现对知识点教学视频片段的检索；根据教学大纲中的教学任务，将知识点教学视频片段串接成教学课程集锦；教师能够结合教学实际情况，对教学任务进行自定义操作，并根据自定义的教学任务对知识点进行组合以得到对应的自定义教学课程集锦；

所述个性化教学模块：包括钢琴练习音频视频采集单元、学习行为数据采集单元、学习数据分析单元、学习策略推荐单元；所述钢琴练习音频视频采集单元，从多个视角采集学生练习钢琴曲目的练习音频数据和练习视频数据，所述练习音频数据通过收音设备完成采集操作，所述练习视频数据通过架设在3个机位的视频采集装置完成采集操作，所述3个机位包括用于拍摄学生手部和钢琴键盘特写的机位一、用于拍摄学生整体坐姿特写的机位二、用于拍摄学生脸部表情特写的机位三，所述机位一用于拍摄得到第一特写视频数据，所述机位二用于拍摄得到第二特写视频数据，所述机位三用于拍摄得到第三特写视频数据；所述学习行为数据采集单元，用于采集学生线上的学习行为数据，所述学习行为数据包括视频课程学习时长、理论基础各知识点的答题数量、理论基础各知识点的答题正确率；所述学习数据分析单元，用于对所述练习音频数据、练习视频数据和学习行为数据进行分析，得到分析结果，所述分析结果包括学生演奏能力级别评价、学生理论基础能力评价、学生综合优势和薄弱点评价，采用可视化的形式展现所述分析结果；所述学习策略推荐单元，用于根据所述分析结果，对学生分别进行理论基础教学视频、演奏教学视频和理论基础题库推荐；

所述创造力培养模块：包括智能编曲单元和创意作品单元；所述智能编曲单元用于实现目标曲目的检索和匹配、输入编曲元素以及根据编曲元素和目标曲目智能生成编曲；所述创意作品单元，用于实现学生创意作品的展示和交互；

所述协奏训练模块：包括智能协奏单元和同伴协奏单元；所述智能协奏单元，根据学生选择的乐曲篇章和协奏乐器，自动生成协奏乐曲，学生在进行协奏练习时播放所述协奏乐曲；所述同伴协奏单元，根据所述钢琴练习音频视频采集单元采集的学生钢琴练习音频视频数据，根据预先设置的多个维度提取学生的演奏特征数据，根据每个学生的演奏特征数据之间的相似度，实现班级内协奏搭档的确定。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、计算机设备或计算机可读存储介质。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (6)

1.一种多元化的高校钢琴课程教学系统，其特征在于，包括如下功能模块：

学习素材库模块：用于对学习素材进行搜集、整合、标记以及更新，学习素材包括理论基础教学视频、演奏教学视频、理论基础题库；根据知识点，对理论基础教学视频和演奏教学视频进行知识点的标记以及按照知识点对教学视频进行切分以得到知识点教学视频片段；建立知识点关键词和知识点教学视频片段之间的索引关系，通过知识点关键词能够实现对知识点教学视频片段的检索；根据教学大纲中的教学任务，将知识点教学视频片段串接成教学课程集锦；教师能够结合教学实际情况，对教学任务进行自定义操作，并根据自定义的教学任务对知识点进行组合以得到对应的自定义教学课程集锦；

个性化教学模块：包括钢琴练习音频视频采集单元、学习行为数据采集单元、学习数据分析单元、学习策略推荐单元；所述钢琴练习音频视频采集单元，从多个视角采集学生练习钢琴曲目的练习音频数据和练习视频数据，所述练习音频数据通过收音设备完成采集操作，所述练习视频数据通过架设在3个机位的视频采集装置完成采集操作，所述3个机位包括用于拍摄学生手部和钢琴键盘特写的机位一、用于拍摄学生整体坐姿特写的机位二、用于拍摄学生脸部表情特写的机位三，所述机位一用于拍摄得到第一特写视频数据，所述机位二用于拍摄得到第二特写视频数据，所述机位三用于拍摄得到第三特写视频数据；所述学习行为数据采集单元，用于采集学生线上的学习行为数据，所述学习行为数据包括视频课程学习时长，理论基础各知识点的答题数量和理论基础各知识点的答题正确率；所述学习数据分析单元，用于对所述练习音频数据、练习视频数据和学习行为数据进行分析，得到分析结果，所述分析结果包括学生演奏能力级别评价、学生理论基础能力评价、学生综合优势和薄弱点评价，采用可视化的形式展现所述分析结果；所述学习策略推荐单元，用于根据所述分析结果，对学生分别进行理论基础教学视频、演奏教学视频和理论基础题库推荐；

创造力培养模块：包括智能编曲单元和创意作品单元；所述智能编曲单元用于实现目标曲目的检索和匹配、输入编曲元素以及根据编曲元素和目标曲目智能生成编曲；所述创意作品单元，用于实现学生创意作品的展示和交互；

协奏训练模块：包括智能协奏单元和同伴协奏单元；所述智能协奏单元，根据学生选择的乐曲篇章和协奏乐器，自动生成协奏乐曲，学生在进行协奏练习时播放所述协奏乐曲；所述同伴协奏单元，根据所述钢琴练习音频视频采集单元采集的学生钢琴练习音频视频数据，根据预先设置的多个维度提取学生的演奏特征数据，根据每个学生的演奏特征数据之间的相似度，实现班级内协奏搭档的确定；

所述学习数据分析单元具体包括：

练习音频数据分析子单元：确定待分析的练习音频数据，根据练习音频数据确定该练习音频数据对应的标准曲目，从学习素材库模块中确定出标准曲目的音频素材作为标准音频；分别对练习音频和标准音频分别进行特征提取，再基于提取的特征实现4个维度的相似度匹配，从而得到待分析的练习音频数据的分析结果，所述4个维度包括准确度、完整度、流畅度、力度；

练习视频数据分析子单元：数据库预先存储有M类常见错误手型图片和正确手型图片，正确手型和每一类错误手型都分别对应m张训练图片，对训练图片进行手部特征提取，输入到预先构建的手型识别模型中训练，所述手型识别模型采用人工卷积神经网络模型搭建，包括一个输入层、一个输出层、2个隐藏层、3个卷积层，采用relu作为激活函数，采用交叉熵作为损失函数；

对所述第一特写视频数据进行关键帧抽取得到n张关键帧图片，分别识别出n张关键帧图片中的手部区域和钢琴键盘区域，采用颜色阈值分割的方式实现钢琴键盘区域的检测，采用肤色检测算法实现关键帧图片中手部区域的检测；对每张关键帧图片中的手部区域实现21个三维手部关节坐标的关键点定位，再结合钢琴键盘区域的位置，得到每张关键帧图片中手部关键点与钢琴键盘之间的相对位置坐标，作为手部关节位置特征向量；将所述手部关节位置特征向量输入到所述手型识别模型中，得到每张关键帧图片的手型识别结果；

数据库预先存储有N类常见错误坐姿图片和正确坐姿图片，正确坐姿和每一类错误坐姿都分别对应n张训练图片，对训练图片进行手部特征提取，输入到预先构建的坐姿识别模型中训练，所述坐姿识别模型采用人工卷积神经网络模型搭建，包括一个输入层、一个输出层、2个隐藏层、3个卷积层，采用relu作为激活函数，采用交叉熵作为损失函数；

对所述第二特写视频数据进行关键帧抽取得到n张关键帧图片，分别识别出n张关键帧图片中的身体区域，采用轮廓检测算法实现身体区域的检测；对每张关键帧图片中的身体区域实现头部，颈部和躯干部的关键点定位，得到每张关键帧图片中身体关键点与垂直方向的偏离程度值，作为身边坐姿特征向量；将所述身边坐姿特征向量输入到所述坐姿识别模型中，得到每张关键帧图片的坐姿识别结果；

多模态情感分析子单元：确定同一段练习对应的练习音频数据和第三特写视频数据；对练习音频数据分别进行频域分析和时域分析，实现声学特征提取，包括速度特征、节奏特征、强弱特征，将所述速度特征、节奏特征和强弱特征进行拼接融合后输入预先训练好的音频情感识别模型中进行情感识别，所述音频情感识别模型采用卷积神经网络模型搭建；对第三特写视频数据进行人脸区域识别，再对人脸区域进行表情特征提取，包括眼睛特征、嘴巴特征、眉毛特征；将所述眼睛特征、嘴巴特征和眉毛特征进行拼接融合后输入预先训练好的面部表情情感识别模型中进行情感识别，所述面部表情情感识别模型采用循环神经网络模型搭建。

2.如权利要求1所述的一种多元化的高校钢琴课程教学系统，其特征在于，所述学习数据分析单元具体包括：

学生演奏能力级别评价具体包括：练习音频数据分析结果中，准确度、完整度、流畅度、力度中某2项与标准音频之间的相似度达到70%以上，则认为学生演奏能力级别高，否则认为演奏能力级别不达标；学生理论基础能力评价：若视频课程学习时长、理论基础各知识点的答题数量、理论基础各知识点的答题正确率三项数据均达到预先设定的目标值，则认为学生理论基础扎实，否则认为学生理论基础不达标；学生综合优势和薄弱点评价：根据手型识别结果，坐姿识别结果，音频情感识别结果和面部表情情感识别结果，分别从手型、坐姿以及情感维度对学生的优势和薄弱点进行评价。

3.如权利要求2所述的一种多元化的高校钢琴课程教学系统，其特征在于，所述学习策略推荐单元具体包括：

根据所述分析结果，对演奏能力级别不达标的学生，推荐对应的演奏曲目教学视频；对理论基础不达标的学生，推荐对应的基础理论视频课程和题库；对存在薄弱点的学生，推荐薄弱点对应的视频课程。

4.如权利要求1所述的一种多元化的高校钢琴课程教学系统，其特征在于，所述创造力培养模块具体包括：

所述智能编曲单元，包括预先构建的编曲素材库和乐曲标签库；所述乐曲标签库存储了乐曲类别标签和该乐曲类别标签对应的多个子标签；提取乐曲的文字简介，通过分词操作以及关键词词频统计，得到乐曲的n个主题标签；提取乐曲的声学特征，将所述声学特征输入事先构建的乐曲分类模型中进行分类，得到乐曲的类别，所述乐曲分类模型采用LSTM长短期记忆网络实现；根据乐曲的类别从乐曲标签库实现匹配，得到乐曲的1个类别标签和对应的m个子标签，根据乐曲的n个主题标签、类别标签和子标签，形成该乐曲的标签集合；学生编曲时，输入关键词，将关键词与编曲素材库中所有乐曲的标签集合进行匹配，将匹配得到的乐曲输出，学生从中选择想要改编的乐曲，同时输入钢琴曲节奏和旋律，最终完成编曲。

5.如权利要求1所述的一种多元化的高校钢琴课程教学系统，其特征在于，所述创造力培养模块具体包括：

所述创意作品单元，学生上传自己的钢琴创意视频并生成简介，教师和学生能够对上传至该创意作品单元的作品进行观看，点赞，评论和收藏操作。

6.一种多元化的高校钢琴课程教学系统的构建方法，其特征在于，用于构建包括学习素材库模块、个性化教学模块、创造力培养模块、协奏训练模块的高校钢琴课程教学系统；

所述学习素材库模块：用于对学习素材进行搜集、整合、标记以及更新，学习素材包括理论基础教学视频、演奏教学视频、理论基础题库；根据知识点，对理论基础教学视频和演奏教学视频进行知识点的标记以及按照知识点对教学视频进行切分以得到知识点教学视频片段；建立知识点关键词和知识点教学视频片段之间的索引关系，通过知识点关键词能够实现对知识点教学视频片段的检索；根据教学大纲中的教学任务，将知识点教学视频片段串接成教学课程集锦；教师能够结合教学实际情况，对教学任务进行自定义操作，并根据自定义的教学任务对知识点进行组合以得到对应的自定义教学课程集锦；

所述个性化教学模块：包括钢琴练习音频视频采集单元、学习行为数据采集单元、学习数据分析单元、学习策略推荐单元；所述钢琴练习音频视频采集单元，从多个视角采集学生练习钢琴曲目的练习音频数据和练习视频数据，所述练习音频数据通过收音设备完成采集操作，所述练习视频数据通过架设在3个机位的视频采集装置完成采集操作，所述3个机位包括用于拍摄学生手部和钢琴键盘特写的机位一、用于拍摄学生整体坐姿特写的机位二、用于拍摄学生脸部表情特写的机位三，所述机位一用于拍摄得到第一特写视频数据，所述机位二用于拍摄得到第二特写视频数据，所述机位三用于拍摄得到第三特写视频数据；所述学习行为数据采集单元，用于采集学生线上的学习行为数据，所述学习行为数据包括视频课程学习时长，理论基础各知识点的答题数量和理论基础各知识点的答题正确率；所述学习数据分析单元，用于对所述练习音频数据、练习视频数据和学习行为数据进行分析，得到分析结果，所述分析结果包括学生演奏能力级别评价、学生理论基础能力评价、学生综合优势和薄弱点评价，采用可视化的形式展现所述分析结果；所述学习策略推荐单元，用于根据所述分析结果，对学生分别进行理论基础教学视频、演奏教学视频和理论基础题库推荐；

所述创造力培养模块：包括智能编曲单元和创意作品单元；所述智能编曲单元用于实现目标曲目的检索和匹配、输入编曲元素以及根据编曲元素和目标曲目智能生成编曲；所述创意作品单元，用于实现学生创意作品的展示和交互；

所述协奏训练模块：包括智能协奏单元和同伴协奏单元；所述智能协奏单元，根据学生选择的乐曲篇章和协奏乐器，自动生成协奏乐曲，学生在进行协奏练习时播放所述协奏乐曲；所述同伴协奏单元，根据所述钢琴练习音频视频采集单元采集的学生钢琴练习音频视频数据，根据预先设置的多个维度提取学生的演奏特征数据，根据每个学生的演奏特征数据之间的相似度，实现班级内协奏搭档的确定；

所述学习数据分析单元具体包括：

练习音频数据分析子单元：确定待分析的练习音频数据，根据练习音频数据确定该练习音频数据对应的标准曲目，从学习素材库模块中确定出标准曲目的音频素材作为标准音频；分别对练习音频和标准音频分别进行特征提取，再基于提取的特征实现4个维度的相似度匹配，从而得到待分析的练习音频数据的分析结果，所述4个维度包括准确度、完整度、流畅度、力度；

练习视频数据分析子单元：数据库预先存储有M类常见错误手型图片和正确手型图片，正确手型和每一类错误手型都分别对应m张训练图片，对训练图片进行手部特征提取，输入到预先构建的手型识别模型中训练，所述手型识别模型采用人工卷积神经网络模型搭建，包括一个输入层、一个输出层、2个隐藏层、3个卷积层，采用relu作为激活函数，采用交叉熵作为损失函数；

对所述第一特写视频数据进行关键帧抽取得到n张关键帧图片，分别识别出n张关键帧图片中的手部区域和钢琴键盘区域，采用颜色阈值分割的方式实现钢琴键盘区域的检测，采用肤色检测算法实现关键帧图片中手部区域的检测；对每张关键帧图片中的手部区域实现21个三维手部关节坐标的关键点定位，再结合钢琴键盘区域的位置，得到每张关键帧图片中手部关键点与钢琴键盘之间的相对位置坐标，作为手部关节位置特征向量；将所述手部关节位置特征向量输入到所述手型识别模型中，得到每张关键帧图片的手型识别结果；

数据库预先存储有N类常见错误坐姿图片和正确坐姿图片，正确坐姿和每一类错误坐姿都分别对应n张训练图片，对训练图片进行手部特征提取，输入到预先构建的坐姿识别模型中训练，所述坐姿识别模型采用人工卷积神经网络模型搭建，包括一个输入层、一个输出层、2个隐藏层、3个卷积层，采用relu作为激活函数，采用交叉熵作为损失函数；

对所述第二特写视频数据进行关键帧抽取得到n张关键帧图片，分别识别出n张关键帧图片中的身体区域，采用轮廓检测算法实现身体区域的检测；对每张关键帧图片中的身体区域实现头部，颈部和躯干部的关键点定位，得到每张关键帧图片中身体关键点与垂直方向的偏离程度值，作为身边坐姿特征向量；将所述身边坐姿特征向量输入到所述坐姿识别模型中，得到每张关键帧图片的坐姿识别结果；

多模态情感分析子单元：确定同一段练习对应的练习音频数据和第三特写视频数据；对练习音频数据分别进行频域分析和时域分析，实现声学特征提取，包括速度特征、节奏特征、强弱特征，将所述速度特征、节奏特征和强弱特征进行拼接融合后输入预先训练好的音频情感识别模型中进行情感识别，所述音频情感识别模型采用卷积神经网络模型搭建；对第三特写视频数据进行人脸区域识别，再对人脸区域进行表情特征提取，包括眼睛特征、嘴巴特征、眉毛特征；将所述眼睛特征、嘴巴特征和眉毛特征进行拼接融合后输入预先训练好的面部表情情感识别模型中进行情感识别，所述面部表情情感识别模型采用循环神经网络模型搭建。