CN112465679A - 一种钢琴学习与创作系统及方法 - Google Patents
一种钢琴学习与创作系统及方法 Download PDFInfo
- Publication number
- CN112465679A CN112465679A CN202011429702.3A CN202011429702A CN112465679A CN 112465679 A CN112465679 A CN 112465679A CN 202011429702 A CN202011429702 A CN 202011429702A CN 112465679 A CN112465679 A CN 112465679A
- Authority
- CN
- China
- Prior art keywords
- data
- piano
- unit
- music score
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000013598 vector Substances 0.000 claims abstract description 97
- 238000012545 processing Methods 0.000 claims abstract description 79
- 230000004044 response Effects 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000002452 interceptive effect Effects 0.000 claims description 60
- 238000005457 optimization Methods 0.000 claims description 37
- 238000011156 evaluation Methods 0.000 claims description 34
- 238000013507 mapping Methods 0.000 claims description 33
- 230000006399 behavior Effects 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000008921 facial expression Effects 0.000 claims description 13
- 230000007704 transition Effects 0.000 claims description 13
- 239000013589 supplement Substances 0.000 claims description 11
- 230000001815 facial effect Effects 0.000 claims description 10
- 230000008451 emotion Effects 0.000 claims description 8
- 230000001795 light effect Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000003825 pressing Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 6
- 230000001427 coherent effect Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002996 emotional effect Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 239000012634 fragment Substances 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000016776 visual perception Effects 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims 1
- 230000009469 supplementation Effects 0.000 claims 1
- 239000000203 mixture Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- UCJGJABZCDBEDK-UHFFFAOYSA-N bazedoxifene Chemical compound C=1C=C(OCCN2CCCCCC2)C=CC=1CN1C2=CC=C(O)C=C2C(C)=C1C1=CC=C(O)C=C1 UCJGJABZCDBEDK-UHFFFAOYSA-N 0.000 description 1
- 229960000817 bazedoxifene Drugs 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
Abstract
本发明公开了一种钢琴学习与创作系统及方法，包括智能机器人引擎，智能钢琴知识库，用户数据采集处理模块和演奏处理展示模块，用户数据采集处理模块，采集并处理得到创作曲谱数据，智能机器人引擎与用户数据采集处理模块和智能钢琴知识库连接，将接收的曲谱数据作为输入特征向量，输入到多模态语义理解单元预测模块，并根据需要输出关联音视频片段、关联曲谱编码、关联语义话术文本和界面响应数据中的一种或多种构成的输出特征向量，所述演奏处理展示模块根据需要将输出特征向量处理成对应的格式并展示给用户。其实现智能式教学，特别是能够实现创作式智能教学，寓教于乐，让学生在探究中完成学习，不断激发学生自发学习的兴趣。
Description
技术领域：
本发明属于音乐技术领域，具体涉及一种钢琴学习与创作系统及方法。
背景技术：
近年来，钢琴学习成为大部分家长教育培训的首选项目。钢琴理论知识枯燥、难懂，需要持之以恒的坚持，易半途而废。传统的钢琴教学为老师当面一对一教学，花费高，需要定期接送。为了实现自主钢琴学习，降低钢琴学习的门槛，出现了一系列的智能钢琴系统，大部分是通过曲谱与琴键进行关联，将需要演奏的曲谱演奏指法示范在显示屏上显示，供人们模仿学习。然而其是模仿教学，难以完全替代老师，实现问答式教学，更难以实现自主式创作式学习，特别是没有理论基础的初学者，自主式创作更无从谈起。
发明内容：
本发明目的在于克服现有技术存在的缺点，寻求设计一种钢琴学习与创作系统，解决了现有的钢琴教学系统无法实现零基础教学，自主式创作的问题，以及无法实现问答式教学的问题。
为了实现上述目的，本发明涉及的一种钢琴学习与创作系统，包括智能机器人引擎，智能钢琴知识库，用户数据采集处理模块和演奏处理展示模块，用户数据采集处理模块，采集并处理得到创作曲谱数据，智能机器人引擎与用户数据采集处理模块和智能钢琴知识库连接，将接收的曲谱数据作为输入特征向量，输入到多模态语义理解单元预测模块，并根据需要输出关联音视频片段、关联曲谱编码、关联语义话术文本和界面响应数据中的一种或多种构成的输出特征向量，所述演奏处理展示模块根据需要将输出特征向量处理成对应的格式并展示给用户。
进一步地，用户数据采集处理模块包括数据采集模块和数据预处理模块，数据采集模块包括琴键踏板状态监测单元、音频采集单元和交互界面，所述琴键踏板状态监测单元，采集琴键与踏板的离合状态信号与定位信息，获取由琴键或踏板的状态与其对应的定位信息构成的用户弹奏行为数据，所述音频采集单元，采集用户的连续哼唱语音，提取声音响度和声音音调两个维度的信号序列，构成用户语音哼唱数据，交互界面，采集用户在交互界面输入的用户意向指令；所述数据预处理模块包括音符解析与映射单元、语音曲谱单元、曲谱推荐单元、谱曲创作单元，输入操作处理单元，音符解析与映射单元与琴键踏板状态监测单元连接，用于将用户弹奏行为数据处理转换为对应的钢琴曲谱编码，语音曲谱单元与音频采集单元连接，提取用户语音哼唱数据中的声音响度和音调两个维度的序列，运算生成对应的钢琴曲谱编码，曲谱推荐单元，与音符解析与映射单元、语音曲谱单元和智能钢琴知识库连接，以一定的匹配度，基于风格、弹奏序列、音符间相对关系等特征，在智能钢琴知识库中筛选出与获取的钢琴曲谱编码近似的曲谱或曲谱片段，作为推荐曲谱编码，输入操作处理单元与交互界面连接，用于将用户在交互界面的输入处理、转换为对应的曲谱调整请求数据，谱曲创作单元，与曲谱推荐单元和输入操作处理单元连接，将输入操作处理单元输入的曲谱调整请求数据和曲谱推荐单元输入的推荐曲谱编码作为曲谱输入特征向量输入到曲谱创作模型中，并将满足用户需求的创作曲谱数据作为曲谱输出特征向量输出。
进一步地，所述数据采集模块还包括视频采集单元，对应地所述数据预处理模块包括人脸情绪特征单元，所述视频采集单元，采集环境视频信号并转化为特定编码视频数字信号，人脸情绪特征单元，与视频采集单元连接，用于将视频数字信息进行处理，获取人脸表情特征数据。
进一步地，所述数据预处理模块还包括语音识别单元，语音识别单元，与音频采集单元连接，用于将用户语音询问数据转化为文本请求数据，输入操作处理单元还能够将对应的用户意向指令转换为检索请求数据。
进一步地，所述演奏处理展示模块包括数据后处理模块和数据演奏展示模块，所述数据后处理单元包括约束调整单元、钢琴弹奏指引解析单元、语音合成单元单元和输入操作解析单元，所述约束调整单元通过特定约束规则对关联曲谱编码，关联语义话术文本，关联音频片段进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容，所述关联曲谱编码经约束优化调整，产生对应的钢琴弹奏指引数据，所述关联语义话术文本经约束优化调整，产生连贯自然的语义话术文本，关联音视频片段经约束优化调整为对应的音频数据和视频数据，所述钢琴弹奏指引解析单元与约束调整单元连接，用于将钢琴弹奏指引数据转换为对应琴键和踏板的LED控制指令，所述语音合成单元，与约束调整单元连接，用于将连贯自然的语义话术文本转换为对应的音频文件，输出操作解析单元用于将界面响应数据处理、解析、转换为交互界面能够显示的数据格式，输入操作处理单元与输出操作解析单元构成用户操作处理与解析单元。
数据演奏展示模块包括琴键彩色灯光展示单元，音频播放单元，视频演示单元和交互界面，所述视频演示单元，配合音频播放单元进行媒体展示，接收约束调整后的视频数据，所述音频播放单元，播放音频数据，所述琴键彩色灯光展示单元，LED控制模块接收钢琴弹奏指引数据将其转换为LED控制逻辑指令，控制LED灯呈现不同色彩显示于特定按键，指引用户弹奏的同时形成彩色琴键灯光效果，形成用户视觉维度上的直观感受，从视觉效果建立对音乐的间接感受与关联，所述交互界面用于输出结果解析转换处理的界面响应数据。
本发明涉及的智能机器人引擎还包括学习评估模块，学习评估模块分别与琴键踏板状态监测单元和钢琴弹奏指引解析单元连接，通过语音采集单元输入文本请求数据或交互界面输入检索请求数据，选择想要学习的钢琴曲目，基于钢琴弹奏指引解析单元产生的琴键彩色灯光效果跟弹学习，在每一轮弹奏学习过程中，通过琴键踏板状态监测单元实时采集实时用户弹奏行为数据，将钢琴弹奏指引数据与实时用户弹奏行为数据进行比对，得到弹奏评估结果，弹奏结果通过演奏处理展示模块输出。
本发明涉及的一种钢琴学习与创作系统，还包括云端分享模块，云端分享模块，分别与智能机器人引擎和智能钢琴知识库连接，用于将创造的满意作品在云端分享，分享的作品经过处理，作为智能机器人引擎的输入数据，存储在智能钢琴知识库中。
所述数据预处理模块还包括人脸特征识别单元和用户管理单元，人脸特征识别单元与视频采集单元连接，基于获取的用户面部图像，提取用户人脸特征数据，并将其输送到用户管理单元，用户管理单元与人脸特征识别单元连接，用于注册、登陆，分析获取人脸特征数据，并将人脸特征数据与用户ID码对应，将其作为用户登录的凭证。
本发明涉及一种智能钢琴学习与创作方法，具体包括以下步骤：
S1、用户登录。
S2、对钢琴用户进行监测，将采集数据处理形成输入特征向量，所述输入特征向量包括创作曲谱数据；
所述步骤S2中创作曲谱数据的获取方法具体为：
S201、通过在琴键和踏板上设置按压模块和定位模块，采集相应的参数，进而获取用户弹奏行为数据，处理形成对应的钢琴曲谱编码；
S202、通过阵列式麦克风采集用户的连续哼唱语音，提取声音响度和声音音调两个维度的信号序列，构成用户语音哼唱数据，处理形成对应的钢琴曲谱编码；
S203、基于风格、弹奏序列、音符件相对关系等特征，在智能钢琴知识库中筛选出与获取的钢琴曲谱编码达到设定匹配度的曲谱或曲谱片段，作为推荐曲谱编码；
S204、通过智能终端中的交互界面输入，获取曲谱调整请求数据，如，在应用程序交互界面中输入对曲谱调整的要求；
S205、将推荐曲谱编码和曲谱调整请求数据输入到曲谱创作模型中，并将满足用户需求的创作曲谱数据；
S3、将输入特征向量输入到多模态语义理解单元预测模块，输出关联音视频片段、关联曲谱编码、关联回复文本和界面响应数据中的一种或多种构成的输出特征向量；
S4、演奏处理展示模块根据需要将输出特征向量处理成对应的格式并展示给用户。
S5、用户根据展示情况决定是否继续对创作的钢琴曲谱进行修改，如需要修改，将需要修改的创作曲谱数据作为推荐曲谱编码返回步骤S205，结合新输入的曲谱调整请求数据对创作曲谱编码的修改，直至用户满意，自定义存储为创作钢琴曲目。
具体地，步骤S4对关联音视频片段的处理方式为：
S4101、通过特定约束规则对关联音视频数据进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容，关联音视频片段经约束优化调整分解为音频数据和视频数据。
S4102、采用扬声器播放音频文件。
S4103、采用视频播放器播放视频文件。
具体地，步骤S4中对关联曲谱编码的处理方式为：
S4201、通过特定约束规则对关联曲谱编码进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容，具体地，所述关联曲谱编码经约束优化调整，产生钢琴弹奏指引数据。
S4202、将钢琴弹奏指引数据转换为LED控制逻辑指令；
S4203、LED灯控制器根据LED控制逻辑指令控制在对应琴键和踏板上LED灯的开启、关闭以及开启的时长。
具体地，步骤S4对关联语义话术文本的处理方式为：
S4301、通过特定约束规则对关联语义话术文本进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容，具体地，所述语义话术文本经约束优化调整，产生连贯自然的语义话术文本。
S4302、将语义话术文本转换为对应的音频数据。
S4303、采用扬声器播放音频文件。
具体地，步骤S4对界面响应数据的处理方式为：
S4401、将界面响应数据解析、处理、转换为交互界面能够输出的格式。
S4402、采用智能终端的应用程序将界面响应数据解析，由交互界面反馈给用户。
进一步地，所述智能钢琴学习与创作方法，还包括步骤S6、将满意的创作钢琴曲谱上传到智能钢琴知识库进行分享。
具体地，所述输入特征向量还包括人脸表情数据，通过摄像头采集用户的面部视频数据，分析面部图像获取人脸表情数据，将其作为一个输入特征向量输入到多模态语义理解单元预测系统中，便于输出与用户情绪状态相关的输出特征向量。
具体地，所述输入特征向量还包括文本请求数据和检索请求数据，通过阵列式麦克风采集模块采集用户的语音输入，获取用户语音询问数据，然后将用户语音询问数据转换为对应的文本请求数据，通过阵列式麦克风采集模块采集用户的询问式的语音输入，获取检索请求数据,文本请求数据和检索请求数据输入到多模态语义理解单元预测模型中，多模态语义理解单元预测模型结合智能钢琴知识库得到最佳输出特征向量，该输出特征向量包括关联音频、关联视频、关联曲谱编码、关联语义话术文本和界面响应数据中的一种或多种。
进一步地，所述智能钢琴学习与创作方法，还包括步骤S7、通过语音采集单元输入文本请求数据或交互界面输入检索请求数据，选择创作钢琴曲目或者其他钢琴曲目，基于钢琴弹奏指引数据产生的琴键彩色灯光效果跟弹学习，在每一轮弹奏学习过程中，实时采集实时用户弹奏行为数据，将钢琴弹奏指引数据与实时用户弹奏行为数据进行比对，对用户跟弹状况进行分析讲解。
本发明与现有技术相比具有以下有益效果：(1)实现智能式教学，特别是能够实现创作式智能教学，寓教于乐，让学生在探究中完成学习，不断激发学生自发学习的兴趣；(2)通过语音实现曲谱创作，在创作的同时进行学习，改变了先学习理论知识，然后再创作的传统钢琴学习模式；(3)提高了智能教学的交互性，提高学习积极性，建立学习与创作之间的良性循环。
附图说明：
图1为本发明涉及的钢琴学习与创作系统结构原理示意图。
图2为本发明涉及的钢琴学习与创作系统部分结构工作原理示意图。
具体实施方式：
下面通过具体实施例并结合附图对本发明作进一步说明。
实施例1：
如图1所示，本实施例涉及的一种钢琴学习与创作系统，包括智能机器人引擎3，智能钢琴知识库2，用户数据采集处理模块1和演奏处理展示模块4，用户数据采集处理模块1，采集并处理得到创作曲谱数据，智能机器人引擎3与用户数据采集处理模块1和智能钢琴知识库2连接，将接收的曲谱数据作为输入特征向量，输入到多模态语义理解单元预测模块301，并根据需要输出关联音视频片段、关联曲谱编码、关联语义话术文本和界面响应数据中的一种或多种构成的输出特征向量，所述演奏处理展示模块4根据需要将输出特征向量处理成对应的格式并展示给用户。
所述智能钢琴知识库2是一系列的规则化的数据集，以节点，属性，关系所建立的与钢琴相关的知识图谱。所谓节点，是一系列属性和关系的集合体，用一个多维特征向量表示，属性为此集合体的不同方面的内容，可以是具体的，也可是抽象的，用数字，字符或链接进行表示，关系是指不同集合体之间的不同逻辑关系，以数字，逻辑符，或字符方式进行描述。例如钢琴教学，钢琴的知识点，都可以是一个节点，而其理论内容，可能的问答和讲解视频，都作为属性。不同知识点之间的过渡，前提，包含等，以关系来表示。
智能机器人引擎3抽取用户意图及提取交互中的元素变量，参考智能钢琴知识库2进行推理，搜索，输出反馈数据。比如在对话交互中，会抽取其中的关键词，语句分词结构，多轮对话场景标记数据等，如命令执行，咨询提问，则分别参考智能钢琴知识库，对相关命令执行的数据和咨询问答数据进行调用，还原和整合，由智能机器人引擎反馈为相关的文本，视频，钢琴演奏等输出，经演奏处理展示模块输出。如哼唱歌曲或随意弹奏，经智能机器人引擎对歌曲进行处理，抽取关键帧特征作为特征向量，在智能钢琴知识库中匹配近似的多个类似琴曲节点，并筛选匹配度最高的作为推荐内容，由智能机器人引擎结合问答场景筛选或推理该反馈的属性内容。
进一步地，用户数据采集处理模块1包括数据采集模块和数据预处理模块。
具体地，数据采集模块1包括琴键踏板状态监测单元102、音频采集单元101和交互界面103。所述琴键踏板状态监测单元102，采集琴键与踏板的离合状态信号与定位信息，获取由琴键或踏板的状态与其对应的定位信息构成的用户弹奏行为数据，具体由琴键踏板按压检测模块和琴键踏板定位模块协同实现，琴键踏板按压检测模块能够通过红外测距传感器，接触按键，或其他以光电方式判断琴键踏板按压状态的模块，琴键踏板定位模块通过矩阵电路实现对具体按键的识别定位，如，在钢琴琴键和踏板上设置相连接的按压检测模块和定位模块，用户按压琴键或踏板时，琴键或踏板的状态为1，用户未按压琴键或踏板时，琴键或踏板的状态为0，实时记录琴键或踏板的状态。所述音频采集单元101，采集用户的连续哼唱语音，提取声音响度和声音音调两个维度的信号序列，构成用户语音哼唱数据，具体由阵列麦克风进行实现。如，在钢琴旁设一麦克风，采集用户哼唱曲调。交互界面103，采集用户在交互界面输入的用户意向指令，交互界面为智能终端(手机或IPAD)的触摸显示屏，或由鼠标、键盘和显示器构成面。
所述数据预处理模块包括音符解析与映射单元107、语音曲谱单元106、曲谱推荐单元110、谱曲创作单元111，输入操作处理单元108。音符解析与映射单元107与琴键踏板状态监测单元102连接，用于将用户弹奏行为数据处理转换为对应的钢琴曲谱编码。语音曲谱单元106，与音频采集单元101连接，提取用户语音哼唱数据中的声音响度和音调两个维度的序列，运算生成对应的钢琴曲谱编码。曲谱推荐单元110，与音符解析与映射单元107、语音曲谱单元106和智能钢琴知识库2连接，以一定的匹配度，基于风格、弹奏序列、音符间相对关系等特征，在智能钢琴知识库2中筛选出与获取的钢琴曲谱编码近似的曲谱或曲谱片段，作为推荐曲谱编码。输入操作处理单元108与交互界面103连接，用于将用户在交互界面的输入处理、转换为对应的曲谱调整请求数据。谱曲创作单元111，与曲谱推荐单元110和输入操作处理单元108连接，将输入操作处理单元108输入的曲谱调整请求数据和曲谱推荐单元110输入的推荐曲谱编码作为曲谱输入特征向量输入到曲谱创作模型中，并将满足用户需求的创作曲谱数据作为曲谱输出特征向量输出。
进一步地，所述数据采集模块还包括视频采集单元104，对应地所述数据预处理模块包括人脸情绪特征单元109，所述视频采集单元104，采集环境视频信号并转化为特定编码视频数字信号(视频数据)，具体由视频采集用摄像头实现。如，面对用户设一摄像头，用户弹奏钢琴时进行拍摄录像。人脸情绪特征单元109，与视频采集单元104连接，用于将视频数字信息进行处理，获取人脸表情特征数据。因此，输入特征向量还包括人脸表情特征数据,将其输入到多模态语义理解单元预测模型中，以便能够输入与用户情绪相关的输出特征向量。
上述钢琴学习与创作系统根据用户的要求，按照特定的格式输出用户创作的钢琴曲谱，将钢琴创作简单化。除此以外，还可以将本系统当作一位专业老师，实现自主式学习。为了实现该功能，所述数据预处理模块还包括语音识别单元105，语音识别单元105，与音频采集单元101连接，用于将用户语音询问数据转化为文本请求数据。输入操作处理单元108还能够将对应的用户意向指令转换为检索请求数据。因此，用户通过语音输入或者操作界面输入问题，经过多模态语义理解单元预测模型，输出对应的答案。
智能机器人引擎3以特征集样本为输入特征向量，对其进行归一化和正则化处理，标签集样本作为输出特征向量，对其进行归一化和正则化处理，并结合损失函数，构建神经网络模型，再经过测试、验证，最终生成多模态语义理解单元预测模型301，然后将输入特征向量输入到多模态语义理解单元预测模型301中，输出对应的输出特征向量。所述特征集样本和标签集样本可以根据经验实现构建的。
综上所述，输入特征向量为文本请求数据、检索请求数据、人脸表情特征数据和创作曲谱数据中的一种或多种。
具体地，所述演奏处理展示模块3包括数据后处理模块和数据演奏展示模块。所述数据后处理单元包括约束调整单元401、钢琴弹奏指引解析单元408、语音合成单元单元403和输入操作解析单元402。所述约束调整单元401通过特定约束规则对关联曲谱编码，关联语义话术文本，关联音频片段进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容。具体地，所述关联曲谱编码经约束优化调整，产生对应的钢琴弹奏指引数据，所述关联语义话术文本经约束优化调整，产生连贯自然的语义话术文本，关联音视频片段经约束优化调整为对应的音频数据和视频数据。所述钢琴弹奏指引解析单元408与约束调整单元401连接，用于将钢琴弹奏指引数据转换为对应琴键和踏板的LED控制指令，所述语音合成单元403，与约束调整单元401连接，用于将连贯自然的语义话术文本转换为对应的音频文件。输出操作解析单元402用于将界面响应数据处理、解析、转换为交互界面能够显示的数据格式。输入操作处理单元108与输出操作解析单元402构成用户操作处理与解析单元，具体为安装在智能终端的应用程序。
数据演奏展示模块包括琴键彩色灯光展示单元404，音频播放单元405，视频演示单元406和交互界面103。所述视频演示单元406，具体为视频播放器，配合音频播放单元进行媒体展示，接收约束调整后的视频数据。所述音频播放单元405，具体为扬声器模块，播放音频数据。所述琴键彩色灯光展示单元404，具体指固定在琴键上的LED灯和以及与LED灯连接的LED控制模块，代表不同音符的琴键固定的LED灯的发光颜色不同，LED控制模块接收钢琴弹奏指引数据将其转换为LED控制逻辑指令，控制LED灯呈现不同色彩显示于特定按键，指引用户弹奏的同时形成彩色琴键灯光效果，形成用户视觉维度上的直观感受，从视觉效果建立对音乐的间接感受与关联。所述交互界面103用于输出结果解析转换处理的界面响应数据。
本实施例涉及的智能机器人引擎还包括学习评估模块302，学习评估模块302分别与琴键踏板状态监测单元102和钢琴弹奏指引解析单元408连接，通过语音采集单元输入文本请求数据或交互界面输入检索请求数据，选择想要学习的钢琴曲目，可以是创作钢琴曲目，也可以是其他钢琴曲目，基于钢琴弹奏指引解析单元408产生的琴键彩色灯光效果跟弹学习，在每一轮弹奏学习过程中，通过琴键踏板状态监测单元102实时采集实时用户弹奏行为数据，将钢琴弹奏指引数据与实时用户弹奏行为数据进行比对，得到弹奏评估结果，所述弹奏评估结果包括弹奏评分、跟弹过程中的指法问题、修正建议、正确指法的演示等，弹奏结果通过演奏处理展示模块4输出。该步骤将用户创作与用户自主学习结合，实现自主式、探索式学习。
本实施例涉及的一种钢琴学习与创作系统，还包括云端分享模块5。云端分享模块5，分别与智能机器人引擎3和智能钢琴知识库连接，用于将创造的满意作品在云端分享，分享的作品经过处理，作为智能机器人引擎的输入数据，存储在智能钢琴知识库2中。
所述数据预处理模块还包括人脸特征识别单元112和用户管理单元113，人脸特征识别单元112与视频采集单元104连接，基于获取的用户面部图像，提取用户人脸特征数据，并将其输送到用户管理单元113，用户管理单元113与人脸特征识别单元112连接，用于注册、登陆，分析获取人脸特征数据，并将人脸特征数据与用户ID码对应，将其作为用户登录的凭证。
本实施例涉及的钢琴学习与创作系统，基于事先构建的输入特征向量与输出特征向量之间的对应关系，通过语音或者交互界面输入任一问题，系统解析获得相对应的答案，相当于一位面授老师，可以解答学习过程中遇到的相关问题。另外，除了能够实现常规的问答式教学学习，其还能实现体验式创作，在创作过程中激发对钢琴学习的兴趣，降低钢琴学习的难度。
本实施例涉及一种智能钢琴学习与创作方法，具体包括以下步骤：
S1、用户登录，直接在交互界面中输入账号和密码登录，或根据采集的用户面部图像，提取人脸特征数据进行用户身份识别，完成登录。
S2、对钢琴用户进行监测，将采集数据处理形成输入特征向量，所述输入特征向量包括创作曲谱数据；
具体地，所述步骤S2中创作曲谱数据的获取方法具体为：
S201、通过在琴键和踏板上设置按压模块和定位模块，采集相应的参数，进而获取用户弹奏行为数据，处理形成对应的钢琴曲谱编码(曲谱音符特征向量)；
S202、通过阵列式麦克风采集用户的连续哼唱语音，提取声音响度和声音音调两个维度的信号序列，构成用户语音哼唱数据，处理形成对应的钢琴曲谱编码(曲谱音符特征向量)；
S203、基于风格、弹奏序列、音符件相对关系等特征，在智能钢琴知识库2中筛选出与获取的钢琴曲谱编码达到设定匹配度的曲谱或曲谱片段，作为推荐曲谱编码；
S204、通过智能终端(如，手机、电脑或IPAD)中的交互界面输入，获取曲谱调整请求数据(曲谱辅助特征向量)，如，在应用程序交互界面中输入对曲谱调整的要求，如风格选择、曲谱片段删除、音的高低、音的长短等；
S205、将推荐曲谱编码和曲谱调整请求数据输入到曲谱创作模型中，并将满足用户需求的创作曲谱数据。
S3、将输入特征向量输入到多模态语义理解单元预测模块，输出关联音视频片段、关联曲谱编码、关联回复文本和界面响应数据中的一种或多种构成的输出特征向量；
S4、演奏处理展示模块4根据需要将输出特征向量处理成对应的格式并展示给用户，如视频、音频和LED彩色灯光效果。
S5、用户根据展示情况决定是否继续对创作的钢琴曲谱进行修改，如需要修改，将需要修改的创作曲谱数据作为推荐曲谱编码返回步骤S205，结合新输入的曲谱调整请求数据对创作曲谱编码的修改，直至用户满意，自定义存储为创作钢琴曲目。
具体地，步骤S4对关联音视频片段的处理方式为：
S4101、通过特定约束规则对关联音视频数据进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容，关联音视频片段经约束优化调整分解为音频数据和视频数据。
S4102、采用扬声器播放音频文件，如《欢乐颂》中包括的乐理知识，贝多芬的代表作。
S4103、采用视频播放器播放视频文件，视频播放器可以为单独的播放器也可以通过交互界面播放，如，著名老师对《欢乐颂》的弹奏指法讲解视频。
具体地，步骤S4中对关联曲谱编码的处理方式为：
S4201、通过特定约束规则对关联曲谱编码进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容，具体地，所述关联曲谱编码经约束优化调整，产生钢琴弹奏指引数据。
S4202、将钢琴弹奏指引数据转换为LED控制逻辑指令；
S4203、LED灯控制器根据LED控制逻辑指令控制在对应琴键和踏板上LED灯的开启、关闭以及开启的时长。
具体地，步骤S4对关联语义话术文本的处理方式为：
S4301、通过特定约束规则对关联语义话术文本进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容，具体地，所述语义话术文本经约束优化调整，产生连贯自然的语义话术文本。
S4302、将语义话术文本转换为对应的音频数据。
S4303、采用扬声器播放音频文件，如《欢乐颂》中包括的乐理知识，贝多芬的代表作。
具体地，步骤S4对界面响应数据的处理方式为：
S4401、将界面响应数据解析、处理、转换为交互界面能够输出的格式。
S4402、采用智能终端的应用程序将界面响应数据解析，由交互界面反馈给用户，如，贝多芬的代表作的文本答复，某一作品的曲谱。
进一步地，所述智能钢琴学习与创作方法，还包括步骤S6、将满意的创作钢琴曲谱上传到智能钢琴知识库进行分享。
具体地，所述输入特征向量还包括人脸表情数据。通过摄像头采集用户的面部视频数据，分析面部图像获取人脸表情数据，将其作为一个输入特征向量输入到多模态语义理解单元预测系统中，便于输出与用户情绪状态相关的输出特征向量。
除了能够进行自主式创作，本发明涉及的智能钢琴学习与创作方法，还能够实现自主式学习。具体地，所述输入特征向量还包括文本请求数据和检索请求数据。通过阵列式麦克风采集模块采集用户的语音输入，获取用户语音询问数据，然后将用户语音询问数据转换为对应的文本请求数据。通过阵列式麦克风采集模块采集用户的询问式的语音输入，如，贝多芬的代表作有哪些？然后将询问式语音转换为文本请求数据。通过智能终端(如，手机、电脑或IPAD)中的交互界面输入，获取检索请求数据,如，在应用程序交互界面的搜索引擎中输入“欢乐颂”，或选择某一段曲谱，输入“该曲谱包括的乐理知识”。用户语音询问数据和用户哼唱数据组成用户语音输入数据，检索请求数据和曲谱调整请求数据构成交互界面输入数据。文本请求数据和检索请求数据输入到多模态语义理解单元预测模型中，多模态语义理解单元预测模型结合智能钢琴知识库得到最佳输出特征向量，该输出特征向量包括关联音频、关联视频、关联曲谱编码、关联语义话术文本和界面响应数据中的一种或多种，具体根据用户的需求进行匹配。
基于输入特征向量与输出特征向量之间人为构建的对应关系，可以理解输出特征向量是输入特征向量的回复，如，输入特征向量为“贝多芬的代表作有哪些？”的语音文本，或“贝多芬的代表作”的用户意向指令，则输出特征向量为“《月光奏鸣曲》、《C小调第5交响曲》……”的音频数据，或在交互界面上显示《月光奏鸣曲》、《C小调第5交响曲》……文本的界面响应数据，输入特征向量为哼唱的《欢乐颂》部分片段转化的曲谱数据，或为弹奏的《欢乐颂》部分片段，则输出特征向量为《欢乐颂》的曲谱数据，或《欢乐颂》的教学视频数据，输入特征向量为音符的划分的用户语音文本，输出特征向量为音符划分的具体乐理知识的界面响应数据。系统设置多种数据采集输入方式，便于用户根据实际需求，达到最佳的操作体验。
进一步地，所述智能钢琴学习与创作方法，还包括步骤S7、通过语音采集单元输入文本请求数据或交互界面输入检索请求数据，选择创作钢琴曲目或者其他钢琴曲目，基于钢琴弹奏指引数据产生的琴键彩色灯光效果跟弹学习，在每一轮弹奏学习过程中，实时采集实时用户弹奏行为数据，将钢琴弹奏指引数据与实时用户弹奏行为数据进行比对，对用户跟弹状况进行分析讲解，如给出弹奏评分、指出跟弹过程中的指法问题、给出修正建议、正确指法的演示等，重新弹奏，直至演奏出满意的作品。该步骤将用户创作与用户自主学习结合，实现自主式、探索式学习。
该系统让零基础学生创作出一个完整曲目，通过标记询问，在创作的过程中直观展现相关的乐理知识，实现启发教学，激励教学的目的。让枯燥无味的钢琴教学变的有趣味性，激发学生的学习兴趣，自觉自主学习。
作为一种优选方式，步骤S3中所述输入特征向量与输出特征向量之间的相关关系基于神经网络模型由机器学习训练建立。具体建立方法包括以下步骤：
A1、通过对钢琴教育与创作大数据进行一定规则标准的数据清洗，滤除失效数据，配置生成规则化的特征集样本和标签集样本；
A2、人工标记构建特征集样本和标签集样本之间的对应关系，以特征集样本为输入特向，对其进行归一化和正则化处理，标签集样本最为输出特征向量，对其进行归一化和正则话处理，并结合损失函数，构建神经网络模型，再经过测试、验证，最终生成多模态语义理解单元预测模型。
Claims (14)
1.一种钢琴学习与创作系统，其特征在于，包括智能机器人引擎，智能钢琴知识库，用户数据采集处理模块和演奏处理展示模块，用户数据采集处理模块，采集并处理得到创作曲谱数据，智能机器人引擎与用户数据采集处理模块和智能钢琴知识库连接，将接收的曲谱数据作为输入特征向量，输入到多模态语义理解单元预测模块，并根据需要输出关联音视频片段、关联曲谱编码、关联语义话术文本和界面响应数据中的一种或多种构成的输出特征向量，所述演奏处理展示模块根据需要将输出特征向量处理成对应的格式并展示给用户。
2.根据权利要求1所述的钢琴学习与创作系统，其特征在于，用户数据采集处理模块包括数据采集模块和数据预处理模块，数据采集模块包括琴键踏板状态监测单元、音频采集单元和交互界面，所述琴键踏板状态监测单元，采集琴键与踏板的离合状态信号与定位信息，获取由琴键或踏板的状态与其对应的定位信息构成的用户弹奏行为数据，所述音频采集单元，采集用户的连续哼唱语音，提取声音响度和声音音调两个维度的信号序列，构成用户语音哼唱数据，交互界面，采集用户在交互界面输入的用户意向指令；所述数据预处理模块包括音符解析与映射单元、语音曲谱单元、曲谱推荐单元、谱曲创作单元，输入操作处理单元，音符解析与映射单元与琴键踏板状态监测单元连接，用于将用户弹奏行为数据处理转换为对应的钢琴曲谱编码，语音曲谱单元与音频采集单元连接，提取用户语音哼唱数据中的声音响度和音调两个维度的序列，运算生成对应的钢琴曲谱编码，曲谱推荐单元，与音符解析与映射单元、语音曲谱单元和智能钢琴知识库连接，以一定的匹配度，基于风格、弹奏序列、音符间相对关系等特征，在智能钢琴知识库中筛选出与获取的钢琴曲谱编码近似的曲谱或曲谱片段，作为推荐曲谱编码，输入操作处理单元与交互界面连接，用于将用户在交互界面的输入处理、转换为对应的曲谱调整请求数据，谱曲创作单元，与曲谱推荐单元和输入操作处理单元连接，将输入操作处理单元输入的曲谱调整请求数据和曲谱推荐单元输入的推荐曲谱编码作为曲谱输入特征向量输入到曲谱创作模型中，并将满足用户需求的创作曲谱数据作为曲谱输出特征向量输出。
3.根据权利要求2所述的钢琴学习与创作系统，其特征在于，所述数据采集模块还包括视频采集单元，对应地所述数据预处理模块包括人脸情绪特征单元，所述视频采集单元，采集环境视频信号并转化为特定编码视频数字信号，人脸情绪特征单元，与视频采集单元连接，用于将视频数字信息进行处理，获取人脸表情特征数据。所述数据预处理模块还包括语音识别单元，语音识别单元，与音频采集单元连接，用于将用户语音询问数据转化为文本请求数据，输入操作处理单元还能够将对应的用户意向指令转换为检索请求数据。
4.根据权利要求3所述的钢琴学习与创作系统，其特征在于，所述演奏处理展示模块包括数据后处理模块和数据演奏展示模块，所述数据后处理单元包括约束调整单元、钢琴弹奏指引解析单元、语音合成单元单元和输入操作解析单元，所述约束调整单元通过特定约束规则对关联曲谱编码，关联语义话术文本，关联音频片段进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容，所述关联曲谱编码经约束优化调整，产生对应的钢琴弹奏指引数据，所述关联语义话术文本经约束优化调整，产生连贯自然的语义话术文本，关联音视频片段经约束优化调整为对应的音频数据和视频数据，所述钢琴弹奏指引解析单元与约束调整单元连接，用于将钢琴弹奏指引数据转换为对应琴键和踏板的LED控制指令，所述语音合成单元，与约束调整单元连接，用于将连贯自然的语义话术文本转换为对应的音频文件，输出操作解析单元用于将界面响应数据处理、解析、转换为交互界面能够显示的数据格式，输入操作处理单元与输出操作解析单元构成用户操作处理与解析单元。
5.根据权利要求4所述的钢琴学习与创作系统，其特征在于，数据演奏展示模块包括琴键彩色灯光展示单元，音频播放单元，视频演示单元和交互界面，所述视频演示单元，配合音频播放单元进行媒体展示，接收约束调整后的视频数据，所述音频播放单元，播放音频数据，所述琴键彩色灯光展示单元，LED控制模块接收钢琴弹奏指引数据将其转换为LED控制逻辑指令，控制LED灯呈现不同色彩显示于特定按键，指引用户弹奏的同时形成彩色琴键灯光效果，形成用户视觉维度上的直观感受，从视觉效果建立对音乐的间接感受与关联，所述交互界面用于输出结果解析转换处理的界面响应数据。
6.根据权利要求5所述的钢琴学习与创作系统，其特征在于，智能机器人引擎还包括学习评估模块，学习评估模块分别与琴键踏板状态监测单元和钢琴弹奏指引解析单元连接，通过语音采集单元输入文本请求数据或交互界面输入检索请求数据，选择想要学习的钢琴曲目，基于钢琴弹奏指引解析单元产生的琴键彩色灯光效果跟弹学习，在每一轮弹奏学习过程中，通过琴键踏板状态监测单元实时采集实时用户弹奏行为数据，将钢琴弹奏指引数据与实时用户弹奏行为数据进行比对，得到弹奏评估结果，弹奏结果通过演奏处理展示模块输出。
7.根据权利要求6所述的钢琴学习与创作系统，其特征在于，智能钢琴学习与创作系统，还包括云端分享模块，云端分享模块，分别与智能机器人引擎和智能钢琴知识库连接，用于将创造的满意作品在云端分享，分享的作品经过处理，作为智能机器人引擎的输入数据，存储在智能钢琴知识库中。
8.根据权利要求7所述的钢琴学习与创作系统，其特征在于，所述数据预处理模块还包括人脸特征识别单元和用户管理单元，人脸特征识别单元与视频采集单元连接，基于获取的用户面部图像，提取用户人脸特征数据，并将其输送到用户管理单元，用户管理单元与人脸特征识别单元连接，用于注册、登陆，分析获取人脸特征数据，并将人脸特征数据与用户ID码对应，将其作为用户登录的凭证。
9.一种智能钢琴学习与创作方法，其特征在于，具体包括以下步骤：
S1、用户登录。
S2、对钢琴用户进行监测，将采集数据处理形成输入特征向量，所述输入特征向量包括创作曲谱数据；
所述步骤S2中创作曲谱数据的获取方法具体为：
S201、通过在琴键和踏板上设置按压模块和定位模块，采集相应的参数，进而获取用户弹奏行为数据，处理形成对应的钢琴曲谱编码；
S202、通过阵列式麦克风采集用户的连续哼唱语音，提取声音响度和声音音调两个维度的信号序列，构成用户语音哼唱数据，处理形成对应的钢琴曲谱编码；
S203、基于风格、弹奏序列、音符件相对关系等特征，在智能钢琴知识库中筛选出与获取的钢琴曲谱编码达到设定匹配度的曲谱或曲谱片段，作为推荐曲谱编码；
S204、通过智能终端中的交互界面输入，获取曲谱调整请求数据，如，在应用程序交互界面中输入对曲谱调整的要求；
S205、将推荐曲谱编码和曲谱调整请求数据输入到曲谱创作模型中，并将满足用户需求的创作曲谱数据；
S3、将输入特征向量输入到多模态语义理解单元预测模块，输出关联音视频片段、关联曲谱编码、关联回复文本和界面响应数据中的一种或多种构成的输出特征向量；
S4、演奏处理展示模块根据需要将输出特征向量处理成对应的格式并展示给用户；
S5、用户根据展示情况决定是否继续对创作的钢琴曲谱进行修改，如需要修改，将需要修改的创作曲谱数据作为推荐曲谱编码返回步骤S205，结合新输入的曲谱调整请求数据对创作曲谱编码的修改，直至用户满意，自定义存储为创作钢琴曲目。
10.根据权利要求9所述的智能钢琴学习与创作方法，其特征在于，步骤S4对关联音视频片段的处理方式为：
S4101、通过特定约束规则对关联音视频数据进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容，关联音视频片段经约束优化调整分解为音频数据和视频数据；
S4102、采用扬声器播放音频文件；
S4103、采用视频播放器播放视频文件；
步骤S4中对关联曲谱编码的处理方式为：
S4201、通过特定约束规则对关联曲谱编码进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容，具体地，所述关联曲谱编码经约束优化调整，产生钢琴弹奏指引数据；
S4202、将钢琴弹奏指引数据转换为LED控制逻辑指令；
S4203、LED灯控制器根据LED控制逻辑指令控制在对应琴键和踏板上LED灯的开启、关闭以及开启的时长；
步骤S4对关联语义话术文本的处理方式为：
S4301、通过特定约束规则对关联语义话术文本进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容，具体地，所述语义话术文本经约束优化调整，产生连贯自然的语义话术文本；
S4302、将语义话术文本转换为对应的音频数据；
S4303、采用扬声器播放音频文件；
步骤S4对界面响应数据的处理方式为：
S4401、将界面响应数据解析、处理、转换为交互界面能够输出的格式；
S4402、采用智能终端的应用程序将界面响应数据解析，由交互界面反馈给用户。
11.根据权利要求10所述的智能钢琴学习与创作方法，其特征在于，所述智能钢琴学习与创作方法，还包括步骤S6、将满意的创作钢琴曲谱上传到智能钢琴知识库进行分享。
12.根据权利要求11所述的智能钢琴学习与创作方法，其特征在于，所述输入特征向量还包括人脸表情数据，通过摄像头采集用户的面部视频数据，分析面部图像获取人脸表情数据，将其作为一个输入特征向量输入到多模态语义理解单元预测系统中，便于输出与用户情绪状态相关的输出特征向量。
13.根据权利要求12所述的智能钢琴学习与创作方法，其特征在于，所述输入特征向量还包括文本请求数据和检索请求数据，通过阵列式麦克风采集模块采集用户的语音输入，获取用户语音询问数据，然后将用户语音询问数据转换为对应的文本请求数据，通过阵列式麦克风采集模块采集用户的询问式的语音输入，获取检索请求数据,文本请求数据和检索请求数据输入到多模态语义理解单元预测模型中，多模态语义理解单元预测模型结合智能钢琴知识库得到最佳输出特征向量，该输出特征向量包括关联音频、关联视频、关联曲谱编码、关联语义话术文本和界面响应数据中的一种或多种。
14.根据权利要求13所述的智能钢琴学习与创作方法，其特征在于，所述智能钢琴学习与创作方法，还包括步骤S7、通过语音采集单元输入文本请求数据或交互界面输入检索请求数据，选择创作钢琴曲目或者其他钢琴曲目，基于钢琴弹奏指引数据产生的琴键彩色灯光效果跟弹学习，在每一轮弹奏学习过程中，实时采集实时用户弹奏行为数据，将钢琴弹奏指引数据与实时用户弹奏行为数据进行比对，对用户跟弹状况进行分析讲解。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011039093 | 2020-09-28 | ||
| CN2020110390930 | 2020-09-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112465679A true CN112465679A (zh) | 2021-03-09 |
| CN112465679B CN112465679B (zh) | 2023-10-31 |
Family
ID=74801734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011429702.3A Active CN112465679B (zh) | 2020-09-28 | 2020-12-09 | 一种钢琴学习与创作系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465679B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002183189A (ja) * | 2000-12-19 | 2002-06-28 | Daiichikosho Co Ltd | 音声入力された旋律に基づいて楽曲を検索するクライアントサーバーシステムおよびクライアントコンピュータ |
| KR20030045996A (ko) * | 2001-12-03 | 2003-06-12 | (주)피아노홈 | 디지털 피아노를 이용한 음악 교육 방법 |
| US20080190272A1 (en) * | 2007-02-14 | 2008-08-14 | Museami, Inc. | Music-Based Search Engine |
| KR20090000103A (ko) * | 2007-01-02 | 2009-01-07 | 김부전 | 애니메이션을 이용한 피아노 교습과 음파장을 이용한 평가시스템 |
| CN101657817A (zh) * | 2007-02-14 | 2010-02-24 | 缪斯亚米有限公司 | 基于音乐的搜索引擎 |
| KR20100100319A (ko) * | 2009-03-06 | 2010-09-15 | 세종대학교산학협력단 | 사용자 창조형 음악 콘텐츠 제작을 위한 악보 생성 장치 및그 방법 |
| US20100305732A1 (en) * | 2009-06-01 | 2010-12-02 | Music Mastermind, LLC | System and Method for Assisting a User to Create Musical Compositions |
| CN102053998A (zh) * | 2009-11-04 | 2011-05-11 | 周明全 | 一种利用声音方式检索歌曲的方法及系统装置 |
| CN109885661A (zh) * | 2019-02-27 | 2019-06-14 | 上海优谦智能科技有限公司 | 教育场景下的问答系统 |
| CN110889787A (zh) * | 2019-10-28 | 2020-03-17 | 戴黛琳 | 一种音乐教学辅助系统 |
| CN110991800A (zh) * | 2019-10-31 | 2020-04-10 | 安徽踏极智能科技有限公司 | 一种钢琴教学质量评测系统 |
-
2020
- 2020-12-09 CN CN202011429702.3A patent/CN112465679B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002183189A (ja) * | 2000-12-19 | 2002-06-28 | Daiichikosho Co Ltd | 音声入力された旋律に基づいて楽曲を検索するクライアントサーバーシステムおよびクライアントコンピュータ |
| KR20030045996A (ko) * | 2001-12-03 | 2003-06-12 | (주)피아노홈 | 디지털 피아노를 이용한 음악 교육 방법 |
| KR20090000103A (ko) * | 2007-01-02 | 2009-01-07 | 김부전 | 애니메이션을 이용한 피아노 교습과 음파장을 이용한 평가시스템 |
| US20080190272A1 (en) * | 2007-02-14 | 2008-08-14 | Museami, Inc. | Music-Based Search Engine |
| CN101657817A (zh) * | 2007-02-14 | 2010-02-24 | 缪斯亚米有限公司 | 基于音乐的搜索引擎 |
| KR20100100319A (ko) * | 2009-03-06 | 2010-09-15 | 세종대학교산학협력단 | 사용자 창조형 음악 콘텐츠 제작을 위한 악보 생성 장치 및그 방법 |
| US20100305732A1 (en) * | 2009-06-01 | 2010-12-02 | Music Mastermind, LLC | System and Method for Assisting a User to Create Musical Compositions |
| CN102053998A (zh) * | 2009-11-04 | 2011-05-11 | 周明全 | 一种利用声音方式检索歌曲的方法及系统装置 |
| CN109885661A (zh) * | 2019-02-27 | 2019-06-14 | 上海优谦智能科技有限公司 | 教育场景下的问答系统 |
| CN110889787A (zh) * | 2019-10-28 | 2020-03-17 | 戴黛琳 | 一种音乐教学辅助系统 |
| CN110991800A (zh) * | 2019-10-31 | 2020-04-10 | 安徽踏极智能科技有限公司 | 一种钢琴教学质量评测系统 |
Non-Patent Citations (1)
| Title |
|---|
| SHUO, CHEN等: "The construction of internet plus piano intelligent network teaching system model", 《JOURNAL OF INTELLIGENT & FUZZY SYSTEMS》, vol. 37, no. 5, pages 5819 - 5827 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112465679B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107992195A (zh) | 一种教学内容的处理方法、装置、服务器及存储介质 | |
| WO2007043679A1 (ja) | 情報処理装置およびプログラム | |
| CN110517689A (zh) | 一种语音数据处理方法、装置及存储介质 | |
| CN102867526A (zh) | 用于分布式音频文件编辑的门户网站 | |
| CN101657817A (zh) | 基于音乐的搜索引擎 | |
| CN101409070A (zh) | 基于运动图像解析的音乐重构方法 | |
| CN112164379A (zh) | 音频文件生成方法、装置、设备及计算机可读存储介质 | |
| CN111711834A (zh) | 录播互动课的生成方法、装置、存储介质以及终端 | |
| WO2007069512A1 (ja) | 情報処理装置及びプログラム | |
| KR20200058191A (ko) | 학습자 수준별 일대일 온라인 악기 교습 시스템 및 방법 | |
| Delgado et al. | A state of the art on computational music performance | |
| CN116092472A (zh) | 一种语音合成方法和合成系统 | |
| Yuan | Application and study of musical artificial intelligence in music education field | |
| US11587561B2 (en) | Communication system and method of extracting emotion data during translations | |
| CN117252259A (zh) | 基于深度学习的自然语言理解方法及ai助教系统 | |
| KR20150102817A (ko) | 교육용 컨텐츠맵 생성방법 및 장치 | |
| Solstad | Strategies in jazz guitar improvisation | |
| CN112465679B (zh) | 一种钢琴学习与创作系统及方法 | |
| CN116129868A (zh) | 一种结构化画本的生成方法和生成系统 | |
| Lian | An artificial intelligence-based classifier for musical emotion expression in media education | |
| Bagga et al. | InstruMentor: An interactive robot for musical instrument tutoring | |
| JP2004266551A (ja) | ストリームデータ生成装置、ストリームデータ生成システム、ストリームデータ生成方法及びプログラム | |
| Jiang | Using pitch feature matching to design a music tutoring system based on deep learning | |
| Zhang | Analysis on the fusion of intelligent digital technology and media art | |
| CN117560340B (zh) | 基于模拟角色的信息交互方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |