CN106373440A - 基于ar 增强现实和即时交流的小提琴辅助学习体验系统 - Google Patents
基于ar 增强现实和即时交流的小提琴辅助学习体验系统 Download PDFInfo
- Publication number
- CN106373440A CN106373440A CN201610985918.5A CN201610985918A CN106373440A CN 106373440 A CN106373440 A CN 106373440A CN 201610985918 A CN201610985918 A CN 201610985918A CN 106373440 A CN106373440 A CN 106373440A
- Authority
- CN
- China
- Prior art keywords
- violin
- unit
- current
- augmented reality
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/001—Boards or like means for providing an indication of chords
- G09B15/002—Electrically operated systems
- G09B15/003—Electrically operated systems with indication of the keys or strings to be played on instruments
Abstract
本发明公开了一种基于AR增强现实和即时交流的小提琴辅助学习体验系统，包括：图像采集单元，实时采集当前使用者握持小提琴指板的视频图像，视频图像还包含持琴手手指指甲；图像分析单元，分析当前的小提琴的图像，识别当前小提琴的轮廓和指板区域，识别定位小提琴的四根琴弦；存储单元，该单元存储乐谱，以及音节和音符对应的按压动作手指和琴弓运行的虚拟动画元素；以及操作单元、处理单元和显示单元；处理单元根据所述的当前小提琴的轮廓和指板区域，定位后的小提琴的四根琴弦，在所述的显示单元上显示，并设定所述的动画元素显示区域；处理单元调取存储单元中的对应的乐谱和对应的按压动作和琴弓运行的虚拟动画元素，在所述的动画元素显示区域中显示。
Description
技术领域
本发明涉及一种驾驶辅助系统，尤其涉及一种能够基于驾驶细节采集和AR增强现实的驾驶辅助系统。
背景技术
一直以来，都需要大量的重复性练习，才能够掌握小提琴这一演奏难度非常大的乐器。而在学习过程中，需要音乐老师实时辅导监督学生的练习，同时，需要学生从基础技法开始不间断的大量重复训练，直至形成肌肉记忆，才算真正习得小提琴演奏技法，整个学习过程异常漫长而枯燥，需要极大的毅力和习惯才能完成。这种高门槛，将许多音乐、尤其是小提琴爱好者望而却步，极大的阻碍了小提琴的普及，影响了全面音乐素养的普及。
AR增强显示技术，能够在人眼的正常视野范围内，通过互联网技术，获得周边目标的信息，并将周边的目标的信息在显示在特定的显示界面上，增加特定范围内的人群交互。结合大数据分析、计算机人工智能算法等技术，可以在显示界面上显示特定的内容，极大的拓展了人类的视野。
由于小提琴等乐器的演奏都具有相对固定的方法，主要是运弓方法和持琴手指按压琴弦两部分动作，而且尽管不同的演奏者手型和运弓方式都有一定区别，但是总体上都需要完成核心的手指按压和琴弦运行动作，这就带来了动作标准化的可能性，如果利用AR增强显示技术，给出乐谱对应的提示，将有望摆脱传统的演奏学习过程，降低小提琴演奏的门槛。
发明内容
本发明针对以上问题的提出，而研制的一种基于AR增强现实和即时交流的小提琴辅助学习体验系统，包括：
图像采集单元，实时采集当前使用者握持小提琴指板的视频图像，视频图像还包含持琴手手指指甲；
图像分析单元，分析当前的小提琴的图像，识别当前小提琴的轮廓和指板区域，识别定位小提琴的四根琴弦；
存储单元，该单元存储乐谱，以及音节和音符对应的按压动作手指和琴弓运行的虚拟动画元素；以及操作单元、处理单元和显示单元；
使用时，使用者通过操作单元控制系统启动，选择当前演奏曲目；处理单元根据所述的当前小提琴的轮廓和指板区域，定位后的小提琴的四根琴弦，在所述的显示单元上显示，并设定所述的动画元素显示区域；处理单元调取存储单元中的对应的乐谱和对应的按压动作和琴弓运行的虚拟动画元素，在所述的动画元素显示区域中显示；
使用者根据所述的虚拟动画元素引导，完成当前乐曲的演奏，即学习体验过程。
演奏过程中，所述的处理单元通过声音采集单元获取演奏曲目的音频，分析得到音频曲线，与存储单元中存储的音频曲线比对，给出当前使用者演奏水准的评分。
还包括通信单元，将演奏者、演奏曲目和评分信息传输至远程服务器，由远程服务器形成演奏排行榜，向系统内用户公开；同时，将演奏者的地理位置信息传输至所述的远程服务器。
作为优选的实施方式，所述的图像采集单元、图像分析单元、操作单元和处理单元以及显示单元集成在智能终端或智能头盔/眼镜上。
作为优选的实施方式，使用过程中，所述的处理单元通过图像采集单元收集到的图像，追踪当前使用者的运弓轨迹和指甲的位置，尤其是按下琴弦的指甲的位置，与所述的存储单元中存储的虚拟动画元素进行比较；
当判定使用者的运弓轨迹和指甲位置与虚拟动画元素在阈值范围内接近时，判定当前使用者完成当前音符或音节的正确演奏，并给出提示。
作为优选的实施方式，所述的琴弦和琴弓表面设有轴线延伸的等间距标志。
作为优选的实施方式，使用者持琴手手指指甲分别设有相互区分的区别标识。
更进一步的，所述的区别标识集成在一辅助手套上；
所述的手套指尖位置设有电刺激贴片；当所述的处理单元根据当前音符给出手指的对应的虚拟动画元素时，控制对应手指的电刺激贴片通电。
作为优选的实施方式，小提琴紧弦板上方设有固定智能终端的夹具。
还具有即时通信单元，允许系统内用户向所述排行榜上的用户发送沟通请求，完成包括语音通话和文字交流的即时通信。
通过采用上述技术方案，本发明提出的基于AR增强现实和即时交流的小提琴辅助学习体验系统，利用现有的硬件设备，比如智能终端(手机)或者AR眼镜等设备，基于成熟的识别算法和定位显示技术，实现了对小提琴使用者的虚拟辅助，极大的降低了小提琴演奏的门槛，技术成熟可靠，十分适于大范围的推广和使用。
附图说明
为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的系统模块图
具体实施方式
为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1所示：一种基于AR增强现实和即时交流的小提琴辅助学习体验系统，主要包括图像采集单元，在使用过程中，该单元实时采集当前使用者握持小提琴指板的视频图像，同时为了后续的视频识别，所述的视频图像还包含持琴手手指指甲。
图像分析单元，分析当前的小提琴的图像，识别当前小提琴的轮廓和指板区域，识别定位小提琴的四根琴弦，即划分特定的图像区域，作为后续的算法依据。在后续的运行过程中，图像分析单元始终工作追踪所述的琴弦、轮廓和指板区域。
存储单元，该单元存储乐谱，以及印谱中最小演奏单位音节和音符对应的按压动作手指的位置和琴弓运行的虚拟动画元素，比如当一个演奏单元音列需要按下一弦，同时琴弓需要在一弦上运行全弓时，虚拟动画显示表示食指的动画元素，比如带有数字(比如为食指设定标号1)或区别于其它手指的图形，向下运动的动画元素，同时在设定的一弦时的运弓角度区域显示琴弓图形和带有特定角度的运行方向的动画。同时，也可以给出相应的文字提示或者语音提示等信息。
在使用过程中，使用者通过操作单元控制系统启动，选择当前演奏曲目；处理单元根据所述的当前小提琴的轮廓和指板区域，定位后的小提琴的四根琴弦，在所述的显示单元上显示。
在显示区域上划定所述的动画元素显示区域。同时，处理单元调取存储单元中的对应的乐谱和对应的按压动作和琴弓运行的虚拟动画元素，在所述的动画元素显示区域中显示；使用者根据所述的虚拟动画元素引导，完成当前乐曲的演奏，即学习体验过程。
为了扩展相应的功能，在演奏过程中，所述的处理单元通过声音采集单元获取演奏曲目的音频，分析得到音频曲线，与存储单元中存储的音频曲线比对，给出当前使用者演奏水准的评分。
为了方便系统的用户相互交流，还包括通信单元，将演奏者、演奏曲目和评分信息传输至远程服务器，由远程服务器形成演奏排行榜，向系统内用户公开；同时，将演奏者的地理位置信息传输至所述的远程服务器。
同时，还具有即时通信单元，允许系统内用户向所述排行榜上的用户发送沟通请求，完成包括语音通话和文字交流的即时通信。
作为可选的实施方式，声音采集单元可采用智能手机的听筒，或者使用集成有声音采集设备的AR眼镜或者采用无线/有线声音采集设备接入现有设备。评分算法，可以利用现有的类似KTV中的演唱评分算法等类似算法即可实现，处于鼓励的目的，采集关键音即可。
相应的，也可设置不同难度的评价标准，针对不同层次的使用者，设定不同级别的算法，增加系统的可持续性操作。
为了能够尽可能的利用现有成熟的技术设备，增加设备集成度，减少使用者佩戴物品数量，作为优选的实施方式，所述的图像采集单元、图像分析单元、操作单元和处理单元以及显示单元集成在智能终端或智能头盔/眼镜上。作为系统的核心，替换运算核心和相应的算法即可实现本专利提出的方案。
为了能够识别当前使用者的操作是否正确，作为优选的实施方式，所述的处理单元通过图像采集单元收集到的图像，追踪当前使用者的运弓轨迹和指甲的位置，尤其是按下琴弦的指甲的位置，与所述的存储单元中存储的虚拟动画元素进行比较。
较为可行的实施方式，当判定使用者的运弓轨迹和指甲位置与虚拟动画元素在阈值范围内接近时，在显示界面，可以理解为虚拟动画元素和手指甲基本出现在相似的区域，能够大幅度的重合，即可判定当前使用者根据系统提示，完成了当前音符或音节的正确演奏，并给出正确演奏的提示。
此处，可以借鉴其它游戏中的连击提示机制，当正确完成一个音符的演奏时，即可给出+1的提示，当连续的正确完成演奏时，即给出+N的提示，并给出相应的鼓励词语或者类似提示。
更进一步的，考虑到琴弓的色彩与小提琴琴身色彩较为接近，导致识别算法过于复杂，作为优选的实施方式，所述的琴弦和琴弓表面设有轴线延伸的等间距标志。可选间隔设置的黑白色块，便于算法识别，减少算法的识别运行时间。
同样的，使用者持琴手手指指甲分别设有相互区分的区别标识。比如为分别对应1/2/3/4琴弦的食指、中指、无名指和小指分别设置1/2/3/4的编号，便于计算机识别。
作为优选的实施方式，所述的区别标识集成在一辅助手套上与指甲对应的位置。
为了能够对使用者多方面的刺激和引导，作为优选的实施方式，所述的处理单元根据当前音符给出手指的对应的虚拟动画元素时，控制对应手指的电刺激贴片通电。
小提琴紧弦板上方，靠近微调器的位置设有固定智能终端的夹具，方便固定手机等设备。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于AR增强现实和即时交流的小提琴辅助学习体验系统，其特征在于包括：
图像采集单元，实时采集当前使用者握持小提琴指板的视频图像，视频图像还包含持琴手手指指甲；
图像分析单元，分析当前的小提琴的图像，识别当前小提琴的轮廓和指板区域，识别定位小提琴的四根琴弦；
存储单元，该单元存储乐谱，以及音节和音符对应的按压动作手指和琴弓运行的虚拟动画元素；以及操作单元、处理单元和显示单元；
使用时，使用者通过操作单元控制系统启动，选择当前演奏曲目；处理单元根据所述的当前小提琴的轮廓和指板区域，定位后的小提琴的四根琴弦，在所述的显示单元上显示，并设定所述的动画元素显示区域；处理单元调取存储单元中的对应的乐谱和对应的按压动作和琴弓运行的虚拟动画元素，在所述的动画元素显示区域中显示；
使用者根据所述的虚拟动画元素引导，完成当前乐曲的演奏；
演奏过程中，所述的处理单元通过声音采集单元获取演奏曲目的音频，分析得到音频曲线，与存储单元中存储的音频曲线比对，给出当前使用者演奏水准的评分；
还包括通信单元，将演奏者、演奏曲目和评分信息传输至远程服务器，由远程服务器形成演奏排行榜，向系统内用户公开；同时，将演奏者的地理位置信息传输至所述的远程服务器。
2.根据权利要求1所述的基于AR增强现实和即时交流的小提琴辅助学习体验系统，其特征还在于所述的图像采集单元、图像分析单元、操作单元和处理单元以及显示单元集成在智能终端或智能头盔/眼镜上。
3.根据权利要求1所述的基于AR增强现实和即时交流的小提琴辅助学习体验系统，其特征还在于使用过程中，所述的处理单元通过图像采集单元收集到的图像，追踪当前使用者的运弓轨迹和指甲的位置，尤其是按下琴弦的指甲的位置，与所述的存储单元中存储的虚拟动画元素进行比较；
当判定使用者的运弓轨迹和指甲位置与虚拟动画元素在阈值范围内接近时，判定当前使用者完成当前音符或音节的正确演奏，并给出提示。
4.根据权利要求1所述的基于AR增强现实和即时交流的小提琴辅助学习体验系统，其特征还在于所述的琴弦和琴弓表面设有轴线延伸的等间距标志。
5.根据权利要求1所述的基于AR增强现实和即时交流的小提琴辅助学习体验系统，其特征还在于使用者持琴手手指指甲分别设有相互区分的区别标识。
6.根据权利要求2所述的基于AR增强现实和即时交流的小提琴辅助学习体验系统，其特征还在于所述的区别标识集成在一辅助手套上；
所述的手套指尖位置设有电刺激贴片；当所述的处理单元根据当前音符给出手指的对应的虚拟动画元素时，控制对应手指的电刺激贴片通电。
7.根据权利要求1所述的基于AR增强现实和即时交流的小提琴辅助学习体验系统，其特征还在于小提琴紧弦板上方，靠近微调器的位置设有固定智能终端的夹具。
8.根据权利要求1所述的基于AR增强现实和即时交流的小提琴辅助学习体验系统，其特征还在于具有即时通信单元，允许系统内用户向所述排行榜上的用户发送沟通请求，完成包括语音通话和文字交流的即时通信。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610985918.5A CN106373440B (zh) | 2016-11-09 | 2016-11-09 | 基于ar增强现实和即时交流的小提琴辅助学习体验系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610985918.5A CN106373440B (zh) | 2016-11-09 | 2016-11-09 | 基于ar增强现实和即时交流的小提琴辅助学习体验系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106373440A true CN106373440A (zh) | 2017-02-01 |
| CN106373440B CN106373440B (zh) | 2019-03-26 |
Family
ID=57894153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610985918.5A Active CN106373440B (zh) | 2016-11-09 | 2016-11-09 | 基于ar增强现实和即时交流的小提琴辅助学习体验系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106373440B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045812A (zh) * | 2017-06-08 | 2017-08-15 | 武汉览山科技有限公司 | 一种基于vr技术的实训教学系统 |
| CN109697918A (zh) * | 2018-12-29 | 2019-04-30 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的打击乐器体验系统 |
| CN110689866A (zh) * | 2019-09-18 | 2020-01-14 | 江西昕光年智能科技有限公司 | 基于增强现实的小提琴辅助教学方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101504832A (zh) * | 2009-03-24 | 2009-08-12 | 北京理工大学 | 基于手部动作感应的虚拟演奏系统 |
| CN102737534A (zh) * | 2011-04-13 | 2012-10-17 | 南京大学 | 一种实现无标记增强现实钢琴教学系统的方法 |
| CN103794106A (zh) * | 2014-03-11 | 2014-05-14 | 哈尔滨工业大学 | 乐器演奏辅助教学系统 |
| CN104217625A (zh) * | 2014-07-31 | 2014-12-17 | 合肥工业大学 | 一种基于增强现实技术的钢琴辅助学习系统 |
| CN105632263A (zh) * | 2016-03-29 | 2016-06-01 | 罗昆 | 一种基于增强现实的音乐启蒙学习装置及方法 |
-
2016
- 2016-11-09 CN CN201610985918.5A patent/CN106373440B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101504832A (zh) * | 2009-03-24 | 2009-08-12 | 北京理工大学 | 基于手部动作感应的虚拟演奏系统 |
| CN102737534A (zh) * | 2011-04-13 | 2012-10-17 | 南京大学 | 一种实现无标记增强现实钢琴教学系统的方法 |
| CN103794106A (zh) * | 2014-03-11 | 2014-05-14 | 哈尔滨工业大学 | 乐器演奏辅助教学系统 |
| CN104217625A (zh) * | 2014-07-31 | 2014-12-17 | 合肥工业大学 | 一种基于增强现实技术的钢琴辅助学习系统 |
| CN105632263A (zh) * | 2016-03-29 | 2016-06-01 | 罗昆 | 一种基于增强现实的音乐启蒙学习装置及方法 |
Non-Patent Citations (2)
| Title |
|---|
| JONATHAN CHOW等: "Music Education using Augmented Reality with a Head Mounted", 《PROCEEDINGS OF THE FOURTEENTH AUSTRALASIAN USER INTERFACE CONFERENCE (AUIC2013)》 * |
| 张映雪: "基于增强现实的交互式古琴学习辅助系统", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045812A (zh) * | 2017-06-08 | 2017-08-15 | 武汉览山科技有限公司 | 一种基于vr技术的实训教学系统 |
| CN109697918A (zh) * | 2018-12-29 | 2019-04-30 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的打击乐器体验系统 |
| CN110689866A (zh) * | 2019-09-18 | 2020-01-14 | 江西昕光年智能科技有限公司 | 基于增强现实的小提琴辅助教学方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106373440B (zh) | 2019-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106340215A (zh) | 基于ar增强现实和自适应识别的乐器辅助学习体验系统 | |
| CN106527718B (zh) | 基于ar增强现实的乐器辅助演奏和协奏体验系统 | |
| CN106355974B (zh) | 基于ar增强现实的小提琴辅助学习体验系统 | |
| CN106373456B (zh) | 基于ar增强现实和演奏评价的小提琴辅助学习体验系统 | |
| WO2017161612A1 (zh) | 一种交互式弦乐器教学系统 | |
| CN111028615B (zh) | 智能化乐器演奏教学方法、系统及存储介质 | |
| CN106485984A (zh) | 一种钢琴的智能教学方法和装置 | |
| CN107146497A (zh) | 一种钢琴考级评分系统 | |
| CN106373440A (zh) | 基于ar 增强现实和即时交流的小提琴辅助学习体验系统 | |
| US20150332601A1 (en) | Piano Learning System | |
| CN101604486A (zh) | 基于计算机语音识别技术的乐器弹奏跟练方法 | |
| CN110379253A (zh) | 小提琴综合辅助学习的方法、装置、软件与系统 | |
| CN110689866A (zh) | 基于增强现实的小提琴辅助教学方法及系统 | |
| US11580868B2 (en) | AR-based supplementary teaching system for guzheng and method thereof | |
| CN110379255A (zh) | 一种钢琴弹奏力度教学辅助装置 | |
| CN106356046A (zh) | 一种乐器演奏评价方法、装置及系统 | |
| US20230230493A1 (en) | Information Processing Method, Information Processing System, and Recording Medium | |
| CN110164241A (zh) | 一种吉他教学方法及系统 | |
| CN113158906B (zh) | 一种基于动作捕捉的古琴体验学习系统及实现方法 | |
| CN112802439B (zh) | 一种演奏数据识别方法、装置、设备及存储介质 | |
| CN107393506A (zh) | 自动纠错钢琴 | |
| CN108091207A (zh) | 一种盲人钢琴 | |
| CN207704840U (zh) | 自动纠错钢琴 | |
| CN109785710B (zh) | 一种钢琴练习辅助器 | |
| CN108922315A (zh) | 一种吉他辅助练习装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 116023 No. 11, B block, 32 Torch Road, Dalian high tech Industrial Park, Liaoning, China. Applicant after: Fast creation technology (Dalian) Co., Ltd. Address before: 116000 Pioneer Building B 1101, No. 32 Torch Road, Dalian High-tech Zone, Liaoning Province Applicant before: Dalian Wensente Software Technology Co., Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |