CN106355974A - 基于ar增强现实的小提琴辅助学习体验系统 - Google Patents

基于ar增强现实的小提琴辅助学习体验系统 Download PDF

Info

Publication number
CN106355974A
CN106355974A CN201610985241.5A CN201610985241A CN106355974A CN 106355974 A CN106355974 A CN 106355974A CN 201610985241 A CN201610985241 A CN 201610985241A CN 106355974 A CN106355974 A CN 106355974A
Authority
CN
China
Prior art keywords
violin
unit
current
image
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610985241.5A
Other languages
English (en)
Other versions
CN106355974B (zh
Inventor
童培诚
段会锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DALIAN WENSENTE SOFTWARE TECHNOLOGY Co Ltd
Original Assignee
DALIAN WENSENTE SOFTWARE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DALIAN WENSENTE SOFTWARE TECHNOLOGY Co Ltd filed Critical DALIAN WENSENTE SOFTWARE TECHNOLOGY Co Ltd
Priority to CN201610985241.5A priority Critical patent/CN106355974B/zh
Publication of CN106355974A publication Critical patent/CN106355974A/zh
Application granted granted Critical
Publication of CN106355974B publication Critical patent/CN106355974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Auxiliary Devices For Music (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于AR增强现实的小提琴辅助学习体验系统，包括：图像采集单元，实时采集当前使用者握持小提琴指板的视频图像，视频图像还包含持琴手手指指甲；图像分析单元，分析当前的小提琴的图像，识别当前小提琴的轮廓和指板区域，识别定位小提琴的四根琴弦；存储单元，该单元存储乐谱，以及音节和音符对应的按压动作手指和琴弓运行的虚拟动画元素；以及操作单元、处理单元和显示单元；处理单元根据所述的当前小提琴的轮廓和指板区域，定位后的小提琴的四根琴弦，在所述的显示单元上显示，并设定所述的动画元素显示区域；处理单元调取存储单元中的对应的乐谱和对应的按压动作和琴弓运行的虚拟动画元素，在所述的动画元素显示区域中显示。

Description

基于AR增强现实的小提琴辅助学习体验系统
技术领域
本发明涉及一种基于AR增强现实的小提琴辅助学习体验系统。
背景技术
一直以来，都需要大量的重复性练习，才能够掌握小提琴这一演奏难度非常大的乐器。而在学习过程中，需要音乐老师实时辅导监督学生的练习，同时，需要学生从基础技法开始不间断的大量重复训练，直至形成肌肉记忆，才算真正习得小提琴演奏技法，整个学习过程异常漫长而枯燥，需要极大的毅力和习惯才能完成。这种高门槛，将许多音乐、尤其是小提琴爱好者望而却步，极大的阻碍了小提琴的普及，影响了全面音乐素养的普及。
AR增强显示技术，能够在人眼的正常视野范围内，通过互联网技术，获得周边目标的信息，并将周边的目标的信息在显示在特定的显示界面上，增加特定范围内的人群交互。结合大数据分析、计算机人工智能算法等技术，可以在显示界面上显示特定的内容，极大的拓展了人类的视野。
由于小提琴等乐器的演奏都具有相对固定的方法，主要是运弓方法和持琴手指按压琴弦两部分动作，而且尽管不同的演奏者手型和运弓方式都有一定区别，但是总体上都需要完成核心的手指按压和琴弦运行动作，这就带来了动作标准化的可能性，如果利用AR增强显示技术，给出乐谱对应的提示，将有望摆脱传统的演奏学习过程，降低小提琴演奏的门槛。
发明内容
本发明针对以上问题的提出，而研制的一种基于AR增强现实的小提琴辅助学习体验系统，包括：
图像采集单元，实时采集当前使用者握持小提琴指板的视频图像，视频图像还包含持琴手手指指甲；
图像分析单元，分析当前的小提琴的图像，识别当前小提琴的轮廓和指板区域，识别定位小提琴的四根琴弦；
存储单元，该单元存储乐谱，以及音节和音符对应的按压动作手指和琴弓运行的虚拟动画元素；以及操作单元、处理单元和显示单元；
使用时，使用者通过操作单元控制系统启动，选择当前演奏曲目；处理单元根据所述的当前小提琴的轮廓和指板区域，定位后的小提琴的四根琴弦，在所述的显示单元上显示，并设定所述的动画元素显示区域；处理单元调取存储单元中的对应的乐谱和对应的按压动作和琴弓运行的虚拟动画元素，在所述的动画元素显示区域中显示；
使用者根据所述的虚拟动画元素引导，完成当前乐曲的演奏，即学习体验过程。
作为优选的实施方式，所述的图像采集单元、图像分析单元、操作单元和处理单元以及显示单元集成在智能终端或智能头盔/眼镜上。
作为优选的实施方式，使用过程中，所述的处理单元通过图像采集单元收集到的图像，追踪当前使用者的运弓轨迹和指甲的位置，尤其是按下琴弦的指甲的位置，与所述的存储单元中存储的虚拟动画元素进行比较；
当判定使用者的运弓轨迹和指甲位置与虚拟动画元素在阈值范围内接近时，判定当前使用者完成当前音符或音节的正确演奏，并给出提示。
作为优选的实施方式，所述的琴弦和琴弓表面设有轴线延伸的等间距标志。
作为优选的实施方式，使用者持琴手手指指甲分别设有相互区分的区别标识。
更进一步的，所述的区别标识集成在一辅助手套上；
所述的手套指尖位置设有电刺激贴片；当所述的处理单元根据当前音符给出手指的对应的虚拟动画元素时，控制对应手指的电刺激贴片通电。
作为优选的实施方式，小提琴紧弦板上方设有固定智能终端的夹具。
通过采用上述技术方案，本发明提出的基于AR增强现实的小提琴辅助学习体验系统，利用现有的硬件设备，比如智能终端(手机)或者AR眼镜等设备，基于成熟的识别算法和定位显示技术，实现了对小提琴使用者的虚拟辅助，极大的降低了小提琴演奏的门槛，技术成熟可靠，十分适于大范围的推广和使用。
附图说明
为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的系统模块图
具体实施方式
为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1所示：一种基于AR增强现实的小提琴辅助学习体验系统，主要包括图像采集单元，在使用过程中，该单元实时采集当前使用者握持小提琴指板的视频图像，同时为了后续的视频识别，所述的视频图像还包含持琴手手指指甲。
图像分析单元，分析当前的小提琴的图像，识别当前小提琴的轮廓和指板区域，识别定位小提琴的四根琴弦，即划分特定的图像区域，作为后续的算法依据。在后续的运行过程中，图像分析单元始终工作追踪所述的琴弦、轮廓和指板区域。
存储单元，该单元存储乐谱，以及印谱中最小演奏单位音节和音符对应的按压动作手指的位置和琴弓运行的虚拟动画元素，比如当一个演奏单元音列需要按下一弦，同时琴弓需要在一弦上运行全弓时，虚拟动画显示表示食指的动画元素，比如带有数字(比如为食指设定标号1)或区别于其它手指的图形，向下运动的动画元素，同时在设定的一弦时的运弓角度区域显示琴弓图形和带有特定角度的运行方向的动画。同时，也可以给出相应的文字提示或者语音提示等信息。
在使用过程中，使用者通过操作单元控制系统启动，选择当前演奏曲目；处理单元根据所述的当前小提琴的轮廓和指板区域，定位后的小提琴的四根琴弦，在所述的显示单元上显示。
在显示区域上划定所述的动画元素显示区域。同时，处理单元调取存储单元中的对应的乐谱和对应的按压动作和琴弓运行的虚拟动画元素，在所述的动画元素显示区域中显示；使用者根据所述的虚拟动画元素引导，完成当前乐曲的演奏，即学习体验过程。
为了能够尽可能的利用现有成熟的技术设备，增加设备集成度，减少使用者佩戴物品数量，作为优选的实施方式，所述的图像采集单元、图像分析单元、操作单元和处理单元以及显示单元集成在智能终端或智能头盔/眼镜上。作为系统的核心，替换运算核心和相应的算法即可实现本专利提出的方案。
为了能够识别当前使用者的操作是否正确，作为优选的实施方式，所述的处理单元通过图像采集单元收集到的图像，追踪当前使用者的运弓轨迹和指甲的位置，尤其是按下琴弦的指甲的位置，与所述的存储单元中存储的虚拟动画元素进行比较。
较为可行的实施方式，当判定使用者的运弓轨迹和指甲位置与虚拟动画元素在阈值范围内接近时，在显示界面，可以理解为虚拟动画元素和手指甲基本出现在相似的区域，能够大幅度的重合，即可判定当前使用者根据系统提示，完成了当前音符或音节的正确演奏，并给出正确演奏的提示。
此处，可以借鉴其它游戏中的连击提示机制，当正确完成一个音符的演奏时，即可给出+1的提示，当连续的正确完成演奏时，即给出+N的提示，并给出相应的鼓励词语或者类似提示。
更进一步的，考虑到琴弓的色彩与小提琴琴身色彩较为接近，导致识别算法过于复杂，作为优选的实施方式，所述的琴弦和琴弓表面设有轴线延伸的等间距标志。可选间隔设置的黑白色块，便于算法识别，减少算法的识别运行时间。
同样的，使用者持琴手手指指甲分别设有相互区分的区别标识。比如为分别对应1/2/3/4琴弦的食指、中指、无名指和小指分别设置1/2/3/4的编号，便于计算机识别。
作为优选的实施方式，所述的区别标识集成在一辅助手套上与指甲对应的位置。
为了能够对使用者多方面的刺激和引导，作为优选的实施方式，所述的处理单元根据当前音符给出手指的对应的虚拟动画元素时，控制对应手指的电刺激贴片通电。
小提琴紧弦板上方，靠近微调器的位置设有固定智能终端的夹具，方便固定手机等设备。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于AR增强现实的小提琴辅助学习体验系统，其特征在于包括：
图像采集单元，实时采集当前使用者握持小提琴指板的视频图像，视频图像还包含持琴手手指指甲；
图像分析单元，分析当前的小提琴的图像，识别当前小提琴的轮廓和指板区域，识别定位小提琴的四根琴弦；
存储单元，该单元存储乐谱，以及音节和音符对应的按压动作手指和琴弓运行的虚拟动画元素；以及操作单元、处理单元和显示单元；
使用时，使用者通过操作单元控制系统启动，选择当前演奏曲目；处理单元根据所述的当前小提琴的轮廓和指板区域，定位后的小提琴的四根琴弦，在所述的显示单元上显示，并设定所述的动画元素显示区域；处理单元调取存储单元中的对应的乐谱和对应的按压动作和琴弓运行的虚拟动画元素，在所述的动画元素显示区域中显示；
使用者根据所述的虚拟动画元素引导，完成当前乐曲的演奏，即学习体验过程。
2.根据权利要求1所述的基于AR增强现实的小提琴辅助学习体验系统，其特征还在于所述的图像采集单元、图像分析单元、操作单元和处理单元以及显示单元集成在智能终端或智能头盔/眼镜上。
3.根据权利要求1所述的基于AR增强现实的小提琴辅助学习体验系统，其特征还在于使用过程中，所述的处理单元通过图像采集单元收集到的图像，追踪当前使用者的运弓轨迹和指甲的位置，尤其是按下琴弦的指甲的位置，与所述的存储单元中存储的虚拟动画元素进行比较；
当判定使用者的运弓轨迹和指甲位置与虚拟动画元素在阈值范围内接近时，判定当前使用者完成当前音符或音节的正确演奏，并给出提示。
4.根据权利要求1所述的基于AR增强现实的小提琴辅助学习体验系统，其特征还在于所述的琴弦和琴弓表面设有轴线延伸的等间距标志。
5.根据权利要求1所述的基于AR增强现实的小提琴辅助学习体验系统，其特征还在于使用者持琴手手指指甲分别设有相互区分的区别标识。
6.根据权利要求2所述的基于AR增强现实的小提琴辅助学习体验系统，其特征还在于所述的区别标识集成在一辅助手套上；
所述的手套指尖位置设有电刺激贴片；当所述的处理单元根据当前音符给出手指的对应的虚拟动画元素时，控制对应手指的电刺激贴片通电。
7.根据权利要求1所述的基于AR增强现实的小提琴辅助学习体验系统，其特征还在于小提琴紧弦板上方，靠近微调器的位置设有固定智能终端的夹具。
CN201610985241.5A 2016-11-09 2016-11-09 基于ar增强现实的小提琴辅助学习体验系统 Active CN106355974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610985241.5A CN106355974B (zh) 2016-11-09 2016-11-09 基于ar增强现实的小提琴辅助学习体验系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610985241.5A CN106355974B (zh) 2016-11-09 2016-11-09 基于ar增强现实的小提琴辅助学习体验系统

Publications (2)

Publication Number Publication Date
CN106355974A true CN106355974A (zh) 2017-01-25
CN106355974B CN106355974B (zh) 2019-03-12

Family

ID=57862124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610985241.5A Active CN106355974B (zh) 2016-11-09 2016-11-09 基于ar增强现实的小提琴辅助学习体验系统

Country Status (1)

Country Link
CN (1) CN106355974B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102784A (zh) * 2018-06-14 2018-12-28 森兰信息科技（上海）有限公司 一种ar辅助乐器练习方法、系统以及一种智能设备
CN109410338A (zh) * 2017-08-15 2019-03-01 中兴通讯股份有限公司 增强现实图像的生成方法、装置、增强现实眼镜及终端
CN109697918A (zh) * 2018-12-29 2019-04-30 深圳市掌网科技股份有限公司 一种基于增强现实的打击乐器体验系统
CN110689866A (zh) * 2019-09-18 2020-01-14 江西昕光年智能科技有限公司 基于增强现实的小提琴辅助教学方法及系统
CN110706553A (zh) * 2019-11-13 2020-01-17 北京音悦荚科技有限责任公司 一种基于ar增强现实的乐器辅助学习系统及方法和装置
CN110945869A (zh) * 2017-04-19 2020-03-31 维多尼股份公司 利用运动捕捉的虚拟手的增强现实学习系统和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504832A (zh) * 2009-03-24 2009-08-12 北京理工大学 基于手部动作感应的虚拟演奏系统
CN102737534A (zh) * 2011-04-13 2012-10-17 南京大学 一种实现无标记增强现实钢琴教学系统的方法
CN103794106A (zh) * 2014-03-11 2014-05-14 哈尔滨工业大学 乐器演奏辅助教学系统
CN104217625A (zh) * 2014-07-31 2014-12-17 合肥工业大学 一种基于增强现实技术的钢琴辅助学习系统
US20150059556A1 (en) * 2013-09-05 2015-03-05 Keith Grafman System and method for learning to play a musical instrument
CN105632263A (zh) * 2016-03-29 2016-06-01 罗昆 一种基于增强现实的音乐启蒙学习装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504832A (zh) * 2009-03-24 2009-08-12 北京理工大学 基于手部动作感应的虚拟演奏系统
CN102737534A (zh) * 2011-04-13 2012-10-17 南京大学 一种实现无标记增强现实钢琴教学系统的方法
US20150059556A1 (en) * 2013-09-05 2015-03-05 Keith Grafman System and method for learning to play a musical instrument
CN103794106A (zh) * 2014-03-11 2014-05-14 哈尔滨工业大学 乐器演奏辅助教学系统
CN104217625A (zh) * 2014-07-31 2014-12-17 合肥工业大学 一种基于增强现实技术的钢琴辅助学习系统
CN105632263A (zh) * 2016-03-29 2016-06-01 罗昆 一种基于增强现实的音乐启蒙学习装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JONATHAN CHOW等: "Music Education using Augmented Reality with a Head Mounted", 《PROCEEDINGS OF THE FOURTEENTH AUSTRALASIAN USER INTERFACE CONFERENCE (AUIC2013)》 *
张映雪: "基于增强现实的交互式古琴学习辅助系统", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110945869A (zh) * 2017-04-19 2020-03-31 维多尼股份公司 利用运动捕捉的虚拟手的增强现实学习系统和方法
CN109410338A (zh) * 2017-08-15 2019-03-01 中兴通讯股份有限公司 增强现实图像的生成方法、装置、增强现实眼镜及终端
CN109102784A (zh) * 2018-06-14 2018-12-28 森兰信息科技（上海）有限公司 一种ar辅助乐器练习方法、系统以及一种智能设备
US11417233B2 (en) * 2018-06-14 2022-08-16 Sunland Information Technology Co., Lid. Systems and methods for assisting a user in practicing a musical instrument
CN109697918A (zh) * 2018-12-29 2019-04-30 深圳市掌网科技股份有限公司 一种基于增强现实的打击乐器体验系统
CN110689866A (zh) * 2019-09-18 2020-01-14 江西昕光年智能科技有限公司 基于增强现实的小提琴辅助教学方法及系统
CN110706553A (zh) * 2019-11-13 2020-01-17 北京音悦荚科技有限责任公司 一种基于ar增强现实的乐器辅助学习系统及方法和装置
CN110706553B (zh) * 2019-11-13 2022-02-01 北京音悦荚科技有限责任公司 一种基于ar增强现实的乐器辅助学习系统及方法和装置

Also Published As

Publication number Publication date
CN106355974B (zh) 2019-03-12

Similar Documents

Publication Publication Date Title
CN106355974A (zh) 基于ar增强现实的小提琴辅助学习体验系统
CN106340215A (zh) 基于ar增强现实和自适应识别的乐器辅助学习体验系统
CN106527718B (zh) 基于ar增强现实的乐器辅助演奏和协奏体验系统
CN106373456B (zh) 基于ar增强现实和演奏评价的小提琴辅助学习体验系统
US20150332601A1 (en) Piano Learning System
CN106485984A (zh) 一种钢琴的智能教学方法和装置
CN106373440B (zh) 基于ar增强现实和即时交流的小提琴辅助学习体验系统
CN103426342B (zh) 一种语音沟通方法和语音沟通装置
CN101604486A (zh) 基于计算机语音识别技术的乐器弹奏跟练方法
Cakmakci et al. An augmented reality based learning assistant for electric bass guitar
CN110689866A (zh) 基于增强现实的小提琴辅助教学方法及系统
CN102592480A (zh) 一种电子设备互动听写教学系统及方法
US11580868B2 (en) AR-based supplementary teaching system for guzheng and method thereof
CN110164241A (zh) 一种吉他教学方法及系统
CN110534078A (zh) 一种基于音频特征的细粒度音乐节奏提取系统及方法
CN113158906B (zh) 一种基于动作捕捉的古琴体验学习系统及实现方法
CN108091207A (zh) 一种盲人钢琴
KR20180130432A (ko) 드럼 악보 한글화 작업 방법 및 이를 이용한 드럼 악보를 한글음으로 구성된 연주용 악보 파일로 변환하는 장치
CN105206136A (zh) 一种基于手型教学的新型吉他学习方法
CN108922315A (zh) 一种吉他辅助练习装置
CN207704840U (zh) 自动纠错钢琴
Grif et al. Recognition of signs and movement epentheses in Russian Sign Language
KR101131823B1 (ko) 중국어 학습장치 및 방법
CN114783222B (zh) 一种基于ar技术的乐器辅助教学方法和系统
Cosentino et al. Music conductor gesture recognition by using inertial measurement system for human-robot musical interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 116023 No. 11, B block, 32 Torch Road, Dalian high tech Industrial Park, Liaoning, China.

Applicant after: Fast creation technology (Dalian) Co., Ltd.

Address before: 116000 Pioneer Building B 1101, No. 32 Torch Road, Dalian High-tech Zone, Liaoning Province

Applicant before: Dalian Wensente Software Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant