CN110689866A - 基于增强现实的小提琴辅助教学方法及系统 - Google Patents

基于增强现实的小提琴辅助教学方法及系统 Download PDF

Info

Publication number
CN110689866A
CN110689866A CN201910883001.8A CN201910883001A CN110689866A CN 110689866 A CN110689866 A CN 110689866A CN 201910883001 A CN201910883001 A CN 201910883001A CN 110689866 A CN110689866 A CN 110689866A
Authority
CN
China
Prior art keywords
violin
augmented reality
hand
real time
music score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910883001.8A
Other languages
English (en)
Inventor
王轶昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Xinguangnian Intelligent Technology Co Ltd
Original Assignee
Jiangxi Xinguangnian Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Xinguangnian Intelligent Technology Co Ltd filed Critical Jiangxi Xinguangnian Intelligent Technology Co Ltd
Priority to CN201910883001.8A priority Critical patent/CN110689866A/zh
Publication of CN110689866A publication Critical patent/CN110689866A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G10G1/02—Chord or note indicators, fixed or adjustable, for keyboard of fingerboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G7/00—Other auxiliary devices or accessories, e.g. conductors' batons or separate holders for resin or strings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明公开了一种基于增强现实的小提琴辅助教学方法及系统，所述方法应用于增强现实设备，所述方法包括：获取用户选择的乐谱信息；对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中适合查看的位置实时显示虚拟乐谱；在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时显示虚拟的动态标记，以实现小提琴辅助教学，所述动态标记用于指导按弦及拉弓。本发明利用增强现实(Augmented Reality，AR)技术，学习者可以跟随动态标记在现实中的小提琴上进行按弦及拉弓，提升小提琴学习时的互动性和生动性，降低教学难度，能够协助初学者掌握手型和拉弓的正确姿势，有助于提升学习兴趣。

Description

基于增强现实的小提琴辅助教学方法及系统
技术领域
本发明涉及小提琴教学技术领域，特别是涉及一种基于增强现实的小提琴辅助教学方法及系统。
背景技术
小提琴广泛流传于世界各国，是现代管弦乐队弦乐组中最主要的乐器。小提琴在器乐中占据非常重要的地位，是现代交响乐队的支柱，也是具有高难度演奏技巧的独奏乐器，与钢琴、古典吉他并称为世界三大乐器。
现如今学习小提琴的青少年越来越多，然而和其它乐器相比，推广程度还是有一定差距，主要原因是小提琴入门相对偏难，许多初学者难以掌握手型和拉弓的正确姿势，教学难度大，影响了学习小提琴的兴趣。
发明内容
为此，本发明的一个目的在于提出一种基于增强现实的小提琴辅助教学方法，以协助初学者掌握手型和拉弓的正确姿势，降低教学难度，提升学习兴趣。
一种基于增强现实的小提琴辅助教学方法，应用于增强现实设备，所述方法包括：
获取用户选择的乐谱信息；
对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中适合查看的位置实时显示虚拟乐谱；
在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时显示虚拟的动态标记，以实现小提琴辅助教学，所述动态标记用于指导按弦及拉弓。
根据本发明提供的基于增强现实的小提琴辅助教学方法，利用增强现实(Augmented Reality，AR)技术，通过增强现实设备获取用户选择的乐谱信息，对现实中的小提琴进行识别，能够获取小提琴的空间位置，并在增强现实设备的显示界面中适合查看的位置实时显示虚拟乐谱，然后在显示界面中根据乐谱信息在小提琴的空间位置上实时显示虚拟的动态标记，学习者可以跟随动态标记在现实中的小提琴上进行按弦及拉弓，提升小提琴学习时的互动性和生动性，降低教学难度，能够协助初学者掌握手型和拉弓的正确姿势，有助于提升学习兴趣。
另外，根据本发明上述的基于增强现实的小提琴辅助教学方法，还可以具有如下附加的技术特征：
进一步地，所述动态标记为仿生人手或具有辨识性的符号标记，所述在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时显示虚拟的动态标记的步骤具体包括：
在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时动态显示所述仿生人手或具有辨识性的符号标记，所述仿生人手或具有辨识性的符号标记跟随所述乐谱信息在所述显示界面中运动。
进一步地，所述增强现实设备具有体感摄像头，所述体感摄像头用于获取演奏者的手型及手臂姿势，所述方法还包括：
在演奏过程中，将所述体感摄像头获取到的演奏者的手型及手臂姿势与预存的、与所述乐谱信息对应的标准手型及手臂姿势进行实时对比，判断两者的差异是否在阈值范围内；
当所述体感摄像头获取到的演奏者的手型及手臂姿势与所述标准手型及手臂姿势的差异超过所述阈值范围时，发出提示信息。
进一步地，所述在演奏过程中，将所述体感摄像头获取到的演奏者的手型及手臂姿势与预存的、与所述乐谱信息对应的标准手型及手臂姿势进行实时对比的步骤包括：
将所述体感摄像头获取到的演奏者左手持琴的角度和高度与预存的标准左手持琴的角度和高度进行实时对比；
将所述体感摄像头获取到的演奏者左手按音手型与预存的标准左手按音手型进行实时对比；
将所述体感摄像头获取到的演奏者左手落指位置和抬指高低、指法位置与预存的标准左手落指位置和抬指高低、指法位置进行实时对比；
将所述体感摄像头获取到的演奏者右手持弓与琴弦接触的平面高度与预存的标准平面高度进行实时对比；
将所述体感摄像头获取到的演奏者右手弓速变化信息与预存的标准右手弓速变化信息进行实时对比。
进一步地，所述提示信息通过以下两种方式中的至少一种实现：
第一种：以语言提醒的方式发出提示信息，所述提示信息包括与所述标准手型及手臂姿势对应的语言信息；
第二种：以虚拟图形化的方式在所述小提琴的空间位置上标记错误位置，并在所述显示界面中显示所述标准手型及手臂姿势。
进一步地，所述方法还包括：
获取用户选择的乐谱信息以及演奏节奏快慢信息；
对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中根据所述乐谱信息和所述演奏节奏快慢信息在适合查看的位置实时显示虚拟乐谱；
在所述显示界面中根据所述乐谱信息和所述演奏节奏快慢信息在所述小提琴的空间位置上实时显示虚拟的动态标记，以实现小提琴辅助教学，所述动态标记用于指导按弦及拉弓。
进一步地，所述方法还包括：
对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中适合查看的位置以高亮显示的方式实时显示所述乐谱信息中的每个音符。
本发明的另一个目的在于提出一种基于增强现实的小提琴辅助教学系统，以协助初学者掌握手型和拉弓的正确姿势，降低教学难度，提升学习兴趣。
一种基于增强现实的小提琴辅助教学系统，应用于增强现实设备，所述系统包括：
获取模块，用于获取用户选择的乐谱信息；
第一显示模块，用于对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中适合查看的位置实时显示虚拟乐谱；
第二显示模块，用于在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时显示虚拟的动态标记，以实现小提琴辅助教学，所述动态标记用于指导按弦及拉弓。
根据本发明提供的基于增强现实的小提琴辅助教学系统，利用增强现实(Augmented Reality，AR)技术，通过增强现实设备获取用户选择的乐谱信息，对现实中的小提琴进行识别，能够获取小提琴的空间位置，并在增强现实设备的显示界面中适合查看的位置实时显示虚拟乐谱，然后在显示界面中根据乐谱信息在小提琴的空间位置上实时显示虚拟的动态标记，学习者可以跟随动态标记在现实中的小提琴上进行按弦及拉弓，提升小提琴学习时的互动性和生动性，降低教学难度，能够协助初学者掌握手型和拉弓的正确姿势，有助于提升学习兴趣。
另外，根据本发明上述的基于增强现实的小提琴辅助教学系统，还可以具有如下附加的技术特征：
进一步地，所述动态标记为仿生人手或具有辨识性的符号标记，所述第二显示模块具体用于：
在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时动态显示所述仿生人手或具有辨识性的符号标记，所述仿生人手或具有辨识性的符号标记跟随所述乐谱信息在所述显示界面中运动。
进一步地，所述增强现实设备具有体感摄像头，所述体感摄像头用于获取演奏者的手型及手臂姿势，所述系统还包括：
对比模块，用于在演奏过程中，将所述体感摄像头获取到的演奏者的手型及手臂姿势与预存的、与所述乐谱信息对应的标准手型及手臂姿势进行实时对比，判断两者的差异是否在阈值范围内；
提示模块，用于当所述体感摄像头获取到的演奏者的手型及手臂姿势与所述标准手型及手臂姿势的差异超过所述阈值范围时，发出提示信息。
进一步地，所述对比模块具体用于：
将所述体感摄像头获取到的演奏者左手持琴的角度和高度与预存的标准左手持琴的角度和高度进行实时对比；
将所述体感摄像头获取到的演奏者左手按音手型与预存的标准左手按音手型进行实时对比；
将所述体感摄像头获取到的演奏者左手落指位置和抬指高低、指法位置与预存的标准左手落指位置和抬指高低、指法位置进行实时对比；
将所述体感摄像头获取到的演奏者右手持弓与琴弦接触的平面高度与预存的标准平面高度进行实时对比；
将所述体感摄像头获取到的演奏者右手弓速变化信息与预存的标准右手弓速变化信息进行实时对比。
进一步地，所述提示信息通过以下两种方式中的至少一种实现：
第一种：以语言提醒的方式发出提示信息，所述提示信息包括与所述标准手型及手臂姿势对应的语言信息；
第二种：以虚拟图形化的方式在所述小提琴的空间位置上标记错误位置，并在所述显示界面中显示所述标准手型及手臂姿势。
进一步地，所述获取模块还用于获取用户选择的乐谱信息以及演奏节奏快慢信息；
所述第一显示模块还用于对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中根据所述乐谱信息和所述演奏节奏快慢信息在适合查看的位置实时显示虚拟乐谱；
所述第二显示模块还用于在所述显示界面中根据所述乐谱信息和所述演奏节奏快慢信息在所述小提琴的空间位置上实时显示虚拟的动态标记，以实现小提琴辅助教学，所述动态标记用于指导按弦及拉弓。
进一步地，所述第一显示模块还用于：
对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中适合查看的位置以高亮显示的方式实时显示所述乐谱信息中的每个音符。
本发明的另一个实施例还提出一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本发明的另一个实施例还提出一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明第一实施例的基于增强现实的小提琴辅助教学方法的流程图；
图2是根据本发明第二实施例的基于增强现实的小提琴辅助教学系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明第一实施例提供的基于增强现实的小提琴辅助教学方法，应用于增强现实设备，所述方法包括步骤S101～S103。
S101，获取用户选择的乐谱信息；
其中，增强现实技术，即AR(Augmented Reality)技术是指把现实世界中某一区域原本并不存在的信息，基于某种媒介并经过模拟仿真后再叠加到真实世界，被人类感官所感知的技术。它能够使真实的环境和虚拟的物体实时地显示在同一个画面或空间，从而达到超越现实的体验。增强现实技术需借助增强现实设备实现，本实施例中，增强现实设备可以采用AR眼镜或者AR头盔等。使用者戴上AR眼镜或AR头盔后，可以看到AR眼镜或者AR头盔中呈现虚拟的显示界面，在虚拟的显示界面可以将现实中的物体以虚拟图像的方式模拟到显示界面中进行展示。
增强现实设备中具有存储器、处理器以及可操作界面，存储器中存储有多个小提琴的乐谱信息以及与每个乐谱信息对应的虚拟乐谱、标准手型及手臂姿势、还有用于指导按弦及拉弓动态标记等，用户可以通过可操作界面(例如触摸屏或者实体按键)从多个乐谱信息中选择其中一个要演奏的乐谱信息。
具体实施时，需要演奏者戴好增强现实设备(AR眼镜或AR头盔)，然后按正确姿势拿好小提琴，通过与增强现实设备交互操作启动设备，并选择想要演奏的乐曲。
S102，对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中适合查看的位置实时显示虚拟乐谱；
其中，具体的，增强现实设备能够对现实中的小提琴进行识别，从而获取该小提琴的空间位置，在增强现实设备虚拟的显示界面中能够获知该小提琴的空间位置，然后可以在显示界面中适合查看的位置以高亮显示的方式实时显示所述乐谱信息中的每个音符，使演奏者能够实时获知当前该演奏哪个音符了。音符的显示位置可以靠近小提琴，只要方便用户查看即可。
S103，在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时显示虚拟的动态标记，以实现小提琴辅助教学，所述动态标记用于指导按弦及拉弓。
其中，所述动态标记可以为仿生人手或具有辨识性的符号标记，具有辨识性的符号标记例如是彩色的圆柱体，步骤S103具体包括：
在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时动态显示所述仿生人手或具有辨识性的符号标记，所述仿生人手或具有辨识性的符号标记跟随所述乐谱信息在所述显示界面中运动。
演奏者在学习中，可以模仿仿生人手或具有辨识性的符号标记来操作小提琴。
此外，作为一个具体示例，所述增强现实设备具有体感摄像头，所述体感摄像头用于获取演奏者的手型及手臂姿势，所述方法还包括：
在演奏过程中，将所述体感摄像头获取到的演奏者的手型及手臂姿势与预存的、与所述乐谱信息对应的标准手型及手臂姿势进行实时对比，判断两者的差异是否在阈值范围内；
当所述体感摄像头获取到的演奏者的手型及手臂姿势与所述标准手型及手臂姿势的差异超过所述阈值范围时，发出提示信息，实时提醒演奏者保持正确的演奏姿势。
其中，在演奏过程中，将所述体感摄像头获取到的演奏者的手型及手臂姿势与预存的、与所述乐谱信息对应的标准手型及手臂姿势进行实时对比的步骤包括：
将所述体感摄像头获取到的演奏者左手持琴的角度和高度与预存的标准左手持琴的角度和高度进行实时对比；
将所述体感摄像头获取到的演奏者左手按音手型与预存的标准左手按音手型进行实时对比(如虎口夹太紧，1指接触琴颈的位置错误，应在1指指根关节处)；
将所述体感摄像头获取到的演奏者左手落指位置和抬指高低、指法位置与预存的标准左手落指位置和抬指高低、指法位置进行实时对比；
将所述体感摄像头获取到的演奏者右手持弓与琴弦接触的平面高度与预存的标准平面高度进行实时对比；
将所述体感摄像头获取到的演奏者右手弓速变化信息与预存的标准右手弓速变化信息进行实时对比(如右手弓法的方向提示，运弓方向朝上朝下，连弓分弓，速度变化是否正确。
可选的，所述提示信息通过以下两种方式中的至少一种实现：
第一种：以语言提醒的方式发出提示信息，所述提示信息包括与所述标准手型及手臂姿势对应的语言信息；
第二种：以虚拟图形化的方式在所述小提琴的空间位置上标记错误位置，并在所述显示界面中显示所述标准手型及手臂姿势。
此外，作为一个具体示例，所述方法还包括：
获取用户选择的乐谱信息以及演奏节奏快慢信息，对于初学者或者一首新曲子，演奏者可以选择慢速指导模式进行学习；
对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中根据所述乐谱信息和所述演奏节奏快慢信息在适合查看的位置实时显示虚拟乐谱；
在所述显示界面中根据所述乐谱信息和所述演奏节奏快慢信息在所述小提琴的空间位置上实时显示虚拟的动态标记，以实现小提琴辅助教学，所述动态标记用于指导按弦及拉弓。
此外，作为一个具体示例，增强现实设备可以对每次演奏过程中的手型及手臂姿势数据进行储存及分析，从而对演奏者的学习过程做出反馈，帮助演奏者找到存在的问题，进而快速改进及提高。
此外，作为一个具体示例，该方法还包括陪练模式，当用户选择陪练模式后，增强现实设备的显示界面中可以虚拟出不同的人物形象进行陪练，带给演奏者沉浸式体验，增强演奏者的演奏兴趣。
根据本发明实施例的基于增强现实的小提琴辅助教学方法，利用增强现实(Augmented Reality，AR)技术，通过增强现实设备获取用户选择的乐谱信息，对现实中的小提琴进行识别，能够获取小提琴的空间位置，并在增强现实设备的显示界面中适合查看的位置实时显示虚拟乐谱，然后在显示界面中根据乐谱信息在小提琴的空间位置上实时显示虚拟的动态标记，学习者可以跟随动态标记在现实中的小提琴上进行按弦及拉弓，提升小提琴学习时的互动性和生动性，降低教学难度，能够协助初学者掌握手型和拉弓的正确姿势，有助于提升学习兴趣。
需要指出的是，本实施例提供的基于增强现实的小提琴辅助教学方法，同样可用于其他手持类的乐器，例如吉他、二胡等。
请参阅图2，基于同一发明构思，本发明第二实施例提出的基于增强现实的小提琴辅助教学系统，应用于增强现实设备，所述系统包括：
获取模块10，用于获取用户选择的乐谱信息；
第一显示模块20，用于对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中适合查看的位置实时显示虚拟乐谱；
第二显示模块30，用于在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时显示虚拟的动态标记，以实现小提琴辅助教学，所述动态标记用于指导按弦及拉弓。
本实施例中，所述动态标记为仿生人手或具有辨识性的符号标记，所述第二显示模块30具体用于：
在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时动态显示所述仿生人手或具有辨识性的符号标记，所述仿生人手或具有辨识性的符号标记跟随所述乐谱信息在所述显示界面中运动。
本实施例中，所述增强现实设备具有体感摄像头，所述体感摄像头用于获取演奏者的手型及手臂姿势，所述系统还包括：
对比模块40，用于在演奏过程中，将所述体感摄像头获取到的演奏者的手型及手臂姿势与预存的、与所述乐谱信息对应的标准手型及手臂姿势进行实时对比，判断两者的差异是否在阈值范围内；
提示模块50，用于当所述体感摄像头获取到的演奏者的手型及手臂姿势与所述标准手型及手臂姿势的差异超过所述阈值范围时，发出提示信息。
本实施例中，所述对比模块40具体用于：
将所述体感摄像头获取到的演奏者左手持琴的角度和高度与预存的标准左手持琴的角度和高度进行实时对比；
将所述体感摄像头获取到的演奏者左手按音手型与预存的标准左手按音手型进行实时对比；
将所述体感摄像头获取到的演奏者左手落指位置和抬指高低、指法位置与预存的标准左手落指位置和抬指高低、指法位置进行实时对比；
将所述体感摄像头获取到的演奏者右手持弓与琴弦接触的平面高度与预存的标准平面高度进行实时对比；
将所述体感摄像头获取到的演奏者右手弓速变化信息与预存的标准右手弓速变化信息进行实时对比。
本实施例中，所述提示信息通过以下两种方式中的至少一种实现：
第一种：以语言提醒的方式发出提示信息，所述提示信息包括与所述标准手型及手臂姿势对应的语言信息；
第二种：以虚拟图形化的方式在所述小提琴的空间位置上标记错误位置，并在所述显示界面中显示所述标准手型及手臂姿势。
本实施例中，所述获取模块10还用于获取用户选择的乐谱信息以及演奏节奏快慢信息；
所述第一显示模块20还用于对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中根据所述乐谱信息和所述演奏节奏快慢信息在适合查看的位置实时显示虚拟乐谱；
所述第二显示模块30还用于在所述显示界面中根据所述乐谱信息和所述演奏节奏快慢信息在所述小提琴的空间位置上实时显示虚拟的动态标记，以实现小提琴辅助教学，所述动态标记用于指导按弦及拉弓。
本实施例中，所述第一显示模块20还用于：
对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中适合查看的位置以高亮显示的方式实时显示所述乐谱信息中的每个音符。
根据本实施例提供的基于增强现实的小提琴辅助教学系统，利用增强现实(Augmented Reality，AR)技术，通过增强现实设备获取用户选择的乐谱信息，对现实中的小提琴进行识别，能够获取小提琴的空间位置，并在增强现实设备的显示界面中适合查看的位置实时显示虚拟乐谱，然后在显示界面中根据乐谱信息在小提琴的空间位置上实时显示虚拟的动态标记，学习者可以跟随动态标记在现实中的小提琴上进行按弦及拉弓，提升小提琴学习时的互动性和生动性，降低教学难度，能够协助初学者掌握手型和拉弓的正确姿势，有助于提升学习兴趣。
此外，本发明的实施例还提出一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
此外，本发明的实施例还提出一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于增强现实的小提琴辅助教学方法，应用于增强现实设备，其特征在于，所述方法包括：
获取用户选择的乐谱信息；
对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中适合查看的位置实时显示虚拟乐谱；
在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时显示虚拟的动态标记，以实现小提琴辅助教学，所述动态标记用于指导按弦及拉弓。
2.根据权利要求1所述的基于增强现实的小提琴辅助教学方法，其特征在于，所述动态标记为仿生人手或具有辨识性的符号标记，所述在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时显示虚拟的动态标记的步骤具体包括：
在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时动态显示所述仿生人手或具有辨识性的符号标记，所述仿生人手或具有辨识性的符号标记跟随所述乐谱信息在所述显示界面中运动。
3.根据权利要求1所述的基于增强现实的小提琴辅助教学方法，其特征在于，所述增强现实设备具有体感摄像头，所述体感摄像头用于获取演奏者的手型及手臂姿势，所述方法还包括：
在演奏过程中，将所述体感摄像头获取到的演奏者的手型及手臂姿势与预存的、与所述乐谱信息对应的标准手型及手臂姿势进行实时对比，判断两者的差异是否在阈值范围内；
当所述体感摄像头获取到的演奏者的手型及手臂姿势与所述标准手型及手臂姿势的差异超过所述阈值范围时，发出提示信息。
4.根据权利要求3所述的基于增强现实的小提琴辅助教学方法，其特征在于，所述在演奏过程中，将所述体感摄像头获取到的演奏者的手型及手臂姿势与预存的、与所述乐谱信息对应的标准手型及手臂姿势进行实时对比的步骤包括：
将所述体感摄像头获取到的演奏者左手持琴的角度和高度与预存的标准左手持琴的角度和高度进行实时对比；
将所述体感摄像头获取到的演奏者左手按音手型与预存的标准左手按音手型进行实时对比；
将所述体感摄像头获取到的演奏者左手落指位置和抬指高低、指法位置与预存的标准左手落指位置和抬指高低、指法位置进行实时对比；
将所述体感摄像头获取到的演奏者右手持弓与琴弦接触的平面高度与预存的标准平面高度进行实时对比；
将所述体感摄像头获取到的演奏者右手弓速变化信息与预存的标准右手弓速变化信息进行实时对比。
5.根据权利要求3所述的基于增强现实的小提琴辅助教学方法，其特征在于，所述提示信息通过以下两种方式中的至少一种实现：
第一种：以语言提醒的方式发出提示信息，所述提示信息包括与所述标准手型及手臂姿势对应的语言信息；
第二种：以虚拟图形化的方式在所述小提琴的空间位置上标记错误位置，并在所述显示界面中显示所述标准手型及手臂姿势。
6.根据权利要求1所述的基于增强现实的小提琴辅助教学方法，其特征在于，所述方法还包括：
获取用户选择的乐谱信息以及演奏节奏快慢信息；
对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中根据所述乐谱信息和所述演奏节奏快慢信息在适合查看的位置实时显示虚拟乐谱；
在所述显示界面中根据所述乐谱信息和所述演奏节奏快慢信息在所述小提琴的空间位置上实时显示虚拟的动态标记，以实现小提琴辅助教学，所述动态标记用于指导按弦及拉弓。
7.根据权利要求1所述的基于增强现实的小提琴辅助教学方法，其特征在于，所述方法还包括：
对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中适合查看的位置以高亮显示的方式实时显示所述乐谱信息中的每个音符。
8.一种基于增强现实的小提琴辅助教学系统，应用于增强现实设备，其特征在于，所述系统包括：
获取模块，用于获取用户选择的乐谱信息；
第一显示模块，用于对现实中的小提琴进行识别，以获取所述小提琴的空间位置，并在所述增强现实设备的显示界面中适合查看的位置实时显示虚拟乐谱；
第二显示模块，用于在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时显示虚拟的动态标记，以实现小提琴辅助教学，所述动态标记用于指导按弦及拉弓。
9.根据权利要求8所述的基于增强现实的小提琴辅助教学系统，其特征在于，所述动态标记为仿生人手或具有辨识性的符号标记，所述第二显示模块具体用于：
在所述显示界面中根据所述乐谱信息在所述小提琴的空间位置上实时动态显示所述仿生人手或具有辨识性的符号标记，所述仿生人手或具有辨识性的符号标记跟随所述乐谱信息在所述显示界面中运动。
10.根据权利要求8所述的基于增强现实的小提琴辅助教学系统，其特征在于，所述增强现实设备具有体感摄像头，所述体感摄像头用于获取演奏者的手型及手臂姿势，所述系统还包括：
对比模块，用于在演奏过程中，将所述体感摄像头获取到的演奏者的手型及手臂姿势与预存的、与所述乐谱信息对应的标准手型及手臂姿势进行实时对比，判断两者的差异是否在阈值范围内；
提示模块，用于当所述体感摄像头获取到的演奏者的手型及手臂姿势与所述标准手型及手臂姿势的差异超过所述阈值范围时，发出提示信息。
CN201910883001.8A 2019-09-18 2019-09-18 基于增强现实的小提琴辅助教学方法及系统 Pending CN110689866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910883001.8A CN110689866A (zh) 2019-09-18 2019-09-18 基于增强现实的小提琴辅助教学方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910883001.8A CN110689866A (zh) 2019-09-18 2019-09-18 基于增强现实的小提琴辅助教学方法及系统

Publications (1)

Publication Number Publication Date
CN110689866A true CN110689866A (zh) 2020-01-14

Family

ID=69109481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910883001.8A Pending CN110689866A (zh) 2019-09-18 2019-09-18 基于增强现实的小提琴辅助教学方法及系统

Country Status (1)

Country Link
CN (1) CN110689866A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112201091A (zh) * 2020-09-30 2021-01-08 陈洁婷 一种儿童运动教学的人工智能机器人及其使用方法
CN112735224A (zh) * 2020-12-30 2021-04-30 广东爱乐社教育科技有限公司 一种基于物联网教学增强现实的小提琴辅助学习体验系统
CN112802439A (zh) * 2021-02-05 2021-05-14 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1744149A (zh) * 2005-05-26 2006-03-08 艾凯 乐器光引导演奏装置
CN104183171A (zh) * 2013-05-23 2014-12-03 杭州灵机科技有限公司 一种基于电子乐谱的乐器演奏水平精准评判的系统和方法
CN104217625A (zh) * 2014-07-31 2014-12-17 合肥工业大学 一种基于增强现实技术的钢琴辅助学习系统
US20150317910A1 (en) * 2013-05-03 2015-11-05 John James Daniels Accelerated Learning, Entertainment and Cognitive Therapy Using Augmented Reality Comprising Combined Haptic, Auditory, and Visual Stimulation
CN106097787A (zh) * 2016-08-18 2016-11-09 四川以太原力科技有限公司 基于虚拟现实的肢体教学方法与教学系统
CN106340215A (zh) * 2016-11-09 2017-01-18 大连文森特软件科技有限公司 基于ar增强现实和自适应识别的乐器辅助学习体验系统
CN106355974A (zh) * 2016-11-09 2017-01-25 大连文森特软件科技有限公司 基于ar增强现实的小提琴辅助学习体验系统
CN106373440A (zh) * 2016-11-09 2017-02-01 大连文森特软件科技有限公司 基于ar 增强现实和即时交流的小提琴辅助学习体验系统
CN106373456A (zh) * 2016-11-09 2017-02-01 大连文森特软件科技有限公司 基于ar增强现实和演奏评价的小提琴辅助学习体验系统
CN106527718A (zh) * 2016-11-09 2017-03-22 大连文森特软件科技有限公司 基于ar增强现实的乐器辅助演奏和协奏体验系统
CN108205946A (zh) * 2016-12-16 2018-06-26 北京酷我科技有限公司 一种基于增强现实的钢琴教学方法、设备及钢琴
CN109102784A (zh) * 2018-06-14 2018-12-28 森兰信息科技（上海）有限公司 一种ar辅助乐器练习方法、系统以及一种智能设备
CN109215441A (zh) * 2018-10-19 2019-01-15 深圳市微蓝智能科技有限公司 一种钢琴教学方法、装置及计算机存储介质
CN109243248A (zh) * 2018-09-29 2019-01-18 南京华捷艾米软件科技有限公司 一种基于3d深度摄像模组的虚拟钢琴及其实现方法
CN109697918A (zh) * 2018-12-29 2019-04-30 深圳市掌网科技股份有限公司 一种基于增强现实的打击乐器体验系统
CN109844852A (zh) * 2016-10-14 2019-06-04 森兰信息科技（上海）有限公司 用于音乐演奏的系统和方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1744149A (zh) * 2005-05-26 2006-03-08 艾凯 乐器光引导演奏装置
US20150317910A1 (en) * 2013-05-03 2015-11-05 John James Daniels Accelerated Learning, Entertainment and Cognitive Therapy Using Augmented Reality Comprising Combined Haptic, Auditory, and Visual Stimulation
CN104183171A (zh) * 2013-05-23 2014-12-03 杭州灵机科技有限公司 一种基于电子乐谱的乐器演奏水平精准评判的系统和方法
CN104217625A (zh) * 2014-07-31 2014-12-17 合肥工业大学 一种基于增强现实技术的钢琴辅助学习系统
CN106097787A (zh) * 2016-08-18 2016-11-09 四川以太原力科技有限公司 基于虚拟现实的肢体教学方法与教学系统
CN109844852A (zh) * 2016-10-14 2019-06-04 森兰信息科技（上海）有限公司 用于音乐演奏的系统和方法
CN106373456A (zh) * 2016-11-09 2017-02-01 大连文森特软件科技有限公司 基于ar增强现实和演奏评价的小提琴辅助学习体验系统
CN106373440A (zh) * 2016-11-09 2017-02-01 大连文森特软件科技有限公司 基于ar 增强现实和即时交流的小提琴辅助学习体验系统
CN106355974A (zh) * 2016-11-09 2017-01-25 大连文森特软件科技有限公司 基于ar增强现实的小提琴辅助学习体验系统
CN106527718A (zh) * 2016-11-09 2017-03-22 大连文森特软件科技有限公司 基于ar增强现实的乐器辅助演奏和协奏体验系统
CN106340215A (zh) * 2016-11-09 2017-01-18 大连文森特软件科技有限公司 基于ar增强现实和自适应识别的乐器辅助学习体验系统
CN108205946A (zh) * 2016-12-16 2018-06-26 北京酷我科技有限公司 一种基于增强现实的钢琴教学方法、设备及钢琴
CN109102784A (zh) * 2018-06-14 2018-12-28 森兰信息科技（上海）有限公司 一种ar辅助乐器练习方法、系统以及一种智能设备
CN109243248A (zh) * 2018-09-29 2019-01-18 南京华捷艾米软件科技有限公司 一种基于3d深度摄像模组的虚拟钢琴及其实现方法
CN109215441A (zh) * 2018-10-19 2019-01-15 深圳市微蓝智能科技有限公司 一种钢琴教学方法、装置及计算机存储介质
CN109697918A (zh) * 2018-12-29 2019-04-30 深圳市掌网科技股份有限公司 一种基于增强现实的打击乐器体验系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112201091A (zh) * 2020-09-30 2021-01-08 陈洁婷 一种儿童运动教学的人工智能机器人及其使用方法
CN112735224A (zh) * 2020-12-30 2021-04-30 广东爱乐社教育科技有限公司 一种基于物联网教学增强现实的小提琴辅助学习体验系统
CN112802439A (zh) * 2021-02-05 2021-05-14 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质
CN112802439B (zh) * 2021-02-05 2024-04-12 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106128212B (zh) 基于增强现实技术的书法学习系统及方法
US9524652B2 (en) System and method for learning to play a musical instrument
US10810978B2 (en) Performance assistance apparatus and method
CN110689866A (zh) 基于增强现实的小提琴辅助教学方法及系统
US20110146477A1 (en) String instrument educational device
CN111259863B (zh) 弹奏手型检测/展示方法、介质、钢琴、终端及服务端
US20070180978A1 (en) Storage medium storing sound processing program and sound processing apparatus
CN111028615B (zh) 智能化乐器演奏教学方法、系统及存储介质
CN106340215B (zh) 基于ar增强现实和自适应识别的乐器辅助学习体验系统
CN102883784B (zh) 提供触控游戏的方法、装置及记录媒体
US20060191399A1 (en) Fingering guidance apparatus and program
CN106355974B (zh) 基于ar增强现实的小提琴辅助学习体验系统
CN106373456B (zh) 基于ar增强现实和演奏评价的小提琴辅助学习体验系统
Cakmakci et al. An augmented reality based learning assistant for electric bass guitar
Johnson et al. Vrmin: using mixed reality to augment the theremin for musical tutoring.
US20210174690A1 (en) Ar-based supplementary teaching system for guzheng and method thereof
Takegawa et al. A piano learning support system considering rhythm
CN110379253A (zh) 小提琴综合辅助学习的方法、装置、软件与系统
CN106373440B (zh) 基于ar增强现实和即时交流的小提琴辅助学习体验系统
CN108806394A (zh) 一种钢琴弹奏软件指法显示方法及指法存储装置
CN114170868A (zh) 智能钢琴训练的方法和系统
Fonteles et al. User experience in a kinect-based conducting system for visualization of musical structure
CN115712473A (zh) 乐谱展示方法、装置、电子设备及存储介质
JP4551183B2 (ja) プログラム、情報記憶媒体及び手書き図形評価装置
CN114677431A (zh) 钢琴指法识别方法及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200114

RJ01 Rejection of invention patent application after publication