CN110910712A - 一种基于ar的古筝辅助教学系统及方法 - Google Patents

一种基于ar的古筝辅助教学系统及方法 Download PDF

Info

Publication number
CN110910712A
CN110910712A CN201911239128.2A CN201911239128A CN110910712A CN 110910712 A CN110910712 A CN 110910712A CN 201911239128 A CN201911239128 A CN 201911239128A CN 110910712 A CN110910712 A CN 110910712A
Authority
CN
China
Prior art keywords
data
fingering
string
module
operation instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911239128.2A
Other languages
English (en)
Other versions
CN110910712B (zh
Inventor
刘征
何铭丰
王昀
胡惠君
周东红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Art
Original Assignee
China Academy of Art
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Art filed Critical China Academy of Art
Priority to CN201911239128.2A priority Critical patent/CN110910712B/zh
Publication of CN110910712A publication Critical patent/CN110910712A/zh
Priority to US17/105,935 priority patent/US11580868B2/en
Application granted granted Critical
Publication of CN110910712B publication Critical patent/CN110910712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/001—Boards or like means for providing an indication of chords
    • G09B15/002—Electrically operated systems
    • G09B15/003—Electrically operated systems with indication of the keys or strings to be played on instruments
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/06—Devices for exercising or strengthening fingers or arms; Devices for holding fingers or arms in a proper position for playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/02—Boards or like means for providing an indication of notes
    • G09B15/023—Electrically operated
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种基于AR的古筝辅助教学系统及方法，其中教学系统包括AR设备、数据处理装置和若干个键位定位装置，所述数据处理装置与所述AR设备信号相连，所述键位定位装置安装于古筝的琴码上，所述键位定位装置与古筝的琴码一一对应；所述AR设备用于获取真实场景数据；所述数据处理装置，用于对真实场景数据中的古筝和键位定位装置进行识别，生成琴弦分布数据；还用于根据用户动作获取操作指令，执行所述操作指令并生成虚拟数据；所述AR设备，还用于基于琴弦分布数据将所述虚拟数据与所述真实场景数据进行叠加显示。本发明采用AR技术，提高用户沉浸感，且本发明中将虚拟数据基于琴弦分布数据进行叠加显示，无需额外设置灯条指示装置。

Description

一种基于AR的古筝辅助教学系统及方法
技术领域
本发明涉及虚拟现实领域，尤其涉及一种基于AR的古筝辅助教学系统及方法。
背景技术
目前，古筝教学人机交互辅助装置及系统(CN109637271A)公开了一种能够提供古筝基础指法指示，以及练习反馈指导的辅助装置，避免用户弹奏练习错乱、指法不规范、左右手不协调等问题，但沉浸感差且需要众多的外设设备才能实现，尤其是灯条指示装置，而灯条指示装置位于琴码下方，故更换灯条指示装置则需要重新对古筝调音，便携性差，使用繁琐，用户体验低。
故需要对现有技术做进一步改进。
发明内容
本发明针对现有技术中的缺点，提供了一种能够提高用户沉浸感的基于AR的古筝辅助教学系统及方法。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
一种基于AR的古筝辅助教学系统，包括AR设备、数据处理装置和若干个键位定位装置，所述数据处理装置与所述AR设备信号相连，所述键位定位装置安装于古筝的琴码上，所述键位定位装置与古筝的琴码一一对应；
所述AR设备用于获取真实场景数据；
所述数据处理装置，用于对真实场景数据中的古筝和键位定位装置进行识别，生成琴弦分布数据；还用于根据用户动作获取操作指令，执行所述操作指令并生成虚拟数据；
所述AR设备，还用于基于琴弦分布数据将所述虚拟数据与所述真实场景数据进行叠加显示。
作为一种可实施方式，还包括声音输入装置，所述声音输入装置与所述数据处理装置信号相连；
所述声音输入装置，用于采集用户弹奏时的声音数据，并将其发送至数据处理装置；
所述数据处理装置，用于对所述声音数据进行识别，生成音调数据，调取与所述音调数据相关联的操作指令，执行所述操作指令并生成虚拟数据。
作为一种可实施方式，所述数据处理装置包括传输模块、识别模块、储存模块和处理模块，其中识别模块分别与声音输入装置、传输模块、储存模块和处理模块信号相连，处理模块还分别与传输模块和储存模块信号相连，传输模块与AR设备信号相连；
所述识别模块，用于接收并识别声音数据，获得音调数据，还用于接收并识别真实场景数据，获得琴弦分布数据；
所述处理模块，用于从储存模块中调取与所述音调数据相关联的操作指令，执行所述操作指令，并根据操作指令生成虚拟数据；还用于控制AR设备将所述虚拟数据与所述真实场景数据进行叠加显示；
所述虚拟数据包括琴弦指引数据、指法指引数据和简谱显示数据。
作为一种可实施方式，还包括体感装置，所述体感装置与数据处理装置信号相连；
所述数据处理装置还根据操作指令生成指法体感指引数据，并控制所述体感装置根据体感指引数据进行体感反馈。
作为一种可实施方式：
所述体感装置包括手环和四个指套；
所述指套上设有拨片安装套、第一震动反馈器和第二震动反馈器，其中第一震动反馈器位于拨片安装套同侧，第二震动反馈器位于拨片安装套对侧，拨片安装套用于安装拨片；
所述手环中设有体感传输模块、电池模块和控制模块，其中电池模块为第一震动反馈器、第二震动反馈器、体感传输模块和控制模块供电，控制模块分别与第一震动反馈器、第二震动反馈器和体感传输模块信号相连，体感传输模块与传输模块信号相连；
所述控制模块用于通过体感传输模块接收指法体感指引数据，并按照指法体感指引数据控制第一震动反馈器和第二震动反馈器进行震动反馈。
作为一种可实施方式：
所述拨片安装套下表面设有上安装件、第一压力感应器和第二压力感应器，第一压力感应器位于远离拨片的一侧，第二压力感应器位于靠近拨片的一侧，第一压力感应器和第二压力感应器均与控制模块信号相连；
所述指套上表面设有下安装件、第一触发器和第二触发器，第一触发器与所述第一压力感应器相对应，第二触发器与所述第二压力感应器相对应，下安装件与上安装件转动相连，使拨片拨动琴弦时，第一压力感应器挤压第一触发器，或第二压力感应器挤压第二触发器；
所述控制模块接收第一压力感应器和第二压力感应器所检测的压力数据，并将所得压力数据通过体感传输模块发送至数据处理装置，由数据处理装置根据所述压力数据对指法准确度进行分析。
作为一种可实施方式：
所述键位定位装置包括识别面板、连接件和固定件，所述固定件上设有与琴码外形相匹配的缺口，定位时所述固定件通过缺口安装于所述琴码的上端；
所述识别面板通过连接件和固定件相连。
作为一种可实施方式，还包括云端服务器；
所述云端服务器与多个数据处理装置信号相连，所述数据处理装置通过云端服务器与其他数据处理装置进行数据交互。
为解决上述技术问题，本发明还提出一种基于AR的古筝辅助教学方法，采用上述任意一项系统实现，包括以下步骤：
于古筝的各琴码上设置键位定位装置；
通过AR设备获取真实场景数据，对真实场景数据中的古筝和键位定位装置进行识别，生成琴弦分布数据；
通过AR设备为用户显示操作界面，同时根据用户动作获取操作指令，执行所述操作指令并生成虚拟数据，将所述虚拟数据发送至AR设备，由AR设备基于琴弦分布数据将所述虚拟数据进行叠加显示。
作为一种可实施方式，通过AR设备为用户显示操作界面，同时根据用户动作获取操作指令的具体步骤为：
通过AR设备为用户显示操作界面，同时采集并识别声音数据，获得音调数据；按照预设的操作关联规则获取所述音调数据相对应的操作数据，基于所述操作数据生成操作指令；
所述操作指令包括弹奏引导指令和评估指令。
作为一种可实施方式，当所述操作指令为弹奏引导指令时，所述虚拟数据包括琴弦指引数据、指法指引数据和/或简谱显示数据，此时执行所述操作指令生成虚拟数据的具体步骤为：
根据用户的动作获取操作数据，并基于所述操作数据提取对应的曲谱数据，所述曲谱数据包括音符数据和指法数据；
根据弹奏引导指令生成琴弦指引数据、指法指引数据和/或简谱显示数据，包括：
基于预设的琴弦关联规则按照音符数据提取相对应的琴弦位置，生成琴弦指引数据；
基于预设的指法关联规则按照指法数据提取相对应的指法三维动画，生成指法显示指引数据；
提取所述曲谱数据对应的简谱显示数据。
作为一种可实施方式，当所述操作指令为弹奏引导指令时，还包括体感指引步骤，具体步骤为：
基于预设的指法关联规则按照指法数据提取相对应的体感反馈数据，生成指法体感指引数据，将所述指法体感指引数据发送至体感装置，由体感装置根据所述指法体感指引数据进行指法引导。
作为一种可实施方式，当所述操作指令为评估指令时，所述虚拟数据包括琴弦键位准确度、指法准确度和节奏感，此时执行所述操作指令生成虚拟数据的具体步骤为：
根据用户的动作获取操作数据，并基于所述操作数据提取对应的曲谱数据，所述曲谱数据包括音符数据、指法数据、和预设两个音符之间的标准间隔时长；
在用户弹奏过程中，采集并识别声音数据，获取音调数据和音量数据，同时通过体感装置采集压力数据，识别所述压力数据获得弹奏指法数据；
将所述音调数据和音量数据与所述音符数据进行匹配，根据匹配结果生成琴弦键位准确度；
将所述弹奏指法数据与所述指法数据进行匹配，根据匹配结果生成指法准确度；
根据音调数据计算预设两个音符之间的时间差，获取实际间隔时长，根据所述实际间隔时长和标准间隔时长生成节奏感。
作为一种可实施方式，当所述操作指令为评估指令时，所述虚拟数据包括琴弦键位准确度、指法准确度和节奏感，此时执行所述操作指令生成虚拟数据后还包括反馈指导步骤，具体步骤为：
获取琴弦键位准确度、指法准确度和节奏感；
将琴弦键位准确度与预设的琴弦键位准确度阈值进行比较、将指法准确度与预设的指法准确度阈值进行比较、并将节奏感与预设的节奏感阈值进行比较，获得比较结果；
当指法准确度小于预设的指法准确度阈值时，提取指法练习曲谱数据；
当琴弦键位准确度小于预设的琴弦键位准确度阈值，且指法准确度小于预设的指法准确度阈值时，提取出错段落并放缓播放速度后进行练习；
当琴弦键位准确度小于预设的琴弦键位准确度阈值，且指法准确度大于等于预设的指法准确度阈值时，提取出错段落，先按正常速度进行练习，再提高播放速度后进行练习；
当节奏感大于预设的节奏感阈值，按照预设的节奏感练习规则提取与节奏感相对应的节奏感练习曲谱数据。
本发明由于采用了以上技术方案，具有显著的技术效果：
1、本发明采用AR技术，提高用户沉浸感，且可直接于新古筝上进行辅助教学，与现有技术相，便携性高；本发明中将虚拟数据基于琴弦分布数据进行叠加显示，无需设置灯条指示装置即可实现对琴弦的指引，故本系统安装完成后无需用户重新调音，与现有技术相比能够提高用户体验；
2、本发明通过对体感装置中第一压力感应器和第二压力感应器的设计，能够采集用于确定对应拨片的受力面压力数据，使数据处理装置能够根据压力数据和指法原理分析获得用户的弹奏指法，对用户弹奏指法准确性进行监控；
3、本发明通过对键位定位装置的设计，能够定位每个琴码的位置，从而确定琴弦分布情况，还能根据琴码的位置获取对应琴弦的弹奏区域；对固定件上缺口的设计，便于用户安装键位定位装置。
4、本发明通过对云端服务器的设计，能够使各用户的数据处理装置通过云端服务器进行交互，从而根据用户的需要为用户提供实现多人协奏、远程辅导等功能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种基于AR的古筝辅助教学系统的模块连接示意图；
图2是实施例1中键位定位装置300的结构示意图；
图3是图2中键位定位装置300的使用状态示意图；
图4是图1中古筝外设设备200的模块连接示意图；
图5是图1中体感装置400的结构示意图；
图6是图5中体感指套的第一爆炸示意图；
图7是图5中体感指套的第二爆炸示意图；
图8是图5中体感指套的模块连接示意图；
图9是本发明一种基于AR的古筝辅助教学方法的工作流程示意图；
图10是实施例2中通过动态点和静态点进行琴弦引导的示意图。
图中：
100表示AR设备、200表示古筝外设设备、210表示声音输入装置、220表示数据处理装置、221表示传输模块、222表示识别模块、223表示储存模块、224表示处理模块、300表示键位定位装置、310表示识别面板、320表示连接件、330表示固定件、340表示防滑片、400表示体感装置、410表示手环、411表示控制模块、412表示体感传输模块、420表示指套、421表示拨片安装套、422表示第一震动反馈器、423表示第二震动反馈器、424表示第一压力感应器、425表示第二压力感应器、426表示第一触发器、427表示第二触发器、500表示云端服务器。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
实施例1、一种基于AR的古筝辅助教学系统(下文中简称为教学系统)，如图1所示，包括AR设备100、古筝外设设备200和若干个键位定位装置300，所述古筝外设设备200与所述AR设备100信号相连，所述键位定位装置300安装于古筝的琴码上，所述键位定位装置300与古筝的琴码一一对应；
本实施例中古筝外设设备200包括信号相连的声音输入装置210和数据处理装置220，其中数据处理装置220与所述AR设备100信号相连。
所述AR设备100用于获取真实场景数据。
所述数据处理装置220，用于对真实场景数据中的古筝和键位定位装置300进行识别，生成琴弦分布数据；还用于根据用户动作获取操作指令，执行所述操作指令并生成虚拟数据；
所述AR设备100，还用于获取所述虚拟数据，并基于琴弦分布数据将所述虚拟数据与所述真实场景数据进行叠加显示。
本实施例中，AR设备100可采用现有的AR眼镜或头戴式AR显示设备；
本实施例采用AR技术，提高用户沉浸感，且本实施例中将虚拟数据基于琴弦分布数据进行叠加显示，无需设置灯条指示装置即可实现对琴弦的指引，故本系统安装完成后无需用户重新调音，便携性高，提高用户体验；
由于古筝形态不一、每架古筝的弹奏区域不同，且琴弦较细，直接进行琴弦识别的识别准确率低，故无法直接利用AR技术对虚拟场景进行叠加，如琴弦指引时如果虚拟场景与真实场景存在偏差则无法辅助用户练习，针对该问题，本实施例中通过键位定位装置300予以解决。
如图2所示，所述键位定位装置300包括识别面板310、连接件320和固定件330，其中固定件330上设有与琴码外形相匹配的缺口，定位时所述固定件330通过缺口安装于所述琴码的上端(如图3所示)；所述识别面板310通过连接件320和固定件330相连；
本实施例中，键位定位装置300还包括防滑片340，所述防滑片340安装于固定件330与琴码的接触面(缺口处)，增强固定件330与琴码摩擦力，有效防止固定件330从琴码上滑落；
本实施例中，识别面板310与连接件320转动相连，连接件320与固定件330转动相连，从而能够根据实际情况自由调节识别面板310的倾斜角度，便于后续数据处理装置220根据AR设备100采真实场景图像快速准确的识别出识别面板310。
注：识别面板310、连接件320、固定件330均不与琴弦相接触。
由图3可知，本实施例是在琴码上放置键位定位装置300，用户仅需简单的将固定件330安装在琴码上，无需用户重新对古筝进行调音，使用方便；本实施例中通过对识别面板310进行识别能够进一步确定琴弦位置，且识别面板310位于琴码处，此时即可根据识别面板310确定对应琴弦的弹奏区域(琴码右侧，古筝小头侧)。
本实施例结合基于标志物的跟踪注册技术和基于自然特征的跟踪注册技术实现对琴弦和琴码的识别定位，具体实现方法如下：
首先从预设的古筝模板图像中提取相对应的琴弦特征点集，随后在AR设备100获取的每一帧真实场景数据中提取相对应的琴弦特征点集，并通过特征点集相互之间的匹配关系来对AR设备100的空间位姿进行跟踪完成对古筝琴弦的跟踪注册；特征点检测与特征匹配方法为现有技术，故不再本实施例中详细介绍。
预先在每个琴码上放置键位定位装置300，其识别面板310上显示具有标志内容的标识物。由数据处理装置220对AR设备100所采集的真实场景数据中的标识物进行识别，并获得标识物定点信息，随后根据图形的仿射不变性原理重建预定义标识物坐标到真实场景标识物坐标的位置变化矩阵，来完成对琴码的跟踪注册。
基于琴码的跟踪注册结果对所得琴弦的跟踪注册结果进行筛选，即，提取出穿过琴码的琴弦，根据提取结果和琴码的跟踪注册结果生成琴弦分布数据。
如图4所示，所述数据处理装置220包括传输模块221、识别模块222、储存模块223和处理模块224，其中识别模块222分别与声音输入装置210、传输模块221、储存模块223和处理模块224信号相连，处理模块224还分别与传输模块221和储存模块223信号相连，传输模块221与AR设备100信号相连；
数据处理装置220用于对AR设备100所采集的真实场景数据进行处理，具体为：
所述传输模块221，接收所述真实场景数据，并将其发送至识别模块222；
所述识别模块222，接收并识别所述真实场景数据，获得琴弦分布数据。
数据处理装置220还用于对声音输入装置210所采集的声音数据进行处理，具体为：
所述声音输入装置210，用于采集用户弹奏时的声音数据，并将其发送至识别模块222；
所述识别模块222，用于接收并识别所述声音数据，获得音调数据；
所述处理模块224，用于从储存模块223中调取与所述音调数据相关联的操作指令，执行所述操作指令，并根据操作指令生成虚拟数据；
数据处理装置220还用于根据音调数据和琴弦分布数据生成虚拟数据并控制其显示，具体为：
所述处理模块224从储存模块223中调取与所述音调数据相关联的操作指令，执行所述操作指令，并根据操作指令生成虚拟数据，并将所述虚拟数据通过传输模块221发送至AR设备100，控制AR设备100将所述虚拟数据与所述真实场景数据进行叠加显示。
所述操作指令包括弹奏引导指令和评估指令。
本实施例中，储存模块223用于储存所有用于辅助教学的数据，如曲谱数据、基础乐理数据、关联规则数据和练习曲谱数据。
曲谱信息包括指法数据、音符数据和相邻音符时间间隔数据(相邻两个音符之间的标准时间间隔数据)；
基础乐理数据包括预存的古筝音调和指法三维动画；
关联规则数据包括预设的操作关联规则、预设的琴弦关联规则和预设的指法关联规则；
练习曲谱数据包括指法练习曲谱数据和节奏感练习曲谱数据；
在实际使用中，识别模块222将所接收的声音信息与预存的古筝音调进行匹配，获取匹配成功的古筝音调，以该古筝音调作为音调数据，并提取与所述古筝音调相关联的琴弦编码和音符。
处理模块224则可根据琴弦编码与操作数据的关联关系确定并响应用户的操作，以获取相对应的操作指令。
本实施例可根据操作指令生成琴弦指引数据、指法指引数据和/或简谱显示数据，并通过AR设备100进行叠加显示，具体为：
处理模块224根据用户的动作获取操作数据，并基于所述操作数据提取对应的曲谱数据；
当进行简谱显示时，处理模块224从储存模块223中调取相对应的简谱显示数据，并令AR设备100基于古筝琴弦分布数据将简谱显示数据叠加至古筝上方进行，从而通过AR设备100为用户展示对应曲谱的简谱。
当进行琴弦引导时，处理模块224根据曲谱数据中的音符数据获取与其相关联的琴弦编号，生成琴弦指引数据，所述琴弦指引数据包括琴弦位置数据(琴弦编号)、虚拟提示数据(用于提示用户弹奏琴弦的标志)和相邻音符时间间隔数据；
AR设备100基于古筝琴弦分布数据和相邻音符时间间隔数据，按照琴弦位置数据将虚拟提示数据叠加至相应琴弦，以实现琴弦引导。
当进行指法引导时，处理模块224根据曲谱数据中的指法数据获取与其相关联的指法三维动画，结合上述琴弦编号生成指法指引数据，所述指法指引数据包括琴弦位置数据(琴弦编号)、指法三维动画和相邻音符时间间隔数据；
本实施例中AR设备100基于古筝琴弦分布数据和相邻音符时间间隔数据，按照琴弦位置数据将指法三维动画叠加至相应琴弦，以实现琴弦和指法的共同引导。
如，用户通过拨动琴弦在曲谱列表中选择某一曲谱后，处理模块224从储存模块223中提取该曲谱对应的指法数据、音符数据、相邻音符时间间隔数据和简谱显示数据，并基于音符数据获取与各音符对应的琴弦位置数据，基于指法数据获取与指法对应的指法三维动画，生成琴弦指引数据、指法指引数据和简谱显示数据作为虚拟数据；
AR设备100接收上述虚拟数据并基于琴弦分布数据进行叠加显示，此时简谱显示数据位于古筝上方，指法三维动画和用于指引琴弦的虚拟提醒数据均叠加至对应琴弦上，用户可按照简谱显示数据和虚拟提醒数据，模仿对应的指法三维动画进行古筝弹奏学习。
整个弹奏过程中，识别模块222通过声音输入装置210实时采集用户弹奏的声音数据，将所得声音数据与储存模块223中预存的古筝音调进行匹配，获得音调数据；处理模块224将所述音调数据与对应曲谱的音符数据进行匹配，从而定位当前弹奏进度，根据当前弹奏进度更新琴弦指引数据、指法指引数据和简谱显示数据。
注：储存模块223中还可储存虚拟场景数据和虚拟游戏数据；
处理模块224根据用户动作获取操作数据，并根据操作数据从储存模块223中提取用户选择的虚拟场景数据，将所述虚拟场景数据发送给AR设备100，由AR设备100基于琴弦分布数据将虚拟场景数据叠加至古筝外，即，为用户提供古筝外的虚拟演奏环境(如自然环境、舞台等)。
处理模块224根据用户动作获取操作数据，并根据操作数据从储存模块223中提取用户选择的虚拟游戏数据，将所述虚拟游戏数据发送给AR设备100，由AR设备100基于琴弦分布数据将虚拟场景数据叠加至古筝，即，为用户提供古筝弹奏的交互游戏。
另一实施例中，教学系统还包括体感装置400，所述体感装置400与传输模块221信号相连；
所述处理模块224，还用于根据操作指令生成指法体感指引数据，并将所述指法体感指引数据通过传输模块221发送至体感装置400，控制所述体感装置400根据体感指引数据进行体感反馈。
本实施例中，所述储存模块223中储存有与指法一一对应的体感反馈数据，处理模块224基于所获取曲谱数据中的指法数据从储存模块223中提取相对应的体感反馈数据，生成指法体感指引数据，所述指法体感指引数据包含体感反馈数据和相邻音符时间间隔数据；
所述体感装置400基于相邻音符时间间隔数据按照体感反馈数据进行震动提示，体感反馈和上述指法三维动画可单独指引/共同指引。
本实施例中，如图5所示，所述体感装置400包括手环410和四个体感指套，所述体感指套包含指套420、拨片安装套421、第一震动反馈器422和第二震动反馈器423；
所述体感指套的具体结构如图6和图7所示，所述指套420上设有拨片安装套421、第一震动反馈器422和第二震动反馈器423，其中第一震动反馈器422位于拨片安装套421同侧，第二震动反馈器423位于拨片安装套421对侧，拨片安装套421用于安装拨片；
所述手环410中设有体感传输模块412、电池模块和控制模块411，其中电池模块为第一震动反馈器422、第二震动反馈器423、体感传输模块412和控制模块411供电，即，为体感装置400供电，控制模块411分别与第一震动反馈器422、第二震动反馈器423和体感传输模块412信号相连，体感传输模块412与传输模块221信号相连；
所述控制模块411用于通过体感传输模块412接收指法体感指引数据，并按照指法体感指引数据控制第一震动反馈器422和第二震动反馈器423进行震动反馈。
在实际使用时，用户可将拨片插入拨片安装套421，然后基于第一震动反馈器422和第二震动反馈器423所进行震动反馈采用对应的指法拨动琴弦；
本实施例中，x1表示第一震动反馈器422、X2表示第二震动反馈器423；
x包括a、b、c、d，其中以a表示大拇指、b表示食指、c表示中指、d表示无名指；
每一种指法具体对应体感装置400上震动反馈器的震动区域，如：托，a2；劈，a1；抹，b2；挑，b1；勾，c2；剔，c 1；提，d1；摇指，a1a2交替响应或b1b2交替响应。
本实施例中，所述拨片安装套421下表面设有上安装件(如图6中圆环所示)、第一压力感应器424和第二压力感应器425(如图7所示)，第一压力感应器424位于远离拨片的一侧，第二压力感应器425位于靠近拨片的一侧，第一压力感应器424和第二压力感应器425均与控制模块411信号相连；
所述指套420上表面设有下安装件(如图6中圆环所示)、第一触发器426和第二触发器427(如图6所示)，第一触发器426与所述第一压力感应器424相对应，第二触发器427与所述第二压力感应器425相对应，下安装件与上安装件转动相连，使拨片拨动琴弦时，第一压力感应器424挤压第一触发器426，或第二压力感应器425挤压第二触发器427；
注：所述上安装件和下安装件用于将拨片安装套421安装于指套420上，且使拨片拨动琴弦时，第一压力感应器424能够挤压第一触发器426，或第二压力感应器425能够挤压第二触发器427；
所述控制模块411接收第一压力感应器424和第二压力感应器425所检测的压力数据，并将所得压力数据通过体感传输模块412发送至数据处理装置220，由数据处理装置220根据所述压力数据对指法准确度进行分析。
本实施例中通过第一压力感应器424和第二压力感应器425所检测的压力数据判读拨片的弹拨情况，如拨片前端下压琴弦时(拨片下表面受向上的力)，所述拨片的尾端将会下压，此时第一压力感应器424将挤压第一触发器426，从而根据第一压力感应器424的压力数据和所在的指套420判断对应的指法；同理，如拨片前端上挑琴弦时(拨片上表面受向下的力)，所述拨片的尾端将会上压，此时第二压力感应器425将挤压第二触发器427，从而根据第二压力感应器425的压力数据和所在的指套420判断对应的指法。
由于拨片拨动琴弦时，拨片安装套421发生细微的转动，故本实施例中设计第一触发器426和第二触发器427(本实施例中第一触发器426和第二触发器427为凸起结构)，使拨片未弹奏时第一压力感应器424/第二压力感应器425的压力值恰好为0或存在初始压力值，从而使拨片拨动琴弦时，第一压力感应器424/第二压力感应器425能够检测到压力的变化。
所述控制模块411通过第一压力感应器424和第二压力感应器425采集压力数据，并将所述压力数据通过体感传输模块412发送至传输模块221(所述压力数据包含指套420编号、压力感应器编号和压力值)；
识别模块222包括均与处理模块224和储存模块223相连的图像识别单元、声音识别单元和体感识别单元，图像识别单元和体感识别单元均与传输模块221信号相连，声音识别单元与声音输入装置210信号相连；
图像识别单元用于识别真实场景数据中的古筝和键位定位装置300，获得琴弦分布数据；
声音识别单元用于识别声音输入装置210所采集的声音数据，获得相对应的音调数据；
体感识别单元用于识别所述压力数据，获得相对应的弹奏指法数据。
在实际使用中：X1表示的第一压力感应器424、X2表示第二压力感应器425；
X包括A、B、C、D，其中以A表示大拇指、B表示食指器、C表示中指、D表示无名指；
托，A2；劈，A1；抹，B2；挑，B1；勾，C2；剔，C1；提，D1；摇指，A1A2交替响应或B1B2交替响应。此类指法识别只需通过反馈手套的压力传感进行判断识别。
连托或双托，A2连续响应；连抹或双抹，B2连续响应；连勾或双勾，C2连续响应；此类指法识别需要通过体感装置400和声音识别结合进行指法识别，通过体感装置400判断指法是组合指法，通过声音识别单元判断音调之间的高低，音调相同是连托、连抹或连勾，音调有差别是双托、双抹或双勾。
另一实施例中，教学系统还包括云端服务器500，所述云端服务器500分别与多个数据处理装置220的传输模块221信号相连，所述数据处理装置220通过云端服务器500与其他数据处理装置220进行数据交互。
所述操作指令还包括多人协作演奏、导师远程指导；
当操作指令为多人协作演奏/导师远程指导时，处理模块224通过外部的摄像装置录入用户演奏的影像数据，还利用声音输入装置210例如用户演奏的声音数据，将所得影像数据和声音数据通过传输模块221同步至云端服务器500，并从云端服务器500同步下载对应同伴(协奏同伴/导师/学生)的影像数据和声音数据；处理模块224将所得影像数据进行处理，获得虚拟影像数据，并将各声音数据进行混合，获得混合声音数据，将虚拟影像数据通过AR设备100进行显示，并将混合声音数据通过AR设备100或外设的音响进行播放。
当导师远程指导时，处理模块224还通过体感装置400采集用户的弹奏体感数据，通过传输模块221同步至云端服务器500，并从云端服务器500同步下载对应导师的弹奏体感数据，此时学习者不仅可以通过图像和声音来感受异地老师的辅导，而且也可以感受到异地老师的实时指法体感响应，实现更加真实的远程古筝教学。
实施例2、基于实施例1所述系统实现的一种基于AR的古筝辅助教学方法，如图9所示，包括以下步骤：
S100、于古筝的各琴码上设置键位定位装置300；
S200、通过AR设备100获取真实场景数据，对真实场景数据中的古筝和键位定位装置进行识别，生成琴弦分布数据；
S300、通过AR设备100为用户显示操作界面，同时根据用户动作获取操作指令，执行所述操作指令并生成虚拟数据，将所述虚拟数据发送至AR设备100，由AR设备100基于琴弦分布数据将所述虚拟数据进行叠加显示。
本实施例采用AR技术，提高用户沉浸感，且本实施例是在琴码上设置键位定位装置300，无需用户重新对古筝进行调音，使用方便。
古筝教学与普通知识的学习不同，不能简单的将课本知识通过AR技术展示给学生，而是需要针对真实场景的古筝进行教学，而现实中每个古筝的形态都是不同的，本实施例通过键位定位装置300实现对古筝琴弦的定位，以生成琴弦分布数据，从而使AR设备100基于琴弦分布数据将虚拟数据进行叠加显示，从而能够为用户展示与其古筝相对应的虚拟场景。
步骤S200中，生成琴弦分布数据的具体方法如下：
对真实场景数据中的古筝进行识别，获得古筝形态数据，并识别获得古筝形态数据中的琴面和琴弦；
对古筝形态数据中的键位定位装置300进行识别，获取定位点，根据定位点获取键位定位装置300的数量和排列顺序，并根据数量和排列顺序确定每个定位点对应的古筝音调，并对穿过此定位点的琴弦进行编码记录，生成琴弦分布数据。
由上可知，古筝音调和对应的琴弦位置通过定位点进行绑定，从而生成琴弦关联规则。
注，古筝音调还预先与各音符进行关联。
本实施例中首先基于现有的图像识别技术区分古筝整体形态与外界环境区域，其次，对古筝整体形态中的琴面和琴弦进行识别；由于琴弦较细，直接进行识别的准确率较低，且无法识别古筝的弹奏区域，故本实施例中在琴码上设置键位定位装置300，通过对键位定位装置300进行识别实现对琴弦的确认，且键位定位装置300位于琴码上，故可根据识别获得的定位点及与其对应琴弦确定所述琴弦的弹奏区域。
所述S300中通过AR设备100为用户显示操作界面，同时根据用户动作获取操作指令的具体步骤为：
通过AR设备100为用户显示操作界面，同时采集并识别声音数据，获得音调数据；按照预设的操作关联规则获取所述音调数据相对应的操作数据，基于所述操作数据生成操作指令；
所述操作指令包括弹奏引导指令和评估指令。
由于古筝不同琴弦对应的音调不同，故预先将琴弦分别与操作数据和音调进行映射，生成操作关联规则，所述操作数据包括向上/向左、向下/向右、取消、确认等；用户通过拨动琴弦，选择其所需的服务，此时即可根据用户的选择，获取相应的操作指令；
在实际使用中，通过AR设备100为用户显示操作界面，所述操作界面上显示服务列表(弹奏引导服务和评估服务)以及操作指引(琴弦与操作数据的映射关系)，如在对应琴弦处叠加显示表示操作数据的虚拟图标，即，在对应琴弦处叠加向上/向左、向下/向右、取消、确认等图标。
用户可根据实际需要拨动对应琴弦，此时采集并识别声音数据，获得音调数据，并按照预设的操作关联规则识别用户的操作，获取用户选择的服务，生成相对应的操作指令。
S310、当所述操作指令为弹奏引导指令时，所述虚拟数据包括琴弦指引数据、指法指引数据和/或简谱显示数据，此时执行所述操作指令生成虚拟数据的具体步骤为：
根据用户的动作获取操作数据，并基于所述操作数据提取对应的曲谱数据，所述曲谱数据包括音符数据和指法数据；
根据弹奏引导指令生成琴弦指引数据、指法指引数据和/或简谱显示数据，包括：
基于预设的琴弦关联规则按照音符数据提取相对应的琴弦位置，生成琴弦指引数据；
基于预设的指法关联规则按照指法数据提取相对应的指法三维动画，生成指法显示指引数据；
提取所述曲谱数据对应的简谱显示数据。在实际操作过程中，根据弹奏引导指令提取曲谱列表，并将所述曲谱列表通过AR设备100进行显示，此时用户拨动琴弦对曲谱列表中曲谱进行选择，获得曲谱信息；
弹奏引导指令包含曲谱展示命令、琴弦指引命令和指法指引命令中的至少一种；
A、当所述弹奏引导指令包含曲谱展示命令时：
提取与所述曲谱数据对应的简谱显示数据和音符数据，将所述简谱显示数据通过AR设备100进行显示，同时实时采集并识别声音数据，获得音调数据，根据所述音调数据与所述音符数据进行匹配，生成曲谱进度定位数据，根据曲谱进度数据更新进行显示的简谱显示数据；本实施例不仅能够通过AR技术为用户显示对应曲谱的简谱，还能识别用户弹奏的声音数据，基于声音数据实现简谱的自动换行/自动翻页。注，所述音调数据与所述音符数据进行匹配，生成曲谱进度定位数据为现有技术，故不再本说明书中进行详细介绍。
由于古筝初学者的节奏感不强，弹奏不熟练，如按照标准曲谱播放数据进行简谱的自动换行/自动翻页，往往会出现用户跟不上简谱的播放进度的情况，本实施例基于用户弹奏的声音数据实现简谱的自动换行/自动翻页，则能提高用户的体验，贴合用户需求。
B、当所述弹奏引导指令包含琴弦指引命令时：
提取与所述曲谱数据对应的音符数据，基于预设的琴弦关联规则按照音符数据提取相对应的琴弦位置，生成琴弦指引数据；
本实施例中按照小节生成琴弦指引数据，即，琴弦指引数据包括虚拟提示数据、相邻音符时间间隔和琴弦位置数据；
AR设备100根据琴弦指引数据，基于相邻音符时间间隔数据将虚拟提示数据依次叠加至需要弹奏的琴弦上，此时用户通过AR设备100即可看到与曲谱一一对应的琴弦键位，之后用户按照所看见的琴弦键位按照指法进行弹奏即可。
相关领域的技术人员可根据实际需要自行设定虚拟提示数据的样式、如点状、线状，相关领域的技术人员还可根据实际需要自行设置引导方式，本实施例中包括以下两种引导方式：
按小节引导：此时虚拟提示数据为线状，其与对应琴弦的弹奏区域同长，按照音符数据和琴弦位置数据将所述虚拟提示数据依次叠加至对应琴弦上进行显示，从而为用户连续演示一小节的琴弦键位信息，之后用户根据曲谱自行弹奏；
按琴弦引导：此时虚拟提示数据包括动态点和静态点(如图10所示)，静态点标识对应琴弦的最佳弹奏点(确定最佳弹奏点方法为现有技术，故不再本说明书中详细告知)，动态点沿着对应琴弦移动到静态点上，且移动时长用于体现其弹奏节奏，即，当动态点和静态点叠加至某一琴弦进行显示时，表示所述琴弦为下一弹奏琴弦，当动态点移动到静态点上时，表示所述琴弦当前需要弹奏；
由上可知，本实施例对琴弦指引数据的设计能够按照曲谱为用户指引需要弹奏的琴弦键位，且本实施例中通过对动态点和静态点的设计，在为用户指引琴弦键位的同时还能引导用户的弹奏节奏。
本实施例中，琴弦指引数据还可包括错误反馈数据，即当用户根据虚拟提示数据的引导进行弹奏的过程中如仍弹错键位，或未在动态点和静态点重合时进行弹奏，此时将错误反馈数据叠加至对应琴弦进行显示，错误反馈数据可为线状(颜色与虚拟提示数据不同)，还可为“！”、“X”等标志，本实施例中不做具体限定。
判断用户琴弦键位弹奏是否正确的方法为：
采集用户弹奏过程中的声音数据，对所述声音数据进行识别，获得音调数据，将所述音调数据与音符数据进行匹配，当匹配成功时判定其琴弦键位弹奏正确，否则判定为错误。
判断用户弹奏节奏是否正确的方法为：
提取相邻音符之间的标准间隔时间以及用户实际的弹奏间隔时间，当所述标准间隔时间与弹奏间隔时间差值的绝对值大于预设的间隔阈值时，判定其弹奏节奏错误。
所述标准间隔时间即为动态点移动到静态点的用时，且相关领域的技术人员可根据实际需要自行设定间隔阈值。
C、当所述弹奏引导指令包含指法指引命令时，包括基于AR显示进行指法指引和基于体感反馈进行指法指令两种方式。
C1、基于AR显示进行指法指引：
提取与所述曲谱数据对应的指法数据，基于预设的指法关联规则按照指法数据提取相对应的指法三维动画，生成指法显示指引数据；
指法关联规则用于将指法名称与对应的指法三维动画进行关联；
所述指法数据即为对应曲谱弹奏过程中的各指法，本实施例中按照指法数据依次提取相对应的指法三维动画，将所得指法三维动画通过AR设备100进行显示；
本实施例中指法指引命令可以与上述步骤A和/或步骤B相关联，从而根据用户弹奏的声音数据切换指法三维动画(此时音符数据与指法数据一一对应)。
即，识别用户弹奏的声音数据获取音调数据，将音调数据和音符数据进行匹配，生成曲谱进度定位数据，基于曲谱进度定位数据切换显示的指法三维动画。
本实施例中指法指引命令可以与步骤B相关联，从而在琴弦引导的同时进行指法引导(此时音符数据与指法数据一一对应)。
即，基于琴弦位置数据将所得指法三维动画叠加至对应琴弦进行引导。
由上可知，本实施通过AR技术为用户提供三维动态的指法指示，便于用户准确理解指法要点。
C2、基于体感反馈进行指法指引：
基于预设的指法关联规则按照指法数据提取相对应的体感反馈数据，生成指法体感指引数据，将所述指法体感指引数据发送至体感装置400，由体感装置400根据所述指法体感指引数据进行指法引导，具体引导方式见实施例1，本实施例中不再重复表述。
S320、当所述操作指令为评估指令时，所述虚拟数据包括琴弦键位准确度、指法准确度和节奏感，此时执行所述操作指令生成虚拟数据的具体步骤为：
S321、根据用户的动作获取操作数据，并基于所述操作数据提取对应的曲谱数据，所述曲谱数据包括音符数据、指法数据、和预设两个音符之间的标准间隔时长；
所述预设两个音符包括但不限于，相邻的两个音符，小节第一个音符和最后一个音符，整首曲子的第一个音符和最后一个音符。
S322、在用户弹奏过程中，采集并识别声音数据，获取音调数据，同时通过体感装置400采集压力数据，识别所述压力数据获得弹奏指法数据；
所述压力数据用于确定是拨片的那一面拨动琴弦，从而基于指法原理确定弹奏指法数据；
S323、将所述音调数据与所述音符数据进行匹配，根据匹配结果生成琴弦键位准确度；
即，计算整首曲子中弹奏正确的音符占总音符的比例，将所得结果作为琴弦键位准确度；
S324、将所述弹奏指法数据与所述指法数据进行匹配，根据匹配结果生成指法准确度；
即，计算整首曲子中弹奏正确的指法占总指法的比例，将所得结果作为指法准确度；
S325、根据音调数据计算预设两个音符之间的时间差，获取实际间隔时长，根据所述实际间隔时长和标准间隔时长生成节奏感。
本实施例中整首歌为例，即，预设两个音符为曲谱第一个音符和最后一个音符，提取标准间隔时长，即整首歌的标准时长，记录用户弹奏整首歌的总用时作为实际间隔时长，计算实际间隔时长和标准间隔时长差值的绝对值，所得绝对值越大表示节奏感越差；
本实施例中根据实际间隔时长和标准间隔时长差值的绝对值占标准间隔时长的比例作为节奏感的表征值。
本实施例中，当所述操作指令为评估指令时，所述虚拟数据包括琴弦键位准确度、指法准确度和节奏感，此时执行所述操作指令生成虚拟数据后还包括反馈指导步骤，具体步骤为：
a、获取琴弦键位准确度、指法准确度和节奏感；
b、将琴弦键位准确度与预设的琴弦键位准确度阈值进行比较、将指法准确度与预设的指法准确度阈值进行比较、并将节奏感与预设的节奏感阈值进行比较，获得比较结果；
上述琴弦键位准确度阈值、指法准确度阈值和节奏感阈值可根据实际情况进行设定，本实施例不对其进行限制；
c、当指法准确度小于预设的指法准确度阈值时，提取指法练习曲谱数据；
所述指法练习曲谱数据为不同弦位相同指法的练习曲谱，本实施例中按照指法练习曲谱数据进行反复引导练习，提高用户指法熟练度和准确度。
d、当琴弦键位准确度小于预设的琴弦键位准确度阈值，且指法准确度小于预设的指法准确度阈值时，提取出错段落并放缓播放速度后进行练习；
当琴弦准确率低且指法也准确率低时，说明曲谱速度过快，用户无法有效学习，故将出错的部分单独拎出来，放缓播放速度进行反复引导练习。
e、当琴弦键位准确度小于预设的琴弦键位准确度阈值，且指法准确度大于等于预设的指法准确度阈值时，提取出错段落，先按正常速度进行练习，再提高播放速度后进行练习；
当琴弦准确率低但指法也准确率高时，说明用户有错误的弦位弹奏惯性，故将出错的部分单独拎出来，先以正常播放速度进行反复练习加以纠正，再加快播放速度强化弦位弹奏习惯。f、当节奏感大于预设的节奏感阈值，按照预设的节奏感练习规则提取与节奏感相对应的节奏感练习曲谱数据。
预设的节奏感练习规则为，预先对节奏感进行分级，如节奏感对应的数据大于50％时表示节奏感很差，此时提供较为简单的节奏感练习曲谱数据让用户练习，如提供不同弦位但相同指法和节奏的练习曲谱；当节奏感对应的数据大于20％，小于等于50％时表示节奏感差，此时提供较为复杂的节奏感练习曲谱数据让用户练习，如不同弦位、不同指法、相同节奏感的练习曲谱。
相关领域的技术人员可自行对节奏感进行分级，并设定各级别对应的节奏感练习曲谱数据，本实施例不对其做限制。
本实施例能够检测用户弹奏过程中琴弦键位、指法的准确度，还能计算用户的节奏感，将计算结果反馈给用户，使用户了解自己古筝学习中的薄弱点，还能根据计算结果生成相应的练习曲谱供用户练习。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
需要说明的是：
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种基于AR的古筝辅助教学系统，其特征在于，包括AR设备、数据处理装置和若干个键位定位装置，所述数据处理装置与所述AR设备信号相连，所述键位定位装置安装于古筝的琴码上，所述键位定位装置与古筝的琴码一一对应；
所述AR设备用于获取真实场景数据；
所述数据处理装置，用于对真实场景数据中的古筝和键位定位装置进行识别，生成琴弦分布数据；还用于根据用户动作获取操作指令，执行所述操作指令并生成虚拟数据；
所述AR设备，还用于基于琴弦分布数据将所述虚拟数据与所述真实场景数据进行叠加显示。
2.根据权利要求1所述的基于AR的古筝辅助教学系统，其特征在于，还包括声音输入装置，所述声音输入装置与所述数据处理装置信号相连；
所述声音输入装置，用于采集用户弹奏时的声音数据，并将其发送至数据处理装置；
所述数据处理装置，用于对所述声音数据进行识别，生成音调数据，调取与所述音调数据相关联的操作指令，执行所述操作指令并生成虚拟数据。
3.根据权利要求2所述的基于AR的古筝辅助教学系统，其特征在于，所述数据处理装置包括传输模块、识别模块、储存模块和处理模块，其中识别模块分别与声音输入装置、传输模块、储存模块和处理模块信号相连，处理模块还分别与传输模块和储存模块信号相连，传输模块与AR设备信号相连；
所述识别模块，用于接收并识别声音数据，获得音调数据，还用于接收并识别真实场景数据，获得琴弦分布数据；
所述处理模块，用于从储存模块中调取与所述音调数据相关联的操作指令，执行所述操作指令，并根据操作指令生成虚拟数据；还用于控制AR设备将所述虚拟数据与所述真实场景数据进行叠加显示；
所述虚拟数据包括琴弦指引数据、指法指引数据和简谱显示数据。
4.根据权利要求1所述的基于AR的古筝辅助教学系统，其特征在于，还包括体感装置，所述体感装置与数据处理装置信号相连；
所述数据处理装置还根据操作指令生成指法体感指引数据，并控制所述体感装置根据体感指引数据进行体感反馈。
5.根据权利要求4所述的基于AR的古筝辅助教学系统，其特征在于：
所述体感装置包括手环和四个指套；
所述指套上设有拨片安装套、第一震动反馈器和第二震动反馈器，其中第一震动反馈器位于拨片安装套同侧，第二震动反馈器位于拨片安装套对侧，拨片安装套用于安装拨片；
所述手环中设有体感传输模块、电池模块和控制模块，其中电池模块为第一震动反馈器、第二震动反馈器、体感传输模块和控制模块供电，控制模块分别与第一震动反馈器、第二震动反馈器和体感传输模块信号相连，体感传输模块与传输模块信号相连；
所述控制模块用于通过体感传输模块接收指法体感指引数据，并按照指法体感指引数据控制第一震动反馈器和第二震动反馈器进行震动反馈。
6.根据权利要求5所述的基于AR的古筝辅助教学系统，其特征在于：
所述拨片安装套下表面设有上安装件、第一压力感应器和第二压力感应器，第一压力感应器位于远离拨片的一侧，第二压力感应器位于靠近拨片的一侧，第一压力感应器和第二压力感应器均与控制模块信号相连；
所述指套上表面设有下安装件、第一触发器和第二触发器，第一触发器与所述第一压力感应器相对应，第二触发器与所述第二压力感应器相对应，下安装件与上安装件转动相连，使拨片拨动琴弦时，第一压力感应器挤压第一触发器，或第二压力感应器挤压第二触发器；
所述控制模块接收第一压力感应器和第二压力感应器所检测的压力数据，并将所得压力数据通过体感传输模块发送至数据处理装置，由数据处理装置根据所述压力数据对指法准确度进行分析。
7.根据权利要求1～6任一所述的基于AR的古筝辅助教学系统，其特征在于：
所述键位定位装置包括识别面板、连接件和固定件，所述固定件上设有与琴码外形相匹配的缺口，定位时所述固定件通过缺口安装于所述琴码的上端；
所述识别面板通过连接件和固定件相连。
8.根据权利要求1～6任一所述的基于AR的古筝辅助教学系统，其特征在于，还包括云端服务器；
所述云端服务器与多个数据处理装置信号相连，所述数据处理装置通过云端服务器与其他数据处理装置进行数据交互。
9.一种基于AR的古筝辅助教学方法，采用权利要求1～8任一所述系统实现，其特征在于包括以下步骤：
于古筝的各琴码上设置键位定位装置；
通过AR设备获取真实场景数据，对真实场景数据中的古筝和键位定位装置进行识别，生成琴弦分布数据；
通过AR设备为用户显示操作界面，同时根据用户动作获取操作指令，执行所述操作指令并生成虚拟数据，将所述虚拟数据发送至AR设备，由AR设备基于琴弦分布数据将所述虚拟数据进行叠加显示。
10.根据权利要求9所述的基于AR的古筝辅助教学方法，其特征在于，通过AR设备为用户显示操作界面，同时根据用户动作获取操作指令的具体步骤为：
通过AR设备为用户显示操作界面，同时采集并识别声音数据，获得音调数据；按照预设的操作关联规则获取所述音调数据相对应的操作数据，基于所述操作数据生成操作指令；
所述操作指令包括弹奏引导指令和评估指令，当所述操作指令为弹奏引导指令时，所述虚拟数据包括琴弦指引数据、指法指引数据和/或简谱显示数据。
CN201911239128.2A 2019-12-06 2019-12-06 一种基于ar的古筝辅助教学系统及方法 Active CN110910712B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911239128.2A CN110910712B (zh) 2019-12-06 2019-12-06 一种基于ar的古筝辅助教学系统及方法
US17/105,935 US11580868B2 (en) 2019-12-06 2020-11-27 AR-based supplementary teaching system for guzheng and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911239128.2A CN110910712B (zh) 2019-12-06 2019-12-06 一种基于ar的古筝辅助教学系统及方法

Publications (2)

Publication Number Publication Date
CN110910712A true CN110910712A (zh) 2020-03-24
CN110910712B CN110910712B (zh) 2021-06-04

Family

ID=69823121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911239128.2A Active CN110910712B (zh) 2019-12-06 2019-12-06 一种基于ar的古筝辅助教学系统及方法

Country Status (2)

Country Link
US (1) US11580868B2 (zh)
CN (1) CN110910712B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210272370A1 (en) * 2020-02-28 2021-09-02 Mark Strachan Augmented reality system and method

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6452081B1 (en) * 2000-05-18 2002-09-17 Steven F. Ravagni Stringed instrument finger positioning guide and method for teaching students to read music
JP2012058556A (ja) * 2010-09-10 2012-03-22 Jvc Kenwood Corp 演奏支援装置および演奏支援方法
US20120285314A1 (en) * 2011-05-12 2012-11-15 Kellner Robert L System and Method for Musical Education
CN103794106A (zh) * 2014-03-11 2014-05-14 哈尔滨工业大学 乐器演奏辅助教学系统
US20150317910A1 (en) * 2013-05-03 2015-11-05 John James Daniels Accelerated Learning, Entertainment and Cognitive Therapy Using Augmented Reality Comprising Combined Haptic, Auditory, and Visual Stimulation
CN205508194U (zh) * 2016-03-07 2016-08-24 钦赛勇 智能手套
CN106373456A (zh) * 2016-11-09 2017-02-01 大连文森特软件科技有限公司 基于ar增强现实和演奏评价的小提琴辅助学习体验系统
CN108831415A (zh) * 2018-08-24 2018-11-16 北京晨语筝业教育科技有限公司 一种具有动作采集功能的古筝
CN109559593A (zh) * 2018-12-29 2019-04-02 深圳市掌网科技股份有限公司 一种基于混合现实的钢琴训练系统及方法
CN109637271A (zh) * 2019-01-28 2019-04-16 中国美术学院 古筝教学人机交互辅助装置及系统
CN110262664A (zh) * 2019-06-21 2019-09-20 济南大学 一种具有认知能力的智能交互手套

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2516634A (en) * 2013-07-26 2015-02-04 Sony Corp A Method, Device and Software
US9524652B2 (en) * 2013-09-05 2016-12-20 Keith Grafman System and method for learning to play a musical instrument
US10186166B2 (en) * 2016-04-24 2019-01-22 Angelos Gialamas Enhancing stringed instrument learning with a wearable device
GB2550940B (en) * 2016-06-01 2020-11-11 Dutton Darren Aid for playing a stringed musical instrument
WO2018195293A1 (en) * 2017-04-19 2018-10-25 Vidoni, Inc. Augmented reality learning system and method using motion captured virtual hands
US10482862B2 (en) * 2017-05-17 2019-11-19 Yousician Oy Computer implemented method for providing augmented reality (AR) function regarding music track

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6452081B1 (en) * 2000-05-18 2002-09-17 Steven F. Ravagni Stringed instrument finger positioning guide and method for teaching students to read music
JP2012058556A (ja) * 2010-09-10 2012-03-22 Jvc Kenwood Corp 演奏支援装置および演奏支援方法
US20120285314A1 (en) * 2011-05-12 2012-11-15 Kellner Robert L System and Method for Musical Education
US20150317910A1 (en) * 2013-05-03 2015-11-05 John James Daniels Accelerated Learning, Entertainment and Cognitive Therapy Using Augmented Reality Comprising Combined Haptic, Auditory, and Visual Stimulation
CN103794106A (zh) * 2014-03-11 2014-05-14 哈尔滨工业大学 乐器演奏辅助教学系统
CN205508194U (zh) * 2016-03-07 2016-08-24 钦赛勇 智能手套
CN106373456A (zh) * 2016-11-09 2017-02-01 大连文森特软件科技有限公司 基于ar增强现实和演奏评价的小提琴辅助学习体验系统
CN108831415A (zh) * 2018-08-24 2018-11-16 北京晨语筝业教育科技有限公司 一种具有动作采集功能的古筝
CN109559593A (zh) * 2018-12-29 2019-04-02 深圳市掌网科技股份有限公司 一种基于混合现实的钢琴训练系统及方法
CN109637271A (zh) * 2019-01-28 2019-04-16 中国美术学院 古筝教学人机交互辅助装置及系统
CN110262664A (zh) * 2019-06-21 2019-09-20 济南大学 一种具有认知能力的智能交互手套

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210272370A1 (en) * 2020-02-28 2021-09-02 Mark Strachan Augmented reality system and method
US11798236B2 (en) * 2020-02-28 2023-10-24 Mark Strachan Augmented reality system and method

Also Published As

Publication number Publication date
CN110910712B (zh) 2021-06-04
US20210174690A1 (en) 2021-06-10
US11580868B2 (en) 2023-02-14

Similar Documents

Publication Publication Date Title
US10339829B2 (en) System and method for learning to play a musical instrument
CN107978303B (zh) 智能钢琴的智能检测和反馈系统
US11508344B2 (en) Information processing device, information processing method and program
US7378585B2 (en) Musical teaching device and method using gloves and a virtual keyboard
US20220398937A1 (en) Information processing device, information processing method, and program
US20150332601A1 (en) Piano Learning System
CN111259863B (zh) 弹奏手型检测/展示方法、介质、钢琴、终端及服务端
WO2017037342A1 (en) System for teaching a user to play a musical instrument from musical notation via virtual exercises and a method thereof
JP2013515288A (ja) 教育用弦楽器タッチスクリーンシミュレーション
US20170221377A1 (en) Musical performance assistance apparatus and method
CN109637271B (zh) 古筝教学人机交互辅助装置及系统
CN110910712B (zh) 一种基于ar的古筝辅助教学系统及方法
CN110689866A (zh) 基于增强现实的小提琴辅助教学方法及系统
JP2024507132A (ja) 楽器教習システム、方法及び可読記憶媒体
CN110379253A (zh) 小提琴综合辅助学习的方法、装置、软件与系统
CN114170868A (zh) 智能钢琴训练的方法和系统
CN108831415A (zh) 一种具有动作采集功能的古筝
Tsutsumi et al. A piano performance training system based on visual and tactile guidance
CN208689917U (zh) 一种具有演奏提示功能的古筝
JP2011221472A (ja) 画像表示装置付きギター
CN116631264A (zh) 一种辅助音乐教学的方法、系统及装置
CN208689919U (zh) 一种具有动作采集功能的古筝
Kashiwagi et al. A Study of Left Fingering Detection Using CNN for Guitar Learning
CN114783222B (zh) 一种基于ar技术的乐器辅助教学方法和系统
KR20120076445A (ko) 피아노 교육 시스템 및 이에 사용되는 입력장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant