CN110706553A - 一种基于ar增强现实的乐器辅助学习系统及方法和装置 - Google Patents
一种基于ar增强现实的乐器辅助学习系统及方法和装置 Download PDFInfo
- Publication number
- CN110706553A CN110706553A CN201911106507.4A CN201911106507A CN110706553A CN 110706553 A CN110706553 A CN 110706553A CN 201911106507 A CN201911106507 A CN 201911106507A CN 110706553 A CN110706553 A CN 110706553A
- Authority
- CN
- China
- Prior art keywords
- musical instrument
- playing
- gesture
- positioning
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims description 26
- 239000003086 colorant Substances 0.000 claims abstract description 18
- 230000036544 posture Effects 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000007788 liquid Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/06—Devices for exercising or strengthening fingers or arms; Devices for holding fingers or arms in a proper position for playing
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本发明公开了一种基于AR增强现实的乐器辅助学习系统,包括定位标识和AR识别模块。定位标识设置在乐器的特定位置,AR识别模块能够从定位标识中获取乐器的类型和型号以及定位标识的设置位置,并能够以定位标识的设置位置为基点生成轮廓。此外AR识别模块能够获取用户弹奏乐器时的姿态和手势,并通过生成的轮廓呈现不同的颜色来显示用户弹奏乐器时的姿态和手势是否正确。定位标识设置简单,不用对乐器进行改造,成本较低。还能够和乐器本身产生互动,让学习方式更为直观、高效。由于通过视觉增强现实方式实现,提示效果和方式灵活全面、影响更加深刻、学习效果更好。
Description
技术领域
本发明涉及AR领域,特别地,涉及一种基于AR增强现实的乐器辅助学习系统及方法和装置。
背景技术
现有的乐器学习和教学,无论用户自己学习还是线上一对一直播教学,缺乏学习或教学的内容素材和用户乐器本身产生互动,如老师的讲解的曲谱,琴键位置,和弦把位指法等只能单一的演示,无法明确弹奏的姿态和手势是否正确。
目前市场上有一种电路设计的蓝牙亮灯方式可以部分解决这类问题,通过电路板设计方式,对乐器进行改造,含有简单MCU控制单元、蓝牙传输装置,通过蓝牙和设备系统进行连接进行控制信息传输,但成本过高,需要充电,保养维护;而且蓝牙亮灯的方式只能通过简单的亮灯来表明弹奏是否正确,无法和乐器联系在一起,信息传递较为单一。
发明内容
为了克服现有技术的不足,本发明提供一种基于AR增强现实的成本较低,使用简单,能够判断乐器弹奏时的姿态和手势是否正确的乐器辅助学习系统及方法和装置。
本发明解决其技术问题所采用的技术方案是:
一方面,
一种基于AR增强现实的乐器辅助学习系统,包括:
定位标识,所述定位标识设置在乐器上,用于存储所述乐器的类型和型号信息以及所述定位标识在所述乐器上的位置信息;
AR识别模块,用于识别乐器的定位标识并在所述乐器上生成多个对应所述乐器不同弹奏位置的轮廓。
进一步地,所述定位标识为二维码标签。
进一步地,所述AR识别模块包括:
摄像头,用于获取乐器图像信息、定位标识以及用户的姿态和手势;
显示屏,用于显示用户弹奏乐器的视频,并在所述乐器上显示轮廓;
识别软件单元,用于识别所述定位标识,并根据所述定位标识在乐器上生成多个对应所述乐器不同弹奏位置的轮廓;并且用于根据弹奏时姿态和手势是否正确来使轮廓呈现不同的颜色。
进一步地,预弹奏信息接收模块,用于接收用户的预弹奏信息。
进一步地,录制模块,用于录制弹奏视频供用户观看并纠正错误。
另一方面,
一种基于AR增强现实的乐器辅助学习方法,包括以下步骤:
通过摄像头获取定位标识;
根据所述定位标识在显示屏上生成多个轮廓,每个所述轮廓与所述乐器上的一处弹奏位置对应;
获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势;
根据所述预弹奏信息判断所述姿态和手势是否正确;
根据判断结果显示不同颜色的轮廓。
进一步地,所述根据所述定位标识在显示屏上生成多个轮廓,每个所述轮廓与所述乐器上的一处弹奏位置对应包括:
根据所述定位标识确定所述乐器的类型和型号以及所述定位标识在所述乐器上的位置;
以所述定位标识在所述乐器上的位置为基点,根据所述乐器的类型和型号生成匹配所述乐器的轮廓并显示在显示屏上。
进一步地,所述根据所述预弹奏信息判断所述姿态和手势是否正确包括:
根据所述预弹奏信息获取正确的弹奏姿态和手势;
将所述正确的弹奏姿态和手势与所述姿态和手势进行对比获取判断结果。
进一步地,所述根据判断结果显示不同颜色的轮廓包括:
当弹奏姿态和手势正确时,轮廓显示绿色;
当弹奏姿态和手势不正确时,轮廓显示红色。
另一方面,
一种基于AR增强现实的乐器辅助学习装置,包括:
定位标识获取模块,用于通过摄像头获取定位标识;
轮廓生成模块,用于根据所述定位标识在显示屏上生成多个轮廓,每个所述轮廓与所述乐器上的一处弹奏位置对应;
预弹奏信息及姿态和手势获取模块,用于获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势;
判断模块,用于根据所述预弹奏信息判断所述姿态和手势是否正确;
结果显示模块,用于根据判断结果显示不同颜色的轮廓。
本申请采用以上技术方案,至少具备以下有益效果:
本发明技术方案公开了一种基于AR增强现实的乐器辅助学习系统,包括定位标识和AR识别模块。定位标识设置在乐器的特定位置,AR识别模块能够从定位标识中获取乐器的类型和型号以及定位标识的设置位置,并能够根据定位标识内的乐器的类型和型号计算得到乐器的不同弹奏位置,并生成与不同弹奏位置一一对应的轮廓。定位标识设置简单,不用对乐器进行改造,成本较低。还能够和乐器本身产生互动,让学习方式更为直观、高效。由于通过视觉增强现实方式实现,提示效果和方式灵活全面、影响更加深刻、学习效果更好。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于AR增强现实的乐器辅助学习系统的结构示意图;
图2是本发明实施例提供的另一种基于AR增强现实的乐器辅助学习系统的结构示意图;
图3是本发明实施例提供的一种基于AR增强现实的乐器辅助学习方法流程图;
图4是本发明实施例提供的另一种基于AR增强现实的乐器辅助学习方法流程图;
图5是本发明实施例提供的一种基于AR增强现实的乐器辅助学习装置结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面结合附图和实施例对本发明的技术方案进行详细的描述说明。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本申请所保护的范围。
参照图1,一种基于AR增强现实的乐器辅助学习系统,包括:
定位标识110,定位标识设置在乐器上,用于存储乐器的类型和型号信息以及定位标识在乐器上的位置信息;
AR识别模块120,AR识别模块,用于识别乐器的定位标识并在所述乐器上生成多个对应所述乐器不同弹奏位置的轮廓。
本发明实施例提供的一种基于AR增强现实的乐器辅助学习系统,包括定位标识和AR识别模块。定位标识设置在乐器的特定位置,AR识别模块能够从定位标识中获取乐器的类型和型号以及定位标识的设置位置,并能够根据定位标识内的乐器的类型和型号计算得到乐器的不同弹奏位置,并生成与不同弹奏位置一一对应的轮廓。定位标识设置简单,不用对乐器进行改造,成本较低。还能够和乐器本身产生互动,让学习方式更为直观、高效。由于通过视觉增强现实方式实现,提示效果和方式灵活全面、影响更加深刻、学习效果更好。
作为对上述实施例的进一步改进说明,本发明实施例提供了另一种基于AR增强现实的乐器辅助学习系统,如图2所示,包括:
定位标识210,定位标识设置在乐器上,用于存储乐器的类型和型号信息以及定位标识在乐器上的位置信息;
作为本发明实施例中一种可选的实现方式,定位标识为二维码标签。在实际应用中,将二维码标签贴到确定的位置,通过摄像头获取二维码,将二维码内存储的位置信息以及乐器型号和类型解码。需要说明的是,二维码标签中还可以存储一些乐器的其他附件信息,如音质情况、维修记录等。
可以理解的是,二维码的设置位置可以任意设置,二维码内存储的位置信息与二维码标签设置的位置对应。
需要说明的是,定位标识不局限于二维码标签,还可以是某些图案标签,只需要建立一个数据库,将图案标签的图案与想要存储的信息对应即可。
AR识别模块220,用于获取用户的姿态和手势以及识别乐器的定位标识、生成轮廓,通过轮廓呈现不同的颜色来显示用户弹奏乐器时的姿态和手势是否正确。
作为本发明实施例中一种可选的实现方式,AR识别模块包括:
摄像头221,用于获取乐器图像信息、定位标识以及用户的姿态和手势;
显示屏222,用于显示用户弹奏乐器的视频,并在乐器上显示轮廓;
识别软件单元223,用于识别定位标识,并根据定位标识在乐器上生成多个对应乐器不同弹奏位置的轮廓;并且用于根据弹奏时姿态和手势是否正确来使轮廓呈现不同的颜色。
一些可选实施例中,辅助学习系统还包括预弹奏信息接收模块230,用于接收用户的预弹奏信息。
一些可选实施例中,辅助学习系统还包括录制模块240,用于录制弹奏视频供用户观看并纠正错误。
在实际应用中,定位标识采用二维码标签,AR识别模块安装在手机或其他移动显示设备上,通过手机上的前置摄像头拍摄到用户弹奏的画面,摄像头采集到二维码标签时,解读存储的信息,以二维码标签的设置位置基点,生成轮廓。用户弹奏前输入预弹奏信息,所述预弹奏信息包括曲谱、图片或者文字等能够获取用户将要弹奏时的姿态和手势,系统生成正确的弹奏方式,当用户实际弹奏时,在手机或其他移动显示设备上显示弹奏的场景。通过轮廓呈现不同的颜色来显示用户弹奏乐器时的姿态和手势是否正确。
需要说明的是,AR识别模块在获取到二维码标签内的乐器类别和型号后,以二维码标签内存储的位置信息为基点,计算出乐器的轮廓和操作区域,如琴弦、品格、钢琴按键等,并根据常用的使用习惯划分不同的位置操作区域,并为每个位置的操作区域生成轮廓。
本发明实施例提供的另一种基于AR增强现实的乐器辅助学习系统,通过二维码标签来存储信息并提供定位。摄像头用于获取图像。显示屏显示结果,识别软件单元用于识别定位标识,并根据定位标识在乐器上生成多个对应乐器不同弹奏位置的轮廓;并且用于根据弹奏时姿态和手势是否正确来使轮廓呈现不同的颜色。预弹奏信息接收模块用于接收弹奏的预弹奏信息。录制模块,用于录制弹奏视频供用户观看并纠正错误。显示结果方便,简单明了,成本低廉。
一个实施例中,本发明还提供了一种基于AR增强现实的乐器辅助学习方法,如图3所示,包括以下步骤:
通过摄像头获取定位标识;
根据定位标识在显示屏上生成多个轮廓,每个轮廓与乐器上的一处弹奏位置对应;
获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势;
根据预弹奏信息判断姿态和手势是否正确;
根据判断结果显示不同颜色的轮廓。
本发明实施例提供的一种基于AR增强现实的乐器辅助学习方法,通过摄像头获取定位标识,根据定位标识在显示屏上生成轮廓,通过弹奏时的轮廓的颜色表明弹奏时的姿态和手势的是否正确,简单明了,方便用户学习。
作为对上述实施例的一种补充说明,本发明实施例提供另一种基于AR增强现实的乐器辅助学习方法,如图4所示,包括以下步骤:
通过摄像头获取定位标识;
根据定位标识在显示屏上生成多个轮廓,每个轮廓与乐器上的一处弹奏位置对应;
一些可选实施例中,根据定位标识在显示屏上生成多个轮廓,每个轮廓与乐器上的一处弹奏位置对应包括:
根据定位标识确定乐器的类型和型号以及定位标识在乐器上的位置;
以定位标识在乐器上的位置为基点,根据乐器的类型和型号生成符合乐器的轮廓并显示在显示屏上。
获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势;
根据预弹奏信息判断姿态和手势是否正确,在实际应用中,根据预弹奏信息获取正确的弹奏姿态和手势;
将正确的弹奏姿态和手势与姿态和手势进行对比获取判断结果。
根据判断结果显示不同颜色的轮廓,当弹奏姿态和手势正确时,轮廓显示绿色;
当弹奏姿态和手势不正确时,轮廓显示红色。
应当理解的是,红色和绿色只是本发明实施例一种可选的实现方式,还可以选用其他颜色。在实际应用中,还可以使用颜色之外的方式来显示结果。示例性的,当弹奏姿态和手势正确时,轮廓显示变亮;当弹奏姿态和手势不正确时,轮廓变暗。
本发明实施例提供的另一种基于AR增强现实的乐器辅助学习方法,以定位标识为基点生成符合乐器的轮廓,不用在乐器上标注轮廓,直接生成,完全符合乐器形状,通过颜色来判断结果是否正确,方便准确。能够有效的辅助用户学习乐器。
一个实施例中,本发明还提供了一种基于AR增强现实的乐器辅助学习装置,如图5所示,包括:
定位标识获取模块51,用于通过摄像头获取定位标识;
轮廓生成模块52,用于根据定位标识在显示屏上生成多个轮廓,每个轮廓与乐器上的一处弹奏位置对应;
预弹奏信息及姿态和手势获取模块53,用于获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势;
判断模块54,用于根据预弹奏信息判断姿态和手势是否正确;
结果显示模块55,用于根据判断结果显示不同颜色的轮廓。
本发明实施例提供的一种基于AR增强现实的乐器辅助学习装置,定位标识获取模块通过摄像头获取定位标识;轮廓生成模块根据定位标识在显示屏上生成多个轮廓;预弹奏信息及姿态和手势获取模块,获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势;判断模块根据预弹奏信息判断姿态和手势是否正确;结果显示模块根据判断结果显示不同颜色的轮廓,可以实现用户的姿态矫正,手势提醒,辅助用户进行乐器学习。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于AR增强现实的乐器辅助学习系统,其特征在于,包括:
定位标识,所述定位标识设置在乐器上,用于存储所述乐器的类型和型号信息以及所述定位标识在所述乐器上的位置信息;
AR识别模块,用于识别乐器的定位标识并在所述乐器上生成多个对应所述乐器不同弹奏位置的轮廓。
2.根据权利要求1所述的系统,其特征在于:所述定位标识为二维码标签。
3.根据权利要求1所述的系统,其特征在于:所述AR识别模块包括:
摄像头,用于获取乐器图像信息、定位标识以及用户的姿态和手势;
显示屏,用于显示用户弹奏乐器的视频,并在所述乐器上显示轮廓;
识别软件单元,用于识别所述定位标识,并根据所述定位标识在乐器上生成多个对应所述乐器不同弹奏位置的轮廓;并且用于根据弹奏时姿态和手势是否正确来使轮廓呈现不同的颜色。
4.根据权利要求1所述的系统,其特征在于,还包括:预弹奏信息接收模块,用于接收用户的预弹奏信息。
5.根据权利要求1所述的系统,其特征在于,还包括:录制模块,用于录制弹奏视频供用户观看。
6.一种基于AR增强现实的乐器辅助学习方法,其特征在于,包括以下步骤:
通过摄像头获取定位标识;
根据所述定位标识在显示屏上生成多个轮廓,每个所述轮廓与所述乐器上的一处弹奏位置对应;
获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势;
根据所述预弹奏信息判断所述姿态和手势是否正确;
根据判断结果显示不同颜色的轮廓。
7.根据权利要求6所述的方法,其特征在于:所述根据所述定位标识在显示屏上生成多个轮廓,每个所述轮廓与所述乐器上的一处弹奏位置对应包括:
根据所述定位标识确定所述乐器的类型和型号以及所述定位标识在所述乐器上的位置;
以所述定位标识在所述乐器上的位置为基点,根据所述乐器的类型和型号生成匹配所述乐器的轮廓并显示在显示屏上。
8.根据权利要求6所述的方法,其特征在于:所述根据所述预弹奏信息判断所述姿态和手势是否正确包括:
根据所述预弹奏信息获取正确的弹奏姿态和手势;
将所述正确的弹奏姿态和手势与所述姿态和手势进行对比获取判断结果。
9.根据权利要求6所述的方法,其特征在于:所述根据判断结果显示不同颜色的轮廓包括:
当弹奏姿态和手势正确时,轮廓显示绿色;
当弹奏姿态和手势不正确时,轮廓显示红色。
10.一种基于AR增强现实的乐器辅助学习装置,其特征在于,包括:
定位标识获取模块,用于通过摄像头获取定位标识;
轮廓生成模块,用于根据所述定位标识在显示屏上生成多个轮廓,每个所述轮廓与所述乐器上的一处弹奏位置对应;
预弹奏信息及姿态和手势获取模块,用于获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势;
判断模块,用于根据所述预弹奏信息判断所述姿态和手势是否正确;
结果显示模块,用于根据判断结果显示不同颜色的轮廓。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911106507.4A CN110706553B (zh) | 2019-11-13 | 2019-11-13 | 一种基于ar增强现实的乐器辅助学习系统及方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911106507.4A CN110706553B (zh) | 2019-11-13 | 2019-11-13 | 一种基于ar增强现实的乐器辅助学习系统及方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110706553A true CN110706553A (zh) | 2020-01-17 |
CN110706553B CN110706553B (zh) | 2022-02-01 |
Family
ID=69205294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911106507.4A Active CN110706553B (zh) | 2019-11-13 | 2019-11-13 | 一种基于ar增强现实的乐器辅助学习系统及方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110706553B (zh) |
Citations (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030159564A1 (en) * | 2002-02-28 | 2003-08-28 | Dorly Oren-Chazon | Computerized music teaching instrument |
US20060101979A1 (en) * | 2004-11-12 | 2006-05-18 | Shelton Rodney D | Musical instrument strings and a method of instruction |
WO2007124387A2 (en) * | 2006-04-19 | 2007-11-01 | Allegro Multimedia, Inc. | System and method of instructing musical literacy and performance of a stringed instrument |
TW201017470A (en) * | 2008-10-21 | 2010-05-01 | Univ Ishou | Augmented reality system and user interface method thereof |
CN102737534A (zh) * | 2011-04-13 | 2012-10-17 | 南京大学 | 一种实现无标记增强现实钢琴教学系统的方法 |
CN202887512U (zh) * | 2012-09-05 | 2013-04-17 | 刘飞 | 口琴音阶识别装置 |
CN204423688U (zh) * | 2015-01-19 | 2015-06-24 | 北京康邦科技股份有限公司 | 一种琴键类乐器练习纠错装置 |
CN204732011U (zh) * | 2015-07-02 | 2015-10-28 | 杭州蓝湖乐器有限公司 | 一种便于练习的智能电子鼓 |
CN105632263A (zh) * | 2016-03-29 | 2016-06-01 | 罗昆 | 一种基于增强现实的音乐启蒙学习装置及方法 |
CN205621425U (zh) * | 2016-05-20 | 2016-10-05 | 安徽克洛斯威智能乐器科技有限公司 | 智能训练钢琴 |
CN106098037A (zh) * | 2016-05-26 | 2016-11-09 | 于越 | 一种乐曲演奏提示平台的生成方法 |
CN106297479A (zh) * | 2016-08-31 | 2017-01-04 | 武汉木子弓数字科技有限公司 | 一种基于ar增强现实涂鸦技术的歌曲教学方法及系统 |
CN106355974A (zh) * | 2016-11-09 | 2017-01-25 | 大连文森特软件科技有限公司 | 基于ar增强现实的小提琴辅助学习体验系统 |
CN206209598U (zh) * | 2016-09-30 | 2017-05-31 | 无锡吾成互联科技有限公司 | 一种钢琴弹奏教学辅助装置 |
CN106991852A (zh) * | 2017-05-18 | 2017-07-28 | 北京音悦荚科技有限责任公司 | 一种在线教学方法及装置 |
CN107402639A (zh) * | 2016-04-29 | 2017-11-28 | 姚秉洋 | 键盘触控指令的产生方法与计算机程序产品 |
CN107784885A (zh) * | 2017-10-26 | 2018-03-09 | 歌尔科技有限公司 | 基于ar设备的操作培训方法及ar设备 |
CN108052277A (zh) * | 2017-12-14 | 2018-05-18 | 深圳市艾德互联网络有限公司 | 一种ar定位学习方法和装置 |
CN108074440A (zh) * | 2016-11-18 | 2018-05-25 | 北京酷我科技有限公司 | 一种钢琴演奏的纠错方法及系统 |
CN108933916A (zh) * | 2017-05-23 | 2018-12-04 | 沈阳万联科技股份有限公司 | 一种自适应调节方法、ar智能学习眼镜及系统 |
CN109074752A (zh) * | 2015-12-10 | 2018-12-21 | Gn股份有限公司 | 被配置为基于通过表演监测硬件监测用户表演来实现技能训练数据的实时自适应传送的框架和方法 |
CN109102784A (zh) * | 2018-06-14 | 2018-12-28 | 森兰信息科技(上海)有限公司 | 一种ar辅助乐器练习方法、系统以及一种智能设备 |
CN109144244A (zh) * | 2018-07-03 | 2019-01-04 | 世雅设计有限公司 | 一种增强现实辅助的方法、装置、系统及增强现实设备 |
CN109697918A (zh) * | 2018-12-29 | 2019-04-30 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的打击乐器体验系统 |
CN109840949A (zh) * | 2017-11-29 | 2019-06-04 | 深圳市掌网科技股份有限公司 | 基于光学定位的增强现实图像处理方法和装置 |
CN110111642A (zh) * | 2019-05-07 | 2019-08-09 | 南京林业大学 | 一种基于matlab的多种乐器练习综合辅助校正器 |
CN110231870A (zh) * | 2019-06-13 | 2019-09-13 | 湖南超视觉工程有限公司 | 一种基于Kinect体感技术的交互式表演方法、电子设备及计算机可读存储介质 |
-
2019
- 2019-11-13 CN CN201911106507.4A patent/CN110706553B/zh active Active
Patent Citations (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030159564A1 (en) * | 2002-02-28 | 2003-08-28 | Dorly Oren-Chazon | Computerized music teaching instrument |
US20060101979A1 (en) * | 2004-11-12 | 2006-05-18 | Shelton Rodney D | Musical instrument strings and a method of instruction |
WO2007124387A2 (en) * | 2006-04-19 | 2007-11-01 | Allegro Multimedia, Inc. | System and method of instructing musical literacy and performance of a stringed instrument |
TW201017470A (en) * | 2008-10-21 | 2010-05-01 | Univ Ishou | Augmented reality system and user interface method thereof |
CN102737534A (zh) * | 2011-04-13 | 2012-10-17 | 南京大学 | 一种实现无标记增强现实钢琴教学系统的方法 |
CN202887512U (zh) * | 2012-09-05 | 2013-04-17 | 刘飞 | 口琴音阶识别装置 |
CN204423688U (zh) * | 2015-01-19 | 2015-06-24 | 北京康邦科技股份有限公司 | 一种琴键类乐器练习纠错装置 |
CN204732011U (zh) * | 2015-07-02 | 2015-10-28 | 杭州蓝湖乐器有限公司 | 一种便于练习的智能电子鼓 |
CN109074752A (zh) * | 2015-12-10 | 2018-12-21 | Gn股份有限公司 | 被配置为基于通过表演监测硬件监测用户表演来实现技能训练数据的实时自适应传送的框架和方法 |
CN105632263A (zh) * | 2016-03-29 | 2016-06-01 | 罗昆 | 一种基于增强现实的音乐启蒙学习装置及方法 |
CN107402639A (zh) * | 2016-04-29 | 2017-11-28 | 姚秉洋 | 键盘触控指令的产生方法与计算机程序产品 |
CN205621425U (zh) * | 2016-05-20 | 2016-10-05 | 安徽克洛斯威智能乐器科技有限公司 | 智能训练钢琴 |
CN106098037A (zh) * | 2016-05-26 | 2016-11-09 | 于越 | 一种乐曲演奏提示平台的生成方法 |
CN106297479A (zh) * | 2016-08-31 | 2017-01-04 | 武汉木子弓数字科技有限公司 | 一种基于ar增强现实涂鸦技术的歌曲教学方法及系统 |
CN206209598U (zh) * | 2016-09-30 | 2017-05-31 | 无锡吾成互联科技有限公司 | 一种钢琴弹奏教学辅助装置 |
CN106355974A (zh) * | 2016-11-09 | 2017-01-25 | 大连文森特软件科技有限公司 | 基于ar增强现实的小提琴辅助学习体验系统 |
CN108074440A (zh) * | 2016-11-18 | 2018-05-25 | 北京酷我科技有限公司 | 一种钢琴演奏的纠错方法及系统 |
CN106991852A (zh) * | 2017-05-18 | 2017-07-28 | 北京音悦荚科技有限责任公司 | 一种在线教学方法及装置 |
CN108933916A (zh) * | 2017-05-23 | 2018-12-04 | 沈阳万联科技股份有限公司 | 一种自适应调节方法、ar智能学习眼镜及系统 |
CN107784885A (zh) * | 2017-10-26 | 2018-03-09 | 歌尔科技有限公司 | 基于ar设备的操作培训方法及ar设备 |
CN109840949A (zh) * | 2017-11-29 | 2019-06-04 | 深圳市掌网科技股份有限公司 | 基于光学定位的增强现实图像处理方法和装置 |
CN108052277A (zh) * | 2017-12-14 | 2018-05-18 | 深圳市艾德互联网络有限公司 | 一种ar定位学习方法和装置 |
CN109102784A (zh) * | 2018-06-14 | 2018-12-28 | 森兰信息科技(上海)有限公司 | 一种ar辅助乐器练习方法、系统以及一种智能设备 |
CN109144244A (zh) * | 2018-07-03 | 2019-01-04 | 世雅设计有限公司 | 一种增强现实辅助的方法、装置、系统及增强现实设备 |
CN109697918A (zh) * | 2018-12-29 | 2019-04-30 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的打击乐器体验系统 |
CN110111642A (zh) * | 2019-05-07 | 2019-08-09 | 南京林业大学 | 一种基于matlab的多种乐器练习综合辅助校正器 |
CN110231870A (zh) * | 2019-06-13 | 2019-09-13 | 湖南超视觉工程有限公司 | 一种基于Kinect体感技术的交互式表演方法、电子设备及计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
PROTOPSALTIS: ""Quiz Cube: an AR mobile learning application"", 《11TH INTERNATIONAL WORKSHOP ON SEMANTIC AND SOCIAL MEDIA ADAPTATION AND PERSONALIZATION (SMAP)》 * |
黄荣丽: ""增强现实技术融合下的戏曲艺术探析"", 《艺术科技》 * |
Also Published As
Publication number | Publication date |
---|---|
CN110706553B (zh) | 2022-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111259863B (zh) | 弹奏手型检测/展示方法、介质、钢琴、终端及服务端 | |
US7629527B2 (en) | Machine and method for teaching music and piano | |
CN110007768A (zh) | 学习场景的处理方法及装置 | |
CN103745214A (zh) | 一种字符的识别方法和识别设备 | |
CN106373444A (zh) | 一种具有英语教具的多功能英语教室 | |
CN113674565A (zh) | 一种用于钢琴教学的教学系统及方法 | |
Zeng et al. | FunPianoAR: A novel AR application for piano learning considering paired play based on multi-marker tracking | |
EP4328901A1 (en) | Musical instrument teaching system and method, and readable storage medium | |
CN108038461A (zh) | 交互式外语口型和舌型同时矫正的系统和方法 | |
Skreinig et al. | AR Hero: Generating interactive augmented reality guitar tutorials | |
US11580868B2 (en) | AR-based supplementary teaching system for guzheng and method thereof | |
CN110706553B (zh) | 一种基于ar增强现实的乐器辅助学习系统及方法和装置 | |
JP2001014100A (ja) | 手書入力装置及び書き方学習装置 | |
US20070298396A1 (en) | Computer executable dynamic presentation system for simulating human meridian points and method thereof | |
CN111627267A (zh) | 互动教育机 | |
Kerdvibulvech et al. | Real-time guitar chord estimation by stereo cameras for supporting guitarists | |
KR20190107962A (ko) | 음악 교육 방법 및 그를 위한 장치 | |
CN110766997A (zh) | 一种临摹展示方法、装置及存储介质 | |
CN113343022A (zh) | 歌曲教学方法、装置、终端和存储介质 | |
JP7427906B2 (ja) | 情報処理装置、制御方法及びプログラム | |
KR102030833B1 (ko) | 악기 학습용 장치 및 이를 이용한 악기 학습 서비스 제공 방법 | |
Kerdvibulvech et al. | Guitarist fingertip tracking by integrating a Bayesian classifier into particle filters | |
JP2561941B2 (ja) | 漢字練習装置 | |
US20060091197A1 (en) | Computer implemented teaching aid | |
Tung et al. | Pianow-piano self-learning assistant in mixed reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Musical Instrument Assisted Learning System and Method and Device Based on AR Augmented Reality Granted publication date: 20220201 Pledgee: China Construction Bank Corporation Beijing Anhua Sub-branch Pledgor: BEIJING YINYUEJIA TECHNOLOGY CO.,LTD. Registration number: Y2024980004976 |