CN109243248A - 一种基于3d深度摄像模组的虚拟钢琴及其实现方法 - Google Patents

一种基于3d深度摄像模组的虚拟钢琴及其实现方法 Download PDF

Info

Publication number
CN109243248A
CN109243248A CN201811146857.9A CN201811146857A CN109243248A CN 109243248 A CN109243248 A CN 109243248A CN 201811146857 A CN201811146857 A CN 201811146857A CN 109243248 A CN109243248 A CN 109243248A
Authority
CN
China
Prior art keywords
key
mould group
hand
camera mould
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811146857.9A
Other languages
English (en)
Inventor
陶琦
黄骏
周晓军
姜爱鹏
郭玉石
李骊
王行
盛赞
李朔
杨淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huajie Imi Software Technology Co Ltd
Original Assignee
Nanjing Huajie Imi Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huajie Imi Software Technology Co Ltd filed Critical Nanjing Huajie Imi Software Technology Co Ltd
Priority to CN201811146857.9A priority Critical patent/CN109243248A/zh
Publication of CN109243248A publication Critical patent/CN109243248A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/08—Practice keyboards
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/001—Boards or like means for providing an indication of chords
    • G09B15/002—Electrically operated systems
    • G09B15/003—Electrically operated systems with indication of the keys or strings to be played on instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明公开了一种基于3D深度摄像模组的虚拟钢琴及其实现方法，包括投影装置、3D深度摄像模组、播放器、通信模块和处理模块；投影装置用于投影出钢琴琴键图案，并将投影出的琴键位置参数通过通信模块传递至处理模块；3D深度摄像模组用于实时采集用户手部的深度图像并通过通信模块传输至处理模块；播放器用于播放乐音；处理模块用于根据手部的深度图像分析手部深度信息、识别手部敲击动作，结合琴键位置参数判断敲击按键情况，并根据敲击按键情况控制播放器播放按键相应的乐音。本发明能够精确的识别用户手指骨架的动作，准确的判断出手指敲击的位置、播放对应的乐音，顺畅模拟钢琴演奏，还可带来良好的互动体验。

Description

一种基于3D深度摄像模组的虚拟钢琴及其实现方法
技术领域
本发明涉及3D深度摄像应用，尤其是一种基于3D深度摄像模组的虚拟钢琴及其实现方法。
背景技术
生活中，实体钢琴体积大、价格高，且对于初学者而言，前期的学习过程非常的枯燥和艰深，缺乏趣味；而一些手机应用上的模拟钢琴虽然体积小、便携，但受到屏幕大小限制，与专业钢琴相去甚远，难以流畅的进行演奏或模拟钢琴练习。
虚拟钢琴投影装置(CN205594300U)公开了一种用于向一平面投射钢琴琴键图案、检测用户在投射琴键图案上操作并播放相应音阶声音的装置，该技术方案利用感应激光头发射与投影平面平行的2D激光，覆盖钢琴琴键图案的表面，摄像头捕获激光因用户操作而形成的光斑并判断光斑的位置，从而确定用户的操作、输出音阶信号。
该技术方案虽然比实体钢琴体积小、比手机钢琴键盘全，但是，其感应激光头发射的是2D激光，然后对捕获的2D图像进行处理，计算手指位置，具有以下缺陷：
1、手指位置判断误差大：该技术方案通过激光的光斑图案进行识别，弹奏时手掌自然放置在桌面上进行支撑，手指抬起，激光在手掌上也会产生光斑，凭借2D图像判断光斑距离很容易产生误差，因此无法准确的识别按键动作，弹奏体验差；
2、手指动作判断误差大：不同的人的手指大小不同，在敲击和松开的临界的位置很容易误判，而且敲击时的手势习惯不同，手摆放的位置不统一，也容易造成误触；
3、互动性低：无法准确的记录用户的整个操作过程，进行评价、反馈或互动。
发明内容
发明目的：针对上述现有技术存在的缺陷，本发明旨在提供一种基于3D深度摄像模组的虚拟钢琴及其实现方法。
技术方案：一种基于3D深度摄像模组的虚拟钢琴，包括投影装置、3D深度摄像模组、播放器、通信模块和处理模块；
投影装置用于投影出钢琴琴键图案，并将投影出的琴键位置参数通过通信模块传递至处理模块；
3D深度摄像模组用于实时采集用户手部的深度图像并通过通信模块传输至处理模块；
播放器用于播放乐音；
处理模块用于根据手部的深度图像分析手部深度信息、识别手部敲击动作，结合琴键位置参数判断敲击按键情况，并根据敲击按键情况控制播放器播放按键相应的乐音。
进一步的，3D深度摄像模组包括用于投射红外光点阵的点阵激光发射器、用于捕捉经物体反射后含深度信息的红外点阵图案的红外接收模组和用于发出红外泛光以增强红外光点阵亮度的红外泛光源。
为了方便用户实时观察演奏状态，优选的，还包括显示器，所述处理模块将敲击按键情况实时通过显示器显示。
为了便于计算投影出的琴键位置与手部深度的关系，优选的，投影装置与3D深度摄像模组的相对位置固定。
一种基于3D深度摄像模组的虚拟钢琴的实现方法，包括如下步骤：
(1)投影装置投影出钢琴琴键图案并将投影出的琴键位置参数通过通信模块传递至处理模块；
(2)3D深度摄像模组实时采集用户手部的深度图像并通过通信模块传输至处理模块；
(3)处理模块根据手部的深度图像分析手部深度信息、识别手部敲击动作；
(4)结合琴键位置参数判断敲击的按键情况，并根据敲击按键情况控制播放器播放按键相应的乐音。
进一步的，步骤(3)具体包括如下子步骤：
(3.1)通过红外接收模组实时获取每一帧深度图像；
(3.2)标记出手部在当前深度图像中的初始位置坐标；
(3.3)对当前深度图像进行归一化处理；
(3.4)根据归一化处理后的当前深度图像，基于预设的多层卷积神经网络模型，得到包括手部检测的各选定区域；
(3.5)根据各选定区域进行非极大值抑制运算，得到最优的选定区域；
(3.6)对最优的选定区域进行图像后处理，得到手部在当前深度图像中的最终位置坐标；
-2-
(3.7)根据手部位置坐标计算出手指的骨架节点位置；
(3.8)跟踪手指骨架节点的位置变化，捕获动作信息，识别敲击动作。
为了便于记录和比较，优选的，步骤(4)中所述判断敲击的按键情况包括判断敲击的具体按键、敲击时长、敲击节奏、敲击手型中的一种或多种。
进一步的，步骤(4)中所述判断敲击按键的方法为：捕获手指的骨架节点的深度值在某个键盘按键的平面坐标范围之内，即判定为敲击该按键。
为了方便用户重听或比较，进一步的，在步骤(4)后还包括步骤(5)：从敲击第一下键盘开始记录敲击音名、敲击时长和敲击间隔，直到连续一段预设时长内无敲击操作或者用户手动选择结束则停止记录。
为了帮助用户获知演奏水平，优选的，在步骤(5)之后还包括步骤(6)：将弹奏乐曲记录与用户手动选择的演奏曲目原曲信息相比较，对比敲击音名、敲击时长和敲击间隔的整体相似度，输出相似度值或相似等级。
有益效果：本发明利用投影的钢琴琴键图案结合3D深度摄像模组，3D深度视觉技术，可以跟踪十只手指，更精确的识别用户手指骨架的动作，准确的判断出手指敲击的位置、播放对应的乐音。虚拟钢琴不像实体钢琴一样占空间、价格昂贵，又能够更加顺畅的模拟钢琴演奏，更能够带来良好的互动体验，可记录演奏过程、评判演奏优劣，便于明确错误点，及时改正甚至矫正弹奏手型，其具有良好的便携性和互动性，能够帮助初学者及其他用户建立兴趣，模拟练习，也能够便于创作者随时创作，记录灵感。
附图说明
图1是本发明虚拟钢琴的结构示意图；
图2是本发明的实施例1的方法流程图；
图3是本发明的实施例2的方法流程图。
具体实施方式
下面通过一个最佳实施例并结合附图对本技术方案进行详细说明。
如图1所示，随着3D深度视觉技术的不断发展，深度视觉技术广泛应用在了智能机器人、3D建模、智能家居等各个领域。在智能机器人领域，人们借助于深度视觉技术可以获得当前场景的3D信息，可以方便机器人识别出场景中人和物体，可以让机器人更好的躲避障碍和与人的互动；在3D建模领域中，深度视觉技术可以用来描绘人的各个细节(比如头发，眼睛，耳朵等)，使最终生成的3D图像更加准确生动；在智能家居领域，智能家电可以获得家庭人员的信息，实现人机交互。以上的这些深度视觉技术，都涉及到了3D模组的深度图的采集和计算，并从中区分出场景中不同的人和物体。
本发明提供了一种基于3D深度摄像模组的虚拟钢琴，包括投影装置、3D深度摄像模组、播放器、显示器、通信模块和处理模块；
投影装置用于投影出钢琴琴键图案，并将投影出的琴键位置参数通过通信模块传递至处理模块；投影装置与3D深度摄像模组的相对位置固定。这样就可以保证钢琴的键盘在固定的深度范围内，也可以保证不同的按键在固定的平面坐标范围内。
3D深度摄像模组用于实时采集用户手部的深度图像并通过通信模块传输至处理模块；3D深度摄像模组包括用于投射红外光点阵的点阵激光发射器、用于捕捉经物体反射后含深度信息的红外点阵图案的红外接收模组和用于发出红外泛光以增强红外光点阵亮度的红外泛光源。本实施例中的3D深度摄像模组包括彩色摄像头，可以在显示器上显示实时画面。
处理模块用于根据手部的深度图像分析手部深度信息、识别手部敲击动作，结合琴键位置参数判断敲击按键情况，并根据敲击按键情况控制播放器播放按键相应的乐音。处理模块将敲击按键情况实时通过显示器显示。处理模块可以选择单独的模块，也可以选择PC、手机、智能电视或者其他有操作系统的平台；播放器用于播放乐音，播放器和显示器也可以直接采用PC或者手机上自带的设备。本实施例中选用的处理模块即PC，通信模块即为USB线。
为了节电，本实施例中选择的投影装置投影出的琴键图案仅包括琴键轮廓，为了便于初学者辨认区分，也可填充黑键颜色，填充的颜色与琴键轮廓颜色一致，此外也可以选择全息投影设备，成本高、体验更好，适用于高端用户。
如图2所示，本发明还提供一种基于上述3D深度摄像模组的虚拟钢琴的实现方法，包括如下步骤：
(1)投影装置在用户选取的操作面上投影出钢琴琴键图案并将投影出的琴键位置参数通过通信模块传递至处理模块；用户自行调节摆放到合适的角度和位置，投影的位置还是比较讲究的，最好投影在固定的平面上(比如桌子)，这样就可以方便用户操作了，所以需要用户手动调节3D模组的位置，找到合适的位置；
(2)3D深度摄像模组实时采集用户手部的深度图像并通过通信模块传输至处理模块；
(3)处理模块根据手部的深度图像分析手部深度信息、识别手部敲击动作；初始时，用户可以通过显示器查看手部图像，当用户确认手指的关节点已经被正确跟踪上的时候，就可以自由的练习弹奏任何想弹奏的曲目了；识别敲击动作可以有多种实施方法，市面上已有一些较为成熟的手部识别算法及芯片，本实施例中具体采用的方法如下：
(3.1)通过红外接收模组实时获取每一帧深度图像；
(3.2)标记出手部在当前深度图像中的初始位置坐标；
(3.3)对当前深度图像进行归一化处理；
(3.4)根据归一化处理后的当前深度图像，基于预设的多层卷积神经网络模型，得到包括手部检测的各选定区域；
(3.5)根据各选定区域进行非极大值抑制运算，得到最优的选定区域；
(3.6)对最优的选定区域进行图像后处理，得到手部在当前深度图像中的最终位置坐标；
(3.7)根据手部位置坐标计算出手指的骨架节点位置；
(3.8)跟踪手指骨架节点的位置变化，捕获动作信息，识别敲击动作。
(4)结合琴键位置参数判断敲击的按键情况，并根据敲击按键情况控制播放器播放按键相应的乐音；判断敲击按键的方法为：捕获手指的骨架节点的深度值在某个键盘按键的平面坐标范围之内，即判定为敲击该按键。判断敲击的按键情况包括判断敲击的具体按键、敲击时长、敲击节奏、敲击手型中的一种或多种。对于初学者可以通过比较敲击手型与标准手型帮助用户矫正弹奏习惯。
(5)从敲击第一下键盘开始记录敲击音名、敲击时长和敲击间隔，直到连续一段预设时长内无敲击操作或者用户手动选择结束则停止记录。本实施例中的预设时长为15秒，可以根据实际情况自行调整时长。记录后可以播放重听、保存、对比等多种后续操作。以上为自由演奏模式，可供用户练习、创作，记录下演奏的乐曲也能够便于创作者重听、记录灵感。
实施例2
如图3所示，本实施例与实施例1基本相同，不同之出在于，本实施例方法在步骤(5)后增加了步骤(6)：将弹奏乐曲记录与用户手动选择的演奏曲目原曲信息相比较，对比敲击音名、敲击时长和敲击间隔的整体相似度，输出相似度值或相似等级。
相似度比较可以有很多种方法，可以将曲目转化为音符、乐谱，参照现有技术中类似领域的比对方法，或者文本比对方法，可根据需要自行设定规则，也可以针对初级、高级用户设定不同的比对规则，例如本实施例针对高级用户，即误差小的用户采用的比对方法为：将演奏的音符序列与原曲的音符序列相比较，得到音符序列相似度；
再选取演奏音符序列中不同长度的音符时值，取各音符均值定义该音符的时值，按照定义的时值逐个进行比对，得到演奏乐曲的节拍序列，将演奏的节拍序列与原曲的节拍序列相比较，得到节拍序列相似度；
将音符序列相似度与节拍序列相似度根据自行设定的权值进行平均，得到最终的相似度百分比数值作为评分输出，也可根据分数设置不同等级，输出等级，还可以生成评分的曲线图，方便用户能够很快找到自己的不足，然后加以改进。
本实施例为评分模式，相似度值和等级是为了方便用户了解自己的弹奏水平，另外还可以将用户弹错的部分标示出来，比如弹错的音、节奏误拍或者手型不标准，都可以进行标示，通过显示器进行显示，便于用户提升。
以上仅是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于3D深度摄像模组的虚拟钢琴，其特征在于，包括投影装置、3D深度摄像模组、播放器、通信模块和处理模块；
所述投影装置用于投影出钢琴琴键图案，并将投影出的琴键位置参数通过通信模块传递至处理模块；
3D深度摄像模组用于实时采集用户手部的深度图像并通过通信模块传输至处理模块；
播放器用于播放乐音；
处理模块用于根据手部的深度图像分析手部深度信息、识别手部敲击动作，结合琴键位置参数判断敲击按键情况，并根据敲击按键情况控制播放器播放按键相应的乐音。
2.根据权利要求1所述的一种基于3D深度摄像模组的虚拟钢琴，其特征在于，所述3D深度摄像模组包括用于投射红外光点阵的点阵激光发射器、用于捕捉经物体反射后含深度信息的红外点阵图案的红外接收模组和用于发出红外泛光以增强红外光点阵亮度的红外泛光源。
3.根据权利要求1所述的一种基于3D深度摄像模组的虚拟钢琴，其特征在于，还包括显示器，所述处理模块将敲击按键情况实时通过显示器显示。
4.根据权利要求1所述的一种基于3D深度摄像模组的虚拟钢琴，其特征在于，所述投影装置与3D深度摄像模组的相对位置固定。
5.一种如权利要求1-4中任一项所述基于3D深度摄像模组的虚拟钢琴的实现方法，其特征在于，包括如下步骤：
(1)投影装置投影出钢琴琴键图案并将投影出的琴键位置参数通过通信模块传递至处理模块；
(2)3D深度摄像模组实时采集用户手部的深度图像并通过通信模块传输至处理模块；
(3)处理模块根据手部的深度图像分析手部深度信息、识别手部敲击动作；
(4)结合琴键位置参数判断敲击的按键情况，并根据敲击按键情况控制播放器播放按键相应的乐音。
6.根据权利要求5所述的一种基于3D深度摄像模组的虚拟钢琴的实现方法，其特征在于，所述步骤(3)具体包括如下子步骤：
(3.1)通过红外接收模组实时获取每一帧深度图像；
(3.2)标记出手部在当前深度图像中的初始位置坐标；
(3.3)对当前深度图像进行归一化处理；
(3.4)根据归一化处理后的当前深度图像，基于预设的多层卷积神经网络模型，得到包括手部检测的各选定区域；
(3.5)根据各选定区域进行非极大值抑制运算，得到最优的选定区域；
(3.6)对最优的选定区域进行图像后处理，得到手部在当前深度图像中的最终位置坐标；
(3.7)根据手部位置坐标计算出手指的骨架节点位置；
(3.8)跟踪手指骨架节点的位置变化，捕获动作信息，识别敲击动作。
7.根据权利要求6所述的一种基于3D深度摄像模组的虚拟钢琴的实现方法，其特征在于，步骤(4)中所述判断敲击的按键情况包括判断敲击的具体按键、敲击时长、敲击节奏、敲击手型中的一种或多种。
8.根据权利要求6所述的一种基于3D深度摄像模组的虚拟钢琴的实现方法，其特征在于，步骤(4)中所述判断敲击按键的方法为：捕获手指的骨架节点的深度值在某个键盘按键的平面坐标范围之内，即判定为敲击该按键。
9.根据权利要求6所述的一种基于3D深度摄像模组的虚拟钢琴的实现方法，其特征在于，在所述步骤(4)后还包括步骤(5)：从敲击第一下键盘开始记录敲击音名、敲击时长和敲击间隔，直到连续一段预设时长内无敲击操作或者用户手动选择结束则停止记录。
10.根据权利要求9所述的一种基于3D深度摄像模组的虚拟钢琴的实现方法，其特征在于，在所述步骤(5)之后还包括步骤(6)：将弹奏乐曲记录与用户手动选择的演奏曲目相比较，对比敲击音名、敲击时长和敲击间隔的整体相似度，输出相似度值或相似等级。
CN201811146857.9A 2018-09-29 2018-09-29 一种基于3d深度摄像模组的虚拟钢琴及其实现方法 Pending CN109243248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811146857.9A CN109243248A (zh) 2018-09-29 2018-09-29 一种基于3d深度摄像模组的虚拟钢琴及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811146857.9A CN109243248A (zh) 2018-09-29 2018-09-29 一种基于3d深度摄像模组的虚拟钢琴及其实现方法

Publications (1)

Publication Number Publication Date
CN109243248A true CN109243248A (zh) 2019-01-18

Family

ID=65054652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811146857.9A Pending CN109243248A (zh) 2018-09-29 2018-09-29 一种基于3d深度摄像模组的虚拟钢琴及其实现方法

Country Status (1)

Country Link
CN (1) CN109243248A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584847A (zh) * 2019-01-25 2019-04-05 张洋 积木电子琴
CN110689866A (zh) * 2019-09-18 2020-01-14 江西昕光年智能科技有限公司 基于增强现实的小提琴辅助教学方法及系统
CN110781820A (zh) * 2019-10-25 2020-02-11 网易（杭州）网络有限公司 游戏角色的动作生成方法、装置、计算机设备及存储介质
CN113158906A (zh) * 2021-04-23 2021-07-23 天津大学 一种基于动作捕捉的古琴体验学习系统及实现方法
CN113674565A (zh) * 2021-08-25 2021-11-19 桂林智神信息技术股份有限公司 一种用于钢琴教学的教学系统及方法
WO2022052941A1 (zh) * 2020-09-09 2022-03-17 桂林智神信息技术股份有限公司 用于辅助钢琴教学的智能识别方法及系统、智能钢琴训练方法及系统
CN114359314A (zh) * 2022-03-18 2022-04-15 之江实验室 面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235641A (zh) * 2013-03-17 2013-08-07 浙江大学 一种6维度感官交互的虚拟键盘乐器系统及其实现方法
CN103531189A (zh) * 2013-09-25 2014-01-22 熊世林 一种用于智能电钢琴的演奏评价器
CN105118490A (zh) * 2015-07-20 2015-12-02 科大讯飞股份有限公司 复调乐器音符定位方法和装置
CN106228961A (zh) * 2016-07-21 2016-12-14 赵洪云 演奏评价方法及装置
CN106648083A (zh) * 2016-12-09 2017-05-10 广州华多网络科技有限公司 增强演奏场景合成控制方法及装置
CN107464474A (zh) * 2017-09-05 2017-12-12 上海智凌信息技术有限公司 一种钢琴弹奏指法的检测方法及装置
CN108073867A (zh) * 2016-11-18 2018-05-25 北京酷我科技有限公司 一种钢琴演奏的视频特征提取方法及系统
CN108549878A (zh) * 2018-04-27 2018-09-18 北京华捷艾米科技有限公司 基于深度信息的手部检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235641A (zh) * 2013-03-17 2013-08-07 浙江大学 一种6维度感官交互的虚拟键盘乐器系统及其实现方法
CN103531189A (zh) * 2013-09-25 2014-01-22 熊世林 一种用于智能电钢琴的演奏评价器
CN105118490A (zh) * 2015-07-20 2015-12-02 科大讯飞股份有限公司 复调乐器音符定位方法和装置
CN106228961A (zh) * 2016-07-21 2016-12-14 赵洪云 演奏评价方法及装置
CN108073867A (zh) * 2016-11-18 2018-05-25 北京酷我科技有限公司 一种钢琴演奏的视频特征提取方法及系统
CN106648083A (zh) * 2016-12-09 2017-05-10 广州华多网络科技有限公司 增强演奏场景合成控制方法及装置
CN107464474A (zh) * 2017-09-05 2017-12-12 上海智凌信息技术有限公司 一种钢琴弹奏指法的检测方法及装置
CN108549878A (zh) * 2018-04-27 2018-09-18 北京华捷艾米科技有限公司 基于深度信息的手部检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈乙雄等: "《移动设备新技术简明教程》", 31 August 2016 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584847A (zh) * 2019-01-25 2019-04-05 张洋 积木电子琴
CN110689866A (zh) * 2019-09-18 2020-01-14 江西昕光年智能科技有限公司 基于增强现实的小提琴辅助教学方法及系统
CN110781820A (zh) * 2019-10-25 2020-02-11 网易（杭州）网络有限公司 游戏角色的动作生成方法、装置、计算机设备及存储介质
CN110781820B (zh) * 2019-10-25 2022-08-05 网易（杭州）网络有限公司 游戏角色的动作生成方法、装置、计算机设备及存储介质
WO2022052941A1 (zh) * 2020-09-09 2022-03-17 桂林智神信息技术股份有限公司 用于辅助钢琴教学的智能识别方法及系统、智能钢琴训练方法及系统
CN113158906A (zh) * 2021-04-23 2021-07-23 天津大学 一种基于动作捕捉的古琴体验学习系统及实现方法
CN113674565A (zh) * 2021-08-25 2021-11-19 桂林智神信息技术股份有限公司 一种用于钢琴教学的教学系统及方法
CN113674565B (zh) * 2021-08-25 2024-04-26 桂林智神信息技术股份有限公司 一种用于钢琴教学的教学系统及方法
CN114359314A (zh) * 2022-03-18 2022-04-15 之江实验室 面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法
CN114359314B (zh) * 2022-03-18 2022-06-24 之江实验室 面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法

Similar Documents

Publication Publication Date Title
CN109243248A (zh) 一种基于3d深度摄像模组的虚拟钢琴及其实现方法
CN109618183B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
JP5256269B2 (ja) データ生成装置、データ生成装置の制御方法、及びプログラム
TWI377055B (en) Interactive rehabilitation method and system for upper and lower extremities
RU2554548C2 (ru) Воплощение визуального представления с помощью изученного ввода от пользователя
CN102822862B (zh) 计算装置接口
US20160267894A1 (en) Computerized percussion instrument
CN102947777B (zh) 用户跟踪反馈
JP5859456B2 (ja) プレゼンテーション用カメラ・ナビゲーション
EP2193825B1 (en) Mobile device for augmented reality applications
US8538153B2 (en) System and method for enabling meaningful interaction with video based characters and objects
CN110428486B (zh) 虚拟互动的健身方法、电子设备及存储介质
JP5325327B2 (ja) ゲーム装置、詳細提示方法、および、プログラム
JP5320332B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP6263917B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN108355347B (zh) 交互控制方法、装置、电子设备及存储介质
WO2020114157A1 (zh) 交互控制方法和装置、存储介质及电子装置
CN110750161A (zh) 一种交互系统、方法、移动设备及计算机可读介质
US20220245836A1 (en) System and method for providing movement based instruction
JP5399966B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
CN116386424A (zh) 一种用于音乐教学的方法、设备和计算机可读存储介质
JP5971816B2 (ja) ゲーム装置及びプログラム
US20200097749A1 (en) Information processing system, information processing method, and program
KR102366102B1 (ko) 3차원 캐릭터 기반 실감형 인터렉티브 운동 컨텐츠 제공 시스템
JP5318016B2 (ja) ゲームシステム、ゲームシステムの制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118