CN103235641A - 一种6维度感官交互的虚拟键盘乐器系统及其实现方法 - Google Patents
一种6维度感官交互的虚拟键盘乐器系统及其实现方法 Download PDFInfo
- Publication number
- CN103235641A CN103235641A CN2013100860713A CN201310086071A CN103235641A CN 103235641 A CN103235641 A CN 103235641A CN 2013100860713 A CN2013100860713 A CN 2013100860713A CN 201310086071 A CN201310086071 A CN 201310086071A CN 103235641 A CN103235641 A CN 103235641A
- Authority
- CN
- China
- Prior art keywords
- information
- signal
- human body
- signal processing
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明提供一种6维度感官交互的虚拟键盘乐器系统及其实现方法，包括人体辅助装置、3D摄像装置，3D投影装置，信号处理单元和音乐采集装置。本发明的系统有多种工作模式，包括弹奏模式、提示最优指法模式，修正指法模式，教学模式。多种工作模式不仅提供使用者基本的弹奏体验，还具备了提示指法，纠正指法，演示教学的功能。本发明为使用者基于3D视觉、听觉、接触觉和压力觉6维度感知的虚拟键盘乐器系统，提供的虚拟乐器种类包括钢琴、电子琴、手风琴、管风琴等键盘乐器，使用者能体验到在真实乐器上弹奏的交互效果，并且本系统能实现强大的教学功能，使用方法简单、灵活，节省空间，是对于传统的键盘乐器的巨大突破，具有非常广阔的应用前景。
Description
技术领域
本发明涉及一种键盘乐器，具体涉及一种6维度感官交互的虚拟键盘乐器系统及其实现方法。
背景技术
键盘乐器受到很多音乐爱好者的喜爱，但是现在使用的传统键盘乐器体积庞大，价格昂贵，而且只能实现视觉，听觉和触觉感受，达不到多维度交互的效果，因此，设计发明如何利用电子设备产生的虚拟键盘乐器就十分有必要。虽然在手机，平板，PC机上也有一些相关的应用可以实现虚拟键盘乐器，但是大多是很简单的设计，即屏幕上出现乐器器件，直接用手指去触碰，然后发出相应的声音并且显示一些提示信息，这样虽然有一定的交互效果，但是模式过于简单，其使用效果甚至远远不如现实中的乐器。于是开发一种可以实现6维度感官虚拟交互的虚拟键盘乐器系统十分有必要，这种系统具有功能更加强大，更能体现真实的虚拟交互效果，使用更加方便，外形更加精巧，造价更加低廉的特点。
发明内容
本发明的目的在于针对现有乐器和一些通过电子设备实现的虚拟键盘乐器的不足，提供一种基于6维度感官技术实现人与虚拟键盘乐器进行人机交互的系统和方法。本发明不但可以提供给使用者3D视觉感知，而且可以增加更多的听觉和触觉的感观体验，以及主动参与、互动虚拟现实的多重体验。
本发明采用如下的技术方案：
一种6维度感官交互的虚拟键盘乐器系统，所述的6维度感官是3D视觉感知、听觉感知、接触觉感知、压力觉感知，所述的系统包括3D摄像装置、人体辅助装置、3D投影装置、信号处理单元和音乐采集装置，其中：
所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟键盘乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元；
所述的人体辅助装置用于采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元；
所述的音乐采集装置用于采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元；
所述的信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置发送的信号并且进行处理，将处理后的信号发送到人体辅助装置和3D投影装置；
人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；
所述的3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息。
所述的接触觉感知是指，当人接触到物体的时候，产生的一种与物体相接触的感觉，这种感觉是人体感觉到物体存在的一种触觉感知，在这里是指当人接触到投影出来的虚拟键盘乐器时，感受到的虚拟键盘乐器的存在。例如，当虚拟乐器是钢琴时，所述的接触觉感知就是触摸真实的钢琴键的感觉；
所述的压力觉感知是指，当人与物体接触时，由于人对物体的按压动作和移动速度使得物体对人进行反作用，而使人体感受到压力的一种触觉感知，在这里是指当人弹奏虚拟键盘乐器时，虚拟键盘乐器给予人的压力反馈。
所述的人体辅助装置用于采集人体发出的声音信息、接触觉信息、压力觉信息，并将其转换为信号发送到信号处理单元；还用于接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；所述的听觉感知信息包括虚拟键盘乐器对应的声音和系统提示信息；例如，虚拟键盘乐器为钢琴时，人体辅助装置能发出钢琴的声音；所述的系统提示信息包括当前系统的工作状态和对使用者的评价。例如，使用者弹奏乐器的时候，人体辅助装置发出声音，说明当前音量大小，工作模式等工作状态；使用者弹完之后，人体辅助装置发出声音，评价使用者弹奏水平的高低。所述的虚拟键盘乐器的声音信息存储在信号处理单元中。
所述的人体辅助装置包含信息采集模块和信息输出模块；所述的信息采集模块包括触觉传感器和声音传感器；所述的信息输出模块包括声音发生器和触觉发生器。所述的触觉传感器是将接触觉信息和压力觉信息转换为电信号的装置；所述的声音传感器是将声音信息转换为电信号的装置；所述的触觉发生器是将电信号转换为接触感和压力感的装置；声音发生器是将电信号转换为声音的装置。
所述的人体辅助装置样式可以是套状物（如手套、脚套、头套等）、垫状物（如触摸垫、腕垫等）、形成封密环或半封密环带状物（如手带、脚带、腰带、腕带等）、可贴于皮肤表面的贴片等。
例如，幽灵手套可以采集人体肘部的接触觉信息和压力觉信息，并且可以反馈给人相应的压力。
钢琴手套（Piano Hands）具有发声效果，戴着它在任何的平面上敲击，手部则会将这种敲击转换成钢琴的声音播放出来。
集成上述两种手套功能的装置满足本发明所述的人体辅助装置的功能要求。
所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟键盘乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元；所述的3D摄像装置是一种可以跟踪某物体，并将该物体的空间信息转换为电信号的装置。例如，场摄像机，Kinect3D体感摄影机，leap motion。
所述的3D投影装置能够接收信号处理单元发送的信号并将其转换为3D视觉感知信息。所述的3D投影装置是一种能够将电信号转换为投影出来的3D视觉信息的一种装置。例如，DLP投影机，3D投影仪。
所述的3D视觉感知信息包括能看到实体键盘乐器的投影和系统提示信息。所述的系统提示信息包括操作界面和工作状态的提示。例如，投影出来操作界面上有多个功能按钮，人看到操作界面的功能按钮，将手指按上功能按钮，系统就可以响应操作。
所述的音乐采集装置是能够采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元的装置；所述的音乐采集装置包括摄像设备、录音设备、扫描设备，通信设备。例如，摄像设备可以是数码摄像机，数码照相机；录音设备可以是录音笔，麦克风；扫描设备可以是扫描仪，扫描枪；通信设备可以是无线AP，无线网桥，无线网卡，天线。
所述的音乐信息包括但不限于纸质乐谱、电子乐谱等能够被视觉识别的信息，实时音乐、人声、现场音乐会、电视节目录音等能够被听觉识别的信息，MIDI、MP3、WAV等能被信号处理单元的标准音频格式文件。
所述的信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置发送的信号并且进行处理，将处理后的信号发送到人体辅助装置和3D投影装置。
所述的信号处理单元是能够进行计算、分析、信号处理和信号发送的设备，所述的信号处理单元包括但不限于计算机、服务器、移动智能终端。
所述的移动智能终端是能够采集外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的便携式设备，包括但不限于智能手机、PDA、笔记本电脑、上网本、平板电脑、掌上电脑、智能掌上游戏机、Pocket PC、Tablet PC。
所述的虚拟键盘乐器是以投影的方式呈现出来的键盘乐器，其特征在于所述的键盘乐器是有固定排列顺序的琴键、并且每个琴键有固定音高的乐器。
所述的键盘乐器包括钢琴、管风琴、手风琴或电子琴。
本发明的系统可提供多种工作模式，包括弹奏模式、提示最优指法模式、修正指法模式、教学模式。
所述的弹奏模式是最基本的工作模式，可以实现基本的设置功能和弹奏虚拟乐器，系统启动后，默认工作在该模式下；所述的提示最优指法模式除了可以实现基本的设置功能和弹奏虚拟乐器，还有提示最优指法的功能，即在弹奏过程中，系统提示弹奏虚拟键盘乐器的最优指法；所述的修正指法模式除了可以实现基本的设置功能和弹奏虚拟乐器，还有修正指法的功能，即在弹奏过程中，系统提示弹奏钢琴的错误，并纠正错误的弹奏方式；所述的教学模式通过在信号处理单元内部内置教学系统和/或通过音乐采集装置导入教学系统进行教学，在弹奏过程中通过提示最优指法模式或修正指法模式，对使用者进行教学。
本发明提供的虚拟键盘乐器系统可以实现对虚拟键盘乐器种类和工作模式的切换，使用完一种乐器后，可以通过重新设置虚拟乐器的种类，来实现虚拟乐器的切换，例如，由钢琴切换成电子琴。也可以是弹完一首曲目后，通过重新设置工作模式，来实现工作模式的切换，例如，由弹奏模式切换成教学模式。
本发明还提供6维度感官交互虚拟键盘乐器的实现方法，其特征在于包括以下步骤：
(1)采集信息：3D摄像装置采集人体弹奏虚拟键盘乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元，人体辅助装置采集人体弹奏虚拟键盘乐器时的声音信息、接触觉信息、压力觉信息，将该信息以信号方式输入到信号处理单元；音乐采集装置采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元；
(2) 信号处理：信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置传送的6维度感官信息对应的信号，对该信号进行处理，将处理后的信号发送到人体辅助装置和3D投影装置；
(3) 反馈信息：人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息，实现与虚拟键盘乐器的6维度感官交互。
作为优选，所述的步骤(2)中信号处理的方法是：3D摄像装置连续采集人体空间位置三维坐标（x，y，z），其采集时间间隔为 
，信号处理单元接收该信息，对坐标值作时间t上的一阶导数或多阶导数，并且以上述坐标值，及其一阶导数或多阶导数为基础，进行处理得出对应的物理量，通过分析对应的物理量进一步得出对应的声音信息，压力觉信息和3D视觉信息。
基于上述实现方法，本发明的方法具有多种工作模式，包括弹奏模式、提示最优指法模式、修正指法模式、教学模式。
所述的弹奏模式是最基本的工作模式，可以实现基本的设置功能和弹奏虚拟乐器，系统启动后，默认工作在该模式下；所述的提示最优指法模式除了可以实现基本的设置功能和弹奏虚拟乐器，还有提示最优指法的功能，即在弹奏过程中，系统提示弹奏虚拟键盘乐器的最优指法；所述的修正指法模式除了可以实现基本的设置功能和弹奏虚拟乐器，还有修正指法的功能，即在弹奏过程中，系统提示弹奏钢琴的错误，并纠正错误的弹奏方式；所述的教学模式通过在信号处理单元内部内置教学系统和/或通过音乐采集装置导入教学系统进行教学，在弹奏过程中通过提示最优指法模式或修正指法模式，对使用者进行教学。
所述的弹奏模式包括以下步骤：
(1) 设置：采集使用者的操作指令，处理操作指令对应的信号，反馈信息；
(2) 循环工作：依次循环执行采集信息、信号处理、反馈信息的步骤；
需要预先说明的是对于本发明的系统，开启系统后，3D摄像装置会直接投影出操作面板，用以设置。
具体地，所述步骤(1)的设置过程可以包括以下步骤：
采集使用者的操作指令：人体辅助装置和/或3D摄像装置采集使用者发送的操作指令，并以信号方式发送到信号处理单元。例如，使用者可以在投影出来的操作面板上进行设置，也可以通过发送声音信息的方式发送操作指令。
处理操作指令对应的信号：信号处理单元接收信号并处理，发送经过处理的信号到人体辅助装置和3D投影装置。
反馈信息：人体辅助装置接收信号并且反馈与操作方式相应的信息；3D投影装置接收信号并反馈信息。例如，人体辅助装置发出声音提示“成功投影”，提示成功选择工作模式，提示成功选择虚拟乐器的种类，可以正常进行下一步操作；3D投影装置投影出相应的虚拟键盘乐器，投影出“成功投影”的提示信息，提示成功选择工作模式，提示成功选择虚拟乐器的种类，可以正常进行下一步操作。
具体地，所述步骤(2)的循环工作过程可以包括以下步骤：
采集信息：3D摄像装置采集人体弹奏虚拟键盘乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元，人体辅助装置采集人体弹奏虚拟键盘乐器时的声音信息、接触觉信息、压力觉信息，将该信息以信号方式输入到信号处理单元；音乐采集装置采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元。
信号处理：信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置传送的6维度感官信息对应的信号，对该信号进行处理，将处理后的信号发送到人体辅助装置和3D投影装置。
反馈信息：人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息。
上述三步依次循环执行从而实现与虚拟键盘乐器的6维度感官交互和基本的弹奏功能。
本发明提供的虚拟键盘乐器系统还可以实现对虚拟键盘乐器种类和工作模式的切换，可在步骤(1)的设置过程中完成，例如，正在使用一种乐器时或者使用完一种乐器后，可以通过重新设置虚拟键盘乐器的种类，来实现虚拟键盘乐器的切换。也可以是正处于一种乐器的工作模式时，通过重新设置工作模式，来实现工作模式的切换。
所述的提示最优指法模式包括以下步骤：
(1) 设置：采集使用者的操作指令，处理操作指令对应的信号，反馈信息；
(2) 音乐信息的采集与处理：采集音乐信息，处理音乐信息对应的信号，给出初始的提示最优指法信息
(3) 循环工作：依次循环执行采集信息、信号处理、反馈信息的步骤；
具体地，所述步骤(1)的设置过程可以包括以下步骤：
采集使用者的操作指令：人体辅助装置和/或3D摄像装置采集使用者发送的操作指令，并以信号方式发送到信号处理单元。
处理操作指令对应的信号：信号处理单元接收信号并处理，发送经过处理的信号到人体辅助装置和3D投影装置。
反馈信息：人体辅助装置接收信号并且反馈与操作方式相应的信息；3D投影装置接收信号并反馈信息。
具体地，所述步骤(2)的音乐信息的采集与处理过程可以包括以下步骤：
采集音乐信息：音乐采集装置采集音乐信息，将音乐信息转换为信号，发送到信号处理单元。
处理音乐信息对应的信号：信号处理单元接收音乐采集装置发送的信号，通过处理该信号，得出针对该音乐信息的最优弹奏指法，并且将该指法按照弹奏顺序分组以程序编码的形式储存在信号处理单元；将第一组的程序编码以信号的方式发送到3D投影装置和人体辅助装置。
给出初始的提示最优指法信息：3D投影装置接收信号，反馈提示最优指法信息；人体辅助装置接收信号，反馈提示最优指法信息。例如，3D投影装置接收信号将其转化为投影的3D视觉信息，以不同颜色标示该组编码对应的琴键，即为提示的最优指法；人体辅助装置接收信号将其转化为声音信息，直接提示用户用什么指法按键。
具体地，所述步骤(3)的循环工作过程可以包括以下步骤：
采集信息：使用者按照提示的最优指法弹奏虚拟键盘乐器，3D摄像装置采集人体弹奏虚拟键盘乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元，人体辅助装置采集人体弹奏虚拟键盘乐器时的声音信息、接触觉信息、压力觉信息，将该信息以信号方式输入到信号处理单元；音乐采集装置采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元。
信号处理：信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置传送的6维度感官信息对应的信号，对该信号进行处理，将处理后的信号发送到人体辅助装置和3D投影装置。
信号处理单元从3D视觉信息对应的信号中获得使用者当前的实际按键信息，从程序编码中获得当前提示的最优指法，将使用者当前的实际按键信息与当前提示的最优指法进行比对，并根据比对结果做出判断：
若使用者当前的按键与当前提示的最优指法一致，则提示下一组指法，将下一组的程序编码以信号的方式发送到3D投影装置和人体辅助装置；并且发送确认信号到3D投影装置和人体辅助装置，3D投影装置和人体辅助装置接收该信号，会发出相应的提示信息告知使用者弹奏正确。
若使用者当前的按键与当前提示的最优指法不一致，则仍然提示当前组指法，保持将当前组的程序编码以信号的方式发送到3D投影装置和人体辅助装置；并且发送报错信号到3D投影装置和人体辅助装置，3D投影装置和人体辅助装置接收该信号，会发出相应的提示信息告知使用者当前的哪些按键与当前提示的最优指法不一致。
反馈信息：人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息。
上述三步依次循环执行从而实现与虚拟键盘乐器的6维度感官交互和提示最优指法的功能。
所述的修正指法模式包括以下步骤：
(1) 设置：采集使用者的操作指令，处理操作指令对应的信号，反馈信息；
(2) 音乐信息的采集与处理：采集音乐信息，处理音乐信息对应的信号。
(3) 循环工作：依次循环执行采集信息、信号处理、反馈信息的步骤；
具体地，所述步骤(1)的设置过程可以包括以下步骤：
采集使用者的操作指令：人体辅助装置和/或3D摄像装置采集使用者发送的操作指令，并以信号方式发送到信号处理单元。
处理操作指令对应的信号：信号处理单元接收信号并处理，发送经过处理的信号到人体辅助装置和3D投影装置。
反馈信息：人体辅助装置接收信号并且反馈与操作方式相应的信息；3D投影装置接收信号并反馈信息。
具体地，所述步骤(2)的音乐信息的采集与处理过程可以包括以下步骤：
采集音乐信息：音乐采集装置采集音乐信息，将音乐信息转换为信号，发送到信号处理单元。
处理音乐信息对应的信号：信号处理单元接收音乐采集装置发送的信号，通过处理该信号，将该音乐信息转换为标准乐谱，并且将该标准乐谱按照弹奏顺序分组以程序编码的形式储存在信号处理单元；
具体地，所述步骤(3)的循环工作过程可以包括以下步骤：
采集信息：使用者弹奏虚拟键盘乐器，3D摄像装置采集人体弹奏虚拟键盘乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元，人体辅助装置采集人体弹奏虚拟键盘乐器时的声音信息、接触觉信息、压力觉信息，将该信息以信号方式输入到信号处理单元；音乐采集装置采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元。
信号处理：信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置传送的6维度感官信息对应的信号，对该信号进行处理，将处理后的信号发送到人体辅助装置和3D投影装置。
信号处理单元从3D视觉信息对应的信号中获得使用者当前的实际按键信息，从程序编码中获得当前的标准乐谱，将使用者当前的实际按键信息与当前的标准乐谱进行比对，并根据比对结果做出判断：
若使用者当前的按键与当前的标准乐谱一致，则切换下一组标准乐谱作为使用者下一组按键的比对参照；并且发送确认信号到3D投影装置和人体辅助装置，3D投影装置和人体辅助装置接收该信号，会发出相应的提示信息告知使用者弹奏正确。
若使用者当前的按键与当前的标准乐谱不一致，则仍然以当前组标准乐谱作为使用者下一组按键的比对参照；并且发送报错信号到3D投影装置和人体辅助装置，3D投影装置和人体辅助装置接收该信号，会发出相应的提示信息告知使用者弹奏有误。例如， 3D投影装置接收信号将其转化为投影的3D视觉信息，以特殊的颜色标示按错的按键；人体辅助装置接收信号将其转化为声音信息，直接告诉使用者哪些键弹错了。
反馈信息：人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息。
上述三步依次循环执行从而实现与虚拟键盘乐器的6维度感官交互和修正指法的功能。
所述的教学模式通过在信号处理单元内部内置教学系统和/或通过音乐采集装置导入教学系统进行教学。在所述的教学系统内，使用者可以选择一些现成的乐谱练习，也可以让钢琴自动按照使用者当前水平提供合适的练习乐谱。在弹奏过程中以提示最优指法模式对使用者进行指示或以修正指法模式对使用者进行纠错。
本发明的方法可以实现对虚拟键盘乐器种类和工作模式的切换，使用完一种乐器后，可以通过重新设置虚拟乐器的种类，来实现虚拟乐器的切换，例如，由钢琴切换成电子琴。也可以是弹完一首曲目后，通过重新设置工作模式，来实现工作模式的切换，例如，由弹奏模式切换成教学模式。虚拟乐器种类和工作模式的切换在步骤(1)设置步骤中完成。
本发明的有益效果是：
1. 本发明通过6维度感官技术实现了完全虚拟现实的效果，能提供完整的人体感受，提供了更好的用户体验，使用者能体验到在真实乐器上弹奏的交互效果，尤其是区别于传统乐器单向信息传递，使用户获得了更好互动感受和使用效果；
2. 本发明通过投影的方式实现大大节省了空间，使用的时候将虚拟键盘乐器投影出来占用的空间与实际乐器没有区别，而不使用时不占据空间，克服了传统乐器长时间占据空间的缺点；
3. 本发明通过电子设备实现虚拟键盘乐器，不同于传统乐器的机械结构，造价十分低廉，更有利于乐器的普及使用；
4. 本发明提供的方法简单，容易操作，能满足不同层次使用者的需要，具有很好的适用性，利于普及。
本发明提供多种工作模式，具有提示、教学、纠错的功能，有利于提升使用者的演奏水平，适用于不同层次的使用者，具有广阔的应用前景。
附图说明
图1是本发明的6维度感官交互的虚拟键盘乐器系统的系统组成方框图；
图2是本发明的6维度感官交互的虚拟键盘乐器系统的结构组成示意图；
图3是本发明的6维度感官交互的虚拟键盘乐器系统的弹奏模式的工作流程图；
图4是本发明的6维度感官交互的虚拟钢琴系统的工作流程图；
图5是本发明的3D摄像装置采集信息示意图；
图6是本发明的发声实现流程图；
图7是本发明的接触觉和压力觉反馈实现流程图；
图8是本发明的视觉投影实现流程图；
图9是本发明的提示最优指法模式工作流程图；
图10是本发明的修正指法模式工作流程图。
其中：1为3D摄像装置，2为人体辅助装置，3为3D投影装置，4为信号处理单元，5为音乐采集装置，6为手指，7为琴键。
具体实施方式
下面根据附图和实施例详细说明本发明。
如图1和图2所示，本发明的6维度感官交互的虚拟键盘乐器系统包括人体辅助装置、3D摄像装置，3D投影装置，信号处理单元和音乐采集装置。
所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟键盘乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元；所述的人体辅助装置用于采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元；所述的音乐采集装置用于采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元；所述的信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置发送的信号并且进行处理，将处理后的信号发送到人体辅助装置和3D投影装置；人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；所述的3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息。
本发明的虚拟键盘乐器系统可以提供人体视觉，听觉，接触觉和压力觉的完整感受，人体对于虚拟键盘乐器的任何操作都可以使虚拟键盘乐器发生随动的变化，这种变化就好像人接触到真实键盘乐器时，真实键盘乐器发生的变化一样。
作为优选，本发明的系统还可提供多种工作模式，包括弹奏模式、提示最优指法模式、修正指法模式、教学模式。
所述的弹奏模式是最基本的工作模式，可以实现基本的设置功能和弹奏虚拟乐器，系统启动后，默认工作在该模式下；所述的提示最优指法模式除了可以实现基本的设置功能和弹奏虚拟乐器，还有提示最优指法的功能，即在弹奏过程中，系统提示弹奏虚拟键盘乐器的最优指法；所述的修正指法模式除了可以实现基本的设置功能和弹奏虚拟乐器，还有修正指法的功能，即在弹奏过程中，系统提示弹奏钢琴的错误，并纠正错误的弹奏方式；所述的教学模式通过在信号处理单元内部内置教学系统和/或通过音乐采集装置导入教学系统进行教学，在弹奏过程中通过提示最优指法模式或修正指法模式，对使用者进行教学。
本发明还提供6维度感官交互虚拟键盘乐器的实现方法，包括以下步骤：
(1)采集信息：3D摄像装置采集人体弹奏虚拟键盘乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元，人体辅助装置采集人体弹奏虚拟键盘乐器时的声音信息、接触觉信息、压力觉信息，将该信息以信号方式输入到信号处理单元；音乐采集装置采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元；
(2) 信号处理：信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置传送的6维度感官信息对应的信号，对该信号进行处理，将处理后的信号发送到人体辅助装置和3D投影装置；
(3) 反馈信息：人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息，实现与虚拟键盘乐器的6维度感官交互。
基于上述实现方法，本发明具有多种工作模式。包括弹奏模式、提示最优指法模式、修正指法模式、教学模式。
本发明的系统弹奏模式的工作流程图如图3所示，包括以下步骤：
(1) 设置：采集使用者的操作指令，处理操作指令对应的信号，反馈信息；
(2) 循环工作：依次循环执行采集信息、信号处理、反馈信息的步骤；
需要预先说明的是对于本发明的系统，开启系统后，3D投影装置会直接投影出操作面板，用以设置。
具体地，所述步骤(1)的设置过程可以包括以下步骤：
采集使用者的操作指令：人体辅助装置和/或3D摄像装置采集使用者发送的操作指令，并以信号方式发送到信号处理单元。例如，使用者可以在投影出来的操作面板上进行设置，也可以通过发送声音信息的方式发送操作指令。
处理操作指令对应的信号：信号处理单元接收信号并处理，发送经过处理的信号到人体辅助装置和3D投影装置。
反馈信息：人体辅助装置接收信号并且反馈与操作方式相应的信息；3D投影装置接收信号并反馈信息。例如，人体辅助装置发出声音提示“成功投影”，提示成功选择工作模式，提示成功选择虚拟乐器的种类，可以正常进行下一步操作；3D投影装置投影出相应的虚拟键盘乐器，投影出“成功投影”的提示信息，提示成功选择工作模式，提示成功选择虚拟乐器的种类，可以正常进行下一步操作。
具体地，所述步骤(2)的循环工作过程可以包括以下步骤：
采集信息：3D摄像装置采集人体弹奏虚拟键盘乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元，人体辅助装置采集人体弹奏虚拟键盘乐器时的声音信息、接触觉信息、压力觉信息，将该信息以信号方式输入到信号处理单元；音乐采集装置采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元；
信号处理：信号处理单元接收从人体辅助装置和3D摄像装置传送的6维度感官信息对应的信号，对该信号进行处理，将处理后的信号发送到人体辅助装置和3D投影装置。
反馈信息：人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息。
上述三步依次循环执行从而实现与虚拟键盘乐器的6维度感官交互和基本的弹奏功能。
实施例1
下面以钢琴为例说明本发明的一种实现6维度感官交互的虚拟键盘乐器系统。其中所述的人体辅助装置的样式是手套型的。
使用该系统，可以达到如下的效果：手指按上投影出来的虚拟琴键的时候，向下压，虚拟琴键随着手指下降并与手指紧密贴合，与此同时人体辅助装置给予手指对应的接触觉感知、压力觉感知；手指从按下的琴键提上来的时候，投影出来的虚拟琴键也随着手指上升并与手指紧密贴合，与此同时人体辅助装置同样给予手指对应的接触觉感知、压力觉感知；最后琴键上升到初始高度的时候，与手指分离，手指继续上升离开琴键，琴键高度不变化，手指也没有接触觉和压力觉反馈了。在上述手指按压琴键的整个过程中，系统可以发出该琴键对应的声音。
下面结合图4所示的虚拟钢琴系统的使用流程图具体说明使用方法。
(1) 采集使用者的操作指令：使用者通过人体辅助装置和/或3D摄像装置发送操作指令选择工作模式和投影的虚拟键盘乐器。在这里选择投影的虚拟键盘乐器为钢琴，工作模式默认为弹奏模式；
(2) 处理操作指令对应的信号：信号处理单元接收信号并处理，发送经过处理的信号到人体辅助装置和3D投影装置；
(3) 反馈信息：人体辅助装置接收信号并且反馈与操作方式相应的信息；3D投影装置接收信号并反馈信息，投影出钢琴；
(4) 采集信息：3D摄像装置采集人体弹奏虚拟键盘乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元，人体辅助装置采集人体弹奏虚拟键盘乐器时的声音信息、接触觉信息、压力觉信息，将该信息以信号方式输入到信号处理单元；音乐采集装置采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元。
3D摄像装置和人体辅助装置每隔采集时间进行一次采集，这个时间称为采集时间间隔
。步骤(4)-(6)是一个循环的过程，循环周期是采集时间间隔
。
3D摄像装置采集信息的示意图如图5所示，3D摄像装置首先会自动跟踪人的手指，跟踪方式可以是通过图像识别方式跟踪手指或者根据手部的人体辅助装置跟踪手指。之后3D摄像装置会每隔采集时间间隔
进行扫描，获取手指的空间坐标（x，y，z），得到x，y，z三个空间物理量的光学信息，之后3D摄像装置将该光学信息以信号的形式发送到信号处理单元。
(5) 信号处理：信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置传送的6维度感官信息对应的信号，对该信号进行处理，将处理后的信号发送到人体辅助装置和3D投影装置。
(6) 反馈信息：人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息。
在这里具体为：人体辅助装置反馈接触觉感知信息，压力觉感知信息，发出钢琴声音，3D投影装置改变投影出的琴键高度。
所述的信号处理的方法是：3D摄像装置连续采集人体空间位置三维坐标（x，y，z），其采集时间间隔为
，信号处理单元接收该信息，对坐标值作时间t上的一阶导数或多阶导数，并且以上述坐标值，及其一阶导数或多阶导数为基础，进行处理得出对应的物理量，通过分析对应的物理量进一步得出对应的声音信息，压力觉信息和3D视觉信息。
信号处理单元处理3D摄像装置采集的信息，控制人体辅助装置发出钢琴声音。图6所示的是发声实现流程图。每隔采集时间间隔
，3D摄像装置采集一次手指的空间坐标（x，y，z），将该信息以信号的形式发送到信号处理单元。
具体地，信号处理单元根据手指的空间坐标（x，y，z）和采集时间间隔
计算出当前手指的按压速度
，利用公式
可算出手指的按压速度
，其中，
表示手指的当前高度坐标值，表示手指的前一时刻的高度坐标值。
之后根据手指按压速度
和采集时间间隔
计算出琴键的受力大小F，利用公式
，F=ma可算出琴键的受力大小F。其中
表示手指的当前按压速度，
表示手指的前一时刻的按压速度，a表示手指当前的按压加速度，m代表琴键的质量，m根据实际琴键的质量进行预设。
然后，信号处理单元根据手指和琴键所处的空间位置坐标计算出手指与钢琴的相对空间位置关系，从而识别手指对应的琴键。
通过分析手指对应的琴键得出当前手指对应的琴键应当发出的琴声的音高。通过分析琴键的受力大小F，可以得出当前手指对应的琴键应当发出的琴声的响度。手指对应的琴键应当发出的琴声的音高和响度，结合存储在信号处理单元中的钢琴本身的音色构成声音三要素，并将其转换成声音信号，然后将声音信号发送到人体辅助装置，人体辅助装置接收到信号发出弹奏的钢琴声。
信号处理单元处理3D摄像装置采集的信息，控制人体辅助装置反馈接触觉感知信息、压力觉感知信息。图7所示的是接触觉和压力觉反馈实现流程图。每隔采集时间间隔
，3D摄像装置采集一次手指的空间坐标（x，y，z），将该信息以信号的形式发送到信号处理单元。
信号处理单元根据手指的空间坐标（x，y，z）和采集时间间隔
计算出当前手指的按压速度
，利用公式
可算出手指的按压速度
，其中，
表示手指的当前高度坐标值，
表示手指的前一时刻的高度坐标值。
之后根据手指按压速度和采集时间间隔
计算出琴键的受力大小F，利用公式
，F=ma可算出琴键的受力大小F。其中表示手指的当前按压速度，
表示手指的前一时刻的按压速度，a表示手指当前的按压加速度，m代表琴键的质量，m根据实际琴键的质量进行预设。
根据牛顿力学第三定理，琴键的受力大小F与手指受到琴键的反馈力大小F’相等，手指受到琴键的反馈力大小F’是压力觉信息。调出预存在信号处理单元中的钢琴本身的接触觉信息。将压力觉信息，接触觉信息以信号的形式发送到人体辅助装置，人体辅助装置通过触觉发生器对手指施加实时接触觉感知和压力觉感知。
信号处理单元处理3D摄像装置采集的信息，控制3D投影装置改变投影出的琴键高度h。图8所示的是视觉投影的实现流程图。每隔采集时间间隔，3D摄像装置采集一次手指的空间坐标（x，y，z），将该信息以信号的形式发送到信号处理单元。信号处理单元根据手指的高度坐标z得出手指在z轴上的位置。琴键的高度h是随手指在z轴上的位置变化而发生改变，也就是说该琴键的高度h在z轴上的改变是随着手指的按压而发生改变的，琴键高度与手指在z轴上的位置构成一个随动系统，于是信号处理单元根据当前手指位置在z轴上的数值得出对应按压琴键的高度h，并将该信息以信号方式发送到3D投影装置，3D投影装置接收到信号，控制投影出来的琴键高度h随着手指的按压发生z轴上的变化。
在本实施例中是以手指为例，对于有的残疾人，没有双手，可以用脚弹琴，那么人体辅助装置就可以是脚套型的，佩戴在脚上。所以所述的人体辅助装置可以佩戴在人体的任何部位，根据部位不同，其具体样式也不同。
所述的弹奏模式是一种最基本的工作模式，可以实现基本的设置功能和弹奏虚拟乐器，系统启动后，默认工作在该模式下；所述的提示最优指法模式除了可以实现基本的设置功能和弹奏虚拟乐器，还有提示最优指法的功能，即在弹奏过程中，系统提示弹奏虚拟键盘乐器的最优指法；所述的修正指法模式除了可以实现基本的设置功能和弹奏虚拟乐器，还有修正指法的功能，即在弹奏过程中，系统提示弹奏钢琴的错误，并纠正错误的弹奏方式；所述的教学模式通过在信号处理单元内部内置教学系统和/或通过音乐采集装置导入教学系统进行教学，在弹奏过程中通过提示最优指法模式或修正指法模式，对使用者进行教学；
所述的提示最优指法模式包括以下步骤：
(1) 设置：采集使用者的操作指令，处理操作指令对应的信号，反馈信息；
(2) 音乐信息的采集与处理：采集音乐信息，处理音乐信息对应的信号，给出初始的提示最优指法信息
(3) 循环工作：依次循环执行采集信息、信号处理、反馈信息的步骤；
具体地，所述步骤(1)的设置过程可以包括以下步骤：
采集使用者的操作指令：人体辅助装置和/或3D摄像装置采集使用者发送的操作指令，并以信号方式发送到信号处理单元。
处理操作指令对应的信号：信号处理单元接收信号并处理，发送经过处理的信号到人体辅助装置和3D投影装置。
反馈信息：人体辅助装置接收信号并且反馈与操作方式相应的信息；3D投影装置接收信号并反馈信息。
具体地，所述步骤(2)的音乐信息的采集与处理过程可以包括以下步骤：
采集音乐信息：音乐采集装置采集音乐信息，将音乐信息转换为信号，发送到信号处理单元。
处理音乐信息对应的信号：信号处理单元接收音乐采集装置发送的信号，通过处理该信号，得出针对该音乐信息的最优弹奏指法，并且将该指法按照弹奏顺序分组以程序编码的形式储存在信号处理单元；将第一组的程序编码以信号的方式发送到3D投影装置和人体辅助装置。
给出初始的提示最优指法信息：3D投影装置接收信号，反馈提示最优指法信息；人体辅助装置接收信号，反馈提示最优指法信息。例如，3D投影装置接收信号将其转化为投影的3D视觉信息，以不同颜色标示该组编码对应的琴键，即为提示的最优指法；人体辅助装置接收信号将其转化为声音信息，直接提示用户用什么指法按键。
具体地，所述步骤(3)的循环工作过程可以包括以下步骤：
采集信息：使用者按照提示的最优指法弹奏虚拟键盘乐器，3D摄像装置采集人体弹奏虚拟键盘乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元，人体辅助装置采集人体弹奏虚拟键盘乐器时的声音信息、接触觉信息、压力觉信息，将该信息以信号方式输入到信号处理单元；音乐采集装置采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元。
信号处理：信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置传送的6维度感官信息对应的信号，对该信号进行处理，将处理后的信号发送到人体辅助装置和3D投影装置。
信号处理单元从3D视觉信息对应的信号中获得使用者当前的实际按键信息，从程序编码中获得当前提示的最优指法，将使用者当前的实际按键信息与当前提示的最优指法进行比对，并根据比对结果做出判断：
若使用者当前的按键与当前提示的最优指法一致，则提示下一组指法，将下一组的程序编码以信号的方式发送到3D投影装置和人体辅助装置；并且发送确认信号到3D投影装置和人体辅助装置，3D投影装置和人体辅助装置接收该信号，会发出相应的提示信息告知使用者弹奏与提示最优指法一致。
若使用者当前的按键与当前提示的最优指法不一致，则仍然提示当前组指法，保持将当前组的程序编码以信号的方式发送到3D投影装置和人体辅助装置；并且发送报错信号到3D投影装置和人体辅助装置，3D投影装置和人体辅助装置接收该信号，会发出相应的提示信息告知使用者当前的哪些按键与当前提示的最优指法不一致。
反馈信息：人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息。
上述三步依次循环执行从而实现与虚拟键盘乐器的6维度感官交互和提示最优指法的功能。
所述的修正指法模式包括以下步骤：
(1) 设置：采集使用者的操作指令，处理操作指令对应的信号，反馈信息；
(2) 音乐信息的采集与处理：采集音乐信息，处理音乐信息对应的信号。
(3) 循环工作：依次循环执行采集信息、信号处理、反馈信息的步骤；
具体地，所述步骤(1)的设置过程可以包括以下步骤：
采集使用者的操作指令：人体辅助装置和/或3D摄像装置采集使用者发送的操作指令，并以信号方式发送到信号处理单元。
处理操作指令对应的信号：信号处理单元接收信号并处理，发送经过处理的信号到人体辅助装置和3D投影装置。
反馈信息：人体辅助装置接收信号并且反馈与操作方式相应的信息；3D投影装置接收信号并反馈信息。
具体地，所述步骤(2)的音乐信息的采集与处理过程可以包括以下步骤：
采集音乐信息：音乐采集装置采集音乐信息，将音乐信息转换为信号，发送到信号处理单元。
处理音乐信息对应的信号：信号处理单元接收音乐采集装置发送的信号，通过处理该信号，将该音乐信息转换为标准乐谱，并且将该标准乐谱按照弹奏顺序分组以程序编码的形式储存在信号处理单元；
具体地，所述步骤(3)的循环工作过程可以包括以下步骤：
采集信息：使用者弹奏虚拟键盘乐器，3D摄像装置采集人体弹奏虚拟键盘乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元，人体辅助装置采集人体弹奏虚拟键盘乐器时的声音信息、接触觉信息、压力觉信息，将该信息以信号方式输入到信号处理单元；音乐采集装置采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元。
信号处理：信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置传送的6维度感官信息对应的信号，对该信号进行处理，将处理后的信号发送到人体辅助装置和3D投影装置。
信号处理单元从3D视觉信息对应的信号中获得使用者当前的实际按键信息，从程序编码中获得当前的标准乐谱，将使用者当前的实际按键信息与当前的标准乐谱进行比对，并根据比对结果做出判断：
若使用者当前的按键与当前的标准乐谱一致，则切换下一组标准乐谱作为使用者下一组按键的比对参照；并且发送确认信号到3D投影装置和人体辅助装置，3D投影装置和人体辅助装置接收该信号，会发出相应的提示信息告知使用者弹奏正确。
若使用者当前的按键与当前的标准乐谱不一致，则仍然以当前组标准乐谱作为使用者下一组按键的比对参照；并且发送报错信号到3D投影装置和人体辅助装置，3D投影装置和人体辅助装置接收该信号，会发出相应的提示信息告知使用者弹奏有误。例如， 3D投影装置接收信号将其转化为投影的3D视觉信息，以特殊的颜色标示按错的按键；人体辅助装置接收信号将其转化为声音信息，直接告诉使用者哪些键弹错了。
反馈信息：人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息。
上述三步依次循环执行从而实现与虚拟键盘乐器的6维度感官交互和修正指法的功能。
所述的教学模式通过在信号处理单元内部内置教学系统和/或通过音乐采集装置导入教学系统进行教学。在所述的教学系统内，使用者可以选择一些现成的乐谱练习，也可以让钢琴自动按照使用者当前水平提供合适的练习乐谱。在弹奏过程中以提示最优指法模式对使用者进行指示或以修正指法模式对使用者进行纠错。
实施例2
实施例1是以钢琴为例，若需要对虚拟键盘乐器的种类进行切换（例如钢琴切换成电子琴），从当前工作模式的循环工作步骤中返回到设置步骤重新设置即可。例如，工作在修正指法模式下，从步骤(3)循环工作步骤中返回到步骤(1)设置步骤重新设置。
实施例3
若需要对工作模式进行切换（例如弹奏模式切换成提示最优指法模式），从步骤(3)的循环工作步骤中返回到步骤(1)的设置步骤重新设置。
上述的工作模式仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
Claims (10)
1.一种6维度感官交互的虚拟键盘乐器系统，其特征在于：所述的6维度感官是3D视觉感知、听觉感知、接触觉感知、压力觉感知，所述的系统包括3D摄像装置、人体辅助装置、3D投影装置、信号处理单元和音乐采集装置，其中：
所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟键盘乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元；
所述的人体辅助装置用于采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元；
所述的音乐采集装置用于采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元；
所述的信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置发送的信号并且进行处理，将处理后的信号发送到人体辅助装置和3D投影装置；
人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；
所述的3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息。
2.根据权利要求1所述的6维度感官交互的虚拟键盘乐器系统，其特征在于：所述的音乐采集装置是能够采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元的装置；所述的音乐采集装置包括摄像设备、录音设备、扫描设备、通信设备。
3.根据权利要求1或2任一项所述的6维度感官交互的虚拟键盘乐器系统，其特征在于：所述的虚拟键盘乐器是以投影的方式呈现出来的键盘乐器，其特征在于所述的键盘乐器是有固定排列顺序的琴键、并且每个琴键有固定音高的乐器，包括钢琴、管风琴、手风琴或电子琴等。
4.一种6维度感官交互虚拟键盘乐器的实现方法，其特征在于包括以下步骤：
(1) 采集信息：3D摄像装置采集人体弹奏虚拟键盘乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元，人体辅助装置采集人体弹奏虚拟键盘乐器时的声音信息、接触觉信息、压力觉信息，将该信息以信号方式输入到信号处理单元；音乐采集装置采集音乐信息，将采集到的音乐信息转换为信号，并将该信号发送到信号处理单元；
(2) 信号处理：信号处理单元接收从人体辅助装置、3D摄像装置和音乐采集装置发送的6维度感官信息对应的信号，对该信号进行处理，将处理后的信号发送到人体辅助装置和3D投影装置；
(3) 反馈信息：人体辅助装置接收信号处理单元发送的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；3D投影装置接收信号处理单元发送的信号并将其转换为3D视觉感知信息，实现与虚拟键盘乐器的6维度感官交互。
5.根据权利要求4所述6维度感官交互虚拟键盘乐器的实现方法，其特征在于：所述的步骤(2)中信号处理的方法是：3D摄像装置连续采集人体空间位置三维坐标（x，y，z），其采集时间间隔为 ，信号处理单元接收该信息，对坐标值作时间t上的一阶导数或多阶导数，并且以上述坐标值，及其一阶导数或多阶导数为基础，进行处理得出对应的物理量，通过分析对应的物理量进一步得出对应的声音信息，压力觉信息和3D视觉信息。
6.根据权利要求4或5所述的6维度感官交互虚拟键盘乐器的实现方法，其特征在于：所述的方法具有多种工作模式，所述的工作模式包括弹奏模式、提示最优指法模式、修正指法模式、教学模式。
7.根据权利要求6所述的6维度感官交互虚拟键盘乐器的实现方法，其特征在于：所述的弹奏模式包括以下步骤：
(1) 设置：采集使用者的操作指令，处理操作指令对应的信号，反馈信息；
(2) 循环工作：依次循环执行采集信息、信号处理、反馈信息的步骤。
8.根据权利要求6所述的6维度感官交互虚拟键盘乐器的实现方法，其特征在于：所述的提示最优指法模式包括以下步骤：
(1) 设置：采集使用者的操作指令，处理操作指令对应的信号，反馈信息；
(2) 音乐信息的采集与处理：采集音乐信息，处理音乐信息对应的信号，给出初始的提示最优指法信息；
(3) 循环工作：依次循环执行采集信息、信号处理、反馈信息的步骤。
9.根据权利要求6所述的6维度感官交互虚拟键盘乐器的实现方法，其特征在于：所述的修正指法模式包括以下步骤：
(1) 设置：采集使用者的操作指令，处理操作指令对应的信号，反馈信息；
(2) 音乐信息的采集与处理：采集音乐信息，处理音乐信息对应的信号；
(3) 循环工作：依次循环执行采集信息、信号处理、反馈信息的步骤。
10.根据权利要求6所述的方法，其特征在于：所述的教学模式是通过在信号处理单元内部内置教学系统和/或通过音乐采集装置导入教学系统进行教学。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310086071.3A CN103235641B (zh) | 2013-03-17 | 2013-03-17 | 一种6维度感官交互的虚拟键盘乐器系统及其实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310086071.3A CN103235641B (zh) | 2013-03-17 | 2013-03-17 | 一种6维度感官交互的虚拟键盘乐器系统及其实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103235641A true CN103235641A (zh) | 2013-08-07 |
| CN103235641B CN103235641B (zh) | 2016-08-03 |
Family
ID=48883687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310086071.3A Active CN103235641B (zh) | 2013-03-17 | 2013-03-17 | 一种6维度感官交互的虚拟键盘乐器系统及其实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103235641B (zh) |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103645834A (zh) * | 2013-11-04 | 2014-03-19 | 白振辉 | 光影音乐装置 |
| CN104167122A (zh) * | 2014-07-31 | 2014-11-26 | 喻应芝 | 一种钢琴的智能辅助教学练习装置及其方法 |
| CN104464431A (zh) * | 2014-12-15 | 2015-03-25 | 北京科东电力控制系统有限责任公司 | 一种电力安全培训实体仿真系统 |
| CN104966428A (zh) * | 2015-07-16 | 2015-10-07 | 北京工业大学 | 基于3d打印的辅助学习实现方法与系统 |
| CN105825845A (zh) * | 2016-03-16 | 2016-08-03 | 湖南大学 | 一种播放乐器音乐的方法及系统 |
| CN106205576A (zh) * | 2016-08-31 | 2016-12-07 | 哈尔滨固泰电子有限责任公司 | 电子乐器 |
| CN106601217A (zh) * | 2016-12-06 | 2017-04-26 | 北京邮电大学 | 一种交互式乐器演奏方法及装置 |
| CN106652656A (zh) * | 2016-10-18 | 2017-05-10 | 朱金彪 | 利用虚拟乐器学习和演奏的方法、装置以及使用其的眼镜或头盔 |
| CN106782458A (zh) * | 2016-12-01 | 2017-05-31 | 山东大学 | 基于三维定位原理的空间演奏方法及装置 |
| CN106873939A (zh) * | 2017-03-07 | 2017-06-20 | 联想(北京)有限公司 | 电子设备及其使用方法 |
| CN107239822A (zh) * | 2017-06-09 | 2017-10-10 | 上海思依暄机器人科技股份有限公司 | 信息互动方法、系统及机器人 |
| CN107273039A (zh) * | 2017-07-03 | 2017-10-20 | 武汉理工大学 | 一种网络虚拟口琴 |
| CN107329660A (zh) * | 2017-07-03 | 2017-11-07 | 武汉理工大学 | 一种钢琴类网络虚拟乐器 |
| CN107329691A (zh) * | 2017-07-03 | 2017-11-07 | 武汉理工大学 | 一种网络虚拟铜管乐器 |
| CN107358943A (zh) * | 2017-07-03 | 2017-11-17 | 武汉理工大学 | 一种网络虚拟木管乐器 |
| CN107357519A (zh) * | 2017-07-03 | 2017-11-17 | 武汉理工大学 | 一种网络虚拟架子鼓 |
| CN107485826A (zh) * | 2017-07-28 | 2017-12-19 | 长春理工大学 | 基于虚拟现实技术的手部康复训练系统 |
| CN107644631A (zh) * | 2017-10-13 | 2018-01-30 | 深圳市明德智慧教育科技有限公司 | 基于虚拟现实的音乐输入的方法、系统及虚拟现实设备 |
| CN108074556A (zh) * | 2016-11-18 | 2018-05-25 | 北京酷我科技有限公司 | 一种钢琴演奏的评价方法及系统 |
| CN108205946A (zh) * | 2016-12-16 | 2018-06-26 | 北京酷我科技有限公司 | 一种基于增强现实的钢琴教学方法、设备及钢琴 |
| CN109166565A (zh) * | 2018-08-23 | 2019-01-08 | 百度在线网络技术（北京）有限公司 | 虚拟乐器处理方法、装置、虚拟乐器设备及存储介质 |
| CN109166369A (zh) * | 2018-10-11 | 2019-01-08 | 龚映清 | 一种透明屏幕式增强现实视-触-听横屏训练系统及方法 |
| CN109243248A (zh) * | 2018-09-29 | 2019-01-18 | 南京华捷艾米软件科技有限公司 | 一种基于3d深度摄像模组的虚拟钢琴及其实现方法 |
| CN109493685A (zh) * | 2018-12-29 | 2019-03-19 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的虚拟打击乐器训练系统 |
| CN109493670A (zh) * | 2018-11-21 | 2019-03-19 | 苏州工业园区职业技术学院 | 一种机电气一体化生产培训系统 |
| CN109523567A (zh) * | 2018-10-25 | 2019-03-26 | 深圳市象形字科技股份有限公司 | 一种基于计算机视觉技术的辅助二胡练习者指法检测方法 |
| CN109791740A (zh) * | 2016-10-11 | 2019-05-21 | 森兰信息科技（上海）有限公司 | 用于智能钢琴的智能检测及反馈系统 |
| CN109799903A (zh) * | 2018-12-21 | 2019-05-24 | 段新 | 基于虚拟现实的打击乐方法、终端设备及系统 |
| CN110097805A (zh) * | 2019-03-28 | 2019-08-06 | 吴少博 | 一种钢琴学习手型辅助矫正装置 |
| CN110515324A (zh) * | 2019-07-19 | 2019-11-29 | 森兰信息科技（上海）有限公司 | 钢琴同步控制方法、系统、存储介质及装置 |
| WO2019237766A1 (en) * | 2018-06-14 | 2019-12-19 | Sunland Information Technology Co., Ltd. | Systems and methods for assisting a user in practicing a musical instrument |
| CN110728967A (zh) * | 2019-10-03 | 2020-01-24 | 陕西学前师范学院 | 一种可提示指法的智能钢琴系统及其使用方法 |
| CN111061365A (zh) * | 2019-11-28 | 2020-04-24 | 武汉渲奇数字科技有限公司 | 一种基于vr技术的编钟演奏指引系统 |
| CN112270858A (zh) * | 2020-10-10 | 2021-01-26 | 陇东学院 | 一种基于vr系统的音乐指挥训练台 |
| CN112420006A (zh) * | 2020-10-30 | 2021-02-26 | 天津亚克互动科技有限公司 | 运行模拟乐器组件的方法及装置、存储介质、计算机设备 |
| CN112891938A (zh) * | 2021-03-05 | 2021-06-04 | 华人运通(上海)云计算科技有限公司 | 车端游戏方法、装置、系统、设备及存储介质 |
| CN113758506A (zh) * | 2021-08-31 | 2021-12-07 | 天津大学 | 一种基于Leap Motion的拇指弹琴触键动作测量平台及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6413229B1 (en) * | 1997-05-12 | 2002-07-02 | Virtual Technologies, Inc | Force-feedback interface device for the hand |
| JP2004240132A (ja) * | 2003-02-05 | 2004-08-26 | Takuya Shinkawa | 楽器および指先操作部 |
| CN1898630A (zh) * | 2004-07-15 | 2007-01-17 | 日本电信电话株式会社 | 力觉提示装置、力觉提示方法以及力觉提示程序 |
| CN102568261A (zh) * | 2011-12-28 | 2012-07-11 | 张智 | 乐器辅助学习机 |
| CN102831796A (zh) * | 2012-07-10 | 2012-12-19 | 浙江大学 | 激光标识键盘乐器示教系统和示教方法 |
-
2013
- 2013-03-17 CN CN201310086071.3A patent/CN103235641B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6413229B1 (en) * | 1997-05-12 | 2002-07-02 | Virtual Technologies, Inc | Force-feedback interface device for the hand |
| JP2004240132A (ja) * | 2003-02-05 | 2004-08-26 | Takuya Shinkawa | 楽器および指先操作部 |
| CN1898630A (zh) * | 2004-07-15 | 2007-01-17 | 日本电信电话株式会社 | 力觉提示装置、力觉提示方法以及力觉提示程序 |
| CN102568261A (zh) * | 2011-12-28 | 2012-07-11 | 张智 | 乐器辅助学习机 |
| CN102831796A (zh) * | 2012-07-10 | 2012-12-19 | 浙江大学 | 激光标识键盘乐器示教系统和示教方法 |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103645834A (zh) * | 2013-11-04 | 2014-03-19 | 白振辉 | 光影音乐装置 |
| CN104167122A (zh) * | 2014-07-31 | 2014-11-26 | 喻应芝 | 一种钢琴的智能辅助教学练习装置及其方法 |
| CN104464431A (zh) * | 2014-12-15 | 2015-03-25 | 北京科东电力控制系统有限责任公司 | 一种电力安全培训实体仿真系统 |
| CN104966428B (zh) * | 2015-07-16 | 2017-10-31 | 北京工业大学 | 基于3d打印的辅助学习实现方法与系统 |
| CN104966428A (zh) * | 2015-07-16 | 2015-10-07 | 北京工业大学 | 基于3d打印的辅助学习实现方法与系统 |
| CN105825845A (zh) * | 2016-03-16 | 2016-08-03 | 湖南大学 | 一种播放乐器音乐的方法及系统 |
| CN106205576A (zh) * | 2016-08-31 | 2016-12-07 | 哈尔滨固泰电子有限责任公司 | 电子乐器 |
| CN109791740A (zh) * | 2016-10-11 | 2019-05-21 | 森兰信息科技（上海）有限公司 | 用于智能钢琴的智能检测及反馈系统 |
| CN106652656A (zh) * | 2016-10-18 | 2017-05-10 | 朱金彪 | 利用虚拟乐器学习和演奏的方法、装置以及使用其的眼镜或头盔 |
| CN108074556A (zh) * | 2016-11-18 | 2018-05-25 | 北京酷我科技有限公司 | 一种钢琴演奏的评价方法及系统 |
| CN106782458A (zh) * | 2016-12-01 | 2017-05-31 | 山东大学 | 基于三维定位原理的空间演奏方法及装置 |
| CN106601217A (zh) * | 2016-12-06 | 2017-04-26 | 北京邮电大学 | 一种交互式乐器演奏方法及装置 |
| CN108205946A (zh) * | 2016-12-16 | 2018-06-26 | 北京酷我科技有限公司 | 一种基于增强现实的钢琴教学方法、设备及钢琴 |
| CN106873939A (zh) * | 2017-03-07 | 2017-06-20 | 联想(北京)有限公司 | 电子设备及其使用方法 |
| CN106873939B (zh) * | 2017-03-07 | 2020-06-23 | 联想(北京)有限公司 | 电子设备及其使用方法 |
| CN107239822A (zh) * | 2017-06-09 | 2017-10-10 | 上海思依暄机器人科技股份有限公司 | 信息互动方法、系统及机器人 |
| CN107239822B (zh) * | 2017-06-09 | 2020-12-15 | 上海思依暄机器人科技股份有限公司 | 信息互动方法、系统及机器人 |
| CN107358943B (zh) * | 2017-07-03 | 2020-02-07 | 武汉理工大学 | 一种网络虚拟木管乐器 |
| CN107329691A (zh) * | 2017-07-03 | 2017-11-07 | 武汉理工大学 | 一种网络虚拟铜管乐器 |
| CN107357519A (zh) * | 2017-07-03 | 2017-11-17 | 武汉理工大学 | 一种网络虚拟架子鼓 |
| CN107329660A (zh) * | 2017-07-03 | 2017-11-07 | 武汉理工大学 | 一种钢琴类网络虚拟乐器 |
| CN107273039A (zh) * | 2017-07-03 | 2017-10-20 | 武汉理工大学 | 一种网络虚拟口琴 |
| CN107358943A (zh) * | 2017-07-03 | 2017-11-17 | 武汉理工大学 | 一种网络虚拟木管乐器 |
| CN107485826A (zh) * | 2017-07-28 | 2017-12-19 | 长春理工大学 | 基于虚拟现实技术的手部康复训练系统 |
| CN107644631A (zh) * | 2017-10-13 | 2018-01-30 | 深圳市明德智慧教育科技有限公司 | 基于虚拟现实的音乐输入的方法、系统及虚拟现实设备 |
| US11417233B2 (en) | 2018-06-14 | 2022-08-16 | Sunland Information Technology Co., Lid. | Systems and methods for assisting a user in practicing a musical instrument |
| WO2019237766A1 (en) * | 2018-06-14 | 2019-12-19 | Sunland Information Technology Co., Ltd. | Systems and methods for assisting a user in practicing a musical instrument |
| CN109166565A (zh) * | 2018-08-23 | 2019-01-08 | 百度在线网络技术（北京）有限公司 | 虚拟乐器处理方法、装置、虚拟乐器设备及存储介质 |
| CN109243248A (zh) * | 2018-09-29 | 2019-01-18 | 南京华捷艾米软件科技有限公司 | 一种基于3d深度摄像模组的虚拟钢琴及其实现方法 |
| CN109166369A (zh) * | 2018-10-11 | 2019-01-08 | 龚映清 | 一种透明屏幕式增强现实视-触-听横屏训练系统及方法 |
| CN109523567A (zh) * | 2018-10-25 | 2019-03-26 | 深圳市象形字科技股份有限公司 | 一种基于计算机视觉技术的辅助二胡练习者指法检测方法 |
| CN109493670A (zh) * | 2018-11-21 | 2019-03-19 | 苏州工业园区职业技术学院 | 一种机电气一体化生产培训系统 |
| CN109799903A (zh) * | 2018-12-21 | 2019-05-24 | 段新 | 基于虚拟现实的打击乐方法、终端设备及系统 |
| CN109493685A (zh) * | 2018-12-29 | 2019-03-19 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的虚拟打击乐器训练系统 |
| CN110097805A (zh) * | 2019-03-28 | 2019-08-06 | 吴少博 | 一种钢琴学习手型辅助矫正装置 |
| CN110515324A (zh) * | 2019-07-19 | 2019-11-29 | 森兰信息科技（上海）有限公司 | 钢琴同步控制方法、系统、存储介质及装置 |
| CN110728967A (zh) * | 2019-10-03 | 2020-01-24 | 陕西学前师范学院 | 一种可提示指法的智能钢琴系统及其使用方法 |
| CN111061365A (zh) * | 2019-11-28 | 2020-04-24 | 武汉渲奇数字科技有限公司 | 一种基于vr技术的编钟演奏指引系统 |
| CN111061365B (zh) * | 2019-11-28 | 2023-05-30 | 武汉渲奇数字科技有限公司 | 一种基于vr技术的编钟演奏指引系统 |
| CN112270858A (zh) * | 2020-10-10 | 2021-01-26 | 陇东学院 | 一种基于vr系统的音乐指挥训练台 |
| CN112420006A (zh) * | 2020-10-30 | 2021-02-26 | 天津亚克互动科技有限公司 | 运行模拟乐器组件的方法及装置、存储介质、计算机设备 |
| CN112420006B (zh) * | 2020-10-30 | 2022-08-05 | 天津亚克互动科技有限公司 | 运行模拟乐器组件的方法及装置、存储介质、计算机设备 |
| CN112891938A (zh) * | 2021-03-05 | 2021-06-04 | 华人运通(上海)云计算科技有限公司 | 车端游戏方法、装置、系统、设备及存储介质 |
| CN113758506A (zh) * | 2021-08-31 | 2021-12-07 | 天津大学 | 一种基于Leap Motion的拇指弹琴触键动作测量平台及方法 |
| CN113758506B (zh) * | 2021-08-31 | 2023-09-12 | 天津大学 | 一种基于Leap Motion的拇指弹琴触键动作测量平台及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103235641B (zh) | 2016-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103235641A (zh) | 一种6维度感官交互的虚拟键盘乐器系统及其实现方法 | |
| CN103235642B (zh) | 一种6维度感官交互的虚拟乐器系统及其实现方法 | |
| CN103150940B (zh) | 一种键盘乐器示教系统和示教方法 | |
| CN110531860B (zh) | 一种基于人工智能的动画形象驱动方法和装置 | |
| Tan et al. | Methodology for maximizing information transmission of haptic devices: A survey | |
| CN109215413A (zh) | 一种基于移动增强现实的模具设计教学方法、系统及移动终端 | |
| CN108417009A (zh) | 一种终端设备控制方法以及电子设备 | |
| CN110033669A (zh) | 学习辅助系统 | |
| CN102609092A (zh) | 基于气流感应技术进行交互的手机及其方法 | |
| CN116880701B (zh) | 基于全息设备的多模态交互方法及系统 | |
| CN109331455A (zh) | 人体姿态的动作纠错方法、装置、存储介质及终端 | |
| US11947399B2 (en) | Determining tap locations on a handheld electronic device based on inertial measurements | |
| JP5583741B2 (ja) | 携帯端末装置、端末プログラムおよび玩具 | |
| CN105096691A (zh) | 钢琴仿真学习设备及其使用方法 | |
| KR20150097050A (ko) | 박수 게임을 이용한 유아 및 발달장애 아동의 학습 시스템 | |
| CN211016498U (zh) | 手指乐器 | |
| CN109887481B (zh) | 电子琴演奏方法及装置 | |
| CN202615651U (zh) | 一种基于键盘投影的新型钢琴 | |
| CN204883058U (zh) | 一种虚拟头盔显示器 | |
| CN106020468A (zh) | 一种手套控制的增强现实系统 | |
| CN208582964U (zh) | 一种可扩展无线体感控制器装置 | |
| CN103419204A (zh) | 划拳机器人系统 | |
| US20200166990A1 (en) | Device and methodology for the interaction through gestures and movements of human limbs and fingers | |
| Shang et al. | A music performance method based on visual gesture recognition | |
| CN111610857A (zh) | 一种具有vr体感互动装置的手套 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |