CN103235642B - 一种6维度感官交互的虚拟乐器系统及其实现方法 - Google Patents

Abstract

本发明涉及一种6维度感官交互的虚拟乐器系统，包括人体辅助装置、3D摄像装置，3D投影装置和信号处理单元。人体辅助装置采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元，信号处理单元处理该信号，并且发出信号控制人体辅助装置反馈听觉感知信息、接触觉感知信息、压力觉感知信息；控制3D投影装置反馈3D视觉感知信息。本发明还提供了一种6维度感官交互的虚拟乐器的实现方法，包括设置、采集信息、信号处理、反馈信息四个步骤。本发明的6维度感官交互的虚拟乐器系统很好地实现了人机交互和虚拟现实，使用者能体验到在真实乐器上弹奏的交互效果，具有功能强大，使用方便，外形精巧，造价低廉的优点。

Description

一种6维度感官交互的虚拟乐器系统及其实现方法

技术领域

本发明涉及一种乐器，具体涉及一种6维度感官交互的虚拟乐器系统及其实现方法。

背景技术

乐器受到很多音乐爱好者的喜爱，但是现在使用的传统乐器体积庞大，价格昂贵，而且只能实现视觉，听觉和触觉感受，达不到多维度交互的效果，因此，设计发明如何利用电子设备产生的虚拟乐器就十分有必要。虽然在手机，平板，PC机上也有一些相关的应用可以实现虚拟乐器，但是大多是很简单的设计，即屏幕上出现乐器器件，直接用手指去触碰，然后发出相应的声音，其使用效果甚至远远不如现实中的乐器。于是开发一种可以实现6维度感官虚拟交互的虚拟乐器系统十分有必要，这种系统具有功能更加强大，更能体现真实的虚拟交互效果，使用更加方便，外形更加精巧，造价更加低廉的特点。

发明内容

本发明的目的在于针对现有乐器和一些通过电子设备实现的虚拟乐器的不足，提供一种基于6维度感官技术实现人与虚拟乐器进行人机交互的系统和方法。本发明不但可以提供给用户3D视觉感知，而且可以增加更多的听觉和触觉的感观体验，以及主动参与、互动虚拟现实的多重体验。

本发明采用如下的技术方案：

一种6维度感官交互的虚拟乐器系统，所述的6维度感官是3D视觉感知、听觉感知、接触觉感知、压力觉感知，所述的系统包括3D摄像装置、人体辅助装置、3D投影装置和信号处理单元。

所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元；所述的人体辅助装置用于采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元；所述的信号处理单元接收从人体辅助装置和3D摄像装置发送的信号并且进行处理，将已经处理的信号输出到人体辅助装置和3D投影装置；人体辅助装置接收信号处理单元输出的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；所述的3D投影装置接收信号处理单元输出的信号并将其转换为3D视觉感知信息。

所述的接触觉感知是指，当人接触到物体的时候，产生的一种与物体相接触的感觉，这种感觉是人体感觉到物体存在的一种触觉感知。在这里是指当人接触到投影出来的虚拟乐器时，感受到的虚拟乐器的存在。例如，当虚拟乐器是钢琴时，所述的接触觉感知就是触摸真实的钢琴键的感觉；当虚拟乐器是吉他时，所述的接触觉感知就是触摸真实的吉他弦的感觉。

所述的压力觉感知是指，当人与物体接触时，由于人对物体的按压动作和移动速度使得物体对人进行反作用，而使人体感受到压力的一种触觉感知。在这里是指当人弹奏虚拟乐器时，虚拟乐器给予人的压力反馈。

所述的人体辅助装置用于采集人体发出的声音信息、接触觉信息、压力觉信息，并将其转换为信号发送到信号处理单元；还能够接收信号处理单元输出的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；所述的听觉感知信息包括虚拟乐器对应的声音和系统提示信息；例如，虚拟乐器为钢琴时，人体辅助装置能发出钢琴的声音。所述的系统提示信息包括当前系统的工作状态和对使用者的评价；例如，虚拟乐器为钢琴时，使用者弹奏钢琴的时候，人体辅助装置发出声音，说明当前音量大小，工作模式等工作状态；使用者弹完之后，人体辅助装置发出声音，评价使用者弹奏水平的高低。所述的虚拟乐器的声音信息存储在信号处理单元中。

所述的人体辅助装置包含信息采集模块和信息输出模块；所述的信息采集模块包括触觉传感器和声音传感器；所述的信息输出模块包括声音发生器和触觉发生器。所述的触觉传感器是将接触觉信息和压力觉信息转换为电信号的装置；所述的声音传感器是将声音信息转换为电信号的装置；所述的触觉发生器是将电信号转换为接触感和压力感的装置；所述的声音发生器是将电信号转换为声音的装置。

所述的人体辅助装置样式可以是套状物（如手套、脚套、头套等）、垫状物（如触摸垫、腕垫等）、形成封密环或半封密环带状物（如手带、脚带、腰带、腕带等）、可贴于皮肤表面的贴片等。

例如，幽灵手套可以采集人体肘部的接触觉信息和压力觉信息，并且可以反馈给人相应的压力。

钢琴手套（PianoHands）具有发声效果，戴着它在任何的平面上敲击，手部则会将这种敲击转换成钢琴的声音播放出来。

集成上述两种手套功能的装置满足本发明所述的人体辅助装置的功能要求。

所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元。所述的3D摄像装置是一种可以跟踪某物体，并将该物体的空间信息转换为电信号的装置。例如，场摄像机，Kinect3D体感摄影机，LeapMotion。

所述的3D投影装置能够接收信号处理单元发送的信号并将其转换为3D视觉感知信息。所述的3D投影装置是一种能够将电信号转换为投影出来的3D视觉信息的一种装置。例如，DLP投影机，3D投影仪。

所述的3D视觉感知信息包括能看到实体乐器的投影和系统提示信息。所述的系统提示信息包括操作界面和工作状态的提示。例如，投影出来操作界面上有多个功能按钮，人看到操作界面的功能按钮，将手指按上功能按钮，系统就可以响应操作。

所述的信号处理单元接收从人体辅助装置和3D摄像装置发送的信号并且进行处理，将已经处理的信号输出到人体辅助装置和3D投影装置。

所述的信号处理单元是能够进行计算、分析、信号处理和信号输出的设备，所述的信号处理单元包括但不限于计算机、服务器、移动智能终端。

所述的移动智能终端为能够采集外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的便携式设备，包括但不限于智能手机、PDA、笔记本电脑、上网本、平板电脑、掌上电脑、智能掌上游戏机、PocketPC、TabletPC。

所述的虚拟乐器是以投影的方式呈现出来的乐器，包括通过弹、拨、敲击、触碰手段发出声音的任何装置。

本发明所涉及的虚拟乐器能够通过空间的坐标位置确定所要弹/拨/敲击/触碰的位置，通过弹/拨/敲击/触碰的时间点的不同显示音乐的节奏，并通过空间的坐标位置和音乐节奏的组合表现音乐的旋律。

作为优选，所述的乐器包括弦乐器、打击乐器、键盘乐器、有固定音高但形状尺寸不规则的乐器。

所述的弦乐器包括但不限于竖琴、吉他、古琴、琵琶、筝或贝司。

所述的打击乐器包括但不限于木琴、钢片琴、管钟、编钟、鼓、锣、三角铁、钹、响板或砂槌。

所述的键盘乐器包括但不限于钢琴、管风琴、手风琴或电子琴。

本发明提供的虚拟乐器系统还可以实现对虚拟乐器种类和工作模式的切换，使用完一种乐器后，可以通过重新设置虚拟乐器的种类，来实现虚拟乐器的切换，例如，由钢琴切换成吉他。也可以是弹完一首曲目后，通过重新设置工作模式，来实现工作模式的切换。

本发明还提供一种6维度感官交互的虚拟乐器的实现方法，包括以下步骤：

(1)设置：使用者发送操作指令选择投影的虚拟乐器种类和工作模式，3D投影装置投影出所选的虚拟乐器；

(2)采集信息：3D摄像装置采集人体弹奏虚拟乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元，人体辅助装置采集人体弹奏虚拟乐器时的声音信息、接触觉信息、压力觉信息，将该信息以信号方式输入到信号处理单元；

(3)信号处理：信号处理单元接收从人体辅助装置和3D摄像装置发送的6维度感官信息对应的信号，对该信号进行处理，将已经处理的信号输出到人体辅助装置和3D投影装置；

(4)反馈信息：人体辅助装置接收信号处理单元输出的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；3D投影装置接收信号处理单元输出的信号并将其转换为3D视觉感知信息，实现与虚拟乐器的6维度感官交互。

所述的工作模式根据选择的虚拟乐器不同而有所不同，以钢琴为例，包括弹奏模式、提示最优指法模式，修正指法模式，教学模式，远程教学模式。所述的弹奏模式是指上述步骤(2)-(4)的循环，不做任何改变；所述的提示最优指法模式是基于弹奏模式的基础上，在弹奏过程中，系统提示弹奏钢琴的最优指法；所述的修正指法模式是基于弹奏模式的基础上，在弹奏过程中，系统提示弹奏钢琴的错误，纠正错误的方式；所述的教学模式是基于弹奏模式，提示最优指法和修正指法模式的基础上，在信号处理单元内部内置一套教学系统，进行教学；

需要预先说明的是对于本发明的系统，开启系统后，3D投影装置会直接投影出操作界面，用以设置。

具体地，所述步骤(1)的设置过程可以包括以下步骤：采集使用者的操作指令，处理操作指令对应的信号，反馈操作信息；

采集使用者的操作指令：人体辅助装置和/或3D摄像装置采集使用者发送的操作指令，先选择虚拟乐器，再选择工作模式，并以信号方式发送到信号处理单元。

处理操作指令对应的信号：信号处理单元接收信号并处理，发送经过处理的信号到人体辅助装置和3D投影装置。

反馈操作信息：人体辅助装置接收信号并且反馈与操作方式相应的信息；3D投影装置接收信号并反馈信息。例如，人体辅助装置发出声音提示“成功投影”，提示成功选择工作模式，提示成功选择虚拟乐器的种类，可以正常进行下一步操作；3D投影装置投影出相应的虚拟键盘乐器，投影出“成功投影”的提示信息，提示成功选择工作模式，提示成功选择虚拟乐器的种类，可以正常进行下一步操作。

本发明的方法还可以实现对虚拟乐器种类和工作模式的切换，可在步骤(1)的设置过程中完成，使用完一种乐器后，可以通过重新设置虚拟乐器的种类，来实现虚拟乐器的切换，例如，由钢琴切换成吉他。也可以是弹完一首曲目后，通过重新设置工作模式，来实现工作模式的切换。然后重复步骤(2)-(4)，从而实现新的虚拟乐器的切换或者新的工作模式的切换。

所述的人体辅助装置包含信息采集模块和信息输出模块；所述的信息采集模块是将物理信号转换为电信号的模块，包括触觉传感器和声音传感器；所述的信息输出模块是将电信号转换为人体感知的模块包括声音发生器和触觉发生器。所述的触觉传感器是将接触觉信息和压力觉信息转换为电信号的装置；所述的声音传感器是将声音信息转换为电信号的装置；所述的触觉发生器是将电信号转换为接触觉感知和压力觉感知的装置；所述的声音发生器是将电信号转换为声音的装置。

所述的人体辅助装置样式可以是套状物（如手套、脚套、头套等）、垫状物（如触摸垫、腕垫等）、形成封密环或半封密环带状物（如手带、脚带、腰带、腕带等）、可贴于皮肤表面的贴片等。

所述的信号处理单元是能够进行计算、分析、信号处理和信号输出的设备，所述的信号处理单元包括计算机、服务器、移动智能终端。所述的移动智能终端为能够采集外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的便携式设备。

所述的信号处理单元接收从人体辅助装置和3D摄像装置发送的信号并且进行处理，将已经处理的信号输出到人体辅助装置和3D投影装置。

所述的信号处理单元是能够进行计算、分析、信号处理和信号输出的设备，所述的信号处理单元包括但不限于计算机、服务器、移动智能终端。

所述的移动智能终端为能够采集外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的便携式设备，包括但不限于智能手机、PDA、笔记本电脑、上网本、平板电脑、掌上电脑、智能掌上游戏机、PocketPC、TabletPC。

所述的虚拟乐器是以投影的方式呈现出来的乐器，包括通过弹、拨、敲击、触碰手段发出声音的任何装置。

本发明所涉及的虚拟乐器能够通过空间的坐标位置确定所要弹/拨/敲击/触碰的位置，通过弹/拨/敲击/触碰的时间点的不同显示音乐的节奏，并通过空间的坐标位置和音乐节奏的组合表现音乐的旋律。

作为优选，所述的乐器包括弦乐器、打击乐器、键盘乐器、有固定音高但形状尺寸不规则的乐器。

所述的弦乐器包括但不限于竖琴、吉他、古琴、琵琶、筝或贝司。

所述的打击乐器包括但不限于木琴、钢片琴、管钟、编钟、鼓、锣、三角铁、钹、响板或砂槌。

所述的键盘乐器包括但不限于钢琴、管风琴、手风琴或电子琴。

本发明的有益效果是：

1.本发明通过6维度感官技术实现了完全虚拟现实的效果，能提供完整的人体感受，提供了更好的用户体验，使用者能体验到在真实乐器上弹奏的交互效果，尤其是区别于传统乐器单向信息传递，使用户获得了更好互动感受和使用效果；

2.本发明通过投影的方式实现大大节省了空间，使用的时候将虚拟乐器投影出来占用的空间与实际乐器没有区别，而不使用时不占据空间，克服了传统乐器长时间占据空间的缺点；

3.本发明通过电子设备实现虚拟乐器，不同于传统乐器的机械结构，造价十分低廉，更有利于乐器的普及使用；

本发明提供的方法简单，容易操作，能满足不同层次用户的需要，具有很好的适用性，利于普及。

附图说明

图1是本发明的6维度感官交互的虚拟乐器系统的系统组成方框图；

图2是本发明的6维度感官交互的虚拟乐器系统的结构组成示意图；

图3是本发明的6维度感官交互的虚拟乐器系统的工作流程图；

图4是本发明的6维度感官交互的虚拟钢琴系统的工作流程图；

图5是本发明的虚拟乐器系统的3D摄像装置采集信息示意图；

图6是本发明的虚拟乐器系统的发声实现流程图；

图7是本发明的虚拟乐器系统的接触觉和压力觉反馈实现流程图；

图8是本发明的虚拟乐器系统的视觉投影实现流程图。

其中：1为3D摄像装置，2为人体辅助装置，3为3D投影装置，4为信号处理单元，5为手指，6为琴键。

具体实施方式

下面根据附图和实施例详细说明本发明。

如图1和图2所示，本发明的6维度感官交互的虚拟乐器系统包括人体辅助装置，3D摄像装置、3D投影装置和信号处理单元。

所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元；所述的人体辅助装置用于采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元；所述的信号处理单元接收从人体辅助装置和3D摄像装置发送的信号并且进行处理，将已经处理的信号输出到人体辅助装置和3D投影装置；人体辅助装置接收信号处理单元输出的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；所述的3D投影装置接收信号处理单元输出的信号并将其转换为3D视觉感知信息。

本发明的虚拟乐器系统可以提供人体视觉，听觉，接触觉和压力觉的完整感受，人体对于虚拟乐器的任何操作都可以使虚拟乐器发生随动的变化，这种变化就好像人接触到真实乐器时，真实乐器发生的变化一样。

本发明的一种6维度感官交互的虚拟钢琴系统的工作流程图如图3所示，包括如下步骤：

(1)设置：使用者发送操作指令选择投影的虚拟乐器种类和工作模式，3D投影装置投影出所选的虚拟乐器；

(2)采集信息：3D摄像装置采集人体弹奏虚拟乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元，人体辅助装置采集人体弹奏虚拟乐器时的声音信息、接触觉信息、压力觉信息，将该信息以信号方式输入到信号处理单元；

(3)信号处理：信号处理单元接收从人体辅助装置和3D摄像装置发送的6维度感官信息对应的信号，对该信号进行处理，将已经处理的信号输出到人体辅助装置和3D投影装置；

(4)反馈信息：人体辅助装置接收信号处理单元输出的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；3D投影装置接收信号处理单元输出的信号并将其转换为3D视觉感知信息，实现与虚拟乐器的6维度感官交互。

实施例1

下面以钢琴为例说明本发明的一种实现6维度感官交互的虚拟乐器系统。其中所述的人体辅助装置的样式是手套型的。

使用本发明的虚拟乐器系统，可以达到如下的效果：手指按上投影出来的虚拟琴键的时候，向下压，虚拟琴键随着手指下降并与手指紧密贴合，与此同时人体辅助装置给予手指对应的接触觉感知信息、压力觉感知信息；手指从按下的琴键提上来的时候，投影出来的虚拟琴键也随着手指上升并与手指紧密贴合，与此同时人体辅助装置同样给予手指对应的接触觉感知信息、压力觉感知信息；最后琴键上升到初始高度的时候，与手指分离，手指继续上升离开琴键，琴键高度不变化，手指也没有接触觉和压力觉反馈了。在上述手指按压琴键的整个过程中，系统可以发出该琴键对应的声音。

下面结合图4所示的虚拟钢琴系统的使用流程图具体说明使用方法。

(1)启动：佩戴人体辅助装置，开启系统，3D投影装置投影出提示信息；

(2)设置：使用者通过人体辅助装置和/或3D摄像装置发送操作指令选择工作模式和投影的虚拟乐器，在这里投影的虚拟乐器选择钢琴，默认的工作模式为弹奏模式；

(3)投影：3D投影装置投影出钢琴；

(4)采集信息：人在钢琴上弹奏，3D摄像装置采集人体弹奏虚拟乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元；具体地，3D摄像装置采集人体弹奏虚拟乐器时的3D视觉信息，人体辅助装置采集人体弹奏虚拟乐器时的声音信息、接触觉信息、压力觉信息，将上述信息以信号方式输入到信号处理单元；

3D摄像装置和人体辅助装置每隔采集时间间隔进行一次采集，这个时间称为采集时间间隔。步骤(4)-(6)是一个循环的过程，循环周期是采集时间间隔。

3D摄像装置采集信息的示意图如图5所示，3D摄像装置首先自动跟踪人的手指，跟踪方式可以是通过图像识别方式跟踪手指或者根据手部的人体辅助装置跟踪手指。之后3D摄像装置会每隔采集时间间隔进行扫描，获取手指的空间坐标（x，y，z），得到x，y，z三个空间坐标的光学信息，之后3D摄像装置将该光学信息以信号的形式发送到信号处理单元。

(5)信号处理：信号处理单元接收从人体辅助装置和3D摄像装置发送的信号，对该信号进行处理，将经过处理的信号发送到人体辅助装置和3D投影装置；

(6)反馈信息：人体辅助装置反馈接触觉感知信息，压力觉感知信息，发出钢琴声音，3D投影装置改变投影出的琴键高度。

信号处理单元处理3D摄像装置采集的信息，控制人体辅助装置发出钢琴声音。图6所示的是发声实现流程图。每隔采集时间间隔，3D摄像装置采集一次手指的空间坐标（x，y，z），将该信息以信号的形式发送到信号处理单元。

信号处理单元根据手指的空间坐标（x，y，z）和采集时间间隔计算出当前手指的按压速度，利用公式可算出手指的按压速度，其中，表示手指的当前高度坐标值，表示手指的前一时刻的高度坐标值。

之后根据手指按压速度和采集时间间隔计算出琴键的受力大小F，利用公式，F=ma可算出琴键的受力大小F。其中表示手指的当前按压速度，表示手指的前一时刻的按压速度，a表示手指当前的按压加速度，m代表琴键的质量，m根据实际琴键的质量进行预设。

然后，信号处理单元根据手指和琴键所处的空间位置坐标计算出手指与钢琴的相对空间位置关系，从而识别手指对应的琴键。

通过分析手指对应的琴键得出当前手指对应的琴键应当发出的琴声的音高。通过分析琴键的受力大小F，可以得出当前手指对应的琴键应当发出的琴声的响度。手指对应的琴键应当发出的琴声的音高和响度，结合存储在信号处理单元中的钢琴本身的音色构成声音三要素，并将其转换成声音信号，然后将声音信号发送到人体辅助装置，人体辅助装置接收到信号发出弹奏的钢琴声。

信号处理单元处理3D摄像装置采集的信息，控制人体辅助装置反馈接触觉感知信息、压力觉感知信息。图7所示的是接触觉和压力觉反馈实现流程图。每隔采集时间间隔，3D摄像装置采集一次手指的空间坐标（x，y，z），将该信息以信号的形式发送到信号处理单元。

信号处理单元根据手指的空间坐标（x，y，z）和采集时间间隔计算出当前手指的按压速度，利用公式可算出手指的按压速度，其中，表示手指的当前高度坐标值，表示手指的前一时刻的高度坐标值。

之后根据手指按压速度和采集时间间隔计算出琴键的受力大小F，利用公式，F=ma可算出琴键的受力大小F。其中表示手指的当前按压速度，表示手指的前一时刻的按压速度，a表示手指当前的按压加速度，m代表琴键的质量，m根据实际琴键的质量进行预设。

根据牛顿力学第三定理，琴键的受力大小F与手指受到琴键的反馈力大小F’相等，手指受到琴键的反馈力大小F’是压力觉信息。调出预存在信号处理单元中的钢琴本身的接触觉信息。将压力觉信息，接触觉信息以信号的形式发送到人体辅助装置，人体辅助装置通过触觉发生器对手指施加实时接触觉感知和压力觉感知。

信号处理单元处理3D摄像装置采集的信息，控制3D投影装置改变投影出的琴键高度h。图8所示的是视觉投影的实现流程图。每隔采集时间间隔，3D摄像装置采集一次手指的空间坐标（x，y，z），将该信息以信号的形式发送到信号处理单元。信号处理单元根据手指的高度坐标z得出手指在z轴上的位置。琴键的高度h是随手指在z轴上的位置变化而发生改变，也就是说该琴键的高度h在z轴上的改变是随着手指的按压而发生改变的，琴键高度与手指在z轴上的位置构成一个随动系统，于是信号处理单元根据当前手指位置在z轴上的数值得出对应按压琴键的高度h，并将该信息以信号方式发送到3D投影装置，3D投影装置接收到信号，控制投影出来的琴键高度h随着手指的按压发生z轴上的变化。

在本实施例中是以手弹奏钢琴为例，对于有的残疾人，没有双手，可以用脚弹琴，那么人体辅助装置就可以是脚套型的，佩戴在脚上。所以所述的人体辅助装置可以佩戴在人体的任何部位，根据部位不同，其具体样式也不同。

实施例2

实施例1完成后，需要对虚拟乐器的种类进行切换（例如切换成吉他），其实施步骤如下：重新执行实施例1中的步骤(2)，重新设置，改变虚拟乐器的种类，选择乐器为吉他，3D投影装置投影出吉他，人同样是佩戴手套型的人体辅助装置。一只手按压琴弦，另一只手拨动琴弦。

其余实现步骤与实施例1中的(3)-(6)相似。

使用本发明的虚拟乐器系统，可以达到以下的效果：手指按上投影出来的虚拟琴弦的时候，感觉到接触到琴弦，向下压，虚拟琴弦随着手指下降并与手指紧密贴合，与此同时人体辅助装置给予手指对应的接触觉感知信息、压力觉感知信息；手指从按下的琴弦提上来的时候，投影出来的虚拟琴弦也随着手指上升并与手指紧密贴合，与此同时人体辅助装置同样给予手指对应的接触觉感知信息、压力觉感知信息；最后琴弦上升到初始高度的时候，与手指分离，手指继续上升离开琴弦，琴弦高度不变化，手指也没有接触觉和压力觉反馈了。手指拨动琴弦的效果与上述过程相似，同样是虚拟琴弦给予手指随动的压力觉感知，接触觉感知和3D视觉感知。

在上述手指按压琴弦和拨动琴弦的整个过程中，系统可以发出该琴弦对应的声音。

实施例3

实施例1完成后，需要对虚拟钢琴的工作模式进行切换（例如将弹奏模式切换成修正指法模式），其实施步骤如下：重新执行实施例1中的步骤(2)，重新设置，改变工作模式为修正指法模式。其余实现步骤与实施例1中的(3)-(6)相似。

信号处理单元内部预先存储标准化乐谱，人在弹奏某乐谱时，信号处理单元会实时比对人的弹奏键位与标准化乐谱，若人弹奏错了，信号处理单元就发一个信号到人体辅助装置，人体辅助装置接收到该信号后就会发出声音告诉用户弹奏有误，并提示正确的弹奏位置；同时，信号处理单元还会发一个信号到3D投影装置，3D投影装置接收到该信号会通过投影的方式，以一种颜色标示人弹奏的错误琴键，以另一种颜色标示人应当弹奏的正确琴键。根据上述工作模式所述的机理，就可以使人在弹奏过程中实时改正自己弹奏的错误。该模式特别适合于钢琴的练习演奏。

上述的工作模式仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (10)

1.一种6维度感官交互的虚拟乐器系统，其特征在于：所述的6维度感官是3D视觉感知、听觉感知、接触觉感知、压力觉感知，所述的系统包括3D摄像装置、人体辅助装置、3D投影装置和信号处理单元，其中：

所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元；

所述的人体辅助装置用于采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元；

所述的信号处理单元接收从人体辅助装置和3D摄像装置发送的信号并且进行处理，将已经处理的信号输出到人体辅助装置和3D投影装置；

所述的人体辅助装置接收信号处理单元输出的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；

所述的3D投影装置接收信号处理单元输出的信号并将其转换为3D视觉感知信息；

所述的接触觉感知是指，当人接触到物体的时候，产生的一种与物体相接触的感觉，这种感觉是人体感觉到物体存在的一种触觉感知，是指当人接触到投影出来的虚拟乐器时，感受到的虚拟乐器的存在；

所述的压力觉感知是指，当人与物体接触时，由于人对物体的按压动作和移动速度使得物体对人进行反作用，而使人体感受到压力的一种触觉感知，是指当人弹奏虚拟乐器时，虚拟乐器给予人的压力反馈。

2.根据权利要求1所述的6维度感官交互的虚拟乐器系统，其特征在于：所述的人体辅助装置包含信息采集模块和信息输出模块；所述的信息采集模块包括触觉传感器和声音传感器；所述的信息输出模块包括声音发生器和触觉发生器。

3.根据权利要求1所述的6维度感官交互的虚拟乐器系统，其特征在于：所述的人体辅助装置的样式是套状物、垫状物、形成封密环或半封密环带状物、可贴于皮肤表面的贴片。

4.根据权利要求3所述的6维度感官交互的虚拟乐器系统，其特征在于：所述的套状物是手套、脚套或头套，所述的垫状物是触摸垫或腕垫，所述的带状物是手带、脚带、腰带或腕带。

5.根据权利要求1所述的6维度感官交互的虚拟乐器系统，其特征在于：所述的信号处理单元是能够进行计算、分析、信号处理和信号输出的设备，所述的信号处理单元包括计算机、服务器、移动智能终端。

6.根据权利要求5所述的6维度感官交互的虚拟乐器系统，其特征在于：所述的移动智能终端为能够采集外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的便携式设备。

7.根据权利要求1-6任一项所述的6维度感官交互的虚拟乐器系统，其特征在于：所述的虚拟乐器是以投影的方式呈现出来的乐器，包括通过弹、拨、敲击、触碰手段发出声音的任何装置。

8.根据权利要求7所述的6维度感官交互的虚拟乐器系统，其特征在于：所述的乐器包括弦乐器、打击乐器、键盘乐器、有固定音高但形状尺寸不规则的乐器。

9.根据权利要求8所述的6维度感官交互的虚拟乐器系统，其特征在于：所述的弦乐器包括竖琴、吉他、古琴、琵琶、筝、贝司；所述的打击乐器包括木琴、钢片琴、管钟、编钟、鼓、锣、三角铁、钹、响板、砂槌；所述的键盘乐器包括钢琴、管风琴、手风琴、电子琴。

10.一种6维度感官交互的虚拟乐器的实现方法，其特征在于包括以下步骤：

(1)设置：使用者发送操作指令选择工作模式和投影的虚拟乐器种类，3D投影装置投影出所选的虚拟乐器；

(2)采集信息：3D摄像装置采集人体弹奏虚拟乐器时的3D视觉信息，将该信息以信号方式输入到信号处理单元，人体辅助装置采集人体弹奏虚拟乐器时的声音信息、接触觉信息、压力觉信息，将该信息以信号方式输入到信号处理单元；

(3)信号处理：信号处理单元接收从人体辅助装置和3D摄像装置发送的6维度感官信息对应的信号，对该信号进行处理，将已经处理的信号输出到人体辅助装置和3D投影装置；

(4)反馈信息：人体辅助装置接收信号处理单元输出的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；3D投影装置接收信号处理单元输出的信号并将其转换为3D视觉感知信息，实现与虚拟乐器的6维度感官交互；

所述的接触觉感知是指，当人接触到物体的时候，产生的一种与物体相接触的感觉，这种感觉是人体感觉到物体存在的一种触觉感知，是指当人接触到投影出来的虚拟乐器时，感受到的虚拟乐器的存在；

所述的压力觉感知是指，当人与物体接触时，由于人对物体的按压动作和移动速度使得物体对人进行反作用，而使人体感受到压力的一种触觉感知，是指当人弹奏虚拟乐器时，虚拟乐器给予人的压力反馈。