CN103823551A - 一种实现多维度感知虚拟交互的系统和方法 - Google Patents

Abstract

本发明提供一种多维度感知虚拟交互的系统和实现方法，还涉及一种基于该系统的功能扩展系统和实现方法。本发明的系统包括核心处理单元、使用者辅助单元、3D摄像单元、3D投影单元，还可以包括扩展单元。本发明的多维度感知虚拟交互的系统和实现方法较好地实现了多维度感知虚拟交互，能够真正从多个维度实现使用者与系统的虚拟交互，所述的虚拟交互场景包括虚拟弹琴、虚拟会议、虚拟聚会等。基于多个本发明所述的系统还能实现多个使用者时空同步的多维度感知虚拟交互。

Description

一种实现多维度感知虚拟交互的系统和方法

技术领域

本发明涉及生理信号分析技术，具体涉及一种实现多维度感知虚拟交互的系统和方法。

背景技术

虽然在各家公司也研制了诸多虚拟交互的系统，但是大多是仅限于3D视觉、听觉和接触觉5个维度的感知交互，而未涉及使用者的情感行为，所依据的交互信息也仅为使用者在虚拟交互过程中的运动信号，而未把使用者在虚拟交互过程中的生理信号也进一步地进行分析，从而更加多维度地使人与系统所产生的虚拟场景产生交互。而且现在虚拟交互的维度感知还只停留在3D视觉、听觉和接触觉三维感觉，达不到基于使用者多维度感知的虚拟交互的效果，所以研制能实现多维度感知虚拟交互的系统和方法就十分有必要。

发明内容

本发明的目的在于针对现有技术的不足，提供一种实现多维度感知虚拟交互的系统和方法。实现多维度感知首先要获得基于使用者双眼的仿生学原理的有立体空间纵深的3D视觉感知信息，除此之外增加更多的听觉和触觉的被动式感观体验，加上主动参与、互动虚拟的的多重体验，通过探测使用者的生理信息，本发明所述的系统能对使用者的状态达到更深一步的了解，达到以上效果的技术称为多维度感知交互技术。

本发明采用如下的技术方案：

一种实现多维度感知虚拟交互的系统，所述的系统包括核心处理单元、使用者辅助单元、3D摄像单元和3D投影单元，其中：

所述的3D摄像单元用于采集虚拟交互信息中的光学信息，并将其转换为信号，并把信号输出给相应设备单元；所述的使用者辅助单元用于采集除光学信息之外的其它相应虚拟交互信息，将其转换为信号输出给相应设备单元；还用于将接收的信号转换为相应的多维度感知信息；所述的核心处理单元用于接收相应设备单元输入的信号，进行信号处理，将处理后的信号输出给相应设备单元；所述的3D投影单元用于接收相应设备单元输入的信号，转换为相应的3D视觉信息；

具体地，3D摄像单元采集虚拟交互信息中的光学信息，并转换为信号发送至核心处理单元；所述的使用者辅助单元采集除光学信息之外的其它相应虚拟交互信息，将其转换为信号发送至核心处理单元；核心处理单元接收使用者辅助单元和3D摄像单元发送的信号，并对不同时间接收到的信号处理，并将相应的多维度感知信号发送至使用者辅助单元和3D投影单元；使用者辅助单元接收核心处理单元发送的信号，转换为相应的多维度感知信息，3D投影单元接收核心处理单元发送的信号，并转换为相应的3D视觉信息、多维度感知信息发出，被使用者感知后，实现多维度虚拟交互。

根据虚拟交互场景不同，所述系统还可以包括扩展单元，所述的扩展单元包括但不限于通讯模块、数据存储模块、数据读取模块、量子感应模块中的任意一种或任意二种及以上的组合。

所述的虚拟交互是指能被机器采集到的使用者与本发明所述的系统在情感上和行为上的交互行为，所述的交互行为可以是使用者自发产生的行为反应(包括直接意识产生的行为反应、潜意识产生的行为反应)、使用者感知本发明系统呈现的多维度感知信息产生的行为反应(包括使用者与虚拟呈现的其它使用者交流的行为反应、使用者与虚拟物品交流的行为反应)。

所述的虚拟交互信息是指使用者虚拟交互中产生的信息，包括使用者对虚拟物体所具有的特殊功能的使用信息(如枪支能发射子弹、钥匙能开锁等人造工具的功能使用)、简单的物理属性使用信息(吹、吸、推拉、敲打、撞击、弹射、扭曲等)和使用者感受到物体本身属性的感觉信息(如水中会感到水对运动的阻力，在风中会感到来自风向的推力，在火中会感火的热量等)，使用者自身的情感活动(如喜悦、悲伤、兴奋、萎靡、愤怒、平静、厌恶等)，使用者受潜意识引导产生行为(如使用者自己都未察觉的微表情、手势、体态等)。

所述的多维度感知是指6个或6个以上维度的使用者感觉，包括但不限于3D视觉感知、听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知和滑动觉感知等。

接触觉感知是指，当使用者接触到物体的时候，产生的一种与物体相接触的感觉，这种感觉是使用者感觉到物体存在的一种触觉感知。

压力觉感知是指，当使用者与物体接触时，由于使用者对物体的按压动作和移动速度使得物体对使用者进行反作用，使其感受到压力的一种触觉感知。

滑动觉感知是指，当使用者与物体接触时，由于使用者与物体相对滑动而产生的一种滑动感觉，也就是使用者感觉到物体表面粗糙程度的一种触觉感知。

作为优选，所述的多维度感知包括3D视觉感知和选自听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知、滑动觉感知、温度觉感知中的任意三种以上的感知。也就是说，所述的多维度感知至少包括3D视觉感知，以及其它任意三种或三种以上选自听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知、滑动觉感知、温度觉感知的感知。具体地，所述的多维度感知可以是3D视觉感知、听觉感知、接触觉感知、压力觉感知，也可以是3D视觉感知、听觉感知、接触觉感知、压力觉感知、嗅觉感知，也可以是3D视觉感知、听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知，也可以是3D视觉感知、压力觉感知、嗅觉感知、味觉感知等等。

所述的核心处理单元用于接收相应设备单元输入的信号，进行信号处理，将处理后的信号输出给相应设备单元。所述的核心处理单元包括但不限于计算机、服务器、移动智能终端，所述的移动智能终端是能够采集外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的便携式设备，包括但不限于智能手机、PDA、笔记本电脑、上网本、平板电脑、掌上电脑、智能掌上游戏机等。

作为优选，所述的核心处理单元进行信号处理的方法可以是：基于输入的信号数据在不同时间t内的变化量，利用数据挖掘方法挖掘信号的特征并建立规则模型来对变化量进行计算、分析、识别、判断及调整规则模型参数，并将信号输出，给出相应的多维度感知信号。所述挖掘信号的特征包括但不限于运动信号特征、生理信号特征等。所述的规则模型可以是模糊规则模型、数学机理模型、基于统计数据的机器学习模型等。

例如：基于输入的信号数据在不同时间t内的变化量，计算信号数据的一阶及多阶微分量，分析这些微分量，提取这些信号数据的特征，通过系统由历史数据特征聚类得到多个特征规则构成的规则模型对这些信号数据的特征进行识别判断，得到相应的信号输出量，另外根据新的信号数据变化量可以重新调整规则模型中的参数。

所述的使用者辅助单元用于采集使用者发出的信号，还用于接收核心处理单元输出的信号，转换为多维度感知中的若干维感官信息。作为优选，所述的若干维感官信息包括但不限于听觉信息、接触觉信息和压力觉信息嗅觉。所述的使用者发出的信号是指由使用者的任意器官及其附属物或组织(包括四肢、躯干、头部、眼、耳、口、鼻、舌、嘴、牙齿、肌肉、骨骼、血管、皮肤、毛发、内脏、眼泪等)发出的生理信号或运动信号，包括但不限于脑电波信号、眼部信号(包括眨眼、眼球运动、两眼对焦点信号等)、声音信号(包括口哨、语音信号、心音信号、骨骼碰撞发出的声音信号等)、肌电信号、脉搏信号、温度信号等。

所述的使用者辅助单元包含信号采集模块和信息重现模块，所述的信号采集子模块能将物理信息转换为信号，所述的信号采集子模块包含但不限于光学传感器、脉搏传感器、脑电传感器、肌电传感器、声音传感器、加速度传感器、位移传感器、压力传感器、温度传感器、化学传感器、陀螺仪传感器中的任意一种或任意二种以上传感器的组合。所述的信息重现子模块能把信号转换为物理信息，包含但不限于声音发生器、压力发生器、气味发生器、磁场发生器、热量发生器、触觉发生器中的任意一种或任意二种及以上的组合。

所述的使用者辅助单元的样式可以是眼镜、环状物(耳环、舌环、臂环、鼻环)、头盔、罩状物(如口罩、耳罩等)、套状物(如手套、脚套、头套等)、垫状物(触摸垫、腕垫等)、形成封密环或半封密环带状物(如手带、脚带、腕带等)、可贴于皮肤表面的贴片等。

所述的使用者辅助单元包括但不限于Google眼镜、幽灵手套。

例如，Google眼镜包含光学传感器和声音发生器，其中光学传感器用于采集使用者眼部的运动信息，转换为信号，发送至核心处理单元；声音发生器即扬声器用于把核心处理单元输出的信号转换为声音信息。

再例如，幽灵手套包含压力传感器和振荡垫，其中压力传感器用于采集使用者手及手臂运动所产生的压力信息，转换为信号，发送至核心处理单元；振荡垫能把核心处理单元输出的信号转换为振荡指示信息。

所述的3D摄像单元用于采集虚拟交互信息中的光学信息并将其转换为原始信号输出，然后发送至核心处理单元，所述的原始信号包括但不限于电信号、光信号、磁场信号中的任意一种或任意二种及以上的组合。3D摄像单元包括至少一个光传感模块用于采集光学信息和信号转换传输模块用于信号转换与发送。所述3D摄像单元可以是场摄像机、Kinect设备、多个摄像装置等。

例如，场摄像机能采集确定一定范围内立体空间各类物体发出或反射的所有光线，即光学信息，并把这些光线信息发送至核心处理单元。

所述的3D投影单元用于接收核心处理单元的信号并将其转换为3D投影信息，所述的信号包括但不限于信号、光信号、磁场信号中的任意一种或二种及以上的组合。所述的3D投影单元包括至少一个3D投影设备用于投影3D视觉信息和信号转换传输模块用于信号接收与转换。

根据情况不同，所述系统还可以包括扩展单元，所述的扩展单元包括但不限于通讯模块、数据存储模块、数据读取模块、量子感应模块中的任意一种或任意二种及以上的组合，使本发明的系统还具备远程通讯、数据读取、数据存储、量子数据交换等附加功能。

所述的通讯模块包括但不限于有线通讯模块(如串口通讯模块、以太网通讯模块等)和无线通讯模块(如蓝牙模块、wifi通讯模块、Zigbee通讯模块、RF模块、CDPD模块、GSM模块、CDMA模块等)。

所述的数据存储模块用于把信息存储进入物理介质中，包括云存储模块、flash存储设备、DVD刻录设备、硬盘写入设备、生物存储材料制造设备(如人造DNA、RNA制造设备)，打印机(如传统纸张、3D打印的实体、4D打印的实体)等。

所述的数据读取模块包括但不限于具有文本(如文字、数字、乐符等符号)识别功能的模块，声音(如音乐、语音等)识别功能的模块，能够读取生物存储材料中信息的模块。

所述的量子感应模块具有量子感应功能，所述的量子感应是指不局限于材料和外界条件，精神和物质上强耦合、感应互动、纠缠和解能够一次涌现的现象。所述量子感应的技术实现方式包括但不限于利用隐身方式、遮掩方式、耦合方式、强化方式、屏蔽方式和斗蓬方式中的任意一种或任意二种及以上的方式。所述的量子感应模块包括但不限于量子通讯设备，所述的量子感应模块是指能基于量子感应实现数据通讯或数据处理的模块。

所述的虚拟场景可以是多人实时多维度感知虚拟交互的场景，多维度感知虚拟交互录制的场景，多维度感知虚拟交互重现的场景，多维度感知虚拟交互重现录制的场景等。

根据系统应用的场景不同，可以选用不同的扩展单元对系统进行扩展。例如，实现多使用者的时空同步虚拟交互。

所述的时空同步虚拟交互是指基于以上所述的虚拟交互，能让多个使用者的虚拟交互实现时间同步和空间同步，所述的时间同步是指在非同一时刻产生的虚拟交互行为可以在同一时刻呈现，所述的空间同步行为是指在非同一地点进行虚拟交互行为可以在同一地点呈现。

在多人实时多维度感知虚拟交互的场景时，即多人实时多维度多个使用者使用本系统进行多维度感知虚拟交互时，扩展单元可选用数据通讯模块，将多个本发明所述的系统进行组网连接，进行信息的互通，实现多个使用者时空同步地多维度感知虚拟交互，即在每个使用者利用本发明所述系统时，还能同步得得到其它使用者的多维度感知虚拟交互行为，比如使用者可以处于不同时间不同地点进行虚拟地面对面交流、会议、聚会等。

在多维度感知虚拟交互录制的场景时，即使用者要记录一段时间内的多维度感知虚拟交互行为，扩展单元可选用数据存储模块，将使用者利用本发明所述的系统时所产生的虚拟交互信息存储并写入物理介质中，以待其它相关设备进行读取重现虚拟交互信息，比如使用者可以录制自己的虚拟交互行为，并把它发送给其它使用者，让其它使用者能够感受录制的多维度感知虚拟交互。

在多维度感知虚拟交互重现的场景时，即使用者要重现过去的一段虚拟交互行为，扩展单元可选用数据读取模块，读取存储在物理介质中所记录的虚拟交互信息，使用者使用本发明所述的系统可以重现当时的信息，并可以以第一人称的角度来多维度感知整个虚拟交互的行为过程。比如使用者可以重现其它人录制的品尝美食时的虚拟交互行为，并以第一人称的角度来多维度感知品尝美食这一行为中产生的虚拟交互信息。

在多维度感知虚拟交互重现录制的场景时，即使用者要重现过去的一段虚拟交互行为并再加入新产生的虚拟交互行为，可以同时选用数据读取模块和数据存储模块，首先读取在物理介质中的多维度感知虚拟交互信息重现，并加入新的多维度感知虚拟交互信息，重新存储进行物理介质中。比如老师可以把自已虚拟交互实验的过程通过多维度虚拟交互系统进行录制存储到物理介质中，而学生则可以通过多维度虚拟交互系统读取物理介质中的虚拟交互信息，以第一人称的角度来多维度感知虚拟交互实验的过程，并将自己新产生的虚拟交互行为信息也加入到虚拟交互实验的过程中，重新录制到物理介质中。

本发明还提供一种实现多维度感知虚拟交互的方法，包括如下步骤：

（1）    虚拟交互信息采集：使用者产生虚拟交互信息，3D摄像单元采集虚拟交互信息中的光学信息并转换为信号发送至核心处理单元，使用者辅助单元采集使用者产生的除光学信息之外的其他虚拟交互信息，将其发送至核心处理单元；

（2）    虚拟交互信息处理：核心处理单元接收3D摄像单元和使用者辅助单元发送的信号，处理不同时刻的信号变化量，提取数据信号特征并其进行识别判断，再进一步处理产生相应的多维度感知信号，输出给3D投影单元和使用者辅助单元；

（3）    多维度感知的虚拟交互实现：3D投影单元接收核心处理单元输出的信号，并转换为虚拟的3D视觉信息，使用者辅助单元接收信号处理单元输出的信号，并根据接收的信号转换为相应的多维度感知信息，实现多维度感知虚拟交互。

根据上述方法，可以实现多种虚拟交互功能，实现使用者进行如上所述虚拟交互行为，其流程图如图4所示。

作为优选，所述的步骤(2)虚拟交互信息处理步骤中，核心处理单元进行信号处理的方法是：基于输入的信号数据在不同时间t内的变化量，利用数据挖掘方法挖掘信号的特征并建立规则模型来对变化量进行计算、分析、识别、判断及调整规则模型参数，并将信号输出。

基于输入的信号数据在不同时间t内的变化量，计算信号数据的一阶及多阶微分量，分析这些微分量，提取这些信号数据的特征，通过系统由历史数据特征聚类，得到多个特征规则构成的规则模型，对这些信号数据的特征进行识别判断，得到相应的信号输出量，另外根据新的信号数据变化量可以重新调整规则模型中的参数。

作为优选，调整规则模型参数的信号采用使用者的生理信号变化量，提取生理信号变化量的特征，对规则模型参数进行相应的调整。具体系统调整规则，可以是心率变化量与使用者运动强度之间的规则模型，也可是其它物理量之间的规则模型，如当单位时间内的心率变化量增加2时，使用者的压力觉感知系数就减少0.01，反之心率变化量减少2时，压力觉感知系数就增加0.01。压力觉感知信息的计算模型为F=u*m*a，F为使用者感觉到的力，u为使用者作用的压力觉感知系数，初始值为1，m为系统预设的虚拟物体质量，a为位移变化量的二阶微分量，即加速度值。

本发明所述的虚拟交互是指能被机器采集到的使用者通过自己想像的或是使用者的潜意识产生的或是通过多维度感知转换为的虚拟世界在情感上和行为上的交互行为，这种交互行为是使用者与本发明所述系统进行情感上和行为上的互动产生。

所述的虚拟交互信息是指使用者虚拟交互中产生的信息，包括使用者对虚拟物体所具有的特殊功能的使用信息(如枪支能发射子弹、钥匙能开锁等人造工具的功能使用)、简单的物理属性使用信息(吹、吸、推拉、敲打、撞击、弹射、扭曲等)和使用者感受到物体本身属性的感觉信息(如水中会感到水对运动的阻力，在风中会感到来自风向的推力，在火中会感火的热量等)，使用者自身的情感活动(如喜悦、悲伤、兴奋、萎靡、愤怒、平静、厌恶等)，使用者受潜意识引导产生行为(如使用者自己都未察觉的微表情、手势、体态等)。

所述的多维度感知是指6个或6个以上维度的使用者感觉，包括但不限于3D视觉感知、听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知和滑动觉感知等。

作为优选，所述的多维度感知包括3D视觉感知和选自听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知、滑动觉感知、温度觉感知中的任意三种以上的感知。也就是说，所述的多维度感知至少包括3D视觉感知，以及其它任意三种或三种以上选自听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知、滑动觉感知、温度觉感知的感知。具体地，所述的多维度感知可以是3D视觉感知、听觉感知、接触觉感知、压力觉感知，也可以是3D视觉感知、听觉感知、接触觉感知、压力觉感知、嗅觉感知，也可以是3D视觉感知、听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知，也可以是3D视觉感知、压力觉感知、嗅觉感知、味觉感知等等。

所述的多维度感知虚拟交互是指使用者可以通过以上所述的多维度，来感知使用者与本发明所述的系统进行的虚拟交互行为。

所述的虚拟场景可以是多人实时多维度感知虚拟交互的场景，多维度感知虚拟交互录制的场景，多维度感知虚拟交互重现的场景，多维度感知虚拟交互重现录制的场景等。

根据系统应用的场景不同，可以选用不同的扩展单元对系统进行扩展，所述的扩展单元包括但不限于通讯模块、数据存储模块、数据读取模块、量子感应模块中的任意一种或任意二种及以上的组合，使本发明的系统还具备远程通讯、数据读取、数据存储、量子数据交换等附加功能。

所述的通讯模块包括但不限于有线通讯模块(如串口通讯模块、以太网通讯模块等)和无线通讯模块(如蓝牙模块、wifi通讯模块、Zigbee通讯模块、RF模块、CDPD模块、GSM模块、CDMA模块等)。

所述的数据存储模块用于把信息存储进入物理介质中，包括云存储模块、flash存储设备、DVD刻录设备、硬盘写入设备、生物存储材料制造设备(如人造DNA、RNA制造设备)，打印机(如传统纸张、3D打印的实体、4D打印的实体)等。

所述的数据读取模块包括但不限于具有文本(如文字、数字、乐符等符号)识别功能的模块，声音(如音乐、语音等)识别功能的模块，能够读取生物存储材料中信息的模块。

所述的量子感应模块具有量子感应功能，所述的量子感应是指不局限于材料和外界条件，精神和物质上强耦合、感应互动、纠缠和解能够一次涌现的现象。所述量子感应的技术实现方式包括但不限于利用隐身方式、遮掩方式、耦合方式、强化方式、屏蔽方式和斗蓬方式中的任意一种或任意二种及以上的方式。所述的量子感应模块包括但不限于量子通讯设备，所述的量子感应模块是指能基于量子感应实现数据通讯或数据处理的模块。

本发明还提供一种实现多维度感知虚拟交互的方法，具体方法步骤如下：

（1）    虚拟交互信息采集：使用者产生虚拟交互信息，3D摄像单元和使用者辅助单元采集相应的虚拟交互信息转换为信号，每隔固定时间t，发送信号至核心处理单元和扩展单元，使用者辅助单元采集虚拟交互信息，每隔固定时间t，发送信号至核心处理单元和/或扩展单元；

（2）    虚拟交互信息扩展输入：扩展单元读取其物理介质中存储的数据信息和/或接收由至少一个其它扩展单元传输数据信号，并将以上所有信号发送至核心处理单元；

（3）    虚拟交互信息处理：核心处理单元接收3D摄像单元、使用者辅助单元和扩展单元的信号，处理不同时刻的信号变化量，提取数据信号特征并进行识别判断，再进一步处理产生相应的多维度感知信号输出给3D投影单元、使用者辅助单元和扩展单元；

（4）    虚拟交互信息扩展输出：扩展单元接收核心处理单元发送的信号，并将以上所有信号存储写入其物理存储介质中和/或发送至其它扩展单元；

（5）    多维度感知的虚拟交互实现：3D投影单元接收核心处理单元，并转换为虚拟的3D视觉信息，使用者辅助单元接收信号处理单元的信号转换为多维度感知信息中的若干维度信息，多维度感知信息被使用者感知，实现虚拟交互。

根据上述方法，可以实现带有远程通讯、数据读取、数据存储、量子数据交换等附加功能的多维度感知虚拟交互，其流程图如图5所示。

进一步地，根据上述方法，还可以实现多使用者的时空同步虚拟交互。

所述的时空同步虚拟交互是指基于以上所述的虚拟交互，能让多个使用者的虚拟交互实现时间同步和空间同步，所述的时间同步是指在非同一时刻产生的虚拟交互行为可以在同一时刻呈现，所述的空间同步行为是指在非同一地点进行虚拟交互行为可以在同一地点呈现。

作为优选，所述的步骤(3)虚拟交互信息处理步骤中，核心处理单元进行信号处理的方法是：基于输入的信号数据在不同时间t内的变化量，利用数据挖掘方法挖掘信号的特征并建立规则模型来对变化量进行计算、分析、识别、判断及调整规则模型参数，并将信号输出。

基于输入的信号数据在不同时间t内的变化量，计算信号数据的一阶及多阶微分量，分析这些微分量，提取这些信号数据的特征，通过系统由历史数据特征聚类，得到多个特征规则构成的规则模型，对这些信号数据的特征进行识别判断，得到相应的信号输出量，另外根据新的信号数据变化量可以重新调整规则模型中的参数。

作为优选，调整规则模型参数的信号采用使用者的生理信号变化量，提取生理信号变化量的特征，对规则模型参数进行相应的调整。具体系统调整规则，可以是心率变化量与使用者运动强度之间的规则模型，也可是其它物理量之间的规则模型，如当单位时间内的心率变化量增加2时，使用者的压力觉感知系数就减少0.01，反之心率变化量减少2时，压力觉感知系数就增加0.01。压力觉感知信息的计算模型为F=u*m*a，F为使用者感觉到的力，u为使用者作用的压力觉感知系数，初始值为1，m为系统预设的虚拟物体质量，a为位移变化量的二阶微分量，即加速度值。

本发明的有益效果是：

1.        本发明的系统能实现人与任何虚拟信息之间的多维度交互，可将任意虚拟场景进行投影，使用本系统可以使人与虚拟人，人与虚拟物体的交互更加直接、真实。

2.        本发明的系统能达到多个使用者的虚拟交互时空同步的效果，即过去的虚拟交互行为可以被现在的人通过多维度感知。

3.        本发明的方法简单，容易实现，本发明能提供完整的使用者感官，特别是触觉感知的维度得到更使用简便。

4.        本发明的系统适用于多种场景的基于多维度感知的虚拟交互，适合多种功能和用途的需要，适用范围十分广泛，具有广阔的应用前景。

附图说明

 图1是本发明的多维度虚拟交互系统组成示意图；

图2、图3是本发明包含扩展单元的多维度虚拟交互系统组成示意图；

图4是本发明的多维度虚拟交互实现方法流程示意图；

图5是本发明的包含扩展单元的多维度虚拟交互实现方法流程示意图；

图6是本发明的虚拟弹琴交互场景示意图；

图7是本发明的虚拟弹琴交互实现步骤流程图； 

图8是基于本发明的多用户虚拟弹琴交互场景示意图；

图9是基于本发明的多用户虚拟弹琴交互实现步骤流程图；

图10是基于本发明的存储虚拟弹琴交互场景示意图；

图11是基于本发明的存储虚拟弹琴交互实现步骤流程图；

图12是基于本发明的重现虚拟弹琴交互场景示意图；

图13是基于本发明的重现虚拟弹琴交互实现步骤流程图；

图14是基于本发明的重现修改虚拟弹琴交互场景示意图；

图15是基于本发明的重现修改虚拟弹琴交互实现步骤流程图。

图中所示：1——核心处理单元，2——使用者辅助单元，3——3D摄像单元，4——3D投影单元，5——扩展单元，6——扩展单元网络。

具体实施方式

下面结合附图和实施例详细说明本发明。

为了更详细地说明本发明的一种实现多维度感知虚拟交互的系统和方法，以两人握手为例，下面根据附图和实施例详细说明本发明。

本发明的系统可以提供使用者3D视觉，听觉，接触觉和压力觉的完整感受，使用者对于虚拟物体的任何动作都可以使虚拟物体发生随动的变化，这种变化就好像使用者接触到真实物体时，真实物体发生的变化一样。这种使用者人机关系的实现方式，可以应用到任何地方。为了更好地说明这种方式的应用，通过以下实施例说明。

如图1所示，本发明的实现多维度感知虚拟交互的系统，包括核心处理单元、使用者辅助单元、3D摄像单元和3D投影单元，其中：

所述的3D摄像单元用于采集虚拟交互信息中的光学信息，并将其转换为信号，并把信号输出给相应设备单元；所述的使用者辅助单元用于采集除光学信息之外的其它相应虚拟交互信息，将其转换为信号输出给相应设备单元；还用于将接收的信号转换为相应的多维度感知信息；所述的核心处理单元用于接收相应设备单元输入的信号，进行信号处理，将处理后的信号输出给相应设备单元；所述的3D投影单元用于接收相应设备单元输入的信号，转换为相应的3D视觉信息；

具体地，3D摄像单元采集虚拟交互信息中的光学信息，并转换为信号发送至核心处理单元；所述的使用者辅助单元采集除光学信息之外的其它相应虚拟交互信息，将其转换为信号发送至核心处理单元；核心处理单元接收使用者辅助单元和3D摄像单元发送的信号，并对不同时间接收到的信号处理，并将相应的多维度感知信号发送至使用者辅助单元和3D投影单元；使用者辅助单元接收核心处理单元发送的信号，转换为相应的多维度感知信息，3D投影单元接收核心处理单元发送的信号，并转换为相应的3D视觉信息、多维度感知信息发出，被使用者感知后，实现多维度虚拟交互。

如图2和图3所示，根据情况不同，本发明的虚拟交互系统还可以包括扩展单元，所述的扩展单元包括但不限于通讯模块、数据存储模块、数据读取模块、量子感应模块中的任意一种或任意二种及以上的组合，使本发明的系统还具备远程通讯、数据读取、数据存储、量子数据交换等附加功能。

所述的通讯模块包括但不限于有线通讯模块(如串口通讯模块、以太网通讯模块等)和无线通讯模块(如蓝牙模块、wifi通讯模块、Zigbee通讯模块、RF模块、CDPD模块、GSM模块、CDMA模块等)。

所述的数据存储模块用于把信息存储进入物理介质中，包括云存储模块、flash存储设备、DVD刻录设备、硬盘写入设备、生物存储材料制造设备(如人造DNA、RNA制造设备)，打印机(如传统纸张、3D打印的实体、4D打印的实体)等。

所述的数据读取模块包括但不限于具有文本(如文字、数字、乐符等符号)识别功能的模块，声音(如音乐、语音等)识别功能的模块，能够读取生物存储材料中信息的模块。

所述的量子感应模块用于基于量子效应而产生信息互通，包括但不限于量子通讯设备，所述的量子感应模块是指能基于量子效应实现数据通讯或数据处理的模块。

图3为多个具有扩展单元的本发明所述系统，通过扩展单元网络互通多维度感知虚拟交互信息的结构示意图，基于扩展单元网络，使用者可以共享自己的多维度感知虚拟交互信息。

实施例1

以虚拟钢琴交互为例，说明实现多维度感知虚拟乐器交互的过程。

本发明的虚拟弹琴交互场景示意图如图6所示。在这里的使用者与虚拟钢琴的交互关系是一种多维度感知虚拟交互关系。本发明的多维度感知虚拟交互系统可以提供使用者3D视觉，听觉，接触觉和压力觉的完整感受，使用者对于虚拟物体的任何动作都可以使虚拟物体发生随动的变化，这种变化就好像使用者接触到真实物体时，真实物体发生的变化一样。这种使用者与虚拟钢琴的交互关系的实现方式，不仅限于多维度虚拟钢琴交互感知，可以应用到任何地方。为了更好地说明这种方式的效果，以下详细说明。

就钢琴而言，使用者手指按上投影出来的虚拟琴键的时候，向下压，虚拟琴键随着手指下降并与手指紧密贴合，与此同时使用者辅助单元给予手指对应的接触觉感知信息、压力觉感知信息；手指从按下的琴键提上来的时候，投影出来的虚拟琴键也随着手指上升并与手指紧密贴合，与此同时使用者辅助单元同样给予手指对应的接触觉感知信息、压力觉感知信息；最后琴键上升到本来的高度的时候，与手指分离，手指继续上升离开琴键，琴键高度不变化，手指也没有接触觉和压力觉反馈了。在上述手指按压琴键的整个过程中，系统可以发出该琴键对应的声音。

下面结合图7所示的本发明的虚拟弹琴交互实现步骤流程图，来说明多维度虚拟钢琴的具体使用步骤：

(1)系统开启：使用者佩戴上使用者辅助单元，启动电源，3D投影单元投影操作提示界面。

(2) 虚拟交互信息采集：3D摄像单元采集使用者虚拟交互行为的光学信息，使用者辅助单元采集使用者的脉搏信息、脑电信息和空间相对位置信息将以上信息转换为相应信号发送到核心处理单元。这里的虚拟交互行为包括使用正常使用钢琴的行为，以及使用者在此过程中发出的指令。

3D摄像单元采集3D图像信息，每隔一段时间t， 3D摄像单元将该3D图像信息转换为信号的形式发送到核心处理单元。使用者辅助单元信号采集模块中脉搏传感器采集相应的脉搏波信息并产生相应的信号，脑电传感器采集相应的脑电信息并产生相应的信号，陀螺仪传感器采集相应的相对空间位置信息产生相应的信号，使用者辅助单元每隔时间t，把信号发送至核心处理单元。

 (3)  虚拟交互信息处理：核心处理单元处理3D摄像单元和使用者辅助单元输入的信号，通过处理分析得到使用者的手势轨迹，即手指的三维空间坐标值s(x,y,z)的变化量，x,y为与琴键平面平行的空间坐标值，z为与键平面垂直的空间坐标值。核心处理单元中存储的手势判断规则模型，是否达到关闭系统的指令条件，若达到则关闭系统，比如在t时间内三维坐标值z变化量达到40cm时，关闭系统。

核心处理单元处理3D摄像单元和使用者辅助单元发送来的信号，通过脉搏波信号分析识别使用者的情绪指令，和/或通过声音信号分析识别使用者发出的语音指令，和/或通过3D摄像单元采集到的使用者脸部图像的光学信号来分析识别使用者的表情指令，对以上指令通过核心处理单元中预设的指令库发出相应的指示信号，向3D投影单元发送相应信号，向使用辅助单元发送相应信号产生振动和压力信号来指示使用者进行下一步系统工作模式的切换与选择。(语音与手势的调置可以按照要求在系统预设中设置，以下例举几种简单的指令，比如在此使用者通过发出“钢琴”的语音指令指示系统投影虚拟钢琴，用“握拳”的动作来调整虚拟钢琴的位置，“ok”的手势来表示确认。)

核心处理单元进一步处理使用者辅助单元输入的信号，基于脉搏波信号、脑电信号、空间坐标值s(x,y,z)在不同时间t内的变化量，利用数据挖掘方法挖掘相应的生理信号特征，并建立规则模型来对变化量进行计算、分析、识别和判断来调整规则模型参数(如通过脉搏生理特征可以识别使用者的使用状态，比如系统调整系数可以由脉率值/60得到，由此来调整琴键随动模型条件参数、手指反作用力计算模型条件参数等以达到使用者前后虚拟感觉一致的效果。)

核心处理单元一方面进一步处理3D摄像单元采集的使用者的光学信息，分析得到使用者手指空间坐标值s(x,y,z)，另一方面进一步处理3D摄像单元采集的虚拟钢琴琴键的空间坐标值q(x,y,z)，根据空间坐标值s(x,y)，q(x,y)可以计算得到手指与虚拟钢琴的相对空间位置坐标位置关系。根据利用空间坐标值s(z)和采集时刻t计算出当前手指的速度。计算出当前手指的速度有多种算法，如                                                

，

表示第i时刻的空间坐标值，

表示第i-1时刻的空间坐标值。根据以上算法，核心处理单元识别手指对应的琴键和得到了按压速度，通过分析比对核心处理单元中的钢琴音色识别规则，得到声音信号发送至使用者辅助单元上信息重现模块中的声音发生器；通过分析比对核心处理单元中的琴键随动模型，给出琴键的高度q(z)随手指按压的变化量信号，发送给3D投影单元；通过分析比对核心处理单元中的手指反作用力计算模型F(v,z)，计算得到压力信号，发送至使用者辅助单元上信息重现模块中的压力觉发生器(F(v,z)的一种计算方法，可以为

，vi表示第i时间段内的平均速度，vi-1表示第i-1时间段内的平均速度，m为系统预设琴键的质量，F=ma/u, u根据生理信号调节，这里可以选择使用者的实时脉率除以60。)；以上手指空间相对坐标值s(x,y,z)-q(x,y,z)也可以由使用者辅助单元输入的信号得到，依照上述算法同样可以得到相应的信号输出给相应的单元。

(4)    多维度感知的虚拟交互实现：3D投影单元接收核心处理单元输出的信号转换为钢琴弹奏的3D视觉信息，使用者辅助单元接收核心处理单元输出的信号，通过声音发生器转换为弹奏钢琴时相应的声音听觉信息、通过压力觉发生器转换为弹奏钢琴时相应的接触觉信息、压力觉信息，从而让使用者产生多维度感受。

(5)    重复步骤(2)-(4)，直到使用者关闭系统。

实施例2

多维度交互系统可以实现多人时空同步虚拟交互，使用者可以在不同的时间地点进行同步的虚拟交互，以二人四手弹奏钢琴例，两个使用者通过各自的多维度感知系统，不仅可以看到自己弹奏虚拟钢琴的多维度感知虚拟交互行为，同时还能看到其它使用者的多维度感知虚拟交互行为。

本发明的多用户虚拟弹琴交互场景示意图如图7所示，可以来说明多个使用者的虚拟弹琴的交互关系。本发明的系统可以提供使用者3D视觉，听觉，接触觉和压力觉的完整感受，让使用者产生多维度感知交互的场景。为了更好地说明这种方式的效果，以下详细说明。

就二人四手弹奏钢琴而言，使用者手指按上投影出来的虚拟琴键的时候，向下压，虚拟琴键随着手指下降并与手指紧密贴合，与此同时使用者辅助单元给予手指对应的接触觉感知信息、压力觉感知信息；手指从按下的琴键提上来的时候，投影出来的虚拟琴键也随着手指上升并与手指紧密贴合，与此同时使用者辅助单元同样给予手指对应的接触觉感知信息、压力觉感知信息；最后琴键上升到本来的高度的时候，与手指分离，手指继续上升离开琴键，琴键高度不变化，手指也没有接触觉和压力觉反馈了。在上述手指按压琴键的整个过程中，系统可以发出该琴键对应的声音。同时，其它使用者的这类行为也会由扩展单元传输过来，在虚拟场景中展现，使用者与其它使用同时进行多维度感知交互。

以下根据图9所示的本发明的多用户虚拟弹琴交互实现步骤流程图，来对二人四手的操作具体流程进行描述：

(1)系统开启：使用者佩戴上使用者辅助单元，启动电源，3D投影单元投影操作提示界面。

(2) 虚拟交互信息扩展输入：扩展单元的通讯模块可以接收上一时间t其它扩展单元的通讯模块传输过来的信号，并发送信号至核心处理单元。

(3) 虚拟交互信息采集：3D摄像单元采集使用者虚拟交互行为的光学信息，使用者辅助单元采集使用者的脉搏信息、脑电信息和空间相对位置信息将以上信息转换为相应信号发送到核心处理单元。这里的虚拟交互行为包括使用正常使用钢琴的行为，以及使用者在此过程中发出的指令。

3D摄像单元采集3D图像信息，每隔一段时间t， 3D摄像单元将该3D图像信息转换为信号的形式发送到核心处理单元。使用者辅助单元信号采集模块中脉搏传感器采集相应的脉搏波信息并产生相应的信号，脑电传感器采集相应的脑电信息并产生相应的信号，陀螺仪传感器采集相应的相对空间位置信息产生相应的信号，使用者辅助单元每隔时间t，把信号发送至核心处理单元。

 (4) 虚拟交互信息处理：核心处理单元处理3D摄像单元和使用者辅助单元输入的信号，通过处理分析得到使用者的手势轨迹，即手指的三维空间坐标值s(x,y,z)的变化量，x,y为与琴键平面平行的空间坐标值，z为与键平面垂直的空间坐标值。核心处理单元中存储的手势判断规则模型，是否达到关闭系统的指令条件，若达到则关闭系统，比如在t时间内三维坐标值z变化量达到40cm时，关闭系统。

核心处理单元处理3D摄像单元和使用者辅助单元发送来的信号，通过脉搏波信号分析识别使用者的情绪指令，和/或通过声音信号分析识别使用者发出的语音指令，和/或通过3D摄像单元采集到的使用者脸部图像的光学信号来分析识别使用者的表情指令，对以上指令通过核心处理单元中预设的指令库发出相应的指示信号，向3D投影单元发送相应信号，向使用辅助单元发送相应信号产生振动和压力信号来指示使用者进行下一步系统工作模式的切换与选择。(语音与手势的调置可以按照要求在系统预设中设置，以下例举几种简单的指令，比如在此使用者通过发出“钢琴”的语音指令指示系统投影虚拟钢琴，用“握拳”的动作来调整虚拟钢琴的位置，“ok”的手势来表示确认。)

核心处理单元进一步处理使用者辅助单元输入的信号，基于脉搏波信号、脑电信号、空间坐标值s(x,y,z)在不同时间t内的变化量，利用数据挖掘方法挖掘相应的生理信号特征，并建立规则模型来对变化量进行计算、分析、识别和判断来调整规则模型参数(如通过脉搏生理特征可以识别使用者的使用状态，比如系统调整系数可以由脉率值/60得到，由此来调整琴键随动模型条件参数、手指反作用力计算模型条件参数等以达到使用者前后虚拟感觉一致的效果。)

核心处理单元一方面进一步处理3D摄像单元采集的使用者的光学信息，分析得到使用者手指空间坐标值s(x,y,z)，另一方面进一步处理3D摄像单元采集的虚拟钢琴琴键的空间坐标值q(x,y,z)，根据空间坐标值s(x,y)，q(x,y)可以计算得到手指与虚拟钢琴的相对空间位置坐标位置关系，x,y为与琴键平面平行的空间坐标值，z为与键平面垂直的空间坐标值。根据利用空间坐标值s(z)和采集时刻t计算出当前手指的速度。计算出当前手指的速度有多种算法，如

，

表示第i时刻的空间坐标值，

表示第i-1时刻的空间坐标值。根据以上算法，核心处理单元识别手指对应的琴键和得到了按压速度，通过分析比对核心处理单元中的钢琴音色识别规则，得到声音信号，进一步融合扩展单元输入的声音信号，发送至使用者辅助单元上信息重现模块中的声音发生器；通过分析比对核心处理单元中的琴键随动模型，给出琴键的高度q(z)随手指按压的变化量信号，发送给3D投影单元；通过分析比对核心处理单元中的手指反作用力计算模型F(v,z)，计算得到压力信号，进一步融合扩展单元输入的压力觉信号，发送至使用者辅助单元上信息重现模块中的压力觉发生器(F(v,z)的一种计算方法，可以为

，vi表示第i时间段内的平均速度，vi-1表示第i-1时间段内的平均速度，m为系统预设琴键的质量，F=ma/u, u根据生理信号调节，这里可以选择使用者的实时脉率除以60。)；以上手指空间相对坐标值s(x,y,z)-q(x,y,z)也可以由使用者辅助单元输入的信号得到，依照上述算法同样可以得到相应的信号输出给相应的单元。

核心处理单元将以上所有处理得到的多维度感知信号发送至扩展单元，由扩展单元发送给其它扩展单元。

 (5)  多维度感知的虚拟交互实现：3D投影单元接收核心处理单元输出的信号转换为钢琴弹奏的3D视觉信息，使用者辅助单元接收核心处理单元输出的信号转换为弹奏时的声音听觉信息、接触觉信息、压力觉信息，从而让使用者产生多维度感受。

(6) 虚拟交互信息扩展输出：扩展单元接收核心处理单元发送的信号，并通过数据通讯模块将这些信号发送至其它扩展单元的通讯模块。

(7)    重复步骤(2)-(6)，直到使用者关闭系统。

实施例3

本发明的多维度交互系统可以录制使用者在使用本系统进行多维度虚拟交互信息，使用者不仅可以看到自己弹奏虚拟钢琴的多维度感知虚拟交互行为，同时还能将多维度感知虚拟交互行为进行储存，并将这些储存的信息共享给其它使用者，让其它使用者能进行同样多维度感知虚拟交互行为。

本发明的多维度虚拟交互信息存储系统的结构组成如图10本发明的存储虚拟弹琴交互场景示意图所示，可以来说明多个使用者的虚拟弹琴的交互关系。系统可以提供使用者3D视觉，听觉，接触觉和压力觉的完整感受，让使用者产生多维度感知交互的场景，并将这些多维度感知信息场景进行存储。为了更好地说明这种方式的应用，通过以下实施例说明。

就弹奏虚拟钢琴多维度感知交互信息存储而言，使用者手指按上投影出来的虚拟琴键的时候，向下压，虚拟琴键随着手指下降并与手指紧密贴合，与此同时使用者辅助单元给予手指对应的接触觉感知信息、压力觉感知信息；手指从按下的琴键提上来的时候，投影出来的虚拟琴键也随着手指上升并与手指紧密贴合，与此同时使用者辅助单元同样给予手指对应的接触觉感知信息、压力觉感知信息；最后琴键上升到本来的高度的时候，与手指分离，手指继续上升离开琴键，琴键高度不变化，手指也没有接触觉和压力觉反馈了。在上述手指按压琴键的整个过程中，系统可以发出该琴键对应的声音。同时，这些多维度感知交互信息由核心处理单元发送给扩展单元，通过扩展单元的数据存储模块写入物理介质进行存储，共享给其它使用者，让其它使用者也能进行同样多维度感知虚拟交互行为。

以下根据图11所示的存储虚拟弹琴交互实现步骤流程图，来对二人四手的操作具体流程进行描述：

(1) 系统开启：使用者佩戴上使用者辅助单元，启动电源，3D投影单元投影操作提示界面。

(2) 虚拟交互信息采集：3D摄像单元采集使用者虚拟交互行为的光学信息，使用者辅助单元采集使用者的脉搏信息、脑电信息和空间相对位置信息将以上信息转换为相应信号发送到核心处理单元。这里的虚拟交互行为包括使用正常使用钢琴的行为，以及使用者在此过程中发出的指令。

3D摄像单元采集3D图像信息，每隔一段时间t， 3D摄像单元将该3D图像信息转换为信号的形式发送到核心处理单元。使用者辅助单元信号采集模块中脉搏传感器采集相应的脉搏波信息并产生相应的信号，脑电传感器采集相应的脑电信息并产生相应的信号，陀螺仪传感器采集相应的相对空间位置信息产生相应的信号，使用者辅助单元每隔时间t，把信号发送至核心处理单元。

(3)    虚拟交互信息处理：核心处理单元处理3D摄像单元和使用者辅助单元输入的信号，通过处理分析得到使用者的手势轨迹，即手指的三维空间坐标值s(x,y,z)的变化量，x,y为与琴键平面平行的空间坐标值，z为与键平面垂直的空间坐标值。核心处理单元中存储的手势判断规则模型，是否达到关闭系统的指令条件，若达到则关闭系统，比如在t时间内三维坐标值z变化量达到40cm时，关闭系统。

核心处理单元处理3D摄像单元和使用者辅助单元发送来的信号，通过脉搏波信号分析识别使用者的情绪指令，和/或通过声音信号分析识别使用者发出的语音指令，和/或通过3D摄像单元采集到的使用者脸部图像的光学信号来分析识别使用者的表情指令，对以上指令通过核心处理单元中预设的指令库发出相应的指示信号，向3D投影单元发送相应信号，向使用辅助单元发送相应信号产生振动和压力信号来指示使用者进行下一步系统工作模式的切换与选择。(语音与手势的调置可以按照要求在系统预设中设置，以下例举几种简单的指令，比如在此使用者通过发出“钢琴”的语音指令指示系统投影虚拟钢琴，用“握拳”的动作来调整虚拟钢琴的位置，“ok”的手势来表示确认。)

核心处理单元进一步处理使用者辅助单元输入的信号，基于脉搏波信号、脑电信号、空间坐标值s(x,y,z)在不同时间t内的变化量，利用数据挖掘方法挖掘相应的生理信号特征，并建立规则模型来对变化量进行计算、分析、识别和判断来调整规则模型参数(如通过脉搏生理特征可以识别使用者的使用状态，比如系统调整系数可以由脉率值/60得到，由此来调整琴键随动模型条件参数、手指反作用力计算模型条件参数等以达到使用者前后虚拟感觉一致的效果。)

核心处理单元一方面进一步处理3D摄像单元采集的使用者的光学信息，分析得到使用者手指空间坐标值s(x,y,z)，另一方面进一步处理3D摄像单元采集的虚拟钢琴琴键的空间坐标值q(x,y,z)，根据空间坐标值s(x,y)，q(x,y)可以计算得到手指与虚拟钢琴的相对空间位置坐标位置关系。根据利用空间坐标值s(z)和采集时刻t计算出当前手指的速度。计算出当前手指的速度有多种算法，如

，

表示第i时刻的空间坐标值，

表示第i-1时刻的空间坐标值。根据以上算法，核心处理单元识别手指对应的琴键和得到了按压速度，通过分析比对核心处理单元中的钢琴音色识别规则，得到声音信号发送至使用者辅助单元上信息重现模块中的声音发生器；通过分析比对核心处理单元中的琴键随动模型，给出琴键的高度q(z)随手指按压的变化量信号，发送给3D投影单元；通过分析比对核心处理单元中的手指反作用力计算模型F(v,z)，计算得到压力信号，发送至使用者辅助单元上信息重现模块中的压力觉发生器(F(v,z)的一种计算方法，可以为，vi表示第i时间段内的平均速度，vi-1表示第i-1时间段内的平均速度，m为系统预设琴键的质量，F=ma/u, u根据生理信号调节，这里可以选择使用者的实时脉率除以60。)；以上手指空间相对坐标值s(x,y,z)-q(x,y,z)也可以由使用者辅助单元输入的信号得到，依照上述算法同样可以得到相应的信号输出给相应的单元。

 (4)  多维度感知的虚拟交互实现：3D投影单元接收核心处理单元输出的信号转换为钢琴弹奏的3D视觉信息，使用者辅助单元接收核心处理单元输出的信号转换为弹奏时的声音听觉信息、接触觉信息、压力觉信息，从而让使用者产生多维度感受。

(5) 虚拟交互信息扩展输出：扩展单元接收核心处理单元发送的信号，扩展单元将信号通过数据存储模块写入相应的物理存储介质进行存储。

(6)    重复步骤(2)-(5)，直到使用者关闭系统。

实施例4

本发明的多维度虚拟交互系统可以读取其它使用者共享的多维度感知虚拟交互行为，并将其重现进行虚拟交互。本发明所述系统不仅能让使用者进行多维度感知虚拟交互，同时还能从物理存储介质中读取使用者以前或者是他人的多维度感知虚拟交互行为，呈现给使用者进行交互。

本发明的多维度虚拟交互读取系统的结构组成如图12所示的重现虚拟弹琴交互场景示意图，就此来说明使用者虚拟弹琴的交互关系。系统可以提供使用者3D视觉，听觉，接触觉和压力觉的完整感受，让使用者产生多维度感知交互的场景。为了更好地说明这种方式的应用，通过以下实施例说明。

就二人四手弹奏钢琴而言，使用者手指按上投影出来的虚拟琴键的时候，向下压，虚拟琴键随着手指下降并与手指紧密贴合，与此同时使用者辅助单元给予手指对应的接触觉感知信息、压力觉感知信息；手指从按下的琴键提上来的时候，投影出来的虚拟琴键也随着手指上升并与手指紧密贴合，与此同时使用者辅助单元同样给予手指对应的接触觉感知信息、压力觉感知信息；最后琴键上升到本来的高度的时候，与手指分离，手指继续上升离开琴键，琴键高度不变化，手指也没有接触觉和压力觉反馈了。在上述手指按压琴键的整个过程中，系统可以发出该琴键对应的声音。在物理介质中存储的其它使用者的多维度交互行为也会由扩展单元读取出来，在虚拟场景中相应地展现，让使用者产生多维度感知，即其它使用者弹奏过程中发出的音乐及弹奏时的力度反馈，本发明所述的系统还可以帮助本使用者感知其它使用者的多维度虚拟交互信息。

以下根据图13所示的重现虚拟弹琴交互实现步骤流程图，来对二人四手弹奏钢琴的操作具体流程进行描述：

(1)系统开启：使用者佩戴上使用者辅助单元，启动电源，3D投影单元投影操作提示界面。

(2) 虚拟交互信息扩展输入：扩展单元的数据读取模块读取物理存储介质中的多维度感知信息，转换为信号并发送至核心处理单元。

(3) 虚拟交互信息采集：3D摄像单元采集使用者虚拟交互行为的光学信息，使用者辅助单元采集使用者的脉搏信息、脑电信息和空间相对位置信息将以上信息转换为相应信号发送到核心处理单元。这里的虚拟交互行为包括使用正常使用钢琴的行为，以及使用者在此过程中发出的指令。

3D摄像单元采集3D图像信息，每隔一段时间t， 3D摄像单元将该3D图像信息转换为信号的形式发送到核心处理单元。使用者辅助单元信号采集模块中脉搏传感器采集相应的脉搏波信息并产生相应的信号，脑电传感器采集相应的脑电信息并产生相应的信号，陀螺仪传感器采集相应的相对空间位置信息产生相应的信号，使用者辅助单元每隔时间t，把信号发送至核心处理单元。

 (4)  虚拟交互信息处理：核心处理单元处理3D摄像单元和使用者辅助单元输入的信号，通过处理分析得到使用者的手势轨迹，即手指的三维空间坐标值s(x,y,z)的变化量，x,y为与琴键平面平行的空间坐标值，z为与键平面垂直的空间坐标值。核心处理单元中存储的手势判断规则模型，是否达到关闭系统的指令条件，若达到则关闭系统，比如在t时间内三维坐标值z变化量达到40cm时，关闭系统。

核心处理单元处理3D摄像单元和使用者辅助单元发送来的信号，通过脉搏波信号分析识别使用者的情绪指令，和/或通过声音信号分析识别使用者发出的语音指令，和/或通过3D摄像单元采集到的使用者脸部图像的光学信号来分析识别使用者的表情指令，对以上指令通过核心处理单元中预设的指令库发出相应的指示信号，向3D投影单元发送相应信号，向使用辅助单元发送相应信号产生振动和压力信号来指示使用者进行下一步系统工作模式的切换与选择。(语音与手势的调置可以按照要求在系统预设中设置，以下例举几种简单的指令，比如在此使用者通过发出“钢琴”的语音指令指示系统投影虚拟钢琴，用“握拳”的动作来调整虚拟钢琴的位置，“ok”的手势来表示确认。)

核心处理单元进一步处理使用者辅助单元输入的信号，基于脉搏波信号、脑电信号、空间坐标值s(x,y,z)在不同时间t内的变化量，利用数据挖掘方法挖掘相应的生理信号特征，并建立规则模型来对变化量进行计算、分析、识别和判断来调整规则模型参数(如通过脉搏生理特征可以识别使用者的使用状态，比如系统调整系数可以由脉率值/60得到，由此来调整琴键随动模型条件参数、手指反作用力计算模型条件参数等以达到使用者前后虚拟感觉一致的效果。)

核心处理单元一方面进一步处理3D摄像单元采集的使用者的光学信息，分析得到使用者手指空间坐标值s(x,y,z)，另一方面进一步处理3D摄像单元采集的虚拟钢琴琴键的空间坐标值q(x,y,z)，根据空间坐标值s(x,y)，q(x,y)可以计算得到手指与虚拟钢琴的相对空间位置坐标位置关系，x,y为与琴键平面平行的空间坐标值，z为与键平面垂直的空间坐标值。根据利用空间坐标值s(z)和采集时刻t计算出当前手指的速度。计算出当前手指的速度有多种算法，如

，

表示第i时刻的空间坐标值，表示第i-1时刻的空间坐标值。根据以上算法，核心处理单元识别手指对应的琴键和得到了按压速度，通过分析比对核心处理单元中的钢琴音色识别规则，得到声音信号，进一步融合扩展单元输入的声音信号，发送至使用者辅助单元上信息重现模块中的声音发生器；通过分析比对核心处理单元中的琴键随动模型，给出琴键的高度q(z)随手指按压的变化量信号，发送给3D投影单元；通过分析比对核心处理单元中的手指反作用力计算模型F(v,z)，计算得到压力信号，进一步融合扩展单元输入的压力觉信号，发送至使用者辅助单元上信息重现模块中的压力觉发生器(F(v,z)的一种计算方法，可以为，vi表示第i时间段内的平均速度，vi-1表示第i-1时间段内的平均速度，m为系统预设琴键的质量，F=ma/u, u根据生理信号调节，这里可以选择使用者的实时脉率除以60。)；以上手指空间相对坐标值s(x,y,z)-q(x,y,z)也可以由使用者辅助单元输入的信号得到，依照上述算法同样可以得到相应的信号输出给相应的单元。

 (5)  多维度感知的虚拟交互实现：3D投影单元接收核心处理单元输出的信号转换为钢琴弹奏的3D视觉信息，使用者辅助单元接收核心处理单元输出的信号转换为弹奏时的声音听觉信息、接触觉信息、压力觉信息，从而让使用者产生多维度感受。

 (6)  重复步骤(2)-(5)，直到使用者关闭系统。

实施例5

本发明的多维度虚拟交互系统可以读取其它使用者共享的多维度感知虚拟交互行为，并将其重现进行虚拟交互。本发明所述系统不仅能让使用者进行多维度感知虚拟交互，同时还能从物理存储介质中读取使用者以前或者是他人的多维度感知虚拟交互行为，呈现给使用者进行交互，并重新存储。

本发明的多维度虚拟交互读取系统的结构组成如图14所示的重现修改虚拟弹琴交互场景示意图，图15所示的重现修改虚拟弹琴交互实现步骤流程图，具体实施步骤为实施例3和实施4的步骤的合并如下：

(1)系统开启；

(2) 虚拟交互信息扩展输入；

(3) 虚拟交互信息采集；

(4)  虚拟交互信息处理；

(5)  多维度感知的虚拟交互实现；

(6) 虚拟交互信息扩展输出；

(7)  重复步骤(2)-(6)，直到使用者关闭系统。

实施例6

本发明所述系统可以实现多使用者时空同步虚拟交互，使用者通过各自的多维度感知系统，不仅可以多维度感知自己的虚拟交互行为，同时还能多维度感知到其它使用者的多维度感知虚拟交互行为，以多人虚拟聚会为例来说明。

就多人虚拟聚会而言，本发明所述的系统能够实现使用者与其它使用者的虚拟影像进行聚会交互的效果。使用者与其它使用的虚拟影像进行握手时，不但会感知到其它使用者手在握手施加的压力，还能感知到其它使用者手的温度，并且进行相应的语音交谈，从而实现三维视觉、接触觉、压力觉、温度觉、听觉七个维度感知的虚拟交互。

具体步骤如下：

（1）    虚拟交互信息采集：使用者产生虚拟交互信息，3D摄像单元采集虚拟交互信息中使用者与虚拟使用者握手交谈的3D图像信息转换为信号(x,y,z三个维度的图像数据信号)，每隔时间t发送信号至核心处理单元和扩展单元，使用者辅助单元通过信号采集模块中的脑电传感器、脉搏传感器、陀螺仪传感器采集虚拟交互信息中的脑电波信号、脉搏信号和肢体位置信号等，每隔时间t发送至核心处理单元和扩展单元；

（2）    虚拟交互信息扩展输入：扩展单元接收由其它扩展单元传输数据信号，并将以上所有信号发送信号至核心处理单元，此时的扩展单元通讯模块选用量子通讯模块以确保数据传输的实时性；

（3）    虚拟交互信息处理：核心处理单元接收3D摄像单元及使用者辅助单元的信号，融合、比较和处理不同时刻的信号变化量，识别相应的指令信号，并进一步提取数据信号特征，通过规则模型的识别判断，产生相应的多维度感知信号输出给3D投影单元及使用者辅助单元和扩展单元；

核心处理单元接收扩展单元发送的信号，比较处理不同时刻的信号变化量，产生相应的多维度感知信号输出给3D投影单元及使用者辅助单元和扩展单元；

（4）    虚拟交互信息扩展输出：扩展单元接收核心处理单元发送的信号，并将信号发送至其它扩展单元，此时的扩展单元通讯模块选用量子通讯模块以确保数据传输的实时性；

（5）    多维度感知的虚拟交互实现：3D投影单元接收核心处理单元，并转换为虚拟的3D视觉信息，即与另一个使用者握手的动作图像，使用者辅助单元接收信号处理单元的信号转换为多维度感知信息中的若干维度信息，包括用声音发生器发出使用者与虚拟使用者交谈时发出的声音，热量发生器和压力发生器产生手对虚拟使用者手的接触觉、压力觉、温度觉等信息，以上多维度感知信息被使用者感知，实现虚拟交互。

实施例7

本发明所述系统可以呈现各类虚拟设备，并使用设备的物理属性随着使用者的生理信息变化而发生相应的变化，从而使用者在前后使用的感觉相同。

以架子鼓为例，本发明所述系统可以呈现架子鼓让使用者与其进行交互，并且系统通过识别使用者的情绪状态、体能状态能够对交互作出相应的调整，以保证使用者虚拟交互中前后的感知强度一致。使用者一开始击鼓力度较强，但随着体力流失，击鼓力度减弱，系统可以通过对使用者生理信息的分析，相应地做出调整，让使用者在体力流失的情况下也能以相同的力度感觉敲击虚拟架子鼓，发出相同强度的鼓声。以实现使用在使用本发明所述系统时前后的多维度感知一致。

具体实施步骤如下：

（1）  使用者辅助单元可以采集使用者敲击虚拟架子鼓的动作产生的压力信息和使用情感信息，这些信息的采集包括脑电波信号、肌电信号、脉搏信号等，把这些采集到信息转换为信号每隔固定时间t，发送信号至核心处理单元，3D摄像单元采集使用者敲击虚拟架子鼓的3D视频信息并转换为信号每隔固定时间t，发送信号至核心处理单元；

（2）  核心处理单元通过分析比较3D视频信号及使用者辅助单元不同时间t下连续信号的变化量，分析、计算得到多维度感知信号的变化量，可以由不同时间t下使用者3D视频图像连续信号的变化量，计算得出使用者敲打的架子鼓空间位置坐标s(x,y,z)，使用者辅助单元采集信号的变化量得到使用者敲打的架子鼓时的力度，还可以从采集的心电信号、脑电信号、脉搏信号等人体生理的变化量中分析得到使用者的情绪或是潜意识行为，由此来调节由输入变化量到输入信号的分析计算模型中的系数，核心处理单元可以根据结果发送相应的多维度感知预测信号至3D投影单元和使用者辅助单元；

（3）  3D投影单元接收核心处理单元发送的信号，投影出相应的3D视觉感 知信息，使用者辅助单元接收核心处理单元发送的信号，产生多维度感知信信息中的若干维信息，包括听觉感知信息(敲打发出的声音)、接触觉感知信息(有手握鼓棒的接触感觉)、压力觉感知信息(有根据敲打力度而产生的不同反作用压力感)，实现使用者与虚拟多媒体的虚拟交互。

实施例8

本发明还可以呈现使用者的潜意识信息，让使用者与其进行交互。

潜意识交互的效果具体为：使用者在使用本发明所述的系统时，进入放松状态，本系统中的使用者辅助单元可以通过采集使用者的脑电波信息和脉搏信息，可以将使用者的潜意识进行实体化，如愤怒由虚拟的红色烟雾呈现，口渴的感觉由虚拟干旱的土地来呈现，并进一步由使用者辅助单元产生相反的气味来调节，产生相反的音乐来调节，从而让使用者对自己的潜意识得到多维度感知。

（1）  使用者辅助单元可以采集使用者潜意识信息，这些信息的采集包括脑电波信号、肌电信号、脉搏信号等，把这些采集到信息转换为信号每隔固定时间t，发送信号至核心处理单元，3D摄像单元采集使用者行为的3D视频信息并转换为信号发送到核心处理单元；

（2）  核心处理单元通过分析比较3D视频信号及使用者辅助单元不同时间t下连续信号的变化量，分析、计算得到多维度感知信号的变化量，可以由不同时间t下使用者3D视频图像连续信号的变化量，计算得出使用者运动行为变化情况，三个维度的位移值(x,y,z)，以及使用者的表情，三个维度的动作速度值f(x,y,z)/t，三个维度的动作加速度f(x,y,z)/t²，由于脑电波变化先于行为的产生，使用者辅助单元可以从采集的心电信号、脑电信号、脉搏信号等使用者生理的变化量中分析得到使用者的情绪或是潜意识行为，分析脑电波信号曲线的复杂度，以及对脑电波信号进行相空间重构，由历史数据模型对重构结果进行识别判断，另外，由非线性方法挖掘得到脉搏波与情绪之间的关系，建立得到的脉搏波情绪模型，对脉搏变化量进行识别判断，由以上规则模型得到相应的多维度感知预测信号，并通过规则库模型识别，产生对情绪进行相应调节的声音信号和气体信号，将上述所有信号发送至3D投影单元和使用者辅助单元；

（3）  3D投影单元接收核心处理单元发送的信号，投影出相应的3D视觉感 知信息，使用者辅助单元接收核心处理单元发送的信号，产生多维度感知信信息中的若干维信息，包括听觉感知信息(使用者潜意识中想要听到声音)、接触觉感知信息(使用者潜意识的接触物体)、压力觉感知信息(使用者潜意识行动后感到的压力反馈)、嗅觉感知信息(使用者潜意识中气味散发)，实现使用者潜意识的真实化的虚拟交互。

上述的工作模式仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (10)

1.一种实现多维度感知虚拟交互的系统，其特征在于：所述的系统包括核心处理单元、使用者辅助单元、3D摄像单元和3D投影单元，其中：

所述的3D摄像单元用于采集虚拟交互信息中的光学信息，并将其转换为信号，并把信号输出给相应设备单元；

所述的使用者辅助单元用于采集的除光学信息之外的其它相应虚拟交互信息，将其转换为信号输出给相应设备单元；还用于将接收的信号转换为相应的多维度感知信息；

所述的核心处理单元用于接收相应设备单元输入的信号，进行信号处理，将处理后的信号输出给相应设备单元；

所述的3D投影单元用于接收相应设备单元输入的信号，转换为相应的3D视觉信息；

所述的多维度感知是指6个或6个以上维度的使用者感觉。

2.根据权利要求1所述的实现多维度感知虚拟交互的系统，其特征在于：所述的系统还包括扩展单元，所述的扩展单元选自通讯模块、数据存储模块、数据读取模块、量子感应模块中的任意一种或任意二种以上的组合。

3.根据权利要求1所述的实现多维度感知虚拟交互的系统，其特征在于：所述的多维度感知包括3D视觉感知和选自听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知、滑动觉感知、温度觉感知中的任意三种或三种以上的感知。

4.根据权利要求1任一项所述的实现多维度感知虚拟交互的系统，其特征在于所述的核心处理单元进行信号处理的方法是：基于输入的信号数据在不同时间t内的变化量，利用数据挖掘方法挖掘信号的特征并建立规则模型来对变化量进行计算、分析、识别、判断及调整规则模型参数，并将信号输出。

5.根据权利要求1所述的实现多维度感知虚拟交互的系统，其特征在于：所述的使用者辅助单元包含信号采集模块和信息重现模块，所述的信号采集子模块用于把物理信息转换为信号，所述的信息重现子模块用于把信号转换为物理信信息。

6.根据权利要求1至5任一项所述的实现多维度感知虚拟交互的系统，其特征在于：所述的虚拟交互是指能被机器采集到的使用者与本发明所述的系统在情感上和行为上的交互行为，所述的交互行为可以是使用者自发产生的行为反应、使用者感知本发明系统呈现的多维度感知信息产生的行为反应。

7.根据权利要求1至5任一项所述的实现多维度感知虚拟交互的系统，其特征在于：所述的虚拟交互为时空同步虚拟交互，所述的时空同步是指时间同步和空间同步，所述的时间同步是指在非同一时刻产生的虚拟交互行为在同一时刻呈现，所述的空间同步行为是指在非同一地点进行虚拟交互行为在同一地点呈现。

8.一种实现多维度感知虚拟交互的方法，其特征在于包括如下步骤：

(1) 虚拟交互信息采集：使用者产生虚拟交互信息，3D摄像单元采集虚拟交互信息中的光学信息并转换为信号发送至核心处理单元，使用者辅助单元采集使用者产生的除光学信息之外的其它相应虚拟交互信息，将其发送至核心处理单元；

(2) 虚拟交互信息处理：核心处理单元接收3D摄像单元和使用者辅助单元发送的信号，处理不同时刻的信号变化量，提取数据信号特征并其进行识别判断，产生相应的多维度感知信号，输出给3D投影单元和使用者辅助单元；

(3) 多维度感知的虚拟交互实现：3D投影单元接收核心处理单元输出的信号，并转换为相应的3D视觉信息，使用者辅助单元接收信号处理单元输出的信号，并根据接收的信号转换为相应的多维度感知信息，实现多维度感知虚拟交互。

9.一种实现多维度感知虚拟交互的方法，其特征在于包括如下步骤：

(1) 虚拟交互信息采集：使用者产生虚拟交互信息，3D摄像单元和使用者辅助单元采集相应的虚拟交互信息转换为信号，每隔固定时间t，发送信号至核心处理单元和扩展单元，使用者辅助单元采集虚拟交互信息，每隔固定时间t，发送信号至核心处理单元；

(2) 虚拟交互信息扩展输入：扩展单元读取其物理介质中存储的数据信息和/或接收由至少一个其它扩展单元传输数据信号，并将以上所有信号发送至核心处理单元；

(3) 虚拟交互信息处理：核心处理单元接收3D摄像单元、使用者辅助单元和扩展单元的信号，处理不同时刻的信号变化量，提取数据信号特征并进行识别判断，产生相应的多维度感知信号输出给3D投影单元、使用者辅助单元和扩展单元；

(4) 虚拟交互信息扩展输出：扩展单元接收核心处理单元发送的信号，并将以上所有信号存储写入其物理存储介质中和/或发送至其它扩展单元；

(5) 多维度感知的虚拟交互实现：3D投影单元接收核心处理单元，并转换为虚拟的3D视觉信息，使用者辅助单元接收信号处理单元的信号转换为多维度感知信息中的若干维度信息，多维度感知信息被使用者感知，实现虚拟交互。

10.根据权利要求8或9所述的方法，其特征在于：所述的虚拟交互信息处理步骤中，核心处理单元进行信号处理的方法是：基于输入的信号数据在不同时间t内的变化量，利用数据挖掘方法挖掘信号的特征并建立规则模型来对变化量进行计算、分析、识别、判断及调整规则模型参数，并将信号输出。

Images