CN103544346B - 实现虚拟感知的方法及系统 - Google Patents

Abstract

本发明提供了一种实现虚拟感知的方法及系统，其包括：获取待感知目标的至少一种特征属性信息并对其进行处理形成特征属性信号，通过试验确定与所述特征属性信号对应的刺激信号并存储二者之间的对应关系，将特征属性信号转换为与之对应的刺激信号，通过刺激执行器作用于使用者的神经系统，使其获得与待感知目标的特征属性信息对应的虚拟感知。采用本发明的技术方案，不需要使用者自身的感觉器官就可以在获取待感知目标后直接通过刺激神经系统实现虚拟感知。

Description

实现虚拟感知的方法及系统

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种实现虚拟感知的方法及系统。

背景技术

虚拟现实技术是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身临其境一般，可以及时地、没有限制地观察三维空间内的事务。虚拟现实是人们通过计算机对复杂数据进行可视化操作与交互的一种全新方式，与传统的人机界面以及流行的视窗操作相比，虚拟现实在技术思想上有了质的飞跃。

其中，较为典型的为日本东京都立大学系统设计实验室正在研发的一种五种感官虚拟身体系统。该系统由一个3D显示器、一副耳机、一台用于制造微风和散发气味的风扇，以及一张可前后倾斜、局部震动摇摆并配备脚踏板的椅子组成。这种技术旨在提供一种替代性经验。通过这种技术，人们除了耳朵听到传统声音、眼睛看到传统视频图像之外，虚拟旅游时还能够切身感受到“环境”中的风，鼻子可以闻到“环境”里的气味，脚还可以真切的感受到踩在地板上的感觉。

然而，传统的虚拟现实技术仍然通过人的感官来获取待感知目标及环境的特征属性，需要在人体周边对目标环境进行一定程度上的再现或重建，因此，传统虚拟现实技术实现虚拟感觉需要依赖于庞大复杂的硬件设备，使用不方便。

发明内容

本发明针对上述问题，提出了一种实现虚拟感知的方法及系统，不需要使用者自身的感觉器官，获取待感知目标及环境信息后直接通过刺激神经系统实现虚拟感觉。

在一个方面，本发明提供了一种实现虚拟感知的方法，主要技术方案如下：

获取待感知目标的至少一种特征属性信息，对所述特征属性信息进行调理、放大并进行模数转换，形成特征属性信号；

选择刺激方式和刺激参数，通过试验确定与所述待感知目标的特征属性信号相对应的刺激信号，并存储所述特征属性信号与所述相对应的刺激信号之间的对应关系；

根据存储的所述特征属性信号与相对应的刺激信号的对应关系，将所述待感知目标的特征属性信号转换为与之对应的刺激信号；

将所述待感知目标的刺激信号通过刺激执行器以相应的刺激方式和刺激参数作用于使用者的神经系统，使其获得与所述待感知目标的特征属性信息对应的虚拟感知。

所述特征属性信息包括温度、湿度、压力、颜色、加速度、声音、气体浓度和/或气味。

所述刺激信号包括电刺激信号、光刺激信号、机械刺激信号、化学刺激信号的一种或几种的组合。

所述电刺激信号的属性包括电荷强度、电荷幅度、频率和作用持续时间。

所述光刺激信号的属性包括光强、波长和作用持续时间。

所述刺激执行器为神经刺激器。

在另一个方面，本发明提供了一种实现虚拟感知的系统，主要技术方案如下：

传感器，用于获取待感知目标的至少一种特征属性信息，对所述特征属性信息进行调理、放大并进行模数转换，形成特征属性信号，发送所述特征属性信号；

数据处理装置，用于接收所述传感器发送的特征属性信号，选择刺激方式和刺激参数，通过试验确定与所述待感知目标的特征属性信号相对应的刺激信号，并存储所述特征属性信号与所述相对应的刺激信号之间的对应关系；还用于根据存储的所述特征属性信号与相对应的刺激信号的对应关系，将所述待感知目标的特征属性信号转换成与之对应的刺激信号；

刺激执行器，用于在每次试验时执行刺激操作；还用于将与所述待感知目标的特征属性信号相对应的刺激信号以相应的刺激方式和刺激参数作用于使用者的神经系统，使其获得与所述待感知目标的特征属性信息对应的虚拟感知。

所述传感器具体用于获取待感知目标的温度、湿度、压力、颜色、加速度、声音、气体浓度和/或气味信息。

所述数据处理装置具体用于将所述特征属性信息转换成电刺激信号、光刺激信号、机械刺激信号、化学刺激信号的一种或几种的组合。

所述刺激执行器具体用于将与所述待感知目标的特征属性信号相对应的刺激信号作用于使用者的脑中枢神经系统、脊髓中枢神经系统或周边神经组织。

本发明的技术方案，通过获取待感知目标的特征属性信息，并对该特征属性信息进行处理转换成刺激信号，作用于使用者的神经系统，可以使得使用者产生该特征属性信息对应的感觉。采用本发明的技术方案不需要使用者自身的感觉器官，获取待感知目标及环境信息后可直接通过刺激神经系统实现虚拟感知。

附图说明

下面将参照附图描述本发明的具体实施例，其中：

图1为本发明实施例的实现虚拟感知的方法流程图；

图2为本发明实施例的实现虚拟感知的系统框图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。

本发明实施例提供了一种实现虚拟感知的方法，如图1所示，包括以下步骤：

S101、首先利用各类传感器采集待感知目标的至少一种特征属性信息，对这些特征属性信息进行调理、放大，并对待感知目标的的特征属性信息进行模数转换等数据处理，形成与各个特征属性信息相对应的特征属性信号，并将这些待感知目标的特征属性信号发送给计算机等数据处理装置。

传感器获得的特征属性信息也可称为原始信号，原始信号可以是物理信号也可以是化学信号，最终将原始信号转换为具有一定编码格式的数字电信号(也即特征属性信号)，传感器的作用就是把各种非电物理量(如温度、压力、加速度等等)或化学量(各种气体的浓度等)转换为电压或电流输出。本发明实施例将这些非电物理量以及化学量统称为待感知目标的特征属性信息。其中，各类传感器可以是现有温度传感器、湿度传感器、声音传感器、加速度传感器等等。而待感知目标可以是某一具体的事物，如杯子、水盆等，还可以是某一种环境，如海边、高楼天台上等等。待感知目标的特征属性信息可以是温度、湿度、声音、气味、颜色、照度、加速度、压力等，可以是物理属性也可以是化学属性。

如果待感知目标是具体事物，可以将这些传感器放于待感知目标上，比如将温度传感器置于杯子外侧以测量杯子的温度。如果待感知目标为某一环境，可以将这些传感器分布在待感知目标的周边环境中，传感器可以远程获取待感知目标的一种或多种特征属性信息，比如将风速风向传感器置于高楼天台上可以测得楼顶上的风力大小以及风吹的方向。

S102、将获得特征属性信号传送到计算机中，由计算机对这些特征属性信号进行数据融合以及分析处理。选择刺激方式和刺激参数，可以是电刺激、化学刺激等各种刺激方式，并以不同的刺激参数进行大量的试验。经过多次试验以后，可以确定与实验对象的特征属性信号相对应的刺激信号，将测得的实验对象的特征属性信号与刺激信号的对应关系存储到计算机的相应位置。

其中，刺激信号为具有特定幅度、频率等特征的模拟电信号，该刺激信号为人体神经感受器可识别，可直接用于刺激神经系统。刺激信号可以是低频电流等电刺激信号，可以是一定功率或波长的光刺激信号，还可以是机械刺激信号、化学刺激信号等信号中的一种或几种组合。例如，传感器测得的温度这一特征属性信息后输出一个8bit的数字信号00101100，表示温度是摄氏25度，假设经实验得知电流幅度50微安、持续时间10s、脉冲间隔0.25s的刺激信号作用于人的手部，与25度的温度作用于人的手部实验效果相同。那么，处理后将该特征属性信息转换为电流幅度为50微安、持续时间为10s、脉冲间隔为0.25s的刺激信号。

这里所说的计算机可以是物理机也可以是云端虚拟机，只要有相应计算能力即可，本发明对此不作限制。将传感器采集到的信号传输到计算机里只需要一个接口即可，比如计算机上面的串口、USB口或者网口等等。

待感知目标的特征属性信号可以是空气温度为20°的温度信号、风速为微风的风速信号等等，而待感知目标的特征属性信号与刺激信号的对应关系可以是点对点的关系，也可以是根据一个计算公式模拟出的对应曲线。比如，存储的对应关系可以是空气温度为20°的温度信号与空气温度为20°的刺激信号的对应关系，诸如此类，不同温度与不同刺激信号对应。另外，还可以通过实验测得多个空气温度为20°至30°之间的温度信号与刺激信号的对应关系，拟合出温度信号与刺激信号之间的一个对应计算公式，形成对应的温度信号-刺激信号模拟曲线。从而可以获取未实验过的温度信号所对应的刺激信号。比如，当需要对应空气温度为25°时的刺激信号时，可通过该计算公式得到空气温度为25°的温度信号所对应的刺激信号。

S103、根据上面存储的特征属性信号与相对应的刺激信号之间的对应关系，将所述待感知目标的特征属性信号转换为与之对应的刺激信号。

S104、将这些待感知目标的刺激信号通过一种或多种刺激执行器以相应的刺激方式和刺激参数等作用于使用者的脑、脊髓等中枢神经系统或者相关周边神经组织的一处或多处区域，使其在感觉中反映出待感知目标的特征属性信息所具有的特征。

其中，刺激执行器可以是现有神经刺激器(也称神经刺激仪)，该神经刺激器目前一般用于麻醉过程中监测穿刺针是否接触神经。本发明实施例中对各种刺激参数进行不同设置所形成的刺激信号称为具有一定刺激模式的刺激信号，刺激模式是根据不同刺激信号的刺激参数进行不同设置。比如：电刺激信号的刺激模式一般是根据电荷强度、电荷幅度、频率、作用持续时间等进行的不同设置；对于光刺激信号可能一般是根据光强、波长、作用持续时间等属性进行的不同设置，也即形成不同的刺激模式。

用户对刺激信号的感觉可能是自发的，比如对使用者的神经系统做一个电刺激，使用者自然会感觉到疼痛；而对于一些未知或未体会过的感觉，人们一般是在对外界环境认识了解以后，慢慢学习才得到的感觉，比如儿童一开始是不知道什么是恐高的感觉，通过认识了解知道高处的危险等才有了恐高的感觉。通过本发明的技术方案也可以对使用者进行一定的训练，使其得到待感知目标的特征属性所形成的感觉。

本发明实施例所提供的实现虚拟感知的方法，通过获取待感知目标的特征属性信息并对其进行处理，转换成刺激信号后作用于使用者的神经系统。采用本发明实施例的实现虚拟感知的方法，不需要使用者自身的感觉器官，就可以在获取待感知目标及环境信息后通过刺激神经系统实现虚拟感知。

基于同一发明构思，本发明还提出了一种实现虚拟感知的系统，如图2所示，包括传感器201、数据处理装置202以及刺激执行器203。这三者之间的数据传输可以通过有线、无线等多种方式实现，可以架设专用的数据链路也可以搭载在商用的通讯平台上。

传感器201可以是一个，也可以是多个，用于采集待感知目标的一种或多种特征属性信息，并对这些特征属性信息进行调理、放大，将它们进行模数转换形成实验对象的特征属性信号，将这些实验对象的特征属性信号发送给数据处理装置。

传感器201获得的原始信号可以是物理信号也可以是化学信号，最终将原始信号转换为具有一定编码格式的数字电信号(也即特征属性信号)，传感器的作用就是把各种非电物理量(如温度、压力、加速度等等)或化学量(各种气体的浓度等)转换为电压或电流输出。本发明实施例将这些非电物理量以及化学量统称为待感知目标的特征属性信息。其中，各类传感器可以是现有温度传感器、湿度传感器、声音传感器、加速度传感器等等。而待感知目标可以是某一具体的事物，如杯子、水盆等，还可以是某一种环境，如海边、高楼天台上等等。待感知目标的特征属性信息可以是温度、湿度、声音、气味、颜色、照度、加速度、压力等，可以是物理属性也可以是化学属性。

如果待感知目标是具体事物，可以将这些传感器放于待感知目标上，比如将温度传感器置于杯子外侧以测量杯子的温度。如果待感知目标为某一环境，可以将这些传感器分布在待感知目标的周边环境中，传感器可以远程获取待感知目标的一种或多种特征属性信息，比如将风速风向传感器置于高楼天台上可以测得楼顶上的风力大小以及风吹的方向。

数据处理装置202用于接收传感器发送过来的待感知目标的特征属性信号，选择刺激方式和刺激参数，经过多次试验测得与特征属性信号对应的刺激信号，并把这些特征属性信号与刺激信号的对应关系存储起来。根据计算机中存储的特征属性信号与刺激信号的对应关系，将待感知目标的特征属性信号转换为待感知目标的刺激信号。这里所说的刺激信号为具有特定幅度、频率等特征的模拟电信号，该刺激信号为人体神经感受器可识别，可直接用于刺激神经系统。刺激信号可以是低频电流等电刺激信号，可以是一定功率或波长的光刺激信号，还可以是机械刺激信号、化学刺激信号等信号中的一种或几种组合。

数据处理装置202只要具有相应的数据计算能力即可，与传感器的信号传输只需要一个接口，就可以实现将传感器201采集到的信号传输给数据处理装置202。

其中，待感知目标的特征属性信号可以是空气温度为20°的温度信号、风速为微风的风速信号等等，而实验对象的特征属性信号与刺激信号的对应关系可以是点对点的关系，也可以是根据一个计算公式模拟出的对应曲线。比如，存储的对应关系可以是空气温度为20°的温度信号与空气温度为20°的刺激信号的对应关系，诸如此类，不同温度与不同刺激信号对应。另外，还可以通过实验测得多个空气温度，比如20°至30°之间的温度信号，多次实验计算拟合出一个温度信号与刺激信号之间的对应的计算公式，形成对应的温度信号-刺激信号模拟曲线。从而可以获取未试验过的温度信号所对应的刺激信号。比如，当需要对应空气温度为25°的刺激信号时，可通过该计算公式得到空气温度为25°的温度信号所对应的刺激信号。

当然，这个过程是与刺激执行器203相关联的，当数据处理装置202选择好刺激方式和刺激参数后进行试验时，是通过刺激执行器203根据刺激信号执行刺激操作。

刺激执行器203，还用于将数据处理装置转换得到的刺激信号以相应的刺激方式和刺激参数作用于使用者的脑、脊髓等中枢神经系统或者相关周边神经组织的一处或多处区域，使其在感觉中反映出待感知目标的特征属性信息所具有的特征。

其中，本发明实施例将根据不同刺激信号的刺激参数进行的不同设置称为刺激模式，比如：电刺激信号的刺激模式一般是根据电荷强度、电荷幅度、频率、作用持续时间等进行的不同设置；对于光刺激信号可能一般是根据光强、波长、作用持续时间等属性进行的不同设置，也即形成不同的刺激模式。

本发明实施例所提供的实现虚拟感知的系统，通过传感器获取待感知目标的特征属性信息，并对该特征属性信息进行处理转换成刺激信号，作用于使用者的神经系统，可以使得使用者产生该特征属性信息对应的感觉。采用本发明实施例的实现虚拟感知的系统，不需要使用者自身的感觉器官就可以直接通过刺激神经系统实现虚拟感知。

利用本发明实施例所提供的技术方案可有各种应用场景，下面仅列举说明其中两种场景，具体如下：

实施例一、

目前大部分人忙于工作，几乎没有时间出去旅游散心，这种情况可以采用本发明的技术方案来实现虚拟旅游。虽然虚拟旅游这一名词已为现有技术中常用词汇，但本发明所说的虚拟旅游与现有技术中所称虚拟旅游的实现方式不同。

下面以虚拟海边旅游为例，进行详细说明如下所示：

1、海风吹拂脸颊的虚拟感知：

我们通常所说的触觉为生物感受本身特别是体表的机械接触(接触刺激)的感觉，它是由压力与牵引力作用于触觉感受器(也称接触感受器或皮肤感受器，主要是指体表或皮肤内的显微构造)所引起的。当人们在接触物体时，相关的神经系统会放电，现有技术中对于持续性刺激神经放电称为压觉，而非持续性的少量放电称为触觉。那么，只要将一定刺激模式的刺激信号施加给触觉相关的神经系统，比如表皮的触觉感受器、脑触觉皮层等，受试者就会产生被触的感觉。

因此，本发明实施例对受试者面部区域的部分面部神经按照一定时间和空间顺序施加电流脉冲刺激或者化学药物刺激，使得受试者产生面部被风拂过的感觉。

2、脚踩在沙滩上的虚拟感知：

依据与上述实施例相同的原理，本发明实施例通过对足底某一区域的皮肤触觉感受器施加电刺激或化学刺激，使得受试者产生该区域接触物体的感觉。如果是对足底整个区域按照一定时间和空间顺序施加电刺激，则能够使得受试者产生踩到某种物体的感觉。

3、耳朵听到海浪声的虚拟感知：

在受试者的耳蜗处插入电极阵列(植入电极可以是贴在耳蜗处也可以是扎在耳蜗处，本发明对此不作限制)，本发明实施例通过在受试者的耳蜗处的螺旋神经节细胞上施加电刺激，使得受试者产生听觉的虚拟感觉。进一步地，经过一定编码的电刺激，也即对电流幅度、频率按照一定的顺序组合而形成的电刺激，施加给受试者以后，可使得受试者产生听到某种特定声音的感觉。

实施例二、

由于家长不能寸步不离的保护儿童的安全，导致出现儿童被烫伤或不幸坠楼等悲惨事件。本发明实施例通过对儿童进行模拟训练，使得在做危险事情之前即使没有家长的及时阻止，也可以使儿童提前知晓危险的感觉而不去做该危险的事情。

1、对于热水壶等家里常见用品，如果儿童在家长不注意的情况下去触碰此类用品，极有可能被烫伤。因此，本发明实施例通过对儿童模拟训练，实现即使热水壶里没有热水也会使儿童有被烫疼的虚拟感觉，这样可以使得即使家长不在身边，儿童也不会再去触碰此类用品。

人体表皮的神经存在一种游离神经末梢，也就是痛觉感受器。引起烫痛感受的主要是其中的C纤维-热-机械-痛感受器。将一定剂量的K+、H+、组织胺、5-羟色胺、缓激肽、前列腺素等物质作用于暴露的游离神经末梢上，使得受试者产生疼痛的感觉。本发明实施例利用传感器获取热水壶等家用常见用品的特征属性信息，比如热水壶的温度为80度。传感器将该温度属性信号发送到计算机中，计算机将该温度为80度的属性信号转换为一定刺激模式的刺激信号。其中，刺激模式具体是指药物的剂量和成分等。本发明实施例将上述物质中的一种或几种以该刺激模式作用于儿童的皮肤表面，通过电穿孔皮肤给药技术，使其作用于C纤维-热-机械-痛感受器上引起烫痛感。

2、为了防止儿童在家长不注意的情况下，爬到窗户旁导致危险发生，本发明实施例通过让儿童产生恐高的虚拟感觉，从而使得儿童远离窗户避免坠楼等危险事情发生。

相对于“触觉”、“痛觉”等人体感觉，一些复杂高等的感觉，例如恐高，则需要人们经过长期生活实践来获得经验。也即，让受试者将外部对其神经施加的刺激与相应环境特征建立起联系，通过不断的经验积累与学习来预学习该环境特征对应的感觉。

恐高感觉的产生，主要是因为大脑指挥身体做出的动作幅度是以视野中物体的相对活动作为参照对象。假如人们从高处往下望，地面物体太远太小，则视野中的地面物体就不能作为平衡信息回馈的根据了；同时，如果人们在高处，眼睛无法在水平位置找到实物进行水平运动的参照，则会引起人体平衡系统崩溃。

由于恐高这一虚拟感觉是需要人们通过实践经验获得的，因此无法直接诱发产生。本发明实施例通过将传感器采集到的楼层高度等特征属性信息转换成一定刺激模式的刺激信号，当儿童靠近窗户的时候通过刺激儿童的神经系统，如前庭等，使儿童产生眩晕、心跳加快、呼吸困难、面色发白、四肢发冷等植物性神经系统反应，同时通过心理训练与视觉辅助，最终使得儿童在靠近窗边时产生恐高的感觉。

采用本发明实施例的技术方案不需要使用者自身的感觉器官，获取待感知目标及环境信息后可直接通过刺激神经系统实现虚拟感知。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制。因此，在不背离本发明的精神及其实质的情况下，本领域技术人员可作出各种改变、替换和变型。很显然，但这些改变、替换和变型都应涵盖于本发明权利要求的保护范围之内。

Claims (10)

1.一种实现虚拟感知的方法，其特征在于，包括以下步骤：

获取待感知目标的至少一种特征属性信息，对所述特征属性信息进行调理、放大并进行模数转换，形成特征属性信号；所述待感知目标为待感知的具体事物或环境；所述具体事物具有物理属性或化学属性；

选择刺激方式和刺激参数，通过试验确定与所述待感知目标的特征属性信号相对应的刺激信号，并存储所述特征属性信号与所述相对应的刺激信号之间的对应关系；

根据存储的所述特征属性信号与相对应的刺激信号的对应关系，将所述待感知目标的特征属性信号转换为与之对应的刺激信号；

将所述待感知目标的刺激信号通过刺激执行器以相应的刺激方式和刺激参数作用于使用者的神经系统，使其获得与所述待感知目标的特征属性信息对应的虚拟感知。

2.如权利要求1所述的实现虚拟感知的方法，其特征在于，所述特征属性信息包括温度、湿度、压力、颜色、加速度、声音、气体浓度和/或气味。

3.如权利要求1所述的实现虚拟感知的方法，其特征在于，所述刺激信号包括电刺激信号、光刺激信号、机械刺激信号、化学刺激信号的一种或几种的组合。

4.如权利要求3所述的实现虚拟感知的方法，其特征在于，所述电刺激信号的属性包括电荷强度、电荷幅度、频率和作用持续时间。

5.如权利要求3所述的实现虚拟感知的方法，其特征在于，所述光刺激信号的属性包括光强、波长和作用持续时间。

6.如权利要求1所述的实现虚拟感知的方法，其特征在于，所述刺激执行器为神经刺激器。

7.一种实现虚拟感知的系统，其特征在于，包括：

传感器，用于获取待感知目标的至少一种特征属性信息，对所述特征属性信息进行调理、放大并进行模数转换，形成特征属性信号，发送所述特征属性信号；所述待感知目标为待感知的具体事物或环境；所述具体事物具有物理属性或化学属性；

数据处理装置，用于接收所述传感器发送的特征属性信号，选择刺激方式和刺激参数，通过试验确定与所述待感知目标的特征属性信号相对应的刺激信号，并存储所述特征属性信号与所述相对应的刺激信号之间的对应关系；还用于根据存储的所述特征属性信号与相对应的刺激信号的对应关系，将所述待感知目标的特征属性信号转换成与之对应的刺激信号；

刺激执行器，用于在每次试验时执行刺激操作；还用于将与所述待感知目标的特征属性信号相对应的刺激信号以相应的刺激方式和刺激参数作用于使用者的神经系统，使其获得与所述待感知目标的特征属性信息对应的虚拟感知。

8.如权利要求7所述的实现虚拟感知的系统，其特征在于，所述传感器具体用于获取待感知目标的温度、湿度、压力、颜色、加速度、声音、气体浓度和/或气味信息。

9.如权利要求7所述的实现虚拟感知的系统，其特征在于，所述数据处理装置具体用于将所述特征属性信息转换成电刺激信号、光刺激信号、机械刺激信号、化学刺激信号的一种或几种的组合。

10.如权利要求7所述的实现虚拟感知的系统，其特征在于，所述刺激执行器具体用于将与所述待感知目标的特征属性信号相对应的刺激信号作用于使用者的脑中枢神经系统、脊髓中枢神经系统或周边神经组织。