CN105809741B - 一种交互式室内环境体验系统 - Google Patents

Abstract

本发明提供一种交互式室内环境体验系统，包括体验终端、通讯部分和交互终端，其中：交互终端通过人机交互采集操作者的意图并转换成操作指令通过通讯部分传输给体验终端；通讯部分通过有线或无线的模式进行操作指令的传输；体验终端从通讯部分接收到操作者的意图指令后通过图像、语音和味道的多媒体形势对操作者进行展现。本发明将多媒体技术和运动轨迹采集、图像处理结合在一起，操作者通过肢体语言可以在室内进行身临其境的多媒体交互。本发明结构简单，操作便捷，具有广泛推广意义。

Description

一种交互式室内环境体验系统

技术领域

本发明涉及交互式体验技术领域，具体地，涉及一种交互式室内环境体验系统。

背景技术

目前的室内交互展示都是通过投影仪等手段进行视觉呈现，使用者缺乏身临其境的感觉，没有真正的多媒体展示效果，目前市场是还没有一个能够将视觉、听觉和嗅觉相融合的交互式展现方法。

经检索，已公开的中国发明专利申请：申请号CN201310085951.9，其公开了一种实现多维度感知虚拟交互的系统和方法，所述的系统包括核心处理单元、使用者辅助单元、3D摄像单元和3D投影单元，其中：所述的3D摄像单元用于采集虚拟交互信息中的光学信息，并将其转换为信号，并把信号输出给相应设备单元；所述的使用者辅助单元用于采集的除光学信息之外的其它相应虚拟交互信息，将其转换为信号输出给相应设备单元；还用于将接收的信号转换为相应的多维度感知信息；所述的核心处理单元用于接收相应设备单元输入的信号，进行信号处理，将处理后的信号输出给相应设备单元；所述的3D投影单元用于接收相应设备单元输入的信号，转换为相应的3D视觉信息；所述的多维度感知是指6个或6个以上维度的使用者感觉。

上述发明的多维度感知虚拟交互的系统和实现方法虽然能够实现多维度感知虚拟交互，但是同样是采用了投影仪等手段进行视觉呈现，使用者缺乏身临其境的感觉，没有真正的多媒体展示效果。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种交互式室内环境体验系统，将运动轨迹捕捉识别、实时交互、全息投影等结合在一起，操作者在室内就可以虚拟的通过视觉、听觉和嗅觉来感知不同的室内状态。

为实现以上目的，本发明提供一种交互式室内环境体验系统，包括体验终端、通讯部分和交互终端，所述体验终端与交互终端之间通过通讯部分连接，其中：

所述的交互终端，通过人机交互采集操作者的意图并转换成操作指令；

所述的通讯部分，通过有线或无线的模式将所述的交互终端的操作指令传输给所述的体验终端；

所述的体验终端，接收通讯部分传输的操作指令后，通过图像、语音和/或味道的多媒体形式对操作者进行展现。

优选地，所述的交互终端，包括信息获取模块、信息处理模块和信息发送模块，其中：

所述的信息获取模块，捕获操作者的肢体轨迹，或采用人机交互部件记录操作者的指令，并将获取的信息传递给信息处理模块；

所述的信息处理模块，处理操作者的指令，将该指令转换成操作指令，或者对从信息获取模块得到的操作者的肢体轨迹进行轨迹识别，识别出其中的特定轨迹，根据特定轨迹所表示的含义转换成操作指令；

所述的信息发送模块，接收到信息处理模块发送的操作指令,并进行格式化处理，转换成体验终端能直接接受的数据格式，然后将该数据通过通讯部分发送给体验终端。

更优选地，所述的信息获取模块通过传感器将人体的肢体轨迹进行采集、滤波，然后进行轨迹识别。

更优选地，所述的传感器包括运动传感器、视觉传感器中至少一种，所述运动传感器对操作者的肢体的当前运动轨迹进行物理量采集；所述视觉传感器采集操作者的运动轨迹帧，然后识别图像帧中操作者的特定身体部分，生成不同帧之间的特定身体部分的末端运动轨迹。

优选地，所述的体验终端，包括视觉感知模块、语音感知模块和嗅觉感知模块中至少一种，其中：

所述的视觉感知模块，以全息投影或球面多视觉融合的模式展现虚拟显示的室内环境，图像展示的角度根据交互终端所获取的操作者的意图来实时改变；

所述的语音感知模块，根据视觉感知模块所呈现的不同角度实时播放虚拟的相应室内环境声音给操作者；

所述的嗅觉感知模块，根据视觉感知模块所呈现的不同角度实时产生相应的室内环境气味给操作者。

更优选地，所述的嗅觉感知模块，包括气味存储子模块和气味切换子模块，其中：

所述的气味存储子模块，将设定的不同气味的气体高压灌入压力容器，用于存储；不同的虚拟室内环境对应不同的气味；

所述的气味切换子模块，根据交互终端获取的操作信息切换的室内环境对应的气味使用阀门关断和开启所需压力容器的气阀，从而输出相应味道的气体。

与现有技术相比较，本发明具有如下有益效果：

针对现有室内交互展示都是通过投影仪等手段进行视觉呈现，使用者缺乏身临其境的感觉的问题，本发明将室内环境与操作者的视觉、听觉和/或味觉进行虚拟融合，部分实施例中可以让操作者通过佩戴特定的传感器、或者是特定的肢体语言，使得使用者产生身临其境的感觉，做到真正的多媒体交互，对于使用者有很好的交互性和娱乐性，具有广泛推广意义。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例的系统功能示意图，

图1中：1-体验终端、2-通讯部分、3-交互终端；

图2为本发明一实施例的交互终端组成示意图，

图2中：4-信息获取模块、5-信息处理模块、6-信息发送模块；

图3为本发明一实施例的体验终端组成示意图，

图3中：7-视觉感知模块、8-语音感知模块、9-嗅觉感知模块；

图4为本发明一实施例的嗅觉感知模块的原理图；

图5为本发明一实施例的体验终端的全息投影示意图；

图6为本发明一实施例的体验终端的多图像融合示意图；

图7为本发明一实施例的通讯部分基于以太网络示意图；

图8为本发明一实施例的通讯部分基于高频无线电信号网络电路原理图；

图9为本发明一实施例的基于6轴传感器的信息获取电路原理图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，一种交互式室内环境体验系统，包括：体验终端1、通讯部分2和交互终端3，所述体验终端1、交互终端3之间通过通讯部分2连接；其中：

所述的交互终端3通过人机交互采集操作者的意图并转换成操作指令通过通讯部分2传输给体验终端1；

所述的通讯部分2通过有线或无线的模式进行操作指令的传输；

所述的体验终端1接收到操作者的意图操作指令后通过图像、语音和/或味道的多媒体形势对操作者进行展现。

在部分实施例中：

所述的体验终端1，可以采用液晶显示，可以采用投影显示，可以采用全息投影，也可以采用多图像融合；

所述的交互终端3，可以采用触摸屏，可以采用各种功能的按键，可以采用将传感器固定在操作者的身上通过获取操作者的肢体语言来解析操作目的，也可以通过摄像录制操作者的肢体语言，通过解析识别人物的肢体语言来获取操作目的。

如图2所示，作为一优选实施方式，所述的交互终端3，包括信息获取模块4、信息处理模块5、信息发送模块6，其中：

所述信息获取模块4，通过传感器捕获操作者的肢体轨迹，或通过触摸屏记录操作者的指令，并将获取的信息传递给信息处理模块5；

所述信息处理模块5，处理操作者的指令，将该指令转换成操作指令，或者对从信息获取模块得到的操作者的肢体轨迹进行轨迹识别，识别出其中的特定轨迹，根据特定轨迹所表示的含义转换成操作指令；

所述信息发送模块6，就收到信息处理模块5发送的操作指令，并进行格式化处理，转换成体验终端1可以直接接受的数据格式；然后将处理好的、体验终端1可以直接接受的格式的数据通过通讯部分2发送给体验终端1。

作为一个实施方式，所述的传感器，可以是图2中的“加速度传感器”、“陀螺仪”和“地磁传感器”作为运动传感器对操作者的肢体的当前运动轨迹进行物理量采集，也可以是通过图2中的“图像传感器”采集操作者的运动轨迹帧，然后识别图像帧中操作者的特定身体部分，生成不同帧之间的特定身体部分的末端运动轨迹。

进一步的，所述的运动状态物理量包括速度、加速度、角速度、角加速度、俯仰、翻滚和偏摆中的一种或多种。

进一步的，所述的操作指令包含但不限于展示的俯仰角度、翻滚角度、偏摆角度、景深中的一种或几种。

作为一个优选实施方式，所述的交互终端3为一个独立的控制器，或者为嵌入到现有具有通讯接口的计算机内部的程序模块。

如图1、图3、图5所示，在部分实施例中，全息图作为一个复杂的光栅，利用衍射原理再现物体光波信息，透明膜作为干涉全息干板，在相干激光照射下，将线性记录的正弦型全息图的衍射光波的原始象和共轭象进行立体呈现，再现的图像立体感强，具有真实的视觉效应。

如图3所示，作为一个优选实施方式，所述的体验终端1包括：视觉感知模块7、语音感知模块8、嗅觉感知模块9，其中：

所述视觉感知模块7以全息投影或球面多视觉融合的模式展现虚拟显示的室内环境，图像展示的角度根据交互终端3所获取的操作者的意图来实时改变，做到真正的交互，身临其境的感觉；其中：

采用全息投影的模式展现，交互终端3获取操作者的指令意图，计算出用于展现给操作者的建模画面，将画面按照原始象和共轭象进行渲染，把透明膜作为干涉全息干板，使用相干激光照射，将全息图的衍射光波的原始象和共轭象进行立体呈现给操作者，并且实时根据操作者的操作来改变全息画面；

采用球面多视觉融合的模式展现，交互终端3获取操作者的指令意图，计算出用于展现给操作者的建模画面，将其分成几个投影画面，同时对几个画面进行渲染，然后通过多视觉融合的方式对几个画面进行融合计算，消除画面之间的边界，将整个画面投影到球面，消除不同投影投射的画面的接缝，将投射的球面图像呈现给操作者，并且实时根据操作者的操作来改变球面图像；

交互终端3获取操作者的指令意图，计算出用于展现给操作者的建模画面，同时得到此画面相对应的声音文件，并通过语音感知模块8实时播放相应的声音给操作者；

交互终端3获取操作者的指令意图，计算出用于展现给操作者的建模画面，同时得到此画面相对应的室内环境对应的气味，并通过嗅觉感知模块9产生相应的气体提供给操作者。

如图4所示，作为一个优选实施方式，所述的嗅觉感知模块9，包括气味存储子模块和气味切换子模块，其中：

所述气味存储子模块，将设定的不同气味的气体高压灌入压力容器，用于存储，不同的虚拟室内环境对应不同的气味；

所述气味切换子模块，根据交互终端3获取的操作信息切换的室内环境对应的气味使用阀门关断和开启所需压力容器的气阀，从而输出相应味道的气体。

如图5所示，作为一个优选实施方式，所述的交互终端1基于全息投影。具体的：将画面按照原始象和共轭象进行渲染，把透明膜作为干涉全息干板，使用相干激光照射，将全息图的衍射光波的原始象和共轭象进行立体呈现给操作者。

如图6所示，作为一个优选实施方式，所述的交互终端1基于多视觉融合，将所需要展现的画面分成几个投影画面，同时对几个画面进行渲染，然后通过多视觉融合的方式对几个画面进行融合计算，消除画面之间的边界，将整个画面投影到球面，消除不同投影投射的画面的接缝，将投射的球面图像呈现给操作者。

如图7所示，作为一个优选实施方式，所述的的通讯部分2基于以太网络的通讯部分。

如图8所示，作为一个优选实施方式，所述的通讯部分2基于高频无线电信号网络，其采用美国博通公司的蓝牙BCM20736主从端二合一芯片，可实现超低功耗高频无线电信号连接。

如图9所示，作为一个优选实施方式，所述的交互终端3采用的运动传感器基于6轴传感器的信息获取电路。使用飞思卡尔FXAS21002C 3轴陀螺仪传感器，可以测量X、Y、Z轴向的角加速度信号。

作为一个优选实施方式，操作者佩戴基于飞思卡尔FXAS21002C 3轴陀螺仪传感器的交互终端3采用的运动传感器，由运动传感器采集操作者的手势轨迹，交互终端3中的处理器将手势轨迹进行解析，解析成相应的操作指令，对操作指令进行格式化处理，转换成体验终端1可以直接接受的数据格式，然后将操作指令及参数通过基于蓝牙BCM20736的通讯部分2传递给体验终端1，体验终端1根据接收的操作指令确定操作者的指令意图，计算出用于展现给操作者的建模画面，将画面按照原始象和共轭象进行渲染，把透明膜作为干涉全息干板，使用相干激光照射，将全息图的衍射光波的原始象和共轭象进行立体呈现给操作者，并且实时根据操作者的操作来改变全息画面。同时得到此画面相对应的声音文件，并通过语音感知模块8实时播放相应的声音给操作者；以及得到此画面相对应的室内环境对应的气味，并通过嗅觉感知模块9中的阀门来关断和开启所需要的压力容器的气阀，从而输出相应味道的气体提供给操作者，使操作者产生身临其境的感觉。

本发明将室内环境与操作者的视觉、听觉和味觉进行虚拟融合，针对现有室内交互展示都是通过投影仪等手段进行视觉呈现，使用者缺乏身临其境的感觉的问题，提供一种交互式室内环境体验系统，可以让操作者通过佩戴特定的传感器、或者是特定的肢体语言，将室内环境与操作者的视觉、听觉和味觉进行虚拟融合，做到真正的多媒体交互，对于使用者有很好的交互性和娱乐性，本发明结构简单，操作方便，具有广泛推广意义。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种交互式室内环境体验系统，其特征在于，包括体验终端、通讯部分和交互终端，所述体验终端与交互终端之间通过通讯部分连接，其中：

所述的交互终端，通过人机交互采集操作者的意图并转换成操作指令；

所述的通讯部分，通过有线或无线的模式将所述的交互终端的操作指令传输给所述的体验终端；

所述的体验终端，接收通讯部分传输的操作指令后，通过图像、语音和/或味道的多媒体形式对操作者进行展现；

所述的交互终端，包括信息获取模块、信息处理模块和信息发送模块，其中：

所述的信息获取模块，捕获操作者的肢体轨迹，或采用人机交互部件记录操作者的指令，并将获取的信息传递给信息处理模块；

所述的信息处理模块，处理操作者的指令，将该指令转换成操作指令，或者对操作者的肢体轨迹进行轨迹识别，识别出其中的特定轨迹，根据特定轨迹所表示的含义转换成操作指令；

所述的信息发送模块，接收信息处理模块发送的操作指令，并进行格式化处理，转换成体验终端能直接接受的数据格式，然后将该指令通过通讯部分发送给体验终端；

所述的体验终端，包括视觉感知模块、语音感知模块和嗅觉感知模块中至少一种，其中：

所述的视觉感知模块，以全息投影或球面多视觉融合的模式展现虚拟显示的室内环境，图像展示的角度根据交互终端所获取的操作者的意图来实时改变；

所述的语音感知模块，根据视觉感知模块所呈现的不同角度实时播放虚拟的相应室内环境声音给操作者；

所述的嗅觉感知模块，根据视觉感知模块所呈现的不同角度实时产生相应的室内环境气味给操作者；

所述的嗅觉感知模块，包括气味存储子模块和气味切换子模块，其中：

所述的气味存储子模块，将设定的不同气味的气体高压灌入压力容器，用于存储；不同的虚拟室内环境对应不同的气味；

所述的气味切换子模块，根据交互终端获取的操作信息切换的室内环境对应的气味使用阀门关断和开启所需压力容器的气阀，从而输出相应味道的气体；

所述的视觉感知模块以全息投影或球面多视觉融合的模式展现虚拟显示的室内环境，其中：

采用全息投影的模式展现：交互终端获取操作者的指令意图，计算出用于展现给操作者的建模画面，将画面按照原始象和共轭象进行渲染，把透明膜作为干涉全息干板，使用相干激光照射，将全息图的衍射光波的原始象和共轭象立体呈现给操作者，并且实时根据操作者的操作来改变全息画面；

采用球面多视觉融合的模式展现：交互终端获取操作者的指令意图，计算出用于展现给操作者的建模画面，将其分成几个投影画面，同时对几个画面进行渲染，然后通过多视觉融合的方式对几个画面进行融合计算，消除画面之间的边界，将整个画面投影到球面，消除不同投影的画面的接缝，将投射的球面图像呈现给操作者，并且实时根据操作者的操作来改变球面图像。

2.根据权利要求1所述的一种交互式室内环境体验系统，其特征在于，所述的信息获取模块通过传感器将人体的肢体轨迹进行采集、滤波，然后进行轨迹识别。

3.根据权利要求2所述的一种交互式室内环境体验系统，其特征在于，所述的传感器包括运动传感器、视觉传感器中至少一种，所述运动传感器对操作者的肢体的当前运动轨迹进行物理量采集；所述视觉传感器采集操作者的运动轨迹帧，然后识别图像帧中操作者的特定身体部分，生成不同帧之间的特定身体部分的末端运动轨迹。

4.根据权利要求3所述的一种交互式室内环境体验系统，其特征在于，所述的物理量包括速度、加速度、角速度、角加速度、俯仰、翻滚和偏摆中的一种或多种。

5.根据权利要求1-4任一项所述的一种交互式室内环境体验系统，其特征在于，所述的交互终端为一个独立的控制器，或者所述的交互终端为嵌入到现有具有通讯接口的计算机内部的程序模块。

6.根据权利要求1-4任一项所述的一种交互式室内环境体验系统，其特征在于，所述的操作指令包含俯仰角度、翻滚角度、偏摆角度、景深中的一种或几种。