CN103793063A - 多通道增强现实系统 - Google Patents

Abstract

本发明提供了一种多通道增强现实系统，相应的传感输入子系统包括用于获取语音信号的语音传感器、用于获取温湿度信号的温湿度传感器和用于获取风力信号的风力传感器；体感控制子系统包括用于识别用户手部动作的体感控制器；所述信息融合处理子系统；所述气味发生子系统包括用于根据人体感应传感器获取的信号发出预定气味的芳香发生机；所述虚拟现实图形显示子系统包括用于通过二维标记点识别、三维注册、三维动画控制进行互动演示的投影仪和显示屏；所述振动及声音反馈子系统用于所述虚拟现实图形显示子系统进行互动演示的内容为用户提供震动及声音的触感输出。本发明建构了一个模型，将用户完全置身于增强现实的环境中，通过与视觉、听觉、触觉、嗅觉等身体的各个部位进行互动系统。

Description

多通道增强现实系统

技术领域

本发明属于虚拟现实技术领域，具体涉及一种能够让用户进行多感官多通道交互的增强现实系统。

背景技术

增强现实(augmented reality ,AR) 技术可以将虚拟的物体合并到现实场景中,并能支持用户与其进行交互，该技术已经成为虚拟现实研究中的一个重要领域，同时也是人机界面技术发展的一个重要方向。目前，很多研究结果已经运用到了工作和生活当中，例如Kinect体感设备，通过相应的游戏及应用，把操作的体验提高到一个新的层次，使用者无须控制任何外界物体，身体可以用来当作控制器直接进行控制，深受广大游戏爱好者的喜爱，通过增强现实带去了娱乐领域的一场变革与创新。又例如，Leap Motion体感控制器，通过挥舞手指或拳头来和计算机进行交互，能够同时追踪十根手指，精度在百分之一毫米之内，延迟比显示器的刷新率还要低。

信息融合技术是关于如何协同利用多源信息，以获得对同一事物或目标更客观、更本质认识的综合信息处理技术。多传感器信息融合技术是指利用计算机技术对时序获得的若干传感器的观测信息在一定准则下加以分析、综合，以完成所需的决策和估计任务而进行的信息处理过程。实际上它是对人脑综合处理复杂问题的一种功能模拟，通过把多个传感器获得的信息按照一定的规则组合、归纳、演绎，得到对观测对象的一致解释和描述。截止目前为止，信息融和广泛应用于军事上，包括从单兵作战、单平台武器系统到C4 ISR 领域。在非军事领域，多传感器融合技术也有很大的发展，比如在医疗卫生中，用于手术监护、重症监护病房、创伤评估与创伤监护、医学图像信息融合来改善图像的质量。再如在智能交通系统中，用于交通流量统计、智能交通调控、自动违章处理、车辆跟踪处理、交通实时查询以及车辆统计等功能。

但是，现有的增强现实技术，都是从用户输入的方式入手，且输出的大多是视觉图像和声音，而没有调动用户触觉嗅觉等其他器官。另外，现有的信息融合注重的是对客观世界中的信息处理，无法关注由用户多通道输入的信息。

发明内容

本发明为解决现有的增强现实技术存在的都是从用户输入的方式入手，且输出的大多是视觉图像和声音，而没有调动用户触觉嗅觉等其他器官以及现现有的信息融合注重的是对客观世界中的信息处理，无法关注由用户多通道输入的信息的问题，进而提供一种多通道增强现实系统。

本发明是通过以下技术方案实现的：

一种多通道增强现实系统，包括：传感输入子系统、体感控制子系统、信息融合处理子系统、气味发生子系统、虚拟现实图形显示子系统和振动及声音反馈子系统；

所述传感输入子系统包括用于获取语音信号的语音传感器、用于获取温湿度信号的温湿度传感器和用于获取风力信号的风力传感器；

所述体感控制子系统包括用于识别用户手部动作的体感控制器；

所述信息融合处理子系统将从温湿度传感器输入、体感输入和人体感应获取的信号进行融合处理，并相应的转化为声音，三维图像，气味，震动等输出指令传递到各个输出子系统中；

所述气味发生子系统包括用于根据人体感应传感器获取的信号发出预定气味的芳香发生机；

所述虚拟现实图形显示子系统包括用于通过二维标记点识别、三维注册、三维动画控制进行互动演示的投影仪和显示屏；

所述振动及声音反馈子系统用于所述虚拟现实图形显示子系统进行互动演示的内容为用户提供震动及声音的触感输出。

本发明的有益效果：解决了增强现实技术与人各个感官交互的统一和融合，在多通道交互的同时，更加注重来自于系统对于用户感官最直接的刺激和反馈。它建构了一个模型，将用户完全置身于增强现实的环境中，通过与视觉、听觉、触觉、嗅觉等身体的各个部位进行互动，使得用户全身心投入在其中，达到很好的用户体验。

 附图说明

图1为本发明提供的多通道增强现实系统的结构示意图。

具体实施方式

为了能够更清晰地阐明本发明的特点和工作基本原理，以下结合附图及实施例，对本发明进行说明。

本具体实施方式提供了一种多通道增强现实系统，如图1所示，包括：传感输入子系统、体感控制子系统、信息融合处理子系统、气味发生子系统、虚拟现实图形显示子系统和振动及声音反馈子系统；

所述传感输入子系统包括用于获取语音信号的语音传感器、用于获取温湿度信号的温湿度传感器和用于获取风力信号的风力传感器；

所述体感控制子系统包括用于识别用户手部动作的体感控制器；

所述信息融合处理子系统将从温湿度传感器输入、体感输入和人体感应获取的信号进行融合处理，并相应的转化为声音，三维图像，气味，震动等输出指令传递到各个输出子系统中；

所述气味发生子系统包括用于根据人体感应传感器获取的信号发出预定气味的芳香发生机；

所述虚拟现实图形显示子系统包括用于通过二维标记点识别、三维注册、三维动画控制进行互动演示的投影仪和显示屏；

所述振动及声音反馈子系统用于所述虚拟现实图形显示子系统进行互动演示的内容为用户提供震动及声音的触感输出。

具体的，本具体实施方式提供的多通道增强现实系统中各子系统实现的功能包括：

1）传感输入子系统

传感输入子系统主要由各类传感器（如温湿度传感器）和移动设备组成，提供用户较为多样的交互方式。例如，温度传感器：接受温度数据，控制种子发芽；湿度传感器：湿度数据，控制芽儿开花；风力传感器：接受吹气数据方向，控制玫瑰花运动。

2）体感控制子系统

 体感控制子系统是用户手势输入通道，可以通过体感控制器来与虚拟世界进行交互，用户的手以及手上的工具都可以绑定为操作虚拟世界的工具。体感控制子系统可通过识别手部动作，模拟用户触摸到玫瑰花，从而使玫瑰花掉落。

3）信息融合处理子系统

信息融合处理子系统将从温湿度传感器输入、体感输入和人体感应获取的信号进行融合处理，并相应的转化为声音，三维图像，气味，震动等输出指令传递到各个输出子系统中，且该子系统所谓的“融合处理”强调的是：一、符合所表现的植物生长过程的自然规律；二、符合人体感知外界信息的协同规律；即输入和输出过程为多线程并行运行处理，并非单一信号的输入和输出；三、将输入的传感器信号转化为可被感知的声音图像气味等输出指令。

4）气味发生子系统

气味发生子系统主要由气味发生器组成，是嗅觉反馈的核心，通过更新虚拟现实的画面反馈出相应的气味，刺激用户的嗅觉，加深其对画面的感受。气味发生子系统在用户操作温湿度传感器的同时，在用户手的下方安装人体感应传感器，一旦用户将手向前伸，传感器就会接受红外信号控制芳香发生机工作，从而发散玫瑰花的香味。

5）虚拟现实图形显示子系统

虚拟现实图形显示子系统是视觉反馈的基础，根据用户输入的信息生成真实感的计算机图形图像，反馈给用户视觉上的直观感受，同时该系统并可以响应控制系统的控制命令。虚拟现实图形显示子系统通过投影仪配合PC端的相应软件采用二维标记点的识别技术，三维注册技术，三维动画控制技术实现增强现实的玫瑰花生长互动演示。

具体的，虚拟现实图像显示子系统执行的操作包括：首先根据预先设计的纸质平面标记板的图案，生成三维模型1（以玫瑰为例，则为玫瑰花种子的三维模型）；其次，根据外部传入的温度湿度的数据的变化，控制播放模型1的动画1（种子发芽动画）动画2（开花动画）；第三、根据风向传感器传入的风向数据，控制播放动画3（花朵随风摆动动画）；最后，根据体感传入的体感数据，控制播放动画4（花朵凋零动画）。这个系统的关键在于，虚拟现实图像的生成和变化是由外部数据的传入进行控制播放的。

6）振动及声音反馈子系统

振动及声音反馈子系统主要是提供用户触觉和感觉的输出，比如让用户身体双手感受到震动，或者听到相应的声音等。

以培养玫瑰花的互动过程为例，本具体实施方式提供的多通道增强现实系统的工作过程包括：首先通过制作带有标记点的纸质标记板，将三维的玫瑰花植物模型进行注册，通过摄像头对准标记板在大屏幕上显示出玫瑰花的种子躺在花盆里，通过用户将手放到温度传感器上，温度传感器感受到温度的升高，将温度数据传入到arduino平台中，使画面上三维的花盆中的种子花芽，即控制模型播放发芽动画；之后用户通过洒水在湿度传感器上，由湿度传感器接收湿度数据传入arduino中，从而控制已经发芽的种子播放开花的动画；此时用户在洒水的同时，系统中的人体感应式传感器接受红外信号，控制系统中的芳香气味发生器运作，释放玫瑰花的香味，待用户观看到玫瑰花开放的同时嗅觉也同时闻到花的香味。之后用户对着系统进行东西南北四个方向做吹起动作，由系统中的风力传感器感应风的方向，将数据传入arduino中，控制三维的玫瑰花向相应的方向运动。最后，用户用手去触摸玫瑰花，由体感控制设备接受手势数据，最终控制玫瑰花的掉落。

采用本具体实施方式提供的技术方案，解决了增强现实技术与人各个感官交互的统一和融合，在多通道交互的同时，更加注重来自于系统对于用户感官最直接的刺激和反馈。它建构了一个模型，将用户完全置身于增强现实的环境中，通过与视觉、听觉、触觉、嗅觉等身体的各个部位进行互动，使得用户全身心投入在其中，达到很好的用户体验。

以上所述，仅为本发明较佳的具体实施方式，这些具体实施方式都是基于本发明整体构思下的不同实现方式，而且本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (1)

1.一种多通道增强现实系统，其特征在于，包括：传感输入子系统、体感控制子系统、信息融合处理子系统、气味发生子系统、虚拟现实图形显示子系统和振动及声音反馈子系统；

所述传感输入子系统包括用于获取语音信号的语音传感器、用于获取温湿度信号的温湿度传感器和用于获取风力信号的风力传感器；

所述体感控制子系统包括用于识别用户手部动作的体感控制器；

所述信息融合处理子系统将从温湿度传感器输入、体感输入和人体感应获取的信号进行融合处理，并相应的转化为声音，三维图像，气味，震动等输出指令传递到各个输出子系统中：

所述气味发生子系统包括用于根据人体感应传感器获取的信号发出预定气味的芳香发生机；

所述虚拟现实图形显示子系统包括用于通过二维标记点识别、三维注册、三维动画控制进行互动演示的投影仪和显示屏；

所述振动及声音反馈子系统用于所述虚拟现实图形显示子系统进行互动演示的内容为用户提供震动及声音的触感输出。