CN103793063B - 多通道增强现实系统 - Google Patents
多通道增强现实系统 Download PDFInfo
- Publication number
- CN103793063B CN103793063B CN201410087073.9A CN201410087073A CN103793063B CN 103793063 B CN103793063 B CN 103793063B CN 201410087073 A CN201410087073 A CN 201410087073A CN 103793063 B CN103793063 B CN 103793063B
- Authority
- CN
- China
- Prior art keywords
- subsystem
- sense
- obtaining
- smell
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 239000003550 marker Substances 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 13
- 230000008786 sensory perception of smell Effects 0.000 abstract description 8
- 230000003993 interaction Effects 0.000 abstract description 6
- 230000036541 health Effects 0.000 abstract description 5
- 238000005728 strengthening Methods 0.000 abstract description 5
- 238000010276 construction Methods 0.000 abstract description 3
- 241000220317 Rosa Species 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 210000000697 sensory organ Anatomy 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 239000003205 fragrance Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000007226 seed germination Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 125000003118 aryl group Chemical group 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000035784 germination Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种多通道增强现实系统,相应的传感输入子系统包括用于获取语音信号的语音传感器、用于获取温湿度信号的温湿度传感器和用于获取风力信号的风力传感器;体感控制子系统包括用于识别用户手部动作的体感控制器;所述信息融合处理子系统;所述气味发生子系统包括用于根据人体感应传感器获取的信号发出预定气味的芳香发生机;所述虚拟现实图形显示子系统包括用于通过二维标记点识别、三维注册、三维动画控制进行互动演示的投影仪和显示屏;所述振动及声音反馈子系统用于所述虚拟现实图形显示子系统进行互动演示的内容为用户提供震动及声音的触感输出。本发明建构了一个模型,将用户完全置身于增强现实的环境中,通过与视觉、听觉、触觉、嗅觉等身体的各个部位进行互动系统。
Description
技术领域
本发明属于虚拟现实技术领域,具体涉及一种能够让用户进行多感官多通道交互的增强现实系统。
背景技术
增强现实(augmentedreality,AR)技术可以将虚拟的物体合并到现实场景中,并能支持用户与其进行交互,该技术已经成为虚拟现实研究中的一个重要领域,同时也是人机界面技术发展的一个重要方向。目前,很多研究结果已经运用到了工作和生活当中,例如Kinect体感设备,通过相应的游戏及应用,把操作的体验提高到一个新的层次,使用者无须控制任何外界物体,身体可以用来当作控制器直接进行控制,深受广大游戏爱好者的喜爱,通过增强现实带去了娱乐领域的一场变革与创新。又例如,LeapMotion体感控制器,通过挥舞手指或拳头来和计算机进行交互,能够同时追踪十根手指,精度在百分之一毫米之内,延迟比显示器的刷新率还要低。
信息融合技术是关于如何协同利用多源信息,以获得对同一事物或目标更客观、更本质认识的综合信息处理技术。多传感器信息融合技术是指利用计算机技术对时序获得的若干传感器的观测信息在一定准则下加以分析、综合,以完成所需的决策和估计任务而进行的信息处理过程。实际上它是对人脑综合处理复杂问题的一种功能模拟,通过把多个传感器获得的信息按照一定的规则组合、归纳、演绎,得到对观测对象的一致解释和描述。截止目前为止,信息融和广泛应用于军事上,包括从单兵作战、单平台武器系统到C4ISR领域。在非军事领域,多传感器融合技术也有很大的发展,比如在医疗卫生中,用于手术监护、重症监护病房、创伤评估与创伤监护、医学图像信息融合来改善图像的质量。再如在智能交通系统中,用于交通流量统计、智能交通调控、自动违章处理、车辆跟踪处理、交通实时查询以及车辆统计等功能。
但是,现有的增强现实技术,都是从用户输入的方式入手,且输出的大多是视觉图像和声音,而没有调动用户触觉嗅觉等其他器官。另外,现有的信息融合注重的是对客观世界中的信息处理,无法关注由用户多通道输入的信息。
发明内容
本发明为解决现有的增强现实技术存在的都是从用户输入的方式入手,且输出的大多是视觉图像和声音,而没有调动用户触觉嗅觉等其他器官以及现现有的信息融合注重的是对客观世界中的信息处理,无法关注由用户多通道输入的信息的问题,进而提供一种多通道增强现实系统。
本发明是通过以下技术方案实现的:
一种多通道增强现实系统,包括:传感输入子系统、体感控制子系统、信息融合处理子系统、气味发生子系统、虚拟现实图形显示子系统和振动及声音反馈子系统;
所述传感输入子系统包括用于获取语音信号的语音传感器、用于获取温湿度信号的温湿度传感器和用于获取风力信号的风力传感器;
所述体感控制子系统包括用于识别用户手部动作的体感控制器;
所述信息融合处理子系统将从温湿度传感器输入、体感输入和人体感应获取的信号进行融合处理,并相应的转化为声音,三维图像,气味,震动等输出指令传递到各个输出子系统中;
所述气味发生子系统包括用于根据人体感应传感器获取的信号发出预定气味的芳香发生机;
所述虚拟现实图形显示子系统包括用于通过二维标记点识别、三维注册、三维动画控制进行互动演示的投影仪和显示屏;
所述振动及声音反馈子系统用于所述虚拟现实图形显示子系统进行互动演示的内容为用户提供震动及声音的触感输出。
本发明的有益效果:解决了增强现实技术与人各个感官交互的统一和融合,在多通道交互的同时,更加注重来自于系统对于用户感官最直接的刺激和反馈。它建构了一个模型,将用户完全置身于增强现实的环境中,通过与视觉、听觉、触觉、嗅觉等身体的各个部位进行互动,使得用户全身心投入在其中,达到很好的用户体验。
附图说明
图1为本发明提供的多通道增强现实系统的结构示意图。
具体实施方式
为了能够更清晰地阐明本发明的特点和工作基本原理,以下结合附图及实施例,对本发明进行说明。
本具体实施方式提供了一种多通道增强现实系统,如图1所示,包括:传感输入子系统、体感控制子系统、信息融合处理子系统、气味发生子系统、虚拟现实图形显示子系统和振动及声音反馈子系统;
所述传感输入子系统包括用于获取语音信号的语音传感器、用于获取温湿度信号的温湿度传感器和用于获取风力信号的风力传感器;
所述体感控制子系统包括用于识别用户手部动作的体感控制器;
所述信息融合处理子系统将从温湿度传感器输入、体感输入和人体感应获取的信号进行融合处理,并相应的转化为声音,三维图像,气味,震动等输出指令传递到各个输出子系统中;
所述气味发生子系统包括用于根据人体感应传感器获取的信号发出预定气味的芳香发生机;
所述虚拟现实图形显示子系统包括用于通过二维标记点识别、三维注册、三维动画控制进行互动演示的投影仪和显示屏;
所述振动及声音反馈子系统用于所述虚拟现实图形显示子系统进行互动演示的内容为用户提供震动及声音的触感输出。
具体的,本具体实施方式提供的多通道增强现实系统中各子系统实现的功能包括:
1)传感输入子系统
传感输入子系统主要由各类传感器(如温湿度传感器)和移动设备组成,提供用户较为多样的交互方式。例如,温度传感器:接受温度数据,控制种子发芽;湿度传感器:湿度数据,控制芽儿开花;风力传感器:接受吹气数据方向,控制玫瑰花运动。
2)体感控制子系统
体感控制子系统是用户手势输入通道,可以通过体感控制器来与虚拟世界进行交互,用户的手以及手上的工具都可以绑定为操作虚拟世界的工具。体感控制子系统可通过识别手部动作,模拟用户触摸到玫瑰花,从而使玫瑰花掉落。
3)信息融合处理子系统
信息融合处理子系统将从温湿度传感器输入、体感输入和人体感应获取的信号进行融合处理,并相应的转化为声音,三维图像,气味,震动等输出指令传递到各个输出子系统中,且该子系统所谓的“融合处理”强调的是:一、符合所表现的植物生长过程的自然规律;二、符合人体感知外界信息的协同规律;即输入和输出过程为多线程并行运行处理,并非单一信号的输入和输出;三、将输入的传感器信号转化为可被感知的声音图像气味等输出指令。
4)气味发生子系统
气味发生子系统主要由气味发生器组成,是嗅觉反馈的核心,通过更新虚拟现实的画面反馈出相应的气味,刺激用户的嗅觉,加深其对画面的感受。气味发生子系统在用户操作温湿度传感器的同时,在用户手的下方安装人体感应传感器,一旦用户将手向前伸,传感器就会接受红外信号控制芳香发生机工作,从而发散玫瑰花的香味。
5)虚拟现实图形显示子系统
虚拟现实图形显示子系统是视觉反馈的基础,根据用户输入的信息生成真实感的计算机图形图像,反馈给用户视觉上的直观感受,同时该系统并可以响应控制系统的控制命令。虚拟现实图形显示子系统通过投影仪配合PC端的相应软件采用二维标记点的识别技术,三维注册技术,三维动画控制技术实现增强现实的玫瑰花生长互动演示。
具体的,虚拟现实图像显示子系统执行的操作包括:首先根据预先设计的纸质平面标记板的图案,生成三维模型1(以玫瑰为例,则为玫瑰花种子的三维模型);其次,根据外部传入的温度湿度的数据的变化,控制播放模型1的动画1(种子发芽动画)动画2(开花动画);第三、根据风向传感器传入的风向数据,控制播放动画3(花朵随风摆动动画);最后,根据体感传入的体感数据,控制播放动画4(花朵凋零动画)。这个系统的关键在于,虚拟现实图像的生成和变化是由外部数据的传入进行控制播放的。
6)振动及声音反馈子系统
振动及声音反馈子系统主要是提供用户触觉和感觉的输出,比如让用户身体双手感受到震动,或者听到相应的声音等。
以培养玫瑰花的互动过程为例,本具体实施方式提供的多通道增强现实系统的工作过程包括:首先通过制作带有标记点的纸质标记板,将三维的玫瑰花植物模型进行注册,通过摄像头对准标记板在大屏幕上显示出玫瑰花的种子躺在花盆里,通过用户将手放到温度传感器上,温度传感器感受到温度的升高,将温度数据传入到arduino平台中,使画面上三维的花盆中的种子花芽,即控制模型播放发芽动画;之后用户通过洒水在湿度传感器上,由湿度传感器接收湿度数据传入arduino中,从而控制已经发芽的种子播放开花的动画;此时用户在洒水的同时,系统中的人体感应式传感器接受红外信号,控制系统中的芳香气味发生器运作,释放玫瑰花的香味,待用户观看到玫瑰花开放的同时嗅觉也同时闻到花的香味。之后用户对着系统进行东西南北四个方向做吹起动作,由系统中的风力传感器感应风的方向,将数据传入arduino中,控制三维的玫瑰花向相应的方向运动。最后,用户用手去触摸玫瑰花,由体感控制设备接受手势数据,最终控制玫瑰花的掉落。
采用本具体实施方式提供的技术方案,解决了增强现实技术与人各个感官交互的统一和融合,在多通道交互的同时,更加注重来自于系统对于用户感官最直接的刺激和反馈。它建构了一个模型,将用户完全置身于增强现实的环境中,通过与视觉、听觉、触觉、嗅觉等身体的各个部位进行互动,使得用户全身心投入在其中,达到很好的用户体验。
以上所述,仅为本发明较佳的具体实施方式,这些具体实施方式都是基于本发明整体构思下的不同实现方式,而且本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (1)
1.一种多通道增强现实系统,其特征在于,包括:传感输入子系统、体感控制子系统、信息融合处理子系统、气味发生子系统、虚拟现实图形显示子系统和振动及声音反馈子系统;
所述传感输入子系统包括用于获取语音信号的语音传感器、用于获取温湿度信号的温湿度传感器和用于获取风力信号的风力传感器;
所述体感控制子系统包括用于识别用户手部动作的体感控制器;
所述信息融合处理子系统将从温湿度传感器输入、体感输入和人体感应获取的信号进行融合处理,并相应地转化为声音,三维图像,气味,震动输出指令传递到各个输出子系统中:
所述气味发生子系统包括用于根据人体感应传感器获取的信号发出预定气味的芳香发生机;
所述虚拟现实图形显示子系统包括用于通过二维标记点识别、三维注册、三维动画控制进行互动演示的投影仪和显示屏;
所述振动及声音反馈子系统用于根据所述虚拟现实图形显示子系统进行互动演示的内容为用户提供震动及声音的触感输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410087073.9A CN103793063B (zh) | 2014-03-11 | 2014-03-11 | 多通道增强现实系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410087073.9A CN103793063B (zh) | 2014-03-11 | 2014-03-11 | 多通道增强现实系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103793063A CN103793063A (zh) | 2014-05-14 |
CN103793063B true CN103793063B (zh) | 2016-06-08 |
Family
ID=50668821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410087073.9A Active CN103793063B (zh) | 2014-03-11 | 2014-03-11 | 多通道增强现实系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103793063B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10915161B2 (en) * | 2014-12-11 | 2021-02-09 | Intel Corporation | Facilitating dynamic non-visual markers for augmented reality on computing devices |
CN104898843A (zh) * | 2015-06-06 | 2015-09-09 | 深圳市虚拟现实科技有限公司 | 实现虚拟现实的方法和头戴式虚拟现实设备 |
CN105511600B (zh) * | 2015-07-31 | 2018-09-14 | 华南理工大学 | 一种基于混合现实的多媒体人机交互平台 |
CN105302299A (zh) * | 2015-10-08 | 2016-02-03 | 侯东风 | 模拟场景的方法及装置 |
CN106371572B (zh) | 2015-11-30 | 2019-10-15 | 北京智谷睿拓技术服务有限公司 | 信息处理方法、信息处理装置及用户设备 |
CN105871664A (zh) * | 2015-12-15 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 可穿戴设备的控制方法及装置 |
CN105931645A (zh) * | 2016-04-12 | 2016-09-07 | 深圳市京华信息技术有限公司 | 虚拟现实设备的控制方法、装置及虚拟现实设备、系统 |
CN106095108B (zh) * | 2016-06-22 | 2019-02-05 | 华为技术有限公司 | 一种增强现实反馈方法及设备 |
CN106293058A (zh) * | 2016-07-20 | 2017-01-04 | 广东小天才科技有限公司 | 虚拟现实设备的场景切换方法及场景切换装置 |
CN106648111A (zh) * | 2017-01-03 | 2017-05-10 | 京东方科技集团股份有限公司 | 虚拟现实装置 |
CN108364522A (zh) * | 2017-01-26 | 2018-08-03 | 北京东方核芯力信息科技有限公司 | 一种用于混合现实应急演练系统的体验馆 |
CN106990725A (zh) * | 2017-04-10 | 2017-07-28 | 陈柳华 | 一种基于虚拟现实的虚拟气味实现装置 |
CN106980278A (zh) * | 2017-04-10 | 2017-07-25 | 陈柳华 | 一种基于虚拟现实的虚拟气味实现方法 |
CN107422851A (zh) * | 2017-06-20 | 2017-12-01 | 歌尔科技有限公司 | 虚拟现实体感设备 |
US20210166481A1 (en) * | 2017-08-04 | 2021-06-03 | Zyetric Enterprise Limited | Intelligent virtual object in an augmented reality environment interactively responding to ambient environmental changes |
CN108363556A (zh) | 2018-01-30 | 2018-08-03 | 百度在线网络技术(北京)有限公司 | 一种基于语音与增强现实环境交互的方法和系统 |
CN108170284A (zh) * | 2018-02-27 | 2018-06-15 | 雷仁贵 | 穿戴式虚拟现实设备及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101171565A (zh) * | 2005-05-31 | 2008-04-30 | 菲利普莫里斯生产公司 | 虚拟现实吸烟系统 |
US20080211813A1 (en) * | 2004-10-13 | 2008-09-04 | Siemens Aktiengesellschaft | Device and Method for Light and Shade Simulation in an Augmented-Reality System |
CN103294202A (zh) * | 2013-07-02 | 2013-09-11 | 镇江万新光学眼镜有限公司 | 一种5d临场效果桌面模拟系统 |
-
2014
- 2014-03-11 CN CN201410087073.9A patent/CN103793063B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080211813A1 (en) * | 2004-10-13 | 2008-09-04 | Siemens Aktiengesellschaft | Device and Method for Light and Shade Simulation in an Augmented-Reality System |
CN101171565A (zh) * | 2005-05-31 | 2008-04-30 | 菲利普莫里斯生产公司 | 虚拟现实吸烟系统 |
CN103294202A (zh) * | 2013-07-02 | 2013-09-11 | 镇江万新光学眼镜有限公司 | 一种5d临场效果桌面模拟系统 |
Non-Patent Citations (2)
Title |
---|
Augmented Reality Flavors: Gustatory Display Based on Edible Marker and Cross-Modal Interaction;Takuji Narumi,etal.;《CHI"11 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems》;20110512;全文 * |
虚拟嗅觉研究综述;杨文珍,吴新丽;《系统仿真学报》;20131008;第25卷(第10期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN103793063A (zh) | 2014-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103793063B (zh) | 多通道增强现实系统 | |
Martin et al. | Multimodality in VR: A survey | |
Martínez et al. | Drivers and bottlenecks in the adoption of augmented reality applications | |
El Saddik et al. | Haptics technologies: Bringing touch to multimedia | |
Schuemie et al. | Research on presence in virtual reality: A survey | |
Motejlek et al. | Taxonomy of virtual and augmented reality applications in education | |
Muender et al. | Does it feel real? Using tangibles with different fidelities to build and explore scenes in virtual reality | |
Rakkolainen et al. | Technologies for multimodal interaction in extended reality—a scoping review | |
CN107077229B (zh) | 人机接口装置和系统 | |
Tacgin | Virtual and augmented reality: an educational handbook | |
Gaggioli | Towards CyberPsychology 157 G. Riva and C. Galimberti (Eds.) IOS Press, 2001 | |
Steinicke et al. | Real walking through virtual environments by redirection techniques | |
CN105310853A (zh) | 虚拟现实体感互动按摩椅 | |
Karthika et al. | Hololens | |
Chang et al. | Redirection controller using reinforcement learning | |
Buń et al. | Application of professional and low-cost head mounted devices in immersive educational application | |
CN106125927B (zh) | 图像处理系统及方法 | |
Chandana et al. | Exploring the Frontiers of User Experience Design: VR, AR, and the Future of Interaction | |
Lilligreen et al. | Near and far interaction for outdoor augmented reality tree visualization and recommendations on designing augmented reality for use in nature | |
CN110741327B (zh) | 基于增强现实及数字图像处理的泥胶玩具系统及其方法 | |
CN105487230A (zh) | 虚拟现实眼镜 | |
US20200146618A1 (en) | Device with a detection unit for the position and orientation of a first limb of a user | |
CN109992096A (zh) | 激活智能眼镜功能图标的方法 | |
Stavrev | Natural user interface for education in virtual environments | |
Zhou et al. | Multisensory musical entertainment systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190708 Address after: 150000 Heilongjiang Harbin Dalian economic and Trade Zone, the North Road and Xingkai Road intersection Patentee after: HIT ROBOT GROUP Co.,Ltd. Address before: 150000 No. 92, West Da Zhi street, Nangang District, Harbin, Heilongjiang. Patentee before: Harbin Institute of Technology |
|
TR01 | Transfer of patent right | ||
PP01 | Preservation of patent right |
Effective date of registration: 20240626 Granted publication date: 20160608 |
|
PP01 | Preservation of patent right |