CN117420916A - 一种基于全息影像的沉浸式cave系统 - Google Patents
一种基于全息影像的沉浸式cave系统 Download PDFInfo
- Publication number
- CN117420916A CN117420916A CN202311735543.3A CN202311735543A CN117420916A CN 117420916 A CN117420916 A CN 117420916A CN 202311735543 A CN202311735543 A CN 202311735543A CN 117420916 A CN117420916 A CN 117420916A
- Authority
- CN
- China
- Prior art keywords
- user
- virtual
- voice
- holographic
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007654 immersion Methods 0.000 title claims abstract description 17
- 230000033001 locomotion Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims description 37
- 230000003993 interaction Effects 0.000 claims description 31
- 238000012544 monitoring process Methods 0.000 claims description 26
- 210000003205 muscle Anatomy 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 16
- 230000036760 body temperature Effects 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 14
- 230000006399 behavior Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 11
- 230000003183 myoelectrical effect Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000008602 contraction Effects 0.000 claims description 6
- 230000002996 emotional effect Effects 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000010009 beating Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000003238 somatosensory effect Effects 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 239000003550 marker Substances 0.000 claims 3
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明适用于虚拟现实技术领域，提供了一种基于全息影像的沉浸式CAVE系统，所述系统包括：投影设备、计算机设备、动作捕捉设备、传感器设备、音频系统。采用先进的动作捕捉技术和传感器技术，使用户能够与虚拟场景进行实时交互和操作，实现更加逼真、真实的虚拟体验。同时，全息影像的沉浸式CAVE系统还具有高度可定制性和扩展性，可以根据不同的应用场景和需求进行定制，扩展应用范围。
Description
技术领域
本发明属于虚拟现实技术领域，尤其涉及一种基于全息影像的沉浸式CAVE系统。
背景技术
CAVE系统的功能是创建一个虚拟的三维世界环境，并使之尽量贴近真实世界，提供给用户一种身临其境的体验，允许用户能够像在真实世界中一样与虚拟对象有良好的交互，使用户(在理想状态下)不能区分虚拟世界与真实世界。在自然条件苛刻的情况下，虚拟现实技术尤其可以发挥它的优势，因为用户不需要进入不适宜的环境也可以实施训练。正因为这一特点，虚拟现实系统具有巨大的应用前景，其系统随着市场需求的变化而需要不断升级。
现有的虚拟现实系统存在以下缺陷：
1、用户体验感差：虚拟现实系统的用户体验可能受到多种因素的影响，这些问题可能导致用户感到不适或晕眩，从而影响他们的体验。
2、交互性差：虚拟现实系统需要用户通过手柄或其他设备进行交互，操作复杂，互动能力差，限制了用户的自由度和自然交互。
发明内容
本发明的目的在于提供一种基于全息影像的沉浸式CAVE系统及其构建方法，旨在解决背景技术中确定的现有技术存在的用户体验感差、交互性差等技术问题。
本发明是这样实现的，一种基于全息影像的沉浸式CAVE系统，所述系统包括：
投影设备：用于将虚拟场景投影到CAVE空间中；
计算机设备：用于运行虚拟现实软件和全息影像处理软件，以及处理传感器数据和动作捕捉数据，计算机设备内设有虚拟现实应用程序；
动作捕捉设备：用于捕捉用户的动作和行为，并将这些数据输入到虚拟现实应用程序中，实现用户与虚拟场景的交互；
传感器设备：用于监测用户的生理数据，所述生理数据包括心率和体温，以及监测用户与虚拟场景的交互行为，生成交互监测数据；
音频设备：用于播放虚拟场景中的声音和音效；
所述动作捕捉设备包括：
红外摄像头：用于捕捉人体辐射的红外线，获取人体的位置信息，所述位置信息用于实现用户与虚拟场景的交互；
运动捕捉模块：由多个相机以及多个安装在人体身上的标记点组成，相机通过检测人体身上的标记点来获取其姿态信息，所述姿态信息用于实现用户与虚拟场景的交互；
肌电信号采集模块：用于采集肌肉的肌电信号，从而获取肌肉的收缩和松弛状态，肌电信号用于识别用户的动作和行为，进而实现用户与虚拟场景的交互；
语音采集模块：用于采集用户的语音信息，并将其输入到虚拟现实应用程序中，实现用户与虚拟环境的交互。
作为本发明的进一步技术方案，投影设备包括全息投影设备和显示设备；
全息投影设备使用高分辨率的激光或LED光源，用于将全息图像直接投射到空气中或大型屏幕上，所述虚拟场景包括全息图像；
显示设备包括投影仪或显示器，用于呈现虚拟场景中除全息图像外的元素。
作为本发明的进一步技术方案，所述标记点为反射标记或跟踪器，标记点安装在人体的关节和肌肉位置，多个相机布置在空间中，从不同角度捕捉到人体的运动状况并生成图像数据传输给计算机设备，计算机设备对捕捉到的图像数据进行降噪、色彩校正后，再进行识别和提取标记点的姿态信息。
作为本发明的进一步技术方案，所述肌电信号采集模块包含两个表面电极片，两个表面电极片贴在用户肌肉的两侧，在人体运动过程中，电极片通过采集肌肉产生的肌电信号，记录肌肉的收缩和舒张情况，采集到的肌电信号经过滤波、放大处理后，用于识别和提取肌肉活动的特征。
作为本发明的进一步技术方案，所述语音采集模块包括：
语音采集反馈单元：用于采集用户的语音信息，所述语音信息包括语音指令、语音输入以及与虚拟环境的交互语音反馈；
语音传输单元：用于将采集到的语音信息传输到语音处理和识别单元；
语音处理和识别单元：用于对语音信息预处理、特征提取和语音识别；
交互控制单元：用于获取用户指令，所述指令用于移动虚拟角色、与虚拟物体交互或查询虚拟环境中的信息；
环境反馈单元：用于根据用户的语音信息和反馈信息调整虚拟环境的呈现方式和音效；
语音合成单元：用于将虚拟环境或角色的反馈声音合成为自然语言文本或语音，自然语言文本通过投影设备展示，语音通过音频设备进行播放。
作为本发明的进一步技术方案，所述传感器设备包括:
心电图监测仪：用于监测用户的心电信号，从而获取心脏的跳动情况，当用户感到紧张或兴奋时，心率会加快；当用户感到放松或平静时，心率会减缓，通过监测用户的心率，了解用户的身体状态和情绪状态；
温度传感器：用于监测用户的体温，通过监测用户的体温，了解用户的身体状态和情绪状态；
加速度计和陀螺仪：用于监测用户的运动状态和姿势，通过监测用户的动作和行为，了解用户与虚拟场景的交互情况；当用户在虚拟环境中行走时，加速度计用于检测用户的移动速度和方向，从而控制虚拟人物的移动；当用户在虚拟环境中旋转头部时，陀螺仪用于检测用户的头部旋转动作，从而调整虚拟场景的视角。
作为本发明的进一步技术方案，所述音频设备包括音响和耳机。
作为本发明的进一步技术方案，还包括电源，用于给投影设备、计算机设备、动作捕捉设备、传感器设备和音频设备稳定的供电，所述电源采用带有蓄电池的UPS电源。
作为本发明的进一步技术方案，还包括存储设备，存储设备用于存储全息图像以及虚拟现实资源数据，在虚拟现实应用程序中使用，虚拟现实资源数据包括位置信息、姿态信息、语音信息和传感器数据。
作为本发明的进一步技术方案，所述投影设备将虚拟场景投射到空气中或大型屏幕上，并使用多通道视景同步技术将多个投影画面无缝拼接在一起，形成一个完整的虚拟环境，多通道视景同步技术包括：
通过数据采集设备采集多个通道的视景数据，所述数据采集设备包括摄像头和传感器；
对视景数据进行去噪、色彩校正处理，将处理后的视景数据在多通道投影设备上进行图像渲染，形成多通道的视景；
通过实时控制操作，对视景进行实时控制，所述实时控制操作包括语音、体感操作和交互式手柄指令；
通过帧锁定和帧同步实现数据同步，保持各通道之间视景的一致性；
用户体验优化：通过优化模型网格、材质、贴图，以及减少渲染的数据量。
本发明的有益效果是：
本发明全息影像的沉浸式CAVE系统通过使用高分辨率的全息投影设备，将虚拟场景投射到一个大空间中，同时使用多通道视景同步技术，将多个投影画面无缝拼接在一起，形成一个完整的虚拟环境。用户可以在这个虚拟环境中进行交互和操作，获得全方位的沉浸式体验。
本发明全息影像的沉浸式CAVE系统还采用先进的动作捕捉技术和传感器技术，使用户能够与虚拟场景进行实时交互和操作，实现更加逼真、真实的虚拟体验。同时，全息影像的沉浸式CAVE系统还具有高度可定制性和扩展性，可以根据不同的应用场景和需求进行定制，扩展应用范围。
附图说明
图1为本发明实施例提供的一种基于全息影像的沉浸式CAVE系统的结构图；
图2为本发明实施例中投影设备的结构图；
图3为本发明实施例中动作捕捉设备的结构图；
图4为本发明实施例中传感器设备的结构图；
图5为本发明实施例提供的语音采集模块采集及处理的流程图。
图中：100-投影设备、110-全息投影设备、120-显示设备、200-计算机设备、300-动作捕捉设备、310-红外摄像头、320-运动捕捉模块、330-肌电信号采集模块、400-传感器设备、410-心电图监测仪、420-温度传感器、430-加速度计和陀螺仪430、500-音频设备、600-其他设备。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为本发明实施例提供的一种基于全息影像的沉浸式CAVE系统，所述系统包括：
投影设备100：包括全息投影设备110和显示设备120，用于将虚拟场景投影到CAVE空间中。全息投影设备110可以使用高分辨率的激光或LED光源，将全息图像直接投射到空气中或投射到大型屏幕上。显示设备120可以包括普通的投影仪或显示器，用于呈现虚拟场景中的其他元素，例如使用时间、用户的体温、心率、位置等信息。
计算机设备200：用于运行虚拟现实软件和全息影像处理软件，以及处理各种传感器数据和动作捕捉数据。计算机设备200需要具备强大的计算能力和存储空间，以支持虚拟现实应用程序的运行。
动作捕捉设备300：用于捕捉用户的动作和行为，并将这些数据输入到虚拟现实应用程序中，实现用户与虚拟场景的交互。动作捕捉设备300可以包括红外摄像头、运动捕捉模块、肌电信号采集模块等。
传感器设备400：用于监测用户的生理和心理状态，例如心率、血压、体温等，以及监测用户与虚拟场景的交互行为。传感器设备可以包括心电图监测仪、加速度计、陀螺仪等。
音频设备500：用于播放虚拟场景中的声音和音效，增强用户的沉浸式体验。音频设备500可以包括音响设备、耳机等。
其他设备600：例如电源、存储设备等。
图3为本发明实施例提供的动作捕捉设备的结构图，如图3所示，动作捕捉设备300包括红外摄像头310、运动捕捉模块320、肌电信号采集模块330、语音采集模块340，这些设备捕捉用户的语音、动作和行为后，可以将数据输入到虚拟现实应用程序中，实现用户与虚拟场景的交互。例如，当用户在虚拟环境中做出握手动作时，虚拟现实应用程序可以根据肌电信号采集模块的信号判断手的状态，从而控制虚拟物体的握持状态。
具体过程如下：
红外摄像头310：捕捉到人体辐射的红外线，从而获取人体的位置，这些信息用于实现用户与虚拟场景的交互，例如通过位置移动控制虚拟物体的位置或进行虚拟角色扮演等。
运动捕捉模块320：是一种通过捕捉人体运动轨迹来获取人体动作信息的设备，它可以由多个相机组成，通过检测人体身上的标记点来获取其姿态信息，标记点为反射标记或跟踪器，标记点安装在人体的关节和肌肉位置，多个相机布置在空间中，从不同角度捕捉到人体的运动状况并生成图像数据传输给计算机设备，计算机设备对捕捉到的图像数据进行降噪、色彩校正后，再进行识别和提取标记点的姿态信息。这些信息可以用于实现用户与虚拟场景的交互，例如在虚拟环境中进行舞蹈或打球等运动。
肌电信号采集模块330：用于采集肌肉的肌电信号，从而获取肌肉的收缩和松弛状态，包含两个表面电极片，两个表面电极片贴在用户肌肉的两侧，在人体运动过程中，电极片通过采集肌肉产生的肌电信号，记录肌肉的收缩和舒张情况，采集到的肌电信号经过滤波、放大处理后，用于识别和提取肌肉活动的特征，这些信息可以用于识别用户的动作和行为，例如手的握持状态、脚的踩踏状态等，这些信息可以用于实现用户与虚拟场景的交互，例如通过脚踩踏控制虚拟车辆的加速或减速等。
语音采集模块340：用于采集用户的语音信息，并将其输入到虚拟现实应用程序中，实现用户与虚拟环境的交互。
图5为本发明提供的语音采集模块采集及处理的流程图，如图5所示，具体的工作过程包括：
语音采集：语音采集模块在CAVE系统中主要用于采集用户的语音信息。这可能包括用户的语音指令、语音输入以及与虚拟环境的交互语音反馈等。
语音传输：采集到的语音信息会被语音采集模块传输到虚拟现实应用程序中。这通常通过无线或有线连接实现，例如蓝牙或USB连接。
语音处理和识别：在虚拟现实应用程序中，语音采集模块传输的语音信息会经过语音处理和识别阶段。这包括对语音的预处理（例如降噪、标准化等）、特征提取和最终的语音识别。
交互控制：经过处理的语音信息被用来控制虚拟角色或环境的交互。例如，用户可以通过说出特定的指令来移动虚拟角色、与虚拟物体交互或者查询虚拟环境中的信息等。
环境反馈：虚拟现实应用程序也会根据用户的语音输入和反馈信息调整虚拟环境的呈现方式和音效等。例如，当用户走近一个虚拟物体时，应用程序可能会播放该物体的特写音效或动画效果。
语音合成：除了采集和识别用户的语音，一些先进的CAVE系统还可能使用语音合成技术，将虚拟环境或角色的反馈声音合成为自然语言文本或语音，以提供更加丰富和逼真的沉浸式体验。
语音采集模块可以采集用户的语音指令、语音输入和语音反馈等信息，并将其传输到虚拟现实应用程序中进行处理和识别。用户可以通过语音指令来控制虚拟角色的动作、与虚拟物体进行交互、查询虚拟环境中的信息等。同时，虚拟现实应用程序也可以根据用户的语音输入和反馈信息来调整虚拟环境的呈现方式、音效和交互方式等，以提供更加逼真、自然的沉浸式体验。
图4为本发明实施例提供的传感器设备的结构图，如图4所示，传感器设备400可以包括心电图监测仪410、温度传感器420、加速度计和陀螺仪430，这些设备监测用户的生理和心理状态后，可以将数据输入到虚拟现实应用程序中，实现更加逼真、真实的虚拟体验。例如，当用户感到紧张或焦虑时，虚拟现实应用程序可以调整虚拟场景的氛围或音乐等来缓解用户的情绪；当用户在虚拟环境中行走时，虚拟现实应用程序可以根据用户的移动速度和方向来控制虚拟人物的移动等。
心电图监测仪410：用于监测用户的心电信号，从而获取心脏的跳动情况。通过监测用户的心率，可以了解用户的身体状态和情绪状态。例如，当用户感到紧张或兴奋时，心率会加快；当用户感到放松或平静时，心率会减缓。这些信息可以用于优化虚拟现实体验，例如根据用户的心率调整虚拟场景的氛围或音乐等。
温度传感器420：用于监测用户的体温和皮肤温度等。通过监测用户的体温，可以了解用户的身体状态和情绪状态。例如，当用户感到紧张或焦虑时，体温可能会升高；当用户感到放松或平静时，体温可能会降低。这些信息可以用于优化虚拟现实体验，例如根据用户的体温调整虚拟场景的温度或氛围等。
加速度计和陀螺仪430：用于监测用户的运动状态和姿势等。通过监测用户的动作和行为，可以了解用户与虚拟场景的交互情况。例如，当用户在虚拟环境中行走时，加速度计可以检测到用户的移动速度和方向，从而控制虚拟人物的移动；当用户在虚拟环境中旋转头部时，陀螺仪可以检测到用户的旋转动作，从而调整虚拟场景的视角。
本发明中存储设备在全息影像的沉浸式CAVE系统中的功能主要包括以下几点：
数据存储：全息影像的沉浸式CAVE系统需要将大量的全息影像数据以及其他虚拟现实资源存储在存储设备中，以便在虚拟现实应用程序中使用。这些数据和资源可能包括三维模型、场景渲染、音频文件、传感器数据等等。
数据管理：全息影像的沉浸式CAVE系统需要高效地管理和检索存储在存储设备中的数据和资源。这可以通过使用数据库管理系统或文件系统来实现。
数据备份和恢复：全息影像的沉浸式CAVE系统需要确保数据的完整性和可靠性。因此，存储设备需要具备备份和恢复功能，以便在发生故障或意外情况时能够恢复数据。
与其他设备的通信：全息影像的沉浸式CAVE系统中的存储设备需要与其他设备（例如计算机设备200、传感器设备400等）进行通信，以便传输数据和管理资源。
存储设备在全息影像的沉浸式CAVE系统中起着至关重要的作用，它需要提供稳定、高效的存储和管理功能，以确保虚拟现实应用程序的正常运行和数据的完整性。
投影设备100将虚拟场景投射到空气中或大型屏幕上，使用多通道视景同步技术将多个投影画面无缝拼接在一起，形成一个完整的虚拟环境，多通道视景同步技术包括：
数据采集：多个通道的视景数据通过各自的数据采集设备进行采集，这些设备可以是摄像头、传感器等。
数据传输：采集到的视景数据通过特定的传输协议进行传输，例如UDP协议。
数据处理：接收到的视景数据经过处理后，用于渲染图像。
图像渲染：处理后的视景数据在多通道投影设备100上进行图像渲染，形成多通道的视景。
实时控制：通过实时控制设备，如体感操作和交互式手柄等，对视景进行实时控制。
数据同步：为了保持各通道之间视景的一致性，需要实现数据同步，例如通过帧锁定和帧同步等技术。
用户体验优化：通过优化模型网格、材质、贴图等，以及减少渲染的数据量，可以提高用户体验。
帧锁定技术是指服务器端在每66毫秒将接收到的所有客户端指令封装成帧并下发到各客户端中，如果某个帧在传输中丢失了，将会随下一帧重传。同时，使用seq和ack对每个帧进行确认，如果99毫秒内客户端还没有收到包含自己已发出指令的帧，就要将丢失的指令重传。
帧同步技术是指系统中的每一帧都需要服务器端和客户端之间进行确认和同步。服务器端会每一秒下发10到15帧的逻辑帧，而客户端会对每一个逻辑帧进行补充3个渲染帧。如果客户端一下收到很多连续的update，那就跨进播放定点数。同时，如果检测到没有新帧传递过来，客户端还会进行一个预测。预测正确则继续进行，预测失败则请求回滚。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于全息影像的沉浸式CAVE系统，其特征在于，所述系统包括：
投影设备：用于将虚拟场景投影到CAVE空间中；
计算机设备：用于运行虚拟现实软件和全息影像处理软件，以及处理传感器数据和动作捕捉数据，计算机设备内设有虚拟现实应用程序；
动作捕捉设备：用于捕捉用户的动作和行为，并将这些数据输入到虚拟现实应用程序中，实现用户与虚拟场景的交互；
传感器设备：用于监测用户的生理数据，所述生理数据包括心率和体温，以及监测用户与虚拟场景的交互行为，生成交互监测数据；
音频设备：用于播放虚拟场景中的声音和音效；
所述动作捕捉设备包括：
红外摄像头：用于捕捉人体辐射的红外线，获取人体的位置信息，所述位置信息用于实现用户与虚拟场景的交互；
运动捕捉模块：由多个相机以及多个安装在人体身上的标记点组成，相机通过检测人体身上的标记点来获取其姿态信息，所述姿态信息用于实现用户与虚拟场景的交互；
肌电信号采集模块：用于采集肌肉的肌电信号，从而获取肌肉的收缩和松弛状态，肌电信号用于识别用户的动作和行为，进而实现用户与虚拟场景的交互；
语音采集模块：用于采集用户的语音信息，并将其输入到虚拟现实应用程序中，实现用户与虚拟环境的交互。
2.根据权利要求1所述的基于全息影像的沉浸式CAVE系统，其特征在于，投影设备包括全息投影设备和显示设备；
全息投影设备使用高分辨率的激光或LED光源，用于将全息图像直接投射到空气中或大型屏幕上，所述虚拟场景包括全息图像；
显示设备包括投影仪或显示器，用于呈现虚拟场景中除全息图像外的元素。
3.据权利要求1所述的基于全息影像的沉浸式CAVE系统，其特征在于，所述标记点为反射标记或跟踪器，标记点安装在人体的关节和肌肉位置，多个相机布置在空间中，从不同角度捕捉到人体的运动状况并生成图像数据传输给计算机设备，计算机设备对捕捉到的图像数据进行降噪、色彩校正后，再进行识别和提取标记点的姿态信息。
4.据权利要求1所述的基于全息影像的沉浸式CAVE系统，其特征在于，所述肌电信号采集模块包含两个表面电极片，两个表面电极片贴在用户肌肉的两侧，在人体运动过程中，电极片通过采集肌肉产生的肌电信号，记录肌肉的收缩和舒张情况，采集到的肌电信号经过滤波、放大处理后，用于识别和提取肌肉活动的特征。
5.根据权利要求1所述的基于全息影像的沉浸式CAVE系统，其特征在于，所述语音采集模块包括：
语音采集反馈单元：用于采集用户的语音信息，所述语音信息包括语音指令、语音输入以及与虚拟环境的交互语音反馈；
语音传输单元：用于将采集到的语音信息传输到语音处理和识别单元；
语音处理和识别单元：用于对语音信息预处理、特征提取和语音识别；
交互控制单元：用于获取用户指令，所述指令用于移动虚拟角色、与虚拟物体交互或查询虚拟环境中的信息；
环境反馈单元：用于根据用户的语音信息和反馈信息调整虚拟环境的呈现方式和音效；
语音合成单元：用于将虚拟环境或角色的反馈声音合成为自然语言文本或语音，自然语言文本通过投影设备展示，语音通过音频设备进行播放。
6.根据权利要求1所述的基于全息影像的沉浸式CAVE系统，其特征在于，
所述传感器设备包括:
心电图监测仪：用于监测用户的心电信号，从而获取心脏的跳动情况，当用户感到紧张或兴奋时，心率会加快；当用户感到放松或平静时，心率会减缓，通过监测用户的心率，了解用户的身体状态和情绪状态；
温度传感器：用于监测用户的体温，通过监测用户的体温，了解用户的身体状态和情绪状态；
加速度计和陀螺仪：用于监测用户的运动状态和姿势，通过监测用户的动作和行为，了解用户与虚拟场景的交互情况；当用户在虚拟环境中行走时，加速度计用于检测用户的移动速度和方向，从而控制虚拟人物的移动；当用户在虚拟环境中旋转头部时，陀螺仪用于检测用户的头部旋转动作，从而调整虚拟场景的视角。
7.根据权利要求1所述的基于全息影像的沉浸式CAVE系统，其特征在于，所述音频设备包括音响和耳机。
8.根据权利要求1所述的基于全息影像的沉浸式CAVE系统，其特征在于，还包括电源，用于给投影设备、计算机设备、动作捕捉设备、传感器设备和音频设备稳定的供电，所述电源采用带有蓄电池的UPS电源。
9.根据权利要求1所述的基于全息影像的沉浸式CAVE系统，其特征在于，还包括存储设备，存储设备用于存储全息图像以及虚拟现实资源数据，在虚拟现实应用程序中使用，虚拟现实资源数据包括位置信息、姿态信息、语音信息和传感器数据。
10.根据权利要求1-9任一项所述的基于全息影像的沉浸式CAVE系统，其特征在于，所述投影设备将虚拟场景投射到空气中或大型屏幕上，并使用多通道视景同步技术将多个投影画面无缝拼接在一起，形成一个完整的虚拟环境，多通道视景同步技术包括：
通过数据采集设备采集多个通道的视景数据，所述数据采集设备包括摄像头和传感器；
对视景数据进行去噪、色彩校正处理，将处理后的视景数据在多通道投影设备上进行图像渲染，形成多通道的视景；
通过实时控制操作，对视景进行实时控制，所述实时控制操作包括语音、体感操作和交互式手柄指令；
通过帧锁定和帧同步实现数据同步，保持各通道之间视景的一致性；
用户体验优化：通过优化模型网格、材质、贴图，以及减少渲染的数据量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311735543.3A CN117420916A (zh) | 2023-12-18 | 2023-12-18 | 一种基于全息影像的沉浸式cave系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311735543.3A CN117420916A (zh) | 2023-12-18 | 2023-12-18 | 一种基于全息影像的沉浸式cave系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117420916A true CN117420916A (zh) | 2024-01-19 |
Family
ID=89532796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311735543.3A Pending CN117420916A (zh) | 2023-12-18 | 2023-12-18 | 一种基于全息影像的沉浸式cave系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117420916A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150350628A1 (en) * | 2014-05-28 | 2015-12-03 | Lucasfilm Entertainment CO. LTD. | Real-time content immersion system |
| CN113918021A (zh) * | 2021-10-29 | 2022-01-11 | 王朋 | 一种3d主动立体可交互沉浸式虚拟现实一体机 |
| CN114035681A (zh) * | 2021-10-29 | 2022-02-11 | 王朋 | 一种3d主动立体可交互沉浸式虚拟现实cave系统 |
| CN114035682A (zh) * | 2021-10-29 | 2022-02-11 | 王朋 | 一种裸眼3d可交互沉浸式虚拟现实cave系统 |
| CN116012680A (zh) * | 2022-12-14 | 2023-04-25 | 深圳市大象技能科技有限公司 | 一种基于多通道cave洞穴式虚拟仿真大屏幕融合系统 |
-
2023
- 2023-12-18 CN CN202311735543.3A patent/CN117420916A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150350628A1 (en) * | 2014-05-28 | 2015-12-03 | Lucasfilm Entertainment CO. LTD. | Real-time content immersion system |
| CN113918021A (zh) * | 2021-10-29 | 2022-01-11 | 王朋 | 一种3d主动立体可交互沉浸式虚拟现实一体机 |
| CN114035681A (zh) * | 2021-10-29 | 2022-02-11 | 王朋 | 一种3d主动立体可交互沉浸式虚拟现实cave系统 |
| CN114035682A (zh) * | 2021-10-29 | 2022-02-11 | 王朋 | 一种裸眼3d可交互沉浸式虚拟现实cave系统 |
| CN116012680A (zh) * | 2022-12-14 | 2023-04-25 | 深圳市大象技能科技有限公司 | 一种基于多通道cave洞穴式虚拟仿真大屏幕融合系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11557216B2 (en) | Adaptive visual overlay for anatomical simulation | |
| US11947719B2 (en) | Building saccade models for predicting a landing point of a saccade experienced by a player | |
| JP7007396B2 (ja) | 拡張現実データを記録するための手法 | |
| TW202136969A (zh) | 用於在ｈｍｄ環境中利用傳至ｇｐｕ之預測及後期更新的眼睛追蹤進行快速注視點渲染的方法及系統以及非暫時性電腦可讀媒體 | |
| US6774885B1 (en) | System for dynamic registration, evaluation, and correction of functional human behavior | |
| KR20190088545A (ko) | 상호작용적 증강 현실 프리젠테이션들을 표시하기 위한 시스템들, 방법들 및 매체들 | |
| CN103197757A (zh) | 一种沉浸式虚拟现实系统及其实现方法 | |
| EP2499550A1 (en) | Avatar-based virtual collaborative assistance | |
| CN108108026A (zh) | 一种vr虚拟现实动作捕捉系统和动作捕捉方法 | |
| CN113694343A (zh) | 一种基于vr技术的沉浸式抗压力心理训练系统及方法 | |
| JP2023036740A (ja) | 動画配信システム、動画配信方法、及び動画配信プログラム | |
| KR20180080012A (ko) | 소셜 네트워크 서비스를 이용한 실감형 음악연주 컨텐츠 생성·공유 장치 및 방법 | |
| JP5021676B2 (ja) | モーションキャプチャにおける眼球運動データ置換 | |
| CN117420916A (zh) | 一种基于全息影像的沉浸式cave系统 | |
| CN108416255B (zh) | 基于三维动画中角色实时面部表情动画捕捉的系统和方法 | |
| CN117111724A (zh) | 一种用于xr的数据处理方法及系统 | |
| JP2022153477A (ja) | アニメーション制作システム | |
| JP7115699B2 (ja) | アニメーション制作システム | |
| US11586278B2 (en) | Animation production system | |
| US11656683B2 (en) | Signal generation device, signal generation method, and reproduction device | |
| US20220351437A1 (en) | Animation production system | |
| WO2021153413A1 (ja) | 情報処理装置、情報処理システム及び情報処理方法 | |
| US20220351438A1 (en) | Animation production system | |
| Webel | Multimodal Training of Maintenance andAssembly Skills Based on Augmented Reality | |
| CN117524417A (zh) | 自闭症康复训练系统、方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |