CN110764620A - 一种增强半虚拟现实飞机座舱系统 - Google Patents

一种增强半虚拟现实飞机座舱系统 Download PDF

Info

Publication number
CN110764620A
CN110764620A CN201911047433.1A CN201911047433A CN110764620A CN 110764620 A CN110764620 A CN 110764620A CN 201911047433 A CN201911047433 A CN 201911047433A CN 110764620 A CN110764620 A CN 110764620A
Authority
CN
China
Prior art keywords
virtual
head
camera
image
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911047433.1A
Other languages
English (en)
Inventor
梁琳
沈鑫
武克廷
尤元辉
胡刚
杨可
叶亮
王林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Hi Tech (shanghai) Ltd By Share Ltd
Original Assignee
China Hi Tech (shanghai) Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Hi Tech (shanghai) Ltd By Share Ltd filed Critical China Hi Tech (shanghai) Ltd By Share Ltd
Priority to CN201911047433.1A priority Critical patent/CN110764620A/zh
Publication of CN110764620A publication Critical patent/CN110764620A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/307—Simulation of view from aircraft by helmet-mounted projector or display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种增强半虚拟现实飞机座舱系统，包括座舱和头戴式显示器；头戴式显示器前端设置有摄像机，内部设置有跟踪器和处理控制板，佩戴时靠近人眼的位置设置有显示器；摄像机、跟踪器和显示器电连接处理控制板采集座舱内实物镜像并进行图像提取和处理，获得虚实图像；座舱内设置有实物操作设备，实现半实物座舱设置，并设置有无线通讯模块，通过无线通讯模块与处理控制板连接通讯，获取操作结果，进行处理后改变显示器上显示的图像；显示器显示虚拟舱外环境和真实舱内环境，实现半虚拟训练操作。

Description

一种增强半虚拟现实飞机座舱系统
技术领域
本发明涉及模拟飞行器技术领域，更具体的说是涉及一种增强半虚拟现实飞机座舱系统。
背景技术
目前，模拟飞行器广泛用于飞行员训练，相比于大型传统飞行模拟器，采用虚拟现实技术构建的飞行模拟器具有体积小巧，成本低，通用性强等优点，近年来发展迅速，应用前景广阔，但是由于技术和硬件设备现实，该类仿真设备也存在人机交互性能低，难以或者无法完成某些复杂座舱交互动作等缺点，同时存在虚拟现实与真实视觉、触觉和力觉等存在偏差的情况，使得飞行模拟训练效果差，影响飞行员学习提高驾驶技能。
因此，如何提供一种保证触觉和力觉等反馈，实现精确交互的模拟飞行器是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种增强半虚拟现实飞机座舱系统，包括座舱和头戴式显示器；头戴式显示器前端设置有摄像机，内部设置有跟踪器和处理控制板，佩戴时靠近人眼的位置设置有显示器；摄像机、跟踪器和显示器电连接处理控制板采集座舱内实物镜像并进行图像提取和处理，获得虚实图像；座舱内设置有实物操作设备，实现半实物座舱设置，并设置有无线通讯模块，通过无线通讯模块与处理控制板连接通讯，获取操作结果，进行处理后改变显示器上显示的图像；显示器显示虚拟舱外环境和真实舱内环境，实现半虚拟训练操作。
为了实现上述目的，本发明采用如下技术方案：
一种增强半虚拟现实飞机座舱系统，其特征在于，包括：座舱和头戴式显示器；所述头戴式显示器前端设置有摄像机，内部设置有跟踪器和处理控制板，佩戴时靠近人眼的位置设置有显示器；所述摄像机、所述跟踪器和所述显示器电连接所述处理控制板；所述座舱内设置有实物操作设备，并设置有无线通讯模块，通过无线通讯模块与所述处理控制板连接通讯；所述显示器显示虚拟舱外环境和真实的舱内环境，进行半虚拟训练操作。
优选的，所述摄像机采集训练人员手部动作信息，进行采用自适应手势分割算法进行精确轮廓提取，实现虚拟手可视化显示。
优选的，所述自适应手势分割算法的具体实现过程如下：
步骤11：对所述手部视频图像的颜色空间值进行非线性转换，实现光照补偿和校正，并进行样本统计；
步骤12：根据所述样本将所述视频图像中包含的手部图像中的肤色特征作为初步检测信息，在颜色空间建立肤色分布椭圆检测模型；
步骤13：利用所述手部视频图像相邻帧之间肤色连续变化特性对所述肤色分布椭圆检测模型中的参数进行自适应更新，建立所述参数的近似时域状态模型；
步骤14：根据所述肤色分布椭圆检测模型和所述近似时域状态模型对所述手部视频图像中的手部图像进行检测，并采用数学形态学滤波算法进行滤波，获得滤波后的所述手部图像；
步骤15：对所述手部图像进行轮廓提取；
步骤16：采用样条线拟合方法对所述轮廓进行平滑处理，得到平滑轮廓，所述手部视频图像是否遍历完成，如果否，进行统计计算，并进入所述步骤13；
步骤17：采用双边滤波算法对所述平滑轮廓进行滤波，得到虚拟手图像。
优选的，所述头戴式显示器设置有三个所述摄像机，按三个所述摄像机的光轴正交分布的方式安装于所述头戴式显示器上，所述光轴相互垂直，指向统一原点。
优选的，采用基于正交摄像机的头部位置跟踪方法、虚实注册和融合，进行头部动态跟踪以及保持虚拟场景的一致性。
优选的，所述基于正交摄像机的头部位置跟踪方法的具体实现过程如下：
步骤21：采用区域增长算法检测多个目标图像位置；
步骤22：所述摄像机的成像平面均以所述摄像机光心为所述原点，采用定位算法，依据小孔成像原理进行迭代计算得到所述目标图像位置的三维位置计算值，对所述三维位置计算值进行平均计算得到最终坐标值；
步骤23：根据所述步骤22采用区域增长算法同时检测若干个目标图像位置；
步骤24：根据所述目标图像位置利用正交原理计算得到目标空间位置，从而得到头部姿态数据；
步骤25：采用卡尔曼滤波处理所述头部姿态数据，得到去抖头部姿态数据。
优选的，所述虚实注册和融合的具体实现过程为：
步骤31：对所述步骤24和所述步骤25中的所述目标空间位置和所述去抖头部姿态数据进行坐标转换，使得虚实摄像机与所述摄像机位置和参数一致；
步骤32：将所述虚实摄像机的真实场景与所述摄像机的真实场景进行叠加作为背景，将所述虚实摄像机的虚拟场景进行混色叠加，实现虚实场景融合。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种增强半虚拟现实飞机座舱系统，包括座舱和头戴式显示器；头戴式显示器前端设置有摄像机，内部设置有跟踪器和处理控制板，佩戴时靠近人眼的位置设置有显示器；摄像机、跟踪器和显示器电连接处理控制板；座舱内设置有实物操作设备，并设置有无线通讯模块，通过无线通讯模块与处理控制板连接通讯；显示器显示虚拟舱外环境和真实的舱内环境，进行半虚拟训练操作。通过手势自适应分割与虚拟手可视化，以基于图像建模和渲染的图像手取代几何模型手，采用建立椭圆肤色模型进行手势识别和提取轮廓，再通过双边滤波算法对手势轮廓进行滤波平滑处理；还通过基于正交摄像机的头部位置跟踪和虚实注册，实现头戴式现实其显示图像的真实感，基于正交摄像机的定位方法，依据小孔成像原理进行坐标循环迭代，直至收敛至目标真实位置，满足虚拟现实系统中高精度头部位置追踪的要求，而在虚实注册过程中进行多坐标系转换，使得虚实摄像机与真实摄像机内参一致，再进行虚实摄像机与真实摄像机的虚拟图像融合和真实图像融合，得到具有真实性的虚实图像，增强训练的真实性和舒适性。
附图说明
图1为本发明提供的增强半虚拟现实飞机座舱系统结构示意图。
图2为本发明提供的自适应手势分割算法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种增强半虚拟现实飞机座舱系统，其特征在于，包括：座舱和头戴式显示器；头戴式显示器前端设置有摄像机，内部设置有跟踪器和处理控制板，佩戴时靠近人眼的位置设置有显示器；摄像机、跟踪器和显示器电连接处理控制板；座舱内设置有实物操作设备，并设置有无线通讯模块，通过无线通讯模块与处理控制板连接通讯；显示器显示虚拟舱外环境和真实的舱内环境，进行半虚拟训练操作。
为了进一步优化上述技术方案，摄像机采集训练人员手部动作信息，进行采用自适应手势分割算法进行手势轮廓的提取，实现虚拟手可视化显示。
为了进一步优化上述技术方案，自适应手势分割算法的具体实现过程如下：
S11：对手部视频图像的颜色空间值进行非线性转换，实现光照补偿和校正，并进行样本统计；
虽然肤色的颜色特征明显，而且分布相当集中，但其也容易受外界条件干扰，为了提高检测精度，YCbCr空间亮度和色度的分离越大越好，但实际色度值与亮度值总存在一定的非线性关系。为了减少肤色受照明强度影响，首先对YCbCr空间内图像进行非线性转换，以消除色度对亮度的依赖关系，如果用
Figure DEST_PATH_IMAGE002
表示原始颜色空间值，则
Figure DEST_PATH_IMAGE004
表示非线性转换后颜色空间值，转换公式为：
Figure DEST_PATH_IMAGE006
（1）
其中，Ci代表转换前的色度分量Cr或Cb，并将其表示为亮度Y的函数Ci(Y)，
Figure DEST_PATH_IMAGE008
表示色度均值，
Figure DEST_PATH_IMAGE010
表示偏移量，转换后的色度分量即为
Figure DEST_PATH_IMAGE012
;
S12：根据样本将视频图像中包含的手部图像中的肤色特征作为初步检测信息，在颜色空间建立肤色分布椭圆检测模型；
椭圆中心可用
Figure DEST_PATH_IMAGE014
表示，方向用角度θ描述，在建模过程中通常以肤色样本点的重心坐标作为椭圆的中心点，椭圆模型按下式构建，即:
Figure DEST_PATH_IMAGE016
（2）
Figure DEST_PATH_IMAGE018
（3）
Figure DEST_PATH_IMAGE020
（4）
Figure DEST_PATH_IMAGE022
（5）
其中（4）式中的N表示样本总数目。
构建的肤色分布椭圆检测模型为：
（6）；
S13：利用手部视频图像相邻帧之间肤色连续变化特性对肤色分布椭圆检测模型中的参数进行自适应更新，建立参数的近似时域状态模型；
肤色聚类形状基本不变，单针图像肤色聚类仍符合椭圆分布，所有图像帧内手部图像肤色均值为，其在连续时间内基本不发生变化，仅受轻微噪声扰动，符合高斯分布，因此可以对参数建立一下近似时域状态模型：
Figure DEST_PATH_IMAGE026
S14：根据肤色分布椭圆检测模型和近似时域状态模型对手部视频图像中的手部图像进行检测，并采用数学形态学滤波算法进行滤波，获得滤波后的手部图像；
S15：对手部图像进行轮廓搜寻；
S16：采用样条线拟合方法对轮廓进行平滑处理，得到平滑轮廓，手部视频图像是否遍历完成，如果否，进行统计计算，进入S13；
S17：采用双边滤波算法对平滑轮廓进行滤波，得到虚拟手图像。
为了进一步优化上述技术方案，头戴式显示器设置有三个摄像机，按三个摄像机的光轴正交分布的方式安装于头戴式显示器上，光轴相互垂直，指向统一原点。
为了进一步优化上述技术方案，采用基于正交摄像机的头部位置跟踪方法、虚实注册和融合，进行头部动态跟踪以及保持虚拟场景的一致性。
为了进一步优化上述技术方案，基于正交摄像机的头部位置跟踪方法的具体实现过程如下：
S21：采用区域增长算法检测多个目标图像位置；
S22：摄像机的成像平面均以摄像机光心为原点，采用定位算法，依据小孔成像原理进行迭代计算得到目标图像位置的三维位置计算值，对三维位置计算值进行平均计算得到最终坐标值；
S23：根据S22采用区域增长算法同时检测若干个目标图像位置；
S24：根据目标图像位置利用正交原理计算得到目标空间位置，从而得到头部姿态数据；
S25：采用卡尔曼滤波处理头部姿态数据，得到去抖头部姿态数据。
为了进一步优化上述技术方案，虚实注册和融合的具体实现过程为：
S31：对S24和S25中的目标空间位置和去抖头部姿态数据进行坐标转换，使得虚实摄像机与摄像机位置和参数一致；
S32：将虚实摄像机的真实场景与摄像机的真实场景进行叠加作为背景，将虚实摄像机的虚拟场景进行混色叠加，实现虚实场景融合。
为了进一步优化上述技术方案，S31进行的坐标转换包括正交定位系统坐标与世界坐标系的转换、姿态角转换和目标位置坐标到视点位置坐标的转换，视点位置坐标是位于世界坐标系下的。

Claims (7)

1.一种增强半虚拟现实飞机座舱系统，其特征在于，包括：座舱和头戴式显示器；所述头戴式显示器前端设置有摄像机，内部设置有跟踪器和处理控制板，佩戴时靠近人眼的位置设置有显示器；所述摄像机、所述跟踪器和所述显示器电连接所述处理控制板；所述座舱内设置有实物操作设备，并设置有无线通讯模块，通过无线通讯模块与所述处理控制板连接通讯；所述显示器显示虚拟舱外环境和真实的舱内环境，进行半虚拟训练操作。
2.根据权利要求1所述的一种增强半虚拟现实飞机座舱系统，其特征在于，所述摄像机采集训练人员手部动作信息，进行采用自适应手势分割算法，进行精确轮廓提取，实现虚拟手可视化显示。
3.根据权利要求2所述的一种增强半虚拟现实飞机座舱系统，其特征在于，所述自适应手势分割的具体实现过程如下：
步骤11：对所述手部视频图像的颜色空间值进行非线性转换，实现光照补偿和校正，并进行样本统计；
步骤12：根据所述样本将所述视频图像中包含的手部图像中的肤色特征作为初步检测信息，在颜色空间建立肤色分布椭圆检测模型；
步骤13：利用所述手部视频图像相邻帧之间肤色连续变化特性对所述肤色分布椭圆检测模型中的参数进行自适应更新，建立所述参数的近似时域状态模型；
步骤14：根据所述肤色分布椭圆检测模型和所述近似时域状态模型对所述手部视频图像中的手部图像进行检测，并采用数学形态学滤波算法进行滤波，获得滤波后的所述手部图像；
步骤15：对所述手部图像进行轮廓搜寻；
步骤16：采用样条线拟合方法对所述轮廓进行平滑处理，得到平滑轮廓，所述手部视频图像是否遍历完成，如果否，进行统计计算，并进入所述步骤13；
步骤17：采用双边滤波算法对所述平滑轮廓进行滤波，得到虚拟手图像。
4.根据权利要求1所述的一种增强半虚拟现实飞机座舱系统，其特征在于，所述头戴式显示器设置有三个所述摄像机，按三个所述摄像机的光轴正交分布的方式安装于所述头戴式显示器上，所述光轴相互垂直，指向统一原点。
5.根据权利要求4所述的一种增强半虚拟现实飞机座舱系统，其特征在于，采用基于正交摄像机的头部位置跟踪方法、虚实注册和融合，进行头部动态跟踪以及保持虚拟场景的一致性。
6.根据权利要求5所述的一种增强半虚拟现实飞机座舱系统，其特征在于，所述基于正交摄像机的头部位置跟踪方法的具体实现过程如下：
步骤21：采用区域增长算法检测多个目标图像位置；
步骤22：所述摄像机的成像平面均以所述摄像机光心为所述原点，采用定位算法，依据小孔成像原理进行迭代计算得到所述目标图像位置的三维位置计算值，对所述三维位置计算值进行平均计算得到最终坐标值；
步骤23：根据所述步骤22采用区域增长算法同时检测若干个目标图像位置；
步骤24：根据所述目标图像位置利用正交原理计算得到目标空间位置，从而得到头部姿态数据；
步骤25：采用卡尔曼滤波处理所述头部姿态数据，得到去抖头部姿态数据。
7.根据权利要求6所述的一种增强半虚拟现实飞机座舱系统，其特征在于，所述虚实注册和融合的具体实现过程为：
步骤31：对所述步骤24和所述步骤25中的所述目标空间位置和所述去抖头部姿态数据进行坐标转换，使得虚实摄像机与所述摄像机位置和参数一致；
步骤32：将所述虚实摄像机的真实场景与所述摄像机的真实场景进行叠加作为背景，将所述虚实摄像机的虚拟场景进行混色叠加，实现虚实场景融合。
CN201911047433.1A 2019-10-30 2019-10-30 一种增强半虚拟现实飞机座舱系统 Pending CN110764620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911047433.1A CN110764620A (zh) 2019-10-30 2019-10-30 一种增强半虚拟现实飞机座舱系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911047433.1A CN110764620A (zh) 2019-10-30 2019-10-30 一种增强半虚拟现实飞机座舱系统

Publications (1)

Publication Number Publication Date
CN110764620A true CN110764620A (zh) 2020-02-07

Family

ID=69334485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911047433.1A Pending CN110764620A (zh) 2019-10-30 2019-10-30 一种增强半虚拟现实飞机座舱系统

Country Status (1)

Country Link
CN (1) CN110764620A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT523558A1 (de) * 2020-03-05 2021-09-15 Nekonata Xr Tech Gmbh Verfahren zur Darstellung einer Umgebung mittels einer an einer Person angeordneten und für die Person sichtbaren Anzeigeeinheit
CN113552950A (zh) * 2021-08-06 2021-10-26 上海炫伍科技股份有限公司 一种虚拟座舱虚实交互方法
CN113706969A (zh) * 2021-08-23 2021-11-26 天津津航计算技术研究所 一种虚实结合的直升机座舱系统
CN114495627A (zh) * 2020-11-11 2022-05-13 郑州畅想高科股份有限公司 一种基于混合现实技术的机车操作实训系统
CN115814231A (zh) * 2022-12-16 2023-03-21 北京中科心研科技有限公司 一种用于诱发心理应激的虚实结合装置及多模态测评方法
CN117809003A (zh) * 2024-03-01 2024-04-02 广州市大湾区虚拟现实研究院 一种面向长时沉浸的多源虚实融合办公系统构建方法
CN114495627B (zh) * 2020-11-11 2024-05-10 郑州畅想高科股份有限公司 一种基于混合现实技术的机车操作实训系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231790A (zh) * 2007-12-20 2008-07-30 北京理工大学 基于多个固定摄像机的增强现实飞行模拟器
CN101727182A (zh) * 2010-01-28 2010-06-09 南京航空航天大学 头盔式虚拟现实环境中参与者实际手的可视化方法和系统
CN106373085A (zh) * 2016-09-20 2017-02-01 福州大学 一种基于增强现实的智能终端3d手表试戴方法及系统
US9892489B1 (en) * 2013-08-20 2018-02-13 Rockwell Collins, Inc. System for and method of providing a virtual cockpit, control panel, or dashboard using augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231790A (zh) * 2007-12-20 2008-07-30 北京理工大学 基于多个固定摄像机的增强现实飞行模拟器
CN101727182A (zh) * 2010-01-28 2010-06-09 南京航空航天大学 头盔式虚拟现实环境中参与者实际手的可视化方法和系统
US9892489B1 (en) * 2013-08-20 2018-02-13 Rockwell Collins, Inc. System for and method of providing a virtual cockpit, control panel, or dashboard using augmented reality
CN106373085A (zh) * 2016-09-20 2017-02-01 福州大学 一种基于增强现实的智能终端3d手表试戴方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汤勇: "增强半虚拟现实飞机座舱关键技术研究" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT523558A1 (de) * 2020-03-05 2021-09-15 Nekonata Xr Tech Gmbh Verfahren zur Darstellung einer Umgebung mittels einer an einer Person angeordneten und für die Person sichtbaren Anzeigeeinheit
AT523558B1 (de) * 2020-03-05 2023-07-15 Nekonata Xr Tech Gmbh Verfahren zur Darstellung einer Umgebung mittels einer an einer Person angeordneten und für die Person sichtbaren Anzeigeeinheit
CN114495627A (zh) * 2020-11-11 2022-05-13 郑州畅想高科股份有限公司 一种基于混合现实技术的机车操作实训系统
CN114495627B (zh) * 2020-11-11 2024-05-10 郑州畅想高科股份有限公司 一种基于混合现实技术的机车操作实训系统
CN113552950A (zh) * 2021-08-06 2021-10-26 上海炫伍科技股份有限公司 一种虚拟座舱虚实交互方法
CN113706969A (zh) * 2021-08-23 2021-11-26 天津津航计算技术研究所 一种虚实结合的直升机座舱系统
CN115814231A (zh) * 2022-12-16 2023-03-21 北京中科心研科技有限公司 一种用于诱发心理应激的虚实结合装置及多模态测评方法
CN115814231B (zh) * 2022-12-16 2023-12-19 北京中科心研科技有限公司 一种用于诱发心理应激的虚实结合装置及多模态测评方法
CN117809003A (zh) * 2024-03-01 2024-04-02 广州市大湾区虚拟现实研究院 一种面向长时沉浸的多源虚实融合办公系统构建方法

Similar Documents

Publication Publication Date Title
CN110764620A (zh) 一种增强半虚拟现实飞机座舱系统
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
CN104699247B (zh) 一种基于机器视觉的虚拟现实交互系统及方法
CN105389539B (zh) 一种基于深度数据的三维手势姿态估计方法及系统
US8571258B2 (en) Method of tracking the position of the head in real time in a video image stream
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
WO2021143282A1 (zh) 三维人脸模型生成方法、装置、计算机设备及存储介质
CN109359514B (zh) 一种面向deskVR的手势跟踪识别联合策略方法
CN107154197A (zh) 沉浸式飞行模拟器
CN102945564A (zh) 基于视频透视式增强现实的真三维建模系统和方法
CN108305321B (zh) 一种基于双目彩色成像系统的立体人手3d骨架模型实时重建方法和装置
CN110099268B (zh) 色彩自然匹配与显示区自然融合的盲区透视化显示方法
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
CN108762508A (zh) 一种基于vr体验舱的人体与虚拟人合成系统及方法
CN114882121A (zh) 一种基于混合现实头显的人机交互虚实融合方法及装置
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
KR20200116649A (ko) Hmd 기반 혼합 현실 기술을 이용한 모의 항공 cpt 시뮬레이터 시스템
CN109785373A (zh) 一种基于散斑的六自由度位姿估计系统及方法
CN111860142A (zh) 一种面向投影增强的基于机器视觉的手势交互方法
CN112365589B (zh) 一种虚拟三维场景展示方法、装置及系统
CN108052901B (zh) 一种基于双目的手势识别智能无人机远程操控方法
CN113689756A (zh) 基于增强现实的座舱重构系统及实现方法
WO2011087279A2 (ko) 입체 영상 변환 방법 및 입체 영상 변환 장치
CN106909872A (zh) 人手轮廓识别方法
CN116012459A (zh) 基于三维视线估计和屏幕平面估计的鼠标定位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination