CN118471050A - 一种适用模拟飞行训练的混合现实头盔系统 - Google Patents
一种适用模拟飞行训练的混合现实头盔系统 Download PDFInfo
- Publication number
- CN118471050A CN118471050A CN202410918837.8A CN202410918837A CN118471050A CN 118471050 A CN118471050 A CN 118471050A CN 202410918837 A CN202410918837 A CN 202410918837A CN 118471050 A CN118471050 A CN 118471050A
- Authority
- CN
- China
- Prior art keywords
- data
- positioning
- processor
- camera
- live
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 61
- 230000005540 biological transmission Effects 0.000 claims abstract description 43
- 239000013307 optical fiber Substances 0.000 claims description 17
- 239000011521 glass Substances 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 239000000835 fiber Substances 0.000 claims 1
- 238000000034 method Methods 0.000 description 13
- 210000003128 head Anatomy 0.000 description 12
- 238000004088 simulation Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000017525 heat dissipation Effects 0.000 description 3
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种适用模拟飞行训练的混合现实头盔系统，属于模拟飞行训练领域，包括：头盔端、信号处理端和传输部件，头盔端通过传输部件连接信号处理端；头盔端包括实景摄像头一、定位摄像头一、实景摄像头二、定位摄像头二、定位处理器、数据处理器、显示屏、显示驱动器和第一光电转换器，实景摄像头一与数据处理器连接，定位摄像头一与定位处理器连接，实景摄像头二与数据处理器连接，定位摄像头二与定位处理器连接；定位处理器与数据处理器连接，数据处理器与第一光电转换器连接。本发明具有易于实现、可靠性高、实时性好、舒适性高、不需要场景标识物和传输距离长的优点。
Description
技术领域
本发明涉及模拟飞行训练领域，更为具体的，涉及一种适用模拟飞行训练的混合现实头盔系统。
背景技术
本领域现有技术实现方式有两种：一种是一体机方式，虚拟与现实场景在一体机内部融合实现，由于飞行训练领域视景都是实时产生，对硬件要求很高，因此一体机方式几乎很难实现飞行训练要求；另一种方式是眼镜与PC机结合的方式，眼镜用于采集现实场景、眼镜定位、虚实融合及显示虚实融合场景，PC机主要实现虚拟场景产生，这种方式主要问题是虚实融合在眼镜中实现，因此对眼镜中的硬件设计要求更高，需要考虑硬件系统散热，眼镜重量也更重，降低佩戴舒适感。
发明内容
本发明的目的在于克服现有技术的不足，提供一种适用模拟飞行训练的混合现实头盔系统，具有易于实现、可靠性高、实时性好、舒适性高、不需要场景标识物和传输距离长的优点。
本发明的目的是通过以下方案实现的：
一种适用模拟飞行训练的混合现实头盔系统，包括：头盔端、信号处理端和传输部件，头盔端通过传输部件连接信号处理端；
所述头盔端包括实景摄像头一、定位摄像头一、实景摄像头二、定位摄像头二、定位处理器、数据处理器、显示屏、显示驱动器和第一光电转换器，实景摄像头一与数据处理器连接，定位摄像头一与定位处理器连接，实景摄像头二与数据处理器连接，定位摄像头二与定位处理器连接；定位处理器与数据处理器连接，数据处理器与第一光电转换器连接；
所述信号处理端包括计算机、数据处理控制器和第二光电转换器，计算机与数据处理控制器连接，数据处理控制器与第二光电转换器连接；
在所述头盔端中进行数据采集和驱动，其中所述数据处理器基于FPGA与DDRSDRAM架构，用于采集实景视频图像和采集定位信号，并将采集的这些信号整合转换成光纤信号传输输出，同时用于接收外部光纤信号，并将接收的外部光纤信号转换输出以用于驱动显示屏；
所述信号处理端作为数据处理核心，其中所述数据处理控制器基于FPGA与DDRSDRAM架构，用于实现数据解析、虚实数据融合及高速数据转换及传输。
进一步地，适用模拟飞行训练的混合现实头盔系统用于实现实景显示功能时，包括：
头盔端通过实景摄像头一和实景摄像头二采集数据，数据处理器将采集的数据通过第一光电转换器由传输部件提供通道，把数据给信号处理端进行处理，通过接口给计算机端处理实现场景构建、现实场景获取和虚实融合；计算机处理后的视景数据通过接口给信号处理端进行处理后，通过第二光电转换器由传输部件提供通道，把数据传给显示屏进行显示，完成视景数据采集和显示。
进一步地，适用模拟飞行训练的混合现实头盔系统用于实现实景定位功能时，包括：
定位摄像头一和定位摄像头二采集的场景数据由定位处理器完成空间定位后给数据处理器，数据处理器通过第一光电转换器由传输部件提供通道，把数据传给信号处理端进行处理后，通过接口给计算机端处理实现场景与定位，完成系统定位结合。
进一步地，所述接口包括PCIe接口。
进一步地，所述定位摄像头一和定位摄像头二采集的场景数据由定位处理器完成空间定位后给数据处理器，具体包括：首先将静止的座舱坐标与世界坐标统一；然后将定位传感器安装于头盔端内部，利用定位传感器测量加速度、陀螺仪、欧拉角和磁场四元数据，同时，在座舱的选定位置布置多个标定点，标定点由选定图形组成或不用布置标定点，而是采集实际场景的特征点；然后，利用安装于眼镜前方的定位摄像头一和定位摄像头二捕获座舱上的标定点或者利用采集的特征点进行运算，从而确定佩戴者头部位置和移动方向，进而融合定位传感器、定位摄像头一和定位摄像头二的数据，计算出精确的头部位置、姿态和运动情况的跟踪；最后将定位数据传输到数据处理器实现视频图像的实时更新。
进一步地，所述传输部件采用光纤或者光电混合电缆实现大数据和远距离的传输，用于保障视景数据时效性。
进一步地，所述头盔端还包括麦克，麦克与数据处理器连接，麦克的数据通过数据处理器处理与信号处理端进行实时语音发送通话功能。
进一步地，所述头盔端还包括耳机，麦克与数据处理器连接，耳机的数据通过数据处理器处理与信号处理端进行实时语音接听通话功能。
进一步地，所述显示屏包括大小2.56英寸，分辨率2160*2160 90Hz TFT-LCD。
进一步地，所述显示驱动器用于实现DP1.4接口高速数据转换MIPI接口。
本发明的有益效果包括：
本发明方案排除了一体机方式，首先将现有方案中的眼镜方式改成了头盔方式，将虚实融合处理放在PC端进行处理，一方面可以降低头盔端硬件设计复杂度，无需考虑额外散热，不仅降低了头盔重量，而且提高了可靠性，另一方面可以借助PC机强大的处理能力，使得虚实融合的处理不仅效果更好，而且实时性更高；适应本发明的上述改进，眼镜与PC机的通信从传统的DP视频线缆适应改成了光纤，一方面可以实现长距离稳定传输，另一方面可大大降低线缆重量，使飞行员训练过程中可更加灵活的运动和操作；相比现有方案中的眼镜方式，本发明方案更适合飞行员佩戴习惯，并通过合理的重量分配使得整个头盔佩戴起来更舒适，更适合飞行训练中的长期佩戴。
本发明方案还解决了定位速度快与定位精度高不可兼得的问题。
本发明方案先比现有技术提出了新的系统架构，作为发明构思之一，本发明系统的优势在于，一方面在头盔端只做采集和驱动，因此硬件架构简单，无需额外主动散热，保证了头盔重量轻；另一方面，本发明方案的处理核心在信号处理端的数据处理控制器中，处理能力强大，极大提高了实时性，可以解决传统方案无法满足飞行训练高实时性需求的问题。
本发明方案相比传统方案不需要独立的场景标识物；同时，传统方案存在传输距离短的缺点，基于本发明改进方案，可以实现采用光纤传输，因此使得传输距离更长，并且线缆少，重量轻。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例系统的结构框图；
图2为本发明实施例中的定位坐标系说明示意图；图2中，roll表示滚转角，pitch表示俯仰角，yaw表示偏航角；
图3为本发明实施例中的定位原理图；图3中，roll表示滚转角，pitch表示俯仰角，yaw表示偏航角，ArUco表示ArUco标记或ArUco二维码，即Augmented Reality Universityof Cordoba，是一个开源的微型的虚拟现实增强库，也是一种用于摄像机姿态估计的二进制方形基准标记；
图中，100-模拟座舱，200-模拟显示屏，300-定位标记。
具体实施方式
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
本发明技术方案的具体实现过程如下：
本发明实施例的混合现实头盔系统本质是一种基于虚拟现实技术的飞行仿真系统，属于一种新型的视景显示系统。按照功能进行划分，本发明实施例的系统可划分为头盔系统、成像计算机和用户仿真系统三大部分，头盔系统主要功能是采集外部场景信息，头部定位以及为用户提供逼真的三维场景显示；成像计算机主要功能是实时渲染三维场景，并输出给头盔系统以显示；用户仿真系统主要功能是将用户仿真数据以以太网方式发送给成像计算机，从而控制成像计算机三维场景的渲染和内容显示，模拟出飞行操作与场景显示联动的效果。
在进一步的实施方式中，本发明实施例的混合现实头盔系统分为三部分，即头盔端、信号处理端和传输部件，结构如图1所示，连接关系为：实景摄像头一与数据处理器连接，定位摄像头一与定位处理器连接，实景摄像头二与数据处理器连接，定位摄像头二与定位处理器连接；定位处理器与数据处理器连接，数据处理器与第一光电转换器连接；计算机与数据处理控制器连接，数据处理控制器与第二光电转换器连接。
当本发明实施例系统要实现实景显示功能时，包括：头盔端通过实景摄像头一和实景摄像头二采集数据，数据处理器将采集的数据通过第一光电转换器由传输部件提供通道，把数据给信号处理端进行处理后，通过接口（PCIe接口）给计算机端处理实现场景构建、现实场景获取和虚实融合；计算机处理后的视景数据通过接口给信号处理端进行处理后，通过第二光电转换器由传输部件提供通道，把数据传给显示屏进行显示，完成视景数据采集和显示。
需要进一步说明的是，在本发明实施例方案的技术构思中，在头盔端中主要进行数据采集和驱动，其中数据处理器基于FPGA与DDR SDRAM架构，用于采集实景视频图像和采集定位信号，并将采集的这些信号整合转换成光纤信号传输输出，同时用于接收外部光纤信号，并将接收的外部光纤信号转换输出以用于驱动显示屏；具体而言，数据处理器采用FPGA与DDR4 SDRAM的硬件架构，主要包括2路实景摄像头采集模块、2路定位摄像头和定位处理器采集模块、麦克风信号采集模块、2路高清显示屏驱动模块、耳机驱动模块、数据处理核心模块和数据格式转换模块；其主要功能实现实景数据采集、实景图形矫正、高清显示屏驱动、高速数据转换及传输，可选的，其特点是信号采集与驱动处理实时性高、硬件集成度高、发热量小、重量轻，从而可以进一步保证整个头盔系统的轻量化。信号处理端作为数据处理核心，其中数据处理控制器基于FPGA与DDR SDRAM架构，用于实现数据解析、虚实数据融合及高速数据转换及传输。具体而言，采用FPGA与DDR4 SDRAM的硬件架构，主板包括数据格式转换模块、虚实图像融合核心处理模块、PCIE驱动模块；其主要功能实现数据解析、虚实数据融合及高速数据转换及传输。可选的，其特点是硬件性能高，可进行复杂的算法运算并通过高速PCIE与计算机直接进行通信，从而可进一步使信号采集、转换以及处理实时性高，也便于系统管理和后期维护。
需要进一步说明的是，在本发明实施例方案的技术构思中，实景摄像头只用于实景场景采集，不用于定位，定位摄像头主要用于头盔定位。采用两个摄像头可以获得立体图像，两个摄像头就可以模拟人眼看到的场景，从而使获得真实场景更加接近人眼所看到的场景图像；定位摄像头采用2个可以使得采集信息点更多，进而提高定位精度。采用两个显示屏可以给左眼和右眼单独提供视频图像，由于每个显示屏分辨率都可以做得更高，从而保证左右眼都可以看到高清图像。
当本发明实施例系统要实现实景定位时，包括：定位摄像头一和定位摄像头二采集的场景数据可通过MIPI总线和九轴传感器，由定位处理器完成空间定位后传给数据处理器，通过第一光电转换器由传输部件提供通道把数据给信号处理端进行处理后，通过PCIe接口给计算机端处理实现场景与定位，完成系统定位结合，解决了大多数XR系统在使用需要单独场景标识物的问题。并且，在进一步的构思中，本发明实施例的应用场景为飞行员坐在座舱中进行模拟飞行训练，因此一方面可以观察到计算机生成的视景画面，另一方面可以观察到座舱内实物场景以及飞行员操作等相关信息，因为座舱为固定静止的，飞行员坐于座舱中不会发生身体上的较大位移，只会存在头部和手部的移动或身体小幅度的移动。因此，本发明实施例的空间定位技术的开发重点关注头部的跟踪，在以坐标系说明之间的关系情况下，由于对象（座舱）是静止的，因此可以将对象坐标与世界坐标统一，实际跟踪就是眼镜坐标相对于世界坐标的一个变化情况，如图2所示，图2中数字标记100表示模拟座舱，数字标记200表示模拟显示屏。进一步地，如图3所示，图3中数字标记300表示定位标记。本发明的定位主要依靠定位传感器结合定位摄像头结合的方式来实施，其中定位传感器可采用6DoF或9DoF传感器实现头部跟踪粗定位，其优点是定位速度快，然后再通过定位摄像头通过图像识别的辅助定位来提高定位传感器定位的精度。具体为，如图3所示，首先将静止的座舱坐标与世界坐标统一；然后将定位传感器安装于头盔内部，定位传感器可以测量加速度、陀螺仪、欧拉角和磁场四元数据，其具有采集速度快的特点；同时，在座舱的特定位置布置多个标定点，标定点由特殊图形组成，也可以不用布置标定点，通过采集实际场景的特征点进行运算；安装于眼镜前方的两个定位摄像头捕获座舱上的标定点或者提取的特征点并运算，从而确定佩戴者头部位置和移动方向；进而融合定位传感器与摄像头数据，计算出精确的头部位置、姿态和运动情况的跟踪，最后将定位数据传输到视景计算机实现视频图像的实时更新。采用这种定位方式，解决了定位速度快与定位精度高不可兼得的问题。
可选的实施方式中，传输部件采用光纤或者光电混合电缆实现大数据和远距离的传输，保障视景数据时效性。
可选的实施方式中，头盔端麦克和耳机的数据通过数据处理器处理与信号处理端的可进行实时通话功能。
需要说明的是，在本发明权利要求书中所限定的保护范围内，以下实施例均可以从上述具体实施方式中，例如公开的技术原理，公开的技术特征或隐含公开的技术特征等，以合乎逻辑的任何方式进行组合和/或扩展、替换。
实施例1
一种适用模拟飞行训练的混合现实头盔系统，包括：头盔端、信号处理端和传输部件，头盔端通过传输部件连接信号处理端；
所述头盔端包括实景摄像头一、定位摄像头一、实景摄像头二、定位摄像头二、定位处理器、数据处理器、显示屏、显示驱动器和第一光电转换器，实景摄像头一与数据处理器连接，定位摄像头一与定位处理器连接，实景摄像头二与数据处理器连接，定位摄像头二与定位处理器连接；定位处理器与数据处理器连接，数据处理器与第一光电转换器连接；
所述信号处理端包括计算机、数据处理控制器和第二光电转换器，计算机与数据处理控制器连接，数据处理控制器与第二光电转换器连接；
在所述头盔端中进行数据采集和驱动，其中所述数据处理器基于FPGA与DDRSDRAM架构，用于采集实景视频图像和采集定位信号，并将采集的这些信号整合转换成光纤信号传输输出，同时用于接收外部光纤信号，并将接收的外部光纤信号转换输出以用于驱动显示屏；
所述信号处理端作为数据处理核心，其中所述数据处理控制器基于FPGA与DDRSDRAM架构，用于实现数据解析、虚实数据融合及高速数据转换及传输。
实施例2
在实施例1的基础上，适用模拟飞行训练的混合现实头盔系统用于实现实景显示功能时，包括如下流程：
头盔端通过实景摄像头一和实景摄像头二采集数据，数据处理器将采集的数据通过第一光电转换器由传输部件提供通道，把数据给信号处理端进行处理，通过接口给计算机端处理实现场景构建、现实场景获取和虚实融合；计算机处理后的视景数据通过接口给信号处理端进行处理后，通过第二光电转换器由传输部件提供通道，把数据传给显示屏进行显示，完成视景数据采集和显示。
实施例3
在实施例1的基础上，适用模拟飞行训练的混合现实头盔系统用于实现实景定位功能时，包括如下流程：
定位摄像头一和定位摄像头二采集的场景数据由定位处理器完成空间定位后给数据处理器，数据处理器通过第一光电转换器由传输部件提供通道，把数据传给信号处理端进行处理后，通过接口给计算机端处理实现场景与定位，完成系统定位结合。
实施例4
在实施例2的基础上，所述接口包括PCIe接口。
实施例5
在实施例3的基础上，所述定位摄像头一和定位摄像头二采集的场景数据由定位处理器完成空间定位后给数据处理器，具体包括：首先将静止的座舱坐标与世界坐标统一；然后将定位传感器安装于头盔端内部，利用定位传感器测量加速度、陀螺仪、欧拉角和磁场四元数据，同时，在座舱的选定位置布置多个标定点，标定点由选定图形组成或不用布置标定点，而是采集实际场景的特征点；然后，利用安装于眼镜前方的定位摄像头一和定位摄像头二捕获座舱上的标定点或者利用采集的特征点进行运算，从而确定佩戴者头部位置和移动方向，进而融合定位传感器、定位摄像头一和定位摄像头二的数据，计算出精确的头部位置、姿态和运动情况的跟踪；最后将定位数据传输到数据处理器实现视频图像的实时更新。
实施例6
在实施例1的基础上，所述传输部件采用光纤或者光电混合电缆实现大数据和远距离的传输，用于保障视景数据时效性。
实施例7
在实施例1的基础上，所述头盔端还包括麦克，麦克与数据处理器连接，麦克的数据通过数据处理器处理与信号处理端进行实时语音发送通话功能。
实施例8
在实施例1的基础上，所述头盔端还包括耳机，麦克与数据处理器连接，耳机的数据通过数据处理器处理与信号处理端进行实时语音接听通话功能。
实施例9
在实施例1的基础上，所述显示屏包括大小2.56英寸，分辨率2160*2160 90HzTFT-LCD。
实施例10
在实施例1的基础上，所述显示驱动器用于实现DP1.4接口高速数据转换MIPI接口。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
根据本发明实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
作为另一方面，本发明实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
Claims (10)
1.一种适用模拟飞行训练的混合现实头盔系统，其特征在于，包括：头盔端、信号处理端和传输部件，头盔端通过传输部件连接信号处理端；
所述头盔端包括实景摄像头一、定位摄像头一、实景摄像头二、定位摄像头二、定位处理器、数据处理器、显示屏、显示驱动器和第一光电转换器，实景摄像头一与数据处理器连接，定位摄像头一与定位处理器连接，实景摄像头二与数据处理器连接，定位摄像头二与定位处理器连接；定位处理器与数据处理器连接，数据处理器与第一光电转换器连接；
所述信号处理端包括计算机、数据处理控制器和第二光电转换器，计算机与数据处理控制器连接，数据处理控制器与第二光电转换器连接；
在所述头盔端中进行数据采集和驱动，其中所述数据处理器基于FPGA与DDR SDRAM架构，用于采集实景视频图像和采集定位信号，并将采集的这些信号整合转换成光纤信号传输输出，同时用于接收外部光纤信号，并将接收的外部光纤信号转换输出以用于驱动显示屏；
所述信号处理端作为数据处理核心，其中所述数据处理控制器基于FPGA与DDR SDRAM架构，用于实现数据解析、虚实数据融合及高速数据转换及传输。
2.根据权利要求1所述的适用模拟飞行训练的混合现实头盔系统，其特征在于，适用模拟飞行训练的混合现实头盔系统用于实现实景显示功能时，包括：
头盔端通过实景摄像头一和实景摄像头二采集数据，数据处理器将采集的数据通过第一光电转换器由传输部件提供通道，把数据给信号处理端进行处理，通过接口给计算机端处理实现场景构建、现实场景获取和虚实融合；计算机处理后的视景数据通过接口给信号处理端进行处理后，通过第二光电转换器由传输部件提供通道，把数据传给显示屏进行显示，完成视景数据采集和显示。
3.根据权利要求1所述的适用模拟飞行训练的混合现实头盔系统，其特征在于，适用模拟飞行训练的混合现实头盔系统用于实现实景定位功能时，包括：
定位摄像头一和定位摄像头二采集的场景数据由定位处理器完成空间定位后给数据处理器，数据处理器通过第一光电转换器由传输部件提供通道，把数据传给信号处理端进行处理后，通过接口给计算机端处理实现场景与定位，完成系统定位结合。
4.根据权利要求2所述的适用模拟飞行训练的混合现实头盔系统，其特征在于，所述接口包括PCIe接口。
5.根据权利要求3所述的适用模拟飞行训练的混合现实头盔系统，其特征在于，所述定位摄像头一和定位摄像头二采集的场景数据由定位处理器完成空间定位后给数据处理器，具体包括：
首先将静止的座舱坐标与世界坐标统一；然后将定位传感器安装于头盔端内部，利用定位传感器测量加速度、陀螺仪、欧拉角和磁场四元数据，同时，在座舱的选定位置布置多个标定点，标定点由选定图形组成或不用布置标定点，而是采集实际场景的特征点；然后利用安装于眼镜前方的定位摄像头一和定位摄像头二捕获座舱上的标定点或者利用采集的特征点进行运算，从而确定佩戴者头部位置和移动方向，进而融合定位传感器、定位摄像头一和定位摄像头二的数据，计算出精确的头部位置、姿态和运动情况的跟踪；最后将定位数据传输到数据处理器实现视频图像的实时更新。
6.根据权利要求1所述的适用模拟飞行训练的混合现实头盔系统，其特征在于，所述传输部件采用光纤或者光电混合电缆实现大数据和远距离的传输，用于保障视景数据时效性。
7.根据权利要求1所述的适用模拟飞行训练的混合现实头盔系统，其特征在于，所述头盔端还包括麦克，麦克与数据处理器连接，麦克的数据通过数据处理器处理与信号处理端进行实时语音发送通话功能。
8.根据权利要求1所述的适用模拟飞行训练的混合现实头盔系统，其特征在于，所述头盔端还包括耳机，麦克与数据处理器连接，耳机的数据通过数据处理器处理与信号处理端进行实时语音接听通话功能。
9.根据权利要求1所述的适用模拟飞行训练的混合现实头盔系统，其特征在于，所述显示屏包括大小2.56英寸，分辨率2160*2160 90Hz TFT-LCD。
10.根据权利要求1所述的适用模拟飞行训练的混合现实头盔系统，其特征在于，所述显示驱动器用于实现DP1.4接口高速数据转换MIPI接口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410918837.8A CN118471050B (zh) | 2024-07-10 | 2024-07-10 | 一种适用模拟飞行训练的混合现实头盔系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410918837.8A CN118471050B (zh) | 2024-07-10 | 2024-07-10 | 一种适用模拟飞行训练的混合现实头盔系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118471050A true CN118471050A (zh) | 2024-08-09 |
| CN118471050B CN118471050B (zh) | 2024-09-20 |
Family
ID=92170953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410918837.8A Active CN118471050B (zh) | 2024-07-10 | 2024-07-10 | 一种适用模拟飞行训练的混合现实头盔系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118471050B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105404395A (zh) * | 2015-11-25 | 2016-03-16 | 北京理工大学 | 基于增强现实技术的舞台表演辅助训练方法及系统 |
| CN107392853A (zh) * | 2017-07-13 | 2017-11-24 | 河北中科恒运软件科技股份有限公司 | 双摄像头视频融合畸变校正与视点微调整方法及系统 |
| CN110211661A (zh) * | 2019-06-05 | 2019-09-06 | 山东大学 | 基于混合现实的手功能训练系统及数据处理方法 |
| CN112507799A (zh) * | 2020-11-13 | 2021-03-16 | 幻蝎科技(武汉)有限公司 | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 |
| CN112669671A (zh) * | 2020-12-28 | 2021-04-16 | 北京航空航天大学江西研究院 | 一种基于实物交互的混合现实飞行仿真系统 |
| WO2021120816A1 (zh) * | 2019-12-19 | 2021-06-24 | 广州新科佳都科技有限公司 | 一种基于混合现实的实时监控方法及装置 |
| US20220066292A1 (en) * | 2020-09-02 | 2022-03-03 | Pulkit Ahuja | Gyro sensor or virtual joystick controlled smart helmet |
| WO2022047828A1 (zh) * | 2020-09-07 | 2022-03-10 | 南京翱翔信息物理融合创新研究院有限公司 | 一种工业增强现实组合定位系统 |
| CN116524783A (zh) * | 2023-04-18 | 2023-08-01 | 江西洪都航空工业集团有限责任公司 | 一种虚实临境飞行训练系统 |
| US20230360338A1 (en) * | 2022-05-09 | 2023-11-09 | Peking University | Method and apparatus for constructing real-geographic-space scene in real time |
| CN220085383U (zh) * | 2023-06-21 | 2023-11-24 | 棣拓(上海)科技发展有限公司 | 一种智能化孔销装配增强现实装置 |
| US11907421B1 (en) * | 2014-03-01 | 2024-02-20 | sigmund lindsay clements | Mixed reality glasses operating public devices with gaze and secondary user input |
-
2024
- 2024-07-10 CN CN202410918837.8A patent/CN118471050B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11907421B1 (en) * | 2014-03-01 | 2024-02-20 | sigmund lindsay clements | Mixed reality glasses operating public devices with gaze and secondary user input |
| CN105404395A (zh) * | 2015-11-25 | 2016-03-16 | 北京理工大学 | 基于增强现实技术的舞台表演辅助训练方法及系统 |
| CN107392853A (zh) * | 2017-07-13 | 2017-11-24 | 河北中科恒运软件科技股份有限公司 | 双摄像头视频融合畸变校正与视点微调整方法及系统 |
| CN110211661A (zh) * | 2019-06-05 | 2019-09-06 | 山东大学 | 基于混合现实的手功能训练系统及数据处理方法 |
| WO2021120816A1 (zh) * | 2019-12-19 | 2021-06-24 | 广州新科佳都科技有限公司 | 一种基于混合现实的实时监控方法及装置 |
| US20220066292A1 (en) * | 2020-09-02 | 2022-03-03 | Pulkit Ahuja | Gyro sensor or virtual joystick controlled smart helmet |
| WO2022047828A1 (zh) * | 2020-09-07 | 2022-03-10 | 南京翱翔信息物理融合创新研究院有限公司 | 一种工业增强现实组合定位系统 |
| CN112507799A (zh) * | 2020-11-13 | 2021-03-16 | 幻蝎科技(武汉)有限公司 | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 |
| CN112669671A (zh) * | 2020-12-28 | 2021-04-16 | 北京航空航天大学江西研究院 | 一种基于实物交互的混合现实飞行仿真系统 |
| US20230360338A1 (en) * | 2022-05-09 | 2023-11-09 | Peking University | Method and apparatus for constructing real-geographic-space scene in real time |
| CN116524783A (zh) * | 2023-04-18 | 2023-08-01 | 江西洪都航空工业集团有限责任公司 | 一种虚实临境飞行训练系统 |
| CN220085383U (zh) * | 2023-06-21 | 2023-11-24 | 棣拓(上海)科技发展有限公司 | 一种智能化孔销装配增强现实装置 |
Non-Patent Citations (1)
| Title |
|---|
| 刘硕硕: "头盔式视线跟踪技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 March 2013 (2013-03-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118471050B (zh) | 2024-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102658303B1 (ko) | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 | |
| CN106157359B (zh) | 一种虚拟场景体验系统的设计方法 | |
| CN106066701B (zh) | 一种ar和vr数据处理设备与方法 | |
| JP2022040219A (ja) | 拡張現実データを記録するための手法 | |
| CN108885342B (zh) | 虚拟图像生成系统及其操作方法 | |
| WO2017173735A1 (zh) | 一种基于视频透视的智能眼镜系统及其透视方法 | |
| JP2021530811A (ja) | 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法 | |
| KR20210130773A (ko) | 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스 | |
| US20200012107A1 (en) | Display system with video see-through | |
| JP2023502552A (ja) | ウェアラブルデバイス、インテリジェントガイド方法及び装置、ガイドシステム、記憶媒体 | |
| JP4580678B2 (ja) | 注視点位置表示装置 | |
| CN113035010A (zh) | 一种虚实场景结合视景系统及飞行模拟装置 | |
| CN215871665U (zh) | 双路输入3d近眼成像系统 | |
| JP2019095916A (ja) | 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム | |
| CN205005198U (zh) | 头戴式显示器 | |
| CN118471050B (zh) | 一种适用模拟飞行训练的混合现实头盔系统 | |
| CN117542253A (zh) | 一种飞行员驾驶舱训练系统 | |
| CN206270882U (zh) | 一种高沉浸度虚拟现实头部显示器 | |
| CN103376637A (zh) | 一种3d拍照系统 | |
| CN109753155B (zh) | 头戴显示设备、其驱动方法及虚拟现实显示装置 | |
| CN114416237B (zh) | 显示状态切换方法、装置及系统、电子设备、存储介质 | |
| CN114742977A (zh) | 一种基于ar技术的视频透视方法 | |
| CN214959905U (zh) | 一种应用于vr或ar或mr多摄像头联合成像技术 | |
| CN107544549B (zh) | 一种适用于vr设备的定位和数据传输方法及系统 | |
| EP4086102B1 (en) | Navigation method and apparatus, electronic device, readable storage medium and computer program product |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |