CN113689756A - 基于增强现实的座舱重构系统及实现方法 - Google Patents

基于增强现实的座舱重构系统及实现方法 Download PDF

Info

Publication number
CN113689756A
CN113689756A CN202110968850.0A CN202110968850A CN113689756A CN 113689756 A CN113689756 A CN 113689756A CN 202110968850 A CN202110968850 A CN 202110968850A CN 113689756 A CN113689756 A CN 113689756A
Authority
CN
China
Prior art keywords
module
cabin
cockpit
area
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110968850.0A
Other languages
English (en)
Inventor
王梓蘅
张轮
张博渊
周银鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Jinhang Computing Technology Research Institute
Original Assignee
Tianjin Jinhang Computing Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Jinhang Computing Technology Research Institute filed Critical Tianjin Jinhang Computing Technology Research Institute
Priority to CN202110968850.0A priority Critical patent/CN113689756A/zh
Publication of CN113689756A publication Critical patent/CN113689756A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/307—Simulation of view from aircraft by helmet-mounted projector or display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/085—Special purpose teaching, e.g. alighting on water, aerial photography
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/16—Ambient or aircraft conditions simulated or indicated by instrument or alarm
    • G09B9/20—Simulation or indication of aircraft attitude
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302—Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view

Abstract

本发明涉及一种基于增强现实的座舱重构系统及实现方法，属于增强现实领域。本发明推翻传统的显示方式，通过定制的投影仪作为输出光源，配和固定的采集输入摄像机，完成虚实结合的融合，达到最大化虚拟的效果，即较少硬件设施，将座舱真实还原，并通过跟踪定位模块使得座舱具有交互性。本发明弱化了硬件的存在，将硬件通过增强现实技术虚拟出来，同时具备交互性，具有科技性和趣味性，同时减少了仿真座舱的硬件建设成本。

Description

基于增强现实的座舱重构系统及实现方法
技术领域
本发明属于增强现实领域，具体涉及一种基于增强现实的座舱重构系统及实现方法。
背景技术
增强现实是一种利用计算机产生的附加信息对使用者所看到的真实世界景象进行增强或者扩张的技术。借助光电显示技术、交互技术、多种传感技术和计算机图形与多媒体技术将计算机生成的虚拟环境与用户周围的真实环境融为一体，使用户从感官效果上确信虚拟环境是其周围真实环境的组成部分。主要包括虚、、实结合、实时交互和三维注册这三个特点。
如附图1所示，增强现实系统主要包括虚拟场景发生器、投影设备、虚拟场景与真实场景对准的方位跟踪定位设备和各种交互设备。其中虚拟场景发生器负责虚拟场景的建模、管理、绘制和其他外设的管理，投影设备需要将输出光信号打到舱体内，交互设备用于实现感官信号以及环境控制操作信号的输入与输出。
目前的作战飞机的座舱中多采用依托显示屏的显示技术，受到空间的限制过大，局限性大、可扩展性差、直观性弱等问题较为突出，而基于增强现实的座舱设计可以带来极大的改观，同时目前的增强现实穿戴式设备具有续航力差，易产生视觉疲劳等不足，所以提出采用固定在舱体内的投影设备实现增强现实的效果。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是如何提供一种基于增强现实的座舱重构系统及实现方法，以解决现有的增强现实局限性大、可扩展性差、直观性弱，增强现实穿戴式设备续航力差，易产生视觉疲劳等方面的问题。
(二)技术方案
为了解决上述技术问题，本发明提出一种基于增强现实的座舱重构系统，该系统包括座舱、投影仪、摄像机、头盔和服务器；
投影仪固定在座舱舱体内，作为输出光源；
服务器完成增强现实计算处理；
座舱中的真实场景区域包括用户正下方的操纵杆操作区域、用户左侧的油门操作台面区域以及座舱右侧台面区域，座舱油门操作台面区域和座舱右侧台面区域分别在座舱的左右两个台面上，操纵杆操作区域平面比左右两个台面低，飞机座舱的正前方为仪表显示区域，操纵杆操作区域的左右两个内侧面以及与仪表显示区比邻的前内侧面，与操纵杆区合称座舱底部区域；在创建座舱模型时将左侧的油门操作台面区域、座舱底部区域和座舱右侧台面区域简化为三个四边形面，左侧四边形用来显示座舱左侧用于油门操作台面区域的真实视频图像，右侧四边形用来显示座舱右侧台面区域的真实视频图像，中间的四边形用来显示座舱底部区域的真实视频图像；座舱底部区域、油门操作台面区域、座舱右侧台面区域由直线区别开来；
三台摄像机的镜头方向分别对准座舱左右两侧及中间区域，确保座舱左右两侧及中间区域分别在各自对应的摄像机视场内，每一个摄像机采集到的图像，经服务器提取有用区域后添加到虚拟座舱的三个比邻的地面四边形面上，实现虚实图像融合；
头盔戴在训练员头上，用于观看虚实图像融合后的场景。
进一步地，采用计算机图形学中的2D四点纹理映射技术，将真实的视频图像添加到虚拟座舱模型的三个比邻四边形面上。
进一步地，在座舱真实场景采集系统中，对于每一个摄像机采集到的图像，有用区域用纹理空间中四个点的纹理坐标包含的四边形区域来表示。
进一步地，对四个点的纹理坐标进行标定具体步骤如下：
(1)稳固支架，调节好三台摄像机的镜头方向，确保座舱左右两侧及中间区域分别在各自对应的摄像机视场内；
(2)三台摄像机输出到图像输入视频分割器，截取一幅视频分割器输出的图像作为纹理空间的初始纹理，用四点纹理映射方法将三个通道图像中的有用区域ROI分别映射到对应的三个四边形面上；
(3)对ROI的四点纹理坐标进行精细调节，确保在三个四边形面过渡边界上显示出平滑、连续的视觉效果。
本发明还提供一种基于增强现实的训练系统，该训练系统包括主控制台模块、监视端模块、客户端模块和网络数据传输与交换模块；主控制台模块发送配置参数，接收飞行参数；客户端模块发送飞行参数，接收配置参数，监视端模块接收配置参数和飞行参数，客户端模块位于如权利要求1-4任一项所述的座舱重构系统；
主控制台模块负责设定训练科目、基本仿真参数设定、仿真速度控制、选择监视端监控对象，发送定位操作命令，显示实时飞行参数数据，显示二维飞行航迹，对飞行训练结果进行评估；
监视端模块负责使用鼠标改变观察视角，实时监控座舱飞行的三维姿态和运动轨迹；
网络数据传输和交换模块负责连接其余三个模块，实现通信网络的控制、数据传输和时钟同步功能；
客户端模块完成座舱的虚实融合，通过头部姿态跟踪模块和特征识别模块定位出飞行员的六自由度参数，配和视景管理、视景渲染、仪表管理、声音仿真实现虚实融合。
进一步地，座舱实时读取传感器模拟数据和写入参数数据以控制传感器状态，使用传感器解码数据进行飞行动力学计算，并实时向客户端发送飞行参数数据，客户端向主控制台模块和监视端模块发送飞行参数数据。
进一步地，接收主控制台的科目训练命令，进行定位操作，进行编队飞行训练，进行武器发射训练。
进一步地，网络数据传输与交换模块包括控制网络、数据网络和时钟同步网络三个部分，其中控制网络和数据网络建立在同一个以太网链路；时钟同步网络建立在基于IEEE1588协议的链路。
本发明还提供一种基于增强现实的训练方法，该方法包括如下步骤：
S1、通过电源总控开关控制客户端模块、监视端模块、网络数据传输与交换模块、主控制台模块顺序上电，上电顺序由电源时序器保障，客户端、网络数据传输、监视端和主控制台随系统上电启动；
S2、通过主控制台模块完成各个模块硬件一键式监控自检，对软件服务进行一键式顺序开启，启动流程可以配置和保存；
S3、完成摄像机、投影仪设备的启动和配置；
S4、通过主控制台模块搭建作战仿真想定，配置装备定义、兵力生成、任务想定、任务分配和流程控制；
S5、通过监视端完成头部信息的采集与跟踪，完成手势姿态信息的定位与跟踪；
S6、通过网络数据传输与交换模块将监视端模块采集到的视频信息传输给客户端模块的座舱虚实融合模块，通过客户端模块完成计算和渲染融合，合成视频信息，通过投影仪输出到座舱内；
S7、在系统运行过程中，通过主控制台的飞行数据回放模块和数据传输与交换模块完成对飞行数据的调取和回放；
S8、完成试验后，通过主控制台将各系统停止，关闭软硬件，通过电源总控开关完成硬件顺序下电；
进一步地，客户端模块包括特征识别模块、图像采集模块、图像预处理模块、头部姿态跟踪模块和座舱虚实融合模块，通过客户端模块的特征识别模块、图像采集模块、图像预处理模块、头部姿态跟踪模块将采集到的信息解析出六自由度信息，座舱虚实融合模块完成计算和渲染融合，合成视频信息。
(三)有益效果
本发明提出一种基于增强现实的座舱重构系统及实现方法，相对于传统的座舱仿真机的虚实结合的实现方法，更进一步弱化了硬件的存在，将硬件通过增强现实技术虚拟出来，同时具备交互性，具有科技性和趣味性，同时减少了仿真座舱的硬件建设成本。
附图说明
图1为增强现实系统结构图；
图2为座舱几何简化图；
图3为多固定摄像机的虚实融合流程图；
图4为座舱系统功能模块示意图。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本发明提出了一种基于增强现实的座舱系统及实现方法，相对于传统的座舱仿真机的虚实结合的实现方法，更进一步弱化了硬件的存在，将硬件通过增强现实技术虚拟出来，同时具备交互性，具有科技性和趣味性，同时减少了仿真座舱的硬件建设成本。
为了克服上述问题，本发明提出了一种基于增强现实技术的座舱系统及实现方法。
本发明的技术解决方案是：提出一种新的显示方式，这种显示方式的核心是增强现实，输出光源为固定在座舱舱体内的投影仪，增强现实计算处理由服务器完成，实现裸眼的增强现实效果。
飞行座舱中可实现人机交互的主要是在真实场景区域，是用户正下方的操纵杆操作区域、用户左侧的油门操作台面区域以及座舱右侧台面区域。附图2是座舱的几何简化结构图。座舱油门操作台面区域和座舱右侧台面区域分别在座舱的左右两个台面上。操纵杆操作区域平面比左右两个台面低。飞机座舱的正前方为仪表显示区域，操纵杆操作区域的左右两个内侧面以及与仪表显示区比邻的前内侧面，与操纵杆区合称座舱底部区域。在创建座舱模型时将这三个区域简化为三个四边形面。左侧四边形用来显示座舱左侧用于油门操作台面区域的真实视频图像，右侧四边形用来显示座舱右侧台面区域的真实视频图像，中间的四边形用来显示座舱底部区域的真实视频图像。
附图3是采用多固定摄像机的座舱视景虚实结合的流程图。座舱底部区域、油门操作台面区域、座舱右侧台面区域的一个重要特征就是这三个区域由直线区别开来，该直线在分别用多个摄像机成像后仍然是一条直线。
采用计算机图形学中的2D四点纹理映射技术，将真实的视频图像添加到虚拟座舱模型底部的三个比邻四边形面上后，就可实现座舱视景系统的虚实图像融合。在座舱真实场景采集系统中，视频分割器输出的图像包括三个固定摄像机采集到的图像，但并不是所有的图像信息都是有用的，将有用区域称为图像ROI。对于每一个摄像机采集到的图像，它的兴趣区域都可以用纹理空间中四个点的纹理坐标包含的四边形区域来表示。
对三个兴趣区域四个点的纹理坐标进行标定具体步骤如下：
(1)稳固支架，调节好三台摄像机的镜头方向，确保座舱左右两侧及中间区域分别在各自对应的摄像机视场内。
(2)截取一幅四通道视频分割器输出的图像作为纹理空间的初始纹理，用四点纹理映射方法将三个通道图像中的ROI分别映射到对应的三个四边形面上。
(3)对ROI的四点纹理坐标进行精细调节，确保在三个四边形面过渡边界上显示出平滑、连续的视觉效果。
当系统运行时，多固定摄像机座舱真实场景采集系统实时获得稳定的视频图像。系统依据标定好的四点纹理坐标，以实时刷新的视频图像为纹理，将该纹理图像中各个区域的ROI实时地添加到虚拟座舱的三个比邻的地面四边形面上。当飞行员戴上飞行头盔低头时就能够通过HMD看到真实场景中发生的变化，既可以看到座舱左右两侧以及底部的真实结构，又能够看到自己的手操作油门和操纵杆的动作。
基于增强现实的座舱系统的功能模块如附图4所示，主要分为四个部分，主控制台模块、监视端模块、客户端模块和网络数据传输与交换模块。主控制台模块发送配置参数，接收飞行参数；客户端模块发送飞行参数，接收配置参数，监视端模块接收配置参数和飞行参数。客户端模块位于
主控制台模块负责设定训练科目、基本仿真参数设定、仿真速度控制、选择监视端监控对象，发送定位操作命令，显示实时飞行参数数据，显示二维飞行航迹，对飞行训练结果进行评估。监视端模块主要负责使用鼠标改变观察视角，实时监控座舱飞行的三维姿态和运动轨迹。网络数据传输和交换模块主要负责连接其余三个模块，实现通信网络的控制、数据传输和时钟同步功能。客户端模块主要完成座舱的虚实融合，通过头部姿态跟踪模块和特征识别模块定位出飞行员的六自由度参数，配和视景管理、视景渲染、仪表管理、声音仿真实现虚实融合。
主要实现的功能可以概括为五个部分。
第一个是视景仿真与管理，主要是指管理大地形数据库，渲染飞行环境场景图形，模拟座舱发动机声音和座舱飞行尾迹，实时显示座舱前仪表显示区域上各个仪表参数数据。
第二个是座舱飞行驱动和管理，座舱实时读取传感器模拟数据和写入参数数据以控制传感器状态，使用传感器解码数据进行飞行动力学计算，并实时向客户端发送飞行参数数据，客户端向主控制台模块和监视端模块发送飞行参数数据。
第三个是观察视角控制与交互，主要包括实时采集光学头部跟踪器的视频图像，实时提取特征点，使用计算机视觉领域的姿态估计算法计算跟踪器的姿态数据。
第四个是座舱视景的虚实融合，主要包括使用多固定摄像机实时采集座舱底部区域的视频图像，通过增强现实技术实现虚实融合。
第五个是飞行训练管理，包括接收主控制台的科目训练命令，进行定位操作，进行编队飞行训练，进行武器发射训练等。
网络数据传输与交换模块主要包括控制网络、数据网络和时钟同步网络三个部分。其中控制网络和数据网络建立在同一个以太网链路；时钟同步网络建立在基于IEEE1588协议的链路。
系统的工作流程如下：
S1、通过电源总控开关控制客户端模块、监视端模块、网络数据传输与交换模块、主控制台模块顺序上电，上电顺序由电源时序器保障，客户端、网络数据传输、监视端和主控制台随系统上电启动。
S2、通过主控制台模块完成各个模块硬件一键式监控自检，对软件服务进行一键式顺序开启，启动流程可以配置和保存。
S3、完成摄像机、投影仪等设备的启动和配置。
S4、通过主控制台模块搭建作战仿真想定，配置装备定义、兵力生成、任务想定、任务分配、流程控制等要素。支持工程的加载与保存。
S5、通过监视端完成头部信息的采集与跟踪，完成手势等姿态信息的定位与跟踪。
S6、通过网络数据传输与交换模块将监视端模块采集到的视频信息传输给客户端模块的座舱虚实融合模块，通过客户端模块的特征识别模块、图像采集模块、图像预处理模块、头部姿态跟踪模块将采集到的信息解析出六自由度信息，座舱虚实融合模块完成计算和渲染融合，合成视频信息，通过投影仪输出到座舱内。
S7、在系统运行过程中，通过主控制台的飞行数据回放模块和数据传输与交换模块完成对飞行数据的调取和回放。
S8、完成试验后，通过主控制台将各系统停止，关闭软硬件，通过电源总控开关完成硬件顺序下电。
本发明的一种基于增强现实的座舱系统及实现方法，本方法基于增强现实技术，推翻传统的显示方式，通过定制的投影仪作为输出光源，配和固定的采集输入摄像机，完成虚实结合的融合，达到最大化虚拟的效果，即较少硬件设施，将座舱真实还原，并通过跟踪定位模块使得座舱具有交互性。
本系统的实现方式不仅适合于座舱仿真机，同时对未来真实飞行座舱的改装情况也在考虑范围之内。
本方法从宏观架构上设计了功能组成和需要的技术。
本发明提出了一种基于增强现实的座舱系统及实现方法，相对于传统的座舱仿真机的虚实结合的实现方法，更进一步弱化了硬件的存在，将硬件通过增强现实技术虚拟出来，同时具备交互性，具有科技性和趣味性，同时减少了仿真座舱的硬件建设成本。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于增强现实的座舱重构系统，其特征在于，该系统包括座舱、投影仪、摄像机、头盔和服务器；
投影仪固定在座舱舱体内，作为输出光源；
服务器完成增强现实计算处理；
座舱中的真实场景区域包括用户正下方的操纵杆操作区域、用户左侧的油门操作台面区域以及座舱右侧台面区域，座舱油门操作台面区域和座舱右侧台面区域分别在座舱的左右两个台面上，操纵杆操作区域平面比左右两个台面低，飞机座舱的正前方为仪表显示区域，操纵杆操作区域的左右两个内侧面以及与仪表显示区比邻的前内侧面，与操纵杆区合称座舱底部区域；在创建座舱模型时将左侧的油门操作台面区域、座舱底部区域和座舱右侧台面区域简化为三个四边形面，左侧四边形用来显示座舱左侧用于油门操作台面区域的真实视频图像，右侧四边形用来显示座舱右侧台面区域的真实视频图像，中间的四边形用来显示座舱底部区域的真实视频图像；座舱底部区域、油门操作台面区域、座舱右侧台面区域由直线区别开来；
三台摄像机的镜头方向分别对准座舱左右两侧及中间区域，确保座舱左右两侧及中间区域分别在各自对应的摄像机视场内，每一个摄像机采集到的图像，经服务器提取有用区域后添加到虚拟座舱的三个比邻的地面四边形面上，实现虚实图像融合；
头盔戴在训练员头上，用于观看虚实图像融合后的场景。
2.如权利要求1所述的基于增强现实的座舱重构系统，其特征在于，采用计算机图形学中的2D四点纹理映射技术，将真实的视频图像添加到虚拟座舱模型的三个比邻四边形面上。
3.如权利要求2所述的基于增强现实的座舱重构系统，其特征在于，在座舱真实场景采集系统中，对于每一个摄像机采集到的图像，有用区域用纹理空间中四个点的纹理坐标包含的四边形区域来表示。
4.如权利要求3所述的基于增强现实的座舱重构系统，其特征在于，对四个点的纹理坐标进行标定具体步骤如下：
(1)稳固支架，调节好三台摄像机的镜头方向，确保座舱左右两侧及中间区域分别在各自对应的摄像机视场内；
(2)三台摄像机输出到图像输入视频分割器，截取一幅视频分割器输出的图像作为纹理空间的初始纹理，用四点纹理映射方法将三个通道图像中的有用区域ROI分别映射到对应的三个四边形面上；
(3)对ROI的四点纹理坐标进行精细调节，确保在三个四边形面过渡边界上显示出平滑、连续的视觉效果。
5.一种基于增强现实的训练系统，其特征在于，该训练系统包括主控制台模块、监视端模块、客户端模块和网络数据传输与交换模块；主控制台模块发送配置参数，接收飞行参数；客户端模块发送飞行参数，接收配置参数，监视端模块接收配置参数和飞行参数，客户端模块位于如权利要求1-4任一项所述的座舱重构系统；
主控制台模块负责设定训练科目、基本仿真参数设定、仿真速度控制、选择监视端监控对象，发送定位操作命令，显示实时飞行参数数据，显示二维飞行航迹，对飞行训练结果进行评估；
监视端模块负责使用鼠标改变观察视角，实时监控座舱飞行的三维姿态和运动轨迹；
网络数据传输和交换模块负责连接其余三个模块，实现通信网络的控制、数据传输和时钟同步功能；
客户端模块完成座舱的虚实融合，通过头部姿态跟踪模块和特征识别模块定位出飞行员的六自由度参数，配和视景管理、视景渲染、仪表管理、声音仿真实现虚实融合。
6.如权利要求5所述的基于增强现实的座舱重构系统，其特征在于，座舱实时读取传感器模拟数据和写入参数数据以控制传感器状态，使用传感器解码数据进行飞行动力学计算，并实时向客户端发送飞行参数数据，客户端向主控制台模块和监视端模块发送飞行参数数据。
7.如权利要求5所述的基于增强现实的座舱重构系统，其特征在于，接收主控制台的科目训练命令，进行定位操作，进行编队飞行训练，进行武器发射训练。
8.如权利要求5所述的基于增强现实的座舱重构系统，其特征在于，网络数据传输与交换模块包括控制网络、数据网络和时钟同步网络三个部分，其中控制网络和数据网络建立在同一个以太网链路；时钟同步网络建立在基于IEEE1588协议的链路。
9.一种基于增强现实的训练方法，其特征在于，该方法包括如下步骤：
S1、通过电源总控开关控制客户端模块、监视端模块、网络数据传输与交换模块、主控制台模块顺序上电，上电顺序由电源时序器保障，客户端、网络数据传输、监视端和主控制台随系统上电启动；
S2、通过主控制台模块完成各个模块硬件一键式监控自检，对软件服务进行一键式顺序开启，启动流程可以配置和保存；
S3、完成摄像机、投影仪设备的启动和配置；
S4、通过主控制台模块搭建作战仿真想定，配置装备定义、兵力生成、任务想定、任务分配和流程控制；
S5、通过监视端完成头部信息的采集与跟踪，完成手势姿态信息的定位与跟踪；
S6、通过网络数据传输与交换模块将监视端模块采集到的视频信息传输给客户端模块的座舱虚实融合模块，通过客户端模块完成计算和渲染融合，合成视频信息，通过投影仪输出到座舱内；
S7、在系统运行过程中，通过主控制台的飞行数据回放模块和数据传输与交换模块完成对飞行数据的调取和回放；
S8、完成试验后，通过主控制台将各系统停止，关闭软硬件，通过电源总控开关完成硬件顺序下电。
10.如权利要求9所述的基于增强现实的座舱重构系统，其特征在于，客户端模块包括特征识别模块、图像采集模块、图像预处理模块、头部姿态跟踪模块和座舱虚实融合模块，通过客户端模块的特征识别模块、图像采集模块、图像预处理模块、头部姿态跟踪模块将采集到的信息解析出六自由度信息，座舱虚实融合模块完成计算和渲染融合，合成视频信息。
CN202110968850.0A 2021-08-23 2021-08-23 基于增强现实的座舱重构系统及实现方法 Pending CN113689756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110968850.0A CN113689756A (zh) 2021-08-23 2021-08-23 基于增强现实的座舱重构系统及实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110968850.0A CN113689756A (zh) 2021-08-23 2021-08-23 基于增强现实的座舱重构系统及实现方法

Publications (1)

Publication Number Publication Date
CN113689756A true CN113689756A (zh) 2021-11-23

Family

ID=78581894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110968850.0A Pending CN113689756A (zh) 2021-08-23 2021-08-23 基于增强现实的座舱重构系统及实现方法

Country Status (1)

Country Link
CN (1) CN113689756A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019597A (zh) * 2022-05-23 2022-09-06 中国人民解放军海军航空大学 基于云计算与云渲染的航空模拟训练的方法、装置及系统
CN115100666A (zh) * 2022-05-18 2022-09-23 东北大学 基于显著性检测和超分辨率重建的ar会议系统及构建方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160098862A1 (en) * 2014-10-07 2016-04-07 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
CN105763865A (zh) * 2016-02-26 2016-07-13 北京邮电大学 一种基于透明液晶的裸眼3d增强现实的方法及装置
CN205832578U (zh) * 2016-05-23 2016-12-28 李萱丽 裸眼vr时空飞行模拟游戏机以及裸眼3d显示屏
CN106408515A (zh) * 2016-08-31 2017-02-15 郑州捷安高科股份有限公司 一种增强现实的视景合成系统
CN207008717U (zh) * 2017-08-14 2018-02-13 杭州晴光科技有限公司 一种裸眼混合实境设备
CN107767462A (zh) * 2017-10-16 2018-03-06 北京视据科技有限公司 一种非穿戴增强现实全息展示方法及展示系统
CN107884947A (zh) * 2017-11-21 2018-04-06 中国人民解放军海军总医院 裸眼立体视觉混合现实作业模拟系统
CN108877378A (zh) * 2018-08-06 2018-11-23 杭州行开科技有限公司 一种模拟驾驶的裸眼3d互动培训系统及方法
CN110572634A (zh) * 2018-06-06 2019-12-13 广西百业晟科技发展有限责任公司 一种裸眼3d投影显示系统
US20200051533A1 (en) * 2016-10-07 2020-02-13 Korea Electronics Technology Institute System and method for displaying content in association with position of projector

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160098862A1 (en) * 2014-10-07 2016-04-07 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
CN105763865A (zh) * 2016-02-26 2016-07-13 北京邮电大学 一种基于透明液晶的裸眼3d增强现实的方法及装置
CN205832578U (zh) * 2016-05-23 2016-12-28 李萱丽 裸眼vr时空飞行模拟游戏机以及裸眼3d显示屏
CN106408515A (zh) * 2016-08-31 2017-02-15 郑州捷安高科股份有限公司 一种增强现实的视景合成系统
US20200051533A1 (en) * 2016-10-07 2020-02-13 Korea Electronics Technology Institute System and method for displaying content in association with position of projector
CN207008717U (zh) * 2017-08-14 2018-02-13 杭州晴光科技有限公司 一种裸眼混合实境设备
CN107767462A (zh) * 2017-10-16 2018-03-06 北京视据科技有限公司 一种非穿戴增强现实全息展示方法及展示系统
CN107884947A (zh) * 2017-11-21 2018-04-06 中国人民解放军海军总医院 裸眼立体视觉混合现实作业模拟系统
CN110572634A (zh) * 2018-06-06 2019-12-13 广西百业晟科技发展有限责任公司 一种裸眼3d投影显示系统
CN108877378A (zh) * 2018-08-06 2018-11-23 杭州行开科技有限公司 一种模拟驾驶的裸眼3d互动培训系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
罗斌等: "基于混合现实的新型轻量级飞行模拟器系统", 《系统仿真学报》 *
马寰: "裸眼VR交互设计", 《包装工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100666A (zh) * 2022-05-18 2022-09-23 东北大学 基于显著性检测和超分辨率重建的ar会议系统及构建方法
CN115019597A (zh) * 2022-05-23 2022-09-06 中国人民解放军海军航空大学 基于云计算与云渲染的航空模拟训练的方法、装置及系统
CN115019597B (zh) * 2022-05-23 2023-10-03 中国人民解放军海军航空大学 基于云计算与云渲染的航空模拟训练的方法、装置及系统

Similar Documents

Publication Publication Date Title
Vallino Interactive augmented reality
US11533489B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
US9842433B2 (en) Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality
Azuma A survey of augmented reality
US20130063560A1 (en) Combined stereo camera and stereo display interaction
US20120200667A1 (en) Systems and methods to facilitate interactions with virtual content
US20140176591A1 (en) Low-latency fusing of color image data
US20090322671A1 (en) Touch screen augmented reality system and method
CN106873778A (zh) 一种应用的运行控制方法、装置和虚拟现实设备
KR20010074508A (ko) 스포츠 경기의 가상시야를 생성하기 위한 방법 및 장치
CN105264478A (zh) 全息锚定和动态定位
CN113689756A (zh) 基于增强现实的座舱重构系统及实现方法
KR20120044461A (ko) 융합 현실을 이용한 가상 훈련 장치 및 방법
CN107810634A (zh) 用于立体增强现实的显示器
CN111862348B (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
CN108830944B (zh) 光学透视式三维近眼显示系统及显示方法
Vyas et al. Augmented Reality (AR) Applications: A survey on Current Trends, Challenges, & Future Scope.
CN113918021A (zh) 一种3d主动立体可交互沉浸式虚拟现实一体机
WO2022023142A1 (en) Virtual window
Duan et al. Remote environment exploration with drone agent and haptic force feedback
RU2695053C1 (ru) Способ и устройство для управления трехмерными объектами в виртуальном пространстве
Langstrand et al. Synopticon: Sensor fusion for real-time gaze detection and analysis
Beimler et al. Smurvebox: A smart multi-user real-time virtual environment for generating character animations
Elvins Augmented reality: “The future's so bright, I gotta wear (see-through) shades”
Behringer et al. Augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination