CN113038116B - 一种空中加受油模拟训练视景系统 - Google Patents

一种空中加受油模拟训练视景系统 Download PDF

Info

Publication number
CN113038116B
CN113038116B CN202110256499.2A CN202110256499A CN113038116B CN 113038116 B CN113038116 B CN 113038116B CN 202110256499 A CN202110256499 A CN 202110256499A CN 113038116 B CN113038116 B CN 113038116B
Authority
CN
China
Prior art keywords
synchronous
stereo
visual
rendering
active
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110256499.2A
Other languages
English (en)
Other versions
CN113038116A (zh
Inventor
张兵强
方君
闫文君
方伟
邓向阳
王萌
徐涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
School Of Aeronautical Combat Service Naval Aeronautical University Of Pla
Original Assignee
School Of Aeronautical Combat Service Naval Aeronautical University Of Pla
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by School Of Aeronautical Combat Service Naval Aeronautical University Of Pla filed Critical School Of Aeronautical Combat Service Naval Aeronautical University Of Pla
Priority to CN202110256499.2A priority Critical patent/CN113038116B/zh
Publication of CN113038116A publication Critical patent/CN113038116A/zh
Application granted granted Critical
Publication of CN113038116B publication Critical patent/CN113038116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/085—Special purpose teaching, e.g. alighting on water, aerial photography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于虚像显示和主动立体技术的空中加受油模拟训练视景系统构建方法，属于飞行模拟器视景仿真领域。该方法包括多通道视景同步立体渲染模块、主动立体投影显示模块和双目头位运动捕捉模块。多通道视景同步立体渲染模块包括多通道视景渲染设备和同步设备；主动立体投影显示模块包括主动立体投影机、同步信号发射器和虚像显示设备；双目头位运动捕捉模块包括光学标记立体眼镜头盔和双目运动捕捉摄像机。本方法增强了设备的同步性能及飞行员头部运动和姿态的跟踪性能，满足了同时呈现空中加受油视觉环境的纵深感和出屏感的要求，并且具有空中加受油模拟训练虚像显示设备成本低、视景图像同步精度高、飞行员头姿跟踪精度高等优点。

Description

一种空中加受油模拟训练视景系统
技术领域
本发明属于飞行模拟器视景仿真技术领域，具体是指一种基于虚像显示和主动立体技术的空中加受油模拟训练视景系统的构建方法，特别涉及空中加受油专项训练模拟器的视景系统构建。
背景技术
在空中加受油操作过程中，加油机的尾流特别是加油机发动机的尾喷口会对受油机飞行员产生压抑感，对飞机的精确操纵和受油机飞行员心理带来较大影响。空中加受油专项训练模拟器是用于训练飞行员对受油机的精确操纵能力和特情处置水平，其视景仿真系统为飞行员提供逼真的空中加受油视觉环境，满足会合、对接、加油、脱离四个阶段飞行员精确操纵飞机所需的空间相对距离感和位置感。
视景系统的构建即要能够提供较好的景深感，又要能够提供较好的出屏感，即实现加油锥套“近到眼前”的感觉，以满足飞行员加受油对接时进行正确的相对位置和距离判断。传统的实像视景显示系统缺乏立体感和纵深感，即使采用立体投影显示技术营造立体感，也会因纵深感不强影响空中加油的相对距离判断。另一种虚像视景显示系统具有景深好、立体感强、亮度高等优点，但不能够提供较好的出屏感。这两种方式均不能很好的满足飞行员加受油对接时对物体间相对位置和距离的正确判断，从而影响飞行员的训练效果。
发明内容
本发明的目的是提供一种用于空中加受油模拟训练的视景系统构建方法， 实现空中加受油视觉环境的逼真呈现，满足空中加受油模拟训练的相对距离和 位置的精确判断。
为实现上述目的，本发明采用以下技术方案：
本发明提供了一种空中加受油模拟训练视景系统构建方法包括：多通道 视景同步立体渲染模块、主动立体投影显示模块和双目头位运动捕捉模块；
所述多通道视景同步立体渲染模块用于根据受油机的位置实时渲染输出 多通道左右眼帧序列同步立体视频；
所述主动立体投影显示模块用于空中加受油立体图像的同步投影输出、 立体眼镜的同步信号发射和虚像显示；
所述双目头位运动捕捉模块用于受油机飞行员头部运动和姿态的跟踪以 及主动立体图像的观察。
具体地，所述多通道视景同步立体渲染模块包括多通道视景渲染设备和 同步设备；所述多通道视景渲染设备由视景渲染主控机和多个视景渲染服务端 组成，采用的立体显示模式为DisplayPort立体视频，输出的立体视频为经过 软校正融合的刷新率为120Hz的视频图像；所述同步设备为安装在视景渲染主 控机和各视景渲染服务端中用于专业显卡的同步子卡，各同步子卡通过同步信 号线连接，实现专业显卡输出立体视频垂直帧信号的同步。
具体地，所述主动立体投影显示模块包括主动立体投影机、同步信号发 射器和虚像显示设备；所述主动立体投影机分别通过DP(DisplayPort)视频 信号线连接各视景渲染服务端，多个主动立体投影机之间通过同步信号线串接， 用于将120Hz立体视频以主动立体的方式进行同步投影输出；所述同步信号发 射器为红外或射频发射器，通过同步信号线连接主动立体投影机，用于立体眼 镜的同步信号发射；所述虚像显示设备由背投屏和反射镜组成，对背投屏的形 状和反射镜镀膜无特殊要求，反射镜可为非金属镀膜。
具体地，所述双目头位运动捕捉模块包括光学标记立体眼镜头盔和双目 运动捕捉摄像机；所述光学标记立体眼镜头盔为集成主动立体眼镜及眼镜供电、 红外光学标记点和音频通话设备于一体的飞行样式头盔，通过音频信号和立体 眼镜供电线连接音频通话和供电设备；所述双目运动捕捉摄像机采用红外光学 追踪方式，通过USB信号线连接视景渲染主控机实现头部运动和姿态跟踪数据 的传输。
本发明的有益效果是提出一种结合虚像显示技术和主动式立体投影技术 的空中加受油模拟训练视景系统构建方法，采用的主动式立体投影技术降低了 对虚像显示设备中反射镜的反射介质镀膜和背投屏的光学散射层的要求，从而 实现非金属镀膜虚像显示设备上的空中加受油模拟训练视景系统的构建，并增 强了多通道视景渲染设备的同步性能及受油机飞行员头部运动和姿态的跟踪 性能，可满足同时呈现空中加受油视觉环境的纵深感和出屏感的要求，具有空 中加受油模拟训练虚像显示设备成本低、视景图像同步精度高、飞行员头姿跟 踪精度高等优点。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中 将变得明显和容易理解，其中：
图1为本发明实施例提供的一种空中加受油模拟训练视景系统构建方法 的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自 始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元 件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不 能理解为对本申请的限制。
图1为本发明中基于虚像显示和主动立体技术的空中加受油模拟训练视 景系统构建方法的结构示意图，包括多通道视景同步立体渲染模块M1、主动 立体投影显示模块M2和双目头位运动捕捉模块M3。
在本发明实施例中，多通道视景同步立体渲染模块M1包括多通道视景渲 染设备G1和同步设备G2，用于根据受油机的位置实时渲染输出多通道左右眼 帧序列同步立体视频。其中，输出的同步立体视频的刷新率可以为120Hz，左 右眼视频交替输出，左右眼视频刷新率可以各为60Hz。
需要说明的是，在本发明实施例中，如图1所示，多通道视景渲染设备 G1由视景渲染主控机E1和多个视景渲染服务端组成，其中，多个视景渲染服 务器的数量可根据实际情况确定，本实施例以数量为2作为示例，包括视景渲 染服务端E2和视景渲染服务端E3。其中，视景渲染主控机E1完成视景系统 中受油机的位置以太网数据接收、头部运动和姿态跟踪USB数据的接收和人眼 的位置换算，并通过以太网控制多个视景渲染服务端实时渲染输出多通道左右 眼帧序列同步立体视频，该同步立体视频经过运行在各视景渲染服务端的校正 融合软件的处理，可投影产生连续一致的多通道拼接图像；视景渲染主控机 E1和各视景渲染服务端均安装Quadro专业显卡，采用的立体显示模式为DisplayPort立体视频；同步设备G2为安装在视景渲染主控机E1和各视景渲 染服务端中用于Quadro专业显卡的同步子卡Quadro Sync II，各同步子卡通 过同步信号线X1连接，实现Quadro专业显卡输出立体视频垂直帧信号的同步， 以确保多通道左右眼帧序列立体视频的同步性。
在本发明实施例中，如图1所示，主动立体投影显示模块M2包括主动立 体投影机E4、主动立体投影机E5、同步信号发射器E6和虚像显示设备E7。 该主动立体投影显示模块M2用于空中加受油立体图像的同步投影输出、立体 眼镜的同步信号发射和虚像显示。其中，主动立体投影机的数量与视景渲染服 务端的数量一致，并分别通过DP视频信号线X2连接各视景渲染服务端，DP 视频信号线X2在传输视频信号的同时也可以实现同步信号的传输；主动立体 投影机可选择支持主动立体的巴克F80-Q7单芯片DLP(Digital LightProcessing，数字光处理)激光投影机，其支持2560×1600@120Hz的左右眼 帧序列主动立体视频输入；多个主动立体投影机之间通过同步信号线X3串接， 用于将120Hz立体视频以主动立体的方式进行同步投影输出；同步信号发射器 E6可采用红外立体信号发射器H18IS/T或者灿影RF3射频2.4G立体信号发射 器，并通过同步信号线X4连接主动立体投影机E4的同步输出端口，用于立体 眼镜左右眼图像切换的同步信号发射；虚像显示设备E7由背投屏和反射镜构 成，因采用的是主动立体投影显示技术，对背投屏的形状、光学散射层和反射 镜的反射介质无特殊要求，可以是任意形状背投屏和非金属镀膜反射镜。
在本发明实施例中，如图1所示，双目头位运动捕捉模块M3包括光学标 记立体眼镜头盔E8和双目运动捕捉摄像机E9，用于受油机飞行员头部运动和 姿态的跟踪以及主动立体图像的观察。其中，光学标记立体眼镜头盔E8为集 成主动立体眼镜及眼镜供电、红外光学标记点和音频通话设备于一体的飞行样 式头盔，且头盔前方集成了主动立体眼镜，内含话筒和耳机通话设备，此外， 主动立体眼镜的5V供电线与音频通话信号线通过同一的线缆X5连接到座舱内 的音频通话和供电设备E10，从而避免了主动立体眼镜在使用过程中的电量不 足问题。需要说明的是，头盔前方集成的主动立体眼镜的具体实现方式为：将 成品主动立体眼镜支腿去掉，同时眼镜和头盔借用头盔原有孔位进行连接，实 现眼镜在头盔前面上下推动，其中，眼镜电路模块未改动，充电接口改为头盔 5V供电线进行连接。在本发明实施例中，红外光学标记点分布安装在头盔E8 的外表面，仅作为双目运动捕捉摄像机E9的红外光学追踪的参考点，而真正 的头位跟踪传感器是双目运动捕捉摄像机E9。具体地，双目运动捕捉摄像机 E9采用红外光学追踪方式，红外光学追踪方式适用于夜间加受油训练时座舱 昏暗光线下的运动捕捉，可采用OptiTrack(全身动作捕捉系统)的V120:Duo 一体化的双目运动捕捉摄像机，安装在飞行员头部上方的空间，通过USB信号 线X6连接到视景渲染主控机E1以实现头部运动和姿态跟踪数据的传输。
根据本发明实施例中的基于虚像显示和主动立体技术的空中加受油模拟 训练视景系统的构建方法，采用多通道视景渲染输出左右眼帧序列的同步立体 视频，通过主动立体投影机在虚像显示设备上呈现虚像立体的场景，并采用校 正融合软处理、同步子卡、头位运动捕捉等方法确保加受油模拟场景的一致性、 同步性和观察随动性，实现了空中加受油视觉环境的纵深感和出屏感的呈现， 且具有空中加受油模拟训练虚像显示设备成本低、视景图像同步精度高、飞行 员头姿跟踪精度高等优点。
以上结合附图对本发明的具体实施方式进行了描述，但并非本发明保护范 围的限制，本领域技术人员对本发明不需付出创造性劳动即可做出的各种修改 或变形，都涵盖在本发明的保护范围之内。

Claims (2)

1.一种空中加受油模拟训练视景系统，其特征在于，包括：多通道视景同步立体渲染模块、主动立体投影显示模块和双目头位运动捕捉模块；
所述多通道视景同步立体渲染模块用于根据受油机的位置实时渲染输出多通道左右眼帧序列同步立体视频；
所述主动立体投影显示模块用于空中加受油立体图像的同步投影输出、立体眼镜的同步信号发射和虚像显示；
所述双目头位运动捕捉模块用于受油机飞行员头部运动和姿态的跟踪以及主动立体图像的观察；
其中，还包括多通道视景渲染设备、同步设备、主动立体投影机和同步信号发射器和虚像显示设备；
所述多通道视景渲染设备由视景渲染主控机和多个视景渲染服务端组成，采用的立体显示模式为DisplayPort立体视频，输出的立体视频为经过软校正融合的刷新率为120Hz的视频图像，视景渲染主控机完成视景系统中受油机的位置以太网数据接收、头部运动和姿态跟踪USB数据的接收和人眼位置换算，并通过以太网控制多个视景渲染服务端实时渲染输出多通道左右眼帧序列同步立体视频；
所述同步设备为安装在视景渲染主控机和各视景渲染服务端中用于专业显卡的同步子卡，各同步子卡通过同步信号线连接，用于对专业显卡输出的立体视频垂直帧信号进行同步；
所述主动立体投影机的数量与所述视景渲染服务端的数量一致，所述主动立体投影机分别通过DP视频信号线连接各视景渲染服务端，多个主动立体投影机之间通过同步信号线串接，用于将120Hz立体视频以主动立体的方式进行同步投影输出；
所述同步信号发射器为红外或射频发射器，通过同步信号线连接主动立体投影机，用于立体眼镜的同步信号发射。
2.根据权利要求1所述的空中加受油模拟训练视景系统，其特征在于，包括光学标记立体眼镜头盔和双目运动捕捉摄像机；
所述光学标记立体眼镜头盔为集成主动立体眼镜及眼镜供电、红外光学标记点和音频通话设备于一体的飞行样式头盔，通过音频信号和立体眼镜供电线连接音频通话和供电设备；
所述双目运动捕捉摄像机采用红外光学追踪方式，通过USB信号线连接视景渲染主控机实现头部运动和姿态跟踪数据的传输。
CN202110256499.2A 2021-03-09 2021-03-09 一种空中加受油模拟训练视景系统 Active CN113038116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110256499.2A CN113038116B (zh) 2021-03-09 2021-03-09 一种空中加受油模拟训练视景系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110256499.2A CN113038116B (zh) 2021-03-09 2021-03-09 一种空中加受油模拟训练视景系统

Publications (2)

Publication Number Publication Date
CN113038116A CN113038116A (zh) 2021-06-25
CN113038116B true CN113038116B (zh) 2022-06-28

Family

ID=76467274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110256499.2A Active CN113038116B (zh) 2021-03-09 2021-03-09 一种空中加受油模拟训练视景系统

Country Status (1)

Country Link
CN (1) CN113038116B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416006A (zh) * 2022-01-26 2022-04-29 西安应用光学研究所 一种随动于头盔显示装置的浸入式综合视景生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394400A (zh) * 2014-12-09 2015-03-04 山东大学 基于立体多画显示的隔网对抗性项目虚拟仿真系统及方法
CN104916182A (zh) * 2015-05-27 2015-09-16 北京宇航系统工程研究所 一种沉浸式虚拟现实维修与培训仿真系统
CN107333121A (zh) * 2017-06-27 2017-11-07 山东大学 曲面屏幕上移动视点的沉浸式立体渲染投影系统及其方法
WO2018006377A1 (zh) * 2016-07-07 2018-01-11 深圳狗尾草智能科技有限公司 实时互动动画的全息投影系统、方法及人工智能机器人

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248905A (zh) * 2013-03-22 2013-08-14 深圳市云立方信息科技有限公司 一种模仿全息3d场景的显示装置和视觉显示方法
CN104258566B (zh) * 2014-10-16 2015-04-08 山东大学 一种基于多画显示的虚拟射击影院系统与方法
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US20190141314A1 (en) * 2017-11-09 2019-05-09 Mindtronic Ai Co.,Ltd. Stereoscopic image display system and method for displaying stereoscopic images
CN108616752B (zh) * 2018-04-25 2020-11-06 北京赛博恩福科技有限公司 支持增强现实交互的头戴设备及控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394400A (zh) * 2014-12-09 2015-03-04 山东大学 基于立体多画显示的隔网对抗性项目虚拟仿真系统及方法
CN104916182A (zh) * 2015-05-27 2015-09-16 北京宇航系统工程研究所 一种沉浸式虚拟现实维修与培训仿真系统
WO2018006377A1 (zh) * 2016-07-07 2018-01-11 深圳狗尾草智能科技有限公司 实时互动动画的全息投影系统、方法及人工智能机器人
CN107333121A (zh) * 2017-06-27 2017-11-07 山东大学 曲面屏幕上移动视点的沉浸式立体渲染投影系统及其方法

Also Published As

Publication number Publication date
CN113038116A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
US10257492B2 (en) Image encoding and display
EP3110518B1 (en) Image encoding and display
US9261762B2 (en) Multi-projection system and method comprising direction-changeable audience seats
US9191659B2 (en) Collimated stereo display system
US5581271A (en) Head mounted visual display
CN103513438B (zh) 一种多视角裸眼立体显示系统及其显示方法
US20130128012A1 (en) Simulated head mounted display system and method
CN105103034A (zh) 显示器
CN110248175B (zh) 用于多投影的附加效果系统和方法
EP2920646B1 (en) Multi-projection system and method comprising direction-changeable audience seats
US8564622B1 (en) Image generation device for generating multiple image streams
CN113038116B (zh) 一种空中加受油模拟训练视景系统
CN105044912B (zh) 一种3d旁轴虚像显示系统
US7301510B2 (en) Methods and apparatus for reducing frame violations in a stereoscopic display
CN1972460A (zh) 拼接型光栅式三维自由立体显示屏
CN114746903B (zh) 虚拟、增强和混合现实系统和方法
CN102196276B (zh) 一种完全立体电视图像显示方案
CN113891063B (zh) 一种全息展示方法及装置
CN108234993A (zh) 一种基于狭缝光栅的裸眼立体显示系统
Sweet et al. Depth perception, cueing, and control
CN113875230B (zh) 混合模式三维显示方法
CN201805518U (zh) 基于hdmi/dvi线缆的3d眼镜同步源及3d视频系统
JP4481275B2 (ja) ３次元映像情報の伝送方法
CN113611181B (zh) 一种虚拟仿真场景的立体显示方法及装置
Sabry Screenless Video: Building a Technologically Advanced World without Screens

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant