CN101231790A - 基于多个固定摄像机的增强现实飞行模拟器 - Google Patents

基于多个固定摄像机的增强现实飞行模拟器 Download PDF

Info

Publication number
CN101231790A
CN101231790A CNA2007103036039A CN200710303603A CN101231790A CN 101231790 A CN101231790 A CN 101231790A CN A2007103036039 A CNA2007103036039 A CN A2007103036039A CN 200710303603 A CN200710303603 A CN 200710303603A CN 101231790 A CN101231790 A CN 101231790A
Authority
CN
China
Prior art keywords
scene
user
fixed cameras
real
flight simulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007103036039A
Other languages
English (en)
Inventor
翁冬冬
王涌天
刘越
李林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CNA2007103036039A priority Critical patent/CN101231790A/zh
Publication of CN101231790A publication Critical patent/CN101231790A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明为一种基于多个固定摄像机的增强现实飞行模拟器。该发明包括模拟器舱体，跟踪装置，头盔显示器和多个固定位置的摄像机。多个固定摄像机用于拍摄真实场景，通过计算机对拍摄到的画面进行选择和裁剪，其结果作为虚实融合过程中的真实场景。跟踪装置用于跟踪使用者的头部姿态，计算虚拟场景的准确位置。头盔显示器用于显示最终的虚实融合的图像。

Description

基于多个固定摄像机的增强现实飞行模拟器
技术领域
本发明涉及一种飞行模拟器，尤其是涉及一种利用多个固定位置摄像机拍摄真实场景的增强现实飞行模拟器。
背景技术
飞行模拟器是针对使用者所需要驾驶的飞机型号而设计的模拟执行飞行任务的装置。其主要功能是在地面模拟空中的飞行条件和真实飞机的运动状态，为使用者提供运动感觉、视觉、听觉和操纵负荷等各种感觉，使用者会有身临其境如真实驾驶飞机一样。
基于增强现实的飞行模拟器克服了传统模拟器造价昂贵，结构复杂，不易普及等缺点，实现了轻量型，低成本的目标。基于增强现实的飞行模拟器依据所采用显示设备的不同主要分为两类：光学透视式和视频透视式。其中，光学透视式中的真实场景透过头盔上的半透半反玻璃直接进入使用者的视野，跟踪器跟踪使用者头部姿态计算虚拟场景的位置，将虚拟场景与真实场景进行叠加实现增强现实的效果。视频透视式模拟器中的使用者处在一个完全沉浸的环境中，头盔前部安装场景摄像机用以拍摄真实场景的图像，图像传入计算机与虚拟场景融合后显示在头盔显示器中。目前这两种方式虽然克服了传统模拟器的一些缺点，但在系统的注册配准方面都存在共同的困难。由于跟踪装置只是用来跟踪使用者的头部姿态，所以虚拟场景的位置可以准确计算，但虚拟场景与真实场景之间没有配准，为了使系统实现虚实融合，必须在真实场景中增加标志点，在头盔上除了加装场景摄像机外还需加装一个配准摄像机，从而实现虚实配准。系统使用时使用者头部是可以自由运动的，为了在头部运动的各个位置都能准确进行配准，真实场景中需要布置数量众多的标志点。这样做在增加系统复杂程度的同时，影响了系统的外观。
发明内容
为了克服现有基于增强现实技术的飞行模拟器配准方面的缺点，本发明利用多个固定位置的场景摄像机拍摄真实场景，将各个摄像机拍摄的图像拼接获得真实场景的图像，拼接得到的图像直接与虚拟场景进行融合。解决了虚实配准的问题，大大提高了配准精度。
本发明的技术方案是：根据所需跟踪的场景范围大小，采用若干个场景摄像机，将摄像机统一安装在支架上，悬挂于使用者头部附近，使得摄像机能够从和使用者视点相近的位置将真实场景全部拍摄到。跟踪使用者头部姿态的摄像机安装在头部上方。多个场景摄像机拍摄到的图像同时传入计算机，计算机根据每个摄像机拍摄到的内容从中裁剪出所需要的部分，直接将其叠加到虚拟场景的对应位置，实现虚实配准和融合。
附图说明
图1为本发明基于多个固定摄像机的增强现实飞行模拟器示意图；
图2是多个摄像机安装示意图；
图中：1-模拟器舱体、2-跟踪装置、3-头盔显示器、4-固定位置摄像机、5-卡盘支架。
具体实施方式
下面结合附图对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
本发明的核心内容是，使用多个固定位置摄像机拍摄真实场景，以获得使用者头部在各个视点所能看到的全部真实场景图像。通过计算机对拍摄到的图像进行选择和裁剪，处理的结果直接与虚拟场景进行叠加，实现虚实融合和配准。
参照图1，基于多个固定摄像机的增强现实飞模拟器主要分为三个部分：模拟器舱体1，跟踪装置2、头盔显示器3和固定位置摄像机4。
模拟器舱体1为真实飞机的模拟机舱，舱内构造与真实飞机一致。跟踪装置2为一台跟踪摄像机，用于跟踪使用者的头部姿态。头盔显示器3为系统的显示设备，用于将虚实融合后的图像呈现给使用者。  由一个或多个固定位置的场景摄像机组成固定位置摄像机4，用来拍摄整个真实场景。
图2是多个摄像机安装示意图。  在圆形卡盘支架5上打孔或者采用其他方式将多个摄像机固定在卡盘支架上，将固定后的卡盘支架5及摄像机悬挂于使用者头部附近。图1所示的使用实例中，多摄像机结构由四个场景摄像机组成，它们各自拍摄机模拟器机舱内的不同位置。前方一个摄像机拍摄机舱仪表，后方并排三个摄像机分别拍摄使用者左手边的按键、舱体内部和使用者右手边的按键。
根据对本发明的上述描述，本发明能够有效的解决基于增强现实的飞行模拟器的虚实配准问题，实现准确实时的虚实融合。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于多个固定摄像机的增强现实飞行模拟器，该模拟器包括：多个固定摄像机组成的真实图像采集装置，模拟真实飞机操作环境的模拟器舱体，用于跟踪使用者头部的运动姿态跟踪装置，用于显示虚实融合的最终图像头盔显示器，其特征在于：根据所需跟踪的场景范围大小，采用多个固定位置的摄像机组成的摄像机组拍摄真实场景，跟踪装置跟踪使用者的头部运动姿态后计算虚拟场景的准确位置，将多个固定摄像机拍摄的真实背景与计算后的虚拟场景融合，通过头盔显示器将最终融合的图像呈现给使用者，实时获取真实场景的图像。
2.根据权利要求1所述的基于多个固定摄像机的增强现实飞行模拟器，其特征在于：将多个场景摄像机统一安装在卡盘支架上，悬挂于使用者头部附近，使得摄像机能够从和使用者视点相近的位置将真实场景全部拍摄到。
3.根据权利要求2所述的基于多个固定摄像机的增强现实飞行模拟器，其特征在于：在卡盘支架上采用打孔或者其他方式固定多个摄像机。
CNA2007103036039A 2007-12-20 2007-12-20 基于多个固定摄像机的增强现实飞行模拟器 Pending CN101231790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2007103036039A CN101231790A (zh) 2007-12-20 2007-12-20 基于多个固定摄像机的增强现实飞行模拟器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2007103036039A CN101231790A (zh) 2007-12-20 2007-12-20 基于多个固定摄像机的增强现实飞行模拟器

Publications (1)

Publication Number Publication Date
CN101231790A true CN101231790A (zh) 2008-07-30

Family

ID=39898227

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007103036039A Pending CN101231790A (zh) 2007-12-20 2007-12-20 基于多个固定摄像机的增强现实飞行模拟器

Country Status (1)

Country Link
CN (1) CN101231790A (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010037222A1 (en) * 2008-09-30 2010-04-08 Université de Montréal Method and device for assessing, training and improving perceptual-cognitive abilities of individuals
CN102063522A (zh) * 2010-11-03 2011-05-18 中航华东光电有限公司 光电式头盔跟踪系统灯组布局优化方法
CN102184655A (zh) * 2011-05-03 2011-09-14 四川省绵阳西南自动化研究所 虚实场景信号便携式处理平台
CN101763443B (zh) * 2008-12-23 2012-01-04 江西洪都航空工业集团有限责任公司 航电系统数字化设计验证系统与方法
CN102566752A (zh) * 2010-11-06 2012-07-11 吴小平 一种模拟无穷远点像的仿真方法
CN102831816A (zh) * 2012-08-17 2012-12-19 深圳先进技术研究院 一种提供实时场景地图的装置
CN103405239A (zh) * 2013-08-07 2013-11-27 青岛赛博凯尔信息技术有限公司 驾驶创伤后应激障碍虚拟现实治疗系统
CN104021590A (zh) * 2013-02-28 2014-09-03 北京三星通信技术研究有限公司 虚拟试穿试戴系统和虚拟试穿试戴方法
CN104157180A (zh) * 2014-08-13 2014-11-19 芜湖航飞科技股份有限公司 一种飞行训练模拟器的视景仿真技术
CN104280022A (zh) * 2013-07-13 2015-01-14 哈尔滨点石仿真科技有限公司 视觉辅助惯性测量单元的数字头盔显示设备跟踪系统
CN105828021A (zh) * 2015-01-05 2016-08-03 沈阳新松机器人自动化股份有限公司 基于增强现实技术的特种机器人图像采集控制方法及系统
CN106157731A (zh) * 2015-04-07 2016-11-23 深圳威阿科技有限公司 一种具有混合现实功能的模拟飞行座舱系统及其处理方法
CN106530894A (zh) * 2017-01-10 2017-03-22 北京捷安申谋军工科技有限公司 一种采用增强现实技术的飞行训练器虚拟平显方法及系统
CN106710362A (zh) * 2016-11-30 2017-05-24 中航华东光电（上海）有限公司 使用虚拟现实设备进行的飞行训练方法
CN107154197A (zh) * 2017-05-18 2017-09-12 河北中科恒运软件科技股份有限公司 沉浸式飞行模拟器
CN107396058A (zh) * 2017-08-23 2017-11-24 芜湖超源力工业设计有限公司 一种航天专用飞行模拟训练监控装置
CN108701425A (zh) * 2016-01-14 2018-10-23 比伯拉赫利勃海尔零部件有限公司 起重机，建筑机械或工业卡车的模拟器
WO2019140945A1 (zh) * 2018-01-22 2019-07-25 中国人民解放军陆军航空兵学院 一种应用于飞行模拟器的混合现实方法
CN110134247A (zh) * 2019-05-24 2019-08-16 威海海洋职业学院 一种基于vr的船舶运动姿态增强现实互动系统及方法
CN110211449A (zh) * 2018-02-28 2019-09-06 深圳市掌网科技股份有限公司 一种基于增强现实的飞行驾驶训练系统以及方法
CN110648405A (zh) * 2019-10-12 2020-01-03 江南大学 一种基于增强现实的飞行操作辅助方法和系统
CN110764620A (zh) * 2019-10-30 2020-02-07 中仿智能科技（上海）股份有限公司 一种增强半虚拟现实飞机座舱系统
CN110782722A (zh) * 2019-09-30 2020-02-11 南京浩伟智能科技有限公司 一种基于ar系统的教学系统及教学方法
CN112289125A (zh) * 2020-11-16 2021-01-29 株洲壹星科技股份有限公司 一种车辆mr模拟驾驶实训方法及实训装置
CN112669671A (zh) * 2020-12-28 2021-04-16 北京航空航天大学江西研究院 一种基于实物交互的混合现实飞行仿真系统
CN113298955A (zh) * 2021-05-25 2021-08-24 厦门华厦学院 一种真实场景与虚拟现实场景融合方法、系统及飞行模拟器

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010037222A1 (en) * 2008-09-30 2010-04-08 Université de Montréal Method and device for assessing, training and improving perceptual-cognitive abilities of individuals
US9566029B2 (en) 2008-09-30 2017-02-14 Cognisens Inc. Method and device for assessing, training and improving perceptual-cognitive abilities of individuals
CN101763443B (zh) * 2008-12-23 2012-01-04 江西洪都航空工业集团有限责任公司 航电系统数字化设计验证系统与方法
CN102063522B (zh) * 2010-11-03 2014-10-29 中航华东光电有限公司 光电式头盔跟踪系统灯组布局优化方法
CN102063522A (zh) * 2010-11-03 2011-05-18 中航华东光电有限公司 光电式头盔跟踪系统灯组布局优化方法
CN102566752A (zh) * 2010-11-06 2012-07-11 吴小平 一种模拟无穷远点像的仿真方法
CN102184655A (zh) * 2011-05-03 2011-09-14 四川省绵阳西南自动化研究所 虚实场景信号便携式处理平台
CN102831816A (zh) * 2012-08-17 2012-12-19 深圳先进技术研究院 一种提供实时场景地图的装置
CN102831816B (zh) * 2012-08-17 2014-11-19 深圳先进技术研究院 一种提供实时场景地图的装置
CN104021590A (zh) * 2013-02-28 2014-09-03 北京三星通信技术研究有限公司 虚拟试穿试戴系统和虚拟试穿试戴方法
CN104280022A (zh) * 2013-07-13 2015-01-14 哈尔滨点石仿真科技有限公司 视觉辅助惯性测量单元的数字头盔显示设备跟踪系统
CN103405239A (zh) * 2013-08-07 2013-11-27 青岛赛博凯尔信息技术有限公司 驾驶创伤后应激障碍虚拟现实治疗系统
CN103405239B (zh) * 2013-08-07 2016-01-06 青岛赛博凯尔信息技术有限公司 驾驶创伤后应激障碍虚拟现实治疗系统
CN104157180A (zh) * 2014-08-13 2014-11-19 芜湖航飞科技股份有限公司 一种飞行训练模拟器的视景仿真技术
CN105828021A (zh) * 2015-01-05 2016-08-03 沈阳新松机器人自动化股份有限公司 基于增强现实技术的特种机器人图像采集控制方法及系统
CN106157731A (zh) * 2015-04-07 2016-11-23 深圳威阿科技有限公司 一种具有混合现实功能的模拟飞行座舱系统及其处理方法
CN106157731B (zh) * 2015-04-07 2018-09-18 深圳威阿科技有限公司 一种具有混合现实功能的模拟飞行座舱系统及其处理方法
CN108701425B (zh) * 2016-01-14 2021-10-19 比伯拉赫利勃海尔零部件有限公司 起重机，建筑机械或工业卡车的模拟器
CN108701425A (zh) * 2016-01-14 2018-10-23 比伯拉赫利勃海尔零部件有限公司 起重机，建筑机械或工业卡车的模拟器
CN106710362A (zh) * 2016-11-30 2017-05-24 中航华东光电（上海）有限公司 使用虚拟现实设备进行的飞行训练方法
CN106530894A (zh) * 2017-01-10 2017-03-22 北京捷安申谋军工科技有限公司 一种采用增强现实技术的飞行训练器虚拟平显方法及系统
CN106530894B (zh) * 2017-01-10 2019-03-08 北京捷安申谋军工科技有限公司 一种飞行训练器虚拟平显方法及系统
CN107154197A (zh) * 2017-05-18 2017-09-12 河北中科恒运软件科技股份有限公司 沉浸式飞行模拟器
CN107396058B (zh) * 2017-08-23 2020-05-15 芜湖超源力工业设计有限公司 一种航天专用飞行模拟训练监控装置
CN107396058A (zh) * 2017-08-23 2017-11-24 芜湖超源力工业设计有限公司 一种航天专用飞行模拟训练监控装置
WO2019140945A1 (zh) * 2018-01-22 2019-07-25 中国人民解放军陆军航空兵学院 一种应用于飞行模拟器的混合现实方法
CN110211449A (zh) * 2018-02-28 2019-09-06 深圳市掌网科技股份有限公司 一种基于增强现实的飞行驾驶训练系统以及方法
CN110134247A (zh) * 2019-05-24 2019-08-16 威海海洋职业学院 一种基于vr的船舶运动姿态增强现实互动系统及方法
CN110782722A (zh) * 2019-09-30 2020-02-11 南京浩伟智能科技有限公司 一种基于ar系统的教学系统及教学方法
CN110648405A (zh) * 2019-10-12 2020-01-03 江南大学 一种基于增强现实的飞行操作辅助方法和系统
CN110648405B (zh) * 2019-10-12 2022-02-01 江南大学 一种基于增强现实的飞行操作辅助方法和系统
CN110764620A (zh) * 2019-10-30 2020-02-07 中仿智能科技（上海）股份有限公司 一种增强半虚拟现实飞机座舱系统
CN112289125A (zh) * 2020-11-16 2021-01-29 株洲壹星科技股份有限公司 一种车辆mr模拟驾驶实训方法及实训装置
CN112669671A (zh) * 2020-12-28 2021-04-16 北京航空航天大学江西研究院 一种基于实物交互的混合现实飞行仿真系统
CN113298955A (zh) * 2021-05-25 2021-08-24 厦门华厦学院 一种真实场景与虚拟现实场景融合方法、系统及飞行模拟器
CN113298955B (zh) * 2021-05-25 2024-04-30 厦门华厦学院 一种真实场景与虚拟现实场景融合方法、系统及飞行模拟器

Similar Documents

Publication Publication Date Title
CN101231790A (zh) 基于多个固定摄像机的增强现实飞行模拟器
US9892563B2 (en) System and method for generating a mixed reality environment
CN106157359B (zh) 一种虚拟场景体验系统的设计方法
EP3666352B1 (en) Method and device for augmented and virtual reality
CN104956252B (zh) 用于近眼显示设备的外围显示器
CN105212418A (zh) 基于红外夜视功能的增强现实智能头盔研制
JP2024028376A (ja) 拡張現実および仮想現実のためのシステムおよび方法
CN102540464B (zh) 提供环绕视频的头戴式显示设备
US10678238B2 (en) Modified-reality device and method for operating a modified-reality device
US20130083173A1 (en) Virtual spectator experience with a personal audio/visual apparatus
CN107065195B (zh) 一种模块化mr设备成像方法
EP2869573B1 (en) Video output device, 3d video observation device, video display device, and video output method
US20070247457A1 (en) Device and Method for Presenting an Image of the Surrounding World
CN108022302A (zh) 一种Inside-Out空间定位的AR立体显示装置
WO2022105613A1 (zh) Vr头戴式一体机
CN105452994A (zh) 虚拟物体的同时优选观看
WO2017120271A1 (en) Apparatuses, methods and systems for application of forces within a 3d virtual environment
CN104995583A (zh) 用于混合现实环境的直接交互系统
CN108040247A (zh) 一种头戴式增强现实显示设备及方法
KR101662032B1 (ko) 조종사의 시선 방향과 동기화 된 uav 항공 영상 촬영 시스템
WO2014108799A2 (en) Apparatus and methods of real time presenting 3d visual effects with stereopsis more realistically and substract reality with external display(s)
US20200012335A1 (en) Individual visual immersion device for a moving person with management of obstacles
US20230334788A1 (en) Mixed-Reality Visor For In-Situ Vehicular Operations Training
CN108830944B (zh) 光学透视式三维近眼显示系统及显示方法
Broll Augmented reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20080730