CN106408515A - 一种增强现实的视景合成系统 - Google Patents

一种增强现实的视景合成系统 Download PDF

Info

Publication number
CN106408515A
CN106408515A CN201610796203.5A CN201610796203A CN106408515A CN 106408515 A CN106408515 A CN 106408515A CN 201610796203 A CN201610796203 A CN 201610796203A CN 106408515 A CN106408515 A CN 106408515A
Authority
CN
China
Prior art keywords
ball curtain
virtual
real
augmented reality
ball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610796203.5A
Other languages
English (en)
Inventor
张安全
白晓亮
杜艳齐
葛耀旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou J&T Hi Tech Co Ltd
Original Assignee
Zhengzhou J&T Hi Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou J&T Hi Tech Co Ltd filed Critical Zhengzhou J&T Hi Tech Co Ltd
Priority to CN201610796203.5A priority Critical patent/CN106408515A/zh
Publication of CN106408515A publication Critical patent/CN106408515A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明提出的增强现实的视景合成系统可实现虚实融合，将真实场景作为背景，虚拟信息作为覆盖层显示于真实场景之上进行渲染，主要分为四个步骤：离线标定过程，包括确定真实摄像机的内参数、确定飞机位置和姿态与摄像机位置和姿态的相对关系；实时在线跟踪过程，包括建立世界坐标系，并计算出摄像机的外参数；三维物体投影过程，包括获取虚拟空间根据摄像机的位置和姿态，并从数据库中调取一定范围内的三维模型投影在虚拟的成像面上，完成虚拟三维物体投影；虚实融合过程，虚拟信息作为覆盖层显示于真实场景之上进行渲染，实现数据融合。

Description

一种增强现实的视景合成系统
技术领域
本专利涉及一种大视场实像视景显示系统，属于虚拟现实显示技术领域。
背景技术
飞行视景系统是一类新型的飞行感知系统，能为飞行员提供可视化的飞行场景信息。相比传统上蓝下棕的“天地球”，明示视景系统能更直观地反映给飞行员更丰富的信息。目前飞行视景系统主要有合成视景系统(Synthetic Vision System，SVS)和增强视景系统(Enhanced Vision System，EVS)，二者都能利用机载传感设备生成特殊的视景场景，其中合成视景系统能基于数据库为飞行员构建一个完全虚拟的飞行场景，而增强视景系统是将机载传感设备(如红外摄像机、毫米波雷达)获得的外界场景信息显示在视景画面中。这两种视景方案均可提高飞行员对外界和飞机白身的感知程度，但其也各有不足:如合成视景系统需要携带大量数据库信息，而增强视景系统显示的传感器探测信息缺乏对信息重点的突出。
随着计算机技术的广泛应用与发展，一种新技术逐渐为大众了解，并日益成熟，这就是增强现实技术。增强现实技术是一种高级的计算可视化技术，利用计算机产生现实环境中不存在的虚拟对象，通过传感跟踪技术将虚拟对象准确“放置”在真实环境中，再借助显示设备将虚拟对象与真实环境融为一体，呈现给使用者一个感官效果真实的新环境。
针对合成视景和增强视景两种系统的不足，本专利提出一种基于增强现实技术的飞行视景系统，该系统为飞行员呈现出一个虚实结合的场景。与前两种视景系统相比，增强现实视景系统具有装载数据量小、显示直观等特点，能为飞行员提供更有效的信息。
发明内容
本专利在视觉认知视点信息的基础上研究驾驶环境下增强现实的视觉认知建模，通过模块化层次稀疏网络，建立视觉认知稀疏深度可计算模型，所提出的模型，在较大尺度的上层为模块化深度网络，每个模块下层是具有较小尺度的分布式链接对象映 射系统。本专利基于视觉认知对增强现实应用背景下的人脑认知、特别是视觉认知建模方法进行研究。
增强现实视景系统的最终效果是：飞行员在屏幕上能看到真的机外场景，同时在特定的位置(如打击目标处、地形险要处等感兴趣区域)，能看到相应的虚拟信息(包括文字、符号、三维模型等)。对获取的外界图像实时叠加相应的可视化信息，使飞行员能同时了解飞机外部的环境，同时还能将关注的重点集中在特定的提示区域，与真实的场景融合显示也更加直观，便于理解。由于信息量较小、无需携带大量地形数据，因此信息的更新和传输也就更及时，更便于地面部门更新数据及在飞行过程中进行数据的实时交换。
机载跟踪设备提供飞机的位姿数据，以便用于定位虚拟物体，而白身携带的三维场景获取设备则用于获取目标点的真实场景信息(若获取的是图像、视频信息，则是三维场景信息在摄像设备中的二维投影；若是三维信息，则可直接输入)。本专利主要以采用二维图像信息形式获取真实场景。假设真实场景中有一个摄像机，真实世界中经过摄像机的投影将会受到成像面大小的限制被部分呈现在该成像面上。想象虚拟场景中也有一个摄像机，且该摄像机的成像特性等内部参数与真实世界中的摄像机一样，虚拟摄像机的位置和姿态也与真实摄像机的位置、姿态的相同，且虚拟场景中的三维场景的尺度与真实世界中完全一致，虚拟场景中也有一部分信息被投影至距虚拟摄像机距离为了的成像平面上。由于虚拟和真实世界中的摄像机的参数完全一致，摄像机相对于外部场景的位置和朝向也是一致的，因此虚拟和真实的场景完全匹配，如同用一个摄像机拍摄后看到的。
相应的增强现实的视景合成系统，其特征在于：包括多个投影机组和一个成像球幕，每个投影机组包括第一投影机和第二投影机；第一投影机和第二投影机投射在球幕上的图像在垂直方向上有重合区域，重合区域的两个图像融合成为连续图像；多个投影机组沿球幕圆周方向分布，布置在球幕上方，相邻两投影仪组投射到球幕上的画面在水平方向形成重合区域；成像球幕划分为若干块球瓣，球瓣之间无缝连接，球幕内表面喷涂增益漆。
进一步的增强现实的视景合成系统，其特征在于：所述成像球幕半径及大小依据实际显示系统设计要求的视场角大小确定，图像连续且布满整个球幕。
进一步的增强现实的视景合成系统，其特征在于：眼点位于球幕的球心位置，投影机投出的光线经球幕反射后射入眼点。
有益效果
本专利提出一种基于增强现实技术的视景合成系统，该系统为飞行员呈现出一个虚实结合的场景。与前两种视景系统相比，增强现实视景系统具有装载数据量小、显示直观等特点，能为飞行员提供更有效的信息。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1增强现实视景合成原理图；
图2视景合成系统工作流程图；
图3视觉认知建模方法研究流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
增强现实的视景合成系统，包括多个投影机组和一个成像球幕，每个投影机组包括第一投影机和第二投影机；第一投影机和第二投影机投射在球幕上的图像在垂直方向上有重合区域，重合区域的两个图像融合成为连续图像；多个投影机组沿球幕圆周方向分布，布置在球幕上方，相邻两投影仪组投射到球幕上的画面在水平方向形成重合区域；成像球幕划分为若干块球瓣，球瓣之间无缝连接，球幕内表面喷涂增益漆。
所述成像球幕半径及大小依据实际显示系统设计要求的视场角大小确定，图像连续且布满整个球幕。
眼点位于球幕的球心位置，投影机投出的光线经球幕反射后射入眼点。
结合相机模型具体介绍增强现实视景系统的工作流程。增强现实视景系统可以分成离线和实时在线两个过程。离线主要是对设备的标定；在线过程则是利用标定的数据结合传感器数据对场景进行跟踪与绘制。
离线标定过程:
标定的过程主要是确定真实摄像机的内参数，在此标定基础上才能确保虚拟图像与真实图像能够完全匹配。
标定的另一个方面是确定飞机位置和姿态与摄像机位置和姿态的相对关系。由于机载设备直接获得位置和姿态数据仅表征飞机的位置和姿态，并不能代表摄像机的位置和姿态，因此需要提前标定。若摄像机相对于飞机静止，则可以用该映射关系可以在后续的跟踪过程确定摄像机的旋转平移矩阵；若摄像机与飞机之问非相对静止，后续实时计算中仍需考虑它们两者之问的相对运动，以确定摄像机相对于世界坐标系的旋转平移矩阵。
实时在线跟踪过程:
建立世界坐标系(通常世界坐标系的原点设置在地球的球心，坐标系的z轴由圆心指向北极，XY车由构成的平面与赤道平面重合)，并在此基础上利用机载位置姿态传感器获得的飞机航向角、俯仰角、横滚角以及飞机经纬度、高度计算出当前摄像机的外参数，即摄像机的6个白由度信息，最终计算出摄像机的外参数矩阵M2。
三维物体投影过程
真实空间中的三维点经过摄像机成像在其焦平面上；同时，虚拟空间根据摄像机的位置和姿态从数据库调取一定范围内的三维模型，这些三维模型点也在虚拟摄像机内外参数矩阵的作用下投影在虚拟的成像面上某位置(u,v),完成虚拟三维物体投影过程。
虚实融合过程:
以上步骤分别获取了真实世界和虚拟世界中的三维点信息对应的二维图像信息。设真实物体的某一点(X1,Y1,Z1)投影于图像平面的(X2,Y2),若该位置上存在虚拟点，则这两点重合，虚实点就完成了匹配。渲染时，通常情况下(不考虑真实景物遮挡虚拟物 体，或为了突出虚拟信息)虚拟图像叠加于真实图像之上，因此可将真实场景作为背景，虚拟信息作为覆盖层显示于真实场景之上进行渲染，即可实现虚实融合。至此，整个增强现实视景的工作过程也全部完成。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (3)

1.一种增强现实的视景合成系统，其特征在于：包括多个投影机组和一个成像球幕，每个投影机组包括第一投影机和第二投影机；第一投影机和第二投影机投射在球幕上的图像在垂直方向上有重合区域，重合区域的两个图像融合成为连续图像；多个投影机组沿球幕圆周方向分布，布置在球幕上方，相邻两投影仪组投射到球幕上的画面在水平方向形成重合区域；成像球幕划分为若干块球瓣，球瓣之间无缝连接，球幕内表面喷涂增益漆。
2.根据权利要求1所述一种增强现实的视景合成系统，其特征在于：所述成像球幕半径及大小依据实际显示系统设计要求的视场角大小确定，图像连续且布满整个球幕。
3.根据权利要求1所述一种增强现实的视景合成系统，其特征在于：眼点位于球幕的球心位置，投影机投出的光线经球幕反射后射入眼点。
CN201610796203.5A 2016-08-31 2016-08-31 一种增强现实的视景合成系统 Pending CN106408515A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610796203.5A CN106408515A (zh) 2016-08-31 2016-08-31 一种增强现实的视景合成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610796203.5A CN106408515A (zh) 2016-08-31 2016-08-31 一种增强现实的视景合成系统

Publications (1)

Publication Number Publication Date
CN106408515A true CN106408515A (zh) 2017-02-15

Family

ID=58001654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610796203.5A Pending CN106408515A (zh) 2016-08-31 2016-08-31 一种增强现实的视景合成系统

Country Status (1)

Country Link
CN (1) CN106408515A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154197A (zh) * 2017-05-18 2017-09-12 河北中科恒运软件科技股份有限公司 沉浸式飞行模拟器
CN107346534A (zh) * 2017-07-13 2017-11-14 河北中科恒运软件科技股份有限公司 介导现实中的视频物体阴影检测和消除方法及系统
CN107959803A (zh) * 2018-01-16 2018-04-24 灵然创智（天津）动画科技发展有限公司 一种虚拟摄像机与真实摄像机对位
CN108876900A (zh) * 2018-05-11 2018-11-23 重庆爱奇艺智能科技有限公司 一种与现实场景融合的虚拟目标投射方法和系统
CN110031909A (zh) * 2019-04-18 2019-07-19 西安天和防务技术股份有限公司 安检系统及安检方法
CN110211239A (zh) * 2019-05-30 2019-09-06 杭州远传新业科技有限公司 基于无标记识别的增强现实方法、装置、设备及介质
CN111161409A (zh) * 2019-12-27 2020-05-15 中国航空工业集团公司沈阳飞机设计研究所 一种飞机保障设备验证系统
CN111569414A (zh) * 2020-06-08 2020-08-25 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN112669671A (zh) * 2020-12-28 2021-04-16 北京航空航天大学江西研究院 一种基于实物交互的混合现实飞行仿真系统
CN112929627A (zh) * 2021-02-22 2021-06-08 广州博冠信息科技有限公司 虚拟现实场景实现方法、装置、存储介质及电子设备
CN113485420A (zh) * 2021-07-04 2021-10-08 西北工业大学 一种基于udp控制的飞机编队合成功率可视化方法
CN113689756A (zh) * 2021-08-23 2021-11-23 天津津航计算技术研究所 基于增强现实的座舱重构系统及实现方法
CN114942564A (zh) * 2022-06-07 2022-08-26 北京领为军融科技有限公司 用于空战对抗模拟训练的大视场背投系统及背投球幕

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142055A (zh) * 2011-04-07 2011-08-03 上海大学 基于增强现实交互技术的真三维设计方法
CN102831401A (zh) * 2012-08-03 2012-12-19 樊晓东 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统
US20150304531A1 (en) * 2012-11-26 2015-10-22 Brainstorm Multimedia, S.L. A method for obtaining and inserting in real time a virtual object within a virtual scene from a physical object
CN204964983U (zh) * 2015-08-20 2016-01-13 北京航宇荣康科技发展有限公司 大视场实像视景显示系统
CN105488801A (zh) * 2015-12-01 2016-04-13 深圳华强数码电影有限公司 球幕电影实拍和三维虚拟场景结合的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142055A (zh) * 2011-04-07 2011-08-03 上海大学 基于增强现实交互技术的真三维设计方法
CN102831401A (zh) * 2012-08-03 2012-12-19 樊晓东 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统
US20150304531A1 (en) * 2012-11-26 2015-10-22 Brainstorm Multimedia, S.L. A method for obtaining and inserting in real time a virtual object within a virtual scene from a physical object
CN204964983U (zh) * 2015-08-20 2016-01-13 北京航宇荣康科技发展有限公司 大视场实像视景显示系统
CN105488801A (zh) * 2015-12-01 2016-04-13 深圳华强数码电影有限公司 球幕电影实拍和三维虚拟场景结合的方法及系统

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154197A (zh) * 2017-05-18 2017-09-12 河北中科恒运软件科技股份有限公司 沉浸式飞行模拟器
CN107346534B (zh) * 2017-07-13 2020-10-30 河北中科恒运软件科技股份有限公司 介导现实中的视频物体阴影检测和消除方法及系统
CN107346534A (zh) * 2017-07-13 2017-11-14 河北中科恒运软件科技股份有限公司 介导现实中的视频物体阴影检测和消除方法及系统
CN107959803A (zh) * 2018-01-16 2018-04-24 灵然创智（天津）动画科技发展有限公司 一种虚拟摄像机与真实摄像机对位
CN108876900A (zh) * 2018-05-11 2018-11-23 重庆爱奇艺智能科技有限公司 一种与现实场景融合的虚拟目标投射方法和系统
CN110031909A (zh) * 2019-04-18 2019-07-19 西安天和防务技术股份有限公司 安检系统及安检方法
CN110211239A (zh) * 2019-05-30 2019-09-06 杭州远传新业科技有限公司 基于无标记识别的增强现实方法、装置、设备及介质
CN110211239B (zh) * 2019-05-30 2022-11-08 杭州远传新业科技股份有限公司 基于无标记识别的增强现实方法、装置、设备及介质
CN111161409A (zh) * 2019-12-27 2020-05-15 中国航空工业集团公司沈阳飞机设计研究所 一种飞机保障设备验证系统
CN111161409B (zh) * 2019-12-27 2023-10-13 中国航空工业集团公司沈阳飞机设计研究所 一种飞机保障设备验证系统
CN111569414A (zh) * 2020-06-08 2020-08-25 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN111569414B (zh) * 2020-06-08 2024-03-29 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN112669671A (zh) * 2020-12-28 2021-04-16 北京航空航天大学江西研究院 一种基于实物交互的混合现实飞行仿真系统
CN112929627A (zh) * 2021-02-22 2021-06-08 广州博冠信息科技有限公司 虚拟现实场景实现方法、装置、存储介质及电子设备
CN113485420A (zh) * 2021-07-04 2021-10-08 西北工业大学 一种基于udp控制的飞机编队合成功率可视化方法
CN113485420B (zh) * 2021-07-04 2022-09-27 西北工业大学 一种基于udp控制的飞机编队合成功率可视化方法
CN113689756A (zh) * 2021-08-23 2021-11-23 天津津航计算技术研究所 基于增强现实的座舱重构系统及实现方法
CN114942564A (zh) * 2022-06-07 2022-08-26 北京领为军融科技有限公司 用于空战对抗模拟训练的大视场背投系统及背投球幕

Similar Documents

Publication Publication Date Title
CN106408515A (zh) 一种增强现实的视景合成系统
CN110531846B (zh) 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
CN103177470B (zh) 利用机动车的显示器产生增强现实的方法和系统
CN104748746B (zh) 智能机姿态测定及虚拟现实漫游方法
EP3338136B1 (en) Augmented reality in vehicle platforms
CN105212418A (zh) 基于红外夜视功能的增强现实智能头盔研制
US20150097719A1 (en) System and method for active reference positioning in an augmented reality environment
CN107016704A (zh) 一种基于增强现实的虚拟现实实现方法
CN103080983A (zh) 车辆系统
CN109154499A (zh) 用于增强立体显示的系统和方法
CN105045389A (zh) 一种互动式沙盘系统的演示方法
CN106228615A (zh) 基于增强现实的无人飞行器体验系统及其体验方法
CN105608746A (zh) 一种将现实进行虚拟实现的方法
CN101118622A (zh) 在城市环境下微型飞行器三维轨迹仿真方法
CN108022302A (zh) 一种Inside-Out空间定位的AR立体显示装置
CN107154197A (zh) 沉浸式飞行模拟器
Oskiper et al. Augmented reality binoculars
CN108132490A (zh) 基于定位系统和ar/mr的探测系统及探测方法
JP2022509582A (ja) 連携仮想インターフェース
CN109062229A (zh) 基于双目视觉的水下机器人系统的领航跟随编队方法
CN104463956B (zh) 一种月表虚拟场景构建方法及装置
JP6723533B2 (ja) ドライビングシミュレーター
CN114139370A (zh) 一种光学引擎和电磁成像双模动目标同步仿真方法和系统
CA3014334A1 (en) Method for operating a display device and system for displaying actual image contents of an actual environment overlaid with virtual image contents
CN111026139A (zh) 一种基于飞行轨迹的三维模型姿态调整控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170215