CN104469155A - 一种机载图形图像虚实叠加方法 - Google Patents
一种机载图形图像虚实叠加方法 Download PDFInfo
- Publication number
- CN104469155A CN104469155A CN201410736893.6A CN201410736893A CN104469155A CN 104469155 A CN104469155 A CN 104469155A CN 201410736893 A CN201410736893 A CN 201410736893A CN 104469155 A CN104469155 A CN 104469155A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- airborne
- actual situation
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明是一种高效、高精度的机载图形图像虚实叠加方法,在充分考虑数据纹理信息的基础上,实现图形图像这一虚一实两类数据的自然融合。该方法分为粗粒度处理和细粒度处理这两个阶段的处理;其中在粗粒度处理阶段采集实时状态的相关信息,快速定位视频图像的拍摄区域;然后读取机载数据库中相同位置和适配区域范围的高程数据和地形地貌数据,由计算机绘制生成相应的图形,并将观察视角与像机拍摄视角调整一致;在细粒度处理阶段首先利用特征检测算法,提取图形和图像的同名点特征信息,实现图形与图像的高精度配准;借助优化插值算法,将图形与图像数据进行融合,即显示输出图形图像虚实叠加的结果。
Description
技术领域
本发明属于机载图形图像处理领域,涉及一种机载图形图像虚实叠加方法。
背景技术
增强型合成视景系统(ESVS),又称增强型飞行视景系统(EFVS),将提供更符合人眼观测机制的视觉景象,即以一种直观感受方式显示在目视气象条件下才有的视觉信息和提示。它综合了增强视景系统(EVS)和合成视景系统(SVS)的优点,其重点是解决图形图像的虚实叠加问题。
传统的图形图像虚实叠加方法有三种:(1)固定位置开窗叠加,即:在显示界面的某一个固定位置开一个大小恒定的显示窗口,显示视频图像;(2)背景全窗叠加,即:将视频图像铺满整个显示界面,然后在该界面上叠加一些飞行状态信息;(3)Alpha叠加,即:通过调节显示参数Alpha的值,把视频图像以半透明的方式显示在数字航图上。上述三种方法,都属于硬性叠加,它们并没有考虑图形图像特有的纹理信息,无法做到图形图像的自然融合。
在已有的融合算法中,多是针对同一类型的数据(主要是针对图像数据)进行的融合,例如可见光与红外图像的融合、不同波段红外图像之间的融合、红外与毫米波图像的融合,等等。
发明内容
为了满足处理速度和精度要求,本发明提出了一种机载图形图像虚实叠加方法。
本发明的技术方案如下:
一种机载图形图像虚实叠加方法,其特征在于:该方法分为粗粒度处理和细粒度处理这两个阶段的处理;其中
在粗粒度处理阶段:首先采集机载GPS信息、高度信息、以及飞机姿态信息、像机参数信息,通过空间几何三维坐标变换和计算机视觉仿射变换方程,快速定位视频图像的拍摄区域;然后读取机载数据库中相同位置和适配区域范围的高程数据和地形地貌数据,由计算机绘制生成相应的图形(地形地貌纹理贴图),并将观察视角与像机拍摄视角调整一致;
在细粒度处理阶段:首先利用特征检测算法,提取地形地貌纹理贴图和视频图像的同名点特征信息;然后基于邻域相关准则,完成同名点一对一的匹配;再根据每对同名点之间的尺度、平移和旋转差异,计算相应的配准参数,实现图形与图像的高精度配准;最后,借助优化插值算法,将图形与图像数据进行融合,即显示输出图形图像虚实叠加的结果。
基于上述方案,进一步作如下优化限定:
空间几何三维坐标变换和计算机视觉仿射变换包括尺度变换、平移变换、旋转变换、以及透视变换。
特征检测算法为Harris角点特征检测、SUSAN角点特征检测、Hough变换直线特征检测、SIFT特征检测、BRIEF特征检测、ORB特征检测、或者它们的改进型特征检测算法。
优化插值算法为邻域平均插值、加权平均插值、双线性插值、或者三次样条插值算法。
邻域相关准则采用欧式距离法或相关系数法。
本发明具有以下优点:
本发明是一种高效、高精度的机载图形图像虚实叠加方法,在充分考虑数据纹理信息的基础上,实现图形图像这一虚一实两类数据的自然融合。
本发明通过图形图像的虚实叠加、自然融合,能够改善飞行员在低能见度条件下(包括夜间和仪表飞行气象条件)对态势和空间感知的能力,进而在飞机起降过程中减少诸如可控飞行撞地、失控、跑道侵入等类型的事故,提高飞机的飞行安全性能。
附图说明
图1机载图形图像虚实叠加流程示意图。
具体实施方式
如图1所示,该机载图形图像虚实叠加方法,分为粗粒度处理和细粒度处理两部分;
在粗粒度处理部分:首先利用机载GPS信息、高度信息、以及飞机姿态(俯仰、滚转、偏航)信息、像机参数(焦距、摆放自由度)信息,通过空间几何三维坐标变换和计算机视觉仿射变换方程,快速定位视频图像的拍摄区域;然后以此为参考,读取机载数据库中相同位置和相同区域范围(实际应用中,这个区域范围比像机拍摄的视频图像的区域范围要大一些,以便后续处理)的高程数据和地形地貌数据,由计算机绘制生成相应的图形,并将观察视角与像机拍摄视角调整一致。此时,图形与图像具备了一定的相似性,其尺度、平移和旋转差异将控制在一个很小的变化范围内。
在细粒度处理部分:首先利用点特征、线特征或其它特征检测算法,提取地形地貌纹理贴图和视频图像的同名点特征信息;然后通过欧式距离法、相关系数法等邻域相关准则,完成同名点一对一的匹配;再根据每对同名点之间的尺度、平移和旋转差异(取平均值),计算相应的配准参数,实现图形与图像的高精度配准;最后,借助优化插值算法,将图形与图像数据进行融合。此时,显示输出的结果即为图形图像虚实叠加的结果。
由于细粒度处理是在粗粒度处理之后,因此有关像素遍历的操作,只需要在一个很小的变化范围内执行即可,这将大大缩短处理时间,提高处理效率。
实际应用中,本发明在粗粒度处理部分所用到的GPS信息、高度信息和飞机姿态信息,可通过机载GPS接收机、高度计、以及陀螺仪、加速度计直接读取;像机参数信息,可通过前期静态标定和后期动态测量的方法得到。再有了这些信息后,通过大地坐标系、飞机坐标系、像机坐标系、像平面坐标系以及参考坐标系,即可构建实际应用场景的空间几何三维坐标变换和计算机视觉仿射变换方程,并可由此计算出视频图像拍摄区域的位置和范围。然后以此为参考,读取机载数据库中相同位置和相同区域范围(实际应用中,根据飞机飞行高度、飞行速度以及像机拍摄区域范围的不同,拟选取的区域范围可以向四周各扩展1-10千米不等)的高程数据和地形地貌数据,由计算机绘制生成相应的图形(也就是数字航图),并通过计算机图形学的裁剪、消隐、视角变换等操作,将数字航图的观察视角与像机拍摄视角调整一致。
在细粒度处理部分,首先采用Harris角点特征检测算法(如果是涉及机场跑道的应用场景,将采用Hough变换直线特征检测算法),提取地形地貌纹理贴图和视频图像的同名点特征信息。然后通过欧式距离法邻域相关准则,寻找欧式距离最小的同名点对,即为匹配点对。再计算这些匹配点对的尺度、平移和旋转差异,由于会出现多组匹配点对,因此要取多组差异的平均值,作为配准参数。在图形图像的数据融合时,可采用加权平均的优化插值算法。此时,即可显示输出最终的图形图像虚实叠加结果。
本发明提出的图形图像虚实叠加方法通过粗、细粒度的分别处理,能够满足处理速度和处理精度的要求;同时,由于充分利用了纹理信息,本发明能够实现图形图像这一虚一实两类数据的有机统一。作为增强型合成视景系统的核心关键,本发明将改善飞行员在低能见度条件下(包括夜间和仪表飞行气象条件)对态势和空间感知的能力,进而在飞机起降过程中减少诸如可控飞行撞地、失控、跑道侵入等类型的事故,提高飞机的飞行安全性能。
Claims (5)
1.一种机载图形图像虚实叠加方法,其特征在于:该方法分为粗粒度处理和细粒度处理这两个阶段的处理;其中
在粗粒度处理阶段:首先采集机载GPS信息、高度信息、以及飞机姿态信息、像机参数信息,通过空间几何三维坐标变换和计算机视觉仿射变换方程,快速定位视频图像的拍摄区域;然后读取机载数据库中相同位置和适配区域范围的高程数据和地形地貌数据,由计算机绘制生成相应的图形,并将观察视角与像机拍摄视角调整一致;
在细粒度处理阶段:首先利用特征检测算法,提取地形地貌纹理贴图和视频图像的同名点特征信息;然后基于邻域相关准则,完成同名点一对一的匹配;再根据每对同名点之间的尺度、平移和旋转差异,计算相应的配准参数,实现图形与图像的高精度配准;最后,借助优化插值算法,将图形与图像数据进行融合,即显示输出图形图像虚实叠加的结果。
2.根据权利要求1所述的机载图形图像虚实叠加方法,其特征在于:空间几何三维坐标变换和计算机视觉仿射变换包括尺度变换、平移变换、旋转变换、以及透视变换。
3.根据权利要求1所述的机载图形图像虚实叠加方法,其特征在于:所述特征检测算法为Harris角点特征检测、SUSAN角点特征检测、Hough变换直线特征检测、SIFT特征检测、BRIEF特征检测、ORB特征检测、或者它们的改进型特征检测算法。
4.根据权利要求1所述的机载图形图像虚实叠加方法,其特征在于:所述优化插值算法为邻域平均插值、加权平均插值、双线性插值、或者三次样条插值算法。
5.根据权利要求1所述的机载图形图像虚实叠加方法,其特征在于:所述邻域相关准则采用欧式距离法或相关系数法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410736893.6A CN104469155B (zh) | 2014-12-04 | 2014-12-04 | 一种机载图形图像虚实叠加方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410736893.6A CN104469155B (zh) | 2014-12-04 | 2014-12-04 | 一种机载图形图像虚实叠加方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104469155A true CN104469155A (zh) | 2015-03-25 |
CN104469155B CN104469155B (zh) | 2017-10-20 |
Family
ID=52914451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410736893.6A Active CN104469155B (zh) | 2014-12-04 | 2014-12-04 | 一种机载图形图像虚实叠加方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104469155B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105445815A (zh) * | 2015-11-18 | 2016-03-30 | 江西洪都航空工业集团有限责任公司 | 利用gps测量水平气象能见度目标物的方法 |
CN106856566A (zh) * | 2016-12-16 | 2017-06-16 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种基于ar设备的信息同步方法及系统 |
CN107527041A (zh) * | 2017-09-08 | 2017-12-29 | 北京奇虎科技有限公司 | 图像采集设备数据实时处理方法及装置、计算设备 |
CN108133515A (zh) * | 2017-12-07 | 2018-06-08 | 中国航空工业集团公司西安航空计算技术研究所 | 一种显控分离的增强合成视景计算平台 |
CN108257164A (zh) * | 2017-12-07 | 2018-07-06 | 中国航空工业集团公司西安航空计算技术研究所 | 一种虚实视景匹配融合嵌入式软件架构 |
CN108961377A (zh) * | 2018-06-28 | 2018-12-07 | 西安电子科技大学 | 一种用于机载增强合成视景系统虚拟安全面的设计方法 |
CN110619682A (zh) * | 2019-09-23 | 2019-12-27 | 中国航空无线电电子研究所 | 一种视景系统空间感知度增强的方法 |
CN111145362A (zh) * | 2020-01-02 | 2020-05-12 | 中国航空工业集团公司西安航空计算技术研究所 | 一种机载综合视景系统虚实融合显示方法及系统 |
CN111192229A (zh) * | 2020-01-02 | 2020-05-22 | 中国航空工业集团公司西安航空计算技术研究所 | 一种机载多模态视频画面增强显示方法及系统 |
CN111401249A (zh) * | 2020-03-17 | 2020-07-10 | 中国科学院计算技术研究所厦门数据智能研究院 | 一种基于不同粒度特征匹配一致性的物体重识别方法 |
CN112200759A (zh) * | 2020-10-29 | 2021-01-08 | 中国航空工业集团公司洛阳电光设备研究所 | 直升机终端视景显示的方法 |
CN112419211A (zh) * | 2020-09-29 | 2021-02-26 | 西安应用光学研究所 | 一种基于合成视觉的夜视系统图像增强方法 |
CN113853781A (zh) * | 2020-05-28 | 2021-12-28 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、头戴式显示设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060215027A1 (en) * | 2003-06-20 | 2006-09-28 | Mitsubishi Denki Kabushiki Kaisha | Picked-up image display method |
CN101978394A (zh) * | 2008-03-19 | 2011-02-16 | 微软公司 | 在地图上可视化照相机馈入 |
US20110141237A1 (en) * | 2009-12-15 | 2011-06-16 | Himax Technologies Limited | Depth map generation for a video conversion system |
CN102685460A (zh) * | 2012-05-17 | 2012-09-19 | 武汉大学 | 一种集成可量测实景影像和电子地图的视频监控巡航方法 |
US20120300020A1 (en) * | 2011-05-27 | 2012-11-29 | Qualcomm Incorporated | Real-time self-localization from panoramic images |
CN102997912A (zh) * | 2012-12-13 | 2013-03-27 | 中国航空无线电电子研究所 | 机载三维数字地图导航智能显示器 |
CN103327293A (zh) * | 2012-03-23 | 2013-09-25 | 罗普特(厦门)科技集团有限公司 | 一种通过视频校准与电子地图相结合的监控设备及方法 |
CN103618880A (zh) * | 2013-12-05 | 2014-03-05 | 中国航空无线电电子研究所 | 一种用于模拟飞机显示控制系统界面的图像合成方法 |
CN103716586A (zh) * | 2013-12-12 | 2014-04-09 | 中国科学院深圳先进技术研究院 | 一种基于三维空间场景的监控视频融合系统和方法 |
CN103822635A (zh) * | 2014-03-05 | 2014-05-28 | 北京航空航天大学 | 基于视觉信息的无人机飞行中空间位置实时计算方法 |
-
2014
- 2014-12-04 CN CN201410736893.6A patent/CN104469155B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060215027A1 (en) * | 2003-06-20 | 2006-09-28 | Mitsubishi Denki Kabushiki Kaisha | Picked-up image display method |
CN101978394A (zh) * | 2008-03-19 | 2011-02-16 | 微软公司 | 在地图上可视化照相机馈入 |
US20110141237A1 (en) * | 2009-12-15 | 2011-06-16 | Himax Technologies Limited | Depth map generation for a video conversion system |
US20120300020A1 (en) * | 2011-05-27 | 2012-11-29 | Qualcomm Incorporated | Real-time self-localization from panoramic images |
CN103327293A (zh) * | 2012-03-23 | 2013-09-25 | 罗普特(厦门)科技集团有限公司 | 一种通过视频校准与电子地图相结合的监控设备及方法 |
CN102685460A (zh) * | 2012-05-17 | 2012-09-19 | 武汉大学 | 一种集成可量测实景影像和电子地图的视频监控巡航方法 |
CN102997912A (zh) * | 2012-12-13 | 2013-03-27 | 中国航空无线电电子研究所 | 机载三维数字地图导航智能显示器 |
CN103618880A (zh) * | 2013-12-05 | 2014-03-05 | 中国航空无线电电子研究所 | 一种用于模拟飞机显示控制系统界面的图像合成方法 |
CN103716586A (zh) * | 2013-12-12 | 2014-04-09 | 中国科学院深圳先进技术研究院 | 一种基于三维空间场景的监控视频融合系统和方法 |
CN103822635A (zh) * | 2014-03-05 | 2014-05-28 | 北京航空航天大学 | 基于视觉信息的无人机飞行中空间位置实时计算方法 |
Non-Patent Citations (1)
Title |
---|
陈贤巧: "基于特征的图像配准算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105445815A (zh) * | 2015-11-18 | 2016-03-30 | 江西洪都航空工业集团有限责任公司 | 利用gps测量水平气象能见度目标物的方法 |
CN106856566A (zh) * | 2016-12-16 | 2017-06-16 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种基于ar设备的信息同步方法及系统 |
CN107527041A (zh) * | 2017-09-08 | 2017-12-29 | 北京奇虎科技有限公司 | 图像采集设备数据实时处理方法及装置、计算设备 |
CN108133515B (zh) * | 2017-12-07 | 2021-07-16 | 中国航空工业集团公司西安航空计算技术研究所 | 一种显控分离的增强合成视景计算平台 |
CN108133515A (zh) * | 2017-12-07 | 2018-06-08 | 中国航空工业集团公司西安航空计算技术研究所 | 一种显控分离的增强合成视景计算平台 |
CN108257164A (zh) * | 2017-12-07 | 2018-07-06 | 中国航空工业集团公司西安航空计算技术研究所 | 一种虚实视景匹配融合嵌入式软件架构 |
CN108961377A (zh) * | 2018-06-28 | 2018-12-07 | 西安电子科技大学 | 一种用于机载增强合成视景系统虚拟安全面的设计方法 |
CN108961377B (zh) * | 2018-06-28 | 2020-05-05 | 西安电子科技大学 | 一种用于机载增强合成视景系统虚拟安全面的设计方法 |
CN110619682B (zh) * | 2019-09-23 | 2022-11-04 | 中国航空无线电电子研究所 | 一种视景系统空间感知度增强的方法 |
CN110619682A (zh) * | 2019-09-23 | 2019-12-27 | 中国航空无线电电子研究所 | 一种视景系统空间感知度增强的方法 |
CN111192229A (zh) * | 2020-01-02 | 2020-05-22 | 中国航空工业集团公司西安航空计算技术研究所 | 一种机载多模态视频画面增强显示方法及系统 |
CN111145362A (zh) * | 2020-01-02 | 2020-05-12 | 中国航空工业集团公司西安航空计算技术研究所 | 一种机载综合视景系统虚实融合显示方法及系统 |
CN111145362B (zh) * | 2020-01-02 | 2023-05-09 | 中国航空工业集团公司西安航空计算技术研究所 | 一种机载综合视景系统虚实融合显示方法及系统 |
CN111192229B (zh) * | 2020-01-02 | 2023-10-13 | 中国航空工业集团公司西安航空计算技术研究所 | 一种机载多模态视频画面增强显示方法及系统 |
CN111401249A (zh) * | 2020-03-17 | 2020-07-10 | 中国科学院计算技术研究所厦门数据智能研究院 | 一种基于不同粒度特征匹配一致性的物体重识别方法 |
CN111401249B (zh) * | 2020-03-17 | 2023-08-08 | 中科(厦门)数据智能研究院 | 一种基于不同粒度特征匹配一致性的物体重识别方法 |
CN113853781A (zh) * | 2020-05-28 | 2021-12-28 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、头戴式显示设备及存储介质 |
CN112419211A (zh) * | 2020-09-29 | 2021-02-26 | 西安应用光学研究所 | 一种基于合成视觉的夜视系统图像增强方法 |
CN112419211B (zh) * | 2020-09-29 | 2024-02-02 | 西安应用光学研究所 | 一种基于合成视觉的夜视系统图像增强方法 |
CN112200759A (zh) * | 2020-10-29 | 2021-01-08 | 中国航空工业集团公司洛阳电光设备研究所 | 直升机终端视景显示的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104469155B (zh) | 2017-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104469155A (zh) | 一种机载图形图像虚实叠加方法 | |
US11748898B2 (en) | Methods and system for infrared tracking | |
JP7345533B2 (ja) | 移動体用の改良型環境表示を生成するためのシステムおよび方法 | |
CN104484668B (zh) | 一种无人机多重叠遥感影像的建筑物轮廓线提取方法 | |
WO2018032457A1 (en) | Systems and methods for augmented stereoscopic display | |
KR101023567B1 (ko) | 감소된 래턴시로 개선된 시각 이미지를 제공하기 위한시스템 및 방법 | |
JP5980295B2 (ja) | カメラ姿勢決定方法、及び実環境物体認識方法 | |
CN103049912B (zh) | 一种基于任意三面体的雷达-相机系统外部参数标定方法 | |
EP2947638A1 (en) | Airport surface collision zone display for an aircraft | |
EP3596588B1 (en) | Gradual transitioning between two-dimensional and three-dimensional augmented reality images | |
CN105225230A (zh) | 一种识别前景目标对象的方法及装置 | |
CN111247557A (zh) | 用于移动目标物体检测的方法、系统以及可移动平台 | |
CN106444837A (zh) | 一种无人机避障方法及系统 | |
CN109828658B (zh) | 一种人机共融的远程态势智能感知系统 | |
Nakajima et al. | Semantic object selection and detection for diminished reality based on slam with viewpoint class | |
IL201336A (en) | A system and method for assisting in navigating a vehicle under conditions where visual impairment may occur | |
CN104091369A (zh) | 一种无人机遥感影像建筑物三维损毁检测方法 | |
CN113985445A (zh) | 一种基于相机与激光雷达数据融合的3d目标检测算法 | |
CN104376596A (zh) | 一种基于单幅图像的三维场景结构建模与注册方法 | |
CN109997091B (zh) | 用于管理3d飞行路径的方法和相关系统 | |
CN104794737A (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
JP5971466B2 (ja) | フライトパス表示システム、方法及びプログラム | |
CN108024070A (zh) | 在合成图像上覆盖传感器图像的方法及相关显示系统 | |
CN102822874A (zh) | 基于地基图像和从天上拍摄的图像的组合的三维模型方法 | |
CN114295139A (zh) | 一种协同感知定位方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |