CN108830811A - 一种飞行参数与相机内参相结合的航空影像实时校正方法 - Google Patents

一种飞行参数与相机内参相结合的航空影像实时校正方法 Download PDF

Info

Publication number
CN108830811A
CN108830811A CN201810600925.8A CN201810600925A CN108830811A CN 108830811 A CN108830811 A CN 108830811A CN 201810600925 A CN201810600925 A CN 201810600925A CN 108830811 A CN108830811 A CN 108830811A
Authority
CN
China
Prior art keywords
image
camera
parameter
camera internal
internal reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810600925.8A
Other languages
English (en)
Inventor
刘向增
卢强
唐雪寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Microelectronics Technology Institute
Original Assignee
Xian Microelectronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Microelectronics Technology Institute filed Critical Xian Microelectronics Technology Institute
Priority to CN201810600925.8A priority Critical patent/CN108830811A/zh
Publication of CN108830811A publication Critical patent/CN108830811A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种飞行参数与相机内参相结合的航空影像实时校正方法,采用相机焦距参数,传感器像元尺寸及影像尺寸参数实时构建相机内参,相机内参结合飞行器的姿态参数构建单应变换矩阵,对实时获取的影像进行校正插值变换,实现对影像的正射变换完成实时校正。可作为机载或弹载光电系统的预处理子系统,为提升后续深层次影像数据处理提供良好数据源。

Description

一种飞行参数与相机内参相结合的航空影像实时校正方法
技术领域
本发明属于电子信息技术领域,具体涉及一种飞行参数与相机内参相结合的航空影像实时校正方法,适用于机载或弹载智能影像预处理系统。
背景技术
随着传感器技术、嵌入式计算机技术的发展,高清影像采集与处理系统得以在无人机、各种导弹武器实时运行。在军事领域,无人机侦察或导弹攻击目标均需要机载或弹载光学系统获取目标区域影像,进而对目标进行探测识别,然而由于飞行载体及相机姿态的实时变化导致采集的影像存在严重的几何畸变,为后续的图像处理带来了很大难度。而在民用航拍领域,大幅的航拍影像需要连续帧影像的无缝拼接,但由于飞行载体及相机姿态的变化无法实现精准的图像拼接,因此,航拍影像的正射校正是预处理中的必要技术。
目前,航空影像的正射校正一是采用地面控制点或参考图像的方法,如,“机载SAR影像的正射纠正试验研究”(测绘通报,第1期,2007年3月),此类方法需要人工采取控制点,成本高。中国专利CN103971334A:高光谱遥感图像校正方法及装置。该专利从提供的遥感影像本身特征出发,统计图像内部各行的相关数据,通过行相关误差最小和逐行位置平移进行校正,该方法属于线性扫描成像不适用于航空面阵相机,并且其算法计算复杂难以进行实时校正。一是采用共线方程建模或投影变换方法,如,“航空变焦距斜视成像几何畸变的自动校正”(光学精密工程第23卷,第10期,2015年10月),此类方法需要利用GPS测量相机的精确位置,从而计算像素点坐标和目标点空间坐标的映射。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种飞行参数与相机内参相结合的航空影像实时校正方法,解决由于飞行器飞行姿态及搭载相机的姿态导致的航空遥感影像存在严重的几何形变问题,通过飞行载体的飞行参数及相机的内部参数构建单应变换矩阵,对实时采集的影像进行变换校正,达到消除几何形变的目的,为后续的深层次图像处理提供标准数据源。该算法可应用于机载或弹载信息感知系统,提升系统的感知精度。
本发明采用以下技术方案:
一种飞行参数与相机内参相结合的航空影像实时校正方法,采用相机焦距参数,传感器像元尺寸及影像尺寸参数实时构建相机内参,相机内参结合飞行器的姿态参数构建单应变换矩阵,对实时获取的影像进行校正插值变换,实现对影像的正射变换完成实时校正。
具体的,包括以下步骤:
S1、根据相机的传感器像元尺寸,图像尺寸,相机焦距等参数构建相机内部参数矩阵K;
S2、由飞行器姿态参数及相机的姿态参数构建旋转矩阵R;
S3、根据多视图几何理论,通过相机内部参数矩阵K和旋转矩阵R计算实时影像与正射图像之间的单应矩阵H;
S4、利用步骤S3得到的单应矩阵H对输入影像进行变换,在变换过程中进行间接双线性插值,以保证变换后图像的清晰度得到正射校正后图像P_orth。
进一步的,步骤S1中,相机内部参数矩阵K如下:
其中,f为相机的焦距,dx,dy分别为图像上每个像素在坐标轴方向的物理尺寸,(u0,v0)为图像的中心像素坐标。
进一步的,步骤S2中,旋转矩阵R如下:
其中,α,β,γ分别为无人机的翻滚角、俯仰角、偏航角,A,E分别为相机的方位角和高低角。
进一步的,步骤S3中,单应矩阵H如下:
H=KRK-1
其中,K为相机内部参数矩阵,R为旋转矩阵。
进一步的,步骤S4中,正射校正后图像P_orth如下:
P_orth=H-1P_orig
其中,H为单应矩阵,P_orig为原始图像。
与现有技术相比,本发明至少具有以下有益效果:
本发明是一种飞行参数与相机内参相结合的航空影像实时校正方法,采用相机焦距参数,传感器像元尺寸及影像尺寸等参数实时构建相机内参,进一步结合飞行姿态参数构建单应变换矩阵,对实时获取的影像进行校正插值变换,实现对影像的正射变换。该方法不依赖地面控制点,无需输入参考图像及相机位置信息,仅需惯性测量器件提供飞行器姿态参数(翻滚角、俯仰角、偏航角),相机的姿态参数(方位角、高低角)及相机的焦距传感器的像元尺寸,图像尺寸等简单信息,即可实现实时的航拍影像正射校正。
进一步的,为实现相机坐标系与像素坐标系之间的变换,构建相机内部参数矩阵K。
进一步的,为实现世界坐标系到相机坐标系之间的变换,构建旋转矩阵。
进一步的,为计算实时影像到正射影像的变换,根据多视图几何理论,该变换(单应矩阵)可由相机内参矩阵及旋转矩阵获得。
进一步的,本发明的校正精度依赖于飞行器姿态及相机姿态测量的精度,通过本发明校正结果与Google影像进行比对,完全可满足后续图像处理的需求。
综上所述,本发明可作为机载或弹载光电系统的预处理子系统,为提升后续深层次影像数据处理提供良好数据源。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明流程示意图;
图2为实施例1无人机航拍红外图像,其中,(a)为焦距为25mm拍摄的机场场景红外图像,(b)为焦距为300mm且姿态角发生较大变化后拍摄的农田场景红外图像;
图3为图2中图像的正射校正结果图,其中,(a)为图2(a)的校正结果,(b)为图2(b)的校正结果;
图4为实施例1正下视的Google影像;
图5为实施例2无人机航拍红外图像,其中,(a)为高速公路场景的红外图像,(b)为无人机姿态角及航拍位置变化后拍摄的高度公路场红外景图像;
图6为图5中图像的正射校正结果图,其中,(a)为图5(a)的校正结果,(b)为图5(a)的校正结果;
图7为图5场景对应的正下视Google影像。
具体实施方式
本发明提供了一种飞行参数与相机内参相结合的航空影像实时校正方法,采用相机焦距参数,传感器像元尺寸及影像尺寸等参数实时构建相机内参,进一步结合飞行姿态参数构建单应变换矩阵,对实时获取的影像进行校正插值变换,实现对影像的正射变换。
请参阅图1,本发明一种飞行姿态参数与相机内参相结合的航空影像实时校正方法,具体步骤如下:
S1、根据相机的传感器像元尺寸,图像尺寸,相机焦距等参数构建相机内部参数矩阵K
其中,f为相机的焦距,dx,dy分别为图像上每个像素在坐标轴方向的物理尺寸,单位为mm/pixel,(u0,v0)为图像的中心像素坐标。
S2、由飞行器姿态参数及相机的姿态参数构建旋转矩阵R如下:
其中,α,β,γ分别为无人机的翻滚角、俯仰角、偏航角,A,E分别为相机的方位角和高低角。
S3、根据多视图几何理论,计算实时影像与正射图像之间的单应矩阵H如下:
H=KRK-1 (3)
S4、利用(3)式对输入影像进行变换,在变换过程中进行间接双线性插值,以保证变换后图像的清晰度。
P_orth=H-1P_orig (4)
其中,P_orig为原始图像,P_orth为正射校正后图像。
本发明设计的飞行参数与相机内参相结合的航空影像实时校正方法,无需地面控制点及相机空间位置,只需飞行载体姿态及相机内参,即可实时对采集图像进行校正,为后续的图像处理提供无畸变正射影像数据。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下给出本发明对无人机航拍的两组红外影像进行正射校正的实例,并于正下视影像进行了对比。第一组图像数据为某机场附近的制冷型红外相机拍摄的数据,分辨率为640×512;第二组非制冷型红外相机拍摄的某城市郊区的影像,分辨率为720×576。本发明对两组数据均获得良好效果。
实施例1
原始图像如图2所示,图2(a)的相机焦距为25mm,飞行三个姿态角分别为0.450,1.740和57.420,相机的高低角和偏航角分别为-29.680和-148.960,图2(b)的相机焦距为300mm,飞行三个姿态角分别为0.320 2.320和246.980,相机的高低角和偏航角分别为-31.246和49.631,相机的像元尺寸为15μm。由本发明算法得到的校正后影像如图3所示,图4给出了正射的Google影像,由结果的比对可以看出,本发明获得了较好的正射校正结果。
实施例2
原始图像如图5所示,相机焦距为51mm,图5(a)的飞行三个姿态角分别为2.90,0.50和268.60,相机的高低角和偏航角分别为-7.00和-25.00。图5(b)的飞行三个姿态角分别为-2.40,1.50和269.30,相机的高低角和偏航角分别为-6.00和-26.00,相机的像元尺寸为17μm。由本发明算法得到的校正后影像如图6所示,图7给出了正射的Google影像,由比对可看出本发明得到了较好的校正结果。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种飞行参数与相机内参相结合的航空影像实时校正方法,其特征在于,采用相机焦距参数,传感器像元尺寸及影像尺寸参数实时构建相机内参,相机内参结合飞行器的姿态参数构建单应变换矩阵,对实时获取的影像进行校正插值变换,实现对影像的正射变换完成实时校正。
2.根据权利要求1所述的一种飞行参数与相机内参相结合的航空影像实时校正方法,其特征在于,包括以下步骤:
S1、根据相机的传感器像元尺寸,图像尺寸,相机焦距等参数构建相机内部参数矩阵K;
S2、由飞行器姿态参数及相机的姿态参数构建旋转矩阵R;
S3、根据多视图几何理论,通过相机内部参数矩阵K和旋转矩阵R计算实时影像与正射图像之间的单应矩阵H;
S4、利用步骤S3得到的单应矩阵H对输入影像进行变换,在变换过程中进行间接双线性插值,以保证变换后图像的清晰度得到正射校正后图像P_orth。
3.根据权利要求2所述的一种飞行参数与相机内参相结合的航空影像实时校正方法,其特征在于,步骤S1中,相机内部参数矩阵K如下:
其中,f为相机的焦距,dx,dy分别为图像上每个像素在坐标轴方向的物理尺寸,(u0,v0)为图像的中心像素坐标。
4.根据权利要求2所述的一种飞行参数与相机内参相结合的航空影像实时校正方法,其特征在于,步骤S2中,旋转矩阵R如下:
其中,α,β,γ分别为无人机的翻滚角、俯仰角、偏航角,A,E分别为相机的方位角和高低角。
5.根据权利要求2所述的一种飞行参数与相机内参相结合的航空影像实时校正方法,其特征在于,步骤S3中,单应矩阵H如下:
H=KRK-1
其中,K为相机内部参数矩阵,R为旋转矩阵。
6.根据权利要求2所述的一种飞行参数与相机内参相结合的航空影像实时校正方法,其特征在于,步骤S4中,正射校正后图像P_orth如下:
P_orth=H-1P_orig
其中,H为单应矩阵,P_orig为原始图像。
CN201810600925.8A 2018-06-12 2018-06-12 一种飞行参数与相机内参相结合的航空影像实时校正方法 Pending CN108830811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810600925.8A CN108830811A (zh) 2018-06-12 2018-06-12 一种飞行参数与相机内参相结合的航空影像实时校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810600925.8A CN108830811A (zh) 2018-06-12 2018-06-12 一种飞行参数与相机内参相结合的航空影像实时校正方法

Publications (1)

Publication Number Publication Date
CN108830811A true CN108830811A (zh) 2018-11-16

Family

ID=64144964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810600925.8A Pending CN108830811A (zh) 2018-06-12 2018-06-12 一种飞行参数与相机内参相结合的航空影像实时校正方法

Country Status (1)

Country Link
CN (1) CN108830811A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788476A (zh) * 2018-12-25 2019-05-21 河海大学 一种基于随机几何的无人机安全通信的诊断方法
CN110191311A (zh) * 2019-04-15 2019-08-30 贵州电网有限责任公司 一种基于多无人机的实时视频拼接方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN110310243A (zh) * 2019-06-28 2019-10-08 广东工业大学 一种无人机摄影测量的图像校正方法、系统和存储介质
CN110796660A (zh) * 2020-01-04 2020-02-14 成都科睿埃科技有限公司 用于机场跑道的图像清晰度评价方法
CN112135042A (zh) * 2020-09-18 2020-12-25 成都圭目机器人有限公司 一种地面移动机器人搭载相机的调整和标定方法
CN112135125A (zh) * 2020-10-28 2020-12-25 歌尔光学科技有限公司 相机内参测试方法、装置、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096284A (zh) * 2014-05-04 2015-11-25 北京四维图新科技股份有限公司 一种生成道路正射投影图像的方法、装置及系统
CN105180963A (zh) * 2015-07-22 2015-12-23 北京航空航天大学 基于在线标校的无人机遥测参数修正方法
CN105389819A (zh) * 2015-11-13 2016-03-09 武汉工程大学 一种鲁棒的半标定下视图像极线校正方法及系统
US20160371855A1 (en) * 2015-06-19 2016-12-22 Dejan Jovanovic Image based measurement system
CN107527328A (zh) * 2017-09-01 2017-12-29 扆冰蕾 一种兼顾精度与速度的无人机影像几何处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096284A (zh) * 2014-05-04 2015-11-25 北京四维图新科技股份有限公司 一种生成道路正射投影图像的方法、装置及系统
US20160371855A1 (en) * 2015-06-19 2016-12-22 Dejan Jovanovic Image based measurement system
CN105180963A (zh) * 2015-07-22 2015-12-23 北京航空航天大学 基于在线标校的无人机遥测参数修正方法
CN105389819A (zh) * 2015-11-13 2016-03-09 武汉工程大学 一种鲁棒的半标定下视图像极线校正方法及系统
CN107527328A (zh) * 2017-09-01 2017-12-29 扆冰蕾 一种兼顾精度与速度的无人机影像几何处理方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DURAISAMY, P.; JACKSON, S.: "Orthogonal corner detection from micro structures", 《2013 INTERNATIONAL CONFERENCE ON COMMUNICATION AND COMPUTER VISION (ICCCV)》 *
任超锋: "航空视频影像的正射影像制作关键技术研究", 《中国博士学位论文全文数据库 基础科学辑》 *
凌志刚: "《无人机景象匹配辅助导航技术》", 31 August 2016, 西北工业大学出版社 *
吴浩然等: "《斑点牛测绘师笔记 上 测绘综合能力》", 31 March 2017 *
魏巍: "低空航拍图像正射全景拼图方法研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788476A (zh) * 2018-12-25 2019-05-21 河海大学 一种基于随机几何的无人机安全通信的诊断方法
CN109788476B (zh) * 2018-12-25 2021-06-11 河海大学 一种基于随机几何的无人机安全通信的诊断方法
CN110191311A (zh) * 2019-04-15 2019-08-30 贵州电网有限责任公司 一种基于多无人机的实时视频拼接方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN110310243A (zh) * 2019-06-28 2019-10-08 广东工业大学 一种无人机摄影测量的图像校正方法、系统和存储介质
CN110296691B (zh) * 2019-06-28 2020-09-22 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN110310243B (zh) * 2019-06-28 2023-04-25 广东工业大学 一种无人机摄影测量的图像校正方法、系统和存储介质
CN110796660A (zh) * 2020-01-04 2020-02-14 成都科睿埃科技有限公司 用于机场跑道的图像清晰度评价方法
CN110796660B (zh) * 2020-01-04 2020-04-07 成都科睿埃科技有限公司 用于机场跑道的图像清晰度评价方法
CN112135042A (zh) * 2020-09-18 2020-12-25 成都圭目机器人有限公司 一种地面移动机器人搭载相机的调整和标定方法
CN112135042B (zh) * 2020-09-18 2023-04-18 成都圭目机器人有限公司 一种地面移动机器人搭载相机的调整和标定方法
CN112135125A (zh) * 2020-10-28 2020-12-25 歌尔光学科技有限公司 相机内参测试方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN108830811A (zh) 一种飞行参数与相机内参相结合的航空影像实时校正方法
EP2791868B1 (en) System and method for processing multi-camera array images
CN106767714B (zh) 提高卫星图像定位精度的等效失配模型多级标校方法
CN103822615B (zh) 一种多控制点自动提取与聚合的无人机地面目标实时定位方法
CN110930508B (zh) 二维光电视频与三维场景融合方法
CN105139350A (zh) 一种无人机侦察图像地面实时重建处理系统
CN106780321B (zh) 一种cbers-02卫星hr传感器影像整体严密定向与纠正拼接方法
CN106873004B (zh) 基于太阳高度角自适应的高轨面阵相机在轨几何检校方法
CN106971408A (zh) 一种基于时空转换思想的摄像机标定方法
CN104361563B (zh) 基于gps的高光谱遥感图像几何精校正方法
CN105182678A (zh) 一种基于多通道相机观测空间目标的系统及方法
CN117665841B (zh) 一种地理空间信息采集测绘方法及装置
Zhou et al. Automatic orthorectification and mosaicking of oblique images from a zoom lens aerial camera
CN108761453A (zh) 一种光学卫星与sar卫星图像融合的成像视角优化方法
CN114659523A (zh) 一种大范围高精度姿态测量方法及装置
CN107631728A (zh) 一种星载图像辅助导航方法
Savoy et al. Geo-referencing and stereo calibration of ground-based whole sky imagers using the sun trajectory
CN106408570B (zh) 基于双目视觉测量的太阳帆展开结构动特性在轨辨识方法
CN110017833B (zh) 基于像元类地模型的全屏像点地理坐标定位方法
CN111667413A (zh) 一种基于多源传感数据融合处理的图像消旋方法和系统
CN114973037B (zh) 一种无人机智能检测与同步定位多目标的方法
Wang et al. Automated mosaicking of UAV images based on SFM method
CN203882072U (zh) 一种具有可见光地标导航通道的空间红外相机
Wang et al. A method for generating true digital orthophoto map of UAV platform push-broom hyperspectral scanners assisted by lidar
Cai et al. Distortion measurement and geolocation error correction for high altitude oblique imaging using airborne cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116

RJ01 Rejection of invention patent application after publication