CN107798668B - 基于rgb影像的无人机成像高光谱几何校正的方法及系统 - Google Patents

基于rgb影像的无人机成像高光谱几何校正的方法及系统 Download PDF

Info

Publication number
CN107798668B
CN107798668B CN201711185848.6A CN201711185848A CN107798668B CN 107798668 B CN107798668 B CN 107798668B CN 201711185848 A CN201711185848 A CN 201711185848A CN 107798668 B CN107798668 B CN 107798668B
Authority
CN
China
Prior art keywords
data
hyperspectral
rgb
camera
geometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711185848.6A
Other languages
English (en)
Other versions
CN107798668A (zh
Inventor
任立新
韩善龙
石利
朱湘宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Iris Remote Sensing Technology Ltd inc
Original Assignee
Beijing Iris Remote Sensing Technology Ltd inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Iris Remote Sensing Technology Ltd inc filed Critical Beijing Iris Remote Sensing Technology Ltd inc
Priority to CN201711185848.6A priority Critical patent/CN107798668B/zh
Publication of CN107798668A publication Critical patent/CN107798668A/zh
Application granted granted Critical
Publication of CN107798668B publication Critical patent/CN107798668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Abstract

本发明提供一种基于RGB影像的无人机成像高光谱几何校正的方法,包括以下步骤:实时采集高光谱数据、RGB相机数据及低精度POS传感器的POS数据;根据POS数据对RGB相机数据进行空三解算及三维建模,得到成像区域内的正射RGB影像数据;根据POS数据对高光谱数据进行初步几何校正,生成低几何精度的高光谱影像数据;将正射RGB影像数据与低几何精度的高光谱影像数据进行对比分析,得到相同的空间纹理特征点数据,得到高几何精度的高光谱影像数据。本发明利用机载RGB相机获取高精度的DOM数据,利用DOM的空间纹理特征点对机载高光谱数据进行几何校正,从而解决推扫式高光谱相机几何精度差的问题。同时,本发明还提供一种基于RGB影像的无人机成像高光谱几何校正系统。

Description

基于RGB影像的无人机成像高光谱几何校正的方法及系统
技术领域
本发明涉及一种图像处理技术领域,尤其涉及一种基于RGB影像的无人机成像高光谱几何校正的方法及系统。
背景技术
POS(即Position and Orientation System)为定位定向系统,POS数据主要包括位置信息及姿态信息。
DSM(即Digital Elevation Model)为数字表面模型,是指包含了地表建筑物、桥梁和树木等高度的地面高程模型。DSM是在数字高程的基础上,进一步涵盖了除地面以外的其它地表信息。在无人机三维建模中,DSM可以通过网格模型而得到。
DOM(即Digital Orthophoto Map)为数字正射影像图,其利用数字高程模型(DEM)对航空航天影像进行正射纠正、接边、色彩调整、镶嵌,并按照一定范围裁切生成的数字正射影像数据集。DOM同时具有地图几何精度和影像特征,其具有精度高、信息丰富、直观真实、制作周期短的特点。
高光谱遥感是近二十年发展起来的谱像合一的遥感前沿技术。虽然发展时间不长,但由于其本身的特点,使其获得了广泛的重视和应用。然而由于卫星技术及气候的影像,高光谱卫星数据的空间分辨率很低,使得高光谱卫星数据的应用受到限制。
随着科技的发展,尤其是无人机技术的发展,推扫式机载高光谱相机得到了广泛的应用,然而由于在数据获取过程中无人机不可避免产生的机械抖动及飞行偏差,致使最终得到的高光谱数据存在较大的几何误差,如何降低这些误差对于高光谱数据的推广具有关键作用。
由于机载高光谱相机多为推扫式相机,在成像过程中无人机存在机械抖动,致使最终结果不可避免产生较大的几何误差。因此,如何研发一种对数据进行精准校正的校正方法及系统,便成为本领域技术人员亟待解决的技术问题。
发明内容
为了解决上述问题,本发明提供一种基于RGB影像的无人机成像高光谱几何校正的方法,包括以下步骤:
步骤S1:实时采集高光谱相机的高光谱数据、RGB相机的RGB相机数据及低精度POS传感器的位置姿态信息(POS数据);
步骤S2:根据所述POS数据对所述RGB相机数据进行空三解算及三维建模,进而得到成像区域内的正射RGB影像数据;
步骤S3:根据所述POS数据对所述高光谱数据进行初步几何校正,生成低几何精度的高光谱影像数据;
步骤S4:将所述正射RGB影像数据与所述低几何精度的高光谱影像数据进行对比分析,得到相同的空间纹理特征点数据,进而得到高几何精度的高光谱影像数据。
进一步的,在所述步骤S1之前,还包括:将所述高光谱相机、所述低精度POS传感器固定于无人机云台上,且所述高光谱相机与所述低精度POS传感器为固定连接,使其在空间上保持变化位置和方向一致;根据所述高光谱相机的成像参数确定所述RGB相机的相机参数;将所述RGB相机固定于无人机其他部位,所述RGB相机与所述高光谱相机的位置相互独立,且互无遮挡。
进一步的,通过所述高光谱相机的成像参数确定所述RGB相机的相机参数的方式如下:
相机参数成像最大空间通道Nrgb与相应的视场角FOVrgb符合如下关系式:
Figure BDA0001480099510000031
其中,FOV及N分别为高光谱相机的视场角及空间通道数。
进一步的,在所述步骤S1之前,还包括:将所述高光谱相机、所述低精度POS传感器固定于无人机云台上,且所述高光谱相机与所述低精度POS传感器为固定连接,将所述RGB相机单独固定于另一无人机上;根据所述高光谱相机的成像参数确定所述RGB相机的相机参数;根据所述高光谱相机的成像参数、所述RGB相机的相机参数及飞行高度确定搭载RGB相机的无人机飞行参数。
进一步的,确定搭载RGB相机的无人机飞行参数的方式如下:
无人机飞行参数主要指飞行高度Hrgb,Hrgb应符合如下关系式:
Figure BDA0001480099510000032
其中,Hrgb为飞行高度,Hrgb为相机参数成像最大空间通道,FOVrgb为相应的视场角,FOV及N分别为高光谱相机的视场角及空间通道数。
进一步的,在所述步骤S2中,得到成像区域内的正射RGB影像数据及DSM数据的方式为:根据RGB相机自带的POS数据对所述正射RGB影像数据采用传统的三维建模方法进行DOM及DSM的生成;所述DOM及所述DSM的输出空间分辨率应不低于所述高光谱数据的空间分辨率。
进一步的,在步骤S3中,生成具有低几何精度的高光谱影像数据,其具体为:根据所述POS数据及所述DSM数据对所述高光谱数据进行初步的几何校正,从而得到低几何精度的高光谱影像数据。
进一步的,在所述步骤S2中,根据所述POS数据对所述RGB相机数据进行空三解算及三维建模,进而得到成像区域内的正射RGB影像数据及DSM数据;在所述步骤S3中,根据所述POS数据及所述DSM数据对所述高光谱数据进行初步几何校正,生成低几何精度的高光谱影像数据。
进一步的,在步骤S4中,得到高几何精度的高光谱影像数据的方式如下:
根据高光谱数据波谱信息生成高光谱真/假彩色数据;
将所述高光谱真/假彩色数据与由所述RGB相机得到的所述DOM结合分析,寻求两者共有空间特征点数据;
运用共有空间特征点数据对高光谱数据进行几何精准校正,从而得到高几何精度的高光谱影像数据。
本发明还提供一种基于RGB影像的无人机成像高光谱几何校正系统,其包括三维建模模块、初步校正模块及精准几何校正模块;三维建模模块,主要是通过RGB数据三维建模从而得到研究区域的DOM及DSM影像;初步校正模块,主要是通过机载高光谱POS数据及DSM数据对高光谱数据进行初步的几何校正;精准几何校正模块,主要是将初步的几何校正结果与DOM进行对比分析,对高光谱数据进行高精度的几何校正。
进一步的,所述系统还包括数据采集模块,所述数据采集模块用于采集高光谱数据、实时POS数据及RGB数据。
数据采集模块中,RGB数据采集的参数应该符合高光谱数据采集的相关要求。
与现有技术相比,本发明的优点和有益效果在于:
本发明的基于RGB影像的无人机成像高光谱几何校正的方法及系统利用记载RGB相机获得高几何精度的DOM数据,通过将高几何精度的DOM数据与经过初步几何校正的高光谱影像数据结合分析,从而得到与高几何精度的DOM数据精度一致的高光谱影像数据,为推扫式高光谱的应用提供了技术支持。
附图说明
通过附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应被理解为对本发明的任何限制;
图1是本发明的校正方法的步骤示意图;
图2为本发明的校正系统的方框示意图。
图中,S1、S2、S3、S4-步骤;1-数据采集模块;2-三维建模模块;3-初步校正模块;4-精准几何校正模块。
具体实施方式
下面将结合附图对本发明的具体实施例进行详细说明。
本发明提出了一种基于RGB影像的无人机成像高光谱几何校正的方法及系统,其中,系统包括:高光谱分辨率的推扫式的高光谱相机、高分辨率的RGB相机、由IMU及GPS组成的位置和姿态信息采集系统。通过POS数据对高光谱数据进行初步的几何校正,并将初步校正的结果与由RGB相机得到的DOM进行对比分析,寻求两者共有空间特征点数据,最终应用这些空间特征点,对RGB数据进行精准几何校正,从而得到空间几何精度较高的高光谱数据。
本发明提出了一种基于RGB影像的无人机成像高光谱几何校正的方法,如图1所示,包括以下步骤:
步骤S1:实时采集高光谱相机的高光谱数据、RGB相机的RGB相机数据及低精度POS传感器的位置姿态信息(POS数据);
步骤S2:根据所述POS数据对所述RGB相机数据进行空三解算及三维建模,进而得到成像区域内的正射RGB影像数据;
步骤S3:根据所述POS数据对所述高光谱数据进行初步几何校正,生成低几何精度的高光谱影像数据;
步骤S4:将所述正射RGB影像数据与所述低几何精度的高光谱影像数据进行对比分析,得到相同的空间纹理特征点数据,进而得到高几何精度的高光谱影像数据。
优选的,在步骤S1之前,还包括:
搭载高光谱相机的无人机与搭载RGB相机的无人机可以为同一个无人机。
优选的,通过高光谱相机的成像参数确定RGB相机的相机参数,具体如下:
无人机飞行参数主要指飞行高度Hrgb,Hrgb应符合如下关系式
Figure BDA0001480099510000061
式中的Hrgb为飞行高度,Nrgb为相机参数成像最大空间通道,FOVrgb为相应的视场角,FOV及N分别为高光谱相机的视场角及空间通道数。
在本实施例中,采用了Resonon公司的Pika系列高光谱相机、大疆精灵3及其自带的4K相机。其中,与高光谱集成的POS系统中IMU传感器的横滚、俯仰精度达0.2°,航向精度达1°,GPS水平(X、Y方向)精度达到0.6米,高程(Z方向)精度达到了2米,成像高光谱仪器光谱波段为150个,空间通道数为900个,将高光谱相机与POS系统安装至同一惯性系统下,大疆精灵3单独飞行。
高光谱相机的空间通道数N为900,FOV为17.6°,飞行时相机高度Hrgb为150米。大疆精灵3的最大空间通道数Nrgb为4000,FOVrgb为94°。将这些参数代入公式得大疆精灵3的最高飞行高度为99米。
考虑到在进行DOM时,RGB空间分辨率往往达不到理论值,故选择本次飞行高度为50米。
为了能够获得较高信噪比的高光谱数据,本次设置相机帧率为90Hz,为了使高光谱数据单像素长宽比约为1:1,本次高光谱飞行速度为2m/s。
无人机POS按照50Hz进行实时姿态参数采集,并保存。
通过应用传统摄影测量理论对数码相片进行三维建模及DOM生成。
优选的,通过应用传统摄影测量理论,还可以通过数码相片生成DSM。
根据高光谱相机实时采集POS数据,运用摄影测量中共线方程原理,对高光谱数据进行初步的几何校正。
优选的,在根据高光谱相机实时采集POS数据时,运用摄影测量中共线方程原理,对高光谱数据进行初步的几何校正过程中,还可以加入DSM,以减少高光谱数据的几何畸变。
对DOM及高光谱初步校正结果进行空间相似分析,以得到两者共有空间特征点数据。
应用两者共有空间特征点数据,对初步校正结果进行几何精准校正,得到空间几何精度较高的高光谱数据。
本发明还提供了基于RGB影像的无人机成像高光谱几何校正的方法的系统,包括三维建模模块2,初步校正模块3及精准几何校正模块4;
三维建模模块2主要是通过RGB数据三维建模从而得到研究区域的DOM及DSM影像。
初步校正模块3主要是通过机载高光谱POS数据及DSM数据对高光谱数据进行初步的几何校正。
精准几何校正模块4主要是将初步的几何校正结果与DOM进行对比分析,对高光谱数据进行高精度的几何校正。
优选的,所述系统还包括数据采集模块1,数据采集模块用于采集高光谱数据、实时POS数据及RGB数据。
数据采集模块1中,RGB数据采集的参数应该符合高光谱数据采集的相关要求。
以上所述仅为本发明的实施例,并不因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所示所作的等效结构或者等效流程变化,或直接或间接运用在其他相关技术领域,都应包括在本发明的专利保护范围内。

Claims (8)

1.一种基于RGB影像的无人机成像高光谱几何校正的方法,其特征在于,包括以下步骤:
步骤S1:实时采集高光谱相机的高光谱数据、RGB相机的RGB相机数据及低精度POS传感器的POS数据;
步骤S2:根据所述POS数据对所述RGB相机数据进行空三解算及三维建模,进而得到成像区域内的正射RGB影像数据;
步骤S3:根据所述POS数据对所述高光谱数据进行初步几何校正,生成低几何精度的高光谱影像数据;
步骤S4:将所述正射RGB影像数据与所述低几何精度的高光谱影像数据进行对比分析,得到相同的空间纹理特征点数据,进而得到高几何精度的高光谱影像数据;
在所述步骤S1之前,还包括:将所述高光谱相机、所述低精度POS传感器固定于无人机云台上,且所述高光谱相机与所述低精度POS传感器为固定连接,使其在空间上保持变化位置和方向一致;
根据所述高光谱相机的成像参数确定所述RGB相机的相机参数;
将所述RGB相机固定于无人机其他部位,所述RGB相机与所述高光谱相机的位置相互独立,且互无遮挡;
通过所述高光谱相机的成像参数确定所述RGB相机的相机参数的方式如下:
相机参数成像最大空间通道Nrgb与相应的视场角FOVrgb符合如下关系式:
Figure FDA0002417806740000011
其中,FOV及N分别为高光谱相机的视场角及空间通道数。
2.根据权利要求1所述的方法,其特征在于,在所述步骤S1之前,还包括:
将所述高光谱相机、所述低精度POS传感器固定于无人机云台上,且所述高光谱相机与所述低精度POS传感器为固定连接,将所述RGB相机单独固定于另一无人机上;
根据所述高光谱相机的成像参数确定所述RGB相机的相机参数;
根据所述高光谱相机的成像参数、所述RGB相机的相机参数及飞行高度确定搭载RGB相机的无人机飞行参数。
3.根据权利要求2所述的方法,其特征在于,确定搭载所述RGB相机的无人机飞行参数的方式如下:
无人机飞行参数主要指飞行高度Hrgb,Hrgb应符合如下关系式:
Figure FDA0002417806740000021
其中,Hrgb为飞行高度,Nrgb为相机参数成像最大空间通道,FOVrgb为相应的视场角,FOV及N分别为高光谱相机的视场角及空间通道数。
4.根据权利要求1所述的方法,其特征在于,在所述步骤S2中,得到成像区域内的正射RGB影像数据及DSM数据的方式如下:
根据所述RGB相机自带的POS数据对所述正射RGB影像数据采用传统的三维建模方法进行DOM及DSM的生成;
所述DOM及所述DSM的输出空间分辨率应不低于所述高光谱数据的空间分辨率。
5.根据权利要求4所述的方法,其特征在于,在所述步骤S4中,得到高几何精度的高光谱影像数据的方式如下:
根据高光谱数据波谱信息生成高光谱真/假彩色数据;
将所述高光谱真/假彩色数据与由所述RGB相机得到的所述DOM结合分析,寻求两者共有空间特征点数据;
运用共有空间特征点数据对所述低几何精度的高光谱数据进行几何精准校正,从而得到高几何精度的高光谱影像数据。
6.根据权利要求1所述的方法,其特征在于:
在所述步骤S2中,根据所述POS数据对所述RGB相机数据进行空三解算及三维建模,进而得到成像区域内的正射RGB影像数据及DSM数据;
在所述步骤S3中,根据所述POS数据及所述DSM数据对所述高光谱数据进行初步几何校正,生成低几何精度的高光谱影像数据。
7.一种根据权利要求1至6任意一项所述的方法的系统,其特征在于,包括:三维建模模块、初步校正模块及精准几何校正模块;
三维建模模块,主要是通过RGB数据三维建模从而得到研究区域的DOM及DSM数据;
初步校正模块,主要是通过机载高光谱POS数据及所述DSM数据对高光谱数据进行初步的几何校正;
精准几何校正模块,主要是将初步的几何校正结果与DOM进行对比分析,对高光谱数据进行高精度的几何校正。
8.根据权利要求7所述的系统,其特征在于,还包括:
数据采集模块;所述数据采集模块用于采集高光谱数据、实时POS数据及RGB数据。
CN201711185848.6A 2017-11-23 2017-11-23 基于rgb影像的无人机成像高光谱几何校正的方法及系统 Active CN107798668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711185848.6A CN107798668B (zh) 2017-11-23 2017-11-23 基于rgb影像的无人机成像高光谱几何校正的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711185848.6A CN107798668B (zh) 2017-11-23 2017-11-23 基于rgb影像的无人机成像高光谱几何校正的方法及系统

Publications (2)

Publication Number Publication Date
CN107798668A CN107798668A (zh) 2018-03-13
CN107798668B true CN107798668B (zh) 2020-07-10

Family

ID=61535641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711185848.6A Active CN107798668B (zh) 2017-11-23 2017-11-23 基于rgb影像的无人机成像高光谱几何校正的方法及系统

Country Status (1)

Country Link
CN (1) CN107798668B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492334A (zh) * 2018-03-27 2018-09-04 中国海监南海航空支队 一种基于定位定向数据实现商用相机照片地理标定的方法
CN109493298B (zh) * 2018-11-13 2019-08-30 中国国土资源航空物探遥感中心 一种机载摆扫式高光谱数据快速几何校正方法
CN110927082A (zh) * 2019-11-25 2020-03-27 北京大学 一种基于无人机成像高光谱遥感的冬小麦产量预测方法
CN114827442B (zh) * 2021-01-29 2023-07-11 华为技术有限公司 生成图像的方法和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024398A (zh) * 2013-01-15 2013-04-03 山东大学 基于稀疏矩阵的高光谱遥感图像的压缩感知处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810701B (zh) * 2014-01-15 2017-07-25 北京农业信息技术研究中心 一种无人机载成像高光谱几何校正的方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024398A (zh) * 2013-01-15 2013-04-03 山东大学 基于稀疏矩阵的高光谱遥感图像的压缩感知处理方法

Also Published As

Publication number Publication date
CN107798668A (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
EP2247094B1 (en) Orthophotographic image creating method and imaging device
CN107798668B (zh) 基于rgb影像的无人机成像高光谱几何校正的方法及系统
US9798928B2 (en) System for collecting and processing aerial imagery with enhanced 3D and NIR imaging capability
CN106127697B (zh) 无人机机载成像高光谱几何校正方法
WO2015106462A1 (zh) 一种无人机载成像高光谱几何校正的方法及系统
CN105627991A (zh) 一种无人机影像实时全景拼接方法及系统
JP2017017696A (ja) ワッブル型の歪みの補正を伴う無人航空機用の高解像度カメラ
CN110363758B (zh) 一种光学遥感卫星成像质量确定方法及系统
CN109341720A (zh) 一种基于恒星轨迹的遥感相机几何标定方法
CN110986888A (zh) 一种航空摄影一体化方法
Liu et al. A new approach to fast mosaic UAV images
Nasrullah Systematic analysis of unmanned aerial vehicle (UAV) derived product quality
CN103776426A (zh) 一种旋转平台农田成像几何校正方法
Selsam et al. Acquisition and automated rectification of high-resolution RGB and near-IR aerial photographs to estimate plant biomass and surface topography in arid agro-ecosystems
Wang et al. Geometric calibration for the aerial line scanning camera Gfxj
Speyerer et al. In-flight geometric calibration of the lunar reconnaissance orbiter camera
Tao et al. On-orbit geometric calibration of the panchromatic/multispectral camera of the ZY-1 02C satellite based on public geographic data
CN107705272A (zh) 一种空间影像的高精度几何校正方法
Sankararao et al. Workflow and calibration of airborne hyperspectral imaging system
Essel et al. Initial Study Assessing the Suitability of Drones with Low-Cost GNSS and IMU for Mapping over Featureless Terrain Using Direct Georeferencing
Pan et al. A penalized spline-based attitude model for high-resolution satellite imagery
Barbieux et al. Correction of airborne pushbroom images orientation using bundle adjustment of frame images
Madani et al. DMC practical experience and accuracy assessment
Tommaselli et al. Refining the interior orientation of a hyperspectral frame camera with preliminary bands co-registration
Wang et al. A method for generating true digital orthophoto map of UAV platform push-broom hyperspectral scanners assisted by lidar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant