CN107221010A

CN107221010A - 基于三面阵相机的机载高光谱图像几何校正方法与装置

Info

Publication number: CN107221010A
Application number: CN201710563627.1A
Authority: CN
Inventors: 王跃明; 金伟东; 刘敏; 舒嵘; 王建宇
Original assignee: Shanghai Institute of Technical Physics of CAS
Current assignee: Shanghai Institute of Technical Physics of CAS
Priority date: 2017-07-12
Filing date: 2017-07-12
Publication date: 2017-09-29
Anticipated expiration: 2037-07-12
Also published as: CN107221010B

Abstract

本发明公开了一种基于三面阵相机的机载高光谱图像几何校正方法与装置。本发明采用低成本机载稳定平台实现相机视轴粗指向，将高光谱相机对地姿态角稳定在±0.05°～±0.1°。同时利用三个与高光谱相机固结的高速面阵CMOS相机，对地表连续成像，通过前后面阵图像的特征匹配来测量高光谱相机的精确姿态角。再利用高速面阵CMOS相机测量的姿态角对高光谱图像进行像元级别的实时几何校正。本发明解决了低成本稳定平台实现高光谱图像的几何校正的问题。该方法结构简单，成本低，精度高，计算速度快，能够对图像进行像元级别的实时几何校正。

Description

基于三面阵相机的机载高光谱图像几何校正方法与装置

技术领域：

本发明涉及光谱技术，遥感测量领域，具体涉及一种机载高光谱图像的几何校正装置及其方法，该方法适用于轻小型低成本高分辨率光谱遥感系统。

背景技术：

推扫式高光谱相机是一种采用线阵推扫成像方式的高光谱成像仪。推扫式高光谱相机常与机载平台相结合，具有光谱波段多，波段连续，图谱合一的特点，能够提供丰富的地表信息。目前已广泛应用于岩矿识别，植被类型区分，生态环境监测等领域。

在成像过程中，由于飞机运动和气流影像，推扫成像方式获取的高光谱数据会存在较大的几何畸变，这种畸变会严重影响图像质量，有时候甚至造成了图像无法目视判读，严重影响了影像的正常应用。对于几何校正，最基本的是需要获取成像系统的外方位元素，即航偏角γ、俯仰角α和侧滚角β(heading, pitch,roll,HPR)。目前常用的方法为地面控制点法和惯性姿态测量法。对于第一种方法，在困难地区，无图区或者人员不能通达的地区，人们常常只能获得少量地面控制点或者根本无法获得地面控制点。对于第二种方法，普通民用惯性姿态测量产品(如MESE陀螺)的精度一般只能做到±0.1°，无法对分辨率达到毫弧度量级的高分辨率高光谱图像进行像元级别几何校正。某些能够达到要求的惯性姿态测量系统，比如航空位置与姿态自动测量和稳定装置(POS)，激光陀螺等，绝对角度精度能够做到±0.001°，但价格昂贵，动辄几百万，并且重量达到数公斤，影响了该技术的推广应用。

本发明采用的三个高速面阵CMOS相机成本可以控制在10万元以下，并具有高精度的特点，因此本发明提供的机载高光谱图像实时几何校正方法及装置，能够很好解决当前机载高光谱相机姿态测量成本高的问题。

发明内容：

本发明所要解决的问题是提供一种机载高光谱图像的几何校正装置和校正方法。

本发明所述的装置，由运输机，机载稳定平台控制器1，机载稳定平台2，固定支架3，惯性姿态测量模块4，高速面阵CMOS相机5，高光谱相机6组成。整套装置可以配合运12型运输机使用。运输机舱提供测量窗口，在窗口上安装机载稳定平台。该稳定平台由铝合金制作，并提供多种机械安装接口。稳定平台自带一款低成本的MEMS惯性姿态测量模块，能够通过反馈控制使平台稳定在±0.05°～±0.1°。稳定平台中心为固定支架，支架中心固定一个高光谱相机。三个高速面阵CMOS相机以高光谱相机中心视场主光轴为对称轴，呈正三角形分布。三个高速面阵CMOS相机透镜中心距离光谱仪安装支架中心50cm，与光谱仪相机光轴平行。

综合考虑像元规模、像元尺寸和帧频三个指标参数，结合项目需求，光谱仪决定采用加拿大DALSA公司的JUGAR型CCD探测器。该款CCD为四相面阵背照减薄帧转移型探测器，光谱仪波段范围是0.4-1.0um,光谱分辨率小于5nm。

CMOS采用英国E2V公司的EV76C664型探测器。在典型应用模式下，该面阵相机适应作业高度1000～8000m，飞行速度180km/h～800km/h，在 3000m作业高度时，空间分辨率0.25毫弧度(mrad)，帧速为350帧/秒。则此时每个高速面阵CMOS相机地面分辨率为：

2×3000×tan(0.25×256/1000/2)≈200m. (1)

该像元分辨率优于高光谱相机，是高光谱相机像元分辨率的3倍左右。该模式下具有突出的地物探测和识别能力。

电子学系统主要由驱动模块、信息获取模块、主控模块和通信模块组成，驱动模块对输入电源进行去耦、分配，为探测器正常工作提供所需的偏压。信息获取模块为CMOS芯片提供输入输出接口，对视频信号进行射级跟随，提高信号的传输能力，将模拟视频信号转换成数字信号，送入主控FPGA 中。主控模块为驱动模块提供驱动时序、控制的视频信号处理、编排数据格式、控制数据传输等。通信模块对成像数据进行并串转换，并经同轴电缆传输到数据记录设备中。

高光谱相机和三个高速面阵CMOS相机同时对地面成像。首先，高速面阵CMOS获取的图形进行基于直方图的图像标准二值化处理，采用灰度平均值值法，即使用整幅图像的灰度平均值最为二值化的阈值。

Threshold＝Sum/Amount (4)

其中，h(g)为各颜色分量的直方统计函数，g为各个分量，Sum为整幅图像的灰度统计总和，Amount为灰度统计数量，Threshold即为阈值。

接着进行滤波和图像特征点的提取。滤波主要采用高斯滤波，即线性平滑滤波。对整幅图像进行加权平均，每一个像素点的值都由本身和领域内的其他像素值经过加权平均得到。特征提取采用尺寸不变特征变换算法(SIFT)，利用原始图像与高斯核函数的卷积来建立尺寸空间，并在高斯差分空间金字塔上提取出尺寸不变性的特征点。

对于连续两幅图像，我们对后一张进行坐标变换。通过对不同的航偏、俯仰和侧滚角组合进行网格搜索，在两幅图像左，中，右分别选取三个特征区域，比对前后两张图像特征区域中的特征点来确定姿态角即航偏角γ、俯仰角α和侧滚角β。例如。对于地面特征点A，在水平图像P⁰和倾斜图像P上的构像分别是a⁰和a,对应的以各自像主点为原点的像点坐标分别为(x⁰,y⁰)和(x,y)。则有：

其中，f为焦距。利用该公式获得俯仰角α，同理可获取其余两个角度。

为了获得相对于地面坐标系的绝对姿态角，需要对系统初始姿态进行定标。这里采取通过地面控制点来获取测量平台姿态角的方法。控制点的地理坐标提前确定。当三个高速面阵CMOS相机平拍摄到地面控制点后，通过控制点的地理坐标和在图像上的位置坐标，来计算相机平台当前的姿态角。此姿态角即为后面计算用到的初始角度。

获取姿态角α,β,γ后，基于共线方程计算因飞机姿态变化导致的像点位移。由摄影测量基本原理，线中心投影的几何关系可以用共线方程表示：

其中，f为焦距，x_real和y_real是地物点的实际地理坐标，(x,y)为像素点在地面坐标系中的坐标，(X,Y,Z)为像素点在图像框标坐标系中的坐标，(X_S,Y_S,Z_S)为投影中心在图像框标坐标系中的坐标，a_i,b_i,c_i(i＝1,2,3)为只含三个独立参数的九个方向余弦，它们可由以下公式计算获得：

计算出全部像素点的地面坐标后，对图像进行重采样操作。用该坐标来替换原高光谱图像的坐标，进行图像实时几何校正。

有益效果：

本发明解决了低成本云台实现高光谱图像的几何校正的问题。该方法结构简单，成本低，精度高，计算速度快，能够对图像进行像元级别的实时几何校正。

附图说明：

图1是机载光谱图像的几何校正装置示意图。

图2是算法流程图。

具体实施方式：

下面结合附图对本发明的具体实施方式作进一步的详细说明：

图1是机载光谱图像的几何校正装置示意图。包括运输机，机载稳定平台控制器1，机载稳定平台2，固定支架3，惯性姿态测量模块4，高速面阵CMOS 相机5，高光谱相机6组成。机载稳定平台2在运输机窗口上水平固定，z轴与地面铅垂线方向一致。在电机控制下，并通过惯性姿态测量模块4的反馈控制，能够使其x,y轴稳定在±0.05°～±0.1°。机载稳定平台2上有固定支架3，在3上固定有一个高光谱相机6。三个高速面阵CMOS相机以高光谱相机中心视场主光线为对称轴，呈呈正三角形分布。三个高速面阵CMOS相机透镜中心距离光谱仪中心50cm，与高光谱相机的光轴平行。7是其中一个高速面阵 CMOS相机的投影区域，10是高光谱相机的投影区域。

根据前后图像特征匹配的方法只能得到平台相对转动角度。为了获得相对于地面坐标系的绝对姿态角，需要对系统初始姿态进行定标。多项式模型转换是常用的一种方法。该方法是通过对原始影像坐标(行，列)与地理参考坐标之间数学关系，来获取当前测量平台相对于地面坐标系的姿态角。根据影像的变形程度，我们可以使用一阶多项式，二阶多项式和三阶多项式等几种，分别计算6个，12个，20个未知变形参数，因此需要3个，6个，10个控制点才能完成计算。为了提高校正精度，本发明采用10个控制点来计算系统初始姿态角。在地面建有10个人工控制点8。并已知他们的坐标。当面阵相机检测到这些人工控制点后，通过计算它们的图像位置关系和实际地面坐标系的坐标，来确定平台的初始姿态角。确定初始姿态角后，后续解算的相对姿态角即可转化为绝对姿态角，从而进行光谱图像的几何校正。

图2是数据处理流程图。首先将三个高速面阵CMOS相机拍摄的照片进行二值化处理和滤波后，提取出图像的特征点和特征向量。接着判断这些特征点是否为人工控制点。如果是，则计算相机平台的初始姿态角，即进行姿态角定标。如果否，则通过对比三个高速面阵CMOS相机拍摄的前后图像特征，得到相机平台的航偏角γ、俯仰角α和侧滚角β。得到这些角度后，利用共线方程，即可求得每个像素点相对地面坐标系的坐标。然后，对坐标变换后的像素值进行重新采样，即可得到几何校正后的图像。

Claims

1.一种基于三面阵相机的机载高光谱图像几何校正装置，包括运输机，机载稳定平台控制器(1)，机载稳定平台(2)，固定支架(3)，惯性姿态测量模块(4)，三个高速面阵CMOS相机(5)，其特征在于：

所述的三个高速面阵CMOS相机通过固定支架(3)，以高光谱相机(6)中心视场主光轴为对称轴，呈正三角形分布。三个高速面阵CMOS相机像元分辨率是高光谱相机的2～3倍，地面空间分辨率为200m。机载稳定平台通过低成本稳定平台控制器(1)，能够使姿态稳定在±0.05°～±0.1°。

2.一种基于权利要求1所述基于三面阵相机的机载高光谱图像几何校正装置的机载光谱图像几何校正方法，其特征在于：

1)高光谱相机和三个高速面阵CMOS相机同时对地面成像，获取图像数据，图像数据为相机输出的DN值；

2)对三个高速面阵CMOS相机获取的前后图像进行二值化处理，滤波和图像特征点的提取；

3)对于连续两幅图像，对后一张进行坐标变换，通过对不同的航偏角γ、俯仰角α和侧滚角β组合进行网格搜索；在两幅图像左，中，右分别选取三个特征区域，在特征区域中比对前后两张图像的特征点；对于地面特征点A，在水平图像P⁰和倾斜图像P上的构像分别是a⁰和a,对应的以各自像主点为原点的像点坐标分别为(x⁰,y⁰)和(x,y)，则有：

<mrow> <msup> <mi>x</mi> <mn>0</mn> </msup> <mo>=</mo> <mfrac> <mrow> <mi>f</mi> <mi>x</mi> </mrow> <mrow> <mi>f</mi> <mo>-</mo> <mi>y</mi> <mi> </mi> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&alpha;</mi> </mrow> </mfrac> <mo>,</mo> </mrow>

<mrow> <msup> <mi>y</mi> <mn>0</mn> </msup> <mo>=</mo> <mfrac> <mrow> <mi>f</mi> <mi>y</mi> </mrow> <mrow> <mi>f</mi> <mo>-</mo> <mi>y</mi> <mi> </mi> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&alpha;</mi> </mrow> </mfrac> </mrow>

其中，f为焦距，利用该公式获得俯仰角α，改变选取的特征点，则可获取航偏角γ和侧滚角β；

4)利用下面的共线方程，计算出地物点的实际地理坐标，用该坐标来替换原高光谱图像的坐标，进行图像实时几何校正：

a₁＝cosαcosβ+sinαsinβ

b₁＝cosαsinβ-sinαsinγcosβ

c₁＝sinαcosγ

a₂＝-cosγsinα

b₂＝cosγcosα

c₂＝sinγ

a₃＝-sinαcosβ+cosαsinγsinβ

b₃＝-sinαsinβ-cosαsinγcosβ

c₃＝cosαcosγ.。