CN114092534B - 高光谱图像与激光雷达数据配准方法及配准系统 - Google Patents

Abstract

高光谱图像与激光雷达数据配准方法及配准系统，本发明涉及机载高光谱‑激光雷达的联合配准方法及配准系统。本发明的目的是为了解决现有高光谱图像与LiDAR点云配准方法中缺少适用于高光谱图像、激光雷达系统的一体化配准模型的问题。配准方法过程为：1：建立高光谱成像数学模型；2：基于POS数据对高光谱图像进行几何粗校正；3：建立高光谱图像正射校正模型，得到正射投影高光谱图像；4：选取一对同名线特征及一对同名点特征，通过系统检校方法计算配准误差参数，重新执行3生成配准的高光谱图像。配准系统用于执行高光谱图像与激光雷达数据配准方法。本发明用于数据处理技术领域。

Description

高光谱图像与激光雷达数据配准方法及配准系统

技术领域

本发明涉及机载高光谱-激光雷达的联合配准方法及配准系统，具体的说是一种基于系统检校模型的的高光谱-激光雷达的联合配准方法。本发明属于数据处理技术领域。

背景技术

随着遥感探测技术的发展，传感器的种类越来越多，单一传感器无法获得全部种类的信息，常需要综合多种传感器的信息对观测场景进行探测。高光谱图像和激光雷达数据是由不同设备所获取，且探测机理存在本质差异，多源数据间存在明显的空间误差，所以在融合利用前，需将两种数据进行配准以消除空间上的差异。图像配准(ImageRegistration)是指在不同时间段，对同一场景从不同视角使用相同或不同传感器拍摄的有重叠区域的图像进行几何或空间对准的过程。但由于探测机理不同，多源传感器获得的遥感数据常具有不同的分辨率、灰度值、光谱及场景特征等，造成传统配准方法上的难题，难以满足高精度的要求。

在目前有关高光谱图像与LiDAR点云配准的方法中，大多都基于图像配准方法演变而来，通常只利用高光谱图像与激光雷达强度图的区域相关性，构建相似性度量和特征点提取，缺乏对高光谱成像仪探测机理、畸变原因相关的分析，缺少适用于高光谱图像、激光雷达系统的一体化配准模型的研究。

发明内容

本发明的目的是为了解决现有高光谱图像与LiDAR点云配准方法中缺少适用于高光谱图像、激光雷达系统的一体化配准模型的问题，而提出高光谱图像与激光雷达数据配准方法及配准系统。

高光谱图像与激光雷达数据配准方法，其特征在于：所述方法具体过程为：

步骤1：建立高光谱成像数学模型；

步骤2：基于POS数据，对高光谱图像进行几何粗校正；

步骤3：建立高光谱图像正射校正模型，得到正射投影高光谱图像；

步骤4：选取一对同名线特征及一对同名点特征，通过系统检校方法计算配准误差参数ΔΦ，Δθ，ΔΨ，重新执行步骤3生成配准的高光谱图像。

高光谱图像与激光雷达数据配准系统用于执行高光谱图像与激光雷达数据配准方法。

本发明的有益效果为：

本发明的目的在于对机载推扫式高光谱成像仪与激光雷达数据提出了一种基于系统检校模型的配准方法，对现有高光谱图像与激光雷达数据的配准方法进行了完善，以激光雷达数据生成的数字表面模型为基准，选取控制点对高光谱成像仪的外方位元素进行配准误差参数的求解，并联合数字表面模型生成正射校正且与激光雷达数据配准的高光谱图像。该方法可以适用于任意类型的地形表面，不需要地面控制点，易于实现，消除了高光谱图像与激光雷达数据的空间误差。

为了验证本发明所提出算法的性能，针对机载高光谱与激光雷达系统进行了实验，实验结果验证了本发明提出的基于系统检校模型的高光谱激光雷达配准方法的有效性。

附图说明

图1为本发明的实现流程示意图；

图2a为原始高光谱图像；

图2b为几何粗校正后高光谱图像；

图2c为正射校正后高光谱图像；

图2d为联合配准后高光谱正射校正图；

图3a为几何粗校正高光谱图像评价同名点示意图；

图3b为联合配准后高光谱图像评价同名点示意图；

图3c为数字高程模型评价同名点示意图。

具体实施方式

具体实施方式一：本实施方式高光谱图像与激光雷达数据配准方法具体过程为：

步骤1：根据机载高光谱成像仪工作原理，建立高光谱成像数学模型；

步骤2：基于POS数据，对高光谱图像进行几何粗校正；

步骤3：利用光线追踪原理，建立高光谱图像正射校正模型，得到正射投影高光谱图像；

步骤4：选取一对同名线特征及一对同名点特征，通过系统检校方法计算配准误差参数ΔΦ，Δθ，ΔΨ，重新执行步骤3生成配准的高光谱图像。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤1中根据机载高光谱成像仪工作原理，建立高光谱成像数学模型；具体过程为：

对于推扫式高光谱成像仪，根据成像原理，建立推扫式高光谱成像仪的数学模型。对于推扫式高光谱成像仪采集的高光谱图像，根据共线方程模型，建立推扫式高光谱成像仪系统的数学模型，模型如下：

其中，(X,Y,Z)为地面点的坐标，(X_S,Y_S,Z_S)为推扫式高光谱成像仪的外方位线元素(镜头投影中心的位置坐标)，λ为比例因子，

为推扫式高光谱成像仪的外方位角元素

的组合变换矩阵，(x,y)为图像像元点坐标，f为成像仪焦距。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述外方位角元素分

别代表了成像的旁向倾角、航向倾角和像片旋角；

推扫式高光谱成像仪的外方位角元素

的组合变换矩阵

的具体表达式如下：

其中，·为矩阵乘法，R(ω)、

以及R(κ)分别为ω、

以及κ的旋转矩阵。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述旋转矩阵R(ω)、

以及R(κ)表达式分别如下：

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述矩阵

的具体表达式如下：

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤2中基于POS数据，对高光谱图像进行几何粗校正；具体过程为：

对于推扫式高光谱成像仪的外方位角元素

将POS系统测量得到的俯仰角、滚转角和偏航角(Φ,θ,Ψ)经以下坐标系转换得到推扫式高光谱成像仪的外方位角元素

的组合变换矩阵

步骤一

是模型，具体值需要经过这里的运算；

其中，

为地面摄影测量坐标系(m)变换到地心坐标系(E)，

为地心坐标系(E)变换到导航坐标系，

为导航坐标系(g)变换到IMU坐标系(b)，(Φ,θ,Ψ)代表POS系统测量得到的俯仰角、滚转角和偏航角，

为IMU坐标系(b)变换到传感器坐标系(c)，

为传感器坐标系(c)变换到像空间坐标系(i)；

推扫式高光谱成像仪的外方位线元素(镜头投影中心的位置坐标)坐标通过下式得到：

步骤一外方位线元素(X_S,Y_S,Z_S)未知，具体值需要经过这里运算；

其中，

为地面摄影测量坐标系(m)变换到导航坐标系(g)，

为IMU中心在导航坐标系中的坐标位置，

为高光谱成像系统的偏移量误差；g为导航坐标系；

利用拍摄地区平均海拔高度Z求解比例因子λ(已知拍摄地区平均海拔高度Z，已知(X_S,Y_S,Z_S)、已知

已知(x,y)，已知f，带入公式1求出(X,Y))，求解共线方程，对高光谱图像进行几何粗校正。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述共线方程表达式为：

其中，a₁,a₂,a₃依次对应旋转矩阵

的第一行元素，b₁,b₂,b₃依次对应旋转矩阵

的第二行元素，c₁,c₂,c₃依次对应旋转矩阵

的第三行元素，在描述推扫式行成像的变换关系时，在航向方向上x＝0；y的取值在垂直方向上与CCD阵列间距有关，属于成像仪的内参，由成像仪参数获得。

将POS系统测量得到的俯仰角、滚转角和偏航角(Φ,θ,Ψ)、

公式(7)

公式(8)推扫式高光谱成像仪的外方位线元素坐标

带入共线方程

求出CCD阵列中每个像元的真实地面点的坐标X、Y、Z，从而校正像元的几何畸变(得出像元的地理位置，即是对图像的几何校正的一种实现方式)。

其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述步骤3中利用光线追踪原理，建立高光谱图像正射校正模型，得到正射投影高光谱图像；具体过程为：

步骤31、对激光雷达点云进行滤波生成数字表面模型DSM，获得数字表面模型DSM内的最高点Z_MAX及最低点Z_MIN，将Z_MAX和Z_MIN分别替换公式(9)共线方程中的Z(得到2个共线方程，其中一个方程的Z替换为Z_MAX，另一个方程的Z替换为Z_MIN)，得到2个替换后的共线方程，将高光谱图像中的任一个像素分别带入替换后的2个共线方程，分别得到虚拟光束的起始点[X_ZMAX,Y_ZMAX,Z_ZMAX]与终止点[X_ZMIN,Y_ZMIN,Z_ZMIN]；

步骤32、依次获得光线从虚拟光束的起始点向终止点行进过程中虚拟光束追踪点位置[X_track,Y_track]的DSM高度DSM(X_track,Y_track)，把DSM(X_track,Y_track)作为Z带入到公式(9)中，得到生成的假定投影坐标[X_proj,Y_proj]；

步骤33、检测虚拟光束与数字表面模型DSM是否相交，即判断虚拟光束追踪点位置[X_track,Y_track]与假定投影坐标[X_proj,Y_proj]的二维坐标误差是否小于数字表面模型DSM像素的分辨率，小于则认为虚拟光束与数字表面模型在该点(虚拟光束行进过程中虚拟追踪点)相交；

步骤34、比较所有交点到该像素对应的高光谱成像仪的投影中心的距离，根据遮蔽效应，取距离最短的交点的位置为投影，将像素的地面点的坐标(X,Y,Z)校正为投影位置坐标，其余为被遮蔽位置；

步骤35、重复步骤31至步骤34遍历高光谱图像中所有像素以得到正射投影高光谱图像。

其它步骤及参数与具体实施方式一至七之一相同。

具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述步骤4中选取一对同名线特征及一对同名点特征，通过系统检校方法计算配准误差参数ΔΦ，Δθ，ΔΨ，重新执行步骤3生成配准的高光谱图像；具体过程为：

步骤41、对于偏航角配准误差而言，在步骤35得到的正射投影高光谱图像和步骤31生成的数字表面模型DSM中选取一对同名线特征，以指向北极的经线为正方向，计算高光谱图像中线特征到DSM中线特征之间夹角差(计算高光谱图像中直线的倾斜角与DSM图像的倾斜角的差即可)，即为得到的偏航角配准误差ΔΨ；

步骤42、对于滚转角配准误差及偏航角配准误差而言，将POS系统测量得到的Ψ用(Ψ+ΔΨ)代替，重新执行步骤3，在生成的正射投影高光谱图像与DSM中选取一对同名点；

步骤43、计算步骤42生成的所有正射投影高光谱图像的地面点的坐标(X,Y,Z)到选取的同名点坐标的距离，选取最近距离对应的高光谱像素所在帧为最佳扫描帧，获取最佳扫描帧对应的外方位元素(外方位角元素

和外方位线元素(X_S,Y_S,Z_S))；

步骤44、根据最佳扫描帧的投影中心(最佳扫描帧的对应的外方位线元素)位置，构建投影中心到高光谱同名点的虚拟光束，得到该虚拟光束(投影中心到高光谱同名点的虚拟光束)与平行于偏航角航线方向的夹角A，得到该虚拟光束(投影中心到高光谱同名点的虚拟光束)与垂直于偏航角航线方向的夹角B；

根据最佳扫描帧的投影中心(最佳扫描帧的对应的外方位线元素)位置，构建投影中心到DSM同名点的虚拟光束，得到该虚拟光束(投影中心到DSM同名点的虚拟光束)与平行于偏航角航线方向的夹角C，得到该虚拟光束(投影中心到DSM同名点的虚拟光束)与垂直于偏航角航线方向的夹角D；

计算夹角A和夹角C的角度差，作为俯仰角配准误差ΔΦ；

计算夹角B和夹角D的角度差，作为滚转角配准误差Δθ；

步骤45、在得到配准误差后，将POS数据Φ和θ分别用(Φ+ΔΦ)和(θ+Δθ)代替，重新执行步骤3，生成与数字表面模型配准的高光谱图像。

其它步骤及参数与具体实施方式一至八之一相同。

具体实施方式十：本实施方式高光谱图像与激光雷达数据配准系统，其特征在于，所述系统用于执行具体实施方式一至具体实施方式九之一的高光谱图像与激光雷达数据配准方法。

采用以下实施例验证本发明的有益效果：

实施例一：

实验所用数据是机载高光谱与激光雷达系统所采集数据，图1是本发明的实现流程示意图；图2a、2b、2c、2d是实验结果图；图3a、3b、3c是评价同名点示意图；表1是配准前后同名点距离误差。

表1定量化评价指标

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.高光谱图像与激光雷达数据配准方法，其特征在于：所述方法具体过程为：

步骤1：建立高光谱成像数学模型；具体过程为：

对于推扫式高光谱成像仪采集的高光谱图像，根据共线方程模型，建立推扫式高光谱成像仪系统的数学模型，模型如下：

其中，(X,Y,Z)为地面点的坐标，(X_S,Y_S,Z_S)为推扫式高光谱成像仪的外方位线元素，λ为比例因子，

为推扫式高光谱成像仪的外方位角元素

的组合变换矩阵，(x,y)为图像像元点坐标，f为成像仪焦距；

步骤2：基于POS数据，对高光谱图像进行几何粗校正；

步骤3：建立高光谱图像正射校正模型，得到正射投影高光谱图像；

步骤4：选取一对同名线特征及一对同名点特征，通过系统检校方法计算配准误差参数ΔΦ，Δθ，ΔΨ，重新执行步骤2、3生成配准的高光谱图像。

2.根据权利要求1所述高光谱图像与激光雷达数据配准方法，其特征在于：所述外方位角元素分

别代表了成像的旁向倾角、航向倾角和像片旋角；

推扫式高光谱成像仪的外方位角元素

的组合变换矩阵

的具体表达式如下：

其中，·为矩阵乘法，R(ω)、

以及R(κ)分别为ω、

以及κ的旋转矩阵。

3.根据权利要求2所述高光谱图像与激光雷达数据配准方法，其特征在于：所述旋转矩阵R(ω)、

以及R(κ)表达式分别如下：

4.根据权利要求3所述高光谱图像与激光雷达数据配准方法，其特征在于：所述矩阵

的具体表达式如下：

5.根据权利要求4所述高光谱图像与激光雷达数据配准方法，其特征在于：所述步骤2中基于POS数据，对高光谱图像进行几何粗校正；具体过程为：

对于推扫式高光谱成像仪的外方位角元素

将POS系统测量得到的俯仰角、滚转角和偏航角(Φ,θ,Ψ)经以下坐标系转换得到推扫式高光谱成像仪的外方位角元素

的组合变换矩阵

其中，

为地面摄影测量坐标系变换到地心坐标系，

为地心坐标系变换到导航坐标系，

为导航坐标系变换到IMU坐标系，(Φ,θ,Ψ)代表POS系统测量得到的俯仰角、滚转角和偏航角，

为IMU坐标系变换到传感器坐标系，

为传感器坐标系变换到像空间坐标系；

推扫式高光谱成像仪的外方位线元素坐标通过下式得到：

其中，

为地面摄影测量坐标系变换到导航坐标系，

为IMU中心在导航坐标系中的坐标位置，

为高光谱成像系统的偏移量误差；g为导航坐标系；

利用拍摄地区平均海拔高度Z求解比例因子λ，求解共线方程，对高光谱图像进行几何粗校正。

6.根据权利要求5所述高光谱图像与激光雷达数据配准方法，其特征在于：所述共线方程表达式为：

其中，a₁,a₂,a₃依次对应旋转矩阵

的第一行元素，b₁,b₂,b₃依次对应旋转矩阵

的第二行元素，c₁,c₂,c₃依次对应旋转矩阵

的第三行元素，x＝0。

7.根据权利要求6所述高光谱图像与激光雷达数据配准方法，其特征在于：所述步骤3中建立高光谱图像正射校正模型，得到正射投影高光谱图像；具体过程为：

步骤31、对激光雷达点云进行滤波生成数字表面模型DSM，获得数字表面模型DSM内的最高点Z_MAX及最低点Z_MIN，将Z_MAX和Z_MIN分别替换公式(9)共线方程中的Z，得到2个替换后的共线方程，将高光谱图像中的任一个像素分别带入替换后的2个共线方程，分别得到虚拟光束的起始点[X_ZMAX,Y_ZMAX,Z_ZMAX]与终止点[X_ZMIN,Y_ZMIN,Z_ZMIN]；

步骤32、依次获得光线从虚拟光束的起始点向终止点行进过程中虚拟光束追踪点位置[X_track,Y_track]的DSM高度DSM(X_track,Y_track)，把DSM(X_track,Y_track)作为Z带入到公式(9)中，得到生成的假定投影坐标[X_proj,Y_proj]；

步骤33、检测虚拟光束与数字表面模型DSM是否相交，即判断虚拟光束追踪点位置[X_track,Y_track]与假定投影坐标[X_proj,Y_proj]的二维坐标误差是否小于数字表面模型DSM像素的分辨率，小于则认为虚拟光束与数字表面模型在该点相交；

步骤34、比较所有交点到该像素对应的高光谱成像仪的投影中心的距离，取距离最短的交点的位置为投影，将像素的地面点的坐标(X,Y,Z)校正为投影位置坐标，其余为被遮蔽位置；

步骤35、重复步骤31至步骤34遍历高光谱图像中所有像素以得到正射投影高光谱图像。

8.根据权利要求7所述高光谱图像与激光雷达数据配准方法，其特征在于：所述步骤4中选取一对同名线特征及一对同名点特征，通过系统检校方法计算配准误差参数ΔΦ，Δθ，ΔΨ，重新执行步骤2、3生成配准的高光谱图像；具体过程为：

步骤41、在步骤35得到的正射投影高光谱图像和步骤31生成的数字表面模型DSM中选取一对同名线特征，以指向北极的经线为正方向，计算高光谱图像中线特征到DSM中线特征之间夹角差，即为得到的偏航角配准误差ΔΨ；

步骤42、将POS系统测量得到的Ψ用(Ψ+ΔΨ)代替，重新执行步骤3，在生成的正射投影高光谱图像与DSM中选取一对同名点；

步骤43、计算步骤42生成的所有正射投影高光谱图像的地面点的坐标(X,Y,Z)到选取的同名点坐标的距离，选取最近距离对应的高光谱像素所在帧为最佳扫描帧，获取最佳扫描帧对应的外方位元素；

步骤44、根据最佳扫描帧的投影中心位置，构建投影中心到高光谱同名点的虚拟光束，得到该虚拟光束与平行于偏航角航线方向的夹角A，得到该虚拟光束与垂直于偏航角航线方向的夹角B；

根据最佳扫描帧的投影中心位置，构建投影中心到DSM同名点的虚拟光束，得到该虚拟光束与平行于偏航角航线方向的夹角C，得到该虚拟光束与垂直于偏航角航线方向的夹角D；

计算夹角A和夹角C的角度差，作为俯仰角配准误差ΔΦ；

计算夹角B和夹角D的角度差，作为滚转角配准误差Δθ；

步骤45、在得到配准误差后，将POS数据Φ和θ分别用(Φ+ΔΦ)和(θ+Δθ)代替，重新执行步骤3，生成与数字表面模型配准的高光谱图像。

9.高光谱图像与激光雷达数据配准系统，其特征在于：所述系统用于执行权利要求1至权利要求8之一所述的高光谱图像与激光雷达数据配准方法。

Images