CN116739924A - 基于等效偏移角稀疏测量的序贯观测图像几何校正方法 - Google Patents

Abstract

本发明公开了一种基于等效偏移角稀疏测量的序贯观测图像几何校正方法，从序贯观测图像中随机挑选少量成像条件较好的图像作为测量提取的地面控制点来解算等效偏移角，将解算得到的等效偏移角作为测量点，使用压缩感知理论来恢复全时段的等效偏移角信号，从而完成几何校正处理。本发明可有效应对某些图像场景控制点数量不足或分布不均的情况，提高校正精度，同时可大大降低运算量。

Description

基于等效偏移角稀疏测量的序贯观测图像几何校正方法

技术领域

本发明涉及图像处理技术领域，特别是一种基于等效偏移角稀疏测量的序贯观测图像几何校正方法。

背景技术

随着航天技术突飞猛进的发展与传感器性能的不断提升，对地观测平台呈现出“三多”(多平台、多传感器、多视角)和“四高”(高时间分辨、高空间分辨、高光谱分辨和高辐射分辨)的发展趋势，全天时、全天候、全区域覆盖的总体要求，为对地观测系统带来了一系列的新变化：观测平台数量急剧增多，时段要求全天时、全天候；观测图像场景被遮挡，轮廓变化较大，提取精度不高；部分红外波段的观测图像纹理特征不明显。这些新变化说明当前对地观测系统获取了更多的观测图像数据，且部分图像场景的观测条件较差，这对几何校正方法的效率以及对控制点数量、分布的要求都提出了新的挑战。

一般情况下，传统几何校正方法可以通过复杂的运算对观测的序贯图像逐帧提取足够多且分布均匀的地面控制点解算校正参数。但当受到面阵相机观测视场、波段特性(红外波段)或观测场景(沙漠、海洋等纹理特征较弱的区域)等限制时，导致图像场景中包含的地面控制点数量不足或分布不均，传统几何校正方法精度受到影响甚至是失效。传统的几何校正方法采用逐帧处理模式，需先从待处理图像中提取足够高精度的控制点，再进行校正参数解算和图像校正，但受限于校正模型和解算方法，存在如下缺点：

(1)对于序列图像的几何校正参数需逐帧求解，不同帧无法复用，未考虑帧间待校正误差的关联性。

(2)每帧均需提取大量分布均匀的控制点进行校正参数求解，才能取得较高的校正精度，控制点提取和参数求解运算量较大。

(3)当图像场景的控制点分布不均或数量不足导致观测方程奇异时，校正精度急剧下降。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于等效偏移角稀疏测量的序贯观测图像几何校正方法，解决传统几何校正方法在图像存在地面控制点数量不足、分布不均的条件下校正精度较差的问题。

为解决上述技术问题，本发明所采用的技术方案是：一种基于等效偏移角稀疏测量的序贯观测图像几何校正方法，包括以下步骤：

S1、选择稀疏基，构建测量矩阵，利用所述测量矩阵构建测量方程，将三维等效偏移角信号构建为三个独立的、随时间变化的一维等效偏移角信号；所述三维等效偏移角信号通过序列图像中的测量帧估计获得；

S2、利用所述测量方程恢复等效偏移角信号；

S3、利用恢复的等效偏移角信号计算校正后的图像位置，对原始图像进行重采样，根据原始图像的灰度值获得校正后的图像灰度值。

本发明将几何校正处理中高维误差参数逐帧求解的问题转化为稀疏观测条件下三维等效偏移角信号恢复的问题，可有效应对某些图像场景控制点数量不足或分布不均的情况，提高校正精度，同时可大大降低运算量。

步骤S1中，所述三维等效偏移角信号具体获取过程包括：

1)利用随机采样方法从序列图像中挑选设定数量的图像帧作为测量帧；根据测量帧对应的测量场景的经度、纬度范围确定是否存在地面控制点，若存在，则提取地面控制点，获得地面控制点实际的像平面位置和经纬度；

2)联合两个以上分布均匀的地面控制点估计每帧测量场景的等效偏移角。

本发明从序贯观测图像中随机挑选少量成像条件较好的图像作为测量提取的地面控制点来解算等效偏移角，进一步提高了校正精度，降低了运算量。

为了提高等效偏移角的估计精度，本发明利用最优估计方法处理步骤2)获得的等效偏移角，得到三维等效偏移角信号。

步骤S1中，所述测量方程表示如下：

U＝ΦΨf_α

V＝ΦΨf_β

W＝ΦΨf_θ；

Φ是M×N阶的测量矩阵，M<<N，M为等效角偏移信号的数量，N是待变换信号的长度，U,V,W是三维等效偏移角信号的M×1的不完全测量矩阵，α,β,θ是一维的等效偏移角信号，Ψ是N×N的稀疏基，f_α,f_β,f_θ是α,β,θ在稀疏基Ψ上的稀疏表示。

本发明中，一维的等效偏移角信号α,β,θ表示为：

其中，ΔT是等效偏移角信号的采样间隔，N是待变换信号的长度，α(ΔT)、α(1)表示α的以ΔT为采样间隔的离散样本，β(ΔT)、β(1)表示β的以ΔT为采样间隔的离散样本，θ(ΔT)、θ(1)表示θ的以ΔT为采样间隔的离散样本。

本发明中，等效偏移角信号的采样间隔ΔT设定为与相机的成像间隔相等。

稀疏基Ψ第s行第q列的元素表示为：Ψ(s，p)＝e^j2π(s×p)/N；其中，0≤s≤N-1，0≤p≤N-1，Ψ(0，0)表示稀疏基Ψ第1行第1列的元素，依此类推

本发明选择的稀疏基稀疏效果好，进一步提高了图像校正精度。

本发明中，所述测量矩阵表示为：其中，b_i是一个1×N的向量，且只在p_i位置的元素为1，其他位置的元素均为0，i＝1，2，……，M。

本发明中，位置p_i的计算公式为：p_i＝frameNO；frameNO是图像帧序列号。

本发明步骤S2中，利用正交匹配追踪方法恢复等效偏移角信号。

与现有技术相比，本发明所具有的有益效果为：本发明将几何校正处理中高维误差参数逐帧求解的问题转化为稀疏观测条件下三维等效偏移角信号恢复的问题。在理论研究方面，本发明既拓展压缩感知理论应用范围，又为对地观测图像几何校正处理的提供了一种全新的解决思路。在实际工程中，本发明应用压缩感知理论，可有效应对某些图像场景控制点数量不足或分布不均的情况，极大地提高了校正精度，同时可大大降低运算量。

附图说明

图1为本发明实施例方法流程图；

图2(a)为仿真的1-D等效偏移角信号；图2(b)为1-D傅里叶变换结果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例提供了一种基于等效偏移角稀疏测量的序贯观测图像几何校正方法。

基于等效偏移角稀疏测量的几何校正方法包括四个主要的步骤：(1)测量帧地面控制点提取与匹配；(2)测量帧等效偏移角估计；(3)等效偏移角恢复；(4)图像校正。该方法的流程如图1所示。

(1)测量帧地面控制点提取与匹配

首先，使用随机采样的方法从序列图像中挑选少量的图像帧作为测量帧；然后，计算测量场景对应大致的经纬度范围来确定是否存在地面控制点，如果存在，地面控制点的匹配模板需要使用全球高程数字模型数据实时生成(Wang P,An W,Deng X P,ZhangX.Anew method to obtain ground control points based on SRTM data[C].5thInternational Symposium on Photoelectronic Detection and Imaging,2013.)；最后，完成地面控制点的提取与匹配，并获得地面控制点实际的像平面位置和经纬度。

(2)测量帧等效偏移角估计

在完成地面控制点的提取与匹配之后，可以获得地面控制点的实际像平面位置和经纬度等信息。这一处理步骤中使用了地面控制点信息、成像参数以及基于等效偏移角的严格成像模型。联合多个(两个以上)分布均匀的控制点来估计每帧测量场景的等效偏移角，同时，可以利用最优估计的方法(比如最小二乘法、牛顿迭代法等)来提高等效偏移角的估计精度(HAN J,TAO Z,XIE Y,et al.Radiometric cross-calibration of GF-4/PMSbased on radiometric block adjustment[J].IEEE Transactions on Geoscience andRemote Sensing,2021,59(6):4522-4534.)。

(3)等效偏移角信号恢复

等效偏移角信号的恢复是分步恢复法最为核心的步骤。这一步的核心思想是将三维的等效偏移角信号视为三个独立随时间变化的一维信号。将第二步估计得到测量帧的等效偏移角作为待恢复等效偏移角信号的测量。剩下的工作就是选择合适的稀疏基，构建恰当的测量矩阵，采用适当的恢复算法来高精度恢复等效偏移角信号。

三维的等效偏移角信号可认为是三个独立随时间变化的一维信号。因此，三维等效偏移角信号的恢复问题转换成了对三个独立的一维信号同时恢复的问题。测量方程可以表示如下：

U＝Φα

V＝Φβ

W＝Φθ (1)

其中，Φ是M×N的测量矩阵，M<<N；U,V,W是三维等效偏移角信号的M×1的不完全测量；α,β,θ是一维的等效偏移角信号，它们可以表示为如下形式：

其中，ΔT是等效偏移角信号的采样间隔，在本节的研究中忽略等效偏移角在成像间隔内的变化，因而，将等效偏移角信号的采样间隔选定为相机的成像间隔。

等效偏移角是非直接稀疏信号，需要在稀疏表示后才能使用压缩感知来进行恢复。经过稀疏表示后，式(1)表示的测量方程可以重新描述为：

U＝ΦΨf_α

V＝ΦΨf_β

W＝ΦΨf_θ (3)

其中，Ψ是N×N的稀疏基；f_α,f_β,f_θ是α,β,θ在稀疏基Ψ上的稀疏表示B。

先前的研究表明：经过1-D的傅里叶变换后，非直接稀疏的等效偏移角信号在频率内是稀疏的。1-D等效偏移角信号经过傅里叶变换的结果如图2(a)和图2(b)所示：

由图2(b)可知，1-D的等效偏移角信号可以由傅里叶基稀疏表示。因此，选取傅里叶基作为稀疏基Ψ，其定义如下：

即，稀疏基Ψ第s行第q列的元素表示为：Ψ(s，p)＝e^j2π(s×p)/N；其中，0≤s≤N-1，0≤p≤N-1，Ψ(0，0)表示稀疏基Ψ第1行第1列的元素，依此类推。N为矩阵的维度，即待变换信号的长度。对其他的稀疏基(比如离散小波基、离散余弦基等)都进行了测试，但它们的稀疏效果都不如1-D傅里叶基，且傅里叶基满足RIP准则。

在一种实现方式中，等效偏移角的采样间隔为相机的成像帧间隔，因而测量矩阵的大小取决于待校正图像序列的帧数。如果我们从序列图像中获得了M个等效偏移角测量，则M个行向量b₁,b₂,...,b_M可定义如下：

其中，b_i是一个1×N的向量，且只在p_i位置的元素为1，其他位置的元素均为0；p_i计算如下：

p_i＝frameNO*T/ΔT＝frameNO (6)

其中，frameNO是图像帧序列号；T是相机扫描帧周期；ΔT是等效偏移角采样间隔；且△T＝T。

测量矩阵可以表示为如下形式：

为了保证构建的测量矩阵与稀疏基是高度不相关的，测量帧图像必须随机选取。

本发明实施例中，需要选择合适的恢复算法来恢复等效偏移角信号。常用的恢复算法主要包括基追踪法、匹配追踪法、迭代阈值法等。其中，匹配追踪法相比于其他恢复算法，具有较低的算法复杂度。因此，本发明实施例采用正交匹配追踪算法(OMP)来恢复等效偏移角信号。为了保证迭代的最优化，OMP方法采用循环递归的方法来实现子元素的正交化。因此，该方法具有比匹配追踪方法更低的计算复杂度。

(4)图像校正

图像校正是分步恢复法的最后一步。当获得整个随时间变化的等效偏移角信号后，使用成像参数给出的基于等效偏移角的校正模型来计算得到校正后的图像位置。获得校正后的图像位置后，需要对原始图像进行重采样，双线性插值法可依据原始图像的灰度值来获取校正后的图像灰度值。

实施例2

本发明实施例2提供一种对应上述实施例1的终端设备，终端设备可以是用于客户端的处理设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行上述实施例的方法。

本实施例的终端设备包括存储器、处理器及存储在存储器上的计算机程序；处理器执行存储器上的计算机程序，以实现上述实施例1方法的步骤。

在一些实现中，存储器可以是高速随机存取存储器(RAM：Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

在另一些实现中，处理器可以为中央处理器(CPU)、数字信号处理器(DSP)等各种类型通用处理器，在此不做限定。

实施例3

本发明实施例3提供了一种对应上述实施例1的计算机可读存储介质，其上存储有计算机程序/指令。计算机程序/指令被处理器执行时，实现上述实施例1方法的步骤。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于等效偏移角稀疏测量的序贯观测图像几何校正方法，其特征在于，包括以下步骤：

S1、选择稀疏基，构建测量矩阵，利用所述测量矩阵构建测量方程，将三维等效偏移角信号构建为三个独立的、随时间变化的一维等效偏移角信号；

所述三维等效偏移角信号通过序列图像中的测量帧估计获得；

S2、利用所述测量方程恢复等效偏移角信号；

S3、利用恢复的等效偏移角信号计算校正后的图像位置，对原始图像进行重采样，根据原始图像的灰度值获得校正后的图像灰度值。

2.根据权利要求1所述的基于等效偏移角稀疏测量的序贯观测图像几何校正方法，其特征在于，步骤S1中，所述三维等效偏移角信号具体获取过程包括：

1)利用随机采样方法从序列图像中挑选设定数量的图像帧作为测量帧；

根据测量帧对应的测量场景的经度、纬度范围确定是否存在地面控制点，

若存在，则提取地面控制点，获得地面控制点实际的像平面位置和经纬度；

2)联合两个以上分布均匀的地面控制点估计每帧测量场景的等效偏移角。

3.根据权利要求2所述的基于等效偏移角稀疏测量的序贯观测图像几何校正方法，其特征在于，利用最优估计方法处理步骤2)获得的等效偏移角，得到三维等效偏移角信号。

4.根据权利要求1所述的基于等效偏移角稀疏测量的序贯观测图像几何校正方法，其特征在于，步骤S1中，所述测量方程表示如下：

U＝ΦΨf_α

V＝ΦΨf_β

W＝ΦΨf_θ；

Φ是M×N阶的测量矩阵，M<<N，M为等效角偏移信号的数量，N是待变换信号的长度，U,V,W是三维等效偏移角信号的M×1的不完全测量矩阵，α,β,θ是一维的等效偏移角信号，Ψ是N×N的稀疏基，f_α,f_β,f_θ是α,β,θ在稀疏基Ψ上的稀疏表示。

5.根据权利要求4所述的基于等效偏移角稀疏测量的序贯观测图像几何校正方法，其特征在于，一维的等效偏移角信号α,β,θ表示为：

其中，ΔT是等效偏移角信号的采样间隔，N是待变换信号的长度，α(ΔT)、α(1)表示等效偏移角信号α的以ΔT为采样间隔的离散样本，β(ΔT)、β(1)表示等效偏移角信号β的以ΔT为采样间隔的离散样本，θ(ΔT)、θ(1)表示等效偏移角信号θ的以ΔT为采样间隔的离散样本。

6.根据权利要求5所述的基于等效偏移角稀疏测量的序贯观测图像几何校正方法，其特征在于，等效偏移角信号的采样间隔ΔT设定为与相机的成像间隔相等。

7.根据权利要求4所述的基于等效偏移角稀疏测量的序贯观测图像几何校正方法，其特征在于，稀疏基Ψ第s行第q列的元素表示为：Ψ(s，p)＝e^j2π(s×p)/N；其中，0≤s≤N-1，0≤p≤N-1，Ψ(0，0)表示稀疏基Ψ第1行第1列的元素，依此类推。

8.根据权利要求4所述的基于等效偏移角稀疏测量的序贯观测图像几何校正方法，其特征在于，所述测量矩阵表示为：其中，b_i是一个1×N的向量，且只在p_i位置的元素为1，其他位置的元素均为0，i＝1，2，……，M。

9.根据权利要求8所述的基于等效偏移角稀疏测量的序贯观测图像几何校正方法，其特征在于，位置p_i的计算公式为：p_i＝frameNO；frameNO是图像帧序列号。

10.根据权利要求1～9之一所述的基于等效偏移角稀疏测量的序贯观测图像几何校正方法，其特征在于，步骤S2中，利用正交匹配追踪方法恢复等效偏移角信号。