CN104346773A - 一种推扫式航天相机图像在轨实时复原方法 - Google Patents

Abstract

一种推扫式航天相机图像在轨实时复原方法，该方法以比较成熟的线性滤波方法为基础，将线性滤波复原方法的频域表达式中待复原图像频域信息之外的分量单独提出，将其转换到空间域中，截取空间域中的能量分布主要部分作为小尺寸的空间域反卷积模板，结合嵌入式硬件系统，对相机获取的地面场景信息进行空间域卷积实时复原，解决了航天相机图像实时复原的难题。采用本发明的航天相机系统不再输出退化的遥感图像，而是输出对拍摄场景的复原估计的重建图像。

Description

一种推扫式航天相机图像在轨实时复原方法

技术领域

本发明属于空间光学遥感技术领域，具体的说涉及一种推扫式航天相机图像在轨实时复原方法。

背景技术

线阵推扫式航天相机是目前应用最多的空间相机，其成像原理如图1所示。设航天相机拍摄的地面场景为f(x,y)，经过相机系统后，获得的遥感图像g(x,y)可以表示为：

g(x,y)=h(x,y)*f(x,y)+n(x,y)    (1)

(1)式中h(x,y)为航天相机系统特征函数——点扩散函数（PSF），n(x,y)为噪声，*表示卷积。上式表明，航天相机获得的遥感图像并不是地面场景真实的重现，而是在成像的过程中发生了退化，得到的是降质图像。

为了提高遥感图像质量，人们提出了图像复原的概念，其数学本质是根据已知的g(x,y)以及h(x,y)与n(x,y)的部分先验信息，以不同的准则对f(x,y)进行估计，从而得到接近于实际场景（f(x,y)）的估计值——目前比较成熟的图像复原方法主要有以下几种：基于最小均方误差(维纳滤波)的图像复原法和基于约束最小二乘方(正则)滤波的线性图像复原法、基于Lucy-Richardson算法的图像复原方法和基于盲反卷积的非线性图像复原算法等等。这些方法对图像复原均起到良好的效果。

然而现有的图像复原方法都是对遥感图像进行事后处理，即将航天相机拍摄的遥感图像传至地面再进行复原处理，不具有实时性，极大限制了其对航天光学遥感的应用，特别是在军事领域的应用。

综上所述，为进一步提高航天相机遥感图像的质量，并兼顾图像应用的实时性，有必要寻求一种推扫式航天相机图像在轨实时复原方法，且这种方法可在实际工程中得以实现。

发明内容

为了进一步提高航天相机的成像质量，解决遥感图像在轨实时复原的技术难题，本发明的目的是要提供一种推扫式航天相机图像在轨实时复原方法，该方法是将现有图像复原技术转换为满足航天相机在轨实时复原的工程应用需求的方法。

采用本发明的星载相机与原有的星载相机系统的区别如图2所示，原有星载相机系统输出为退化的图像数据——g(x,y)，而采用本发明的星载相机系统输出是对拍摄场景的近似估计——即复原后的图像数据。这是二者本质上的区别。

为了实现上述目的，本发明所采用的技术方案是：

该推扫式航天相机图像在轨实时复原方法包括如下步骤：

步骤1：利用点扩散函数的估算方法估计航天相机在轨点扩散函数h(x,y)，即PSF。

步骤2：利用步骤1所获得的h(x,y)，采用成熟的线性滤波方法获得在频域的复原表达式，将表达式中待复原图像频域信息之外的分量单独提出，将其采用傅里叶反变换到空间域中，得到h_y(x,y)。

步骤3：将步骤2中的h_y(x,y)能量分布高度集中的区域截取出来，根据具体的数值分布，截取占总能能量分布99%以上的中央区域的矩阵作为空间域反卷积模板h_m(x,y)。

步骤4：将h_m(x,y)与待复原的地面场景图像g(x,y)进行二维卷积以获得复原后的图像 这个卷积过程通过嵌入式硬件以并行计算的方式实现。

本发明具有以下优点和积极效果：

1、本发明提供了一种在现有技术条件下可行的推扫式航天相机在轨图像复原方法，使得航天相机系统输出的数据发生了本质上的变化，即航天相机不再直接输出推扫获得的遥感图像g(x,y)，而是输出基于相机在轨参数进行图像复原处理后的对地面场景进行准确估计的重建图像可以有效的提升航天相机的成像性能。

2、本发明并不限制估计PSF所采用的方法，使得适用条件更为广泛。

3、为了解决图像在轨复原的实时性难题，本发明将原本在频域的复原搬移到了空间域进行处理，保留了成熟的线性滤波复原图像的可靠性(两者在数学本质上相同)，截取能量分布的主要部分，采用小尺寸的空间域反卷积模板进行卷积处理，减小了空间域处理的计算量，以满足处理的实时性。

4、本发明针对线阵CCD航天相机的推扫成像的时序，按行实时处理图像数据的时序降低了嵌入式硬件的性能要求和设计难度，可采用FPGA进行高速并行处理，易于工程实现。未来随着嵌入式硬件的高速发展，这种实现会越来越容易，具有很高的实用价值。

5、由于现有的航天相机的压缩系统大多采用有损压缩，而该嵌入式系统位于航天相机压缩图像的前端，所以可以更有效的提高图像质量。

6、本发明对于各种成熟的线性滤波方法都有较好的适用性，很容易将不同的线性滤波方法转化为与之等价的空间域模板，可以实现基于各种成熟线性滤波方法的在轨实时快速复原方法，具有广泛的应用价值。

附图说明

图1是典型的线阵CCD推扫成像航天相机工作原理示意图。

图2是采用本发明方法的星载相机系统与现有的星载相机系统的区别。

图3是根据相机参数获得的一种典型的尺寸为7×7的在轨归一化点扩散函数h(x,y)。

图4是由图3得到的能量分布高度集中的尺寸为256×256的空间域反卷积预选模板h_y(x,y)。

图5是从图4中截取的尺寸为13×13的空间域反卷积模板h_m(x,y)。

图6是h_m(x,y)与g(x,y)的卷积示意图。

图7是在轨实时复原系统按行处理的时序示意图。

图8是在轨实时复原算法总示意图。

图9是本发明对航天相机拍摄的图像复原前后的对比图，左图为复原前的遥感图像，右图为复原后的遥感图像。

具体实施实例

以最为典型的线性滤波方法——维纳滤波方法为例，给出本发明结合该方法实现星上在轨实时反卷积复原图像的实例：

步骤1：采用现有的较为成熟的方法（如点光源法、倾斜刃边法、矩形脉冲法和辐射靶标法等，具体方法详见相关文献），也可以采用对现有成熟方法的改进方法估计点扩散函数。得到较为准确的在轨归一化h(x,y)，如图3所示。

步骤2：对于上述(1)式：g(x,y)=h(x,y)*f(x,y)+n(x,y)所示的图像在空间域中的退化通常都要放在频域中进行处理，即将空间域的卷积变成频域中的乘积，对于(1)式两边进行傅里叶变换，得：

G(u,v)=H(u,v)F(u,v)+N(u,v)    (2)

其中，G(u,v)、H(u,v)、F(u,v)和N(u,v)分别是(1)式中g(x,y)、h(x,y)、f(x,y)和n(x,y)的傅里叶变换。图像复原的目的就是想办法得到比较准确的f(x,y)的估计值。

由于噪声是未知量，所以需要基于一定的准则去对f(x,y)给出一个最佳的估值。维纳滤波方法假设图像和噪声都是随机变量且互不相关，目标是估计一个使得与f(x,y)之间的均方误差最小。这种误差由下式给出：

(3)式中的E{·}表示期望，根据这个准则，可以得到维纳滤波的频域表达式为：

其中S_η(u,v)/S_f(u,v)是噪声功率谱与未退化图像功率谱之比，通常是未知的，用一个特定常数K代替，由此得到工程上维纳滤波频域表达式为：

其中H(u,v)=FFT(h(x,y))，G(u,v)=FFT(g(x,y))，是复原后的图像的离散傅里叶变换，K可以通过航天相机在轨的工作模式确定的噪声水平计算得到。这样，在的表达式中，乘在G(u,v)之前的这项就是一个固定的矩阵，将其采用离散傅里叶逆变换回空间域，就可以得到一个空间域预选模板：如图4所示，其能量分布呈现出高度集中的特点。

步骤3：将h_y(x,y)能量分布高度集中的区域截取出来，根据具体的数值分布，截取占总能能量分布99%以上的中央区域的矩阵作为空间域反卷积模板h_m(x,y)，如图5所示。

步骤4：将h_m(x,y)与地面场景g(x,y)进行卷积则复原的计算过程可表述为：(为了描述方便，图6给出的是一个简单的3×3空间域模板与图像卷积的示意图)，对于要求实时复原的航天相机系统，将g(x,y)按行送入嵌入式图像复原系统时，速率要与推扫数据流相匹配，例如某航天相机TDICCD的像元数为12000，推扫行频为10000行/秒，遥感图像为12bit的灰度图像，h_m(x,y)大小为19×19,则FPGA每秒所承担的计算量大概为43.32G/s的高精度乘法计算与43.2G/s的加法运算，这样的计算量DSP无法承受，主要通过FPGA的并行处理进行实现，现有的XILINX公司的Virtex-7系列FPGA自带3600个DSP Slices，每个DSP Slices都是一个主频可以达到741MHz的25×18bit二进制补码乘法器以及一个48bit的累加器，将上述的计算分配给DSP Slices进行并行处理，完全可以满足计算的要求，从而获得复原后的图像如图7所示。整个算法的过程示意如图8所示。

对于其他形式的线性滤波复原方法，也可以按照上述4个步骤来进行处理，区别仅在步骤2，例如约束最小二乘方滤波，其频域的表达式为： $\hat{F}(u,v)=\left[\frac{H^{*}(u,v)}{{\left|H(u,v)\right|}^2+\mathrm{\λ}{\left|L(u,v)\right|}^2}\right]G(u,v),$ 将λ通过相机参数计算出工程经验值后，将进行离散傅里叶反变换，即可得到空间域预选模板，其余的步骤与上述方法一致。

Claims (4)

1.一种推扫式航天相机图像在轨实时复原方法，其特征在于：包括如下步骤：

步骤1：利用点扩散函数的估算方法估计航天相机在轨点扩散函数h(x,y)，即PSF；

步骤2：利用步骤1所获得的h(x,y)，采用成熟的线性滤波方法获得在频域的复原表达式，将表达式中待复原图像频域信息之外的分量单独提出，将其采用傅里叶反变换到空间域中，得到h_y(x,y)；

步骤3：将步骤2中的h_y(x,y)能量分布高度集中的区域截取出来，根据具体的数值分布，截取占总能能量分布99%以上的中央区域的矩阵作为空间域反卷积模板h_m(x,y)；

步骤4：将h_m(x,y)与待复原的地面场景图像g(x,y)进行二维卷积以获得复原后的图像 这个卷积过程通过嵌入式硬件以并行计算的方式实现。

2.根据权利要求1所述的一种推扫式航天相机图像在轨实时复原方法，其特征在于：所述步骤1中的点扩散函数估算方法可以采用现有的较为成熟的方法（点光源法、倾斜刃边法、矩形脉冲法和辐射靶标法等），也可以采用对现有成熟方法的改进方法估计点扩散函数。

3.根据权利要求1所述的一种推扫式航天相机图像在轨实时复原方法，其特征在于：所述步骤2中的线性滤波方法可以采用较为成熟的维纳滤波方法，也可以采用其他线性滤波方法。

4.根据权利要求1所述的一种推扫式航天相机图像在轨实时复原方法，其特征在于：所述步骤4中的处理过程，对于要求实时复原的航天相机系统，将g(x,y)按行送入嵌入式图像复原系统时，速率要与航天相机TDICCD的推扫数据速率相匹配，利用FPGA并行处理进行空间域复原后按行送出，获得复原后的图像