CN104243837A - 基于单次曝光视频重建的颤振探测和遥感图像恢复方法 - Google Patents

Abstract

本发明提出了一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法，该方法将曝光时间分为若干等长时间片段，根据基于压缩感知理论的单次曝光视频重建方法，对探测器边缘位置处的若干小块中的每一个像素进行编码曝光，获得调制后的模糊图像块，使用重建算法重建出清晰的视频图像，再由重建出的视频图像估计帧间像移，进而估计出点扩散函数，最后利用点扩散函数对未调制部分的模糊图像反卷积，消除平台振动影响，得到清晰遥感图像。本发明解决了传统基于压缩感知的图像去模糊方法时间复杂度高的问题，更具有实时性；同时相较于一般盲复原方法，本方法有着更高的复原精度。

Description

基于单次曝光视频重建的颤振探测和遥感图像恢复方法

技术领域

本发明涉及一种基于单次曝光视频重建的相机颤振探测和高分辨遥感图像恢复方法。

背景技术

在遥感成像中，图像的清晰度至关重要，因此如何获得高分辨率的图像具有十分重要的现实意义。然而在空间相机成像过程中，由于卫星姿态变化、挠性组件的扰动以及指向控制等因素，导致卫星平台颤振，同时由于相机曝光需要一定的时间，使得成像目标的光学图像与成像器件焦平面之间存在相对运动，拍摄图像产生拖影，造成图像模糊，降低图像分辨率，无法完全达到成像系统设计的分辨能力。在光照条件不理想的情况下，相机曝光时间更长，使得图像模糊问题更加严重。

为了消除平台振动等对成像质量的影响，人们设计了各种方法，如更新硬件使平台更稳定、对所成图像进行不同的后期处理等。从硬件的角度来看，为消除曝光过程中传感器与被摄物体之间的相对运动，可分为机械补偿与光学补偿等方法。机械补偿法利用机械结构及其组件，在曝光时根据平台振动量及时移动传感器，使剩余像移量尽可能小，从而达到抑制运动模糊的目的。光学式像移补偿法思想是旋转或移动光路元件以改变光线方向，使之与相机焦面上像移速度一致，从而达到抑制运动模糊的目的。通过机械或光学的补偿后，一般情况下可以获得较好质量的图像，但是对于一些频率过高，或者幅度过大的振动仍然会存在较大的残差，得到的图像不够理想。再加上系统成本较高、系统复杂度较大，因此硬件补偿的方法不是解决问题的最佳方式。计算机处理技术的提高，使后期软件对拍摄图像的复原提升技术得到了发展。已有的常规复原算法如直接逆滤波、维纳滤波、TV正则化图像复原、盲复原等，都存在各自的问题，或结果中所包含的噪声及振铃效应严重，或算法复杂度较高，运算速度较慢等。

近年来，随着压缩感知理论的提出，出现了基于压缩感知的运动图像复原方法，这类方法通过在曝光时间内对像素调制，得到经过编码的模糊图像，再利用重建算法获得一系列去模糊的图像。尽管该方法不需要增加额外的硬件，并且能较好的处理由于物体本身运动造成的运动模糊，但较高的时间复杂度制约了其应用范围，使其未能很好的运用于颤振模糊图像的恢复。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法。

本发明的目的是通过以下技术方案来实现的：一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法，包括以下步骤：

(1)数据与图像的获取，具体是：

(1.1)选取相机探测器边缘位置处的若干小块，并将总曝光时间T平均分为m个时间片段，每一个时间片持续的时间为T/m；

(1.2)在相机曝光时，控制探测器对选取小块内的所有像素，按照保证每个像素的曝光时间相同、曝光片段连续的原则进行曝光编码，从而得到调制后的图像小块和未调制处的模糊图像；

(2)视频图像重建与颤振估计，具体是：

(2.1)利用重建算法和编码时使用的调制函数，对步骤1.2中获得的调制后的图像小块进行重建，重建得到清晰的视频图像，视频帧数与时间片段数相同；

(2.2)利用相位像移估计方法，对步骤2.1得到的各视频图像进行帧间像移估计，剔除估计像移中误差较大的数据，并对剩余数据求平均，作为最终的像移量数据，插值后得到像面上的颤振轨迹；

(2.3)统计颤振轨迹上落入每个像素内的点数，经过归一化处理得到点扩散函数PSF；

(3)图像复原，具体是：

利用步骤2.3得到的点扩散函数PSF对获得的模糊遥感图像进行去模糊复原，得到清晰图像。

所述步骤1.1中，采取延长采样小块曝光时间的方法避免由于重建图像首末帧相较于中间帧的重建精度低而造成的像移估计误差，具体为：采样块处的像素提前曝光并延后结束，重建出的视频图像的首末两帧对应于曝光提前和延后位置，采样块用于估计像移的各帧与模糊图像的曝光时间相对应。

所述步骤2.1中，所述重建算法为OMP算法。

所述步骤2.1中，所述重建过程中采用KSVD字典训练的方法获得更高的视频图像重建精度。

本发明的有益效果：本发明将压缩感知理论应用于颤振探测与图像恢复中，采用取小块调制和重建，并由重建出的视频图像估计点扩散函数进行图像复原的方法，解决了传统基于压缩感知的图像去模糊方法时间复杂度高的问题，更具有实时性。同时相较于一般盲复原方法，本方法有着更高的复原精度。在重建过程中，使用字典训练的方法，提高了图像重建精度，进而提高像移估计精度。此外，本发明不需要额外的硬件，仅需对探测器边缘处像素进行调制，在系统复杂度和成本等方面，也有着明显优势。一般来说，通过重建视频估算模糊核的方法，复原后可以获得清晰的图像，效果较好。

附图说明

图1为本发明方法流程示意图；

图2为曝光时间分片段的颤振采样示意图；

图3为像素曝光编码示意图；

图4为压缩感知理论示意图；

图5为采样小块重建过程；

图6为过完备字典示意图；

图7为字典训练前后对比图，(a)为训练前三维余弦基字典，(b)为训练后三维字典；

图8为由重建视频信号估计的像移轨迹；

图9为重建图像对比图，(a)为清晰图像，(b)为因相机颤振得到的模糊图像，(c)为盲复原图像，(d)为本方法复原图像；

图10为图9中各图像放大图。

具体实施方式

以下结合附图对本发明作进一步说明。

本发明一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法，方法将曝光时间分为若干等长时间片段，从而将曝光时间内产生的颤振模糊看作各个时间片段上的清晰图像的叠加结果，根据基于压缩感知理论的单次曝光视频重建方法，对探测器边缘位置处的若干小块中的每一个像素进行编码曝光，获得调制后的模糊图像块，使用重建算法重建出清晰的视频图像，再由重建出的视频图像估计帧间像移，进而估计出点扩散函数，最后利用点扩散函数对未调制部分的模糊图像进行去模糊复原，消除平台振动影响，得到清晰遥感图像。本发明的整体流程如图1所示，主要包括编码曝光、信号重建、像移估计和图像去模糊等几个步骤。具体如下：

步骤1：数据与图像的获取

1-1选取相机探测器边缘位置处的若干小块，如图1所示。将总曝光时间T平均分为m个时间片段，每一个时间片持续的时间为T/m，从而可将曝光时间内产生的颤振模糊看作各个时间片段上的清晰图像的叠加结果。为了避免由于重建图像首末帧相较于中间帧的重建精度低而造成的像移估计误差，这里采取延长采样小块曝光时间的方法，如图2所示，横坐标为曝光时间，纵坐标为曝光时间内由颤振引起的像素像移。将曝光时间分为若干片段，采样块处曝光时间为[0,20]，探测器中间位置曝光时间为[2,18]，从而采样块处的像素提前曝光并延后结束，重建出的视频图像的首末两帧对应于曝光提前和延后位置，用于估计像移的各帧与模糊图像的曝光时间相对应。仿真中将曝光时间分为20个片段，重建视频中间17帧对应模糊图像曝光时间段。

1-2控制相机探测器边缘位置处的像素，对每一个像素进行曝光编码，得到若干编码后的图像小块。像素编码按照所有像素曝光时间相同、曝光时间片段连续的原则，如图3所示，像素曝光起始时间随机。单个像素曝光时间控制在总曝光时间的1/10到1/3之间，仿真中曝光时间为总时间的1/7。

步骤2：视频图像重建与颤振估计

2-1利用重建算法和编码时使用的调制函数，对步骤1-2中获得的调制后的图像小块进行重建。

压缩感知理论指出，设长度为N的信号X在某组基或字典Ψ上的变换系数是稀疏的，如果我们用一个与变换基Ψ不相关的观测基Φ:M×N(M＜＜N)对系数向量进行线性变换，并得到观测集合Y:M×1，即可利用优化求解方法从观测集合中精确或高概率地重构原始信号X，感知过程如图4所示。

视频信号可以看作空间和时间的体数据，定义E(x,y,t)为M×M像素的未知视频信号数据体，则数据体E的大小为M×M×N，其中N为视频帧数。S(x,y,t)为每个像素在全部曝光时间上的采样函数(S(x,y,t)∈{0,1})，那么获得的观测图像I(x,y)表示为：

$I(x,y)=\underset{t=1}{\overset{N}{\mathrm{\Σ}}}S(x,y,t)\·E(x,y,t)---\left(1\right)$

如图5所示。通过二维的观测图像I可重建出三维视频信号。

式(2)可写作矩阵形式I＝SE，其中I(观测信号)和E(视频信号)分别为包含M×M和M×M×N个元素的向量。由于观测信号要远少于视频信号，因此该方程为一欠定方程。根据压缩感知理论，视频信号的重构问题可表示为：

$\hat{E}=\arg \underset{E}{\min }{\left|\right|I-\mathrm{SE}\left|\right|}_2^2---\left(3\right)$

其中E又可以写成某一字典Ψ的稀疏表示，即E＝Ψθ，其中θ为稀疏系数。那么求解问题变为：

$\begin{array}{ccc}\min {\left|\right|\mathrm{\θ}\left|\right|}_0& s.t.& {\left|\right|I-\mathrm{S\Ψ\θ}\left|\right|}_2^2\≤\mathrm{\ϵ}\end{array},---\left(4\right)$

其中ε为重建精度。式(3)可用重建算法求解，仿真中使用OMP算法(Orthogonal Matching Pursuit正交匹配追踪)。

为了得到更清晰的重建图像，这里采用训练字典的方法。信号稀疏分解理论的数学模型是：给定一个集合D＝{d_k,k＝1,2,…,K}，其中D为字典，D中的每一个元素d_k称为字典原子。对于任意给定的信号X∈R^N，可以将其分解为字典下各个原子的线性组合形式：

$X=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\α}}_k{d}_k---\left(5\right)$

如图6所示，其中α＝{α_k,1≤k≤K}是信号X在字典D下的分解系数。若字典原子数量K>N，则称字典D是冗余字典，若其也可以张成N维欧式空间R^N,则认为此字典是过完备的，在该字典上分解获得的系数不唯一。

使用KSVD的方法获取字典，选择尽可能逼近原始数据的基函数作为字典的原子。KSVD字典学习算法是一种迭代算法，通过简单而有效地逐列更新的方式，实现字典的整体更新。该算法主要包括两个过程，分别是稀疏编码过程和字典更新过程。1)在稀疏编码过程,利用任意一种匹配追踪算法计算信号的稀疏表示系数；2)在字典的更新过程，固定字典中的其他原子，利用奇异值分解(SVD)算法更新当前的字典原子，算法每次只更新当前原子和其相应的稀疏系数。图7(a)为3D-DCT字典部分示意图，图7(b)为训练所得字典部分示意图。

2-2利用相位像移估计方法，对步骤2-1得到的各视频图像进行帧间像移估计。剔除估计像移中误差较大的数据，并对剩余数据求平均，作为最终的像移量数据，插值后得到像面上的颤振轨迹。图8为估计得到的颤振轨迹与真实颤振轨迹。

2-3统计颤振轨迹上落入每个像素内的点数，经过归一化处理得到点扩散函数PSF。

步骤3：图像复原

利用步骤2-3得到的PSF对获得的编码曝光的模糊图像进行去模糊图像复原，得到复原结果，并用2-1中重建出的清晰小块填补采样位置，如图9、图10所示。从图中可以看出，本方法可以得到清晰的复原图像。

表1 复原图像PSNR和SSIM比较

	模糊图像	盲复原	基于视频重建方法
				PSNR/dB	16.875	24.576	31.390
SSIM	0.337	0.809	0.935

表1为盲复原方法和本发明方法的去模糊结果比较，分别使用峰值信噪比(PSNR)以及结构相似度(SSIM)作为评价指标，从表中可以看出，本发明方法可以得到更好的去模糊图像。

Claims (4)

1.一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法，其特征在于，该方法包括以下步骤：

（1）数据与图像的获取，具体是：

（1.1）选取相机探测器边缘位置处的若干小块，并将总曝光时间T平均分为m个时间片段，每一个时间片持续的时间为T/m；

（1.2）在相机曝光时，控制探测器对选取小块内的所有像素，按照保证每个像素的曝光时间相同、曝光片段连续的原则进行曝光编码，从而得到调制后的图像小块和未调制处的模糊图像；

（2）视频图像重建与颤振估计，具体是：

（2.1）利用重建算法和编码时使用的调制函数，对步骤1.2中获得的调制后的图像小块进行重建，重建得到清晰的视频图像，视频帧数与时间片段数相同；

（2.2）利用相位像移估计方法，对步骤2.1得到的各视频图像进行帧间像移估计，剔除估计像移中误差较大的数据，并对剩余数据求平均，作为最终的像移量数据，插值后得到像面上的颤振轨迹；

（2.3）统计颤振轨迹上落入每个像素内的点数，经过归一化处理得到点扩散函数PSF；

（3）图像复原，具体是：

利用步骤2.3得到的点扩散函数PSF对获得的模糊遥感图像进行去模糊复原，得到清晰图像。

2.根据权利要求1所述一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法，其特征在于，所述步骤1.1中，采取延长采样小块曝光时间的方法避免由于重建图像首末帧相较于中间帧的重建精度低而造成的像移估计误差，具体为：采样块处的像素提前曝光并延后结束，重建出的视频图像的首末两帧对应于曝光提前和延后位置，采样块用于估计像移的各帧与模糊图像的曝光时间相对应。

3.根据权利要求1所述一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法，其特征在于，所述步骤2.1中，所述重建算法为OMP算法。

4.根据权利要求1所述一种基于单次曝光视频重建的颤振探测和遥感图像恢复方法，其特征在于，所述步骤2.1中，所述重建过程中采用KSVD字典训练的方法获得更高的视频图像重建精度。