CN101604442A - 三线阵Level 1影像盲超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种三线阵Level 1影像盲超分辨率重建方法，包括：一、三线阵图像配准；二、运动参数精确估计；三、考虑配准误差的三线阵影像超分辨率盲建模型；四、规整化项目求解；五、三线阵影像超分辨求解。本发明考虑大气，以及传感器平台运动所带来的退化以及配准误差的影响，将退化函数算子分为高斯退化算子和可变退化算子，使得三线阵超分辨率精度高、效果明显。

Description

三线阵Level 1影像盲超分辨率重建方法

技术领域

本发明涉及一种三线阵Level 1遥感影像超分辨率重建方法，属于卫星图像军事目标检测与识别、遥感影像测量领域。

背景技术

卫星遥感或航空成像系统在成像过程中不可避免的受到大气扰动、散焦、相对运动和随机噪声的干扰，造成遥感图像的降晰、退化和空间分辨率的降低。传统的提高影像空间分辨率的方法主要是从硬件着手，主要有两种方法[4]：第一种就是减小像元尺寸，这样在同样尺寸的CCD芯片上就可以有更多数量的像元。但是这种方法带来的致命缺点是引入了比较强的噪声，严重影响图像质量，因此缩小像素尺寸存在一个极限；第二种方法就是增加CCD芯片的尺寸，但面临着比较高昂的经济代价或者难以解决的技术问题。

超分辨率重建技术可以从一张或多张分辨率较低、质量较差的图像中构建出一张图像质量更好、空间分辨率更高的图像。SPOT5卫星目前采用了将两条CCD阵列错开半个像素，然后进行梅花采样，最后进行反卷积得到分辨率提高一倍的超分辨率效果。这种技术要求两条CCD阵列严格错开半个像素，对硬件加工要求非常高，目前中国硬件加工工艺还达不到这个水平，无法应用这一技术。

三线阵传感器是线阵CCD推扫式传感器的一种，是国际上八十年代中期出现的新一代传输型数字式航天光学遥感器，与常规的航天立体测绘相机在构像原理上有较大的区别，其拥有直接在轨成像的能力。三线阵CCD测量相机的光电扫描部分是由三个线阵CCD传感器组成。当航天飞行器飞行时，每个CCD阵列以一个同步的周期N连续的扫描地面并产生相互重叠的3张航带图像，我们称之为三线阵影像。比较典型的三线阵传感器有Leica公司的ADS40航空相机[6-8]和日本ALOS卫星的PRISM传感器。

三线阵传感器所获取的三张影像是同一场景在相近时相、不同角度获取的，因此这些图像可以提供同一场景不完全相同的信息，利用这些互补的信息，采用序列影像超分辨率重建技术，从软件上提高三线阵影像的空间分辨率是一个比较可行的方法。

因此，在不大幅增加硬件投资的情况下，研究三线阵影像超分辨率重建算法，以较小的经济代价从软件上将遥感或航空影像的空间分辨率提高就具有非常重要的研究价值和巨大的经济价值。

发明内容

针对上述现有技术的不足，本发明提出了三线阵Level 1影像盲超分辨率重建方法。利用Lucas-Kanade光流配准算法与标准正态互相关(NCC)混合配准算法，解决三线阵Level 1级别影像前视，正视和下视的配准问题；将退化函数分为两个部分，引入了可变退化算子，同时考虑配准误差所带来的不良影响，采用总变分规则化约束，并通过交替最小化(AM)算法对三线阵影像进行超分辨率盲建，能够很好的增强图像细节，有效的提高三线阵影像的分辨率。

本发明三线阵Level 1遥感影像超分辨率高效算法包括以下步骤：

1、三线阵图像配准：对前视、正视和后视三张影像粗配准到像素级别；

2、运动参数精确估计：采用Lucas-Kanade光流配准算法配准到亚像素精度；

3、考虑配准误差的三线阵影像超分辨率盲建模型：引入了可变退化算子，建立考虑配准误差的三线阵超分辨率盲建模型；

4、规整化项目求解：采用总变分规则化约束，求解规则化项目；

5、三线阵影像超分辨求解：通过交替最小化(AM)算法对三线阵影像进行超分辨率盲建。

对于Level 1级别的三线阵影像，他们之间存在由于地形起伏所带来的局部几何变形，因此高精度配准存在比较大的困难。为了解决三线阵Level 1级别影像前视，正视和下视的配准问题，本发明提出将Lucas-Kanade光流配准算法和标准正态互相关(NCC)算法混合使用，首先用NCC算法将图像块配准到像素级别精度，然后利用Lucas-Kanade光流配准算法做最后的精确运动参数估计。

Level 1级别的影像的退化函数不符合高斯函数模型，因此本发明将退化函数分为两个部分，引入了可变退化算子；同时考虑配准误差所带来的不良影响，提出了一种新的超分辨率重建改进模型并通过交替最小化(AM)算法对它们进行盲估计。

本发明的优点是：

(1)高精度配准算法，超分辨率重建时考虑配准误差的影响，能够有效的消除影像之间由于地形起伏所引起的变形；

(2)考虑大气，以及传感器平台运动所带来的退化，将退化函数算子分为高斯退化算子和可变退化算子，使得三线阵超分辨率精度更高。

附图说明

图1为本发明的流程示意图。

图2为ADS40影像，其中a为正视影像，b为后视影像，c为混合亚像素光流场。

图3为bicubic内插影像图。

图4为Lucas-Kanade算法盲建影像图。

图5为采用本发明法配准算法盲建影像图。

具体实施方式

参见附图，本发明三线阵Level 1影像盲超分辨率重建方法包括以下步骤：(1)三线阵图像配准

前视、正视(图2-a)和后视(图2-b)三张影像在尺度和角度上基本上一致，采用如下式NCC算法来进行粗配准到像素级别：

$\mathrm{\ρ}(r,c)=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(g_{i,j}-\stackrel{\‾}{g})(g_{i+r,j+c}^{\′}-{\stackrel{\‾}{g}}_{r,c}^{\′})}{\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(g_{i,j}-\stackrel{\‾}{g})}^2\·\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(g_{i+r,j+c}^{\′}-{\stackrel{\‾}{g}}_{r,c}^{\′})}^2}}---(0-1)$

其中 $\stackrel{\‾}{g}=\frac{1}{m\·n}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{g}_{i,j},{\stackrel{\‾}{g}}_{i+r,j+c}^{\′}=\frac{1}{m\·n}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{g}_{i+r,j+c}^{\′}$

(2)运动参数精确估计

光流(Optical Flow)是指图像亮度模式的表观或视在运动(ApparentMotion)。光流法是运动图像分析的重要方法。设I(x，y，t)是图像点(x，y)在时刻t的照度，如果u(x，y)和v(x，y)是该点光流的x和y分量，假定点在t+δt时运动到(x+δx，y+δy)时，照度保持不变，其中，δx＝uδt，δy＝vδt，即

I(x+uδt，y+vδt，t+δt)＝I(x，y，t)       (0-2)

如果亮度随x、y、t光滑变化，则可以将上式的左边用Taylor级数展开，

$I(x,y,t)+\mathrm{\δx}\frac{\∂I}{\∂x}+\∂y\frac{\∂I}{\∂y}+\mathrm{\δt}\frac{\∂I}{\∂t}+e=I(x,y,t)---(0-3)$

其中e是关于δx、δy、δt的二阶和二阶以上的项.上式两边的I(x，y，t)相互抵消，两边除以δt，并取极限δt→0，得到光流约束方程：

I_xu+I_yv+I_t＝0            (0-4)

其中

$I_x=\frac{\∂I}{\∂x},$ $I_y=\frac{\∂I}{\∂y},$ $I_t=\frac{\∂I}{\∂t},$ $u=\frac{\mathrm{dx}}{\mathrm{dt}},$ $v=\frac{\mathrm{dy}}{\mathrm{dt}}---(0-5)$

在上面的方程中，I_x，I_y和I_t可直接从图像中计算出来。图像中的每一点上有两个未知数，但只有一个方程，因此，只使用一个点上的信息是不能确定光流的.将这种不确定问题称为孔径问题(aperture problem).为了克服孔径问题，本实施例采用Lucas-Kanade光流算法。

Lucas和Kanade假设在一个小的空间邻域Ω上运动矢量保持恒定，然后使用加权最小二乘方(weighted least-squares)估计光流。基于以上特点，Lucas和Kanade光流算法可以处理影像的局部变形。在一个小的空间邻域Ω上，光流估计误差价格函数定义为：

$\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{W}^2\left(x\right){(I_{x}u+I_{y}v+I_t)}^2---(0-6)$

其中W(x)表示窗口权重函数，它使邻域中心部分对约束产生的影响比外围部分更大。式(0-6)的解由下式给出：

$\left[\begin{array}{cc}\mathrm{\Σ}{W}^2{I}_x^2& \mathrm{\Σ}{W}^2{I}_x{I}_y\\ \mathrm{\Σ}{W}^2{I}_y{I}_x& \mathrm{\Σ}{W}^2{I}_y^2\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{c}\mathrm{\Σ}{W}^2{I}_x{I}_t\\ \mathrm{\Σ}{W}^2{I}_y{I}_t\end{array}\right]---(0-7)$

混合亚像素光流场所得图像如图2-c所示。

(3)建立考虑配准误差的三线阵超分辨率盲建模型

常见的K张影像超分辨率重建的数学模型为：

g_k＝D₀CW_kf+n_k        (0-8)

其中，D₀是降采样算子，C是退化函数算子，W_k为第k张影像的几何变化算子，n_k为第k张影像的噪声，f为高分辨率影像，g_k为第k张低分辨率影像。传感器在成像过程中还受到大气，以及传感器平台运动所带来的退化。即

C＝SV                 (0-9)

其中S为高斯退化函数算子，V为大气，传感器平台运动等其他因素引起的退化算子，也称之为可变退化算子。将式(0-9)代入式(0-8)中，三线阵影像的超分辨率重建模型变为：

g_k＝D₀SVW_kf+n_k         (0-10)

目前的超分辨率重建算法，基本上没有考虑配准误差问题，特别是对于三线阵影像来说，这个问题比较突出。实际上三线阵影像经过NCC和Lucas-Kanade光流混合配准算法配准后，可以消除了大部分由于地形起伏带来的复杂的几何变形B_k，但是还存在微小的配准误差W_k ⁰，因此提出考虑配准误差的三线阵超分辨率盲建模型，即将W_k分解为

$W_k=W_k^0{B}_k---(0-11)$

则式(0-10)可以变为

$g_k=D_0\mathrm{SV}{W}_k^0{B}_{k}f+n_k---(0-12)$

令 ${\mathrm{VW}}_k^0=H_k,$ D＝D₀S，则(0-12)可以更新为：

g_k＝DH_kB_kf+n_k    (0-13)

采用如下所示的最小约束来重建：

$(\hat{f},\hat{h})=\arg \underset{f,h}{\min E}(f,h)---(0-14)$

$\underset{f,h}{E(f,h)}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|{\mathrm{DH}}_k{B}_{k}f-g_k\left|\right|}^2+\∂Q\left(f\right)+\mathrm{\βR}\left(h\right)---(0-15)$

其中Q(f)是图像规则化项目，R(h)是点退化函数规整化项目，h_k＝vec(H_k)，“vec”表示按字典式排列算子， $h={[h_1^T,h_2^T,...,h_k^T]}^T,$

和β是规整化参数。

(4)规整化项目求解

对于超分辨率重建，规整化项目Q(f)常常采用Tikhonov规整化，即

$Q\left(f\right)={\∫|\▿f|}^2=f^T\mathrm{Lf}---(0-16)$

其中L是拉普拉斯算子。Tikhonov规整化的基本想法是限制解为一个平滑解，而实际的超分辨率重建中，解的平滑常常是不符合实际情况的，因为实际图像总有许多棱边和点构成的细节，损失这些细节意味损失信息。为了克服这些问题，必须拓广Tikhonov规整化的概念，强调解必须在物理上合理并且连续的依赖。这种概念不再强调数据的平滑性限制，而是引入其他符合物理事实的限制。比较典型的限制就是总变分最小化，采用总变分最小化的规整化形式和价格函数分别如为：

$Q\left(f\right)=\∫|\▿f|---(0-17)$

$\underset{f}{E\left(f\right)}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|{\mathrm{DH}}_k{B}_{k}f-g_k\left|\right|}^2+\∂Q\left(f\right)---(0-18)$

采用梯度8联通性，总变分 $Q\left(f\right)=\∫|\▿f|$ 也可以表达为与Tikhonov规整化近似的形式：

$Q\left(f\right)=\∫|\▿f|=f^T{L}_{8}f---(0-19)$

根据子空间理论，如果各通道的{h_k}微弱互质，则h_k的解满足如下方程：

g_i*h_j-g_j*h_i＝0，1≤i＜j≤K    (0-20)

考虑所有点扩散函数h_k可能的组合，将满足所有式(0-20)的点扩散函数写成一个公式：

Nh＝0                         (0-21)

其中h_k＝vec(H_k)，vec表示按字典式排列算子， $h={[h_1^T,h_2^T,...,h_k^T]}^T,$ N是一个矩阵，其形式由式(0-22)、式(0-23)和式(0-24)给出：

$S_{K-1}\≡(C_{g_K}-C_{g_{K-1}})---(0-22)$

N＝S₁               (0-24)

其中 $C_{g_i}\left(h_j\right)=h_j*g_i.$ 则式(0-21)的最小二乘解满足：

‖g_i*h_j-g_j*h_i‖²＝h^TN^TNh＝0         (0-25)

因此可以定义h的规则化项目R(h)为：

R(h)＝h^TN^TNh                        (0-26)

对于超分辨率重建，将R(h)类似的定义为：

$R\left(h\right)=h^T{N}^T\mathrm{Nh}=\underset{1<i<j\&le;P}{\mathrm{\&Sigma;}}{\left|\right|C_{g_i}\left(h_j\right)-C_{g_j}\left(h_i\right)\left|\right|}^2---(0-27)$

其中 $C_{g_i}\left(h_j\right)={\mathrm{DH}}_j{g}_i.$

(5)三线阵影像超分辨求解

根据式(0-15)，总变分的重建模型为

$\underset{f,h}{E(f,h)}=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|{\mathrm{DH}}_k{B}_{k}f-g_k\left|\right|}^2+{\&PartialD;f}^T{L}_{8}f+{\mathrm{\&beta;h}}^T{N}^T\mathrm{Nh}---(0-28)$

为了获取更优的解，Sroubek改进了超分辨率重建数学模型，在其中加入了Q(h)＝h^TL₈h约束项，于是式(0-28)变为：

$\underset{f,h}{E(f,h)}=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|{\mathrm{DH}}_k{B}_{k}f-g_k\left|\right|}^2+{\&PartialD;f}^T{L}_{8}f+{\mathrm{\&beta;}}_1{h}^T{N}^T\mathrm{Nh}+{\mathrm{\&beta;}}_2{h}^T{L}_{8}h---(0-29)$

对于初始h⁰，采用交替最小化算法(AM)，求解的算法二个迭代步骤如下所示：

$\mathrm{step}1)f^m=\underset{f}{\arg \min }E(f,h^m)$

$\&DoubleLeftRightArrow;(\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{B}_k^T{H}_k^T{D}^T{\mathrm{DH}}_k{B}_k+\mathrm{\&alpha;}{L}_8)f=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{B}_k^T{H}_k^T{D}^T{g}_k---(0-30)$

$\mathrm{step}2)h^{m+1}=\underset{h}{\arg \min }E(f^m,h)---(0-31)$

$\&DoubleLeftRightArrow;\left(\right[I_K\&CircleTimes;F^T{B}_k^T{D}^T{\mathrm{DB}}_{k}F]+{\mathrm{\&beta;}}_1{N}^{T}N+{\mathrm{\&beta;}}_2{L}_8)h=[I_K\&CircleTimes;F^T{B}_k^T{D}^T]g_k$

一般方法内插放大一倍的bicubic内插影像如图3所示，采用Lucas-Kanade算法盲建影像如图4所示，用发明方法混合配准算法盲重影像(本发明方法重建2倍结果)如图5所示。用本发明方法能够有效的消除影像之间由于地形起伏所引起的变形，三线阵超分辨率精度更高。

Claims (6)

1.一种三线阵Level 1影像盲超分辨率重建方法，其特征在于包括以下步骤：

(1)将前视、正视和后视三张影像粗配准到像素级别；

(2)用光流配准算法配准到亚像素精度；

(3)引入可变退化算子，建立考虑配准误差的三线阵超分辨率盲建模型；

(4)采用规则化约束，求解规则化项目；

(5)通过交替最小化算法对三线阵影像进行超分辨率盲建。

2.根据权利要求1所述的三线阵Level 1影像盲超分辨率重建方法，其特征在于：通过下式进行粗配准到像素级别：

$\mathrm{\&rho;}(r,c)=\frac{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}(g_{i,j}-\stackrel{\&OverBar;}{g})(g_{i+r,j+c}^{\&prime;}-{\stackrel{\&OverBar;}{g}}_{r,c}^{\&prime;})}{\sqrt{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{(g_{i,j}-\stackrel{\&OverBar;}{g})}^2\&CenterDot;\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{(g_{i+r,j+c}^{\&prime;}-{\stackrel{\&OverBar;}{g}}_{r,c}^{\&prime;})}^2}}$

其中 $\stackrel{\&OverBar;}{g}=\frac{1}{m\&CenterDot;n}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{g}_{i,j},$ ${\stackrel{\&OverBar;}{g}}_{i+r,j+c}^{\&prime;}=\frac{1}{m\&CenterDot;n}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{g}_{i+r,j+c}^{\&prime;}.$

3.根据权利要求1所述的三线阵Level 1影像盲超分辨率重建方法，其特征在于：步骤(2)中采用Lucas-Kanade光流配准算法配准到亚像素精度。

4.根据权利要求1所述的三线阵Level 1影像盲超分辨率重建方法，其特征在于：步骤(4)中采用采用总变分规则化约束，求解规则化项目。

5.根据权利要求1所述的三线阵Level 1影像盲超分辨率重建方法，其特征在于：步骤(5)通过交替最小化算法对三线阵影像进行超分辨率盲建。

6.根据权利要求1所述的三线阵Level 1影像盲超分辨率重建方法，其特征在于超分辨率重建的数学模型为：

g_k＝D₀CW_kf+n_k

其中，D₀是降采样算子，C是退化函数算子，W_k为第k张影像的几何变化算子，

n_k为第k张影像的噪声，f为高分辨率影像，g_k为第k张低分辨率影像，

其中    C＝SV

S为高斯退化函数算子，V为可变退化算子；

$W_k=W_k^0{B}_k$

B_k为地形起伏带来的复杂的几何变形，W_k ⁰为配准误差；

则

$g_k=D_0{\mathrm{SVW}}_k^0{B}_{k}f+n_k$

令 ${\mathrm{VW}}_k^0=H_k,$ D＝D₀S，则：

g_k＝DH_kB_kf+n_k

Images