CN109285133A - 一种细节增强的遥感图像数据时空谱一体化融合方法 - Google Patents

Abstract

一种细节增强的遥感图像数据时空谱一体化融合方法，它属于遥感图像融合技术领域。本发明解决了现有的遥感图像数据融合方法在平滑图像噪声的同时，也会平滑掉图像细节信息的问题。本发明首先采用拉普拉斯算子对Y和Z进行边缘增强，因此能够在平滑图像噪声的同时保留图像细节信息；然后利用融合图像与Y′之间的空间退化模型和融合图像与Z′之间的时空谱关系模型，计算Y′对融合图像的一致性约束、Z′对融合图像的一致性约束和图像空间关系的描述，并得到目标函数；最后通过共轭梯度算法求解目标函数，利用求解结果计算出融合图像。与现有方法相比，本发明的方法在平滑掉图像噪声的同时，可以保留95％以上的图像细节信息。本发明可以应用于遥感图像融合技术领域用。

Description

一种细节增强的遥感图像数据时空谱一体化融合方法

技术领域

本发明属于遥感图像融合技术领域，具体涉及一种遥感图像数据时空谱一体化融合方法。

背景技术

现有的遥感图像融合方法采用三种不同的层级，分别为数据级别、特征级别和决策级别，根据目标的不同，遥感图像融合可分为多视空间融合，空谱融合和时空融合。

大多数现有的遥感图像数据融合方法只能应用于整合空间、时间和光谱分辨率其中的两个指标，因此不能获得最高的时间、空间、光谱分辨率融合图像。此外，一些遥感图像数据融合方法旨在合并来自一个或两个传感器的补充信息，不能充分利用来自更多传感器的互补观测信息。在一体化融合理论方法发展中，国内学者做出了较大贡献。从2010年开始，武汉大学在国家自然科学基金的资助下开始相关研究，首次提出了时空谱一体化融合的概念与基于最大后验概率理论的融合框架，并取得了一定的研究成果。香港中文大学对遥感图像数据的时、空、谱关联模型进行了进一步探索，同样基于最大后验估计理论，提出了一种新的时空谱一体融合方法，但仍然是针对两个传感器数据的融合方面。Meng等人、Wu等人在3个传感器融合方面取得了重要进展，但没有全面考虑时、空、谱特征。之后Meng等人进一步提出了一个统一的融合框架，既能够有效融合时、空、谱互补信息，同时消除了传感器数量的限制，然而该方法嵌入的先验模型为Gauss-Markov模型，虽然能够有效的平滑图像噪声，但该模型也会平滑掉图像细节信息，进而影响了融合图像的细节信息，造成图像拍摄的视觉效果不佳。

发明内容

本发明的目的是为解决现有的遥感图像数据融合方法在平滑图像噪声的同时，也会平滑掉图像细节信息的问题。

本发明为解决上述技术问题采取的技术方案是：

一种细节增强的遥感图像数据时空谱一体化融合方法，该方法包括以下步骤：

步骤一、采用拉普拉斯算子对多视图像Y和辅助多源观察图像Z进行边缘增强，得到增强后的多视图像Y′和辅助多源观察图像Z′；

步骤二、建立融合图像x与Y′之间的空间退化模型和融合图像x与Z′之间的时空谱关系模型，计算出Y′对融合图像x的一致性约束p(Y′|x)、Z′对融合图像x的一致性约束p(Z′|x)和图像空间关系的描述p(x)；

步骤三、根据步骤二计算出的p(Y′|x)、p(Z′|x)和p(x)，得到目标函数F(x)的表达式；

步骤四、通过共轭梯度算法求解目标函数F(x)，并利用目标函数F(x)的求解结果计算融合图像x。

本发明的有益效果是：本发明提供了一种细节增强的遥感图像数据时空谱一体化融合方法，本发明首先采用拉普拉斯算子对多视图像和辅助多源观察图像进行边缘增强，因此能够在平滑图像噪声的同时保留图像细节信息；然后利用融合图像与增强后的多视图像之间的空间退化模型和融合图像与辅助多源观察图像之间的时空谱关系模型，计算增强后的多视图像对融合图像的一致性约束、辅助多源观察图像对融合图像的一致性约束和图像空间关系的描述，并进一步得到目标函数；最后通过共轭梯度算法求解目标函数，利用目标函数的求解结果计算出融合图像。与现有方法相比，本发明的方法在平滑掉图像噪声的同时，可以保留95％以上的图像细节信息。

附图说明

图1是本发明的一种细节增强的遥感图像数据时空谱一体化融合方法流程图；

具体实施方式

具体实施方式一：如图1所示，本实施方式所述的一种细节增强的遥感图像数据时空谱一体化融合方法，该方法包括以下步骤：

步骤一、采用拉普拉斯算子对多视图像Y和辅助多源观察图像Z进行边缘增强，得到增强后的多视图像Y′和辅助多源观察图像Z′；

步骤二、建立融合图像x与Y′之间的空间退化模型和融合图像x与Z′之间的时空谱关系模型，计算出Y′对融合图像x的一致性约束p(Y′|x)、Z′对融合图像x的一致性约束p(Z′|x)和图像空间关系的描述p(x)；

步骤三、根据步骤二计算出的p(Y′|x)、p(Z′|x)和p(x)，得到目标函数F(x)的表达式；

步骤四、通过共轭梯度算法求解目标函数F(x)，并利用目标函数F(x)的求解结果计算融合图像x。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤一的具体过程为：

多视图像Y＝{y₁,...,y_k,...}，y_k是第k个观测图像，K是多视图像的总数；为了获取k时刻的高分辨率融合图像，前提是在给定的时间K时刻有观测图像y_k，一般来说，图像Y具有更高的光谱和时间分辨率，但空间分辨率较低。因此，我们认为Y是空间退化的图像。相对应的的增强融合过程得到的x是具有较高空间分辨率的图像。

辅助多源观察图像Z＝{z₁,z₂...,z_n,...z_N}，其中：z_n代表第n个图像，N是辅助多源观察图像的总数；通常是一个全色图像或多光谱(MS)，具有更高的空间分辨率，但光谱或时间分辨率较低。一体化融合框架能完成不同类型的融合任务，包括多视图空间融合，空间谱融合，时空融合，时空谱融合。

拉普拉斯算子(Laplace)是一个二阶线性微分算子，与一阶线性微分算子相比，二阶微分的边缘定位能力更强，锐化效果更好。假设多视图像Y为二维图像，Y的函数表达式为f(x,y)，x,y分别是二维图像的横坐标和纵坐标，Laplace算子定义为：

对于任意阶微分算子都是线性算子，所以二阶微分算子和后面的一阶微分算子都可以用生成模板然后卷积的方式得出结果。根据微分的定义有：

将公式(2)、(3)与拉普拉斯算子定义相结合得到：

将拉普拉斯算子表示成模板的形式以便编程需要，则拉普拉斯算子的扩展模板为

从模板形式可以看出，如果在图像中一个较暗的区域中出现了一个亮点，那么使用拉普拉斯算子运算可以使这个亮点变得更亮。因为图像中的边缘就是那些灰度发生跳变的区域，所以拉普拉斯锐化模板在边缘的细节增强过程中有很大作用。

最后将计算像素与其周边像素的加权差值然后再叠加到原图中，得到细节增强后的图像。则增强后的多视图像Y′的函数表达式g(x,y)为：

其中：c为权重系数；c的取值和上文的模板定义有关系，当模板中心数值取正时，c＝-1，相反c＝1；

同理，得到增强后的辅助多源观察图像Z′。

具体实施方式三：本实施方式与具体实施方式二不同的是：步骤二的具体过程为：

融合图像x与Y'之间的空间退化模型表示如下：

y′_k,b＝DS_k,bM_kx_b+v_k,b,1≤b≤B_x,1≤k≤K (6)

y′_k,b表示Y′的第k个图像的第b个波段的退化观测图像，x_b代表融合图像x的第b个波段，B_x为波段的总数，M_k表示运动矩阵，S_k,b表示光学模糊矩阵，D是下采样矩阵，v_k,b是由传感器和外界环境引起的零均值高斯噪声；

对公式(6)进行简化，则空间退化模型表示为：

y′_k,b＝A_y,k,bx_b+v_k,b (7)

其中：A_y,k,b表示融合图像x和Y′之间的空间退化矩阵图像，A_y,k,b＝DS_k,bM_k；

融合图像x与Z′之间的时空谱关系模型表示如下：

z′_n,q＝ψ_n,qC_n,qA_z,n,qx_q+τ_n,q+v_n,q,1≤q≤B_z,n,1≤n≤N (8)

z′_n,q表示Z′的第n幅图像的第q个波段的退化观测图像，x_q代表融合图像x的第q个光谱带，B_z,n为光谱带的总数，A_z,n,q表示融合图像x和Z′之间的空间退化矩阵图像，C_n,q表示光谱相关性矩阵，ψ_n,q为时间相关矩阵，τ_n,q为时偏移量，v_n,q代表零均值传感器噪声；

则融合图像x的估计值表示如下：

p(x|Y′,Z′)代表融合图像x对Y'和Z′的一致性约束；代表当p(x|Y′,Z′)取最大值时，对应的x的取值；

根据贝叶斯公式得：

其中：p(Y′|x)表示Y'对融合图像x的一致性约束，p(Z′|x)表示Z′对融合图像x的一致性约束，p(x)代表图像空间关系的描述；

假设传感器和外界环境引起的零均值高斯噪声v_k,b服从随机高斯分布，则p(Y′|x)表示如下：

其中：p(y′_k,b|x_b)表示Y′的第k个图像的第b个波段的退化观测图像对融合图像x的第b个波段的一致性约束；a_y,k,b是v_k,b的方差，B_x是光谱波段号，φ₁φ₂表示y′_k,b的空间维度，||·||₂表示2范数；

假设v_n,q服从随机高斯分布，则p(Z′|x)表示如下：

其中：p(z′_n,q|x_q)表示Z′的第n幅图像的第q个波段对融合图像x的第q个波段的一致性约束；a_z,n,q表示噪声v_n,q的方差，H₁H₂表示z′_n,q的空间维度；

第三个概率密度函数p(x)是图像先验知识，用来描述图像的空间关系。我们引入Huber-Markov先验模型。相比于Gauss-Markov模型，该模型可以在融合过程中消除噪声带来的不稳定现象，并保持影像边缘，即细节增强。基于拉普拉斯算子的三维空谱的自适应加权，则p(x)表示为：

其中：a_x,b是随机高斯分布的噪声v_x,b的方差，L₁L₂表示空间维度，ρ(·)为Huber函数，Qx_b表示自适应加权三维拉普拉斯算子矩阵。且Qx_b表示为：

是根据重采样得到的融合图像的初始估计值，β是参数，由(21)表示：

其中μ为阈值参数。假设融合图像只有几个光谱波段，其光谱曲线是不连续的，因此令β＝0是可行的。相反，如果所需的图像是一个高光谱图像，可以假定光谱曲线是连续的，因此，自适应加权的先验项可以有效地保持光谱的曲线，降低光谱失真。假设不同的光谱波段之间的区别很小，光谱约束就越强。表示第b个波段的光谱维度的梯度。

具体实施方式四：本实施方式与具体实施方式三不同的是：步骤三的具体过程为：

将公式(11)、(13)和(15)代入公式(10)，根据对数函数的单调性进行处理，则目标函数F(x)表示为正则最小化问题，即根据对数函数的单调性并进行简化处理，很多参数都可以删除，最后的目标函数可以表示为正则最小化问题，融合图像x的估计值的表达式为：

其中：表示当F(x)取最小值时，对应的x的取值为估计值

其中第一项表示x和y′之间的一致性约束，第二项表示x和z′之间的关系，第三项表示先验图像。λ₁和λ₂分别表示各部分的权重系数，λ₁和λ₂与噪声方差相关，ω_n,q表示z′_n,q对融合图像x的贡献；它是自适应计算ω_n,q＝λ′_n,qU_n得到的。U_n是由z′_n和x的相关性计算得到。它是假定相关性越大，贡献越大。辅助参数λ′_n,q为自适应地调整融合图像各个光谱带的空间细节平衡，表示为每个波段的融合图像，表示为

λ′_n,q＝f(z_n,q,x)/min[f(z'_1,2,x),...f(z'_1,q,x)...f(z'_n,q,x)]

其中f(z'_n,q,x)表示融合的z'_n,q光谱带数量。λ1和λ2与噪声方差相关，参数用来调节三个部分的比重。

具体实施方式五：本实施方式与具体实施方式四不同的是：步骤四的具体过程为：

通过共轭梯度算法求解目标函数F(x)的过程如下：

对目标函数F(x)的x_b求导得：

表示对目标函数F(x_b)求导，为的转置，表示融合图像x的第b个波段对应的光谱相关性矩阵；

融合图像x的第b个波段的估计值通过连续迭代得到：

x_b,d+1＝x_b+θ_de_b,d (19)

其中，x_b,d+1表示第d+1次迭代后融合图像x的第b个波段，e_b,d表示第d次迭代的搜索方向，搜索方向的初始值为即对于第1次迭代，搜索方向为接下来的搜索方向与当前迭代以及之前的搜索方向相关，θ_d为迭代步长；

F(x_b)_d为第d次迭代对应的目标函数；则第d+1次迭代的搜索方向e_b,d+1为：

中间变量

利用第d+1次迭代的搜索方向e_b,d+1计算出第d+2次迭代后融合图像x的第b个波段x_b,d+2，利用x_b,d+2计算出F(x_b)_d+2；

以此类推，计算出每次迭代对应的目标函数；利用目标函数F(x)的求解结果计算融合图像x的具体过程为：将每次迭代对应的目标函数分别代入公式(16)，计算出每次迭代的目标函数对应的融合图像x的第b个波段的估计值，直至时，则停止迭代，将作为融合图像x的第b个波段的估计值，其中ζ为迭代终止阈值；

同理，计算出融合图像x的其余波段的估计值，得到融合图像x。

Claims (5)

1.一种细节增强的遥感图像数据时空谱一体化融合方法，其特征在于，该方法包括以下步骤：

步骤一、采用拉普拉斯算子对多视图像Y和辅助多源观察图像Z进行边缘增强，得到增强后的多视图像Y′和辅助多源观察图像Z′；

步骤二、建立融合图像x与Y′之间的空间退化模型和融合图像x与Z′之间的时空谱关系模型，计算出Y′对融合图像x的一致性约束p(Y′|x)，以及Z′对融合图像x的一致性约束p(Z′|x)和图像空间关系的描述p(x)；

步骤三、根据步骤二计算出的p(Y′|x)、p(Z′|x)和p(x)，得到目标函数F(x)的表达式；

步骤四、通过共轭梯度算法求解目标函数F(x)，并利用目标函数F(x)的求解结果计算融合图像x。

2.根据权利要求1所述的一种细节增强的遥感图像数据时空谱一体化融合方法，其特征在于，所述步骤一的具体过程为：

多视图像Y＝{y₁,y₂...,y_k,...y_K}，其中y_k是第k个观测图像，K是多视图像的总数；辅助多源观察图像Z＝{z₁,z₂...,z_n,...z_N}，其中：z_n代表第n个图像，N是辅助多源观察图像的总数；

拉普拉斯算子是一个二阶线性微分算子，假设多视图像Y为二维图像，Y的函数表达式为f(x,y)，则拉普拉斯算子定义为：

根据微分的定义有：

将公式(2)、(3)与拉普拉斯算子定义相结合得到：

则增强后的多视图像Y′的函数表达式g(x,y)为：

其中：c为权重系数；

同理，得到增强后的辅助多源观察图像Z′。

3.根据权利要求2所述的一种细节增强的遥感图像数据时空谱一体化融合方法，其特征在于，所述步骤二的具体过程为：

融合图像x与Y'之间的空间退化模型表示如下：

y′_k,b＝DS_k,bM_kx_b+v_k,b,1≤b≤B_x,1≤k≤K (6)

y′_k,b表示Y′的第k个图像的第b个波段的退化观测图像，x_b代表融合图像x的第b个波段，B_x为波段的总数，M_k表示运动矩阵，S_k,b表示光学模糊矩阵，D是下采样矩阵，v_k,b是由传感器和外界环境引起的零均值高斯噪声；

对公式(6)进行简化，则空间退化模型表示为：

y′_k,b＝A_y,k,bx_b+v_k,b (7)

其中：A_y,k,b表示融合图像x和Y′之间的空间退化矩阵图像，A_y,k,b＝DS_k,bM_k；

融合图像x与Z′之间的时空谱关系模型表示如下：

z′_n,q＝ψ_n,qC_n,qA_z,n,qx_q+τ_n,q+v_n,q,1≤q≤B_z,n,1≤n≤N (8)

z′_n,q表示Z′的第n幅图像的第q个波段的退化观测图像，x_q代表融合图像x的第q个光谱带，B_z,n为光谱带的总数，A_z,n,q表示融合图像x和Z′之间的空间退化矩阵图像，C_n,q表示光谱相关性矩阵，ψ_n,q为时间相关矩阵，τ_n,q为时偏移量，v_n,q代表零均值传感器噪声；

则融合图像x的估计值表示如下：

p(x|Y′,Z′)代表融合图像x对Y'和Z′的一致性约束；代表当p(x|Y′,Z′)取最大值时，对应的x的取值；

根据贝叶斯公式得：

其中：p(Y′|x)表示Y'对融合图像x的一致性约束，p(Z′|x)表示Z′对融合图像x的一致性约束，p(x)代表图像空间关系的描述；

假设传感器和外界环境引起的零均值高斯噪声v_k,b服从随机高斯分布，则p(Y′|x)表示如下：

其中：p(y′_k,b|x_b)表示Y′的第k个图像的第b个波段的退化观测图像对融合图像x的第b个波段的一致性约束；a_y,k,b是噪声v_k,b的方差，φ₁φ₂表示y′_k,b的空间维度，||·||₂表示2范数；

假设v_n,q服从随机高斯分布，则p(Z′|x)表示如下：

其中：表示Z′的第n幅图像的第q个波段对融合图像x的第q个波段的一致性约束；a_z,n,q表示噪声v_n,q的方差，H₁H₂表示z′_n,q的空间维度；

基于拉普拉斯算子的三维空谱的自适应加权，则p(x)表示为：

其中：a_x,b是随机高斯分布的噪声v_x,b的方差，L₁L₂表示空间维度，ρ(·)为Huber函数，Qx_b表示自适应加权三维拉普拉斯算子矩阵。

4.根据权利要求3所述的一种细节增强的遥感图像数据时空谱一体化融合方法，其特征在于，所述步骤三的具体过程为：

将公式(11)、(13)和(15)代入公式(10)，则目标函数F(x)表示为正则最小化问题：

其中：表示当F(x)取最小值时，对应的x的取值为估计值

λ₁和λ₂分别表示各部分的权重系数，ω_n,q表示z′_n,q对融合图像x的贡献。

5.根据权利要求4所述的一种细节增强的遥感图像数据时空谱一体化融合方法，其特征在于，所述步骤四的具体过程为：

对目标函数F(x)的x_b求导得：

表示对目标函数F(x_b)求导，为A_y,k,b的转置，表示融合图像x的第b个波段对应的光谱相关性矩阵；

融合图像x的第b个波段的估计值通过连续迭代得到：

x_b,d+1＝x_b+θ_de_b,d (19)

其中，x_b,d+1表示第d+1次迭代后融合图像x的第b个波段，e_b,d表示第d次迭代的搜索方向，搜索方向的初始值为θ_d为迭代步长；

F(x_b)_d为第d次迭代对应的目标函数；则第d+1次迭代的搜索方向e_b,d+1为：

中间变量

利用第d+1次迭代的搜索方向e_b,d+1计算出第d+2次迭代后融合图像x的第b个波段x_b,d+2，再利用x_b,d+2计算出F(x_b)_d+2；

以此类推，计算出每次迭代对应的目标函数；将每次迭代对应的目标函数分别代入公式(16)，计算出每次迭代的目标函数对应的融合图像x的第b个波段的估计值，直至时停止迭代，将作为融合图像x的第b个波段的估计值，其中ζ为迭代终止阈值；

同理，计算出融合图像x的其余波段的估计值，得到融合图像x。