CN109712150A - 基于稀疏表示的光学微波图像融合重建方法和装置 - Google Patents

Abstract

本发明提供一种基于稀疏表示的光学微波图像融合重建的方法和装置，其中方法包括以下步骤：对遥感影像进行遥感成像模型分析，以便提升所述遥感影像的影像质量；对所述提升影像质量的遥感影像进行配准；对配准的遥感影像进行分割；基于分割结果选择具有一定显著性的分割块；提取所述分割块中的显著区域；以及根据所述分割块，并利用所述去卷积神经网络和混合模型完成遥感影像的融合重建。通过建立深度神经网络模型，设计算法提取有效特征，进行异源高分辨影像匹配，从而获得实时鲁棒的异源影像配准方案。

Description

基于稀疏表示的光学微波图像融合重建方法和装置

技术领域

本发明一般地涉及图像信息处理应用领域。更具体地，本发明涉及一种基于稀疏表示的光学微波图像融合重建方法和装置。

背景技术

目前国内光学遥感成像朝着高空间分辨率、高光谱分辨率、高辐射灵敏度和宽视场的趋势发展，面向海量宽幅数据的智能融合处理技术是多源遥感影像融合处理的趋势之一。

由于微波辐射探测器具有全天时\全天候的工作能力，可以提供红外和可见光探测系统不能提供的信息，而且设备简单，易于集成。而光学图像和微波辐射图像又具有很大的差异，采用常规的特征提取和匹配技术很难对其进行处理，其巨大的工作量也不利于工程化实现。可见光得到的信息取决于物体表层分子的谐振特性，而微波辐射图像所得到的信息取决于物体的几何特性和介电特性，将微波辐射图像与可见光图像进行数据融合，可以获得地物多层次信息进一步揭示地物的本质特征。

由于微波和可见光成像原理的差异较大，故而现有的图像融合算法大多集中在全色与多光谱融合、红外与可见光的融合方面。但相比于可见光和红外，微波反映的是遥感对象不同层面的信息，可见光和红外反映的主要是分子的共振信息，而微波反映的主要是几何形状和介电常数的信息，二者的结合可以更好的描述被遥感对象。

综上所述，结合光学和微波的遥感在实际应用过程中的优缺点，利用稀疏表示提高融合后图像识别的准确度。

发明内容

为了克服上述现有技术中存在的技术缺陷，本发明旨在利用神经网络对大脑结构的稀疏认知中对神经元的微观模仿相结合，提供一种具有稀疏性、选择性、可塑性特点的神经元模型，构成能够处理高维、海量、异构光学/微波遥感数据的方法和装置。

在一个方面中，本发明的技术方案提供一种基于稀疏表示的光学微波图像融合重建的方法，包括以下步骤：

对遥感影像进行遥感成像模型分析，以便提升所述遥感影像的影像质量；

对所述提升影像质量的遥感影像进行配准；

对配准的遥感影像进行分割；

基于分割结果选择具有一定显著性的分割块；

提取所述分割块中的显著区域；以及

根据所述分割块，并利用所述去卷积神经网络和混合模型完成遥感影像的融合重建。

在一个实施例中，其中利用统计先验和稀疏分析的像元复原方法对异源高分辨遥感影像的图像质量进行提升。

在一个实施例中，其中通过对所述遥感影像进行逐层提取底层到高层的特征，建立基于深度卷积神经网络的匹配方法，利用所述遥感影像中稳定的、具有良好适应性的图像特征，构建准确的特征表述，从而完成所述遥感图像的配准。

在一个实施例中，其中结合所述遥感影像的分割结果，自动选取具有一定显著性的所述分割块，以便完成所述遥感影像的目标区域的提取。

在一个实施例中，其中所述遥感图像的融合重建包括训练所述去卷积神经网络，以便基于所述去卷积神经网络、利用混合模型完成所述遥感影像的融合重建。

在另一方面，本发明的技术方案提供一种基于稀疏表示的光学微波图像融合重建的装置，包括：

处理器；

存储器，其存储有处理器可执行的计算机程序，当所述计算机程序由所述处理器执行时，使得所述设备执行以下操作：

对遥感影像进行遥感成像模型分析，以便提升所述遥感影像的影像质量；

对所述提升影像质量的遥感影像进行配准；

对配准的所述遥感影像进行分割；

基于分割结果，选择具有一定显著性的分割块；

提取所述分割块中的显著区域；以及

根据所述分割块，并利用所述去卷积神经网络和混合模型完成遥感影像的融合重建。

在一个实施例中，其中所述装置还执行利用统计先验和稀疏分析的像元复原方法对异源高分辨遥感影像的图像质量进行提升。

在一个实施例中，其中所述装置还执行通过对所述遥感影像进行逐层提取底层到高层的特征，建立基于深度卷积神经网络的匹配方法，利用所述遥感影像中稳定的、具有良好适应性的图像特征，构建准确的特征表述，从而完成所述遥感图像的配准。

在一个实施例中，其中所述装置还执行结合所述遥感影像的分割结果，自动选取具有一定显著性的所述分割块，以便完成所述遥感影像的目标区域的提取。

在一个实施例中，其中所述装置还执行训练所述去卷积神经网络，以便基于所述去卷积神经网络、利用混合模型完成所述遥感影像的融合重建。

通过上面对本发明的技术方案的描述，本领域技术人员能够理解本发明主要涉及：1)异源高分辨遥感影像误差建模及质量提升；2)基于深度卷积神经网络的异源高分图像精确匹配；3)基于深度学习的遥感图像目标区域提取；4)稀疏深度反卷积网络下的异源遥感图像融合。

通过本发明的技术方案，与现有技术相比，可以实现如下的技术优势：

1)相比较于现有技术，本发明首次提出了光学/微波融合技术的微波图像识别效率更高的方法；

2)本发明提供了可以考虑到全天时、全天候情况下的解决方案，相较于现有方法，能够有效地融合光学图像的空间信息和微波图像的光谱信息；

3)通过模拟大脑稀疏感知与全局整合的机制，建立了高维光学、微波遥感影像的有效稀疏表征模型；以及

4)通过建立深度神经网络模型，设计算法提取有效特征，进行异源高分辨影像匹配，从而获得实时鲁棒的异源影像配准方案。

附图说明

通过阅读仅作为示例提供并且参考附图进行的以下描述，将更好地理解本发明及其优点，其中：

图1是根据本发明的实施例的总体设计的方框图；

图2是根据本发明的实施例的影像退化与复原过程的示意图；

图3是根据本发明的实施例的基于统计先验与稀疏分析的影像质量提升的流程图；

图4是根据本发明的实施例的卷积神经网络的网络结构图；

图5是根据本发明的实施例的基于显著性和图像分割的目标提取的流程图；

图6是根据本发明的实施例的特征图融合的示意图；以及

图7根据本发明的实施例的基于稀疏表示的光学微波图像融合重建的方法的流程图。

具体实施方式

本发明的技术方案主要利用神经网络对大脑结构的稀疏认知中对神经元的微观模仿相结合，设计出具有稀疏性、选择性、可塑性特点的神经元模型，构成能够处理高维、海量、异构光学/微波遥感数据的方法。

下面将结合附图来具体描述本发明的实施例。需要注意的是这里的描述仅仅是示例性地而非限制性地，本领域技术人员根据本发明的教导可以按需要进行适当的改型或变换，以便能实现本发明所要获得地技术效果。

图1是根据本发明的实施例的总体设计的方框图100。如图中所示，本发明的方案主要涉及：作为原始数据源输入的海量、动态、多维、多尺度多源遥感信息102、多源遥感信息特征提取104和多源遥感信息稀疏表征106。

具体地，本发明的技术方案可以包括以下的步骤：

步骤1、遥感成像模型分析

在影像的采集、记录、处理和传输中难以避免地会因为各种因素而使影像退化。引起遥感影像退化的因素有很多，从遥感成像各个环节来看，常见的原因有成像环境方面的因素(如大气与云层遮挡等)、成像设备与景物运动的因素、光学成像系统设计方面的因素、以及电子探测方面的因素等。

为便于研究，可将一个退化过程模型化表示成一个算子H，如图2中所示，假设系统的输入遥感影像f(x,y)，经步骤202的变换，并且在步骤204处的求和，则输出的退化影像可表示为：

g(x,y)＝H[f(x,y)]+n(x,y)

步骤2、基于统计先验与稀疏分析的影像复原方法

对影像修复和插值等影像处理问题进行研究，利用稀疏分析理论来构造相应的重构处理模型。稀疏分析基于影像的稀疏先验假设，将影像u(M²维的列向量)在稀疏表示基Ψ上进行分解，通过估计u在该组基上的表示系数α获得影像的估计。其信号重构模型为：

其中y为观测数据(K维列向量)，Φ为K×M²的投影测量矩阵，对应影像的降质过程，Ψ为稀疏表示基。模型(2)的求解表现为NP-问题，可以通过求解如下的凸优化模型获得表示系数的估计：

运用稀疏贝叶斯学习(Sparse Bayesian Learning，SBL)的方法来求解模型(2)中的稀疏系数。首先利用期望最大(EM)算法对影像块样例学习高斯混合模型(GMM)(如图3流程图300中的步骤304所示)；然后充分利用先验信息和后验概率来对影像块进行分类；最后采用同类影像块样例来重建该类目标影像。假设所有影像块都服从混合高斯先验分布，即每个影像块可以由K个独立同分布的高斯变量的加权平均得到，如下式所示：

其中π_k为各个高斯分量的权重，μ_k为分量的均值向量，Σ_k为分量的协方差矩阵。因此，可以得到影像块x的对数似然函数为：

由于无法确定影像块x具体是由哪几个高斯分量组合而成，因此具体的对数似然函数难以准确写出。因此本项目中使用最大化贝叶斯估计影像块。由贝叶斯定理可以得出：

p(k|x)∝p(x|k)p(k) (6)

即通过式(6)可以计算影像块x的后验概率。

其中Σ＝R^TR。因此，根据已知影像块x和高斯混合模型，可以计算影像块的后验概率，比较后验概率值大小就能确定影像块x是由哪几类高斯分量组合而成。同时可以选取影像块样例，对属于相关高斯分量的样本提取其主成分建立字典。目标影像块和影像块样例需要具有非常接近的分布，此时才能满足字典对目标影像块的精确表示。

步骤3、获取高分辨率图像的精确匹配

利用影像中稳定的、具有良好适应性的图像特征，结合深度卷积神经网络突出的特征学习能力，构建准确的特征表述，从而完成图像的精确配准。

1)样本准备阶段。利用最大极值稳定区域(Maximally Stable ExtremalRegions，MSERs)探测图像特征区域点，利用平移变换距离与图像缩放系数对特征区域点进行筛选，并在特征区域点中心位置截取固定大小的图像块作为训练样本，再对训练样本进行若干次图像转换以便扩充训练样本集。

2)样本训练阶段。构建适当的深度卷积神经网络，并用扩充后的样本集训练卷积神经网络。

3)控制点匹配阶段。用MSERs探测配准图像和待配准图像的控制点，利用优化后的网络模型生成配准图像和待配准图像控制点的特征表述，之后完成控制点特征表述之间的匹配，建立变换模型，最后通过图像变换和重采样，完成图像匹配。

步骤4遥感图像目标区域提取。

正如图5中的步骤516所示，融合“基于图的显著性模型(Graph Based VisualSaliency,GBVS)”和“基于边线密度的显著性模型(Line Density Based VisualSaliency,LDVS)”。综合考虑遥感图像中各种特征以及丰富的目标边缘信息，可以有效地提取遥感图像中的显著目标。

1)基于GBVS和LDVS融合的显著性计算

GBVS方法引入了图论方法，将图像的每一个像素或者图像块当做图的一个节点。GBVS模型计算效率高，能够更好表示不同特征层的区别。在遥感图像解译过程中，由于目标多样性与地物复杂性，需要将不同的特征有机结合，力求取得更好的效果。通过目标检测的结果分析，基于边缘密度信息显著性方法可以较好地保留目标的边界，基于图的显著性方法能够均衡表示物体内部的显著性分布。因此，为了提高显著性区域的提取精度，本项目拟将两种方法融合来计算显著性区域。本文使用2D的高斯型混合函数对两种显著性图像中显著性大小分布进行融合。函数定义如下：

式中S_edge和S_GBVS都被线性归一化。若某一区域的显著性得分S_edge和S_GBVS都较高时，融合后其显著性分数也会较高，表示其在图像中较为显著。

2)基于显著性的面向对象的目标提取方法

面向对象的图像分析方法可以应用语义信息将图像分割成有意义的区域，充分表达图像区域的光谱特征、空间信息和上下文特征等语义信息，从而区分光谱相似的地物。本文在显著性检测的基础上，利用面向对象的图像分析方法来提取识别遥感图像中的感兴趣目标，采用GraphCut方法(如图5处的步骤504所示)可以更好地分割出不同质区域的轮廓，并且同质区域内部更加紧凑。

目标分割问题可以转换为能量函数最优化问题。一个分割S可以表示为一个二元向量A＝[a₁,a₂...a_N]，其中a_i∈{0,1}表示第i个像素是“目标”还是“背景”。分割A的能量表示为：

E(A)＝λR(A)+B(A) (19)

式中R(A)为数据项或区域项，表示像素p分配给“目标”或“背景”的惩罚；B(A)为光滑项或边界项，用来表示两个像素p和q之间不连续的惩罚。然后利用最大流最小割算法进行优化。

图像分割方法将图像分割成一些内部特征类似的图像块。显著性目标即为显著性高的分割块的集合。因此，需要剔除两种情况的分割快，一是，像素点很少，显著性却很高；二是，面积很大，显著性却很低。第一种情况可以通过控制分割块的大小(例如，至少包含100个像素点)剔除。第二种情况可以通过阈值选取平均显著性的大小剔除。图像块S_i(i＝1,2...m)的平均显著性AvgSaliency(S_i)定义如下：

式中m为分割结果中包含的分割块的数量；Saliency(i,j)为点(i,j)的显著性得分。本文通过Otsu方法来自动选取合适的阈值。通过阈值将图像分为目标类或背景类。显著度大于阈值的为目标类，反之则为背景类。

步骤5、异源遥感图像融合模型

构建全色光学图像的去卷积网络深度学习模型。假设输入图像为y^p，那么这幅图像可以表示成K₁个隐含特征图与滤波器f_k卷积的线性求和的形式，即

若y^p以是一个N_r×N_c大小的图像，且滤波器的大小为H×H，那么隐含特征图乏的大小为(N_r+H-1)×(N_c+H-1)。由于公式(7)是一个欠定系统的函数，无法得到唯一解，因此引入一个关于的正则项，使趋于稀疏。通过以上代价函数可以定义为如下形式：

式中由一个二次重构项和具有稀疏p范数形式的正则项组成。当p＝1，上式第二项可化简为拉普拉斯先验，具有使特征图稀疏化的功能。λ是一个权重常量，用以规定重构项和正则项的影响比重。

网络训练就是利用训练样本估计模型中未定参数的过程。从式(23)看出，训练稀疏去卷积模型主要包括推断特征图z_k,l和更新滤波器首先固定滤波器，对目标函数进行最小化推断输入图像的特征图；然后固定输出的特征图，对目标函数进行最小化更新的滤波器。

推断特征图和更新滤波器的过程计算比较复杂，常见的梯度下降法、迭代重新加权最小均方法(IRLS)、以及随机梯度下降法等方法在实际求解中存在得不到理想的解、当训练数据量较大时优化速度很慢、以及需要上千次迭代才收敛等问题。由此引入一种适用性更广的优化框架，首先对每一特征图z_k,l引入辅助变量x_k,l，简化求解的过程。由此得到新的辅助代价函数C_l(y)：

其中β是一个连续变化参数，引入此辅助函数后，交替固定z_k,l和x_k,l的值，分别求得其最优解。其次，固定x_k,l，利用计算得到的z_k,l，计算辅助代价两数关于滤波器的导数，采用梯度下降法求解，从而得到更新的

上文对本发明的技术方案进行了细致详细地描述，下面再结合图2-图6对上文的具体描述进行简要的描述。

图2是根据本发明的实施例的影像退化与复原过程的示意图。如图2所示，在步骤202处，f(x,y)为系统的输入，其为原始影像，在步骤204处，n(x,y)为噪声(服从均值为零的高斯分布)，通过非线性变换转为近视模型g(x,y)。在步骤206处，根据退化数学模型及复原影像方式，从观测影像g(x,y)中得到f(x,y)的估计

图3是根据本发明的实施例的基于统计先验与稀疏分析的影像质量提升的流程图。如图3所示，步骤302处为图像的样例输入，步骤304处通过EM算法学习高斯混合模型GMM，步骤306处为原始的图像输入，步骤308处为投影测量矩阵，对应影像的降质过程，在步骤310处，使用观测矩阵对原始图像进行分块，在步骤312处，根据已知的影像分块和高斯混合模型，计算其后验概率MAP，通过比较概率值大小确定影像分块由哪几类高斯分量组合而成，在步骤314处，选取影像块样例，对属于相关高斯分量类的样本提取其主成分作为字典，在步骤316处，得到重建的影像结果。

图4是根据本发明的实施例的卷积神经网络的网络结构图。如图4所示，该网络结构图采用5层结构，其中包含了三个卷积层(C1/C2/C3)和两个下采样层。C1卷积层采用最大值下采样，连接S1下采样层，；C2卷基层对S1层的特征图像进行随即组合，连接S2下采样层；C3卷积层原理与C2一样。全连接层f1的输入为C3层的输出，f1的输出结果为控制点的特征表述。

图5是根据本发明的实施例的基于显著性和图像分割的目标提取的流程图。如图5所示，步骤502处为若干多源遥感图像，在步骤504处利用图像分割算法获取图像中的“同质”对象块，采用自动阈值方法自适应地提取显著目标，在步骤506处，采用基于边线密度的显著性模型LDVS对图像进行处理，在步骤508处，将图像使用基于图的显著性模型GBVS进行处理，步骤510处为经GBVS提取后的结果，在步骤512处为经LDVS提取后的结果，步骤514即为图像分割后的结果，在步骤516处，结合GBVS和LDVS，综合考虑遥感图像中各种特征以及丰富的目标边缘信息，进一步提取遥感图像中的显著目标，在步骤518处，采用自底向上的模型分析图像的显著性，结合图分割的结果，自动选取显著性较高的分割块，从而得到步骤520处的图像显著目标。

图6是根据本发明的实施例的特征图融合的示意图。该流程以全色图像和SAR图像为例作为输入，首先经过滤波处理，得到相应的特征图，并且进一步提取特征，采用绝对值取大融合规则进行融合，得到本文所需要的融合特征图。

图7根据本发明的实施例的基于稀疏表示的光学微波图像融合重建的方法700的流程图。如图7中所示，在步骤701处，对遥感影像进行遥感成像模型分析，以便提升所述遥感影像的影像质量。在步骤702处，对所述提升影像质量的遥感影像进行配准。在步骤703处，对配准的遥感影像进行分割。在步骤704处，基于分割结果选择具有一定显著性的分割块。在步骤705处，提取所述分割块中的显著区域，以及在步骤706处，根据所述分割块，并利用所述去卷积神经网络和混合模型完成遥感影像的融合重建。

在一个实施例中，其中利用统计先验和稀疏分析的像元复原方法对异源高分辨遥感影像的图像质量进行提升。

在一个实施例中，其中通过对所述遥感影像进行逐层提取底层到高层的特征，建立基于深度卷积神经网络的匹配方法，利用所述遥感影像中稳定的、具有良好适应性的图像特征，构建准确的特征表述，从而完成所述遥感图像的配准。

在一个实施例中，其中结合所述遥感影像的分割结果，自动选取具有一定显著性的所述分割块，以便完成所述遥感影像的目标区域的提取。

在一个实施例中，其中所述遥感图像的融合重建包括训练所述去卷积神经网络，以便基于所述去卷积神经网络、利用混合模型完成所述遥感影像的融合重建。

本发明还提供一种基于稀疏表示的光学微波图像融合重建的装置，包括：

处理器；

存储器，其存储有处理器可执行的计算机程序，当所述计算机程序由所述处理器执行时，使得所述设备执行以下操作：

对遥感影像进行遥感成像模型分析，以便提升所述遥感影像的影像质量；

对所述提升影像质量的遥感影像进行配准；

对配准的所述遥感影像进行分割；

基于分割结果，选择具有一定显著性的分割块；

提取所述分割块中的显著区域；以及

根据所述分割块，并利用所述去卷积神经网络和混合模型完成遥感影像的融合重建。

虽然本发明所实施的方式如上，但所述内容只是为便于理解本发明而采用的实施例，并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于稀疏表示的光学微波图像融合重建的方法，包括以下步骤：

对遥感影像进行遥感成像模型分析，以便提升所述遥感影像的影像质量；

对所述提升影像质量的遥感影像进行配准；

对配准的遥感影像进行分割；

基于分割结果选择具有一定显著性的分割块；

提取所述分割块中的显著区域；以及

根据所述分割块，并利用所述去卷积神经网络和混合模型完成遥感影像的融合重建。

2.根据权利要求1所述的方法，其中包括利用统计先验和稀疏分析的像元复原方法对异源高分辨遥感影像的图像质量进行提升。

3.根据权利要求1所述的方法，其中通过对所述遥感影像进行逐层提取底层到高层的特征，建立基于深度卷积神经网络的匹配方法，利用所述遥感影像中稳定的、具有良好适应性的图像特征，构建准确的特征表述，从而完成所述遥感图像的配准。

4.根据权利要求1所述的方法，其中结合所述遥感影像的分割结果，自动选取具有一定显著性的所述分割块，以便完成所述遥感影像的目标区域的提取。

5.根据权利要求1所述的方法，其中所述遥感图像的融合重建包括训练所述去卷积神经网络，以便基于所述去卷积神经网络、利用混合模型完成所述遥感影像的融合重建。

6.一种基于稀疏表示的光学微波图像融合重建的装置，包括：

处理器；

存储器，其存储有处理器可执行的计算机程序，当所述计算机程序由所述处理器执行时，使得所述设备执行以下操作：

对遥感影像进行遥感成像模型分析，以便提升所述遥感影像的影像质量；

对所述提升影像质量的遥感影像进行配准；

对配准的所述遥感影像进行分割；

基于分割结果，选择具有一定显著性的分割块；

提取所述分割块中的显著区域；以及

根据所述分割块，并利用所述去卷积神经网络和混合模型完成遥感影像的融合重建。

7.根据权利要求6所述的装置，其中所述装置还执行利用统计先验和稀疏分析的像元复原方法对异源高分辨遥感影像的图像质量进行提升。

8.根据权利要求6所述的装置，其中所述装置还执行通过对所述遥感影像进行逐层提取底层到高层的特征，建立基于深度卷积神经网络的匹配方法，利用所述遥感影像中稳定的、具有良好适应性的图像特征，构建准确的特征表述，从而完成所述遥感图像的配准。

9.根据权利要求6所述的装置，其中所述装置还执行结合所述遥感影像的分割结果，自动选取具有一定显著性的所述分割块，以便完成所述遥感影像的目标区域的提取。

10.根据权利要求6所述的装置，其中所述装置还执行训练所述去卷积神经网络，以便基于所述去卷积神经网络、利用混合模型完成所述遥感影像的融合重建。