CN115631428B - 一种基于结构纹理分解的无监督图像融合方法和系统 - Google Patents

Abstract

本发明公开了一种基于结构纹理分解的无监督图像融合方法和系统，涉及遥感影像处理技术领域。所述方法利用结构纹理分解模型将原始输入图像分解得到各图像的结构分量和纹理分量，然后利用编码网络结构提取图像的多尺度深层特征，并采用密集连接结构的融合网络进行特征融合，再利用解码网络进行重建，最后构建损失函数训练融合网络模型。本发明可利用更细致的图像纹理特征和结构特征建立融合网络的训练条件，并有效的对融合网络进行可靠反馈和调整，使最终的融合结果同时能具备原始图像的纹理信息和结构信息，最大程度集成光学和SAR图像的互补特征，从而获得更优的图像融合效果。本发明的技术方案可以为目标检测、图像分类等应用提供高质量的图像数据。

Description

一种基于结构纹理分解的无监督图像融合方法和系统

技术领域

本发明涉及遥感影像处理技术领域,尤其是一种基于结构纹理分解的无监督图像融合方法和系统，用于对光学图像和SAR图像进行有效融合。

背景技术

对于遥感影像的获取，在同一场景中不同传感器所获取的遥感图像可以反映地面物体的互补内容，这些多传感器遥感影像按照一定的规律进行组织、关联和合成，实现信息互补。高质量的遥感影像融合可以满足不同的应用需求，如物体识别、变化检测、影像分类等。另一方面，光学图像可以获得有关表面特征的相关信息，例如真实纹理和灰度信息，但光学图像容易受到云层或其他极端天气条件的影响。相反，SAR(合成孔径雷达)具有很强的穿透能力，不受气候和环境的影响。因此，融合光学图像和SAR图像能够广泛应用于更多的场景。尽管现有技术中已经开发出许多算法来融合这两类图像，但没有研究专注于如何有效地结合光学图像和SAR图像的互补信息。

现有技术中，光学图像与SAR图像融合的方法包括不需要采用深度学习技术的传统方法和基于深度学习的方法。传统方法一般包括分量替代法、多尺度分解法和基于模型的方法，这些传统的融合方法不可避免地需要复杂的图像转换或特定的融合规则设计。基于深度学习的方法可以从图像中自动提取大量高级语义信息，相比传统方法就有更好的普适性。然而现阶段只存在极少的方法来研究深度学习用于光学图像与SAR图像的融合，并且均为监督学习方法或者半监督学习方法，这些方法需要一定量的带有真值标签的样本作为训练数据，成本等因素限制了该类方法的实际应用。

发明内容

本发明的发明目的在于：克服上述现有技术的不足，提供了基于结构-纹理分解的无监督SAR和光学图像融合方法。该方法提取影像深度特征用于有效融合，高效精确、无需训练真值。一方面，本发明提供了一种基于结构纹理分解的无监督图像融合方法，首先建立第一图像与第二图像的待融合数据集，将第一图像和第二图像利用融合网络进行第一次融合，得到第一融合图像；然后利用结构纹理分解模型将第一图像、第二图像、第一融合图像进行结构纹理分解，分别得到各图像的结构分量和纹理分量；之后将结构分量和纹理分量用于计算损失函数并反向传播，更新融合网络的参数并对第一融合图像进行融合调整，得到最终的融合网络模型。

另一方面，本发明还提供了一种基于结构纹理分解的无监督图像融合系统，所述系统包括：用于建立第一图像与第二图像的待融合数据集的预处理模块；用于将第一图像和第二图像利用融合网络进行第一次融合得到第一融合图像的第一融合模块；用于将第一图像、第二图像、第一融合图像进行结构纹理分解，分别得到各图像的结构分量和纹理分量的分解单元；用于将结构分量和纹理分量计算损失函数并反向传播，更新融合网络的参数并对第一融合图像进行融合调整，得到融合网络模型的反向调整单元。

综上所述，由于采用了上述基于结构纹理分解的无监督图像融合技术方案，本发明的有益效果是：

本发明设计了一种端对端的无监督的图像融合网络，以及利用该融合网络进行多源图像的融合方法与系统。该融合网络结构主要由编解码结构与稠密连接结构组成。所述融合方法首先利用结构纹理分解模型将原始输入影像进行分解，分别得到各图像的结构分量和纹理分量，然后利用编码网络结构提取图像的多尺度深层特征，并采用密集连接结构的融合网络进行特征融合，再利用解码网络进行影像重建，将重建网络同样进行分解得到初步融合的结构分量与纹理分量。最后利用源图像和重建图像的结构纹理分量构建一种基于结构和纹理联合约束的损失函数训练融合网络模型，使最终的融合结果同时能具备原始图像的纹理信息和结构信息，最大程度的集成光学和SAR图像的互补特征。

通过本发明所构建的图像融合方法和系统，可利用更细致的图像纹理特征和结构特征建立融合网络的训练条件，并有效的对融合网络进行可靠反馈和调整，从而获得更优的图像融合效果。本发明技术方案的技术方案可以为目标检测、图像分类等应用提供高质量的图像数据。

附图说明

图1是本发明实施例提供的整体流程图。

图2是本发明实施例提供的不同类型图像的示意图。

图3是本发明实施例提供的的融合网络模型结构图。

图4是本发明实施例提供的结构-纹理分解及调整过程的示意图。

图5为本发明实施例提供的图像融合结果对比图。

具体实施方式

为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。

如图1所示，为一种基于结构-纹理分解的无监督图像融合方法，用于对SAR图像和光学图像进行有效融合，包括以下步骤：

步骤S01，获取第一图像与第二图像，并对第一图像与第二图像进行预处理，建立第一图像与第二图像的待融合数据集。

在一个优选实施例中，所述第一图像为光学图像，第二图像为SAR图像。所述第一图像和第二图像是同一个场景下采用不同类型的传感器获取得到的不同类型的图像对，为图像处理系统输入的源图像。

所述待融合数据集作为训练数据集，用于训练融合网络模型。在一个实施例中也可以用同样的图像获取方式获取若干包含第一图像与第二图像的图像对，作为训练后的融合网络模型的测试数据集。

根据获取的第一图像和第二图像的分辨率信息，判断两组图像的大小和分辨率是否一致，一致则进行后续处理，不一致则将这两组图像进行图像配准、重采样、裁剪等预处理，使得预处理后的第一图像与第二图像的分辨率和大小均保持一致，从而形成一一对应的融合数据集。

以光学图像与SAR图像为实施例对步骤S01作进一步说明，如图2所示，其中图(a)为光学图像，图(b)为SAR图像。将该光学图像与SAR图像均进行配准，然后采样至同一分辨率，最后裁剪成256*256固定大小的块。固定分辨率的光学图像I_Opt与其对应的SAR图像I_SAR作为输入图像，经本发明实施例中的方法实现融合得到融合图像(c)。其融合结果包含与光学图像最相似的纹理细节信息以及与SAR图像最相似的结构轮廓信息，且有效去除斑点噪声。光学图像与SAR图像融合数据集中包含多对类似上述光学图像I_opt和SAR图像I_SAR。

步骤S02，将第一图像和第二图像利用融合网络进行第一次融合，得到第一融合图像。

以光学图像与SAR图像为实施例作进一步说明，在本步骤中首先在通道方向上，将光学图像和SAR图像进行叠置拼接，将叠置后的图像通过编码器网络产生多尺度特征；然后将多尺度特征分别通过各个融合网络经融合网络输出各个尺度的特征融合结果；再将各个尺度输出的特征融合结果采用对应的解码器网络进行重建，得到第一融合影像。用于进行特征融合的融合网络包括但不限于Transformer网络、DenseNet网络等。

如图3所示，本实施例中的融合网络模型包括编码器网络、融合网络和解码器网络三部分。

所述编码器网络由n组相互连接的卷积块和最大池化层组成，简称编码块。每个卷积块由相互连接的卷积层、局部响应归一化层、线性单元激活函数层组成，n的取值可根据影像大小及分辨率设定，本发明对此不进行限定。在图3所示优选实施例中，组数n＝4。

用于进行特征提取的所述编码器网络包括但不限于U-Net网络、DenseNet网络等。并且在系统初始化时所述编码器网络可以采用默认参数或初始参数的初始编码器网络。应当理解，本发明对编码器提取特征部分并不做出形式上和参数上的限定，凡采用叠置影像的输入方式，经各种形式和参数的卷积神经网络提取出通道方向上的高维特征、输出多尺度深度特征的方案，均在本发明的保护范围之内。

将编码器网络提取的n个尺度的多模态深度特征分别输入各个密集连接结构的融合网络，经融合网络输出各个尺度的特征融合结果。所述融合网络的数目与编码器的编码块数目n相同，且各融合网络之间除了输入数据的参数不同外其余均相同。本发明对融合网络部分不做形式上和参数上的限定，凡采用端到端的且最大保留源图像信息的密集连接网络并用于融合数据的网络方案均在本发明的保护范围之内。

采用对应的解码器网络进行重建第一融合图像，本实施例中优选采用的简化Unet++网络结构，从而更轻更有效地重建第一融合图像。所述解码器网络包括六个解码器卷积块，每个解码器卷积块包括两个卷积层。在每一行中，这些解码器卷积块通过短连接方式进行连接，并且相邻行中的卷积块通过跨层连接方式连接来自融合特征网络中的多尺度深度特征。所述解码器网络的输出是从融合的多尺度特征重构的第一融合图像。在其他实施例中，也可采用类似的跨层的连接方式作为解码器网络，本发明对此不进行限定。

步骤S03，采用结构纹理分解模型将第一图像、第二图像、第一融合图像进行结构纹理分解，分别得到各图像的结构分量和纹理分量。

为了给融合网络模型提供重要的约束，特别是基于结构信息和纹理信息的约束，本发明实施例采用一种卡通纹理分解(Cartoon-Texture)的图像分解方法，能够将图像分解为结构部分和纹理部分，以实现对图像的有效分割和增强。

结构分量和纹理分量的提取过程如下：

I_str＝W(λ)·(I_con-I_raw)+I_raw

其中I_raw表示原始图像，I_con表示高斯卷积后的图像，I_str表示结构图像，I_tex表示通过原始图像和结构图像的简单减法产生的纹理图像，局部总变异LTV(·)表示在图像梯度上执行高斯卷积的LTV过程，W(·)用于归一化，参数λ是LTV降低率的指标。

以光学图像与SAR图像为实施例作进一步说明，如图4所示，显示了图像分解的示例，采用结构纹理分解方法将输入的光学图像I_Opt和SAR图像I_SAR进行结构纹理分解，分别分解成光学纹理图I_Opt-T、光学结构图I_Opt-S、SAR纹理图I_SAR-T、SAR结构图I_SAR-S。，即分别得到光学图像和SAR图像的结构分量和纹理分量，以实现图像的有效分割和增强。

同时对特征重建之后的第一融合图像I_O也进行结构纹理分解，分解成第一融合图像的纹理图I_O-T、结构图I_O-S，如图4所示。

本实施例采用的分解方法为卡通纹理分解(Cartoon-Texture)，在其他实施例中也可采用其他纹理分解方法，以完成对目标图像的纹理和结构分量的分解即可，本发明对此不进行限定。

所述步骤S02和步骤S03在不同的计算实施例中可以交换处理顺序，也可以并行进行计算处理，以不影响后续步骤中的参数计算和融合调整为准。

步骤S04，基于结构分量和纹理分量计算损失函数并反向传播，更新融合网络的参数并对第一融合图像进行融合调整，得到融合网络模型。

本实施例中的融合调整过程采用二阶段训练方案，其中在第一个阶段使用特定的损失函数训练一个自动编解码器网络，其中自动编码器网络被训练用于提取源图像多尺度深度特征，自动解码器网络用于重构输入图像的多尺度深度特征。所述自动编解码器训练完成之后，固定其网络参数不变。第二阶段将特征分解中得到的结构分量和纹理分量引入损失函数来约束融合图像中的结构分量和纹理分量，即计算光学图像与输出的第一融合图像的像素值差值的二范数的平方、纹理分量差值的一范数，以及SAR图像与输出的第一融合图像的结构分量差值的一范数作为损失函数，以反向传播至融合网络，从而更新融合网络的参数，当损失函数降至较低值并收敛时，完成输入光学图像与SAR图像的最佳融合，保存此时的融合网络模型参数，用于融合和校正测试集影像数据。

具体包括：

步骤S401，使用特定的第一损失函数训练一个自动编解码器网络，所述自动编码器网络被训练用于提取源图像多尺度深度特征，所述自动解码器网络被训练用于重构输入图像的多尺度深度特征。所述自动编解码器网络训练完成之后，固定自动编解码器网络的参数不变。

所述自动编解码器的第一损失函数L_aoto定义如下：

L_aoto＝L_pixel+λL_ssim；

L_pixel和L_ssim分别表示输入图像与输出图像之间的第一像素损失函数和第一结构损失函数，λ是L_pixel和L_ssim之间的平衡参数。

所述第一像素损失函数L_pixel定义如下：

其中||||_F表示F范数，第一像素损失函数L_pixel是约束输出图像在像素级上与输入图像的相似性。

所述第一结构损失函数L_ssim定义如下：

L_ssim＝1-SSIM(Output,Input)

其中SSIM()表示结构相似性度量，第一结构损失函数L_ssim用来约束输出图像与输入图像的结构相似性。

步骤S402，将步骤S03中分解得到的结构分量I_Opt-T和纹理分量I_SAR-S引入第二损失函数中，用于约束步骤S02中第一融合图像中的结构分量I_O-T和纹理分量I_O-S，即计算光学图像与输出的第一融合图像的像素值差值的二范数的平方、纹理分量差值的一范数，以及SAR图像与输出的第一融合图像的结构分量差值的一范数作为第二损失函数，以反向传播并更新融合网络模型的参数。当第二损失函数降至较低值并收敛时，完成输入的第一图像与第二图像的融合。保存此时的融合网络模型的参数，并将该融合网络模型用于融合和校正测试集图像数据。

将步骤S401中第一阶段训练完成并使第一损失函数降至最低之后，固定对应的自动编解码器网络结构及参数，在S402中整个第二阶段将不再训练自动编解码器结构。此时设计第二损失函数训练融合特征网络部分。以本实施例为例，第二损失函数的设计仅适用于不同的融合网络模块，即对融合网络模块参数进行反向调整可以使其获得的预测结果更优。考虑到输入的SAR图像的斑点噪声，本申请实施例中还引入了三个关键约束：像素约束、纹理约束、结构约束，以逐渐捕获光学图像和SAR图像的互补特征，并使融合结果包含尽可能少的噪声。由于第二损失函数中的像素损失占比较大，结构损失仅作用于结构部分，对SAR图像有细节抑制，使得融合结果的背景更接近光学图像，并滤除SAR图像的部分噪声。

具体而言，第二损失函数L_total定义为：

L_total＝L_P+α₁L_S+α₂L_T，

其中L_total是指融合过程中的总损失。L_S和L_T分别表示第二结构损失函数和第二纹理损失函数。α₁和α₂分别表示两个损失函数的权重。

为了保持来自光学图像的真实信息，使融合结果的背景更类似于原始光学图像，本实施例定义第二像素损失函数L_P：

其中I_O是第一融合图像，I_Opt是输入的光学图像。像素损失由第一融合图像I_O和光学图像I_Opt之间像素差值的二范数确定。

通过步骤S03所述的过程提取第一图像和第二图像的结构信息和纹理信息后，将提取的两类信息引入目标函数中以约束和调整第一融合图像的结构信息和纹理信息。因此将第二结构损失函数L_S和第二纹理损失函数L_T定义如下：

L_S＝‖I_O-S-I_SAR-S‖₁，L_T＝||I_O-T-I_Opt-T||₁，

结构损失和纹理损失由结构分量和纹理分量之间差异的一范数决定，并分别来自第一融合图像和原始输入的第一/第二图像。

当第二损失函数降至一个较低值并收敛时，整个融合网络模型具有最优的参数，此时可输出最佳的融合图像，完成了将训练数据集中的光学图像与SAR图像融合的任务。保存此时的融合网络模型参数，并将该融合网络模型以及模型参数用于融合和校正测试数据集。

在另一个实施例中，本发明还提供了一种基于结构纹理的无监督图像融合系统，所述图像融合系统是基于前述任一图像融合方法实施例的步骤实现的，该系统包括：

预处理模块，用于获取第一图像与第二图像，并对第一图像与第二图像进行预处理，建立第一图像与第二图像的待融合数据集；

第一融合模块，用于将第一图像和第二图像利用融合网络进行第一次融合，得到第一融合图像；

分解单元，用于将第一图像、第二图像、第一融合图像进行结构纹理分解，分别得到各图像的结构分量和纹理分量；

反向调整单元，基于结构分量和纹理分量计算损失函数并反向传播，更新融合网络的参数并对第一融合图像进行融合调整，得到融合网络模型。

如图5所示，为本申请技术方案的融合效果与现有技术中一些图像融合方法的效果进行比较的对比图。其中第一列为SAR图像，第二列为光学OPT图像，第3列-第8列分别为现有技术中的HIS、HPF、DWT、LP、NestFuse、U2Fusion方法进行图像融合结果，第9列为利用本申请技术方案对光学图像和SAR图像进行有效融合后的结果图像，可以看出，本申请技术方案融合得到的图像比现有技术得到的融合图像结果都更能融合源图像的互补信息且有效去除噪声。

以上为本发明具体实施方式的说明，通过本发明所构建的图像融合方法和系统，可利用更细致的图像纹理特征和结构特征建立融合网络的训练条件，并有效的对融合网络进行可靠反馈和调整，从而获得更优的图像融合效果。本发明的技术方案可以为目标检测、图像分类等应用提供高质量的图像数据。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (6)

1.一种基于结构纹理分解的无监督图像融合方法，其特征在于，包括下列步骤：

步骤S01，获取第一图像与第二图像，对第一图像与第二图像进行预处理，建立包含第一图像与第二图像的待融合数据集；

所述第一图像为光学图像，第二图像为SAR图像；

步骤S02，将第一图像和第二图像利用融合网络模型进行第一次融合，得到第一融合图像；所述融合网络模型包括编码器网络、融合网络和解码器网络；

所述步骤S02包括：

将第一图像和第二图像进行叠置，将叠置图像通过编码器网络产生多尺度特征；然后将多尺度特征分别通过各融合网络，经融合网络输出各个尺度的特征融合结果；再将各个尺度输出的特征融合结果采用对应的解码器网络进行重建，得到第一融合影像；

步骤S03，采用结构纹理分解模型将第一图像、第二图像、第一融合图像进行结构纹理分解，分别得到各图像的结构分量和纹理分量；

步骤S04，基于结构分量和纹理分量计算损失函数并反向传播，更新融合网络的参数并对第一融合图像进行融合调整，得到融合网络模型；

所述步骤S04包括：

步骤S401，使用特定的第一损失函数训练自动编解码器网络，所述自动编解码器网络训练完成之后，固定自动编解码器网络的参数不变；所述第一损失函数L_aoto定义如下：

L_aoto＝L_pixel+λL_ssim；

L_pixel和L_ssim分别表示输入图像与输出图像之间的第一像素损失函数和第一结构损失函数，λ是L_pixel和L_ssim之间的平衡参数；

所述第一像素损失函数L_pixel定义如下：

其中|| ||_F表示F范数，第一像素损失函数L_pixel是约束输出图像在像素级上与输入图像的相似性；

所述第一结构损失函数L_ssim定义如下：

L_ssim＝1-SSIM(Output,Input)

其中SSIM()表示结构相似性度量，第一结构损失函数L_ssim用于约束输出图像与输入图像的结构相似性；

步骤S402，计算第二损失函数以反向传播并更新融合网络模型的参数，所述第二损失函数L_total定义为：

L_total＝L_P+α₁L_S+α₂L_T，

其中L_total是指融合过程中的总损失，L_S和L_T分别表示第二结构损失函数和第二纹理损失函数，α₁和α₂分别表示两个损失函数的权重，L_P表示第二像素损失函数；

所述第二纹理损失函数L_T由第一融合图像的纹理分量和第一图像的纹理分量之间的差异的一范数确定；所述第二结构损失函数L_S由第一融合图像的结构分量和第二图像的结构分量之间的差异的一范数确定；所述第二像素损失函数L_P由第一融合图像和第一图像之间的像素差值的二范数确定。

2.如权利要求1所述的基于结构纹理分解的无监督图像融合方法，其特征在于，所述第一图像和第二图像是对同一个场景采用不同类型的传感器获取得到的不同类型的图像对。

3.如权利要求1所述的基于结构纹理分解的无监督图像融合方法，其特征在于，所述预处理是将第一图像和第二图像进行处理后的分辨率和大小保持一致。

4.如权利要求1所述的基于结构纹理分解的无监督图像融合方法，其特征在于，所述步骤S03的结构分量和纹理分量的提取过程如下：

I_str＝W(λ)·(I_con-I_raw)+I_raw

其中Iraw表示原始图像，Icon表示高斯卷积后的图像，Istr表示结构图像，通过原始图像和结构图像的简单减法产生纹理图像，局部总变异LTV(·)表示在图像梯度上执行高斯卷积的LTV过程，W(·)用于归一化，参数λ是LTV降低率的指标。

5.如权利要求1所述的基于结构纹理分解的无监督图像融合方法，其特征在于，所述步骤S402还包括：

当第二损失函数降至较低值并收敛时，完成第一图像与第二图像的融合调整；保存此时的融合网络模型与对应参数，并将该融合网络模型用于图像的融合和校正。

6.一种基于结构纹理分解的无监督图像融合系统，所述融合系统用于实现权利要求1-5中任一融合方法，其特征在于，所述系统包括：

预处理模块，用于获取第一图像与第二图像，并对第一图像与第二图像进行预处理，建立第一图像与第二图像的待融合数据集；

第一融合模块，用于将第一图像和第二图像利用融合网络进行第一次融合，得到第一融合图像；

分解单元，用于将第一图像、第二图像、第一融合图像进行结构纹理分解，分别得到各图像的结构分量和纹理分量；

反向调整单元，基于结构分量和纹理分量计算损失函数并反向传播，更新融合网络的参数并对第一融合图像进行融合调整，得到融合网络模型。