CN104851099A - 一种基于表示学习的图像融合方法 - Google Patents

Abstract

本发明公开了一种基于表示学习的图像融合方法，包括如下步骤：获取多源图像，通过由稀疏自编码器组成的深度神经网络、由玻尔兹曼机组成的深度置信网络和深度卷积神经网络的学习架构对多源图像的特征进行学习，并利用这些自动学习的特征完成多源图像的融合，建立图像融合模型；研究图像融合模型的凸优化问题，利用深度学习中的非监督预训练对该网络进行初始化，从而使该网络在训练的过程中快速地找到最优解；根据多源图像的特点，通过两个或多个深度学习网络。本发明利用人工智能和基于深度学习的特征表示方法研究图像的特征级融合，与传统的像素级融合方法相比，该方法能更好地理解图像信息，从而进一步提高图像融合的质量。

Description

一种基于表示学习的图像融合方法

技术领域

本发明涉及图像融合技术领域，具体涉及一种基于表示学习的图像融合方法。

背景技术

由于社会和科技的进步，成像探测波段已经从单一可见光-近红外向极紫外/中远红外/太赫兹等多波段发展，形成了丰富波段的各种现代成像探测与图像获取技术。这些技术使人们能方便地获取多种多样的图像信息。在各个行业，人们从各个角度用各种传感器获取了大量的具有各种表征的图像信息，也就是多模态图像信息。一方面图像的信息是用不同传感器所获取，对同一物体不同传感器所获取的图像信息，具有不同的表征。另一方面，即使对相同传感器所获取相同物体对象的图像信息，也因自然原因(如天气、光照)，而产生不同质量图像。人们迫切希望从这些多源、多模态图像来获取特定的对应物体的丰富全面的表征，从而让这些图像信息帮助人们去认识社会、认识自然，并为人们的日常工作和生活起到重要的帮助作用。

图像融合是指将多源传感器所采集到的关于同一场景/目标的图像数据进行融合处理的计算机视觉技术，它最大限度地提取各自传感器成像数据中的互补信息，最后综合成高质量的图像，以改善图像的计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率、提高图像信息的利用率，提高目标识别和分析解释能力。因此，图像融合(Image Fusion)、处理和识别为现代计算机视觉和应用数学界所普遍关注。

迄今为止，图像融合的模型及其数学理论的研究极不完善，有许多问题亟需解决，如是否针对某一个实际图像融合的共性问题，可否建立一个统一的数学理论框架？再有如何利用图像融合技术重构实时、准确的图像信息，也是一个重大问题。正是因为上述原因，本项目拟用基于深度学习的特征表示学习的方法建立尽可能完备的针对多源图像的融合模型，并该模型进行优化求解，并开展相应的理论研究。如展开多源图像融合中互补特征保持的特征表示学习的理论研究与分析，提高多源融合图像的空间和光谱分辨率，并用GPU云计算并行处理方法得到高维多模态数据的融合识别的最优深度学习算法，将其应用于具体实际问题，充分融合多源图像的互补性特征，克服目标提取与识别中图像数据的不完整性等，为遥感和医学等领域完整的图像信息识别和预测提供强有力的理论支撑。

发明内容

为解决上述问题，本发明提供了一种基于表示学习的图像融合方法。

为实现上述目的，本发明采取的技术方案为：

一种基于表示学习的图像融合方法，包括如下步骤：

S1、获取多源图像，通过由稀疏自编码器组成的深度神经网络、由玻尔兹曼机组成的深度置信网络和深度卷积神经网络的学习架构对多源图像的特征进行学习，并利用这些自动学习的特征完成多源图像的融合，建立图像融合模型；

S2、研究图像融合模型的凸优化问题，利用深度学习中的非监督预训练对该网络进行初始化，从而使该网络在训练的过程中快速地找到最优解；

S3、根据多源图像的特点，通过两个或多个深度学习网络，建立协同训练的深度学习网络，从而实现表示学习的图像融合技术；

S4、利用GPU加快多源图像融合模型的求解速度，以及利用并行优化算法实现多核或云计算的并行计算。

本发明具有以下有益效果：

(1)利用人工智能和基于深度学习的特征表示方法研究图像的特征级融合，与传统的像素级融合方法相比，该方法能更好地理解图像信息，从而进一步提高图像融合的质量；

(2)根据多源图像处理的要求出发，尤其是针对多源遥感图像，要考虑它的光谱信息和空间结构信息，在已有的模型基础上，融入了光谱保真项和能更好恢复图像的边缘、纹理和几何结构的空间保真项，得到新的融合模型及其算法；

(3)研究是新模型、算法和综合应用有效结合，充分考虑算法的高效性(快速、并行，参数自适应)，并利用目前图形硬件编程(GPU)和分布式并行(云)计算架构，具备处理大规模高维数据的融合能力。

附图说明

图1为本发明实施例一种基于表示学习的图像融合方法的流程图。

图2为本发明实施例一种基于表示学习的图像融合方法中步骤S4的流程图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供了一种基于表示学习的图像融合方法，包括如下步骤：

S1、获取多源图像，通过由稀疏自编码器组成的深度神经网络、由玻尔兹曼机组成的深度置信网络和深度卷积神经网络的学习架构对多源图像的特征进行学习，并利用这些自动学习的特征完成多源图像的融合，建立图像融合模型；

S2、研究图像融合模型的凸优化问题，利用深度学习中的非监督预训练对该网络进行初始化，从而使该网络在训练的过程中快速地找到最优解；

S3、根据多源图像的特点，通过两个或多个深度学习网络，建立协同训练的深度学习网络，从而实现表示学习的图像融合技术；

S4、利用GPU加快多源图像融合模型的求解速度，以及利用并行优化算法实现多核或云计算的并行计算。

本具体实施利用表示学习的方法可以对多源遥感图像进行融合，充分利用目前遥感卫星拍摄图像的各种信息，使其价值得到充分的利用。目前，遥感卫星由于成像仪器的限制，很难获取高空间分辨率和高光谱分辨率的图像，通过该方法能很好地解决该问题。同时本项目充分考虑算法的高效性，并利用GPU和分布式并行计算架构，具备处理大规模高维数据的融合能力，使其很高的使用价值。

项目研究新的图像融合技术及其快速实现的软件，可以进一步提高图像融合的结果。目前主流的遥感图像处理软件ENVI只能实现一些简单的融合方法，并不能很好地满足用户的需求，通过本项目的研究可以很好地弥补不足之处。项目完成后，可以形成行业化软件，利于推广，并可以应用到其它行业，经济效益十分明显。项目利用深度学习的最新技术，对多源遥感图像进行信息融合，可以很好地解决遥感成像仪器的硬件瓶颈，使遥感图像得到充分的利用，延长目前的遥感成像仪器的使用周期，促进了遥感图像在各个领域中的发展。项目在实现快速及并行算法时，通过云服务器上解决信息孤岛化，从而可以降低了企业软硬件投入成本和管理成本

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种基于表示学习的图像融合方法，其特征在于，包括如下步骤：

S1、获取多源图像，通过由稀疏自编码器组成的深度神经网络、由玻尔兹曼机组成的深度置信网络和深度卷积神经网络的学习架构对多源图像的特征进行学习，并利用这些自动学习的特征完成多源图像的融合，建立图像融合模型；

S2、研究图像融合模型的凸优化问题，利用深度学习中的非监督预训练对该网络进行初始化，从而使该网络在训练的过程中快速地找到最优解；

S3、根据多源图像的特点，通过两个或多个深度学习网络，建立协同训练的深度学习网络，从而实现表示学习的图像融合技术；

S4、利用GPU加快多源图像融合模型的求解速度，以及利用并行优化算法实现多核或云计算的并行计算。