CN103065282A

CN103065282A - 一种基于稀疏线性系统的图像融合方法

Info

Publication number: CN103065282A
Application number: CN2012105817630A
Authority: CN
Inventors: 王浩华; 谢启伟
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2012-12-27
Filing date: 2012-12-27
Publication date: 2013-04-24

Abstract

本发明涉及数字图像处理技术领域，公开了一种基于稀疏线性系统的图像融合方法，包括：多光谱图像进行IHS变化得到其亮度信息，对全色图像求取极值，根据全色图像、多光谱图像的亮度分量以及全色图像的极值点构造稀疏线性系统，基于稀疏线性系统求取平均包络，基于平均包络得到包含在全色图像内而多谱图像缺乏的高频信息；将得到的高频信息注入多光谱亮度分量得到融合结果的亮度分量，并将该融合结果的亮度分量和、多光谱图像的色度分量和饱和度分量进行逆IHS变换，得到融合结果。利用本发明，提高了高分率全色图像和低分辨率多光谱图像的融合效果。

Description

一种基于稀疏线性系统的图像融合方法

技术领域

本发明涉及数字图像处理技术领域，特别是一种基于稀疏线性系统的图像融合方法。

背景技术

由于超大规模集成电路（VLSI）和超高速集成电路（VHSIC）、高精度数控机床、计算机辅助设计和制造，以及其它设计和生产的改进，传感器性能大大提高。从20世纪70年代起，一门新兴的学科——多传感器信息融合（Multisensor Data Fusion）便迅速发展起来。图像融合（Image Fusion）是指联合两个或两个以上的图像通过某种算法得到一幅更高质量的新图像。图像融合是数据融合技术领域中的一个重要分支，它的研究具有十分重要的实际意义。单个传感器图像或者单幅图像，由于受物理条件的限制和成像环境的影响，往往不能提供人们所需要的足够多的信息。例如，全色（Panchromatic）图像具有的较高空间分辨率可以对目标进行更好的定位，但是低的谱分辨率导致识别能力较差；反过来，多光谱图像具有较高的谱分辨率可以较好地识别目标，但是低的空间分辨率导致定位不准确。融合多光谱图像和全色图像，可以得到具有较高空间分辨率的多光谱图像，从而更好地实现目标的识别和定位等后续处理。

总的来说，综合多个传感器图像的信息，可以降低图像信息的不确定性，增加图像信息的可靠性、鲁棒性，加大信息表达的范围和能力，有利于图像的理解和场景解释。图像融合技术还对图像去噪、图像复原、图像超分辨率等其它图像处理技术起到促进作用。同时，许多领域中的多传感器、多时相、多分辨率和多光谱（超光谱）图像的大量涌现，为了更好地存储、处理和利用这些数据，迫切要求一门综合处理多源图像的技术和系统。现在，图像融合广泛地应用于许多领域，包括遥感、医学影像、人工智能、隐藏武器检测、自动导航着陆、质量和故障检测，工业监测和军事国防等

图像融合方法是图像融合系统的核心部分。图像融合方法大致可以分为七类：一是彩色相关的方法；二是数值方法；三是基于概率统计的方法；四是基于多尺度分解的方法；五是神经网络融合方法；六是基于谱分离的方法；七是变分融合方法。其中Sharama在对图像融合作了深刻的分析的基础上提出了一种新的概率模型及参数估计方法。Zhang及Blum以在数字相机的应用为背景总结了基于多尺度分解的图像融合算法。Mohammad-Djafari则论述了贝叶斯估计方法在图像中的应用。

在这些算法中，其中基于多尺度分解的方法得到最为广泛的应用，其融合过程分为多尺度分解、信息转移和多尺度重建等三个步骤。使用多尺度分解的图像融合方法，融合之前先要对多光谱图像进行插值以使它的尺寸跟全色图像一样。然后，再将全色图像的细节信息融入到插值之后的多光谱图像中。这样，融合得到的多光谱图像就具有了更高的分辨率了；同时光谱图像的谱信息也会被保留。

但是，这些方法没有意识到一点：尺寸相同并不等于尺度相同。虽然全色图像和插值的多光谱图像具有相同的尺寸，但是显然的是后者的实际分辨率要低于前者。这时，两者的信息并不处于同一尺度空间，直接的融合可能导致信息的失真和扭曲，从而降低融合质量。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于自适应分解和多尺度基本形式的图像融合方法，在图像自适应分解的基础上，解决以往图像融合没有考虑待融合的高分辨率图像和高光谱图像尺度不一致的问题，达到改进图像融合效果的目的。

为达到上述目的，本发明提供了一种基于稀疏线性系统的图像融合方法，包括：对多谱图像进行IHS变换；高分辨率图像求取其极值点；基于多谱图像的亮度部分、高分辨率图像和高分辨率图像的极值点构造稀疏线性方程组求取上下包络；根据上下包络求取其平均包络；根据平均包络求取高分辨率图像中包含而多谱图像缺乏的高频信息；对多谱图像的亮度部分注入高频信息；应用逆IHS变换得到最终结果。

从上述技术方案可以看出，本发明具有以下有益效果：

1、本发明提供的基于稀疏线性系统的图像融合方法，使融合的信息在尺度空间具有一致性，提高了高分率全色图像和低分辨率多光谱图像的融合效果。

2、本发明提供的基于稀疏线性系统的图像融合方法，通过从全色图像获得的高分辨率信息，多光谱图像的空间分辨率得到提高，输入图像的谱信息通过多光谱图像I部分得到保持。

3、本发明提供的基于稀疏线性系统的图像融合方法，首次提出应用图像特征构造稀疏线性方程的解决图像融合的方法，是一种自适应方法，一般的融合方法都是直接融合低分辨率多光谱图像与高分辨率全色图像以得到高分辨率的光谱图像，而没有考虑图像本身的特点。本发明提供的基于稀疏线性系统的图像融合方法，没有直接对输入图像进行融合，而是通过高分辨图像的极值点与输入图像求取多光谱图像缺乏的高频信息，然后使其与低通多光谱图像亮度部分进行融合，取得了更好的实验效果。

4、本发明提供的基于稀疏线性系统的图像融合方法，与基于小波的图像融合方法相比，本方法效果更优。

附图说明

图1是本发明方法流程图；

图2是图像分解结果图；

图3是一副图像融合结果图；

图4是另一幅图像融合结果图。

具体实施方式

下面结合附图及实例对本发明做进一步说明。

本发明提供的基于自适应分解和多尺度基本形式的图像融合方法，其基本思想为：对多光谱图像进行IHS变换，将其变换到IHS空间。对全色图像和多光谱图像的I部分联合构造稀疏线性方程对全色图像进行自适应分解，得到其低频信息与高频信息。因为其对应的低频信息的尺度与多光谱图像接近，其得到的高频相对于多谱图像来说冗余信息最少，对于图像融合来说，这种尺度相近的融合效果更好。然后基于稀疏线性方程的分解得到的全色图像高频信息与多光谱图像的I部分进行求和并进行灰度调整得到融合结果的I部分，结合多光谱图像的H部分和S部分，将其变换至RGB空间，得到融合结果。

如图1所示，图1是依照本发明实施例基于线性稀疏方程的图像融合方法流程图，该方法主要包括两个重要的模块：1. 图像多尺度分解模块；2. 图像融合模块。

首先简要介绍输入信息和IHS变换及IHS逆变换；

0.输入信息及IHS变换及IHS逆变换；

输入：高分辨率图像

，多光谱图像

，

Figure 2012105817630100002DEST_PATH_IMAGE006

分别为

的RGB三通道。

IHS和IHS逆变换对多光谱图像

进行IHS变换，IHS（Intensity，Hue，Saturation）分别表示亮度或强度、色调和饱和度，是认识颜色的三个特征。亮度是指人眼对光源或物体明亮程度的感觉，一般来说与物体的反射率成正比。色调，也称色别，是指彩色的类别，是彩色彼此相互区分的特征。IHS变换和逆IHS变换如下：

Figure 2012105817630100002DEST_PATH_IMAGE008

Figure 2012105817630100002DEST_PATH_IMAGE010

Figure 2012105817630100002DEST_PATH_IMAGE012

1.图像多尺度分解模块；

1.1图像分解模块；

1）对于高分辨率图像求取其极值点集合，极值点集合由两部分组成，极大值点集合

Figure 2012105817630100002DEST_PATH_IMAGE016

和极小值结合

Figure 2012105817630100002DEST_PATH_IMAGE018

，极大（小）值点选取规则为：选定邻域k×k，在其邻域内最多仅有k个点大于（或者小于）该点，认为该点为极大（小）值点，则

Figure 2012105817630100002DEST_PATH_IMAGE020

2）根据下式构造上包络

：

Figure 2012105817630100002DEST_PATH_IMAGE024

是像素点

选定k领域的方差，

Figure 2012105817630100002DEST_PATH_IMAGE030

像素点

的k邻域，

Figure 2012105817630100002DEST_PATH_IMAGE032

表示如下运算：

Figure 2012105817630100002DEST_PATH_IMAGE034

如果

Figure 2012105817630100002DEST_PATH_IMAGE036

等较小的数时，该方程是一个稀疏线性方程。

3）根据下式构造下包络

：

Figure 2012105817630100002DEST_PATH_IMAGE040

构造下包络采用与构造上包络相同的邻域，所以该方程也是一个稀疏线性方程。

4）根据上下包络构造包络

Figure 2012105817630100002DEST_PATH_IMAGE042

Figure 2012105817630100002DEST_PATH_IMAGE044

，

5）同时得到细节部分

Figure 2012105817630100002DEST_PATH_IMAGE046

：

Figure 2012105817630100002DEST_PATH_IMAGE048

，

1.2图像多尺度分解模块；

根据分解级数

，循环使用图像分解模块对图像的包络进行多尺度分解得到：

Figure 2012105817630100002DEST_PATH_IMAGE052

；

循环分解过程如下：

Figure 2012105817630100002DEST_PATH_IMAGE054

图像分解结果如图2，图2中上一栏：多谱图像（左），高分辨率图像（中），高分辨率图像（右）的极值点。图2中下一栏：多谱图像的亮度部分（左），亮度图像的包络（中），亮度图像的细节图像（右）。

2.图像融合模块

1)使用图像分解模块对高分辨率图像进行多级分解，每一次分解，计算互信息度量

Figure 2012105817630100002DEST_PATH_IMAGE056

，如果

Figure 2012105817630100002DEST_PATH_IMAGE058

，则停止分解，得到分解结果：

Figure 2012105817630100002DEST_PATH_IMAGE060

。

2)把分解得到的细节信息整合多谱图像的亮度部分得到：

。

3)对

Figure 2012105817630100002DEST_PATH_IMAGE064

进行IHS变化，得到最终融合结果。

图像融合结果如图3，4所示，图3和图4中：多谱图像(左)，高分辨率图像(中)，本发明的结果(右)。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1. 一种基于稀疏线性系统的图像融合方法，其特征在于该方法具体是：

将全色图像和多光谱图像的亮度部分进行全色图像的自适应分解，得到保持多光谱图像谱信息和全色图像；将高频信息注入到多光谱图像的亮度部分进行融合，得到待融合结果的亮度部分，并将待融合结果的亮度部分和多光谱图像的色度部分、对比度部分进行逆HIS变换转化到RGB空间得到最后的融合结果。

2.根据权利要求1所述的一种基于稀疏线性系统的图像融合方法，其特征在于：基于全色图像和多光谱图像的亮度部分构造稀疏线性系统对全色图像进行自适应分解，得到多光谱图像缺乏的高频信息，具体是：

对全色图像求取其极值点，根据其极值点、全色图像和多光谱图像的亮度部分构造上下包络图像，根据上下包络图像求取其平均包络图像，也即是其低频信息，以高分辨率全色图像减去低频信息得到对应的高频信息。

3.根据权利要求2所述的一种基于稀疏线性系统的图像融合方法，其特征在于：根据极值点信息构造的线性方程需要体现以下的关键信息：1.在全色图像的极值点位置，得到包络图像的值应该等于全色图像的极值点；2.在非极值点位置的灰度变化应该与多光谱图像的亮度部分相同；3.根据上下包络面求取平均包络，其代表的含义是全色图像中包含的多光谱图像的低频信息；4.应用全色图像与求取的低频信息做差得到全色图像的高频信息，且这些高频信息是多光谱图像所缺乏的。