CN109118463A - 一种基于hsl和图像熵的sar图像和光学图像融合方法 - Google Patents

Abstract

本发明公开了一种基于HSL和图像熵的SAR图像和光学图像融合方法，所述方法包括：步骤1)读入待融合的SAR图像I_SAR和光学图像I_OPT，将光学图像I_OPT由RGB模型转换为HSL模型，获得色度分量H、饱和度分量S和亮度分量L；步骤2)对读入的SAR图像I_SAR以及得到的光学图像亮度L，分别进行归一化处理，获得和步骤3)基于和计算反映SAR图像和光学图像信息量的图像熵参数E_SAR和E_OPT；步骤4)基于图像熵参数E_SAR和E_OPT，计算归一化权重α和β，并以之对和进行线性加权求和，获得融合图像的亮度分量L_FUSE；步骤5)将色度H和饱和度S以及亮度L_FUSE相组合，构建融合图像I_FUSE的HSL模型，并将之转换为RGB模型输出。本发明的方法效果显著，操作简单，不需要人为介入和干预。

Description

一种基于HSL和图像熵的SAR图像和光学图像融合方法

技术领域

本发明涉及多源图像融合方法，特别涉及一种基于HSL和图像熵的SAR图像和光学图像融合方法。

背景技术

SAR成像和光学成像具有本质上的差异(文献[1]：D.Li,Y.Zhang.Epipolargeometry comparison of SAR and optical camera.Proceedings of SPIE,vol.9901,no.9910V,pp.1-9,2016)。SAR通过主动发射微波以探测目标的散射，光学相机通过被动接收以记录目标对可见光的反射。成像方式、观测几何以及频段上的差异使得SAR成像呈现为相干测量，光学成像呈现为非相干测量(文献[2]：Y.Zhang,J.Jiang.Why optical imagesare easier to understand than radar images？–From the electromagneticscattering and signal point of view.Proceedings of PIERS,Guangzhou,China,2014,pp.1411-1415)。前者可获得目标的相位信息，故SAR图像具有独特的纹理细节；后者能反映出目标对不同可见光频率的吸收能力，故光学图像具有独特的颜色细节。因此SAR图像和光学图像从两个视角提供了对同一场景的不同刻画，为了实现对目标的完整认识，一个必然的步骤就是将二者进行融合以兼容其各自的优势。

到目前为止，已存在许多融合SAR图像和光学图像的方法，例如小波变换融合法、信息熵融合法等等，这些方法大多致力于SAR图像和高光谱/多光谱光学图像的融合，实现复杂且通用性差。

发明内容

本发明的目的在于克服上述技术缺陷，基于HSL模型和图像熵，将SAR图像的纹理信息和光学图像的色彩信息进行简单而有效的结合，实现对SAR图像和光学图像的自适应融合。

为了实现上述目的，本发明提供了一种基于HSL和图像熵的SAR图像和光学图像融合方法，所述方法包括：

步骤1)读入待融合的SAR图像I_SAR和光学图像I_OPT，将光学图像I_OPT由RGB模型转换为HSL模型，获得色度分量H、饱和度分量S和亮度分量L；

步骤2)对步骤1)读入的SAR图像I_SAR以及得到的光学图像亮度L，分别进行归一化处理，获得和

步骤3)基于步骤2)得到的和计算反映SAR图像和光学图像信息量的图像熵参数E_SAR和E_OPT；

步骤4)基于步骤3)得到的图像熵参数E_SAR和E_OPT，计算归一化权重α和β，并以之对步骤2)得到的和进行线性加权求和，获得融合图像的亮度分量L_FUSE；

步骤5)将步骤1)得到的色度H和饱和度S以及步骤4)得到的亮度L_FUSE相组合，构建融合图像I_FUSE的HSL模型，并将之转换为RGB模型输出。

作为上述方法的一种改进，所述步骤2)具体包括：

步骤2-1)SAR图像I_SAR的归一化为：

其中，max(I_SAR)和min(I_SAR)分别表示I_SAR的最大值和最小值；

步骤2-2)光学图像亮度分量L的归一化为：

其中，C与图像I_SAR存储的数据位数n有关：C＝2ⁿ-1。

作为上述方法的一种改进，所述步骤3)具体为：

对于归一化的SAR图像图像熵参数E_SAR的计算如下：

式中，N为图像的像素总数，P_i表示概率：

式中，N_i为位于区间内的像素的数目；

对于归一化的光学图像亮度图像熵参数E_OPT的计算如下：

式中，M为图像的像素总数，Q_i表示概率：

式中，M_j为位于区间内的像素的数目。

作为上述方法的一种改进，所述步骤4)具体包括：

步骤4-1)基于图像熵参数E_SAR和E_OPT的归一化权重α和β计算如下：

步骤4-2)基于α和β，融合图像的亮度分量L_FUSE为和的线性加权和：

作为上述方法的一种改进，所述步骤5)具体包括：

步骤5-1)融合图像I_FUSE的HSL模型的构建如下：

I_FUSE:＝[H,S,L_FUSE]

即直接将光学图像I_OPT的色度H和饱和度S作为融合图像I_FUSE的色度和饱和度分量，而I_FUSE亮度分量L_FUSE为和的线性加权和；

步骤5-2)将构建的HSL模型I_FUSE转换为RGB模型则最终输出的融合结果为：

其中，hsl2rgb(·)表示图像模型由HSL转换为RGB的操作。

本发明的优点在于：

本发明的一种基于HSL和图像熵的SAR图像和光学图像融合方法通过HSL模型和图像熵，实现了对SAR图像纹理信息和光学图像色彩信息的自适应结合，该方法效果显著，操作简单，不需要人为介入和干预。

附图说明

图1是本发明的基于HSL和图像熵的SAR图像和光学图像融合方法的总体流程图；

图2是本发明的基于HSL和图像熵的SAR图像和光学图像融合方法的具体流程图；

图3(a)是一个实施例中所采用的待融合的SAR图像I_SAR；

图3(b)是一个实施例中所采用的待融合的光学图像I_OPT；

图4(a)是实施例中光学图像I_OPT经RGB模型转换为HSL模型后分量色度H示意图；

图4(b)是实施例中光学图像I_OPT经RGB模型转换为HSL模型后分量饱和度S示意图；

图4(c)是实施例中光学图像I_OPT经RGB模型转换为HSL模型后分量亮度L示意图；

图5是实施例中SAR图像I_SAR和光学图像L分量归一化后，基于图像熵自适应线性加权求和所得到的融合图像亮度分量L_FUSE示意图；

图6是实施例中SAR图像I_SAR和光学图像I_OPT后经本发明的方法做融合后的结果I_FUSE示意图。

具体实施方式

现结合附图对本发明作进一步的描述。

基于HSL模型和图像熵，本发明致力于提供一个简单有效的SAR图像和光学图像融合方法。其中，HSL模型用于提取光学图像的色彩信息，反映图像信息量的熵参数用于实现对SAR图像和光学图像纹理信息的自适应融合，最终得到的融合图像兼具SAR图像的纹理信息以及光学图像的色彩信息，实现了对二者的自适应结合。

参考图1和图2，本发明提出的一种基于HSL和图像熵的SAR图像和光学图像融合方法，包括以下步骤：

步骤1)、读入待融合的SAR图像I_SAR和光学图像I_OPT，将I_OPT由RGB模型转换为HSL模型，获得色度(Hue)分量H、饱和度(Saturation)分量S和亮度(Lightness)分量L；

步骤2)、对步骤1)读入的SAR图像I_SAR以及得到的光学图像亮度L，分别进行归一化处理，获得和

步骤3)、基于步骤2)得到的和计算反映SAR图像和光学图像信息量的图像熵参数E_SAR和E_OPT；

步骤4)、基于步骤3)得到的图像熵参数E_SAR和E_OPT，计算归一化权重α和β，并以之对步骤2)得到的和进行线性加权求和，获得融合图像的亮度分量L_FUSE；

步骤5)、将步骤1)得到的色度H和饱和度S以及步骤4)得到的亮度L_FUSE相组合，构建融合图像I_FUSE的HSL模型，并将之转换为RGB模型输出。

下面对本发明方法中的步骤做进一步描述。

在步骤1)中，读入待融合的SAR图像I_SAR和光学图像I_OPT；在一个实施例中，所读入SAR图像和光学图像如图3(a)和图3(b)所示，尺度为694×1658。其中SAR图像由搭载于天宫二号空间实验室的三维成像雷达高度计(InIRA)获取于湖北省武汉市。武汉位于汉江和长江的交汇处，因此具有大量的湖泊和沼泽，图3(a)中的河流即是长江。不同于传统SAR成像，InIRA采用小视角成像几何，此时水面散射呈现为镜面散射，这使得在InIRA获得的SAR图像中水体的散射非常强烈，从而为内陆水提供了一个非常好的观测平台。图3(b)为对应的光学图像，由Google Earth卫星获取于同一成像区域。通过对SAR图像进行三维定位，我们可将InIRA获得的SAR图像精确投影至Google Earth，实现了SAR图像和光学图像的几何配准。从图3(b)的光学图像中我们也可看到长江，但一些湖泊和沼泽却无法如图3(a)那样得以清晰区分。尽管如此，光学图像特有的色彩信息使图图3(b)中的一些建筑物特征比图3(a)明显，因为InIRA SAR增强了的水体散射使建筑物的散射相对变暗。因此，SAR图像和光学图像提供了关于目标的两种不同但互补的刻画，为了获得对目标的完整认识，有必要将二者进行融合。

为了获得光学图像I_OPT的色彩信息，在步骤1)中，我们进一步将I_OPT由RGB模型转化为HSL模型：

[H,S,L]＝rgb2hsl(I_OPT)

其中，rgb2hsl(·)表示由RGB转换为HSL操作。图4(a)、图4(b)和图4(c)分别给出了得到的色度分量H、饱和度分量S和亮度分量L，其中H描述色彩，S刻画色彩的深浅，L反映色彩的明暗。

对步骤1)读入的SAR图像I_SAR以及得到的光学图像亮度L，在步骤2)中，分别对I_SAR和L进行归一化处理，获得和考虑到SAR成像和光学成像机理上的不同，我们对I_SAR和L采用不同的归一化方法。其中，SAR图像I_SAR的归一化方法如下：

式中，max(I_SAR)和min(I_SAR)分别表示I_SAR的最大值和最小值。

光学图像亮度分量L的归一化方法如下：

式中，C与图像I_SAR存储的数据位数n有关：C＝2ⁿ-1。光学图像通常都是以8位无符号整形格式存储，即n＝8，因此C＝255。

由于在该实施例中，归一化后的和与图3(a)中的I_SAR和图4(c)中的L在视觉上没有较大差异，故在此不对和进行展示。

基于步骤2)得到的和在步骤3)中，计算反映SAR图像和光学图像信息量的图像熵参数E_SAR和E_OPT。这里E_SAR和E_OPT计算采用同样的方法。对于任意一幅归一化灰度图像图像熵参数E的计算如下：

式中，N为图像的像素总数，P_i表示概率，计算方法如下：

式中，N_i为位于区间内的像素的数目。

对于该实施例，我们获得的E_SAR和E_OPT分别为7.7332和6.5668，这表明，在纹理特征上，SAR图像呈现出更多的信息量。

基于步骤3)得到的图像熵参数E_SAR和E_OPT，在步骤4)中，首先按照下式计算归一化权重α和β：

将E_SAR＝7.7332和E_OPT＝6.5668代入上式，可得到，在该实施例中，α＝0.5408，β＝0.4592。

基于α和β，我们对和进行如下线性加权求和，获得融合图像的亮度L_FUSE：

对于该实施例，将α＝0.5408和β＝0.4592带入上式，我们得到图5所示的L_FUSE，其为图3(a)和图4(c)的线性叠加。由于α>β，因此L_FUSE更接近于

基于步骤1)得到的色度H和饱和度S以及步骤4)得到的亮度L_FUSE，在步骤5)中，融合图像I_FUSE的HSL模型的构建如下：

I_FUSE:＝[H,S,L_FUSE]

即我们直接将光学图像I_OPT的色度H和饱和度S作为融合图像I_FUSE的色度和饱和度分量，而I_FUSE亮度分量L_FUSE为和的线性加权和。最终输出的融合结果为：

I_FUSE＝hsl2rgb([H,S,L_FUSE])

式中，hsl2rgb(·)表示图像模型由HSL转换为RGB操作。

图6展示了在该实施例中最终获得的融合图像I_FUSE。正如我们所期待的，融合图像不仅包含了SAR图像的纹理信息，也包含了光学图像的色彩信息。基于色彩信息，融合图像将SAR图像中暗淡难分的建筑物区域区分了出来；同样，基于纹理信息，融合图像也进一步将光学图像中模糊不清的水体区域识别了出来。这些使得对内陆水和建筑物的精确提取和区分最终成为可能，展现出了本发明方法优异的图像融合性能。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于HSL和图像熵的SAR图像和光学图像融合方法，所述方法包括：

步骤1)读入待融合的SAR图像I_SAR和光学图像I_OPT，将光学图像I_OPT由RGB模型转换为HSL模型，获得色度分量H、饱和度分量S和亮度分量L；

步骤2)对步骤1)读入的SAR图像I_SAR以及得到的光学图像亮度L，分别进行归一化处理，获得和

步骤3)基于步骤2)得到的和计算反映SAR图像和光学图像信息量的图像熵参数E_SAR和E_OPT；

步骤4)基于步骤3)得到的图像熵参数E_SAR和E_OPT，计算归一化权重α和β，并以之对步骤2)得到的和进行线性加权求和，获得融合图像的亮度分量L_FUSE；

步骤5)将步骤1)得到的色度H和饱和度S以及步骤4)得到的亮度L_FUSE相组合，构建融合图像I_FUSE的HSL模型，并将之转换为RGB模型输出。

2.根据权利要求1所述的种基于HSL和图像熵的SAR图像和光学图像融合方法，其特征在于，所述步骤2)具体包括：

步骤2-1)SAR图像I_SAR的归一化为：

其中，max(I_SAR)和min(I_SAR)分别表示I_SAR的最大值和最小值；

步骤2-2)光学图像亮度分量L的归一化为：

其中，C与图像I_SAR存储的数据位数n有关：C＝2ⁿ-1。

3.根据权利要求2所述的基于HSL和图像熵的SAR图像和光学图像融合方法，其特征在于，所述步骤3)具体为：

对于归一化的SAR图像图像熵参数E_SAR的计算如下：

式中，N为图像的像素总数，Pi表示概率：

式中，Ni为位于区间内的像素的数目；

对于归一化的光学图像亮度图像熵参数E_OPT的计算如下：

式中，M为图像的像素总数，Q_i表示概率：

式中，M_j为位于区间内的像素的数目。

4.根据权利要求3所述的基于HSL和图像熵的SAR图像和光学图像融合方法，其特征在于，所述步骤4)具体包括：

步骤4-1)基于图像熵参数E_SAR和E_OPT的归一化权重α和β计算如下：

步骤4-2)基于α和β，融合图像的亮度分量L_FUSE为和的线性加权和：

5.根据权利要求4所述的基于HSL和图像熵的SAR图像和光学图像融合方法，其特征在于，所述步骤5)具体包括：

步骤5-1)融合图像I_FUSE的HSL模型的构建如下：

I_FUSE：＝[H，S，L_FUSE]

即直接将光学图像I_OPT的色度H和饱和度S作为融合图像I_FUSE的色度和饱和度分量，而I_FUSE亮度分量L_FUSE为和的线性加权和；

步骤5-2)将构建的HSL模型I_FUSE转换为RGB模型则最终输出的融合结果为：

其中，hsl2rgb(·)表示图像模型由HSL转换为RGB的操作。