CN110175972B - 一种基于透射图融合的红外图像增强方法 - Google Patents

Abstract

本发明公开了一种基于透射图融合的红外图像增强方法。步骤包括：利用聚类算法在不同尺度下对图像分别进行欠分割和超分割，生产两幅聚类分割结果；针对聚类分割结果，利用图像纯像素先验分别生成两幅透射图；为各透射图构建融合权重图，为各透射图及其融合权重图构建图像金字塔结构模型，并进行逐层融合从而获得融合后的透射图；基于变分模型对融合后的透射图进行保边平滑处理从而获得优化后的透射图；利用优化后的透射图获得增强后的红外图像。本发明方法能够恢复出红外图像中原本隐藏的大量的场景细节，且不会引入负面效应。

Description

一种基于透射图融合的红外图像增强方法

技术领域

本发明属于红外图像处理技术领域，具体涉及一种基于透射图融合的红外图像增强方法。

背景技术

目前，现有的红外图像增强方法难以恢复出红外图像中原本隐藏的大量的场景细节，导致红外图像中原本隐藏的大量的场景细节丢失，而且在此过程中容易引入过曝光、过增强、光晕效应等负面效应。

因此有必要设计出一种红外图像增强方法，能够恢复出红外图像中原本隐藏的大量的场景细节，且不会引入负面效应。

发明内容

本发明的目的在于克服现有技术中的不足，提出了一种基于透射图融合的红外图像增强方法，能够恢复出红外图像中原本隐藏的大量的场景细节，且不会引入负面效应。

为解决上述技术问题，本发明提供了一种基于透射图融合的红外图像增强方法，其特征是，包括以下过程：

S1，利用聚类算法在不同尺度下对图像分别进行欠分割和超分割，产生两幅聚类分割结果；

S2，针对两幅聚类分割结果，利用图像纯像素先验分别生成两幅透射图；

S3，为各透射图构建融合权重图，为各透射图及其融合权重图构建图像金字塔结构模型，并进行逐层融合从而获得融合后的透射图；

S4，基于变分模型对融合后的透射图进行保边平滑处理从而获得优化后的透射图；

S5，利用优化后的透射图获得增强后的红外图像。

进一步的，S1中，尺度分别选取3和60进行欠分割和超分割。

进一步的，S2中，利用图像纯像素先验在不同聚类结果的各子区域内分别进行独立的透射率估计，具体过程如下：

式中：ξ(·)是纯像素比例统计函数，用于对增强后的图像进行纯像素比例统计。对I₁和I₂的各子区域集分别进行独立的透射率估计，便可得到I₁和I₂对应的透射图t₁和t₂。

进一步的，S3中，为各透射图构建融合权重图，为各透射图及其融合权重图构建图像金字塔结构模型，并进行逐层融合从而获得融合后的透射图具体包括以下过程：

1)构建显著性权重图，对透射图中所包含的纹理细节进行筛选；

显著性权重图构建算法如下：

式中：

是透射图t_l(x，y)所对应的显著性权重图；mean(·)是全局均值计算；blur(·)是模糊处理；

2)构建清晰度差异性权重图；

构建清晰度差异性权重图如下：

式中：

是透射图t_l(x，y)所对应的清晰度差异性权重图；

是透射图t_l(x，y)中数值最高的前5％的透射率；μ(·)是标准差函数；σ＝0.2；

3)基于图像金字塔模型的透射图融合

对各透射图所对应的权重图进行正则化处理如下：

为透射图t_l(x，y)建立J层高斯金字塔模型

为融合权重图

建立J层拉普拉斯金字塔模型

将

和

中所对应的各层分量进行合成，从而获得融合后的金字塔模型F_j，再利用上采样算子↑对金字塔模型F_j进行重建，从而获得融合后的透射图t_f，具体过程如下：

进一步的，S4中，基于变分模型对融合后的透射图进行保边平滑处理从而获得优化后的透射图，其具体优化过程表述如下：

式中：

是优化后的透射图；

项用来确保透射图的光滑特性；

项保证了

与t_f之间的相似性；

项用于保持透射图中的重要边缘特征。

进一步的，S5中，利用优化后的透射图获得增强后的红外图像的过程为：

将优化后的透射图

代入公式(9)，即可得到增强后的红外图像I′(x，y)。

与现有技术相比，本发明所达到的有益效果是：

1)基于散射模型对红外图像建模，将复杂的增强处理简化为了基于图像子区域的透射率估计过程；

2)利用单幅红外图像分别生成多个含有的透射图，克服了图像融合类增强方法需要多次采样和精确配准的缺陷；

3)通过构建融合权重图-并基于图像金字塔模型对透射图进行逐层融合，克服了现有融合技术的盲目性缺陷，提高了增强处理的有效性及鲁棒性。

附图说明

图1是本发明方法的流程图；

图2是实施例中待增强的红外图像；

图3是子区域数为3时的聚类分割结果1；

图4是子区域数为60时的聚类分割结果2；

图5是针对聚类分割结果1所估计出的透射图；

图6是针对聚类分割结果2所估计出的透射图；

图7是融合后的透射图；

图8是优化后的透射图；

图9是增强后的红外图像。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明的一种基于透射图融合的红外图像增强方法，参见图1所示，包括以下过程：

步骤1：利用聚类算法在不同尺度下对图像分别进行欠分割和超分割，产生两幅聚类分割结果。

对红外图像中各像素点的衰减程度进行估计并进行针对性的补偿，可以有效增强红外图像的视觉效果。现有的像素衰减程度估计方式大都需要利用某种图像先验知识对图像中各点的透射率进行逐点计算，计算复杂度高、开销大。然而，在图像一定的邻域范围内的像素衰减程度通常具有较高的相似性，因此可以利用一种基于图像子区域的估计策略来取代传统的逐点估计方法，从而大幅提高算法效率。

上述策略的关键之处在于聚类分割时对子区域数的选择。选择一个较小的子区域数，其优势在于分割所得的子区域内的像素总量势必较多，可以实质有效的提高子区域内透射率估计的准确性；其缺陷在于较大的邻域范围势必导致像素间衰减程度的相似性下降，从而导致子区域边缘的透射率估计失效。反之，如果选择一个较大的子区域数，虽可提高像素间衰减程度的相似性，但却会严重制约透射率的估计准确性。因此，考虑到红外图像的类型多样性，理论上并不存在针对所有类型红外图像的最优子区域数。

为了克服上述的缺陷，对红外图像I(x，y)进行多尺度聚类分割(k-means聚类算法)，具体过程如下：

式中：k是子区域数；i∈{1，…，k}是子区域Ω_i的索引；φ_i是子区域Ω_i的聚类中心。上述过程将迭代执行，直至下列中止条件被满足：

式中：j是迭代次数索引；I^j是第j次迭代后的聚类结果；res是图像分辨率。将子区域数量分别设置为3和60，将图像分别分割为3个和60个子区域，即分别选择k＝3和k＝60对红外图像分别进行欠分割和超分割，并将聚类分割结果分别记为I₁和I₂，I₁和I₂所对应的子区域集分别记为

和

步骤2，针对两幅聚类分割结果，利用图像纯像素先验分别生成两幅透射图。

图像纯像素先验发现，降质严重的暗图像中的邻域内均具有较高比例的纯像素(纯白色和纯黑色像素)，而具有较好可视性的图像的邻域中通常仅存在极少比例的纯白色和纯黑色像素。虽然该先验是针对彩色暗图像的，但大量实验证明该先验同样适用于红外图像。

利用图像纯像素先验在不同聚类结果的各子区域内分别进行独立的透射率估计，具体过程如下：

式中：ξ(·)是纯像素比例统计函数，用于对增强后的图像进行纯像素比例统计。对I₁和I₂的各子区域集分别进行独立的透射率估计，便可得到I₁和I₂对应的透射图t₁和t₂。

透射图t₁能对图中的显著区域进行了较为准确的保留，避免了增强后图像中出现显著的过增强现象，但是却显著缺乏纹理；透射图t₂中含有丰富的纹理信息，却存在显著的估计失误。

步骤3，为各透射图构建融合权重图，为各透射图及其融合权重图构建图像金字塔结构模型，并进行逐层融合从而获得融合后的透射图。

为综合各透射图中的有效增益，需要对估计所得的两幅透射图进行融合处理。为此，引入两个图像客观评价指标对透射图t₁和t₂分别进行逐像素式的有效成分识别，并分别构建显著性权重图和清晰度差异性权重图。进而，对各透射图及其权重图分别建立图像金字塔模型，通过进行逐层融合获得融合后的透射图。具体包括以下过程：

1)构建显著性权重图，对透射图中所包含的纹理细节进行筛选。

透射图中的纹理对应的是红外图像中的边缘结构，直接决定了增强后红外图像的视觉效果。因此，构建显著性权重图的主要目的是对透射图中所包含的纹理细节进行筛选，即通过逐像素识别显著程度的方式来提取红外图像中重要边缘结构。显著性主要评价的是中心像素相对于邻域像素的视觉特殊性，综合考虑算法有效性和计算开销，提出显著性权重图构建算法如下：

式中：

是透射图t_l(x，y)所对应的显著性权重图；mean(·)是全局均值计算；blur(·)是模糊处理。

2)构建清晰度差异性权重图来平衡透射图中各点透射率的差异。

由大气散射模型(现有技术)可知，过高或过低的透射率会导致增强后出现显著的增强不足或过增强现象。为消除此类现象，可以通过构建清晰度差异性权重图来平衡透射图中各像素点相对于清晰区域的差异，从而实现修正透射图的目的。据此，构建清晰度差异性权重图如下：

式中：

是透射图t_l(x，y)所对应的清晰度差异性权重图；

是透射图t_l(x，y)中数值最高的前5％的透射率；μ(·)是标准差函数；σ＝0.2。

3)基于图像金字塔模型的透射图融合

通过测试大量红外图像，发现信息量权重图和显著性权重图在增强处理中具有相似的重要性。因此，为控制各权重图在融合过程中具有大体一致的重要性，同时控制权重值不至溢出，对各透射图所对应的权重图进行正则化处理如下：

在此基础上，如果直接叠加透射图及其对应的融合权重图，则会在景深显著跳变处引入强烈的光晕效应。为克服该缺陷，引入多尺度金字塔融合优化策略，对各透射图及其融合权重图分别建立金字塔模型并进行逐层融合。

为透射图t_l(x，y)建立J层高斯金字塔模型

为融合权重图

建立J层拉普拉斯金字塔模型

经反复测试发现，金字塔模型的层数J设定为3至9时，各类红外图像均能得到有效增强，而设定为5时效果较为稳定。

将

和

中所对应的各层分量进行合成(上采样方式)，从而获得融合后的金字塔模型F_j，再利用上采样算子↑对金字塔模型F_j进行重建，从而获得融合后的透射图t_f，具体过程如下：

步骤4，基于变分模型对融合后的透射图进行保边平滑处理从而获得优化后的透射图。

上述透射率的估计过程本质上是基于聚类分割的，因此融合后的透射图中的各分割边缘处易于存在透射率跳变，这将在增强后的红外图像的边缘处中引入不必要的光晕现象。如果直接进行简单的平滑操作(如高斯模糊)则会引起不必要的全局细节丢失，因此需要对其进行保边平滑操作，具体优化过程表述如下：

式中：

是优化后的透射图；

项用来确保透射图的光滑特性；

项保证了

与t_f之间的相似性；

项用于保持透射图中的重要边缘特征。

步骤5，利用优化后的透射图获得增强后的红外图像。

公式9是简化大气散射模型中的模型定义，将优化后的透射图

代入公式(9)，即可得到增强后的红外图像I′(x，y)。

图2是实施例中待增强的红外图像；图3是子区域数为3时的聚类分割结果1；图4是子区域数为60时的聚类分割结果2；图5是针对聚类分割结果1所估计出的透射图；图6是针对聚类分割结果2所估计出的透射图；图7是融合后的透射图；图8是优化后的透射图；图9是增强后的红外图像。从图2-图9可以看出采用本发明方法处理后的图像的增强效果。

本发明的有益效果在于：

1)基于散射模型对红外图像建模，将复杂的增强处理简化为了基于图像子区域的透射率估计过程；

2)利用单幅红外图像分别生成多个含有的透射图，克服了图像融合类增强方法需要多次采样和精确配准的缺陷；

3)通过构建融合权重图-并基于图像金字塔模型对透射图进行逐层融合，克服了现有融合技术的盲目性缺陷，提高了增强处理的有效性及鲁棒性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (5)

1.一种基于透射图融合的红外图像增强方法，其特征是，包括以下过程：

S1，利用聚类算法在不同尺度下对图像分别进行欠分割和超分割，产生两幅聚类分割结果；

S2，针对两幅聚类分割结果，利用图像纯像素先验分别生成两幅透射图；

S3，为各透射图构建融合权重图，为各透射图及其融合权重图构建图像金字塔结构模型，并进行逐层融合从而获得融合后的透射图；

S4，基于变分模型对融合后的透射图进行保边平滑处理从而获得优化后的透射图；

S5，利用优化后的透射图获得增强后的红外图像；

S3中，为各透射图构建融合权重图，为各透射图及其融合权重图构建图像金字塔结构模型，并进行逐层融合从而获得融合后的透射图具体包括以下过程：

1)构建显著性权重图，对透射图中所包含的纹理细节进行筛选；

显著性权重图构建算法如下：

式中：

是透射图t_l(x，y)所对应的显著性权重图；mean(·)是全局均值计算；blur(·)是模糊处理；

2)构建清晰度差异性权重图；

构建清晰度差异性权重图如下：

式中：

是透射图t_l(x，y)所对应的清晰度差异性权重图；

是透射图t_l(x，y)中数值最高的前5％的透射率；μ(·)是标准差函数；σ＝0.2；

3)基于图像金字塔模型的透射图融合

对各透射图所对应的权重图进行正则化处理如下：

为透射图t_l(x，y)建立J层高斯金字塔模型

为融合权重图

建立J层拉普拉斯金字塔模型

将

和

中所对应的各层分量进行合成，从而获得融合后的金字塔模型F_j，再利用上采样算子对金字塔模型F_j进行重建，从而获得融合后的透射图t_f，具体过程如下：

2.根据权利要求1所述的一种基于透射图融合的红外图像增强方法，其特征是，S1中，尺度分别选取3和60进行欠分割和超分割。

3.根据权利要求1所述的一种基于透射图融合的红外图像增强方法，其特征是，S2中，利用图像纯像素先验在不同聚类结果的各子区域内分别进行独立的透射率估计，具体过程如下：

式中：ξ(·)是纯像素比例统计函数，用于对增强后的图像进行纯像素比例统计；对I₁和I₂的各子区域集分别进行独立的透射率估计，便可得到I₁和I₂对应的透射图t₁和t₂。

4.根据权利要求1所述的一种基于透射图融合的红外图像增强方法，其特征是，S4中，基于变分模型对融合后的透射图进行保边平滑处理从而获得优化后的透射图，其具体优化过程表述如下：

式中：

是优化后的透射图；

项用来确保透射图的光滑特性；

项保证了

与t_f之间的相似性；

项用于保持透射图中的重要边缘特征。

5.根据权利要求4所述的一种基于透射图融合的红外图像增强方法，其特征是，S5中，利用优化后的透射图获得增强后的红外图像的过程为：

将优化后的透射图

代入公式(9)，即可得到增强后的红外图像I′(x，y)。

Images