CN109035188B - 一种基于目标特征驱动的智能图像融合方法 - Google Patents

Abstract

本发明涉及一种基于目标特征驱动的智能图像融合方法，首先，基于显著性检测分割得到红外图像中的显著性目标区域；然后构造图像特征集合与融合算法集合，并利用模糊数学的原理和方法分析两者之间的模糊映射关系；最后，在NSCT分解框架下，利用目标区域特征驱动目标区域融合，对背景区域选择保留更多可见光信息的低频可见光、高频绝对值取大的策略，进行逆NSCT变换实现最终图像融合。本方法能够在自适应地选择目标区域的最优融合方式，在极大程度地保持目标特性，更多地保留图像的背景细节信息，解决了信息丢失，目标不完整，背景模糊等多方面的缺陷，融合图像呈现出高对比度、高细节信息、目标高亮等特点，具有较好的视觉效果。

Description

一种基于目标特征驱动的智能图像融合方法

技术领域

本发明属于红外与可见光图像融合方法，涉及一种基于目标特征驱动的智能图像融合方法，将模糊数学中的模糊控制决策理论应用到异源图像融合领域，发明成果可 应用于各类军事或民用异源图像处理系统中。

背景技术

图像融合是把同一场景下多源、多时相、多分辨率的几幅图像合成一幅图像的过程，融合后图像包含所有输入图像中人们感兴趣的信息。通过对多幅图像的融合，能 够克服单一传感器图像在几何、光谱或空间分辨率等方面的局限性使得最终获得的图 像信息更精确和全面。因此，图像融合技术在空间监测、军事侦察、视频监控和遥感 探测等领域均有重要的现实意义。

红外与可见光图像融合是图像融合领域的一个重要分支。红外图像呈现出整体灰度分布低且集中、信噪比较低等特点，往往反映的不是真实场景。其利用物体的热辐 射特性获取信息，图像中的目标往往呈现出高亮的特点；可见光图像作为反射图像， 能够提供丰富的细节信息，且图像整体清晰度高。但在恶劣天气条件或夜晚等光照条 件差的情况下，可见光的成像结果会受到极大的影响。单一的图像传感器不能保证同 时获得目标与背景的有用信息。通过利用红外与可见光图像融合，充分利用两类图像 的互补信息，可以有效地综合并挖掘图像信息，更利于场景理解与目标探测。目前， 红外与可见光图像融合技术已被广泛应用于军事、监控、检测识别等领域。红外与可 见光图像融合技术的研究对国民经济发展和国防事业建设具有重大意义。它既有利于 提高我军现代化装备水平，又有助于进一步发展和完善图像融合技术理论体系，同时 对遥感图像、医学图像等融合处理也有着巨大的借鉴意义。

像素级图像融合在图像融合中已经得到了广泛的研究与应用。目前，大多数的图像融合算法主要分为三个阶段，即图像变换、变换系数的融合以及图像逆变换。基于 所采用的图像变换方式，现有的图像融合方法可以分为四大类：基于多尺度分解的方 法；基于稀疏表示的方法；直接对图像像素或在其它变换域进行融合的方法；结合多 尺度分解、稀疏表示和其它变换的方法。其中，多尺度分解由于灵活的空域和频域局 部性、良好的方向性，已经被证明是对图像融合应用非常有用的工具。在早期的研究 中，常用的图像融合大都基于金字塔分解、小波变换、双树复小波变换等，然而，小 波族的一个共有局限是不能很好地表示图像中的曲线和边缘，基于此，contourlet变换、 非下采样轮廓波变换等被成功地提出并得到了广泛的应用。

在多尺度分解框架下，学者们将研究重点放到了对变换系数融合策略的选取上。Zhang和Blum在其论文中回顾了经典的融合策略，如基于像素、基于窗口和基于区域 的活性水平测量，这类方式简单地将图像变换系数进行融合，对图像信息损失较严重； BenHamza等人将图像融合算法作为一个优化问题，提出了多尺度框架下的信息论方 法，并取得了不错的融合结果，但图像中不同区域特性不同，此类方式不能保证对图 像的不同区域均取得理想的融合效果。Gemma Piella首先基于输入图像进行多分辨率 分割，利用分割制单融合过程，取得了较好的效果。但这种方式仍然存在缺陷：基于 人为先验选择的融合策略往往针对单一场景有效，不能适应图像特征的动态变化。

传统的图像融合方法不能依据目标特征差异情况自适应地进行融合，导致融合图像存在目标不清晰，背景模糊的缺点。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于目标特征驱动的智能图像融合方法，提升融合图像的质量，在突出图像中目标的情况下，更多地保留图像的背景 细节信息。

技术方案

一种基于目标特征驱动的智能图像融合方法，其特征在于步骤如下：

步骤1、建立图像特征集合和融合算法两个集合：

首先选择多组红外与可见光图像，并将其进行分块得到融合图像集；通过对图像集中的图像提取8类统计特征得到红外与可见光图像的差异情况；计算差异特征向量 之间的相关系数ρ_XY，其公式如下：

其中，X和Y分别为两个需要分析的特征向量，

和

分别为两个特征向量对应 的均值向量；以互相关系数大于0.8作为条件对特征进行降维与分类，得到降维后图 像特征分别为亮度、粗糙度、对比度以及边缘强度；

所述8类统计特征为：灰度均值、标准差、Tmaura纹理特征、平均梯度、平均能 量、空间频率和边缘强度；其中Tmaura纹理特征包括粗糙度和对比度

(b)建立融合算法集合：采用NSCT非下采样轮廓波变换得到一系列图像的低频 和高频子带图像，对高频和低频子带使用不同的融合策略得到不同的图像融合效果； 建立的融合算法集将低频的红外IR、可见光VIS、加权平均AVE、基于区域能量RE， 与高频的红外IR、可见光VIS、绝对值取大MAX、基于区域方差RV进行两两组合， 得到16种不同的融合方法；

步骤2、对步骤1建立的两个集合利用模糊数学理论与方法得到两者的模糊映射关系：

首先，对图像库中的所有图像利用16种融合方法分别进行融合并对融合后图像块提取4类特征；利用三角隶属度函数评价在单一特征下融合图像块的融合优劣；通过 最大隶属度原则得到在单一特征下某对图像块对应的各种融合方法的定性评价结果；

第二，利用模糊统计法，将上述的评价结果得到单一特征与融合策略之间的模糊映射关系；通过进行n次重复独立的试验来确定论域中元素x对模糊集A的隶属度，当 试验次数n足够大时，元素x的隶属频率趋于一个稳定的数，这个稳定的数即为元素x 对A的隶属度；

得到单一特征对应融合算法的模糊映射关系；

步骤3：基于显著性检测对红外图像进行目标分割，并利用步骤2得到的映射关 系得到目标区域的最优融合策略；

首先，针对红外图像利用Frequency-tuned算法实现图像的显著性检测；然后，对生成的显著性图像，利用一种无监督式的参数核图割方法进行多区域分割得到图像的 多区域精确分割；最后，计算每个区域的显著性均值，通过设置自适应阈值T进行分 割，将红外图像中的显著目标分割出来：

式中，W和H分别表示图像的宽和高，S(x,y)代表像素处显著值；

然后，对于图像中的目标区域可以提取图像特征，并通过模糊综合决策理论进行模糊决策；

①，求出评价矩阵P：其中，P_ij表示融合方案F在第{i|1≤i≤4}个因素处于第 {j|1≤j≤3}级评语的隶属度，各因素权重W我们定义为图像的特征显著度：

W＝FSD＝sin((π/2)/|(T_1i-T_2i)/(T_1i+T_2i)|){i|1≤i≤4}

其中，T_1,i、T_2,i分别为红外图像与可见光图像的特征；

②，利用矩阵模糊乘法得到综合评价向量B：

B＝W⊙P

其中，“⊙”表示相乘取小，相加取大的模糊算子；

③，通过模糊评价向量，做出综合评价；加权平均原则通过对评价向量设立等级值，以评价向量作为权数，评判被评对象所属的等级值：

其中，b为权重值，取值为1～3，B为上面得到的综合评价向量，D为最终评价 值；利用上式对所有融合方案进行综合评价，那么对于目标区域，评价值最大的融合 策略就是对应的最优融合策略；

步骤4：利用步骤3得到的融合策略指导图像融合：

对红外与可见光图像进行NSCT多尺度分解，对于图像中的目标区域选择步骤3 得到的融合策略进行融合，而对于图像中的背景区域则可以选择低频可见光、高频绝 对值取大的策略，最后，进行逆NSCT变换，即得到融合后清晰图像。

所述目标分割阈值为区域平均显著度的3倍。

有益效果

本发明提出的一种基于目标特征驱动的智能图像融合方法，首先利用显著性检测原理对红外图像进行目标区域分割；然后构建图像特征集合与融合策略集合，利用模 糊数学中的隶属度理论、模糊统计思想构建图像特征与融合算法之间的模糊映射关系； 在进行图像融合时，基于NSCT多尺度分解框架，利用模糊映射关系对目标区域进行 多属性决策，映射得到目标区域的融合策略，对背景区域选择保留可见光图像信息； 最后进行NSCT逆变换即可得到最终融合后的清晰图像。

主要优点包括以下几个方面：第一，基于非下采样轮廓波变换，利用多尺度分解在多尺度、多方向和各项异性方面的优势，能够很好地表示图像中的曲线、边缘；第 二，利用显著性检测对红外图像进行目标分割，考虑基于图像分割的融合策略选择， 能够保证目标区域与背景区域均能得到良好的融合结果；第三，利用模糊数学理论与 方法分析图像特征与融合策略之间的模糊映射关系，依据目标区域图像特征驱动融合 策略，能够自适应地融合图像中的目标区域。

附图说明

图1：本发明方法融合图像的流程图

图2：采用不同融合算法对红外与可见光图像进行融合结果

(a)红外源图像；(b)可见光源图像；(c)小波算法融合结果M₁；(d)NSCT算法融 合结果M₂；(e)刘坤所提算法融合结果M₃；(f)本文所提算法复原结果Ours。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明方法的特征在于步骤如下：

步骤1建立图像特征集合与融合算法集合：通过这一步骤建立两个集合是分析两个集合映射关系的基础。

(a)建立图像特征集合：首先选择8组红外与可见光图像，并将其以32×32大小 分块得到包含1593组图像的图像集，通过对图像集中的图像提取8类统计特征(灰度 均值、标准差、Tmaura纹理特征(粗糙度和对比度)、平均梯度、平均能量、空间频 率和边缘强度)进而分析红外与可见光图像的差异情况。考虑图像特征间存在相关性， 我们利用差异特征向量之间的相关系数进行特征分析与降维，计算相关系数ρ_XY的公 式如下：

其中，X和Y分别为两个需要分析的特征向量，

和

分别为两个特征向量对应 的均值向量。我们认为互相关系数大于0.8的两类特征在描述图像特征的差异时具有 相似性,基于此，我们对特征进行了分类与降维，降维后特征为某类特征的归一化均 值。降维后图像特征分别为亮度、粗糙度、对比度以及边缘强度。

(b)建立融合算法集合：NSCT(非下采样轮廓波变换)是在Contourlet(轮廓 波变换)的基础上提出的一种改进算法。基于NSCT的图像分解首先由非下采样金字 塔滤波器组(non-subsampled pyramid filter bank，NSPFB)进行多尺度变换得到低频 子带图像和高频子带图像，再由非下采样方向滤波器组(non-subsampled directional filter bank，NSDFB)进行多方向变换得到多个方向的高频子带图像。经过NSCT分解 可以得到一系列图像的低频和高频子带图像，对高频和低频子带使用不同的融合策略 可以得到不同的图像融合效果。本文建立的融合算法集考虑低频(红外IR、可见光VIS、 加权平均AVE、基于区域能量RE)和高频(红外IR、可见光VIS、绝对值取大MAX、 基于区域方差RV)不同融合策略的两两组合，得到16种不同的融合方法。

至此，我们通过上述分析过程可以得到图像特征集合与融合算法集合。

步骤2对步骤1建立的两个集合利用模糊数学理论与方法得到两者的模糊映射关系：首先，对图像库中的所有图像块利用步骤2中的16种融合方法分别进行融合并对 融合后图像块提取4类特征。利用三角隶属度函数评价在单一特征下融合图像块的融 合优劣。构建“好”、“中”、“差”三个模糊集合，其中，

1≤i≤4代表图像特征，1≤j≤1593代表第j对图像块，1≤k≤16则表示融合算法，A、B和F分别指红外图像块、可见光图 像块和融合图像块。

通过最大隶属度原则进行分类，我们就可以得到在单一特征下，某对图像块对应的16种融合方法的定性评价结果。

利用模糊统计法，我们可以通过上述的评价结果得到单一特征与融合策略之间的模糊映射关系。通过进行n次重复独立的试验来确定论域中元素x对模糊集A的隶属 度。在每次试验中，存在的一个A的弹性疆域A_o，要对x是否属于集合A_o做出一个确 切判断；在各次试验中，x是固定的，而A_o在随机变动；如果n次试验中，元素x属于 A_o的次数为m，则元素x对A的隶属频率F定义为：

当试验次数n足够大时，元素x的隶属频率趋于一个稳定的数，这个稳定的数即为元素x对A的隶属度。

至此，我们就可以得到单一特征对应融合算法的模糊映射关系。

步骤3基于显著性检测对红外图像进行目标分割，并利用步骤2得到的映射关系得到目标区域的最优融合策略。

首先，基于显著性检测进行红外图像目标分割：基于高斯差分滤波理论，Frequency-tuned算法通过对图像构造频率范围为(0,π/2.75]的带通滤波器来生成全分辨率的显著图。对于输入图像I，其显著性计算公式为：

S(x,y)＝||I_μ-I_whc(x,y)|| (3)

其中，I_μ是图像特征的平均向量，I_whc(x,y)为图像进行5×5的高斯模糊得到的图像，通过在Lab空间内计算图像的平均向量与高斯模糊向量之间的欧氏距离生成显著 性图。

对生成的显著性图像，我们利用一种无监督式的参数核图割方法进行多区域分割。 设I:

表示图像位置为p的像素点从位置空间Ω到图像空间 I的映射，图割法将图像分割问题视为标签分配问题。定义标签函数λ，则λ为Ω中 的每个像素分配一个标签：

λ:p∈Ω→λ(p)∈L (4)

定义具有相同标签l的像素集R_l＝{p∈Ω|λ(p)＝l}，则

将图像分割为N_reg个区域。

图割法的思想就是最小化分割目标函数：

F(λ)＝D(λ)+αR(λ) (5)

其中，D为数据项，表示分割区域内像素数据与数学模型的偏差；R为正则化项， 用来进行平滑与边界保持操作，α为用来调整正则项相对于数据项权重大小的正数项。

对于数据项，考虑区域R_l中参数为μ_l的高斯分段常数模型进行构造，即

对于正则项的表示如下：

式中，N表示所有相邻像素对的集合，r(λ(p),λ(q))是一个平滑正则函数， r(λ(p),λ(q))＝min(const²,|μ_λ(p)-μ_λ(q)|²)，其中const为常量。

令φ(·)表示从图像空间I到高维特征空间J的非线性映射，核函数K(y,z)定义为K(y,z)＝φ(y)^Tφ(z)，

则基于图像分割的目标函数可表示为

式中，F_K用来测量区域参数与观测值之间的核诱导非欧氏距离。原始数据空间的平方范数对应的非欧氏距离有如下的定义：

因此，目标函数最终可表示为

首先利用k-means对图像进行初始分割，然后通过不断迭代优化目标函数，即可实现图像的多区域精确分割。

利用上述方法对显著性图进行多区域分割，计算每个区域的显著性均值，通过设置自适应阈值T进行分割，即

式中，W和H分别表示图像的宽和高，S(x,y)代表像素处显著值。基于此，我 们可以将红外图像中的显著目标分割出来。

然后，对于图像中的目标区域可以提取图像特征，并通过模糊综合决策理论进行模糊决策。①，求出评价矩阵P。其中，P_ij表示融合方案F在第{i|1≤i≤4}个因素处 于第{j|1≤j≤3}级评语的隶属度。各因素权重W我们定义为图像的特征显著度：

W＝FSD＝sin((π/2)/|(T_1i-T_2i)/(T_1i+T_2i)|){i|1≤i≤4} (12)

其中，T_1,i、T_2,i分别为红外图像与可见光图像的特征。

②，利用矩阵模糊乘法得到综合评价向量B。

B＝W⊙P (13)

公式(13)中，“⊙”表示模糊算子。本文中应用的是M(∧,∨)，即相乘取小，相 加取大原则。

③，通过模糊评价向量，做出综合评价。加权平均原则通过对评价向量设立等级值，以评价向量作为权数，评判被评对象所属的等级值。

其中，b为权重值，取值为1～3，B为上面得到的综合评价向量，D为最终评价 值。利用公式(14)对所有融合方案进行综合评价，那么对于目标区域，评价值最大 的融合策略就是对应的最优融合策略。

步骤4利用步骤3得到的融合策略指导图像融合。

对红外与可见光图像进行NSCT多尺度分解，对于图像中的目标区域选择步骤3 得到的融合策略进行融合，而对于图像中的背景区域则可以选择低频可见光、高频绝 对值取大的策略。最后，进行逆NSCT变换，即可得到融合后清晰图像。

本文实验实施的硬件环境是：Inter(R)Core(TM)i3-4170CPU@3.70GHz，8GB RAM，运行的软件环境为Windows7旗舰版64位，MATLAB R2014b。我们采用TNO 公开数据集进行了本发明方法的实验验证。

本发明具体实施如下：

步骤1建立图像特征集合与融合算法集合：通过这一步骤建立两个集合是分析两个集合映射关系的基础。

(a)建立图像特征集合：首先选择8组红外与可见光图像，并将其以32×32大小 分块得到包含1593组图像的图像集，通过对图像集中的图像提取8类统计特征(灰度 均值、标准差、Tmaura纹理特征(粗糙度和对比度)、平均梯度、平均能量、空间频 率和边缘强度)进而分析红外与可见光图像的差异情况。考虑图像特征间存在相关性， 我们利用差异特征向量之间的相关系数进行特征分析与降维，计算相关系数ρ_XY的公 式如下：

其中，X和Y分别为两个需要分析的特征向量，

和

分别为两个特征向量对应的均值向量。我们认为互相关系数大于0.8的两类特征在描述图像特征的差异时具有 相似性,基于此，我们对特征进行了分类与降维，降维后特征为某类特征的归一化均 值。降维后图像特征分别为亮度、粗糙度、对比度以及边缘强度。

(b)建立融合算法集合：NSCT(非下采样轮廓波变换)是在Contourlet(轮廓 波变换)的基础上提出的一种改进算法。基于NSCT的图像分解首先由非下采样金字 塔滤波器组(non-subsampled pyramid filter bank，NSPFB)进行多尺度变换得到低频 子带图像和高频子带图像，再由非下采样方向滤波器组(non-subsampled directional filter bank，NSDFB)进行多方向变换得到多个方向的高频子带图像。经过NSCT分解 可以得到一系列图像的低频和高频子带图像，对高频和低频子带使用不同的融合策略 可以得到不同的图像融合效果。本文建立的融合算法集考虑低频(红外IR、可见光VIS、 加权平均AVE、基于区域能量RE)和高频(红外IR、可见光VIS、绝对值取大MAX、 基于区域方差RV)不同融合策略的两两组合，得到16种不同的融合方法。

至此，我们通过上述分析过程可以得到图像特征集合与融合算法集合。

步骤2对步骤1建立的两个集合利用模糊数学理论与方法得到两者的模糊映射关系：首先，对图像库中的所有图像块利用步骤2中的16种融合方法分别进行融合并对 融合后图像块提取4类特征。利用三角隶属度函数评价在单一特征下融合图像块的融 合优劣。构建“好”、“中”、“差”三个模糊集合，其中，

1≤i≤4代表图像特征，1≤j≤1593代表第j对图像块，1≤k≤16则表示融合算法，A、B和F分别指红外图像块、可见光图 像块和融合图像块。

通过最大隶属度原则进行分类，我们就可以得到在单一特征下，某对图像块对应的16种融合方法的定性评价结果。

利用模糊统计法，我们可以通过上述的评价结果得到单一特征与融合策略之间的模糊映射关系。通过进行n次重复独立的试验来确定论域中元素x对模糊集A的隶属 度。在每次试验中，存在的一个A的弹性疆域A_o，要对x是否属于集合A_o做出一个确 切判断；在各次试验中，x是固定的，而A_o在随机变动；如果n次试验中，元素x属于 A_o的次数为m，则元素x对A的隶属频率F定义为：

当试验次数n足够大时，元素x的隶属频率趋于一个稳定的数，这个稳定的数即为元素x对A的隶属度。

至此，我们就可以得到单一特征对应融合算法的模糊映射关系。

步骤3基于显著性检测对红外图像进行目标分割，并利用步骤2得到的映射关系得到目标区域的最优融合策略。

首先，基于显著性检测进行红外图像目标分割：基于高斯差分滤波理论，Frequency-tuned算法通过对图像构造频率范围为(0,π/2.75]的带通滤波器来生成全分辨率的显著图。对于输入图像I，其显著性计算公式为：

S(x,y)＝||I_μ-I_whc(x,y)|| (17)

其中，I_μ是图像特征的平均向量，I_whc(x,y)为图像进行5×5的高斯模糊得到的图像，通过在Lab空间内计算图像的平均向量与高斯模糊向量之间的欧氏距离生成显著 性图。

对生成的显著性图像，我们利用一种无监督式的参数核图割方法进行多区域分割。 设I:

表示图像位置为p的像素点从位置空间Ω到图像空间 I的映射，图割法将图像分割问题视为标签分配问题。定义标签函数λ，则λ为Ω中 的每个像素分配一个标签：

λ:p∈Ω→λ(p)∈L (18)

定义具有相同标签l的像素集R_l＝{p∈Ω|λ(p)＝l}，则

将图像分割为N_reg个区域。

图割法的思想就是最小化分割目标函数：

F(λ)＝D(λ)+αR(λ) (19)

其中，D为数据项，表示分割区域内像素数据与数学模型的偏差；R为正则化项， 用来进行平滑与边界保持操作，α为用来调整正则项相对于数据项权重大小的正数项。

对于数据项，考虑区域R_l中参数为μ_l的高斯分段常数模型进行构造，即

对于正则项的表示如下：

式中，N表示所有相邻像素对的集合，r(λ(p),λ(q))是一个平滑正则函数，r(λ(p),λ(q))＝min(const²,|μ_λ(p)-μ_λ(q)|²)，其中const为常量。

令φ(·)表示从图像空间I到高维特征空间J的非线性映射，核函数K(y,z)定义为K(y,z)＝φ(y)^T·φ(z)，

则基于图像分割的目标函数可表示为

式中，F_K用来测量区域参数与观测值之间的核诱导非欧氏距离。原始数据空间的平方范数对应的非欧氏距离有如下的定义：

因此，目标函数最终可表示为

首先利用k-means对图像进行初始分割，然后通过不断迭代优化目标函数，即可实现图像的多区域精确分割。

利用上述方法对显著性图进行多区域分割，计算每个区域的显著性均值，通过设置自适应阈值T进行分割，即

式中，W和H分别表示图像的宽和高，S(x,y)代表像素处显著值。基于此，我 们可以将红外图像中的显著目标分割出来。

然后，对于图像中的目标区域可以提取图像特征，并通过模糊综合决策理论进行模糊决策。①，求出评价矩阵P。其中，P_ij表示融合方案F在第{i|1≤i≤4}个因素处 于第{j|1≤j≤3}级评语的隶属度。各因素权重W我们定义为图像的特征显著度：

W＝FSD＝sin((π/2)/|(T_1i-T_2i)/(T_1i+T_2i)|){i|1≤i≤4} (26)

其中，T_1,i、T_2,i分别为红外图像与可见光图像的特征。

②，利用矩阵模糊乘法得到综合评价向量B。

B＝W⊙P (27)

公式(13)中，“⊙”表示模糊算子。本文中应用的是M(∧,∨)，即相乘取小，相 加取大原则。

③，通过模糊评价向量，做出综合评价。加权平均原则通过对评价向量设立等级值，以评价向量作为权数，评判被评对象所属的等级值。

其中，b为权重值，取值为1～3，B为上面得到的综合评价向量，D为最终评价 值。利用公式(14)对所有融合方案进行综合评价，那么对于目标区域，评价值最大 的融合策略就是对应的最优融合策略。

步骤4利用步骤3得到的融合策略指导图像融合。

对红外与可见光图像进行NSCT多尺度分解，对于图像中的目标区域选择步骤3 得到的融合策略进行融合，而对于图像中的背景区域则可以选择低频可见光、高频绝 对值取大的策略。最后，进行逆NSCT变换，即可得到融合后清晰图像。

选用图像的信息熵(IE)、互信息(MI)和平均梯度(AG)作为图像融合的客观 评价指标，定量地评价不同图像采用不同算法的融合效果。客观评价结果如表1所示。 其中信息熵的计算公式如下：

h_i表示图像Y中灰度值为i的像素点总数，N表示图像Y的灰度级数，p_i表示灰 度i出现的概率。当图像中信息量越多，图像的信息熵值越大。

图像X和Y的联合信息熵表示为：

则两幅图像的互信息可以表示为：

MI(R,F)＝H(R)+H(F)-H(R,F) (31)

当两幅图像相似程度越大，其互信息值就越大。

图像的平均梯度计算公式如下：

其中，M×N表示图像大小，

和

分别表示水平和垂直方向的梯度。图 像的平均梯度值越大，则表示图像中含有更多的边缘信息。

表1各类融合算法客观评价结果比较

Claims (2)

1.一种基于目标特征驱动的智能图像融合方法，其特征在于步骤如下：

步骤1、建立图像特征集合和融合算法两个集合：

首先选择多组红外与可见光图像，并将其进行分块得到融合图像集；通过对图像集中的图像提取8类统计特征得到红外与可见光图像的差异情况；计算差异特征向量之间的相关系数ρ_XY，其公式如下：

其中，X和Y分别为两个需要分析的特征向量，

和

分别为两个特征向量对应的均值向量；以互相关系数大于0.8作为条件对特征进行降维与分类，得到降维后图像特征分别为亮度、粗糙度、对比度以及边缘强度；

所述8类统计特征为：灰度均值、标准差、Tmaura纹理特征、平均梯度、平均能量、空间频率和边缘强度；其中Tmaura纹理特征包括粗糙度和对比度；

(b)建立融合算法集合：采用NSCT非下采样轮廓波变换得到一系列图像的低频和高频子带图像，对高频和低频子带使用不同的融合策略得到不同的图像融合效果；建立的融合算法集将低频的红外IR、可见光VIS、加权平均AVE、基于区域能量RE，与高频的红外IR、可见光VIS、绝对值取大MAX、基于区域方差RV进行两两组合，得到16种不同的融合方法；

步骤2、对步骤1建立的两个集合利用模糊数学理论与方法得到两者的模糊映射关系：

首先，对图像库中的所有图像利用16种融合方法分别进行融合并对融合后图像块提取4类特征；利用三角隶属度函数评价在单一特征下融合图像块的融合优劣；通过最大隶属度原则得到在单一特征下某对图像块对应的各种融合方法的定性评价结果；

第二，利用模糊统计法，将上述的评价结果得到单一特征与融合策略之间的模糊映射关系；通过进行n次重复独立的试验来确定论域中元素a对模糊集A的隶属度，当试验次数n足够大时，元素a的隶属频率趋于一个稳定的数，这个稳定的数即为元素a对A的隶属度；

得到单一特征对应融合算法的模糊映射关系；

步骤3：基于显著性检测对红外图像进行目标分割，并利用步骤2得到的映射关系得到目标区域的最优融合策略；

首先，针对红外图像利用Frequency-tuned算法实现图像的显著性检测；然后，对生成的显著性图像，利用一种无监督式的参数核图割方法进行多区域分割得到图像的多区域精确分割；最后，计算每个区域的显著性均值，通过设置目标分割阈值T进行分割，将红外图像中的显著目标分割出来：

式中，W和H分别表示图像的宽和高，S(x,y)代表像素处显著值；

然后，对于图像中的目标区域可以提取图像特征，并通过模糊综合决策理论进行模糊决策；

①，求出评价矩阵P：其中，P_ij表示融合方案F在第{i|1≤i≤4}个因素处于第{j|1≤j≤3}级评语的隶属度，各因素权重W我们定义为图像的特征显著度：

W＝FSD＝sin((π/2)/|(T_1i-T_2i)/(T_1i+T_2i)|) {i|1≤i≤4}

其中，T_1,i、T_2,i分别为红外图像的特征与可见光图像的特征；

②，利用矩阵模糊乘法得到综合评价向量B：

B＝W⊙P

其中，“⊙”表示相乘取小，相加取大的模糊算子；

③，通过模糊评价向量，做出综合评价；加权平均原则通过对评价向量设立等级值，以评价向量作为权数，评判被评对象所属的等级值：

其中，b为权重值，取值为1～3，B为上面得到的综合评价向量，D为最终评价值；利用上式对所有融合方案进行综合评价，那么对于目标区域，评价值最大的融合策略就是对应的最优融合策略；

步骤4：利用步骤3得到的融合策略指导图像融合：

对红外与可见光图像进行NSCT多尺度分解，对于图像中的目标区域选择步骤3得到的融合策略进行融合，而对于图像中的背景区域则可以选择低频可见光、高频绝对值取大的策略，最后，进行逆NSCT变换，即得到融合后清晰图像。

2.根据权利要求1所述基于目标特征驱动的智能图像融合方法，其特征在于：所述目标分割阈值为区域平均显著度的3倍。

Images