CN110084771B - 一种基于集值映射的双模态红外图像分块多算法优化融合方法 - Google Patents

Abstract

本发明一种基于集值映射的双模态红外图像分块多算法优化融合方法，该方法根据双模态红外图像的图像特点和成像机理构建用于描述两类图像互补信息的差异特征集；其次，对待融合图像进行几何分块并根据差异特征集的元素提取各块的差异特征，经归一化后利用条件取大规则确定各块的显著差异特征；而后，选取性能优越的融合算法构建融合算法集，通过构建更通用的融合有效度公式和更合理数理统计的方法建立起差异特征与融合算法间的映射关系；进一步利用建立的映射为各块配置最佳融合算法并进行分块融合；最终，将各融合图块进行拼接处理形成一幅完整的融合图像。本发明提高了差异特征驱动融合的针对性，克服了基于先验知识选择算法的不可预见性局限。

Description

一种基于集值映射的双模态红外图像分块多算法优化融合 方法

技术领域

本发明属于图像融合领域，具体为一种基于集值映射的双模态红外图像分块多算法优化融合方法。

背景技术

红外光强与偏振双模态图像因其图像信息丰富的互补性而具有巨大的融合价值。为了实现二者高质量的融合，众多的融合算法被提出，但不同的融合算法具有不同的优势和不足，因此单一算法的融合无法达到高性能的融合目标。为此，多算法优化融合成为高质量双模态红外图像融合得以实现的有效途径，其不仅克服了单算法的局限同时兼并了多算法的优势，在双模态红外图像融合领域具有重要的研究意义和巨大的应用潜力。

当前，针对双模态红外图像融合，由于单算法对融合质量的提升能力有限，多算法的协同越来越受到重视。如有研究人员提出利用非下采样剪切波和非下采样轮廓波的嵌接组合来丰富融合图像的细节信息；关于图像对比度，有学者指出将顶帽变换与支持度变换相结合以增强融合图像的对比度。但其融合实施对象都是整幅图像，虽然有多种算法的协同，但其本质却是结合多种算法形成一种综合的融合策略并将其作用于全图。这种全图无差别融合尽管能在一定程度上提升全图的平均融合效果，但并未实现以融合针对性为前提的全局优化融合。这极大制约了双模态红外图像的融合质量，进一步影响了其工程应用。

为了提高融合针对性，从而解决无法全局最优的问题，相关学者提出建立差异特征集与融合算法集间的集值映射，并依据图像的差异特征对照建立的映射关系为融合选择最佳算法，以此提升融合针对性，进而提升融合效果。但现有的集值映射融合存在以下问题：一、利用全图总体差异特征选择算法，本质上进行的是无差别融合，实际中总体差异特征与局部差异特征往往并不相同，这直接导致根据总体差异特征选择的融合算法虽然能在一定程度上提升全图平均融合效果，但并未实现全局最优化融合，甚至致使图像局部融合失效；同时，利用归一化取大原则确定的显著差异特征不能反映真实的差异信息，其所驱动选择的融合算法缺乏与真实待融合信息间的对应性。二、构建集值映射过程中，所构建的融合有效度函数在部分情形下无法给出准确的评价结果；多场景取平均的统计处理方法是隐性的承认不同场景对于映射关系的反映具有同等效力，而事实上差异特征在不同场景中的重要性各异，因此统计平均无法反映不同场景对映射关系的支持度。

发明内容

本发明目的在于针对双模态红外图像融合中，现有多算法融合缺乏针对性导致的无差别融合不能实现全图最优化融合甚至融合失效的问题，提出一种基于集值映射的双模态红外图像分块多算法优化融合方法。解决了双模态红外图像融合过程中，由于源图像差异特征的随机性导致融合算法难以动态调整以及同一融合策略难以做到全局最优的问题。

本发明的方法包括如下具体步骤：

S1：源图像确定：选取多组红外光强与偏振场景图作为研究对象；

S2：构建差异特征集：对比S1中场景图的图像特点以及结合双模态红外光强与偏振图像的成像机理，确定双模态红外图像的差异特征类型，进一步选取能量(EN)、信息熵(IE)、平滑度(EV)、Tamura对比度(TC)、边缘强度(EI)和平均梯度(AG)六个描述差异信息的特征构建差异特征集；

S3：图像分块与各块显著差异特征的确定：采用几何分块将图像等分，根据差异特征集的组成元素，提取图像各分块的六个差异特征并归一化各差异特征的幅值，结合条件取大规则确定各分块的显著差异特征；

S4：构建融合算法集：选取融合算法构建融合算法集；

S5：建立集值映射关系：构建反映算法对特征融合性能的融合有效度函数，结合S1中的场景图，分别建立每组图像的各个差异特征与融合算法间的融合有效度分布关系，最终对多组场景的分布结果进行加权统计以获得差异特征与最优融合算法的映射关系；

S6：分块融合：利用S3中已确定的图像各分块的显著差异特征，结合S5中建立的映射关系，为各分块选取最佳融合算法并进行图像融合，以获得各块的融合图像，将获得的各融合图块按照原来的组合顺序拼接为一幅完整的融合图像，并作相应的拼接处理。

上述的一种基于集值映射的双模态红外图像分块多算法优化融合方法，S3图像分块与各块显著差异特征的确定中具体步骤如下：

S31：利用公式(7)对每块图像的各个差异特征值进行归一化，(7)式中Dif代表差异特征；K＝1，2，3...M是图块编号；n＝1，2，3...6是差异特征编号；I和P代表红外光强与偏振图像；w_I和w_P是权重因子，其形式如式(8)，

S32：利用式(9)的条件取大规则确定各个图块的最显著差异特征，

(9)式中的MD代表显著差异特征；sum代表6个差异特征归一化后的和，式(9)的含义是当能量差异特征占总差异特征的比例大于等于T时，该图块的最显著差异特征为EN，否则最显著差异特征为不包括EN在内的其他具有最大值的差异特征。

上述的一种基于集值映射的双模态红外图像分块多算法优化融合方法，S5建立集值映射关系具体步骤如下：

S5l：对各场景的红外光强与偏振图像分别进行分块处理，以获取更多的小样本块；

S52：对各场景每组源图像，利用所选取的融合算法分别融合，这样每组图像得到不同的融合图像，然后对每幅融合图像进行分块处理；

S53：分别计算每组源图像及其相应融合图像对应样本块的6个差异特征的特征值，为了定量描述融合算法对某一特征融合效果的好坏，构建单特征融合有效度公式(10)进行融合有效度度量，

Q_F，B(n)＝w_I，B(n)(Dif_F，B(n)-Dif_I，B(n))+w_P，B(n)(Dif_F，B(n)-Dif_P，B(n)) (10)

式中Q代表融合有效度；Dif代表差异特征；F＝1，2，3...L为融合算法编号；I和P分别代表红外光强与偏振图像；B＝1，2，3...E为样本块编号；n＝1，2，3...6为差异特征编号；w_I，B(n)和w_P，B(n)分别为红外光强与偏振图像对应样本块的权重因子，该值为两块图像同一特征值的归一化系数，数学表达如式(11)，

于是每块样本块的每个特征都有L个融合有效度分别对应于L种融合算法，选取融合有效度值最大(及其±1％偏差)所对应的融合算法作为该样本块该特征的最有效融合算法，以此类推统计E个样本块每个特征所对应的最优融合算法出现的频次，最后除以总块数E从而求得每个特征最优融合算法出现的概率P_d，n，F，d为场景编号；

S54：以上各场景统计结果总体上有相似的趋势，但因场景的不同存在个别差异，为了克服这种单一场景统计存在的矛盾性和片面性，对H种典型场景统计的各个特征所对应的最优融合算法出现的概率利用式(12)进行加权统计，从而给出每种特征在不同场景中最优融合算法的综合统计结果，

式中H为总场景数；w′_d，n为权重因子，其含义是：同一特征在不同场景中综合强度的归一化因子，将其命名为综合强度比，其定义如式(13)，

式中Dif′_d，n为第d组图像第n个差异特征光强图像与偏振图像的综合强度，如式(14)

Dif′_d，n＝w_I，d，nDif_I，d，n+w″_P，d，nDif_P，d，n (14)式(15)给出了归一化系数w″_I，d，n和w″_P，d，n的具体形式，

S55：利用H组场景的总体统计结果，选取每种特征所对应的最佳结果出现概率最大的算法作为其最佳融合算法，以此建立差异特征与最佳融合算法间的映射关系。

本发明与现有技术相比具有以下优点：

1.本发明引入分块针对性优化融合的思想，解决了无差别融合带来的局部融合效果差甚至无效，进而导致全局无法最优的问题。

2.本发明通过构建更为通用的融合有效度函数和采用更加合理的多场景统计方法，克服了现有集值映射关系不稳定的问题。

附图说明

图1为本发明的流程图。

图2为研究对象多场景图，其中：图2(a)～(f)分别对应于六种场景且第一行为红外光强图片，第二行为红外偏振图片。

图3为实验验证图。

图4为分块结果图。

图5为各块显著差异特征图。

图6为各场景融合有效度统计分布图；其中：图6(a)～图6(f)分别对应于六种场景不同算法对特征的融合有效度分布，图中横坐标1-CVT，2-DTCWT，3-DWT，4-LP，5-NSCT，6-NSST，7-SWT，8-WPT。

图7为多场景融合有效度综合统计分布图。

图8为差异特征与最佳融合算法映射关系图。

图9为各块配置算法图。

图10为融合结果图；其中：图10(a)为各融合图块拼接后的效果图；图10(b)为经过拼接边缘处理和各块亮度调整后的效果图。

图11为实验结果对比图；其中依次为CVT融合结果、DTCWT融合结果；DWT融合结果、LP融合结果、NSCT融合结果、NSST融合结果、SWT融合结果、WPT融合结果、本发明方法融合结果。

表1为实验结果客观评价数据表。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

参考附图1，本发明的实现步骤如下：

S1：源图像确定。利用实验设备采集和网络下载等多种方式获取多组包含常见目标(如车辆、建筑、人、道路、树木和植被等)的六组双模态红外光强与偏振场景图，如附图2。

S2：构建差异特征集。对比S1中各场景图的图像特点以及结合双模态红外光强与偏振图像的成像机理，确定双模态红外图像的差异特征类型即亮度、纹理和边缘。通过比较最终选取EN、IE、EV、TC、EI和AG六个描述差异信息的特征构建差异特征集。

具体步骤如下：

S21：构建表征亮度差异的特征，分别为EN如式(1)和IE如式(2)，式(1)中M，N为图像的大小，I(i，j)代表位置为第i行、第j列像素点的灰度值；式(2)中L为图像总的灰度级，p(I)表示图像中像素灰度值为I的概率。

S22：构建表征纹理差异的特征，分别为EV如式(3)和TC如式(4)，式(3)中σ为图像灰度值的标准差；式(4)中的α为图像灰度分布的峰度。

S23：构建表征边缘差异的特征，分别为EI如式(5)和AG如式(6)，式(5)中的BE为经Canny算子边缘检测后的二值化边缘图，对其求和可以得到边缘点数以此反映边缘强度；式(6)中M，N为待计算图像大小，I(i，j)表示位于第i行、第j列的像素点的灰度值。

S3：图像分块与各块显著差异特征的确定。以附图3为实验验证图，本发明采用几何分块将图像等分为16块(如附图4)，实际应用中可以根据融合意图或应用需求对图像进行针对性分块。根据差异特征集的组成元素，提取各块的六个差异特征。由于各差异特征的量纲不同所以无法进行直接比较，因此先归一化各差异特征的幅值。另外由于亮度差异是由成像硬件差异所致，因此在不做修正的情况下，绝大多数图块的显著差异特征都将是差异能量特征，为此制定了条件取大规则用于确定各块的显著差异特征(如附图5)。

具体步骤如下：

S31：利用公式(7)对每块图像的各个差异特征值进行归一化，(7)式中Dif代表差异特征；K＝1，2，3...16是图块编号；n＝1，2，3...6是差异特征编号；I和P代表红外光强与偏振图像；w_I和w_P是权重因子，其形式如式(8)。

S32：利用式(9)的条件取大规则确定各个图块的最显著差异特征，结果如附图5。

(8)式中的MD代表显著差异特征；sum代表6个差异特征归一化后的和。式(9)的含义是当能量差异特征占总差异特征的比例大于等于T时，该图块的最显著差异特征为EN，否则最显著差异特征为不包括EN在内的其他具有最大值的差异特征，经对比实验发现当T＝0.4时，提取的显著差异特征准确度最高。

S4：构建融合算法集。选取常用且性能得到广泛认可的融合算法构建融合算法集。鉴于多尺度分解在图像融合方面的优异表现，本发明选取CVT、DTCWT、DWT、LP、NSCT、NSST、SWT和WPT八种常用的融合算法构建融合算法集(融合算法集元素可以根据需要增删)。需要注意的是融合算法的融合参数对融合结果具有一定的影响，为此为每一种算法针对双模态红外图像融合配置最佳的融合参数。

S5：建立集值映射关系。构建反映算法对特征融合性能的融合有效度函数，结合S1中的场景图，分别建立每组图像的各个差异特征与融合算法间的融合有效度分布关系(如附图6)，最终对多组场景的分布结果进行加权统计以获得差异特征与最优融合算法的映射关系。

具体步骤如下：

S51：对六个场景的红外光强与偏振图像分别进行分块处理，以获取更多的小样本块。需要注意的是样本块如果选择过小则无法有效提取特征，反之则会有复合特征的存在。为此本发明选择样本块的大小为24×24，样本块的获得是通过24×24的窗口在源图像上滑动获取，滑动原则为从图像左上角开始按行遍历，水平和垂直步长都为8像素直至图像右下角，这样每组源图像就得到900个样本块。

S52：对每组源图像，利用所选取的8种融合算法分别融合，这样每组图像得到8幅融合图像，然后对每幅融合图像利用S51的方法进行分块处理，同样可以得到900个样本快。

S53：分别计算每组源图像及其相应8幅融合图像对应样本块的6个差异特征的特征值。为了定量描述融合算法对某一特征融合效果的好坏，构建单特征融合有效度公式(10)进行融合有效度度量。

Q_F，B(n)＝w_I，B(n)(Dif_F，B(n)-Dif_I，B(n))+w_P，B(n)(Dif_F，B(n)-Dif_P，B(n)) (10)

式中Q代表融合有效度；Dif代表差异特征；F＝1，2，3...8为融合算法编号；I和P分别代表红外光强与偏振图像；B＝1，2，3，...900为样本块编号；n＝1，2，3...6为差异特征编号；w_I，B(n)和w_P，B(n)分别为红外光强与偏振图像对应样本块的权重因子，该值为两块图像同一特征值的归一化系数，数学表达如式(11)。

于是每块样本的每个特征都有8个评价值分别对应于F＝1，2，3...8八种算法，选取评价值值最大(及其±1％偏差内)所对应的融合算法作为该样本块该特征的最有效融合算法，以此类推统计900个样本块每个特征所对应的最优融合算法出现的频次，最后除以总块数900从而求得每个特征最优融合算法出现的概率P_d，n，F(d为场景编号，n为差异特征编号，F为融合算法编号)，本发明将该概率定义为融合有效度，其不同场景的结果如附图6。

S54：以上六组场景统计结果总体上有相似的趋势，但因场景的不同存在个别差异，为了克服这种单一场景统计存在的矛盾性和片面性，对六种典型场景统计的各个特征所对应的最优融合算法出现的概率利用式(12)进行加权统计，从而给出每种特征在不同场景中最优融合算法的综合统计结果(如附图7)。

式中w′_d，n为权重因子，其含义是：同一特征在不同场景中综合强度的归一化因子，这里将其命名为综合强度比，其定义如式(13)。

式中Dif′_d，n为第d组图像第n个差异特征光强图像与偏振图像的综合强度，如式(14)

Dif′_d，n＝w″_I，d，nDif_I，d，n+w″_P，d，nDif_P，d，n (14)式(15)给出了归一化系数w″_I，d，n和w″_P，d，n的具体形式。

S55：利用六组场景的总体统计结果，选取每种特征所对应的最佳结果出现概率最大的算法作为其最佳融合算法，以此建立差异特征与最佳融合算法间的映射关系(如附图8)。

说明：附图5各块的显著差异特征由S3的式(9)确定；根据附图7的六个场景总体融合有效度分布，可以确定附图8的差异特征与最优融合算法间的映射关系；附图9的各块算法配置由各块的显著差异特征(见附图5)及差异特征与最优算法间的映射关系(见图8)共同确定。

S6：分块融合。利用S3中所确定的各块的显著差异特征和S5中建立的映射关系为各图块选取最佳融合算法(选取结果如附图9)，并进行图像融合，以获得各块的融合图像，并进行后续拼接处理。

具体步骤如下：

S61：根据各块的显著差异特征配合映射关系，选择融合算法并对各块进行融合。

S62：将获得的各融合图块按照原来的组合顺序拼接为一幅完整的融合图像(结果如附图10(a))。

S63：对于拼接边缘用3×3的均值滤波器进行平滑，以去除拼接痕迹。计算出16块图像的平均亮度，并以此为基准计算出每块图像相对于该基准的缩放比例，然后利用该比例对每块图像进行线性灰度缩放，从而使各块亮度处于同一水平，最终处理后结果如附图10(b)所示。

本发明的实施例中，实验图像为红外光强与偏振图像如附图3，从附图11的实验结果可以看出本发明所得结果具有直观上更好的视觉效果，尤其是图中以矩形框标出的部分相对于其他方法具有更高的清晰度和对比度，同时目标更加突出。另外附表1给出了一组客观评价指标的评价结果，从中发现7个指标中本发明的融合结果有5个表现最优，其中标准差(STD)和空间频率(RCF)两个指标的评价结果远远高于其他方法。但对于Q^AB/F和Q₀两个指标本发明评价结果并非最好，但即便如此本发明的结果与最佳结果之间的差距非常之小。说明本发明的方法能够有效提高双模态红外图像的融合质量，提高融合精度，同时基于集值映射的方法能够满足场景动态变化而动态选择最优融合算法的需求，因此足以满足大部分双模态红外图像的融合、识别处理和跟踪的需要。

表1

Claims (2)

1.一种基于集值映射的双模态红外图像分块多算法优化融合方法，其特征在于包括以下步骤：

S1：源图像确定：选取多组红外光强与偏振场景图作为研究对象；

S2：构建差异特征集：对比S1中场景图的图像特点以及结合双模态红外光强与偏振图像的成像机理，确定双模态红外图像的差异特征类型，进一步选取能量、信息熵、平滑度、Tamura对比度、边缘强度和平均梯度六个描述差异信息的特征构建差异特征集；

S3：图像分块与各块显著差异特征的确定：采用几何分块将图像等分，根据差异特征集的组成元素，提取图像各分块的六个差异特征并归一化各差异特征的幅值，结合条件取大规则确定各分块的显著差异特征；

S4：构建融合算法集：选取融合算法构建融合算法集；

S5：建立集值映射关系：构建反映算法对特征融合性能的融合有效度函数，结合S1中的场景图，分别建立每组图像的各个差异特征与融合算法间的融合有效度分布关系，最终对多组场景的分布结果进行加权统计以获得差异特征与最优融合算法的映射关系；

具体步骤如下：

S51：对各场景的红外光强与偏振图像分别进行分块处理，以获取更多的小样本块；

S52：对各场景每组源图像，利用所选取的融合算法分别融合，这样每组图像得到不同的融合图像，然后对每幅融合图像进行分块处理；

S53：分别计算每组源图像及其相应融合图像对应样本块的6个差异特征的特征值，为了定量描述融合算法对某一特征融合效果的好坏，构建单特征融合有效度公式(10)进行融合有效度度量，

Q_F，B(n)＝w_I，B(n)(Dif_F，B(n)-Dif_I，B(n))+w_P，B(n)(Dif_F，B(n)-Dif_P，B(n)) (10)

式中Q代表融合有效度；Dif代表差异特征；F＝1，2，3...L为融合算法编号；I和P分别代表红外光强与偏振图像；B＝1，2，3...E为样本块编号；n＝1，2，3...6为差异特征编号；w_I，B(n)和w_P，B(n)分别为红外光强与偏振图像对应样本块的权重因子，该值为两块图像同一特征值的归一化系数，数学表达如式(11)，

于是每块样本块的每个特征都有L个融合有效度分别对应于L种算法，选取融合有效度值最大(及其±1％偏差内)所对应的融合算法作为该样本块该特征的最有效融合算法，以此类推统计E个样本块每个特征所对应的最优融合算法出现的频次，最后除以总块数E从而求得每个特征最优融合算法出现的概率P_d，n，F，d为场景编号；

S54：以上多组场景统计结果总体上有相似的趋势，但因场景的不同存在个别差异，为了克服这种单一场景统计存在的矛盾性和片面性，对H种典型场景统计的各个特征所对应的最优融合算法出现的概率利用式(12)进行加权统计，从而给出每种特征在不同场景中最优融合算法的综合统计结果，

式中w′_d，n为权重因子，其含义是：同一特征在不同场景中综合强度的归一化因子，将其命名为综合强度比，其定义如式(13)，

式中Dif′_d，n为第d组图像第n个差异特征光强图像与偏振图像的综合强度，如式(14)

Dif′_d，n＝w_I，d，nDif_I，d，n+w″_P，d，nDif_P，d，n (14)

式(15)给出了归一化系数w″_I，d，n和w″_P，d，n的具体形式，

S55：利用H组场景的总体统计结果，选取每种特征所对应的最佳结果出现概率最大的算法作为其最佳融合算法，以此建立差异特征与最佳融合算法间的映射关系；

S6：分块融合：利用S3中已确定的图像各分块的显著差异特征，结合S5中建立的映射关系，为各分块选取最佳融合算法并进行图像融合，以获得各块的融合图像，将获得的各融合图块按照原来的组合顺序拼接为一幅完整的融合图像，并作相应的拼接处理。

2.根据权利要求1所述的一种基于集值映射的双模态红外图像分块多算法优化融合方法，其特征在于S3图像分块与各块显著差异特征的确定中具体步骤如下：

S31：利用公式(7)对每块图像的各个差异特征值进行归一化，(7)式中Dif代表差异特征；K＝1，2，3...M是图块编号；n＝1，2，3...6是差异特征编号；I和P代表红外光强与偏振图像；w_I和w_P是权重因子，其形式如式(8)，

S32：利用式(9)的条件取大规则确定各个图块的最显著差异特征，

(9)式中的MD代表显著差异特征；sum代表6个差异特征归一化后的和，式(9)的含义是当能量差异特征占总差异特征的比例大于等于T时，该图块的最显著差异特征为EN，否则最显著差异特征为不包括EN在内的其他具有最大值的差异特征。

Images