CN110827231A

CN110827231A - 一种显著性驱动下的主动学习多源图像融合方法

Info

Publication number: CN110827231A
Application number: CN201910884111.6A
Authority: CN
Inventors: 罗晓燕; 洪友勰; 申智琪; 于子淇
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2019-09-19
Filing date: 2019-09-19
Publication date: 2020-02-21

Abstract

本发明公开一种显著性驱动下的主动学习多源图像融合方法，属于数字图像处理技术领域。实施过程包括：1)对多源图像进行显著性检测，再将显著性区域与各个源图像的相对梯度图加权，获取各源的特征图，进行特征图各个位置上的大小比较，获取各个源图像的显著点选取区域；2)将各个区域按照空间分布分块，再在每个源的各个分区域按照特征图这个位置值的大小进行取点，创建带有标签的八维特征向量；3)将得到的特征向量进行SVM分类器训练，按照策略迭代训练分类器，直到训练样本数量达到稳定。对得到的概率图进行平滑处理，再进行加权融合，得到最后的融合图像。本发明通过主动学习分类器迭代训练，能解决超过两幅源图像的融合问题，可用于目标探测等领域。

Description

一种显著性驱动下的主动学习多源图像融合方法

技术领域

一种面向多源图像的图像融合方法，属于数字图像处理领域，特别涉及显著性检测的图像处理技术和支持向量机的模式识别技术。

背景技术

对于多源图像融合而言，特别是可见光和红外图像融合，由于红外图像可以在特殊环境下探测出散发热量的目标，从而在侦察方面具有显著的效果，但是一般红外图像由于传感器的限制导致了其很难有较高的分辨率，而一般的可见光图像分辨率要远超过红外图像。因此，就可以将可见光图像与红外图像进行融合，从而使得融合图像具有较高的分辨率，同时还能探测出一些特殊目标。

目前的多源图像融合方法大多分为两类，一类是直接在源图像中集中更多信息的图像域融合算法，这种方式不需要对图像进行分解和重构，最直接的方法是加权平均法，这类基础算法的不良影响一般是对比度的降低以及细节的丢失，难以得到好的效果，此后还有一系列基于概率图加权的方法被提出。另一种是基于变换域的融合方法，这种算法最终利用逆变换将组合的多尺度表示还原成得到的融合结果，获取这种组合的方式是选取变换后所在域内最能体现图像本质的像素特征，再根据融合法则得到一系列子图，它们具有不同的层次，而该办法获取子图的方式是利用对源图像使用多个分辨率条件下的分解，从而得到源图像的存在于变换域的各个层次的子图。随着数学领域的方法的提出，一些新的变换方式也让这些融合方法有了更好的效果。

但是目前这些多源图像融合都只能解决两幅图像的融合问题，对于更多源的图像融合，往往得不到很好的解决，只能使用多次融合的方式进行融合处理，但是先后的次序也会对融合结果造成很大的影响。而且这些方法都很难直接推广到三源图像融合。

发明内容

(一)要解决的技术问题

针对现有的多源图像融合算法只适用于两幅图像融合的问题，本发明提供一种基于主动学习的多源图像融合方法，该方法能通过主动学习分类器的训练和测试，获取每一个源图像的概率图，从而得到融合结果。

(二)技术方案

一种基于主动学习的多源图像融合方法，该方法具体包括以下步骤：

步骤1：对多源图像进行显著性检测，提取出各自的显著性区域，再将显著性区域与各个源图像的相对梯度图加权，获取每一个源的特征图，进行特征图各个位置上的大小比较，获取各个源图像的显著点选取区域。

步骤2：得到了区域之后，进行分块处理，将各个区域按照空间分布分块，再在每个源的各个分区域按照特征图这个位置值的大小进行取点，将取到的显著点按照该位置各个特征图的最大的一个源图进行标记，再提取该位置的各个源显著性图，灰度图，以及包含行数列数的位置信息的八维特征，组成带有标签的八维特征向量。

步骤3：将得到的特征向量进行SVM分类器训练，对其余位置的点进行测试，得到每个位置的点的分类概率，取概率极大的点加入训练样本，迭代训练分类器，直到训练样本数量达到稳定。再取得到的分路口概率按照各个点的位置组成各个源的概率图，对概率图进行平滑处理，再以处理后的概率图为权重，对各个源图像进行加权融合，得到最后的融合图像。

(三)有益效果

目前的多源图像融合方法主要针对两幅源图像的融合，但是对于更多幅源图像的融合一般难以推广，而且利用机器学习的方法很难找到大量普遍适用的样本集。而本发明利用主动学习的方式构造点样本，可以解决超过两种以上的多源图像融合，比多次利用两幅源图像融合的方法有更好的视觉效果。

附图说明

图1：基于主动学习的图像融合算法流程图；

图2：Itti显著性算法流程图；

图3：近红外与可见光源1融合结果

图4：近红外与可见光源2融合结果

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图及具体实施方式详细介绍本发明。本发明的具体实现流程如图1所示，各部分具体实施细节如下：

步骤1-1：对各个源图像进行Itti显著性检测，具体流程图如图2所示。对各个源图像，利用高斯滤波，通过1/2下采样得到I₁，一直1/2下采样直到得到I₈，从而形成了图像金字塔；再提取图像底层特征，其中包括：R、G、B、Y四种色彩信息，0、45°、90°、135°四个角度再加上亮度I共九个参数；通过各个层次间的特征图谱作差获取结果；再对特征图通过归一化处理，然后对每个尺度间分别先插值，后求和；最后的显著性图为亮度显著图，颜色显著图，方向显著图的加权平均。

步骤1-2：计算各个源图像的相对梯度图，具体方式为将每个位置点地图再比上该点的灰度值，将得到的各个源图像的相对梯度图与Itti显著性图相加，得到每个源图像的特征图。

步骤1-3：将得到的特征图按照每个位置的大小进行分区域。即对于每一个位置，若该位置的第i个源图像的特征图值最大，即将该位置标记为第i类，从而在一幅图中共得到n 类区域，每个区域包含一个源图像的显著点选取区域。

步骤2-1：对于每一个源的区域进行分块处理，计算这个区域源图像的灰度平均值，将该区域分成两个部分，一部分为灰度大于均值的部分，一部分为灰度小于均值的部分。对每一个源都进行按灰度平均值分成两部分，每一个部分再按照特征图每个位置值取最大的一些点，这些点各占一个源的一半数量，对于一幅m×n的k源图像融合而言，每一个源的取点数量可以保持在0.1×m×n×k。

步骤2-2：获取了这些点的位置之后，按照该位置上的各个源特征图最大的一个进行标记。再以该位置的各个源显著性值，各个源灰度值，该点的行数和列数构建特征向量，维数为2×k+2。

步骤3-1：特征向量训练采用SVM(Support Vector Machine)分类器，使用开源的libsvm 库，核函数选择RBF(Radial Basis Function)。将所有位置的点按照显著性，灰度，位置信息构建测试样本，将得到的测试样本送入获得的分类器模型进行预测，获取各个位置的点属于某个源的概率P₁,P₂,…,P_k。

步骤3-2：对于每个测试样本，判断P_i是否大于q，这里q是设定的阈值，表示分类概率极大，实验中一般取0.99以上，若是，加入训练样本。

步骤3-3：判断训练样本增加的个数，若训练样本个数比原样本个数超过t，实验中t取 1.1，则返回步骤3-1，若小于t，则迭代终止。

步骤3-4：对迭代终止后的训练器进行每个位置上的测试，得到各个源概率mapL₁,L₂,…,L_k。对每个概率map进行均值滤波处理，mask大小选择[50,50],以平滑后的概率map 为权重，对各个源图像进行加权融合，得到最后的融合图像。

本发明的优点可以通过以下仿真实验作进一步说明：

实验的仿真环境为MatlabR2016a。操作系统为Windows10。实验中用到的多源图像来自 the TRICLOBS Dynamic Multiband Image Dataset。其中有可见光(400-700nm)，近红外 (700-1000nm)，长波红外(8-14um)的三源图像序列，包含16个夜间场景，各个源图像有相同的光路，因此不需要配准，各个源图像分辨率均为480×640.

为了证明本发明融合方法的效果以及方便与其他方法对比，只选取了可见光与近红外图像进行融合，对比的其余方法包括可见光与红外图像融合常见的方法，包括CVT(curvelet transform),DTCWT(The dual-tree complex wavelet transform),GTF(gradient transfer fusion),LP(laplacian pyramid).MSVD(multi-resolutionsingular value decomposition),RP(ratio of low-pass pyramid),Wavelet。

对于各个算法得到的融合结果，为了检验实验结果的有效性，为此采用了可见光与红外图像融合中常用的多组融合客观评价指标：信息熵(Entropy，EN)、互信息(Mutualinformation，MI)、特征互信息(Features mutual information，FMI)、基于梯度的融合度量(Gradient based fusion metric，QG)。其中EN以及对比和和平均是直接对于一副图像信息进行计算，也就是对任何图像都能评判，为无参考图像质量评价。其他指标大多使用于图像融合领域内，需要结合融合前后的多幅图像对多源融合的质量进行评判，即为有参考图像质量评价。需要指出，本文所使用的这些评价标准均和融合图像的效果好坏呈正相关，即这些图像评价的指标越高，融合图像的结果就越好。

对于两组可见光与近红外图像的评价结果如下表1和表2所示：

表1：近红外与可见光源1图像融合结果评价

表2：图3近红外与可见光源2图像融合结果评价

由此可以看出本发明的评价结果整体上优于现有技术的评价结果，本发明比已有技术有较好的客观评价效果。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims

1.一种显著性驱动下的主动学习多源融合方法，其特征在于，该方法具体包括以下步骤：

2.根据权利要求1所述的一种显著性驱动下的主动学习多源融合方法，其特征在于，所述步骤1具体过程为：

步骤1-1：对各个源图像进行Itti显著性检测，具体流程图如图2所示。对各个源图像，利用高斯滤波，通过1/2下采样得到，一直1/2下采样直到得到，从而形成了图像金字塔；再提取图像底层特征，其中包括：R、G、B、Y四种色彩信息，0、45、90、135四个角度再加上亮度I共九个参数；通过各个层次间的特征图谱作差获取结果；再对特征图通过归一化处理，然后对每个尺度间分别先插值，后求和；最后的显著性图为亮度显著图，颜色显著图，方向显著图的加权平均。

步骤1-3：将得到的特征图按照每个位置的大小进行分区域。即对于每一个位置，若该位置的第i个源图像的特征图值最大，即将该位置标记为第i类，从而在一幅图中共得到n类区域，每个区域包含一个源图像的显著点选取区域。

3.根据权利要求1所述的一种显著性驱动下的主动学习多源融合方法，其特征在于，所述步骤2具体过程为：

步骤2-1：对于每一个源的区域进行分块处理，计算这个区域源图像的灰度平均值，将该区域分成两个部分，一部分为灰度大于均值的部分，一部分为灰度小于均值的部分。对每一个源都进行按灰度平均值分成两部分，每一个部分再按照特征图每个位置值取最大的一些点，这些点各占一个源的一半数量，对于一幅k源图像融合而言，每一个源的取点数量可以保持在源图面积的10％。

步骤2-2：获取了这些点的位置之后，按照该位置上的各个源特征图最大的一个进行标记。再以该位置的各个源显著性值，各个源灰度值，该点的行数和列数构建特征向量。

4.根据权利要求1所述的一种显著性驱动下的主动学习多源融合方法，其特征在于，所述步骤3具体过程为：

特征向量训练采用SVM(Support Vector Machine)分类器，使用开源的libsvm库，核函数选择RBF(Radial Basis Function)。将所有位置的点按照显著性，灰度，位置信息构建测试样本，将得到的测试样本送入获得的分类器模型进行预测，获取各个位置的点属于某个源的概率。

步骤3-2：对于每个测试样本，判断是否大于q，这里q是设定的阈值，表示分类概率极大，实验中一般取0.99以上，若是，加入训练样本。

步骤3-3：判断训练样本增加的个数，若训练样本个数比原样本个数超过t，实验中t取1.1，则返回步骤3-1，若小于t，则迭代终止。

步骤3-4：对迭代终止后的训练器进行每个位置上的测试，得到各个源概率map。对每个概率map进行均值滤波处理，mask大小选择[50,50],以平滑后的概率map为权重，对各个源图像进行加权融合，得到最后的融合图像。