CN104933691A - 基于相位谱视觉显著性检测的图像融合方法 - Google Patents

Abstract

本发明公开了一种基于相位谱视觉显著性检测的图像融合方法，包括以下步骤：1)通过相位谱法对若干幅待融合源图像作显著性检测，分别得到与源图像对应的像素显著度图，所述像素显著度图与所述源图像的像素位置信息一致；2)通过比较源图像各像素显著度图中相同位置的显著度，选取显著度最大的源图像像素作为融合图像的候选像素；3)由候选像素组合、生成融合图像。针对相位谱法表现出的对图像尺度敏感、难以兼顾具有不同细节程度的图像区域的缺陷，本发明通过基于极限学习机的图像目标自动感知方法，将原相位谱法的全局显著性检测改进为全局显著性引导下的局部显著性检测，借此克服算法缺陷，提高融合性能。

Description

基于相位谱视觉显著性检测的图像融合方法

技术领域

本发明涉及图像融合技术领域，具体地讲是一种基于相位谱视觉显著性检测的图像融合方法。

背景技术

随着信息技术的发展，计算机视觉已经被广泛应用于低层特征检测和描述、模式识别、人工智能推理和机器学习算法等领域。然而，传统的计算机视觉方法通常是任务驱动型，需要限定许多条件，并根据实际任务来设计相应的算法，缺乏通用性；需要解决高维非线性特征空间、超大数据量对问题求解和实时处理等问题，使得其研究和应用面临巨大的挑战。

人类视觉系统能够在不同环境下高效、可靠地工作，其具有以下优点：具有关注机制、显著性检测和与此相关的视觉处理中的选择性和目的性；能够从低层视觉处理中利用先验知识，使数据驱动的自底向上处理与自顶向下的知识指导在视觉处理中相互协调配合；上下境信息在视觉处理的各个层次都发挥着重要作用，并且能够综合利用环境中各种模态的信息。

实际情况下，由于成像手段、聚焦参数等的不同，对相同场景/目标成像的结果会有所不同，图像表达的信息也有差异。将相同场景的不同类型图像进行融合，有助于人们充分利用图像资源，综合分析各种成像手段呈现的相关信息。由于图像融合结果最终为人眼所检验，如何获得更符合人类视觉感知的图像融合结果，是当前算法面临的挑战。人眼对场景中的显著目标天然地具有自动检测和识别能力，若能够构建一种模拟人类视觉的机器视觉系统，就能用于提取不同图像中最清晰的部分，依其重要程度进行图像融合。但现有技术还未实现。

发明内容

有鉴于此，本发明要解决的技术问题是，提供一种能够模拟人类视觉的基于相位谱视觉显著性检测的图像融合方法，能自适应地关注待融合图像中的重要区域，依据像素的视觉显著性信息挑选最清晰像素，实现图像融合。

本发明的技术解决方案是，提供以下步骤的基于相位谱视觉显著性检测的图像融合方法，包括以下各步骤：

1)通过相位谱法对若干幅待融合源图像作显著性检测，分别得到与源图像对应的像素显著度图，所述像素显著度图与所述源图像的像素位置信息一致；

2)通过比较源图像的各像素显著度图中相同位置的显著度，选取显著度最大的源图像像素作为融合图像的候选像素；

3)由候选像素组合、生成融合图像。

作为改进，所述的相位谱法检测得到的像素显著度与图像聚焦清晰程度正相关，通过相互比较像素显著度值，可定位源图像中的聚焦清晰区域，选择最清晰像素。

作为改进，所述的相位谱法是指通过超复数傅立叶变换，将彩色图像中的红、绿、蓝三个分量作为超复数的三个虚部参与傅立叶变换，只保留相位谱信息，经傅立叶反变换获得像素显著度图。该设计用于解决现有技术仅适合处理黑白图像的局限性，有效地针对彩色图像相应地改进了相位谱法的具体步骤。

作为改进，所述的相位谱法作显著性检测为局部化的视觉显著性检测，步骤如下：

4)将若干幅待融合图像叠加，生成一幅均值图像，经相位谱法获得该均值图像的像素显著度图，依据显著度排序像素点；

5)选取前N个显著的像素点作为注视点，以每个注视点为中心，形成信息熵最大的局部区域，这些局部区域组成注视区域；

6)对所述的注视区域内部像素进行随机采样，并对注视区域外部进行等量的像素随机采样；采样得到的注视区域内部像素作为正样本，注视区域外部像素作为负样本；

7)利用极限学习机训练策略，学习得到一个二分类的前馈神经网络模型，通过该模型分类所述均值图像的全部像素，将被分为正样本的像素区域作为第一注视目标区。

将原相位谱法的全局性显著性检测改进为全局显著性引导下的局部显著性检测，目的是克服原相位谱法对图像尺度参数设置敏感导致的应用局限性。

作为改进，在步骤7)后还包括以下步骤：

8)以第一注视目标区中的最大连通区域的外接凸包构建更新的注视区域，经步骤6)和7)得到相应的第二注视目标区；

9)比较第一注视目标区和第二注视目标区的重叠程度，重叠程度大表明该重叠区域对形成视觉感知的刺激强度大；重叠程度小则表明还未形成足够的视觉刺激强度，继续重复6)～9)过程，直至达到足够的刺激强度；输出的注视目标区是上述过程中达到了刺激强度的若干个注视目标区的重叠部分。这样，结果更为稳定、可靠。

作为改进，还包括以下步骤：

10)获得注视目标区后，在均值图像和其像素显著度图中该区域被清零更新，对更新后的像素显著度图中的显著点，依据显著度再次排序，重复步骤5)～10)，得到新的注视目标区；依此迭代，可获得待融合图像中的各注视目标区范围和注视顺序。

11)依照注视顺序，逐个截取各待融合图像中某个注视目标区的外接矩构成的局部子图像；将其作为待融合源图像，执行1)～3)步骤；按注视顺序、逐个进行子图像融合，进而完成图像融合任务。

采用本发明的方法，与现有技术相比，本发明具有以下优点：先叠加待融合图像获得均值图像，再利用基于极限学习机的“学习-建模-目标感知”过程，自适应获得该图像中各局部目标区域的注视顺序和范围，随后由各目标外接矩截取目标子图像；再逐个对子图像区域分别进行显著性检测，基于显著度最大原则挑选像素进行融合，从而分块、分步完成图像融合任务。该策略先对待融合图像做自动目标感知，获得图像中注视目标区域的范围和重要程度信息，再针对各局部区域进行显著性检测与融合操作，可降低图像尺度固定带来的不利影响，有利于获得更符合人类感知的融合结果。

附图说明

图1为本发明基于相位谱视觉显著性检测的图像融合方法的流程图。

图2为其中基于极限学习机的图像目标自动感知方法流程图。

具体实施方式

下面就具体实施例对本发明作进一步说明，但本发明并不仅仅限于这些实施例。

本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。此外，本发明之附图中为了示意的需要，并没有完全精确地按照实际比例绘制，在此予以说明。

如图1所示，本发明的基于相位谱视觉显著性检测的图像融合方法，包括以下各步骤：

1)通过相位谱法对若干幅待融合源图像作显著性检测，分别得到与源图像对应的像素显著度图，所述像素显著度图与所述源图像的像素位置信息一致；

2)通过比较各像素显著度图中相同位置的显著度，选取显著度最大的源图像像素作为融合图像的候选像素；

3)由候选像素组合、生成融合图像。

通过相位谱法对目标图像作显著性检测，可采用以下步骤实施：对待目标图像I(i，j)进行二维离散傅里叶变换F[I(i，j)]，将图像由空间域转换到频域，得到相位P(u，v)信息：

式中F表示二维离散傅里叶变换，表示相位运算。将相位信息经傅里叶逆变换后，可以在空间域得到显著度图像Sa_Map。

Sa_Map(i，j)＝|F^-1[exp{jP(u，v)}]|²    (2)

然而，相位谱法是一种频域方法，其结果对图像尺度敏感。若无特别说明，此处图像尺度指的是图像的大小。若用不同图像尺度求取相应的像素显著度图，则这些显著度图差别较大。若在某个固定尺度下获得像素显著度图，则总会或多或少在图像的某些局部存在与人类感知不相符的地方。

可先对待融合图像做自动目标感知，获得图像中局部目标区域范围和其重要程度指标后，再逐个局部区域进行显著性检测和图像融合。步骤如下：

1)将若干幅待融合图像叠加，生成一幅均值图像，经相位谱法获得该均值图像的像素显著度图，依据显著度排序像素点；

2)选取前N个显著的像素点作为注视点，以每个注视点为中心，形成信息熵最大的局部区域，这些局部区域组成注视区域；

3)对所述的注视区域内部像素进行随机采样，并对注视区域外部进行等量的像素随机采样；采样得到的注视区域内部像素作为正样本，注视区域外部像素作为负样本；

4)利用极限学习机训练策略，学习得到一个二分类的前馈神经网络模型，通过该模型分类所述均值图像的全部像素，将被分为正样本的像素区域作为第一注视目标区。

5)以第一注视目标区中的最大连通区域的外接凸包构建更新的注视区域，经步骤3)和4)得到相应的第二注视目标区；

6)比较第一注视目标区和第二注视目标区的重叠程度，重叠程度大表明该重叠区域(对形成视觉感知的)刺激强度大；重叠程度小则表明还未形成足够的视觉刺激强度，继续重复上述过程，直至达到足够的刺激强度。输出的注视目标区为上述过程中达到了刺激强度的若干个注视目标区的重叠部分。

7)输出注视目标区后，在均值图像和其像素显著度图中该区域被清零(更新)。对更新后的像素显著度图中的显著点，依据显著度再次排序，重复步骤2)～7)，可得到新的注视目标区输出。依此迭代，可获得待融合图像中的各目标区范围和注视顺序。

8)依照注视顺序，逐个截取各待融合图像中、对应某目标区的外接矩形成的局部子图像，将其作为局部化的待融合源图像，执行最初融合方案1)～3)步骤，按注视顺序、逐个进行子图像融合，进而完成图像融合任务。

由此，通过对待融合图像做自动目标感知，原相位谱法的全局显著性检测被改进为全局显著性引导下的局部显著性检测，用于克服相位谱法对图像尺度变化敏感导致的应用局限性，使得融合结果在主观感受上更接近人类视觉。

图2的目标感知框图中，涉及训练数据、分类模型、注视目标结果等均为采用极限学习机训练策略相应实施过程。具体实施过程如下：

极限学习机(ELM)是一种单隐层前馈神经网络(Single-hidden layer feedforwardnetworks，SLFNs)。对一个给定的训练样本集有L个隐层结点的SLFNs表示为：

$f_L\left(x_j\right)={\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_{i}K({\mathrm{\α}}_i,b_i,x_j)=t_j,j=1,...,N---\left(3\right)$

其中α_i和b_i是隐结点与输入结点的连接参数(内权)，内权可独立于训练数据的随机产生。K(α_i，b_i，x_j)是第i个隐结点对应于输入的输出项。β_i是第i个隐结点到输出结点的连接权值(外权)。如果已知给定的训练样本，且已知随机产生的内权，则K(α_i，b_i，x_j)可计算；公式(3)成为一个线性系统，只有β_i是未知项，可通过线性代数方法求解。

基于上述原理，在给定训练集下，单隐层反馈神经网络的性能完全由其隐层结点与输出结点的连接权值(外权)确定，而与输入端与隐层结点的连接权值、偏移值等(内权)无关。由此能用数学手段解得关键连接权值的解析解而非迭代近似解，从而使得ELM算法本质上最优，避免了基于梯度下降法迭代求解的神经网络出现局部极小的情况。由于无需迭代运算，使得学习速度数百倍于传统神经网络。

ELM只有一个可调参数——隐节点数量。只要该参数相对于具体问题而言取值足够大，就能保证算法的逼近能力。这样的特性使我们能避免参数寻优问题的困扰，从而集中注意力获取合适的训练样本。同时，增加样本数据的维度变得很容易，可以考虑不同模态的属性(颜色、梯度、邻域、纹理、位置、深度、差别和上下境信息等)。避免了传统机器学习算法在线训练需合理设置参数的困难问题。

为了优化本发明，克服ELM内权随机产生导致的分类性能不稳定问题，采用多个分类器的结果集成方式获得稳定的注视目标区。

作为改进，所述的相位谱法还指通过超复数傅立叶变换，将彩色图像中的红、绿、蓝三个分量作为超复数的三个虚部参与傅立叶变换，只保留相位谱信息，经傅立叶反变换获得像素显著度图。该设计用于解决现有技术仅能处理黑白图像识别的问题，有效地针对彩色图像相应地改进了相位谱法的具体步骤。

超复数由四个部分组成，表示为

q＝a+bi+cj+dk    (4)

其中a，b，c，d都是实数，i，j，k都是虚数单位，且具有以下性质：i²＝j²＝k²＝ijk＝-1，ij＝-ji＝k，ki＝-ik＝j，jk＝-kj＝i。

彩色图像的RGB模型可以描述为没有实部的纯超复数：

f＝R(m，n)i+G(m，n)j+B(m，n)k    (5)

其中R(m，n)，G(m，n)，B(m，n)分别表示图像红绿蓝三个分量。若q＝f，则a＝0，b＝R(m，n)，c＝G(m，n)，d＝B(m，n)。对构造好的彩色矢量可按照式(6)进行超复数傅里叶变换：

F^R(v，u)＝(real(fft2(a))+μ·imag(fft2(a)))+

i(real(fft2(b))+μ·imag(fft2(b)))+    (6)

j(real(fft2(c))+μ·imag(fft2(c)))+

k(real(fft(d))+μ·imag(fft2(d)))

其中，fft2()表示传统二维傅里叶变换，real()表示取实部，imag()表示取虚部。

为单位虚向量。此处，只需取F^R(v，u)的相位谱P(f)：

令：A＝e^jP(f)    (8)

利用传统二维快速傅里叶逆变换(ifft2)组合可以得到超复数傅里叶逆变换，如式(9)：

F^-R(v，u)＝(real(ifft2(A))+μ·imag(ifft2(A)))+

i(real(ifft2(B))+μ·imag(ifft2(B)))+    (9)

j(real(ifft2(C))+μ·imag(ifft2(C)))+

k(real(ifft2(D))+μ·imag(ifft2(D)))

其中，B＝fft2(b)，C＝fft2(c)，D＝fft2(d)。

Sa_Map＝real(F^-R(v，u))    (10)

即为求得的显著图。由于彩色像素在数据处理前后的整体性得到了保持，从而避免了由于矢量分量的变换或交换引起的色彩失真。

以上仅就本发明较佳的实施例作了说明，但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例，其具体结构允许有变化。总之，凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明的保护范围内。

Claims (6)

1.一种基于相位谱视觉显著性检测的图像融合方法，其特征在于：包括以下步骤：

1)通过相位谱法对若干幅待融合源图像作显著性检测，分别得到与源图像对应的像素显著度图，所述像素显著度图与所述源图像的像素位置信息一致；

2)通过比较源图像的各像素显著度图中相同位置的显著度，选取显著度最大的源图像像素作为融合图像的候选像素；

3)由候选像素组合、生成融合图像。

2.根据权利要求1所述的基于相位谱视觉显著性检测的图像融合方法，其特征在于：所述的相位谱法检测得到的像素显著度与图像聚焦清晰程度正相关，通过相互比较像素显著度值，可定位源图像中的聚焦清晰区域，选择最清晰像素。

3.根据权利要求1或2所述的基于相位谱视觉显著性检测的图像融合方法，其特征在于：所述的相位谱法是指通过超复数傅立叶变换，将彩色图像中的红、绿、蓝三个分量作为超复数的三个虚部参与傅立叶变换，只保留相位谱信息，经傅立叶反变换获得像素显著度图。

4.根据权利要求1或2所述的基于相位谱视觉显著性检测的图像融合方法，其特征在于：所述的相位谱法作显著性检测为局部化的视觉显著性检测，步骤如下：

4)将若干幅待融合图像叠加，生成一幅均值图像，经相位谱法获得该均值图像的像素显著度图，依据显著度排序像素点；

5)选取前N个显著的像素点作为注视点，以每个注视点为中心，形成信息熵最大的局部区域，这些局部区域组成注视区域；

6)对所述的注视区域内部像素进行随机采样，并对注视区域外部进行等量的像素随机采样；采样得到的注视区域内部像素作为正样本，注视区域外部像素作为负样本；

7)利用极限学习机训练策略，学习得到一个二分类的前馈神经网络模型，通过该模型分类所述均值图像的全部像素，将被分为正样本的像素区域作为第一注视目标区。

5.根据权利要求4所述的基于相位谱视觉显著性检测的图像融合方法，其特征在于：在步骤7)后还包括以下步骤：

8)以第一注视目标区中的最大连通区域的外接凸包构建更新的注视区域，经步骤6)和7)得到相应的第二注视目标区；

9)比较第一注视目标区和第二注视目标区的重叠程度，重叠程度大表明该重叠区域对形成视觉感知的刺激强度大；重叠程度小则表明还未形成足够的视觉刺激强度，继续重复6)～9)过程，直至达到足够的刺激强度；输出的注视目标区是上述过程中达到了刺激强度的若干个注视目标区的重叠部分。

6.根据权利要求5所述的基于相位谱视觉显著性检测的图像融合方法，其特征在于：还包括以下步骤：

10)获得注视目标区后，在均值图像和其像素显著度图中该区域被清零更新，对更新后的像素显著度图中的显著点，依据显著度再次排序，重复步骤5)～10)，得到新的注视目标区；依此迭代，可获得待融合图像中的各注视目标区范围和注视顺序。

11)依照注视顺序，逐个截取各待融合图像中某个注视目标区的外接矩构成的局部子图像；将其作为待融合源图像，执行1)～3)步骤；按注视顺序、逐个进行子图像融合，进而完成图像融合任务。