CN102800070A - 基于区域和人眼对比敏感特性的异源图像融合方法 - Google Patents

Abstract

基于区域和人眼对比敏感特性的异源图像融合方法，包含如下步骤：（1）对待融合的源图像分别用非下采样Contourlet变换NSCT进行多尺度分解，得到源图像的各阶子带系数；（2）根据人眼视觉对比度函数LCSF、人眼视觉绝对对比度灵敏度函数ACSF、感觉亮度对比度函数FBCF和局部平均梯度敏感性函数LGSF分别制定低频子带系数和各级高频子带系数的融合规则，得到融合图像的各级子带系数；（3）对融合后的系数进行NSCT逆变换，重构得到融合后的图像。本发明符合人眼的视觉特性，很大程度上提高了融合图像的质量，具有鲁棒性，适用于红外与可见光图像、多聚焦图像、遥感图像等多种图像源的融合，应用前景广泛。

Description

基于区域和人眼对比敏感特性的异源图像融合方法

技术领域

本发明属于异源图像、视频融合领域，特别涉及基于非下采样Contourlet变换NSCT的异源图像融合，主要用于红外图像、可见光图像、多聚焦图像、遥感图像等异源图像的融合，为一种基于区域和人眼对比敏感特性的异源图像融合方法。

背景技术

随着计算机科学技术和传感器技术的迅猛发展，越来越多的传感器被应用在各个领域中。由单一的可见光模式逐渐发展成为多种传感器模式，各种传感器具有不同的成像机理，工作于不同的波长范围，满足不同工作环境的需要。为了满足实际中更多的应用，多传感器信息融合技术应运而生。

异源图像融合为其中的一个分支，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻或方式下获得的同一场景的多幅图像合成为一幅包含输入图像相关信息的图像的过程。融合技术可以克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性，提高图像的质量，从而可以有利于对事件的检测、识别和分析。主要优势可以分为以下几点：

（1）利用多个传感器提供的冗余信息来提高融合图像的精确性、可靠性和鲁棒性，即使其中的个别传感器发生故障也不会对最终的融合图像产生严重影响；

（2）不同传感器提供的信息具有互补性，可以使融合后的图像包含更丰富、更全面的信息，带来更好的视觉感受，更有利于机器视觉对图像进一步分析、处理以及目标识别；

（3）在恶劣环境条件下，通过多传感器图像融合可以改善单一传感器的检测性能。例如，低光照、烟雾等会降低图像质量甚至导致无法看清目标，而毫米波雷达获得的图像对于低光照、烟雾等有很强的穿透能力，红外相机则完全无视恶劣环境的存在，只接收物体的红外信号，尽管信号有所衰减，但仍然能获得比较清晰的图像。

因此，融合可以使异源的图像缺点互补，各自优势得以更好的发展。

异源图像融合技术的发展过程中，多尺度分析方法和融合规则都在不断地向前发展。当前较为热门的就是多分辨率分析。目前已有的多尺度方向分析方法有脊波(Ridgelet)变换、曲波Curvelet变换、Bandelet变换、Wedgelet变换、Beamlet变换以及较新的非下采样Contourlet变换等。在融合规则的制定和选择方面，西安电子科技大学的李智杰等提出的基于Curvelet变换的背景杂波抑制算法，对杂波和噪声有较强的抑制作用，同时很好地保留了目标点的信息。BelbachirA.N.等人提出一种基于Contourlet变换与小波变换结合的红外图像信息提取方法，从一系列天文红外图像中有效的提取出有用信息。

总之，异源图像的处理、分析与融合已经成为国内外的一个热点话题。融合图像的质量以及融合的实时性都亟待提高，本发明致力于融合图像质量提高方面的研究。

发明内容

本发明要解决的问题是：异源图像融合作为对事件的检测、识别和分析的有力技术，其融合图像的质量以及融合的实时性都亟待提高。

本发明的技术方案为：基于区域和人眼对比敏感特性的异源图像融合方法，用于异源图像的融合得到融合图像F，包括以下步骤：

1）对待融合的源图像A和B分别进行非下采样Contourlet变换，即NSCT分解：将源图像分解到Contourlet变换域，得到源图像A和B的各级子带系数，包括低频子带系数和高频子带系数：

和

分别为源图像A、B的低频子带系数，

和

为相应的尺度l、方向d的高频子带系数；

2）制定融合规则，得到融合图像系数：使用人眼视觉对比度函数LCSF对低频子带系数制定融合规则，使用人眼视觉绝对对比度灵敏度函数ACSF对第一级高频子带系数进行活性测度，采用感觉亮度对比度函数FBCF和局部平均梯度敏感性函数LGSF分别确定高频子带系数的融合规则，综合得到融合图像F的各级子带系数

用LCSF作为活性测度，对低频子带系数使用加权平均的融合规则：

$C_F^{\{\mathrm{1,1},\}}(x,y)={\mathrm{\ω}}_1\×C_A^{\left\{\mathrm{1,1}\right\}}(x,y)+(1-{\mathrm{\ω}}_1)\×C_B^{\left\{\mathrm{1,1}\right\}}(x,y)---\left(1\right)$

其中，

分别为红外图像与可见光图像低频子带系数的人眼视觉对比度函数值；

用ACSF作为活性测度，对第一级高频子带系数使用如下的融合规则：

$C_F^{\left\{\mathrm{1,2}\right\}}(x,y)=\left\{\begin{array}{ccc}{C}_A^{\left\{\mathrm{1,2}\right\}}(x,y)& \mathrm{if}& {\mathrm{ACSF}}_A^{\left\{\mathrm{1,2}\right\}}\&GreaterEqual;{\mathrm{ACSF}}_B^{\left\{\mathrm{1,2}\right\}}\\ C_B^{\left\{\mathrm{1,2}\right\}}(x,y)& \mathrm{if}& {\mathrm{ACSF}}_A^{\left\{\mathrm{1,2}\right\}}<{\mathrm{ACSF}}_B^{\left\{\mathrm{1,2}\right\}}\end{array}\right.---\left(2\right)$

和

分别为两幅源图像的判决因子；

采用感觉亮度对比度函数FBCF作为第二级高频子带系数融合的判决因子：

$\mathrm{FBCF}=\frac{\mathrm{klg}{C}^{*\{l,d\}}(x,y)+K_0}{\frac{1}{D}\underset{0}{\overset{D}{\mathrm{\&Sigma;}}}(\mathrm{klg}{C}^{*\{l,d\}}(x,y)+K_0)}---\left(3\right)$

$C^{*\{l,d\}}(x,y)=\underset{m=-\frac{a-1}{2}}{\overset{\frac{a-1}{2}}{\mathrm{\&Sigma;}}}\underset{n=-\frac{a-1}{2}}{\overset{\frac{a-1}{2}}{\mathrm{\&Sigma;}}}\mathrm{\&omega;}(m,n)C^{\{l,d\}}(x+m,y+n)---\left(4\right)$

式中，0≤x≤M,0≤y≤N，(x,y)为子带系数矩阵中系数的坐标，M、N为子带系数矩阵的大小，ω(m,n)为a×a的生成核，a为奇数，k和K₀为韦伯·费赫涅尔定律中的常数，C^{l，d}(x，y)为图像经NSCT分解后在尺度l、方向d上的高频子带系数，D是尺度l上的方向d的总数；

用FBCF作为活性测度，FBCF系数越大表示该尺度该方向下的感觉亮度相比于背景亮度的对比度越大，对第二级高频子带系数采取如下融合规则：

$C_F^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)=\left\{\begin{array}{ccc}{C}_A^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)& \mathrm{if}& {\mathrm{FBCF}}_A^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)\&GreaterEqual;{\mathrm{FBCF}}_B^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)\\ C_B^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)& \mathrm{if}& {\mathrm{FBCF}}_A^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y){<\mathrm{FBCF}}_B^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)\end{array}\right.,d=\mathrm{1,2,3,4}---\left(5\right)$

采用局部平均梯度敏感性函数LGSF作为第三级高频子带系数的判决因子：

$\mathrm{LGSF}=\frac{1}{b^2}\underset{x-\frac{b-1}{2}}{\overset{x+\frac{b-1}{2}}{\mathrm{\&Sigma;}}}\underset{y-\frac{b-1}{2}}{\overset{y+\frac{b-1}{2}}{\mathrm{\&Sigma;}}}\sqrt{{\left(\frac{\&PartialD;C^{\{l,d\}}(x,y)}{\&PartialD;x}\right)}^2+{\left(\frac{{\&PartialD;C}^{\{l,d\}}(x,y)}{\&PartialD;y}\right)}^2}---\left(6\right)$

式中，计算的是以(x,y)位置处系数为中心的b×b局部区域的LGSF，b为局部区域的行和列的值，C^{l,d}(x,y)为图像经NSCT分解后在尺度l、方向d上的高频子带系数，求解边缘子带系数的LGSF时在系数矩阵行或列的外侧补上相同的行或列；

用LGSF作为活性测度，LGSF系数越大，表示局部平均梯度越大，细节特征越明显，对第三级高频子带系数采取如下融合规则：

$C_F^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)=\left\{\begin{array}{cc}{C}_A^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)& {\mathrm{LGSF}}_A^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)<{\mathrm{LGSF}}_B^{\left\{\mathrm{1,4}\right\}1,d\}}(x,y)\\ C_B^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)& {\mathrm{LGSF}}_A^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)<{\mathrm{LGSF}}_B^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)\end{array}\right.,d=\mathrm{1,2},...,8---\left(7\right);$

3）重构图像：对步骤2）得到的融合图像F的各级子带系数

进行非下采样Contourlet逆变换，重构得到融合后的图像。

进一步的，将不同视频同一时间的图像帧融合，实现异源视频融合。

所述异源图像包括红外图像、可见光图像、多聚焦图像或遥感图像。

本发明主要针对特殊环境下由单一传感器图像在光谱、空间分辨率等方面的局限性所造成的事件检测、识别、分析困难，对异源图像的融合展开研究，在融合规则上进行创新，提出感觉亮度对比度函数FBCF和局部平均梯度敏感性函数LGSF，提高融合图像的质量。

本发明充分考虑到人眼具有的同时对比效应、颜色对比效应、马赫带效应等视觉特性，且人眼视觉系统观察图像的过程与基于多分辨率分析的图像处理过程十分相似。本发明提出了基于多分辨率分析的人眼区域对比敏感特性视觉函数，即感觉亮度对比度函数FBCF和局部平均梯度敏感性函数LGSF，采用先进的NSCT变换作为多分辨率分析工具，将本发明提出的基于多分辨率分析的人眼区域对比敏感特性视觉函数用作活性测度，分别对不同级的子带选取不同的融合规则，得到融合后的结果。经客观质量指标进行评价，本发明融合图像的质量较传统方法有明显的提高。

本发明符合人眼的视觉特性，很大程度上提高了融合图像的质量，具有鲁棒性，适用于红外与可见光图像、多聚焦图像、遥感图像等多种图像源的融合，应用前景广泛。

附图说明

图1为本发明依据的人眼感觉亮度和真实亮度的关系曲线，即韦伯·费赫涅尔定理曲线。

图2为本发明中NSCT分解后的高频方向子带结构图，图（a）为四方向，图（b）为八方向。

图3为本发明实施例用于红外与可见光图像融合的仿真结果与其他方法对比，图（a）为红外源图像，（b）为可见光源图像，（c）为现有的基于NSCT的融合图像，（d）为本发明方法的融合图像。

图4为本发明实施例用于多聚焦图像融合的仿真结果与其他方法对比，（a）为聚焦在右侧的源图像，（b）为聚焦在左侧的源图像，（c）为现有的基于NSCT的融合图像，（d）为本发明方法的融合图像。

图5为本发明实施例用于遥感图像融合的仿真结果与其他方法对比，（a）为多光谱源图像，（b）为全色段源图像，（c）为现有的基于NSCT的融合图像，（d）为本发明方法的融合图像。

具体实施方式

本发明基于区域和人眼对比敏感特性的异源图像融合方法，包含如下步骤：（1）对待融合的源图像分别用非下采样Contourlet变换NSCT进行多尺度分解，得到源图像的各阶子带系数；（2）根据人眼视觉对比度函数LCSF、人眼视觉绝对对比度灵敏度函数ACSF、感觉亮度对比度函数FBCF和局部平均梯度敏感性函数LGSF分别制定低频子带系数和各级高频子带系数的融合规则，得到融合图像的各级子带系数；（3）对融合后的系数进行NSCT逆变换，重构得到融合后的图像，具体实施如下：

（1）对待融合的源图像A和源图像B分别进行非下采样Contourlet变换，即NSCT分解：对两幅源图像分别进行三层NSCT分解，三层高频子带的方向滤波器组分解方向子带数分别是[1,4,8]，第二层和第三层的的子带方向d如图2所示。得到源图像A和B的各阶子带系数分别为：

0≤x≤M、0≤y≤N，l=2,3,4，d=1,2...8，其中，

和

分别为源图像A、B的低频子带系数，和

为相应的尺度l、方向d高频子带系数，NSCT分解为现有技术，本发明中不再详述。

（2）制定融合规则，得到融合图像系数：沿用经典的人眼视觉对比度函数LCSF对低频子带系数制定融合规则，沿用前人提出的人眼视觉绝对对比度灵敏度函数ACSF对一级高频子带系数进行活性测度，采用本发明提出的感觉亮度对比度函数FBCF和局部平均梯度敏感性函数LGSF分别制定各级高频子带系数的融合规则，综合得到融合图像F的各级子带系数

低频子带系数融合规则：

${\mathrm{LCSF}}_A^{\left\{\mathrm{1,1}\right\}}=\frac{C_A^{\left\{\mathrm{1,1}\right\}}(x,y)}{\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{N}{\mathrm{\&Sigma;}}}{C}_A^{\left\{\mathrm{1,1}\right\}}(x,y)},0\&le;x\&le;M,0\&le;y\&le;N---\left(8\right)$

${\mathrm{LCSF}}_B^{\left\{\mathrm{1,1}\right\}}=\frac{C_B^{\left\{\mathrm{1,1}\right\}}(x,y)}{\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{N}{\mathrm{\&Sigma;}}}{C}_B^{\left\{\mathrm{1,1}\right\}}(x,y)},0\&le;x\&le;M,0\&le;y\&le;N---\left(9\right)$

式中，

分别为红外图像与可见光图像低频子带系数的人眼视觉对比度函数值，(x,y)为子带系数矩阵中系数的坐标，M、N为子带系数矩阵的大小。

的函数值越大，表明红外或可见光图像背景信息含量越多。

用

表示红外图像的对比度在两幅图像中的敏感性权重，对低频子带融合规则采用如下加权平均方法，

$C_F^{\{\mathrm{1,1},\}}(x,y)={\mathrm{\&omega;}}_1\&times;C_A^{\left\{\mathrm{1,1}\right\}}(x,y)+(1-{\mathrm{\&omega;}}_1)\&times;C_B^{\left\{\mathrm{1,1}\right\}}(x,y)---\left(1\right)$

高频子带系数融合规则：源图像经NSCT分解后，第一级高频子带系数未进行方向滤波，第二级和第三级高频子带系数分别进行四方向和八方向的方向滤波，第一级到第三级高频子带系数分别为C^{{1，2}{1，1}}(x,y)、C^{{1，3}{1，d}}(x,y)（d=1,2,3,4）和C^{{1，4}{1，d}}(x,y)（d=1，2,...,8）。

第一级高频子带融合规则：沿用人眼视觉绝对对比度灵敏度函数ACSF，分别计算两幅源图像判决因子，如下，

${\mathrm{ACSF}}_A^{\{1,2\}}=\frac{C_A^{\{1,2\}}(x,y)}{C_A^{\left\{\mathrm{1,1}\right\}}(x,y)},0\&le;x\&le;M,0\&le;y\&le;N---\left(11\right)$

${\mathrm{ACSF}}_B^{\{1,2\}}=\frac{C_B^{\{1,2\}}(x,y)}{C_B^{\left\{\mathrm{1,1}\right\}}(x,y)},0\&le;x\&le;M,0\&le;y\&le;N---\left(12\right)$

高频子带系数包含图像的细节信息，ACSF值越大，表明图像边缘特征相对于背景越显著。由此，第一级高频子带系数融合规则如下所示，

$C_F^{\left\{\mathrm{1,2}\right\}}(x,y)=\left\{\begin{array}{ccc}{C}_A^{\left\{\mathrm{1,2}\right\}}(x,y)& \mathrm{if}& {\mathrm{ACSF}}_A^{\left\{\mathrm{1,2}\right\}}\&GreaterEqual;{\mathrm{ACSF}}_B^{\left\{\mathrm{1,2}\right\}}\\ C_B^{\left\{\mathrm{1,2}\right\}}(x,y)& \mathrm{if}& {\mathrm{ACSF}}_A^{\left\{\mathrm{1,2}\right\}}<{\mathrm{ACSF}}_B^{\left\{\mathrm{1,2}\right\}}\end{array}\right.---\left(2\right)$

第二级高频子带融合规则：采用感觉亮度对比度函数FBCF作为第二级高频子带系数融合的判决因子，

${\mathrm{FBCF}}_A^{\left\{\mathrm{1,3}\right\}\{1,d\}}=\frac{k\ln C^{*\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)+K_0}{\frac{1}{D}\underset{0}{\overset{D}{\mathrm{\&Sigma;}}}(k\ln C^{*\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)+K_0)},d=\mathrm{1,2,3,4}---\left(14\right)$

${\mathrm{FBCF}}_B^{\left\{\mathrm{1,3}\right\}\{1,d\}}=\frac{\mathrm{klg}{C}_B^{*\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)+K_0}{\frac{1}{D}\underset{0}{\overset{D}{\mathrm{\&Sigma;}}}(\mathrm{klg}{C}_B^{*\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)+K_0)},d=\mathrm{1,2,3,4}---\left(15\right)$

其中， $C^{*\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)=\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}\mathrm{\&omega;}(m,n)C^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x+m,y+n),$ ω(m,n)为a×a的生成核，习惯采用a=3、a=5等奇数，本发明依据人眼感觉亮度和真实亮度的关系，即韦伯·费赫涅尔定律，k和K₀为韦伯·费赫涅尔定律中的常数，在实验中取k=100,K₀=100，韦伯·费赫涅尔定理曲线如图1所示；

FBCF系数越大表示该尺度该方向下的感觉亮度相比于背景亮度的对比度越大，则第二级高频子带系数融合规则如下，

$C_F^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)=\left\{\begin{array}{ccc}{C}_A^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)& \mathrm{if}& {\mathrm{FBCF}}_A^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)\&GreaterEqual;{\mathrm{FBCF}}_B^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)\\ C_B^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)& \mathrm{if}& {\mathrm{FBCF}}_A^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y){<\mathrm{FBCF}}_B^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)\end{array}\right.---\left(5\right)$

其中，d＝1,2,3,4，此处使用的是3×3的ω(m,n)生成核。

第三级高频子带融合规则：采用局部平均梯度敏感性函数LGSF作为第三级高频子带系数的判决因子，方法如下，

式中，计算的是以(x,y)位置处系数为中心的b×b局部区域的LGSF，b为局部区域的行和列的值，此处取为[3,3]滑块。

LGSF系数越大，表示局部平均梯度越大，细节特征越明显，据此给出第三级高频子带系数融合规则，如下，

$C_F^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)=\left\{\begin{array}{cc}{C}_A^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)& {\mathrm{LGSF}}_A^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)<{\mathrm{LGSF}}_B^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)\\ C_B^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)& {\mathrm{LGSF}}_A^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)<{\mathrm{LGSF}}_B^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)\end{array}\right.,d=\mathrm{1,2},...,8---\left(19\right)$

（3）重构图像：对(2)中得出的融合图像F的各级子带系数

进行非下采样Contourlet逆变换，得到融合图像F。

（4）融合质量评价：本发明红外与可见光图像融合、多聚焦图像融合和遥感图像融合为实施例，与现有的基于非下采样Contourlet变换也就是NSCT图像融合方法作比较，如图3－5所示，用不同评价指标对融合结果进行定量评价，分别选取基于单幅图像统计特性的均值、标准差、熵、梯度的评价指标，以及基于源图像对比特性的相关系数、光谱扭曲度、偏差指数作为评价指标。

表1对多种异源图像融合质量的客观评价结果

分析表1中各评价指标：均值即灰度值128附近时，人眼视觉效果最好；标准差越大，灰度级分布越分散，则表明图像的对比度也就越大；平均梯度越大，图像就越清晰；信息熵越大，则表明融合图像信息量越丰富；相关系数越大，表明融合图像F从高分辨率源图像中提取的信息量越多；光谱扭曲度直接反映了融合图像的失真程度；偏差指数用来反映融合图像在光谱信息上的匹配程度和将源高分辨率图像的细节传递给融合图像的能力。由此可见，采用本发明的融合规则得到的融合图像质量远高于低频平均、高频取大的一般融合规则得到的图像。

Claims (3)

1.基于区域和人眼对比敏感特性的异源图像融合方法，其特征是用于异源图像的融合得到融合图像F，包括以下步骤：

1）对待融合的源图像A和B分别进行非下采样Contourlet变换，即NSCT分解：将源图像分解到Contourlet变换域，得到源图像A和B的各级子带系数，包括低频子带系数和高频子带系数：

和

分别为源图像A、B的低频子带系数，

和

为相应的尺度l、方向d的高频子带系数；

2）制定融合规则，得到融合图像系数：使用人眼视觉对比度函数LCSF对低频子带系数制定融合规则，使用人眼视觉绝对对比度灵敏度函数ACSF对第一级高频子带系数进行活性测度，采用感觉亮度对比度函数FBCF和局部平均梯度敏感性函数LGSF分别确定高频子带系数的融合规则，综合得到融合图像F的各级子带系数

用LCSF作为活性测度，对低频子带系数使用加权平均的融合规则：

$C_F^{\{\mathrm{1,1},\}}(x,y)={\mathrm{\&omega;}}_1\&times;C_A^{\left\{\mathrm{1,1}\right\}}(x,y)+(1-{\mathrm{\&omega;}}_1)\&times;C_B^{\left\{\mathrm{1,1}\right\}}(x,y)---\left(1\right)$

其中，

分别为红外图像与可见光图像低频子带系数的人眼视觉对比度函数值；

用ACSF作为活性测度，对第一级高频子带系数使用如下的融合规则：

$C_F^{\left\{\mathrm{1,2}\right\}}(x,y)=\left\{\begin{array}{ccc}{C}_A^{\left\{\mathrm{1,2}\right\}}(x,y)& \mathrm{if}& {\mathrm{ACSF}}_A^{\left\{\mathrm{1,2}\right\}}\&GreaterEqual;{\mathrm{ACSF}}_B^{\left\{\mathrm{1,2}\right\}}\\ C_B^{\left\{\mathrm{1,2}\right\}}(x,y)& \mathrm{if}& {\mathrm{ACSF}}_A^{\left\{\mathrm{1,2}\right\}}<{\mathrm{ACSF}}_B^{\left\{\mathrm{1,2}\right\}}\end{array}\right.---\left(2\right)$

和分别为两幅源图像的判决因子；

采用感觉亮度对比度函数FBCF作为第二级高频子带系数融合的判决因子：

$\mathrm{FBCF}=\frac{\mathrm{klg}{C}^{*\{l,d\}}(x,y)+K_0}{\frac{1}{D}\underset{0}{\overset{D}{\mathrm{\&Sigma;}}}(\mathrm{klg}{C}^{*\{l,d\}}(x,y)+K_0)}---\left(3\right)$

$C^{*\{l,d\}}(x,y)=\underset{m=-\frac{a-1}{2}}{\overset{\frac{a-1}{2}}{\mathrm{\&Sigma;}}}\underset{n=-\frac{a-1}{2}}{\overset{\frac{a-1}{2}}{\mathrm{\&Sigma;}}}\mathrm{\&omega;}(m,n)C^{\{l,d\}}(x+m,y+n)---\left(4\right)$

式中，0≤x≤M,0≤y≤N，(x,y)为子带系数矩阵中系数的坐标，M、N为子带系数矩阵的大小，ω(m,n)为a×a的生成核，a为奇数，k和K₀为韦伯·费赫涅尔定律中的常数，C^{l，d}(x,y)为图像经NSCT分解后在尺度l、方向d上的高频子带系数，D是尺度l上的方向d的总数；

用FBCF作为活性测度，FBCF系数越大表示该尺度该方向下的感觉亮度相比于背景亮度的对比度越大，对第二级高频子带系数采取如下融合规则：

$C_F^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)=\left\{\begin{array}{ccc}{C}_A^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)& \mathrm{if}& {\mathrm{FBCF}}_A^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)\&GreaterEqual;{\mathrm{FBCF}}_B^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)\\ C_B^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)& \mathrm{if}& {\mathrm{FBCF}}_A^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y){<\mathrm{FBCF}}_B^{\left\{\mathrm{1,3}\right\}\{1,d\}}(x,y)\end{array}\right.,d=\mathrm{1,2,3,4}---\left(5\right)$

采用局部平均梯度敏感性函数LGSF作为第三级高频子带系数的判决因子：

$\mathrm{LGSF}=\frac{1}{b^2}\underset{x-\frac{b-1}{2}}{\overset{x+\frac{b-1}{2}}{\mathrm{\&Sigma;}}}\underset{y-\frac{b-1}{2}}{\overset{y+\frac{b-1}{2}}{\mathrm{\&Sigma;}}}\sqrt{{\left(\frac{\&PartialD;C^{\{l,d\}}(x,y)}{\&PartialD;x}\right)}^2+{\left(\frac{{\&PartialD;C}^{\{l,d\}}(x,y)}{\&PartialD;y}\right)}^2}---\left(6\right)$

式中，计算的是以(x,y)位置处系数为中心的b×b局部区域的LGSF，b为局部区域的行和列的值，C^{l，d}(x,y)为图像经NSCT分解后在尺度l、方向d上的高频子带系数，求解边缘子带系数的LGSF时在系数矩阵行或列的外侧补上相同的行或列；

用LGSF作为活性测度，LGSF系数越大，表示局部平均梯度越大，细节特征越明显，对第三级高频子带系数采取如下融合规则：

$C_F^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)=\left\{\begin{array}{cc}{C}_A^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)& {\mathrm{LGSF}}_A^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)<{\mathrm{LGSF}}_B^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)\\ C_B^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)& {\mathrm{LGSF}}_A^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)<{\mathrm{LGSF}}_B^{\left\{\mathrm{1,4}\right\}\{1,d\}}(x,y)\end{array}\right.,d=\mathrm{1,2},...,8---\left(7\right);$

3）重构图像：对步骤2）得到的融合图像F的各级子带系数

进行非下采样Contourlet逆变换，重构得到融合后的图像。

2.根据权利要求1所述的基于区域和人眼对比敏感特性的异源图像融合方法，其特征是将不同视频同一时间的图像帧融合，实现异源视频融合。

3.根据权利要求1所述的基于区域和人眼对比敏感特性的异源图像融合方法，其特征是所述异源图像包括红外图像、可见光图像、多聚焦图像或遥感图像。

Images