CN102946548B - 基于3维Log-Gabor变换的视频图像融合性能评价方法 - Google Patents

Abstract

本发明公开了一种基于3维Log-Gabor变换的视频图像融合性能评价方法，主要解决输入视频有噪声或背景运动情况下，现有技术不能准确评价融合算法性能的问题。其实现步骤是：利用3维Log-Gabor变换对输入视频和融合后视频进行多方向，多尺度分解；用视频图像的3维相位一致性构建时-空相位一致性评价因子；用视频图像的3维Log-Gabor变换系数幅值构建时-空信息提取评价因子；将时-空一致性评价因子和时-空信息提取评价因子结合，构建全局时-空性能评价因子，根据该因子的计算结果评价视频融合算法性能；结合人眼视觉ST-CSF公式、3维梯度结构张量设计局部和全局参数。本发明能准确评价有噪声或背景运动情况下融合算法性能，可用于评价视频图像融合算法性能。

Description

基于3维Log-Gabor变换的视频图像融合性能评价方法

技术领域

本发明涉及图像处理领域，具体说是一种视频融合性能评价方法，该方法用于从时-空信息提取及时-空一致性两个方面综合评价各种融合方法的性能。

技术背景

图像融合技术已经广泛应用于机器视觉、数码相机、目标识别等领域。然而，目前绝大多数图像融合方法是针对静态图像融合处理而设计的，而有关多传感器视频图像融合研究较少。在安全监视以及战场环境下的目标检测和识别等实际应用中，往往需要对来自多个传感器的视频图像进行融合处理。视频图像融合不仅在空间性能上要满足一般图像融合的基本要求，即融合后视频图像各帧图像应尽可能地保留输入视频图像各帧图像中的有用信息和避免引入虚假信息等；在时间性能上还要满足时间一致性和稳定性，即融合后视频图像中各帧图像之间的灰度值差异仅能由输入视频图像中各帧图像之间的灰度值差异引起，而不能由算法自身融合过程引入(O.Rockinger,“Image sequence fusion using a shift invariant wavelet transform,”IEEETransactions on Image Processing,Vol.3,1997,pp.288-291.)。

目前大多数的融合性能评价方法都是针对于静态图像融合性能的评价，例如：基于梯度信息保留的性能评价方法(V.Petrovic,C.Xydeas,“Objective evaluationof signal-level image fusion performance”,Optical Engineering,SPIE,Vol.44,No.8,2005,pp.087003.)和基于结构相似度的性能评价方法(G.Piella,H.Heijmans,“A new quality metric for image fusion,”IEEE InternationalConference on Image Processing,2003.)等。可以采用逐帧评价方式将上述静态图像融合性能评价方法用于视频图像融合性能评价中，但这种评价方法只能从空间信息提取一个方面对视频图像融合算法进行评价。为了评价各视频融合算法在时间一致性和稳定性方面的融合性能，Rockinger提出了一种基于帧差图像互信系熵的视频图像融合性能评价方法(O.Rockinger,“Image sequence fusion using a shiftinvariant wavelet transform”，IEEE Transactions on Image Processing,Vol.3,1997,pp.288-291.)。与其它静态图像融合性能评价方法一样，该方法对视频图像融合性能评价时存在片面性。Petrovic等在基于空间梯度信息保留的融合性能评价方法的基础上，设计了一种基于空间-时间联合梯度信息保留的视频图像融合性能评价方法（V.Petrovic,T.Cootes,R.Pavlovic,“Dynamic image fusion performanceevaluation,”10th International Conference on Information Fusion,2007），这种方法能够从空间信息提取及时间一致性和稳定性两个方面对视频图像融合性能进行综合评价。然而，该方法是一种基于梯度信息的性能评价方法，易受噪声影响。该方法在设计过程中没有考虑人眼视觉感知特性，而人眼往往是视频图像融合的最终接收端。Qiang Zhang等设计了一种基于结构相似度和人眼视觉的空间-时间视频图像融合性能评价方法，（Qiang Zhang,Long Wang,“Video fusion performanceevaluation based on structural similarity and human visual perception”,10thSignal Processing,2011）,这种方法能从空间信息提取和时间一致性和稳定性两方面对视频进行评价，然而，该因子中时间一致性和稳定性评价因子是基于帧差图像构建，对噪声很敏感，并且该评价因子的实现过程也有一定难度。

在输入视频有噪声或背景运动这两种情况下，以上所有性能评价方法均不能给出准确的性能评价结果。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于3维Log-Gabor变换的视频图像融合性能评价方法，从时-空信息提取及时-空一致性两个方面综合评价视频图像融合的融合性能，同时结合人眼视觉ST-CSF公式和3维梯度结构张量使得在输入视频有噪声或背景运动下的评价结果更准确。

本发明的目的是这样实现的：

一．技术原理

本发明把视频信号看作一种三维信号，利用三维Log-Gabor滤波器对输入视频图像和融合后视频图像进行多尺度、多方向分解；把输入视频图像和融合后视频图像分成大小相同且互补重叠3维时-空子块；对于每一个3维时-空子块，利用输入视频图像和融合后视频图像的三维Log-Gabor变换系数的幅值和相位信息构建与相应视频对应的3维相位一致性信息，从而构建时-空一致性融合性能评价因子，利用输入视频图像和融合后视频图像的三维Log-Gabor变换系数的幅值信息构建时-空信息提取融合性能评价因子，将时-空一致性融合性能评价因子和时-空信息提取融合性能评价因子结合，构建局部时-空融合性能评价因子；对所有的3维时-空子块的局部时-空融合性能评价因子进行加权平均，构建全局时-空融合性能评价因子。同时根据人眼视觉ST-CSF公式和3维梯度结构张量特性设计所需要的局部和全局参数，使得客观评价结果更准确且对噪声具有很好的鲁棒性。其中，人眼视觉ST-CSF公式表明人眼视觉的时空敏感度与空间频率和时间频率大小呈一定的曲面分布关系；三维梯度结构张量特性如下：三维梯度结构张量矩阵是一个3×3的对称矩阵，三维梯度结构张量矩阵的最大特征值和其对应的特征向量分别对应窗口中能量变化的主方向及变化量。

二．实现步骤

(1)在3维频域球坐标系中，构建3维Log-Gabor滤波器：

其中，k=1,2,..,N表示第k通道的Log-Gabor滤波器，N为总的通道数，ρ_k表示该通道滤波器的中心径向频率，θ_k和分别为相应通道滤波器的方向角和仰角，θ_k和共同决定了滤波器的中心方向，σ_k,ρ和σ_k,ζ分别决定该滤波器的径向带宽和角度带宽，为球坐标系中某一点与该滤波器中心频点之间的夹角；

(2)采用3维Log-Gabor滤波器对两个输入视频Va、Vb和两个输入视频融合后的视频Vf分别进行多尺度，多方向分解，得到第一个输入视频Va的复数分解系数第二个输入视频Vb的复数分解系数和融合后的视频Vf的复数分解系数

(3)把两个输入视频Va、Vb和两个输入视频融合后视频Vf均分成M个大小相同且互补重叠的3维时-空子块R(j)，其中j=1,2,...,M；

(4)针对第j个子块R(j)，构建时-空一致性融合性能评价因子Q_STC(Va,Vb,Vf|R_j)：

$Q_{\mathrm{STC}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\left\{\begin{array}{c}\frac{{\mathrm{\&omega;}}_a\left(j\right)\&CenterDot;Z_{\mathrm{fa}}\left(j\right)+{\mathrm{\&omega;}}_b\left(j\right)\&CenterDot;Z_{\mathrm{fb}}\left(j\right)}{{\mathrm{\&omega;}}_a\left(j\right)+{\mathrm{\&omega;}}_b\left(j\right)},Z_{\mathrm{ab}}\left(j\right)>=\mathrm{Th}1\\ \max (Z_{\mathrm{fa}}\left(j\right),Z_{\mathrm{fb}}\left(j\right)),Z_{\mathrm{ab}}\left(j\right)<\mathrm{Th}1\end{array}\right.$

其中，ω_a(j)和ω_b(j)分别为输入视频Va和输入视频Vb相应子块R(j)的权值，Z_fa(j)是PC_f(x,y,t)和PC_a(x,y,t)在子块R(j)内的去均值归一化互相关系数，Z_fb(j)是PC_f(x,y,t)和PC_b(x,y,t)在子块R(j)内的去均值归一化互相关系数，Z_ab(j)是PC_a(j)和PC_b(x,y,t)在子块R(j)内的去均值归一化互相关系数，PC_a(x,y,t)、PC_b(x,y,t)和PC_f(x,y,t)分别为两个输入视频Va、Vb和两个输入视频融合后视频Vf的时-空相位一致性特征，Th1为用于判断输入视频图像在该区域内相似度关系的阈值， $\mathrm{Th}1=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{Z}_{\mathrm{ab}}\left(j\right);$

(5)针对第j个子块R(j)，构建时-空信息提取融合性能评价因子Q_STE(Va,Vb,Vf|R_j)：

$Q_{\mathrm{STE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\frac{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&chi;}}_k{Q}_{\mathrm{STE}}^k(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)}{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&chi;}}_k}$

其中，N表示滤波器通道总数,χ_k是第k通道下局部区域R(j)对应的权系数，是第k通道下子块R(j)的时-空信息提取融合性能评价因子，“|”为参与运算各个视频与指定运算区域的分隔线；

(6)按照如下方式对时-空一致性融合性能评价因子Q_STC(Va,Vb,Vf|R_j)和时-空信息提取融合性能评价因子Q_STE(Va,Vb,Vf|R_j)进行组合，构建第j个子块R(j)的局部时-空融合性能评价因子：

其中，表示一种非负操作，当操作数为正数时，输出结果为原数，否则为0；参数δ取值范围为[0,1]；

(7)构建全局时-空融合性能评价因子Q_{ST_CE}(Va,Vb,Vf)为：

$Q_{\mathrm{ST}\_\mathrm{CE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf})=\frac{\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;}\left(j\right)Q_{\mathrm{ST}\_\mathrm{CE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)}{\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;}\left(j\right)}$

其中，γ(j)为第j个子块R(j)的全局权系数。

（8）根据全局时-空融合性能评价因子Q_{ST_CE}(Va,vb,Vf)的计算结果，判断视频融合算法性能，计算结果越大则表明视频融合性能越好。

本发明具有如下效果：

(1)本发明能够从时-空信息提取及时-空一致性两个方面对视频图像融合算法的性能进行综合评价。

本发明将多帧输入视频图像看作一种3维信号，采用3维Log-Gabor变换对视频信号进行多尺度、多方向分解；把视频图像分成大小相同且互补重叠的3维时-空子块；对于每一个3维时-空子块，利用输入视频图像和融合后视频图像的三维Log-Gabor变换系数的幅值和相角信息构建视频的3维相位一致性，基于视频的3维相位一致性特性构建时-空一致性融合性能评价因子，利用输入视频图像和融合后视频图像的三维Log-Gabor变换系数的幅值信息，构建时-空信息提取融合性能评价因子，将两者结合构建局部时-空融合性能评价因子；把所有3维时-空子块的局部时-空融合性能评价因子加权平均，构建全局时-空融合性能评价因子，从而对视频融合算法进行全局客观评价。

（2）评价因子的客观评价结果符合人眼主观评价。

本发明设计的3维Log-Gabor滤波器模拟人眼多通道，多分辨率，多视角特性，且本发明的时-空信息提取融合性能评价因子的构建是基于采用人眼视觉ST-CSF公式加权后的3维Log-Gabor变换系数幅值构成，人眼视觉ST-CSF公式能够根据人眼视觉的时空敏感度高低与空间频率和时间频率大小关系呈一定的高低曲面分布，采用ST-CSF公式作为权系数能够确保评价结果更准确且符合人眼主观评价。

（3）评价因子的对噪声具有很好的鲁棒性，且能够更为准确评价背景运动情况下的融合算法性能。

本发明设计的时-空一致性融合性能评价因子的构建基于输入视频信号和融合后视频信号的三维相位一致性信息，其权系数设计利用3维梯度结构张量，在构建3维梯度结构张量矩阵过程中，本发明对三维子区域的梯度信息进行了加权平均，故对噪声起到很好的消弱作用，使其在评价有噪声信息的情况下，效果更好。本发明中的三维相位一致性信息能够全面的提取视频的运动信息，3维梯度结构张量矩阵的特征值和特征向量能够从时空上准确的表明信息主要能量运动方向和大小，故使其在评价背景运动视频更为准确。

附图说明

图1为本发明流程框图；

图2为第一组两个输入视频图像的当前帧图像；

图3为采用六种融合方法分别对第二组两幅当前帧图像融合后的图像。

具体实施方式

以下参照图1对本发明做进一步详细的描述：

第一步，在3维频域球坐标系中内构建3维Log-Gabor滤波器：

其中，k=1,2,..,N表示第k通道的Log-Gabor滤波器，N为总的通道数，ρ_k表示该通道滤波器的中心径向频率，θ_k和分别为相应通道滤波器的方向角和仰角，θ_k和共同决定了滤波器的中心方向，σ_k,ρ和σ_k,ζ分别决定该滤波器的径向带宽和方向角带宽，为坐标系中某一点与该滤波器中心频点之间的夹角。本发明中滤波器尺度个数为3，相应的ρ_k分别取0.7π,0.4π,0.25π，σ_k,ρ取以保证每一个滤波器径向带宽为1倍频程，每个尺度下有60个不同中心方向角的滤波器，即：当θ_k=0时，对应8个滤波器，当时，对应18个滤波器，当时，对应34个滤波器，总滤波器个数为N=180。

第二步，采用3维Log-Gabor滤波器对两个输入视频Va、Vb和两个输入视频融合后的视频Vf分别进行多尺度，多方向分解，得到第一个输入视频Va的复数分解系数第二个输入视频Vb的复数分解系数和融合后的视频Vf的复数分解系数

第三步，把输入视频Va、Vb和融合后视频vf分别分成M个大小相同且互补重叠3维时-空子块R(j)，其中j=1,2,...,M，M为总的子块数。

第四步，针对每一个子区域R(j)，按如下步骤构建时-空一致性融合性能评价因子Q_STC(Va,Vb,Vf|R_j)：

(4.1)按如下公式计算输入视频Va的相位一致性PC_a(x,y,t)，输入视频Vb的相位一致性PC_b(x,y,t)和融合后视频vf的相位一致性PC_f(x,y,t)：

其中，i＝a,b,f，表示一种非负操作，当操作数为正数时，输出结果为原数，否则为0，|·|表示取模值运算，和分别表示第k通道下视频的频谱扩展权系数和噪声阈值，第k通道下视频的偏差相角，按如下公式计算：

式中，为复分解系数的相位角，为相应时-空位置处所有尺度下分解系数相位角的均值，按如下公式计算：

式中，Im(·)和Re(·)分别表示复系数的虚部和实部；

(4.2)针对子区域R(j)，分别计算PC_f(x,y,t)与PC_a(x,y,t)的去均值归一化互相关系数Z_fa(j)和PC_f(x,y,t)与PC_b(x,y,t)的去均值归一化互相关系数Z_fb(j)，以及PC_a(x,y,t)与PC_b(x,y,t)的之间的去均值归一化互相关系数Zab(j)：

$Z_{\mathrm{fa}}\left(j\right)=\frac{{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}({\mathrm{PC}}_f(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{f,j})({\mathrm{PC}}_a(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{a,j})}{\sqrt{{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}{({\mathrm{PC}}_f(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{f,j})}^2{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}{({\mathrm{PC}}_a(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{a,j})}^2}}$

$Z_{\mathrm{fb}}\left(j\right)=\frac{{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}({\mathrm{PC}}_f(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{f,j})({\mathrm{PC}}_b(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{b,j})}{\sqrt{{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}{({\mathrm{PC}}_f(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{f,j})}^2{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}{({\mathrm{PC}}_b(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{b,j})}^2}}$

$Z_{\mathrm{ab}}\left(j\right)=\frac{{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}({\mathrm{PC}}_a(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{a,j})({\mathrm{PC}}_b(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{b,j})}{\sqrt{{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}{({\mathrm{PC}}_a(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{a,j})}^2{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}{({\mathrm{PC}}_b(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{b,j})}^2}}$

其中，和分别是第一个输入视频Va、第二个输入视频Vb和融合后视频Vf的相位一致性PC_a(x,y,t)、PC_b(x,y,t)和PC_f(x,y,t)在区域R(j)内的均值；

(4.3)针对当前区域R(j)分别构建第一个输入视频图像Va和第二个输入视频图像Vb以及融合后视频图像Vf的时空梯度结构张量矩阵G_a(R_j)，G_b(R_j)和G_f(R_j)：

$G_i\left(R_j\right)=\left(\begin{array}{ccc}\underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_x^2(x,y,t)& \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_x(x,y,t){\mathrm{Vi}}_y(x,y,t)& \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_x(x,y,t){\mathrm{Vi}}_t(x,y,t)\\ \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{{\mathrm{Vi}}_x}_{(x,y,t)}{\mathrm{Vi}}_y(x,y,t)& \underset{(x,y,t)}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_y^2(x,y,t)& \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_y(x,y,t){\mathrm{Vi}}_t(x,y,t)\\ \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_x(x,y,t){\mathrm{Vi}}_t(x,y,t)& \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_y(x,y,t){\mathrm{Vi}}_t(x,y,t)& \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_t^2(x,y,t)\end{array}\right)$

其中，i＝a,b,f，vi_x(x,y,t)，Vi_y(x,y,t)和Vi_t(x,y,t)分别表示视频沿x轴，y轴和t轴方向的一阶偏微分；

(4.4)分别计算第一个输入视频Va和第二个输入视频vb在子区域R(j)内的权值ω_a(j)和ω_b(j)：

${\mathrm{\&omega;}}_a\left(j\right)={\mathrm{\&lambda;}}_{\max \_a}\left(j\right)\&CenterDot;e^{(1+\cos (v_{\max \_a}\left(j\right),v_{\max \_f}\left(j\right))}$

${\mathrm{\&omega;}}_b\left(j\right)={\mathrm{\&lambda;}}_{\max \_b}\left(j\right)\&CenterDot;e^{(1+\cos (v_{\max \_b}\left(j\right),v_{\max \_f}\left(j\right))}$

其中，λ_{max_a}(j)和v_{max_a}(j)分别为矩阵G_a(R_j)的最大特征值及其对应的特征向量，λ_{max_b}(j)和v_{max_b}(j)分别为矩阵G_b(R_j)的最大特征值及其对应的特征向量，v_{max_f}(j)为矩阵G_f(R_j)的最大特征值对应的特征向量；

(4.5)根据第一个输入视频Va和第二个输入视频Vb在子区域R(j)内的权值ω_a(j)和ω_b(j)，PC_f(x,y,t)与PC_a(x,y,t)的去均值归一化互相关系数Z_fa(j)和PC_f(x,y,t)与PC_b(x,y,t)的去均值归一化互相关系数Z_fb(j)，以及PC_a(x,y,t)与PC_b(x,y,t)的之间的去均值归一化互相关系数Z_ab(j)，得到子区域R(j)的时-空一致性融合性能评价因子Q_STC(Va,Vb,Vf|R_j)：

$Q_{\mathrm{STC}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\left\{\begin{array}{c}\frac{{\mathrm{\&omega;}}_a\left(j\right)\&CenterDot;Z_{\mathrm{fa}}\left(j\right)+{\mathrm{\&omega;}}_b\left(j\right)\&CenterDot;Z_{\mathrm{fb}}\left(j\right)}{{\mathrm{\&omega;}}_a\left(j\right)+{\mathrm{\&omega;}}_b\left(j\right)},Z_{\mathrm{ab}}\left(j\right)>=\mathrm{Th}1\\ \max (Z_{\mathrm{fa}}\left(j\right),Z_{\mathrm{fb}}\left(j\right)),Z_{\mathrm{ab}}\left(j\right)<\mathrm{Th}1\end{array}\right..$

第五步，针对每一个子区域R(j)，构建时-空信息提取融合性能评价因子Q_STE(Va,Vb,Vf|R_j)，按如下步骤构建：

（5.1）针对每一个子区域R(j)，分别计算输入视频Va的复数分解系数模值输入视频Vb的复数分解系数模值和融合后视频Vf的复数分解系数模值两两之间的结构相似度

$S_{\mathrm{fa}}^k\left(j\right)=\frac{({2\mathrm{\&mu;}}_a\left(j\right){\mathrm{\&mu;}}_f\left(j\right)+C_1)}{({\mathrm{\&mu;}}_a^2\left(j\right)+{\mathrm{\&mu;}}_f^2\left(j\right)+C_1)}\&CenterDot;\frac{({2\mathrm{\&sigma;}}_{a,f}\left(j\right)+C_2)}{({\mathrm{\&sigma;}}_a^2\left(j\right)+{\mathrm{\&sigma;}}_f^2\left(j\right)+C_2)}$

$S_{\mathrm{fb}}^k\left(j\right)=\frac{({2\mathrm{\&mu;}}_b\left(j\right){\mathrm{\&mu;}}_f\left(j\right)+C_1)}{({\mathrm{\&mu;}}_b^2\left(j\right)+{\mathrm{\&mu;}}_f^2\left(j\right)+C_1)}\&CenterDot;\frac{({2\mathrm{\&sigma;}}_{b,f}\left(j\right)+C_2)}{({\mathrm{\&sigma;}}_b^2\left(j\right)+{\mathrm{\&sigma;}}_f^2\left(j\right)+C_2)}$

$S_{\mathrm{ab}}^k\left(j\right)=\frac{({2\mathrm{\&mu;}}_b\left(j\right){\mathrm{\&mu;}}_a\left(j\right)+C_1)}{({\mathrm{\&mu;}}_b^2\left(j\right)+{\mathrm{\&mu;}}_a^2\left(j\right)+C_1)}\&CenterDot;\frac{({2\mathrm{\&sigma;}}_{b,a}\left(j\right)+C_2)}{({\mathrm{\&sigma;}}_b^2\left(j\right)+{\mathrm{\&sigma;}}_a^2\left(j\right)+C_2)}$

其中，为与的结构相似度，为与的结构相似度，为与的结构相似度，μ_a(j)为当前通道下子块R(j)内的均值，μ_b(j)为当前通道下子块R(j)内的均值，μ_f(j)为当前通道下子块R(j)内的均值，σ_a(j)为相应区域内的方差、σ_b(j)为相应区域内的方差，σ_f(j)为相应区域内的方差，σ_a,f(j)为相应区域内和之间的协方差,σ_b,f(j)为相应区域内和之间的协方差，σ_b,a(j)为相应区域内和之间的协方差，C₁和C₂为固定常数；

（5.2）计算子区域R(j)在第k通道下的时-空信息提取性能评价因子

$Q_{\mathrm{STE}}^k(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j):$

$Q_{\mathrm{STE}}^k(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\left\{\begin{array}{c}\frac{{\mathrm{\&eta;}}_a^k\left(j\right)S_{\mathrm{af}}^k\left(j\right)+{\mathrm{\&eta;}}_b^k\left(j\right)S_{\mathrm{bf}}^k\left(j\right)}{{\mathrm{\&eta;}}_a^k\left(j\right)+{\mathrm{\&eta;}}_b^k\left(j\right)},S_{\mathrm{ab}}^k\left(j\right)\&GreaterEqual;\mathrm{Th}2\\ \max (S_{\mathrm{af}}^k\left(j\right).S_{\mathrm{bf}}^k\left(j\right)),S_{\mathrm{ab}}^k\left(j\right)<\mathrm{Th}2\end{array}\right.$

其中，Th2为用于确定输入视频图像在该区域内的相似度关系的阈值，第一个输入视频Va和第二个输入视频Vb在该区域内的局部权系数和可以按照如下公式构建：

${\mathrm{\&eta;}}_a^k\left(j\right)=\log (1+{\mathrm{\&sigma;}}_a\left(j\right)),$ ${\mathrm{\&eta;}}_b^k\left(j\right)=\log (1+{\mathrm{\&sigma;}}_b\left(j\right));$

（5.3）根据子区域R(j)在第k通道下的时-空信息提取性能评价因子得到该区域对应的时-空信息提取融合性能评价因子Q_STE(Va,Vb,Vf|R_j)：

$Q_{\mathrm{STE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\frac{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&chi;}}_k{Q}_{\mathrm{STE}}^k(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)}{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&chi;}}_k}$

其中，N表示通道总数，权系数χ_k按如下公式定义：

${\mathrm{\&chi;}}_k=(6.1+7.3\&CenterDot;|\log {\left(\frac{u_k}{3}\right)}^3\left|\right)\&CenterDot;u_k\&CenterDot;{{\mathrm{\&beta;}}_k}^2\&CenterDot;\exp \left(\frac{-2{\&CenterDot;\mathrm{\&beta;}}_k\&CenterDot;(u_k+2)}{45.9}\right),$

其中，β_k=2f_k，s，且f_k,x和f_k,y分别表示第k通道Log-Gabor滤波器的中心水平空间频率和中心垂直空间频率，f_k，t为当前通道Log-Gabor滤波器在笛卡尔坐标系下的中心时间频率，可以按照如下公式确定： f_k，t=ρ_kcos θ_k。

第六步，按照如下方式对时-空一致性评价因子Q_STC(Va,Vb,Vf|R_j)和时-空信息提取性能评价因子Q_STE(Va,Vb,Vf|R_j)进行组合，构建当前区域R(j)的局部时-空融合性能评价因子

其中，δ取值范围为[0,1]。

第七步，根据子区域R(j)的局部时-空融合性能评价因子Q_{ST_CE}(Va,Vb,Vf|R_j)构建全局时-空融合性能评价因子Q_{ST_CE}(Va,Vb,Vf)为：

$Q_{\mathrm{ST}\_\mathrm{CE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf})=\frac{\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;}\left(j\right)Q_{\mathrm{ST}\_\mathrm{CE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)}{\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;}\left(j\right)},$

其中，全局权系数γ(j)定义为：

γ(j)=max(ω_a(j),ω_b(j))，

式中，ω_a(j)和ω_b(j)为构建局部时-空一致性客观评价因子Q_STC(Va,Vb,Vf|R_j)过程中所采用的局部权系数。

第八步，根据全局时-空融合性能评价因子Q_{ST_CE}(Va,Vb,Vf)的计算结果，判断视频融合算法的性能，计算结果越大则表明视频融合性能越好。

输入如图2所示是一组动态背景的红外与可见光图像，其中，图2(a)为可见光输入视频图像中当前帧图像，图2(b)为红外输入视频图像中当前帧图像。

8.1)用六种不同的融合方法对输入的两个视频图像进行融合，图3所示，其中，图3(a)为三维双树复数小波变换3D-DTCWT融合方法融合视频图像中当前帧图像，图3(b)为离散小波框架滤波器DWFT融合方法融合视频图像中当前帧图像，图3(c)为离散小波变换DWT融合方法融合视频图像中当前帧图像，图3(d)为三维离散小波变换3D_DWT融合方法融合视频图像中当前帧图像，图3(e)为S-T(Surfacelet变换)融合方法融合视频图像中当前帧图像，图3(f)拉普拉斯金字塔变换LP融合方法融视频图像中当前帧图像。

8.2)用十种不同的评价标准对六种融合方法的性能进行评价。

十种性能评价因子可分为3类，第一类用于视频融合方法的空间性能评价，包含4种因子分别为：本发明空间性能评价因子Q_STE、基于梯度的评价因子Q_p、基于结构相似度的评价因子Q_W、基于人眼视觉和结构相似度的空间性能评价因子Q_S；第二类用于视频融合方法的时间一致性评价，包含3种因子分别为：本发明时间一致性性能评价因子Q_STC、基于互信息的性能评价因子MI_IFD、基于人眼视觉和结构相似度的时间一致性性能评价因子Q_T；第三类用于视频融合方法的全局性能评价，包含3种因子分别为：本发明全局性能评价因子Q_{ST_CE}、基于时-空梯度的动态评价方法DQ_p和基于人眼视觉和结构相似度的全局性能评价因子Q_ST。

用第一类的4种空间性能评价因子对图3中六种融合算法性能进行评价，评价结果如表1所示

表1四种不同的空间性能评价因子得到的数据

从表1中数据大小可以看出，本发明空间性能评价因子Q_STE和基于人眼视觉和结构相似度的时间一致性性能评价因子Q_T都认为S-T(Surfacelet变换)融合方法优于三维双树复数小波变换3D-DTCWT融合方法。而基于梯度的评价因子Q_p和基于结构相似度的评价因子Q_W均认为三维双树复数小波变换3D-DTCWT融合方法优于S-T(Surfacelet变换)融合方法，这是因为基于梯度的评价因子Q_p和基于结构相似度的评价因子Q_W均片面的对每一帧的空间信息进行评价，未考虑到视频图像的时空信息，而本发明空间性能评价因子Q_STE和基于人眼视觉和结构相似度的时间一致性性能评价因子Q_T，均考虑到视频图像的时空信息，故更为准确。

用第二类的3种时间一致性性能评价因子对图3中六种融合算法性能进行评价，评价结果如表2所示。

表2三种不同的时间一致性性能评价因子得到的数据

从表2中数据大小可以看出基于人眼视觉和结构相似度的空间性能评价因子Q_S，和基于互信息的性能评价因子MI_IFD在评价离散小波变换DWT融合方法与拉普拉斯金字塔变换LP融合方法的性能是给出不同的结果，而本发明时间一致性性能评价因子Q_STC却认为离散小波变换DWT融合方法与拉普拉斯金字塔变换LP融合方法的性能几乎相同，在实际应用中离散小波变换DWT融合方法和拉普拉斯金字塔变换LP融合方法性能几乎相同。故本发明时间一致性性能评价因子Q_STC更加准确。

用第三类的3种全局性能评价因子对图3中六种融合算法性能进行评价，评价结果如表3所示。

表3三种不同的全局性能评价因子得到的数据

从表3中数据大小可以看出本发明全局性能评价因子Q_{ST_CE}和基于人眼视觉和结构相似度的全局性能评价因子Q_ST均认为离散小波框架滤波器DWFT融合方法优于三维离散小波变换3D_DWT融合方法。而基于时-空梯度的动态评价方法DQ_p认为三维离散小波变换3D_DWT融合方法优于离散小波框架滤波器DWFT的融合方法，在实际应用中离散小波框架滤波器DWFT融合方法优于三维离散小波变换3D_DWT融合方法，故本发明全局性能评价因子Q_{ST_CE}和基于人眼视觉和结构相似度的全局性能评价因子Q_ST在评价融合算法中更为准确。

故从上例中可以得出，根据本发明方法的计算结果，判断视频融合算法的性能，计算结果越大则表明视频融合性能越好。

Claims (3)

1.一种基于3维Log-Gabor变换的视频图像融合性能评价方法，包括如下步骤：

(1)在3维频域球坐标系中，构建3维Log-Gabor滤波器：

其中，k＝1,2,..,N表示第k通道的Log-Gabor滤波器，N为总的通道数，ρ_k表示该通道滤波器的中心径向频率，θ_k和分别为相应通道滤波器的方向角和仰角，θ_k和共同决定了滤波器的中心方向，σ_k,ρ和σ_k,ζ分别决定该滤波器的径向带宽和角度带宽，为球坐标系中某一点与该滤波器中心频点之间的夹角；

(2)采用3维Log-Gabor滤波器对两个输入视频Va、Vb和两个输入视频融合后的视频Vf分别进行多尺度，多方向分解，得到第一个输入视频Va的复数分解系数第二个输入视频Vb的复数分解系数和融合后的视频Vf的复数分解系数

(3)把两个输入视频Va、Vb和两个输入视频融合后视频Vf分别分成M个大小相同且互补重叠的3维时-空子块R(j)，其中j＝1,2,...,M；

(4)针对第j个子块R(j)，构建时-空一致性融合性能评价因子Q_STC(Va,Vb,Vf|R_j)：

$Q_{\mathrm{STC}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\left\{\begin{array}{cc}\frac{{\mathrm{\&omega;}}_a\left(j\right)\&CenterDot;Z_{\mathrm{fa}}\left(j\right)+{\mathrm{\&omega;}}_b\left(j\right)\&CenterDot;Z_{\mathrm{fb}}\left(j\right)}{{\mathrm{\&omega;}}_a\left(j\right)+{\mathrm{\&omega;}}_b\left(j\right)},& Z_{\mathrm{ab}}\left(j\right)>=\mathrm{Th}1\\ \max (Z_{\mathrm{fa}}\left(j\right),Z_{\mathrm{fb}}\left(j\right)),& Z_{\mathrm{ab}}\left(j\right)<\mathrm{Th}1\end{array}\right.$

其中，ω_a(j)和ω_b(j)分别为输入视频Va和输入视频Vb相应子块R(j)的权值，Z_fa(j)是PC_f(x,y,t)和PC_a(x,y,t)在子块R(j)内的去均值归一化互相关系数，Z_fb(j)是PC_f(x,y,t)和PC_b(x,y,t)在子块R(j)内的去均值归一化互相关系数，Z_ab(j)是PC_a(j)和PC_b(x,y,t)在子块R(j)内的去均值归一化互相关系数，PC_a(x,y,t)、PC_b(x,y,t)和PC_f(x,y,t)分别为两个输入视频Va、Vb和两个输入视频融合后视频Vf的时-空相位一致性特征，Th1为用于判断输入视频图像在该区域内相似度关系的阈值， $\mathrm{Th}1=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{Z}_{\mathrm{ab}}\left(j\right);$

(5)针对第j个子块R(j)，构建时-空信息提取融合性能评价因子Q_STE(Va,Vb,Vf|R_j)：

$Q_{\mathrm{STE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\frac{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&chi;}}_k{Q}_{\mathrm{STE}}^k(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)}{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&chi;}}_k}$

其中，N表示滤波器通道总数,χ_k是第k通道下局部区域R(j)对应的权系数，是第k通道下子块R(j)的时-空信息提取融合性能评价因子，“|”为参与运算各个视频与指定运算区域的分隔线；

(6)按照如下方式对时-空一致性融合性能评价因子Q_STC(Va,Vb,Vf|R_j)和时-空信息提取融合性能评价因子Q_STE(Va,Vb,Vf|R_j)进行组合，构建第j个子块R(j)的局部时-空融合性能评价因子：

其中，表示一种非负操作，当操作数为正数时，输出结果为原数，否则为0；参数δ取值范围为[0,1]；

(7)构建全局时-空融合性能评价因子Q_{ST_CE}(Va,Vb,Vf)为：

$Q_{\mathrm{ST}\_\mathrm{CE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf})=\frac{\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;}\left(j\right)Q_{\mathrm{ST}\_\mathrm{CE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)}{\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;}\left(j\right)},$

其中，γ(j)为第j个子块R(j)的全局权系数，γ(j)＝max(ω_a(j),ω_b(j))，式中，ω_a(j)和ω_b(j)为构建局部时-空一致性客观评价因子Q_STC(Va,Vb,Vf|R_j)过程中所采用的局部权系数；

(8)根据全局时-空融合性能评价因子Q_{ST_CE}(Va,Vb,Vf)的计算结果，判断视频融合算法性能，计算结果越大则表明视频融合性能越好。

2.根据权利要求1所述的视频图像融合性能评价方法，其特征在于步骤(4)中构建子区域R(j)的时-空一致性融合性能评价因子Q_STC(Va,Vb,Vf|R_j)，按如下步骤进行：

(4.1)按如下公式计算输入视频Va的相位一致性PC_a(x,y,t)，输入视频Vb的相位一致性PC_b(x,y,t)和融合后视频Vf的相位一致性PC_f(x,y,t)：

其中，i＝a,b,f，表示一种非负操作，当操作数为正数时，输出结果为原数，否则为0，|·|表示取模值运算，和分别表示第k通道下视频的频谱扩展权系数和噪声阈值，第k通道下视频的偏差相角，按如下公式计算：

式中，为复分解系数的相位角，为相应时-空位置处所有尺度下分解系数相位角的均值，按如下公式计算：

式中，Im(·)和Re(·)分别表示复系数的虚部和实部；

(4.2)针对子区域R(j)，分别计算PC_f(x,y,t)与PC_a(x,y,t)的去均值归一化互相关系数Z_fa(j)和PC_f(x,y,t)与PC_b(x,y,t)的去均值归一化互相关系数Z_fb(j)，以及PC_a(x,y,t)与PC_b(x,y,t)的之间的去均值归一化互相关系数Z_ab(j)：

$Z_{\mathrm{fa}}\left(j\right)=\frac{{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}({\mathrm{PC}}_f(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{f,j})({\mathrm{PC}}_a(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{a,j})}{\sqrt{{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}{({\mathrm{PC}}_f(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{f,j})}^2{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}{({\mathrm{PC}}_a(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{a,j})}^2}}$

$Z_{\mathrm{fb}}\left(j\right)=\frac{{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}({\mathrm{PC}}_f(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{f,j})({\mathrm{PC}}_b(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{b,j})}{\sqrt{{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}{({\mathrm{PC}}_f(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{f,j})}^2{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}{({\mathrm{PC}}_b(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{b,j})}^2}}$

$Z_{\mathrm{ab}}\left(j\right)=\frac{{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}({\mathrm{PC}}_a(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{a,j})({\mathrm{PC}}_b(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{b,j})}{\sqrt{{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}{({\mathrm{PC}}_a(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{a,j})}^2{\mathrm{\&Sigma;}}_{(x,y,t)\&Element;R\left(j\right)}{({\mathrm{PC}}_b(x,y,t)-{\stackrel{\&OverBar;}{\mathrm{PC}}}_{b,j})}^2}}$

其中，和分别是第一个输入视频Va、第二个输入视频Vb和融合后视频Vf的相位一致性PC_a(x,y,t)、PC_b(x,y,t)和PC_f(x,y,t)在区域R(j)内的均值；

(4.3)针对当前区域R(j)分别构建第一个输入视频图像Va和第二个输入视频图像Vb以及融合后视频图像Vf的时空梯度结构张量矩阵G_a(R_j)，G_b(R_j)和G_f(R_j)：

$G_i\left(R_j\right)=\left(\begin{array}{ccc}\underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_x^2(x,y,t)& \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_x(x,y,t){\mathrm{Vi}}_y(x,y,t)& \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_x(x,y,t){\mathrm{Vi}}_t(x,y,t)\\ \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_x(x,y,t){\mathrm{Vi}}_y(x,y,t)& \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_y^2(x,y,t)& \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_y(x,y,t){\mathrm{Vi}}_t(x,y,t)\\ \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_x(x,y,t){\mathrm{Vi}}_t(x,y,t)& \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_y(x,y,t){\mathrm{Vi}}_t(x,y,t)& \underset{(x,y,t)\&Element;R_j}{\mathrm{\&Sigma;}}{\mathrm{Vi}}_t^2(x,y,t)\end{array}\right)$

其中，i＝a,b,f，Vi_x(x,y,t)，Vi_y(x,y,t)和Vi_t(x,y,t)分别表示视频沿x轴，y轴和t轴方向的一阶偏微分；

(4.4)分别计算第一个输入视频Va和第二个输入视频Vb在子区域R(j)内的权值ω_a(j)和ω_b(j)：

${\mathrm{\&omega;}}_a\left(j\right)={\mathrm{\&lambda;}}_{\max \_a}\left(j\right)\&CenterDot;e^{(1+\cos (v_{\max \_a}\left(j\right),v_{\max \_f}\left(j\right))}$

${\mathrm{\&omega;}}_b\left(j\right)={\mathrm{\&lambda;}}_{\max \_b}\left(j\right)\&CenterDot;e^{(1+\cos (v_{\max \_b}\left(j\right),v_{\max \_f}\left(j\right))}$

其中，λ_{max_a}(j)和v_{max_a}(j)分别为矩阵G_a(R_j)的最大特征值及其对应的特征向量，λ_{max_b}(j)和v_{max_b}(j)分别为矩阵G_b(R_j)的最大特征值及其对应的特征向量，v_{max_f}(j)为矩阵G_f(R_j)的最大特征值对应的特征向量；

(4.5)根据第一个输入视频Va和第二个输入视频Vb在子区域R(j)内的权值ω_a(j)和ω_b(j)，PC_f(x,y,t)与PC_a(x,y,t)的去均值归一化互相关系数Z_fa(j)和PC_f(x,y,t)与PC_b(x,y,t)的去均值归一化互相关系数Z_fb(j)，以及PC_a(x,y,t)与PC_b(x,y,t)的之间的去均值归一化互相关系数Z_ab(j)，得到子区域R(j)的时-空一致性融合性能评价因子Q_STC(Va,Vb,Vf|R_j)：

$Q_{\mathrm{STC}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\left\{\begin{array}{cc}\frac{{\mathrm{\&omega;}}_a\left(j\right)\&CenterDot;Z_{\mathrm{fa}}\left(j\right)+{\mathrm{\&omega;}}_b\left(j\right)\&CenterDot;Z_{\mathrm{fb}}\left(j\right)}{{\mathrm{\&omega;}}_a\left(j\right)+{\mathrm{\&omega;}}_b\left(j\right)},& Z_{\mathrm{ab}}\left(j\right)>=\mathrm{Th}1\\ \max (Z_{\mathrm{fa}}\left(j\right),Z_{\mathrm{fb}}\left(j\right)),& Z_{\mathrm{ab}}\left(j\right)<\mathrm{Th}1\end{array}\right..$

3.根据权利要求1所述的视频图像融合性能评价方法，其特征在于步骤(5)中构建子区域R(j)的时-空信息提取评价因子Q_STE(Va,Vb,Vf|R_j)，按如下步骤进行：

(5.1)针对每一个子区域R(j)，分别计算输入视频Va的复数分解系数模值输入视频Vb的复数分解系数模值和融合后视频Vf的复数分解系数模值两两之间的结构相似度

$S_{\mathrm{fa}}^k\left(j\right)=\frac{(2{\mathrm{\&mu;}}_a\left(j\right){\mathrm{\&mu;}}_f\left(j\right)+C_1)}{({\mathrm{\&mu;}}_a^2\left(j\right)+{\mathrm{\&mu;}}_f^2\left(j\right)+C_1)}\&CenterDot;\frac{(2{\mathrm{\&sigma;}}_{a,f}\left(j\right)+C_2)}{({\mathrm{\&sigma;}}_a^2\left(j\right)+{\mathrm{\&sigma;}}_f^2\left(j\right)+C_2)}$

$S_{\mathrm{fb}}^k\left(j\right)=\frac{(2{\mathrm{\&mu;}}_b\left(j\right){\mathrm{\&mu;}}_f\left(j\right)+C_1)}{({\mathrm{\&mu;}}_b^2\left(j\right)+{\mathrm{\&mu;}}_f^2\left(j\right)+C_1)}\&CenterDot;\frac{(2{\mathrm{\&sigma;}}_{b,f}\left(j\right)+C_2)}{({\mathrm{\&sigma;}}_b^2\left(j\right)+{\mathrm{\&sigma;}}_f^2\left(j\right)+C_2)}$

$S_{\mathrm{ab}}^k\left(j\right)=\frac{(2{\mathrm{\&mu;}}_b\left(j\right){\mathrm{\&mu;}}_a\left(j\right)+C_1)}{({\mathrm{\&mu;}}_b^2\left(j\right)+{\mathrm{\&mu;}}_a^2\left(j\right)+C_1)}\&CenterDot;\frac{(2{\mathrm{\&sigma;}}_{b,a}\left(j\right)+C_2)}{({\mathrm{\&sigma;}}_b^2\left(j\right)+{\mathrm{\&sigma;}}_a^2\left(j\right)+C_2)}$

其中，为与的结构相似度，为与的结构相似度，为与的结构相似度，μ_a(j)为当前通道下子块R(j)内的均值，μ_b(j)为当前通道下子块R(j)内的均值，μ_f(j)为当前通道下子块R(j)内的均值，σ_a(j)为相应区域内的方差、σ_b(j)为相应区域内的方差，σ_f(j)为相应区域内的方差，σ_a，f(j)为相应区域内和之间的协方差,σ_b,f(j)为相应区域内和之间的协方差，σ_b,a(j)为相应区域内和之间的协方差，C₁和C₂为固定常数；

(5.2)计算子区域R(j)在第k通道下的时-空信息提取性能评价因子

$Q_{\mathrm{STE}}^k(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\left\{\begin{array}{cc}\frac{{\mathrm{\&eta;}}_a^k\left(j\right)S_{\mathrm{af}}^k\left(j\right)+{\mathrm{\&eta;}}_b^k\left(j\right)S_{\mathrm{bf}}^k\left(j\right)}{{\mathrm{\&eta;}}_a^k\left(j\right)+{\mathrm{\&eta;}}_b^k\left(j\right)},& S_{\mathrm{ab}}^k\left(j\right)\&GreaterEqual;\mathrm{Th}2\\ \max (S_{\mathrm{af}}^k\left(j\right),S_{\mathrm{bf}}^k\left(j\right)),& S_{\mathrm{ab}}^k\left(j\right)<\mathrm{Th}2\end{array}\right.$

其中，Th2为用于确定输入视频图像在该区域内的相似度关系的阈值，第一个输入视频Va和第二个输入视频Vb在该区域内的局部权系数和可以按照如下公式构建：

${\mathrm{\&eta;}}_a^k\left(j\right)=\log (1+{\mathrm{\&sigma;}}_a\left(j\right)),{\mathrm{\&eta;}}_b^k\left(j\right)=\log (1+{\mathrm{\&sigma;}}_b\left(j\right));$

(5.3)根据子区域R(j)在第k通道下的时-空信息提取性能评价因子得到该区域对应的时-空信息提取融合性能评价因子Q_STE(Va,Vb,Vf|R_j)：

$Q_{\mathrm{STE}}(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)=\frac{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&chi;}}_k{Q}_{\mathrm{STE}}^k(\mathrm{Va},\mathrm{Vb},\mathrm{Vf}|R_j)}{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&chi;}}_k}$

其中，N表示通道总数，权系数χ_k按如下公式定义：

${\mathrm{\&chi;}}_k=(6.1+7.3\&CenterDot;|\log {\left(\frac{u_k}{3}\right)}^3\left|\right)\&CenterDot;u_k\&CenterDot;{{\mathrm{\&beta;}}_k}^2\&CenterDot;\exp \left(\frac{-2\&CenterDot;{\mathrm{\&beta;}}_k\&CenterDot;(u_k+2)}{45.9}\right),$

其中，β_k＝2f_k,s，且f_k,x和f_k,y分别表示第k通道Log-Gabor滤波器的中心水平空间频率和中心垂直空间频率，f_k,t为当前通道Log-Gabor滤波器在笛卡尔坐标系下的中心时间频率，可以按照如下公式确定：

f_k,t＝ρ_kcosθ_k。