CN102946548A - 基于3维Log-Gabor变换的视频图像融合性能评价方法 - Google Patents
基于3维Log-Gabor变换的视频图像融合性能评价方法 Download PDFInfo
- Publication number
- CN102946548A CN102946548A CN2012104933422A CN201210493342A CN102946548A CN 102946548 A CN102946548 A CN 102946548A CN 2012104933422 A CN2012104933422 A CN 2012104933422A CN 201210493342 A CN201210493342 A CN 201210493342A CN 102946548 A CN102946548 A CN 102946548A
- Authority
- CN
- China
- Prior art keywords
- sigma
- video
- performance evaluation
- space time
- input video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了一种基于3维Log-Gabor变换的视频图像融合性能评价方法,主要解决输入视频有噪声或背景运动情况下,现有技术不能准确评价融合算法性能的问题。其实现步骤是:利用3维Log-Gabor变换对输入视频和融合后视频进行多方向,多尺度分解;用视频图像的3维相位一致性构建时-空相位一致性评价因子;用视频图像的3维Log-Gabor变换系数幅值构建时-空信息提取评价因子;将时-空一致性评价因子和时-空信息提取评价因子结合,构建全局时-空性能评价因子,根据该因子的计算结果评价视频融合算法性能;结合人眼视觉ST-CSF公式、3维梯度结构张量设计局部和全局参数。本发明能准确评价有噪声或背景运动情况下融合算法性能,可用于评价视频图像融合算法性能。
Description
技术领域
本发明涉及图像处理领域,具体说是一种视频融合性能评价方法,该方法用于从时-空信息提取及时-空一致性两个方面综合评价各种融合方法的性能。
技术背景
图像融合技术已经广泛应用于机器视觉、数码相机、目标识别等领域。然而,目前绝大多数图像融合方法是针对静态图像融合处理而设计的,而有关多传感器视频图像融合研究较少。在安全监视以及战场环境下的目标检测和识别等实际应用中,往往需要对来自多个传感器的视频图像进行融合处理。视频图像融合不仅在空间性能上要满足一般图像融合的基本要求,即融合后视频图像各帧图像应尽可能地保留输入视频图像各帧图像中的有用信息和避免引入虚假信息等;在时间性能上还要满足时间一致性和稳定性,即融合后视频图像中各帧图像之间的灰度值差异仅能由输入视频图像中各帧图像之间的灰度值差异引起,而不能由算法自身融合过程引入(O.Rockinger,“Image sequence fusion using a shift invariant wavelet transform,”IEEETransactions on Image Processing,Vol.3,1997,pp.288-291.)。
目前大多数的融合性能评价方法都是针对于静态图像融合性能的评价,例如:基于梯度信息保留的性能评价方法(V.Petrovic,C.Xydeas,“Objective evaluationof signal-level image fusion performance”,Optical Engineering,SPIE,Vol.44,No.8,2005,pp.087003.)和基于结构相似度的性能评价方法(G.Piella,H.Heijmans,“A new quality metric for image fusion,”IEEE InternationalConference on Image Processing,2003.)等。可以采用逐帧评价方式将上述静态图像融合性能评价方法用于视频图像融合性能评价中,但这种评价方法只能从空间信息提取一个方面对视频图像融合算法进行评价。为了评价各视频融合算法在时间一致性和稳定性方面的融合性能,Rockinger提出了一种基于帧差图像互信系熵的视频图像融合性能评价方法(O.Rockinger,“Image sequence fusion using a shiftinvariant wavelet transform”,IEEE Transactions on Image Processing,Vol.3,1997,pp.288-291.)。与其它静态图像融合性能评价方法一样,该方法对视频图像融合性能评价时存在片面性。Petrovic等在基于空间梯度信息保留的融合性能评价方法的基础上,设计了一种基于空间-时间联合梯度信息保留的视频图像融合性能评价方法(V.Petrovic,T.Cootes,R.Pavlovic,“Dynamic image fusion performanceevaluation,”10th International Conference on Information Fusion,2007),这种方法能够从空间信息提取及时间一致性和稳定性两个方面对视频图像融合性能进行综合评价。然而,该方法是一种基于梯度信息的性能评价方法,易受噪声影响。该方法在设计过程中没有考虑人眼视觉感知特性,而人眼往往是视频图像融合的最终接收端。Qiang Zhang等设计了一种基于结构相似度和人眼视觉的空间-时间视频图像融合性能评价方法,(Qiang Zhang,Long Wang,“Video fusion performanceevaluation based on structural similarity and human visual perception”,10thSignal Processing,2011),这种方法能从空间信息提取和时间一致性和稳定性两方面对视频进行评价,然而,该因子中时间一致性和稳定性评价因子是基于帧差图像构建,对噪声很敏感,并且该评价因子的实现过程也有一定难度。
在输入视频有噪声或背景运动这两种情况下,以上所有性能评价方法均不能给出准确的性能评价结果。
发明内容
本发明的目的在于针对上述已有技术的不足,提出一种基于3维Log-Gabor变换的视频图像融合性能评价方法,从时-空信息提取及时-空一致性两个方面综合评价视频图像融合的融合性能,同时结合人眼视觉ST-CSF公式和3维梯度结构张量使得在输入视频有噪声或背景运动下的评价结果更准确。
本发明的目的是这样实现的:
一.技术原理
本发明把视频信号看作一种三维信号,利用三维Log-Gabor滤波器对输入视频图像和融合后视频图像进行多尺度、多方向分解;把输入视频图像和融合后视频图像分成大小相同且互补重叠3维时-空子块;对于每一个3维时-空子块,利用输入视频图像和融合后视频图像的三维Log-Gabor变换系数的幅值和相位信息构建与相应视频对应的3维相位一致性信息,从而构建时-空一致性融合性能评价因子,利用输入视频图像和融合后视频图像的三维Log-Gabor变换系数的幅值信息构建时-空信息提取融合性能评价因子,将时-空一致性融合性能评价因子和时-空信息提取融合性能评价因子结合,构建局部时-空融合性能评价因子;对所有的3维时-空子块的局部时-空融合性能评价因子进行加权平均,构建全局时-空融合性能评价因子。同时根据人眼视觉ST-CSF公式和3维梯度结构张量特性设计所需要的局部和全局参数,使得客观评价结果更准确且对噪声具有很好的鲁棒性。其中,人眼视觉ST-CSF公式表明人眼视觉的时空敏感度与空间频率和时间频率大小呈一定的曲面分布关系;三维梯度结构张量特性如下:三维梯度结构张量矩阵是一个3×3的对称矩阵,三维梯度结构张量矩阵的最大特征值和其对应的特征向量分别对应窗口中能量变化的主方向及变化量。
二.实现步骤
其中,k=1,2,..,N表示第k通道的Log-Gabor滤波器,N为总的通道数,ρk表示该通道滤波器的中心径向频率,θk和分别为相应通道滤波器的方向角和仰角,θk和共同决定了滤波器的中心方向,σk,ρ和σk,ζ分别决定该滤波器的径向带宽和角度带宽,为球坐标系中某一点与该滤波器中心频点之间的夹角;
(2)采用3维Log-Gabor滤波器对两个输入视频Va、Vb和两个输入视频融合后的视频Vf分别进行多尺度,多方向分解,得到第一个输入视频Va的复数分解系数第二个输入视频Vb的复数分解系数和融合后的视频Vf的复数分解系数
(3)把两个输入视频Va、Vb和两个输入视频融合后视频Vf均分成M个大小相同且互补重叠的3维时-空子块R(j),其中j=1,2,...,M;
(4)针对第j个子块R(j),构建时-空一致性融合性能评价因子QSTC(Va,Vb,Vf|Rj):
其中,ωa(j)和ωb(j)分别为输入视频Va和输入视频Vb相应子块R(j)的权值,Zfa(j)是PCf(x,y,t)和PCa(x,y,t)在子块R(j)内的去均值归一化互相关系数,Zfb(j)是PCf(x,y,t)和PCb(x,y,t)在子块R(j)内的去均值归一化互相关系数,Zab(j)是PCa(j)和PCb(x,y,t)在子块R(j)内的去均值归一化互相关系数,PCa(x,y,t)、PCb(x,y,t)和PCf(x,y,t)分别为两个输入视频Va、Vb和两个输入视频融合后视频Vf的时-空相位一致性特征,Th1为用于判断输入视频图像在该区域内相似度关系的阈值,
(5)针对第j个子块R(j),构建时-空信息提取融合性能评价因子QSTE(Va,Vb,Vf|Rj):
其中,N表示滤波器通道总数,χk是第k通道下局部区域R(j)对应的权系数,是第k通道下子块R(j)的时-空信息提取融合性能评价因子,“|”为参与运算各个视频与指定运算区域的分隔线;
(6)按照如下方式对时-空一致性融合性能评价因子QSTC(Va,Vb,Vf|Rj)和时-空信息提取融合性能评价因子QSTE(Va,Vb,Vf|Rj)进行组合,构建第j个子块R(j)的局部时-空融合性能评价因子:
(7)构建全局时-空融合性能评价因子QST_CE(Va,Vb,Vf)为:
其中,γ(j)为第j个子块R(j)的全局权系数。
(8)根据全局时-空融合性能评价因子QST_CE(Va,vb,Vf)的计算结果,判断视频融合算法性能,计算结果越大则表明视频融合性能越好。
本发明具有如下效果:
(1)本发明能够从时-空信息提取及时-空一致性两个方面对视频图像融合算法的性能进行综合评价。
本发明将多帧输入视频图像看作一种3维信号,采用3维Log-Gabor变换对视频信号进行多尺度、多方向分解;把视频图像分成大小相同且互补重叠的3维时-空子块;对于每一个3维时-空子块,利用输入视频图像和融合后视频图像的三维Log-Gabor变换系数的幅值和相角信息构建视频的3维相位一致性,基于视频的3维相位一致性特性构建时-空一致性融合性能评价因子,利用输入视频图像和融合后视频图像的三维Log-Gabor变换系数的幅值信息,构建时-空信息提取融合性能评价因子,将两者结合构建局部时-空融合性能评价因子;把所有3维时-空子块的局部时-空融合性能评价因子加权平均,构建全局时-空融合性能评价因子,从而对视频融合算法进行全局客观评价。
(2)评价因子的客观评价结果符合人眼主观评价。
本发明设计的3维Log-Gabor滤波器模拟人眼多通道,多分辨率,多视角特性,且本发明的时-空信息提取融合性能评价因子的构建是基于采用人眼视觉ST-CSF公式加权后的3维Log-Gabor变换系数幅值构成,人眼视觉ST-CSF公式能够根据人眼视觉的时空敏感度高低与空间频率和时间频率大小关系呈一定的高低曲面分布,采用ST-CSF公式作为权系数能够确保评价结果更准确且符合人眼主观评价。
(3)评价因子的对噪声具有很好的鲁棒性,且能够更为准确评价背景运动情况下的融合算法性能。
本发明设计的时-空一致性融合性能评价因子的构建基于输入视频信号和融合后视频信号的三维相位一致性信息,其权系数设计利用3维梯度结构张量,在构建3维梯度结构张量矩阵过程中,本发明对三维子区域的梯度信息进行了加权平均,故对噪声起到很好的消弱作用,使其在评价有噪声信息的情况下,效果更好。本发明中的三维相位一致性信息能够全面的提取视频的运动信息,3维梯度结构张量矩阵的特征值和特征向量能够从时空上准确的表明信息主要能量运动方向和大小,故使其在评价背景运动视频更为准确。
附图说明
图1为本发明流程框图;
图2为第一组两个输入视频图像的当前帧图像;
图3为采用六种融合方法分别对第二组两幅当前帧图像融合后的图像。
具体实施方式
以下参照图1对本发明做进一步详细的描述:
第一步,在3维频域球坐标系中内构建3维Log-Gabor滤波器:
其中,k=1,2,..,N表示第k通道的Log-Gabor滤波器,N为总的通道数,ρk表示该通道滤波器的中心径向频率,θk和分别为相应通道滤波器的方向角和仰角,θk和共同决定了滤波器的中心方向,σk,ρ和σk,ζ分别决定该滤波器的径向带宽和方向角带宽,为坐标系中某一点与该滤波器中心频点之间的夹角。本发明中滤波器尺度个数为3,相应的ρk分别取0.7π,0.4π,0.25π,σk,ρ取以保证每一个滤波器径向带宽为1倍频程,每个尺度下有60个不同中心方向角的滤波器,即:当θk=0时,对应8个滤波器,当时,对应18个滤波器,当时,对应34个滤波器,总滤波器个数为N=180。
第二步,采用3维Log-Gabor滤波器对两个输入视频Va、Vb和两个输入视频融合后的视频Vf分别进行多尺度,多方向分解,得到第一个输入视频Va的复数分解系数第二个输入视频Vb的复数分解系数和融合后的视频Vf的复数分解系数
第三步,把输入视频Va、Vb和融合后视频vf分别分成M个大小相同且互补重叠3维时-空子块R(j),其中j=1,2,...,M,M为总的子块数。
第四步,针对每一个子区域R(j),按如下步骤构建时-空一致性融合性能评价因子QSTC(Va,Vb,Vf|Rj):
(4.1)按如下公式计算输入视频Va的相位一致性PCa(x,y,t),输入视频Vb的相位一致性PCb(x,y,t)和融合后视频vf的相位一致性PCf(x,y,t):
其中,i=a,b,f,表示一种非负操作,当操作数为正数时,输出结果为原数,否则为0,|·|表示取模值运算,和分别表示第k通道下视频的频谱扩展权系数和噪声阈值,第k通道下视频的偏差相角,按如下公式计算:
(4.2)针对子区域R(j),分别计算PCf(x,y,t)与PCa(x,y,t)的去均值归一化互相关系数Zfa(j)和PCf(x,y,t)与PCb(x,y,t)的去均值归一化互相关系数Zfb(j),以及PCa(x,y,t)与PCb(x,y,t)的之间的去均值归一化互相关系数Zab(j):
(4.3)针对当前区域R(j)分别构建第一个输入视频图像Va和第二个输入视频图像Vb以及融合后视频图像Vf的时空梯度结构张量矩阵Ga(Rj),Gb(Rj)和Gf(Rj):
其中,i=a,b,f,vix(x,y,t),Viy(x,y,t)和Vit(x,y,t)分别表示视频沿x轴,y轴和t轴方向的一阶偏微分;
(4.4)分别计算第一个输入视频Va和第二个输入视频vb在子区域R(j)内的权值ωa(j)和ωb(j):
其中,λmax_a(j)和vmax_a(j)分别为矩阵Ga(Rj)的最大特征值及其对应的特征向量,λmax_b(j)和vmax_b(j)分别为矩阵Gb(Rj)的最大特征值及其对应的特征向量,vmax_f(j)为矩阵Gf(Rj)的最大特征值对应的特征向量;
(4.5)根据第一个输入视频Va和第二个输入视频Vb在子区域R(j)内的权值ωa(j)和ωb(j),PCf(x,y,t)与PCa(x,y,t)的去均值归一化互相关系数Zfa(j)和PCf(x,y,t)与PCb(x,y,t)的去均值归一化互相关系数Zfb(j),以及PCa(x,y,t)与PCb(x,y,t)的之间的去均值归一化互相关系数Zab(j),得到子区域R(j)的时-空一致性融合性能评价因子QSTC(Va,Vb,Vf|Rj):
第五步,针对每一个子区域R(j),构建时-空信息提取融合性能评价因子QSTE(Va,Vb,Vf|Rj),按如下步骤构建:
其中,为与的结构相似度,为与的结构相似度,为与的结构相似度,μa(j)为当前通道下子块R(j)内的均值,μb(j)为当前通道下子块R(j)内的均值,μf(j)为当前通道下子块R(j)内的均值,σa(j)为相应区域内的方差、σb(j)为相应区域内的方差,σf(j)为相应区域内的方差,σa,f(j)为相应区域内和之间的协方差,σb,f(j)为相应区域内和之间的协方差,σb,a(j)为相应区域内和之间的协方差,C1和C2为固定常数;
(5.2)计算子区域R(j)在第k通道下的时-空信息提取性能评价因子
其中,N表示通道总数,权系数χk按如下公式定义:
其中,βk=2fk,s,且fk,x和fk,y分别表示第k通道Log-Gabor滤波器的中心水平空间频率和中心垂直空间频率,fk,t为当前通道Log-Gabor滤波器在笛卡尔坐标系下的中心时间频率,可以按照如下公式确定: fk,t=ρkcos θk。
第六步,按照如下方式对时-空一致性评价因子QSTC(Va,Vb,Vf|Rj)和时-空信息提取性能评价因子QSTE(Va,Vb,Vf|Rj)进行组合,构建当前区域R(j)的局部时-空融合性能评价因子
其中,δ取值范围为[0,1]。
第七步,根据子区域R(j)的局部时-空融合性能评价因子QST_CE(Va,Vb,Vf|Rj)构建全局时-空融合性能评价因子QST_CE(Va,Vb,Vf)为:
其中,全局权系数γ(j)定义为:
γ(j)=max(ωa(j),ωb(j)),
式中,ωa(j)和ωb(j)为构建局部时-空一致性客观评价因子QSTC(Va,Vb,Vf|Rj)过程中所采用的局部权系数。
第八步,根据全局时-空融合性能评价因子QST_CE(Va,Vb,Vf)的计算结果,判断视频融合算法的性能,计算结果越大则表明视频融合性能越好。
输入如图2所示是一组动态背景的红外与可见光图像,其中,图2(a)为可见光输入视频图像中当前帧图像,图2(b)为红外输入视频图像中当前帧图像。
8.1)用六种不同的融合方法对输入的两个视频图像进行融合,图3所示,其中,图3(a)为三维双树复数小波变换3D-DTCWT融合方法融合视频图像中当前帧图像,图3(b)为离散小波框架滤波器DWFT融合方法融合视频图像中当前帧图像,图3(c)为离散小波变换DWT融合方法融合视频图像中当前帧图像,图3(d)为三维离散小波变换3D_DWT融合方法融合视频图像中当前帧图像,图3(e)为S-T(Surfacelet变换)融合方法融合视频图像中当前帧图像,图3(f)拉普拉斯金字塔变换LP融合方法融视频图像中当前帧图像。
8.2)用十种不同的评价标准对六种融合方法的性能进行评价。
十种性能评价因子可分为3类,第一类用于视频融合方法的空间性能评价,包含4种因子分别为:本发明空间性能评价因子QSTE、基于梯度的评价因子Qp、基于结构相似度的评价因子QW、基于人眼视觉和结构相似度的空间性能评价因子QS;第二类用于视频融合方法的时间一致性评价,包含3种因子分别为:本发明时间一致性性能评价因子QSTC、基于互信息的性能评价因子MI_IFD、基于人眼视觉和结构相似度的时间一致性性能评价因子QT;第三类用于视频融合方法的全局性能评价,包含3种因子分别为:本发明全局性能评价因子QST_CE、基于时-空梯度的动态评价方法DQp和基于人眼视觉和结构相似度的全局性能评价因子QST。
用第一类的4种空间性能评价因子对图3中六种融合算法性能进行评价,评价结果如表1所示
表1四种不同的空间性能评价因子得到的数据
从表1中数据大小可以看出,本发明空间性能评价因子QSTE和基于人眼视觉和结构相似度的时间一致性性能评价因子QT都认为S-T(Surfacelet变换)融合方法优于三维双树复数小波变换3D-DTCWT融合方法。而基于梯度的评价因子Qp和基于结构相似度的评价因子QW均认为三维双树复数小波变换3D-DTCWT融合方法优于S-T(Surfacelet变换)融合方法,这是因为基于梯度的评价因子Qp和基于结构相似度的评价因子QW均片面的对每一帧的空间信息进行评价,未考虑到视频图像的时空信息,而本发明空间性能评价因子QSTE和基于人眼视觉和结构相似度的时间一致性性能评价因子QT,均考虑到视频图像的时空信息,故更为准确。
用第二类的3种时间一致性性能评价因子对图3中六种融合算法性能进行评价,评价结果如表2所示。
表2三种不同的时间一致性性能评价因子得到的数据
从表2中数据大小可以看出基于人眼视觉和结构相似度的空间性能评价因子QS,和基于互信息的性能评价因子MI_IFD在评价离散小波变换DWT融合方法与拉普拉斯金字塔变换LP融合方法的性能是给出不同的结果,而本发明时间一致性性能评价因子QSTC却认为离散小波变换DWT融合方法与拉普拉斯金字塔变换LP融合方法的性能几乎相同,在实际应用中离散小波变换DWT融合方法和拉普拉斯金字塔变换LP融合方法性能几乎相同。故本发明时间一致性性能评价因子QSTC更加准确。
用第三类的3种全局性能评价因子对图3中六种融合算法性能进行评价,评价结果如表3所示。
表3三种不同的全局性能评价因子得到的数据
从表3中数据大小可以看出本发明全局性能评价因子QST_CE和基于人眼视觉和结构相似度的全局性能评价因子QST均认为离散小波框架滤波器DWFT融合方法优于三维离散小波变换3D_DWT融合方法。而基于时-空梯度的动态评价方法DQp认为三维离散小波变换3D_DWT融合方法优于离散小波框架滤波器DWFT的融合方法,在实际应用中离散小波框架滤波器DWFT融合方法优于三维离散小波变换3D_DWT融合方法,故本发明全局性能评价因子QST_CE和基于人眼视觉和结构相似度的全局性能评价因子QST在评价融合算法中更为准确。
故从上例中可以得出,根据本发明方法的计算结果,判断视频融合算法的性能,计算结果越大则表明视频融合性能越好。
Claims (3)
1.一种基于3维Log-Gabor变换的视频图像融合性能评价方法,包括如下步骤:
其中,k=1,2,..,N表示第k通道的Log-Gabor滤波器,N为总的通道数,ρk表示该通道滤波器的中心径向频率,θk和分别为相应通道滤波器的方向角和仰角,θk和共同决定了滤波器的中心方向,σk,ρ和σk,ζ分别决定该滤波器的径向带宽和角度带宽,为球坐标系中某一点与该滤波器中心频点之间的夹角;
(2)采用3维Log-Gabor滤波器对两个输入视频Va、Vb和两个输入视频融合后的视频vf分别进行多尺度,多方向分解,得到第一个输入视频Va的复数分解系数第二个输入视频Vb的复数分解系数和融合后的视频Vf的复数分解系数
(3)把两个输入视频Va、Vb和两个输入视频融合后视频Vf均分成M个大小相同且互补重叠的3维时-空子块R(j),其中j=1,2,...,M;
(4)针对第j个子块R(j),构建时-空一致性融合性能评价因子QSTC(Va,Vb,Vf|Rj):
其中,ωa(j)和ωb(j)分别为输入视频Va和输入视频Vb相应子块R(j)的权值,Zfa(j)是PCf(x,y,t)和PCa(x,y,t)在子块R(j)内的去均值归一化互相关系数,Zfb(j)是PCf(x,y,t)和PCb(x,y,t)在子块R(j)内的去均值归一化互相关系数,Zab(j)是PCa(j)和PCb(x,y,t)在子块R(j)内的去均值归一化互相关系数,PCa(x,y,t)、PCb(x,y,t)和PCf(x,y,t)分别为两个输入视频Va、vb和两个输入视频融合后视频Vf的时-空相位一致性特征,Th1为用于判断输入视频图像在该区域内相似度关系的阈值, (5)针对第j个子块R(j),构建时-空信息提取融合性能评价因子QSTE(Va,Vb,Vf|Rj):
其中,N表示滤波器通道总数,χk是第k通道下局部区域R(j)对应的权系数,是第k通道下子块R(j)的时-空信息提取融合性能评价因子,“|”为参与运算各个视频与指定运算区域的分隔线;
(6)按照如下方式对时-空一致性融合性能评价因子QSTC(va,Vb,Vf|Rj)和时-空信息提取融合性能评价因子QSTE(Va,Vb,Vf|Rj)进行组合,构建第j个子块R(j)的局部时-空融合性能评价因子:
(7)构建全局时-空融合性能评价因子QST_CE(Va,Vb,Vf)为:
其中,γ(j)为第j个子块R(j)的全局权系数。
(8)根据全局时-空融合性能评价因子QST_CE(Va,Vb,Vf)的计算结果,判断视频融合算法性能,计算结果越大则表明视频融合性能越好。
2.根据权利要求1所述的视频图像融合性能评价方法,其特征在于步骤(4)中构建子区域R(j)的时-空一致性融合性能评价因子QSTC(Va,Vb,Vf|Rj),按如下步骤进行:
(4.1)按如下公式计算输入视频Va的相位一致性PCa(x,y,t),输入视频Vb的相位一致性PCb(x,y,t)和融合后视频Vf的相位一致性PCf(x,y,t):
其中,i=a,b,f,表示一种非负操作,当操作数为正数时,输出结果为原数,否则为0,|·|表示取模值运算,和分别表示第k通道下视频的频谱扩展权系数和噪声阈值,第k通道下视频的偏差相角,按如下公式计算:
(4.2)针对子区域R(j),分别计算PCf(x,y,t)与PCa(x,y,t)的去均值归一化互相关系数Zfa(j)和PCf(x,y,t)与PCb(x,y,t)的去均值归一化互相关系数Zfb(j),以及PCa(x,y,t)与PCb(x,y,t)的之间的去均值归一化互相关系数Zab(j):
(4.3)针对当前区域R(j)分别构建第一个输入视频图像Va和第二个输入视频图像Vb以及融合后视频图像Vf的时空梯度结构张量矩阵Ga(Rj),Gb(Rj)和Gf(Rj):
其中,i=a,b,f,Vix(x,y,t),Viy(x,y,t)和Vit(x,y,t)分别表示视频沿x轴,y轴和t轴方向的一阶偏微分;
(4.4)分别计算第一个输入视频Va和第二个输入视频Vb在子区域R(j)内的权值ωa(j)和ωb(j):
其中,λmax_a(j)和vmax_a(j)分别为矩阵Ga(Rj)的最大特征值及其对应的特征向量,λmax_b(j)和vmax_b(j)分别为矩阵Gb(Rj)的最大特征值及其对应的特征向量,vmax_f(j)为矩阵Gf(Rj)的最大特征值对应的特征向量;
(4.5)根据第一个输入视频Va和第二个输入视频Vb在子区域R(j)内的权值ωa(j)和ωb(j),PCf(x,y,t)与PCa(x,y,t)的去均值归一化互相关系数Zfa(j)和PCf(x,y,t)与PCb(x,y,t)的去均值归一化互相关系数Zfb(j),以及PCa(x,y,t)与PCb(x,y,t)的之间的去均值归一化互相关系数Zab(j),得到子区域R(j)的时-空一致性融合性能评价因子QSTC(Va,Vb,Vf|Rj):
3.根据权利要求1所述的视频图像融合性能评价方法,其特征在于步骤(5)中构建子区域R(j)的时-空信息提取评价因子QSTE(Va,Vb,Vf|Rj),按如下步骤进行:
其中,为与的结构相似度,为与的结构相似度,为与的结构相似度,μa(j)为当前通道下子块R(j)内的均值,μb(j)为当前通道下子块R(j)内的均值,μf(j)为当前通道下子块R(j)内的均值,σa(j)为相应区域内的方差、σb(j)为相应区域内的方差,σf(j)为相应区域内的方差,σa,f(j)为相应区域内和之间的协方差,σb,f(j)为相应区域内和之间的协方差,σb,a(j)为相应区域内和之间的协方差,C1和C2为固定常数;
(5.2)计算子区域R(j)在第k通道下的时-空信息提取性能评价因子
(5.3)根据子区域R(j)在第k通道下的时-空信息提取性能评价因子得到该区域对应的时-空信息提取融合性能评价因子QSTE(Va,Vb,Vf|Rj):
其中,N表示通道总数,权系数χk按如下公式定义:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210493342.2A CN102946548B (zh) | 2012-11-27 | 2012-11-27 | 基于3维Log-Gabor变换的视频图像融合性能评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210493342.2A CN102946548B (zh) | 2012-11-27 | 2012-11-27 | 基于3维Log-Gabor变换的视频图像融合性能评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102946548A true CN102946548A (zh) | 2013-02-27 |
CN102946548B CN102946548B (zh) | 2015-02-18 |
Family
ID=47729448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210493342.2A Expired - Fee Related CN102946548B (zh) | 2012-11-27 | 2012-11-27 | 基于3维Log-Gabor变换的视频图像融合性能评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102946548B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218825A (zh) * | 2013-03-15 | 2013-07-24 | 华中科技大学 | 一种尺度不变的时空兴趣点快速检测方法 |
CN103295016A (zh) * | 2013-06-26 | 2013-09-11 | 天津理工大学 | 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法 |
CN103905815A (zh) * | 2014-03-19 | 2014-07-02 | 西安电子科技大学 | 基于高阶奇异值分解的视频融合性能评价方法 |
CN104616309A (zh) * | 2015-02-12 | 2015-05-13 | 南京理工大学 | 一种基于相位一致性的显著目标检测方法 |
CN104809444A (zh) * | 2015-05-06 | 2015-07-29 | 西安电子科技大学 | 基于张量扩展的半脊方向滤波器红外小目标识别方法 |
CN106713741A (zh) * | 2016-11-16 | 2017-05-24 | 深圳六滴科技有限公司 | 全景视频的质量诊断方法及装置 |
CN107274379A (zh) * | 2017-05-09 | 2017-10-20 | 武汉大学 | 一种图像质量评价方法及系统 |
CN109214439A (zh) * | 2018-08-22 | 2019-01-15 | 电子科技大学 | 一种基于多特征融合的红外图像结冰河流检测方法 |
CN109712173A (zh) * | 2018-12-05 | 2019-05-03 | 北京空间机电研究所 | 一种基于卡尔曼滤波器的图像位置运动估计方法 |
CN111198499A (zh) * | 2019-12-25 | 2020-05-26 | 南京南瑞水利水电科技有限公司 | 同期算法实时评估方法、系统及存储介质 |
CN116794553A (zh) * | 2023-04-07 | 2023-09-22 | 浙江万能弹簧机械有限公司 | 用于高频电源的智能故障诊断方法及其系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102231844A (zh) * | 2011-07-21 | 2011-11-02 | 西安电子科技大学 | 基于结构相似度和人眼视觉的视频图像融合性能评价方法 |
-
2012
- 2012-11-27 CN CN201210493342.2A patent/CN102946548B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102231844A (zh) * | 2011-07-21 | 2011-11-02 | 西安电子科技大学 | 基于结构相似度和人眼视觉的视频图像融合性能评价方法 |
Non-Patent Citations (2)
Title |
---|
李其申 等: "非下采样Contourlet变换的图像融合及评价", 《计算机应用研究》, vol. 26, no. 3, 28 April 2009 (2009-04-28) * |
王凤华 等: "一种Log-Gabor滤波结合特征融合的虹膜识别方法", 《西安交通大学学报》, vol. 41, no. 8, 24 September 2007 (2007-09-24) * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218825A (zh) * | 2013-03-15 | 2013-07-24 | 华中科技大学 | 一种尺度不变的时空兴趣点快速检测方法 |
CN103295016A (zh) * | 2013-06-26 | 2013-09-11 | 天津理工大学 | 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法 |
CN103295016B (zh) * | 2013-06-26 | 2017-04-12 | 天津理工大学 | 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法 |
CN103905815A (zh) * | 2014-03-19 | 2014-07-02 | 西安电子科技大学 | 基于高阶奇异值分解的视频融合性能评价方法 |
CN103905815B (zh) * | 2014-03-19 | 2016-01-13 | 西安电子科技大学 | 基于高阶奇异值分解的视频融合性能评价方法 |
CN104616309A (zh) * | 2015-02-12 | 2015-05-13 | 南京理工大学 | 一种基于相位一致性的显著目标检测方法 |
CN104809444B (zh) * | 2015-05-06 | 2018-07-31 | 西安电子科技大学 | 基于张量扩展的半脊方向滤波器红外小目标识别方法 |
CN104809444A (zh) * | 2015-05-06 | 2015-07-29 | 西安电子科技大学 | 基于张量扩展的半脊方向滤波器红外小目标识别方法 |
CN106713741A (zh) * | 2016-11-16 | 2017-05-24 | 深圳六滴科技有限公司 | 全景视频的质量诊断方法及装置 |
CN107274379A (zh) * | 2017-05-09 | 2017-10-20 | 武汉大学 | 一种图像质量评价方法及系统 |
CN107274379B (zh) * | 2017-05-09 | 2020-03-10 | 武汉大学 | 一种图像质量评价方法及系统 |
CN109214439A (zh) * | 2018-08-22 | 2019-01-15 | 电子科技大学 | 一种基于多特征融合的红外图像结冰河流检测方法 |
CN109214439B (zh) * | 2018-08-22 | 2021-12-03 | 电子科技大学 | 一种基于多特征融合的红外图像结冰河流检测方法 |
CN109712173A (zh) * | 2018-12-05 | 2019-05-03 | 北京空间机电研究所 | 一种基于卡尔曼滤波器的图像位置运动估计方法 |
CN111198499A (zh) * | 2019-12-25 | 2020-05-26 | 南京南瑞水利水电科技有限公司 | 同期算法实时评估方法、系统及存储介质 |
CN111198499B (zh) * | 2019-12-25 | 2021-07-02 | 南京南瑞水利水电科技有限公司 | 同期算法实时评估方法、系统及存储介质 |
CN116794553A (zh) * | 2023-04-07 | 2023-09-22 | 浙江万能弹簧机械有限公司 | 用于高频电源的智能故障诊断方法及其系统 |
CN116794553B (zh) * | 2023-04-07 | 2024-03-08 | 浙江万能弹簧机械有限公司 | 用于高频电源的智能故障诊断方法及其系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102946548B (zh) | 2015-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102946548B (zh) | 基于3维Log-Gabor变换的视频图像融合性能评价方法 | |
Zhang et al. | No-reference quality assessment for 3d colored point cloud and mesh models | |
CN102231844B (zh) | 基于结构相似度和人眼视觉的视频图像融合性能评价方法 | |
CN103763552B (zh) | 基于视觉感知特性的立体图像无参考质量评价方法 | |
CN101877143B (zh) | 一种二维图像组的三维场景重建方法 | |
Wang et al. | Novel spatio-temporal structural information based video quality metric | |
CN107301664A (zh) | 基于相似性测度函数的改进局部立体匹配方法 | |
CN103747240B (zh) | 融合颜色和运动信息的视觉显著性滤波方法 | |
Tian et al. | A multi-order derivative feature-based quality assessment model for light field image | |
Gou et al. | Remote sensing image super-resolution reconstruction based on nonlocal pairwise dictionaries and double regularization | |
CN108596975A (zh) | 一种针对弱纹理区域的立体匹配算法 | |
CN109145841A (zh) | 一种基于视频监控的异常事件的检测方法及装置 | |
CN105828064A (zh) | 融合局部和全局时空特性的无参考视频质量评估方法 | |
CN103095996A (zh) | 基于时空显著性检测的多传感器视频融合方法 | |
CN103700109B (zh) | 基于多目标优化moea/d和模糊聚类的sar图像变化检测方法 | |
CN107360416A (zh) | 基于局部多元高斯描述子的立体图像质量评价方法 | |
JP6069115B2 (ja) | 映像生成装置、映像生成方法、プログラム | |
CN109257592B (zh) | 基于深度学习的立体视频质量客观评价方法 | |
Chen et al. | Optical flow estimation for motion-compensated compression | |
CN103905815A (zh) | 基于高阶奇异值分解的视频融合性能评价方法 | |
CN103873859B (zh) | 基于时空显著性检测的视频融合性能评价方法 | |
Prakash et al. | Color image demosaicing using sparse based radial basis function network | |
Md et al. | Multiscale-ssim index based stereoscopic image quality assessment | |
Zhang et al. | Video fusion performance evaluation based on structural similarity and human visual perception | |
Fang et al. | No reference quality assessment for stereoscopic images by statistical features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150218 Termination date: 20201127 |
|
CF01 | Termination of patent right due to non-payment of annual fee |