CN103095996A - 基于时空显著性检测的多传感器视频融合方法 - Google Patents
基于时空显著性检测的多传感器视频融合方法 Download PDFInfo
- Publication number
- CN103095996A CN103095996A CN2013100472239A CN201310047223A CN103095996A CN 103095996 A CN103095996 A CN 103095996A CN 2013100472239 A CN2013100472239 A CN 2013100472239A CN 201310047223 A CN201310047223 A CN 201310047223A CN 103095996 A CN103095996 A CN 103095996A
- Authority
- CN
- China
- Prior art keywords
- video
- input video
- band
- time zone
- subband coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于时空显著性检测的多传感器视频融合方法。其步骤为:1、分别输入两个已配准的视频;2、利用三维均匀离散曲波3D-UDCT分解获得子带系数;3、将视频区域划分为三种不同的区域;4、对于不同的区域,按照不同的融合策略进行组合,得到融合后视频的高通方向子带系数;5、将低通子带系数进行加权平均,得到融合后视频的低通子带系数;6、进行三维均匀离散曲波3D-UDCT逆变换,得到融合后视频。本发明克服了现有技术中受限于空间信息提取和时空一致性的缺陷,可以更好地提取输入视频图像中的显著的时空特征信息,使得视频具有更高的时空一致性和稳定性,对噪声鲁棒性好,可以用于静态背景的视频图像融合。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及一种视频图像处理技术领域中的基于时空显著性检测的多传感器视频融合方法。本发明能够更加准确的从输入的视频中提取显著的时空特征信息,可应用于多传感器静态背景的视频图像融合。
背景技术
图像和视频融合是信息和数据融合的一个特殊领域,通过图像或视频融合,将原图像或视频之间的“冗余”和“互补”信息提取出来,得到一个融合的图像或视频。融合后的图像或视频比单一的输入图像或视频更能精确地描述场景。静态图像融合的基本要求是输入图像中有用的空间信息应该尽可能多的保留在融合图像中,以及在融合过程中不引入虚假信息。静态图像融合算法已经得到广泛研究,相对于静态图像融合,视频图像融合除了满足上述基本要求外,还要满足时间稳定性和一致性。由于视频和图像之间的特殊关系,一般情况下,可以采用静态图像融合算法对视频逐帧进行融合,这种逐帧融合方法主要考虑了输入视频的空间信息,具有较好的空间信息提取性能,但往往忽略了输入视频中的时间信息,从而容易引起时间不一致性和不稳定性问题。
西安电子科技大学申请的专利“基于Surfacelet变换的红外与可见光视频图像融合方法”(申请号:CN201010172719.5,申请公开号:CN101873440A)中公开一种红外与可见光视频图像融合的方法。该方法的具体步骤是:首先,采用Surfacelet变换对输入视频图像进行多尺度、多方向分解得到不同频域子带系数;然后,通过基于三维局部空-时区域能量匹配的“选择”和“加权平均”相结合的融合方法,以及通过基于三维局部空-时区域能量和方向向量标准方差相结合的融合方法,分别对输入视频图像的低通子带系数和带通方向子带系数进行组合,得到融合视频图像的低通子带系数和带通方向子带系数;最后,对组合得到的各子带系数进行Surfacelet逆变换得到融合视频图像。该方法主要将已有的二维静态融合规则通过简单地扩展用于视频融合,但是该方法仍然存在的不足是,由于一个视频往往包含许多具有不同特征的区域,如果通过一个简单的扩展将那些静态图像融合准则应用到视频融合中,输入视频中所有的不同特征区域都将被等同对待,这在一定程度上,会降低融合方法在时空一致性和信息提取方面的性能。
王宏,敬忠良,李建勋发表的论文“一种基于目标区域的图像融合新方法”(中国激光,32(3),2005,PP:351-355)中公开一种融合方法。该方法首先采用运动目标检测技术将视频中各帧图像分成运动目标区域和背景区域,然后针对每帧图像的背景区域和目标区域采用不同的融合规则分别融合,得到融合视频。但是该方法存在的不足是,由于该方法仅仅利用单帧的图像处理方法对不同区域采用不同的融合准则,在一定程度上,空间信息提取性能会被降低。
发明内容
本发明的目的在于克服上述已有技术的缺点,提出一种基于3D-UDCT和时空显著性检测相结合的视频融合方法,以便更好地提取输入视频图像中显著的空间-时间特征信息,并具有更高的空间-时间一致性和稳定性。
为实现上述目的,本发明对输入视频图像带通方向子带系数进行组合时,构建一种基于时空显著性检测的融合规则,其技术方案是首先利用时空结构张量,对输入视频带通方向子带系数进行时空显著性特征,将每一个带通方向子带划分成三种区域,即:运动目标区域、空间几何特征区域和平滑区域;然后利用不同的融合准则对不同区域带通方向子带系数分别进行组合,得到融合视频的带通方向子带系数。
本发明的具体步骤如下:
(1)分别输入两个已配准的视频;
(2)获得子带系数:
对两个视频分别进行三维均匀离散曲波3D-UDCT分解,得到各自的带通方向子带系数和低通子带系数;
(3)将视频区域划分三种区域:
对每一个视频的带通方向子带系数利用三维时空结构张量,进行时空显著性检测,将视频区域划分为运动目标区域、空间几何特征区域和平滑区域三种区域;
(4)获得融合后视频的带通方向子带系数:
4a)对运动目标区域的带通方向子带系数,按照基于能量选择的融合策略进行组合,得到运动目标区域内融合后视频的带通方向子带系数;
4b)对空间几何特征区域的带通方向子带系数,按照基于相似度选择和加权平均相结合的融合策略进行组合,得到空间几何特征区域内融合后视频的带通方向子带系数;
4c)对平滑区域的带通方向子带系数,按照加权平均融合策略进行组合,得到平滑区域内融合后视频的带通方向子带系数;
(5)获得融合后视频的低通子带系数:
对于每一个视频的低通子带系数,按照加权平均的融合策略进行组合,得到融合后视频的低通子带系数;
(6)获得融合后的视频:
将融合后视频的带通方向子带系数和低通子带系数,进行三维均匀离散曲波3D-UDCT逆变换,得到融合视频。
本发明与现有的技术相比具有以下优点:
第一,本发明利用3D-UDCT对输入视频进行多尺度、多方向分解,并针对每一个方向和尺度下分解得到的带通方向子带,利用三维时空结构张量对其进行时空显著性检测,将每个带通子带区域分成三个不同区域:运动目标区域,空间几何特征区域和平滑区域,然后对于包含不同特征的区域内的子带系数,利用了不同的融合准则,克服了现有技术中受限于空间信息提取和时空一致性的缺陷,使得本发明设计的融合方法与现有技术相比在空间信息提取和时空一致性方面有明显的提高。
第二,本发明中采用的三维时空结构张量矩阵以及对平滑区域进行“加权平均”,克服了现有技术的融合过程中容易受到噪声影响的缺陷,使得本发明与现有技术相比对噪声具有更高的鲁棒性。
附图说明
图1为本发明的流程图;
图2为对比度较高的红外与可见光视频图像融合的仿真图;
图3为对比度较低的红外与可见光视频图像融合的仿真图。
具体实施方法
下面结合附图对本发明做进一步的描述。
参照附图1,本发明的具体步骤如下:
步骤1,分别输入在空间和时间上已经严格校准的两个视频。
步骤2,获得子带系数:
对两个视频分别进行三维均匀离散曲波3D-UDCT分解,得到各自的带通方向子带系数和低通子带系数。
步骤3,将视频区域划分三种区域:
对每一个视频的带通方向子带系数利用三维时空结构张量,进行时空显著性检测,将视频区域划分为运动目标区域、空间几何特征区域和平滑区域三种区域;实现步骤如下:
在时空点p(x,y,t)处构建结构张量矩阵:
其中,S(p)表示在时空点p(x,y,t)处的结构张量矩阵,Ω是以点p(x,y,t)为中心,大小为3×3×3的局部区域,r是该局部区域的一个时空点,w(r)是一个具有同样大小3×3×3的高斯模板,Cx(p),Cy(p)和Ct(p)分别表示输入视频在点p(x,y,t)处沿x,y,t轴的梯度。
划分平滑区域:确定阈值th1,其中,Γ(S)表示结构张量矩阵S(p)的迹,x、y表示时空点p(x,y,t)的空间坐标,当Γ(S)小于th1时,该区域为平滑区域。
划分空间几何区域:确定阈值th2,其中,εt表示结构张量矩阵S(p)的最大特征值所对应特征向量的时间分量,|·|表示绝对值,x、y表示时空点p(x,y,t)的空间坐标,t表示时空点p(x,y,t)的时间坐标,当Γ(S)大于等于th1且|εt|小于th2时,该区域为空间几何区域。
划分时间运动区域:当Γ(S)大于等于th1且|εt|大于等于th2,该区域为时间运动区域。
步骤4,获得融合后视频的带通方向子带系数:
对运动目标区域的带通方向子带系数,按照基于能量选择的融合策略进行组合,得到运动目标区域内融合后视频的带通方向子带系数,其具体实施步骤如下:
对输入的两个已配准视频,获得两个输入视频的能量:在以当前时空位置(x,y,t)为中心,大小为3×3×3的局部区域内,将第一个输入视频分解得到的每一个带通方向子带系数,计算其在该局部时空区域内绝对值的平方和,得到该局部时空区域内第一个输入视频的能量;将第二个输入视频分解得到的每一个带通方向子带系数,计算其在该局部时空区域内绝对值的平方和,得到该局部时空区域内第二个输入视频的能量。
在该局部时空区域内,比较所获得的两个输入视频能量的大小;当第一个输入视频的能量大于第二个输入视频的能量时,融合后视频的带通方向子带系数为第一个输入视频在该局部时空区域内的带通方向子带系数;当第一个输入视频的能量小于等于第二个输入视频能量时,融合后视频的带通方向子带系数为第二个输入视频在该局部时空区域内的带通方向子带系数。
对空间几何特征区域的带通方向子带系数,按照基于相似度选择和加权平均相结合的融合策略进行组合,得到空间几何特征区域内的融合后视频的带通方向子带系数,其具体实施步骤如下:
对输入的在空间和时间上已经严格校准的两个视频,获得两个输入视频的能量:在以当前时空位置(x,y,t)为中心,大小为3×3×3的局部区域内,将第一个输入视频分解得到的每一个带通方向子带系数,计算其在该局部时空区域内绝对值的平方和,得到该局部时空区域内第一个输入视频的能量;将第二个输入视频分解得到的每一个带通方向子带系数,计算其在该局部时空区域内绝对值的平方和,得到该局部时空区域内第二个输入视频的能量。
在每一个尺度和方向上的带通方向子带中,按照下式计算该局部时空区域内两个视频能量的匹配程度:
其中,γs,k(x,y,t)表示在尺度s、方向k上的带通方向子带中,以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内两个视频能量的匹配程度,a和b分别表示第一个输入视频和第二个输入视频,Ca,s,k(x,y,t)和Cb,s,k(x,y,t)分别表示第一个输入视频带通方向子带系数和第二个输入视频带通方向子带系数,Ea,s,k(x,y,t)和Eb,s,k(x,y,t)分别表示在尺度s、方向k上的带通方向子带中,以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内两个视频的能量。
在每一个尺度和方向上的带通方向子带中,定义自适应阈值如下:
其中,αs,k表示在尺度s、方向k上的自适应阈值,γs,k(x,y,t)表示在尺度s、方向k上的带通方向子带中,以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内两个视频能量的匹配程度。
获得输入视频的显著因子:在以当前时空位置(x,y,t)为中心,大小为3×3×3的局部区域内,第一个输入视频的显著性因子为对应局部时空区域内结构张量矩阵S(p)的最大特征值与对应局部时空区域内第一个输入视频的能量的积;第二个输入视频的显著性因子为对应局部时空区域内结构张量矩阵S(p)的最大特征值与对应局部时空区域内第二个输入视频的能量的积。
在每一个尺度和方向上的带通方向子带中,比较局部时空区域内的能量匹配程度和自适应阈值的大小;当局部时空区域内的能量匹配程度小于等于自适应阈值的大小时,则采用选择性融合准则:当第一个输入视频的显著性因子大于第二个输入视频的显著性因子时,融合后视频的带通方向子带系数为第一个输入视频在该局部时空区域内的带通方向子带系数;当第一个输入视频的显著性因子小于等于第二个输入视频的显著性因子时,融合后视频的带通方向子带系数为第二个输入视频在该局部时空区域内的带通方向子带系数。
按照下式计算输入视频的权值:
其中,ωa,s,k(x,y,t)和ωb,s,k(x,y,t)分别表示以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内的第一个输入视频的权值和第二个输入视频的权值,a和b分别表示第一个输入视频和第二个输入视频,s表示尺度,k表示方向,δa,s,k(x,y,t)和δb,s,k(x,y,t)分别表示对应局部时空区域内第一个输入视频的显著性因子和第二个输入视频的显著性因子。
当局部时空区域内的能量匹配程度大于自适应阈值的大小时,则采用加权平均融合准则:按照下式计算该局部时空区域内融合后视频的带通方向子带系数:
Cf,s,k(x,y,t)=ωa,s,k(x,y,t)×Ca,s,k(x,y,t)+ωb,s,k(x,y,t)×Cb,s,k(x,y,t)
其中,Cf,s,k(x,y,t)表示该局部时空区域内融合后视频的带通方向子带系数,f表示融合后视频,s表示尺度,k表示方向,a和b分别表示第一个输入视频和第二个输入视频,ωa,s,k(x,y,t)和ωb,s,k(x,y,t)分别表示该局部时空区域内第一个输入视频的权值和第二个输入视频的权值,Ca,s,k(x,y,t)和Cb,s,k(x,y,t)分别表示该局部时空区域内第一个输入视频的带通方向子带系数和第二个输入视频的带通方向子带系数。
对平滑区域的带通方向子带系数,按照加权平均融合策略进行组合,得到平滑区域内的融合后视频的带通方向子带系数,其具体实施步骤如下:
按照下式计算局部时空区域内输入视频的权值:
其中,κa,s,k(x,y,t)和κb,s,k(x,y,t)分别表示以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内的第一个输入视频的权值和第二个输入视频的权值,a和b分别表示第一个输入视频和第二个输入视频,s表示尺度,k表示方向,Ea,s,k(x,y,t)和Eb,s,k(x,y,t)分别表示在该尺度和方向上的带通方向子带中,以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内两个视频的能量。
按照下式计算对应局部时空区域内融合后视频的带通方向子带系数:
Cf,s,k(x,y,t)=κa,s,k(x,y,t)×Ca,s,k(x,y,t)+κb,s,k(x,y,t)×Cb,s,k(x,y,t)
其中,Cf,s,k(x,y,t)表示对应局部时空区域内融合后视频的带通方向子带系数,f表示融合后视频,a和b分别表示第一个输入视频和第二个输入视频,s表示尺度,k表示方向,κa,s,k(x,y,t)和κb,s,k(x,y,t)分别表示对应局部时空区域内第一个输入视频的权值和第二个输入视频的权值,Ca,s,k(x,y,t)和Cb,s,k(x,y,t)分别表示对应局部时空区域内第一个输入视频的带通方向子带系数和第二个输入视频的带通方向子带系数。
步骤5,获得融合后视频的低通子带系数:
对于每一个视频的低通子带系数,按照加权平均的融合策略进行组合,得到融合后视频的低通子带系数,其具体实施步骤如下:
按照下式计算局部时空区域内输入视频的权值:
其中,ηa,S(x,y,t)和ηb,S(x,y,t)分别表示以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内的第一个输入视频的权值和第二个输入视频的权值,S表示总尺度数目,(x,y,t)表示时空位置,a和b分别表示第一个输入视频和第二个输入视频,Ea,S(x,y,t)和Eb,S(x,y,t)分别表示在该局部时空区域内低通子带中两个视频的能量。
按照下式计算对应局部时空区域内融合后视频的低通子带系数:
Cf,S(x,y,t)=ηa,S(x,y,t)×Ca,S(x,y,t)+ηb,S(x,y,t)×Cb,S(x,y,t)
其中,Cf,S(x,y,t)表示对应局部时空区域内融合后视频的低通子带系数,f表示融合后视频,S表示总尺度数目,(x,y,t)表示时空位置,a和b分别表示第一个输入视频和第二个输入视频,ηa,S(x,y,t)和ηb,S(x,y,t)分别表示对应局部时空区域内第一个输入视频的权值和第二个输入视频的权值,Ca,S(x,y,t)和Cb,S(x,y,t)分别表示对应局部时空区域内第一个输入视频的低通子带系数和第二个输入视频的低通子带系数。
步骤6,获得融合后的视频:
将融合后视频的带通方向子带系数和低通子带系数,进行三维均匀离散曲波3D-UDCT逆变换,得到融合视频。
下面结合图2和图3仿真图对本发明的效果做进一步的描述。
为验证本发明的有效性和正确性,采用了两组红外与可见光视频图像进行融合仿真实验。所有仿真实验均在Windows XP操作系统下采用Matlab2009软件实现的。
仿真1
仿真1为一组具有对比度较高的红外与可见光视频图像融合实验,所采用的视频图像大小为224×224×224。本仿真采用了基于三维能量融合方法(3D-EN方法)和基于运动检测的融合方法(MT方法)与本发明方法进行了比较。同时,还采用信息熵I(Vf)、平均梯度AG(Vf)、帧差图像的互信息熵MI_IFD(Va,Vb,Vf)、相位一致性度量指标QPC(Va,Vb,Vf)以及基于结构相似度的动态图像融合性能评价指标QST(Va,Vb,Vf)5种评价指标对上述不同融合方法进行客观评价。
图2给出了一组具有对比度较高的红外与可见光输入视频以及采用上述三种融合方法得到的融合视频中某一帧图像,其中,图2(a)为红外输入视频中单帧图像,图2(b)为可见光输入视频中对应帧图像,图2(c)为采用3D-EN融合方法得到的融合视频中对应帧图像,图2(d)为采用MT融合方法得到的融合视频中对应帧图像,图2(e)为采用本发明提出的融合方法得到的融合视频中对应帧图像。
从图2可以看出,采用MT融合方法得到的融合图像图2(d)看上去比较平滑,这是由于背景图像在融合之前进行了平均处理,使得一些空间特征信息在融合过程中丢失了。采用3D-EN融合方法得到的融合图像图2(c)和本发明提出的融合方法得到的融合图像图2(e)均具有较好的视觉效果,尤其是图2(e)具有更好的视觉效果。从而说明本发明提出的融合方法可以从输入视频中提取出更多的空间几何特征信息。此外,在图2(d)和图2(e)中用椭圆区域标注的运动目标比图2(c)中对应的运动目标区域更加明亮,这说明了MT融合方法和本发明提出的融合方法能够更好地从输入视频中提取出时间运动信息。
下表给出了分别采用3D-EN方法、MT方法、本发明三种不同融合方法的客观性能评价结果。
由上表可见,I(Vf)和AG(Vf)指标表明采用本发明得到的融合视频包含了更多的信息和具有更好的空间质量;MI_IFD(Va,Vb,Vf)和QPC(Va,Vb,Vf)指标分别表明本发明所提出的视频融合方法具有更好的时间一致性和空间一致性;QST(Va,Vb,Vf)指标表明本发明提出的融合方法在时空信息提取和一致性方面均具有更好的融合性能,其评价结果与对图2进行主观评价分析所得出的评价结果一致。
仿真2
仿真2为一组具有较低对比度的红外与可见光视频图像融合实验。所采用的视频图像大小为192×240×224。图3给出了输入视频中单帧图像以及采用不同方法得到的融合视频对应的单帧图像,其中,图3(a)为红外输入视频中单帧图像,图3(b)为可见光输入视频中对应帧图像,图3(c)为采用3D-EN融合方法得到的融合视频中对应帧图像,图3(d)为采用MT融合方法得到的融合视频中对应帧图像,图3(e)为采用本发明提出的融合方法得到的融合视频中对应帧图像。
下表给出了分别采用3D-EN方法、MT方法、本发明三种不同融合方法的客观性能评价结果。
从图3和上表可以得出与仿真1相似的结论,即本发明所提出的融合方法在时空信息提取及一致性方面具有更高的融合性能。从而表明本发明提出的融合方法对噪声具有更好的鲁棒性。
Claims (6)
1.一种基于时空显著性检测的多传感器视频融合方法,包括如下步骤:
(1)分别输入两个已配准的视频;
(2)获得子带系数:
对两个视频分别进行三维均匀离散曲波3D-UDCT分解,得到各自的带通方向子带系数和低通子带系数;
(3)将视频区域划分三种区域:
对每一个视频的带通方向子带系数利用三维时空结构张量,进行时空显著性检测,将视频区域划分为运动目标区域、空间几何特征区域和平滑区域三种区域;
(4)获得融合后视频的带通方向子带系数:
4a)对运动目标区域的带通方向子带系数,按照基于能量选择的融合策略进行组合,得到运动目标区域内融合后视频的带通方向子带系数;
4b)对空间几何特征区域的带通方向子带系数,按照基于相似度选择和加权平均相结合的融合策略进行组合,得到空间几何特征区域内融合后视频的带通方向子带系数;
4c)对平滑区域的带通方向子带系数,按照加权平均融合策略进行组合,得到平滑区域内融合后视频的带通方向子带系数;
(5)获得融合后视频的低通子带系数:
对于每一个视频的低通子带系数,按照加权平均的融合策略进行组合,得到融合后视频的低通子带系数;
(6)获得融合后的视频:
将融合后视频的带通方向子带系数和低通子带系数,进行三维均匀离散曲波3D-UDCT逆变换,得到融合视频。
2.根据权利要求1所述的基于时空显著性检测的多传感器视频融合方法,其特征在于:步骤(3)中所述的视频区域划分步骤如下:
第一步,构建结构张量矩阵:在时空点p(x,y,t)处,将视频沿x、y和t方向求导,构建一个3×3的结构张量矩阵S(p),其中x、y表示时空点的空间坐标,t表示时空点的时间坐标;
第二步,划分平滑区域:确定阈值th1,其中,Γ(S)表示结构张量矩阵S(p)的迹,x、y表示时空点p(x,y,t)的空间坐标,当Γ(S)小于th1时,该区域为平滑区域;
第三步,划分空间几何区域:确定阈值th2,其中,εt表示结构张量矩阵S(p)的最大特征值所对应特征向量的时间分量,|·|表示绝对值,x、y表示时空点p(x,y,t)的空间坐标,t表示时空点p(x,y,t)的时间坐标,当Γ(S)大于等于th1且|εt|小于th2时,该区域为空间几何区域;
第四步,划分时间运动区域:当Γ(S)大于等于th1且|εt|大于等于th2时,该区域为时间运动区域。
3.根据权利要求1所述的基于时空显著性检测的多传感器视频融合方法,其特征在于:步骤4a)中所述能量选择的融合策略按照以下步骤实现:
第一步,对输入的两个已配准视频,获得两个输入视频的能量:在以当前时空位置(x,y,t)为中心,大小为3×3×3的局部区域内,将第一个输入视频分解得到的每一个带通方向子带系数,计算其在该局部时空区域内绝对值的平方和,得到该局部时空区域内第一个输入视频的能量;将第二个输入视频分解得到的每一个带通方向子带系数,计算其在该局部时空区域内绝对值的平方和,得到该局部时空区域内第二个输入视频的能量;
第二步,在该局部时空区域内,比较所获得的两个输入视频能量的大小;
第三步,当第一个输入视频的能量大于第二个输入视频的能量时,融合后视频的带通方向子带系数为第一个输入视频在该局部时空区域内的带通方向子带系数;当第一个输入视频的能量小于等于第二个输入视频的能量时,融合后视频的带通方向子带系数为第二个输入视频在该局部时空区域内的带通方向子带系数。
4.根据权利要求1所述的基于时空显著性检测的多传感器视频融合方法,其特征在于:步骤4b)中所述相似度选择和加权平均相结合的融合策略按照以下步骤实现:
第一步,对输入的两个已配准视频,获得两个输入视频的能量:在以当前时空位置(x,y,t)为中心,大小为3×3×3的局部区域内,将第一个输入视频分解得到的每一个带通方向子带系数,计算其在该局部时空区域内绝对值的平方和,得到该局部时空区域内第一个输入视频的能量;将第二个输入视频分解得到的每一个带通方向子带系
数,计算其在该局部时空区域内绝对值的平方和,得到该局部时空区域内第二个输入视频的能量;
第二步,在每一个尺度和方向上的带通方向子带中,按照下式计算该局部时空区域内两个视频能量的匹配程度:
其中,γs,k(x,y,t)表示在尺度s、方向k上的带通方向子带中,以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内两个视频能量的匹配程度,a和b分别表示第一个输入视频和第二个输入视频,Ca,s,k(x,y,t)和Cb,s,k(x,y,t)分别表示第一个输入视频带通方向子带系数和第二个输入视频带通方向子带系数,Ea,s,k(x,y,t)和Eb,s,k(x,y,t)分别表示在尺度s、方向k上的带通方向子带中,以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内两个视频的能量;
第三步,在每一个尺度和方向上的带通方向子带中,定义自适应阈值如下:
其中,αs,k表示在尺度s、方向k上的自适应阈值,γs,k(x,y,t)表示在尺度s、方向k上的带通方向子带中,以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内两个视频能量的匹配程度;
第四步,获得输入视频的显著性因子:在以当前时空位置(x,y,t)为中心,大小为3×3×3的局部区域内,第一个输入视频的显著性因子为对应局部时空区域内结构张量矩阵S(p)的最大特征值与对应局部时空区域内第一个输入视频的能量的积;第二个输入视频的显著性因子为对应局部时空区域内结构张量矩阵S(p)的最大特征值与对应局部时空区域内第二个输入视频的能量的积;
第五步,在每一个尺度和方向上的带通方向子带中,比较局部时空区域内的能量匹配程度和自适应阈值的大小;
第六步,当局部时空区域内的能量匹配程度小于等于自适应阈值的大小时,则采用选择性融合准则:当第一个输入视频的显著性因子大于第二个输入视频的显著性因子时,融合后视频的带通方向子带系数为第一个输入视频在该局部时空区域内的带通方向子带系数;当第一个输入视频的显著性因子小于等于第二个输入视频的显著性因子时,融合后视频的带通方向子带系数为第二个输入视频在该局部时空区域内的带通方向子带系数;
第七步,按照下式计算输入视频的权值:
其中,ωa,s,k(x,y,t)和ωb,s,k(x,y,t)分别表示以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内的第一个输入视频的权值和第二个输入视频的权值,a和b分别表示第一个输入视频和第二个输入视频,s表示尺度,k表示方向,δa,s,k(x,y,t)和δb,s,k(x,y,t)分别表示对应局部时空区域内第一个输入视频的显著性因子和第二个输入视频的显著性因子;
第八步,当局部时空区域内的能量匹配程度大于自适应阈值的大小时,则采用加权平均融合准则:按照下式计算该局部时空区域内融合后视频的带通方向子带系数:
Cf,s,k(x,y,t)=ωa,s,k(x,y,t)×Ca,s,k(x,y,t)+ωb,s,k(x,y,t)×Cb,s,k(x,y,t)
其中,Cf,s,k(x,y,t)表示该局部时空区域内融合后视频的带通方向子带系数,f表示融合后视频,s表示尺度,k表示方向,a和b分别表示第一个输入视频和第二个输入视频,ωa,s,k(x,y,t)和ωb,s,k(x,y,t)分别表示该局部时空区域内第一个输入视频的权值和第二个输入视频的权值,Ca,s,k(x,y,t)和Cb,s,k(x,y,t)分别表示该局部时空区域内第一个输入视频的带通方向子带系数和第二个输入视频的带通方向子带系数。
5.根据权利要求1所述的基于时空显著性检测的多传感器视频融合方法,其特征在于:步骤4c)中所述的加权平均融合策略按照以下步骤实现:
第一步,按照下式计算局部时空区域内输入视频的权值:
其中,κa,s,k(x,y,t)和κb,s,k(x,y,t)分别表示以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内的第一个输入视频的权值和第二个输入视频的权值,a和b分别表示第一个输入视频和第二个输入视频,s表示尺度,k表示方向,Ea,s,k(x,y,t)和Eb,s,k(x,y,t)分别表示在尺度s、方向k上的带通方向子带中,以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内两个视频的能量;
第二步,按照下式计算对应局部时空区域内融合后视频的带通方向子带系数:
Cf,s,k(x,y,t)=κa,s,k(x,y,t)×Ca,s,k(x,y,t)+κb,s,k(x,y,t)×Cb,s,k(x,y,t)
其中,Cf,s,k(x,y,t)表示对应局部时空区域内融合后视频的带通方向子带系数,f表示融合后视频,a和b分别表示第一个输入视频和第二个输入视频,s表示尺度,k表示方向,κa,s,k(x,y,t)和κb,s,k(x,y,t)分别表示对应局部时空区域内第一个输入视频的权值和第二个输入视频的权值,Ca,s,k(x,y,t)和Cb,s,k(x,y,t)分别表示对应局部时空区域内第一个输入视频的带通方向子带系数和第二个输入视频的带通方向子带系数。
6.根据权利要求1所述的基于时空显著性检测的多传感器视频融合方法,其特征在于:步骤(5)中所述的加权平均融合策略按照以下步骤实现:
第一步,按照下式计算局部时空区域内输入视频的权值:
其中,ηa,S(x,y,t)和ηb,S(x,y,t)分别表示以时空位置(x,y,t)为中心,大小为3×3×3的局部时空区域内的第一个输入视频的权值和第二个输入视频的权值,S表示总尺度数目,(x,y,t)表示时空位置,a和b分别表示第一个输入视频和第二个输入视频,Ea,S(x,y,t)和Eb,S(x,y,t)分别表示在该局部时空区域内低通子带中两个视频的能量;
第二步,按照下式计算对应局部时空区域内融合后视频的低通子带系数:
Cf,S(x,y,t)=ηa,S(x,y,t)×Ca,S(x,y,t)+ηb,S(x,y,t)×Cb,S(x,y,t)
其中,Cf,S(x,y,t)表示对应局部时空区域内融合后视频的低通子带系数,f表示融合后视频,S表示总尺度数目,(x,y,t)表示时空位置,a和b分别表示第一个输入视频和第二个输入视频,ηa,S(x,y,t)和ηb,S(x,y,t)分别表示对应局部时空区域内第一个输入视频的权值和第二个输入视频的权值,Ca,S(x,y,t)和Cb,S(x,y,t)分别表示对应局部时空区域内第一个输入视频的低通子带系数和第二个输入视频的低通子带系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310047223.9A CN103095996B (zh) | 2013-01-25 | 2013-01-25 | 基于时空显著性检测的多传感器视频融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310047223.9A CN103095996B (zh) | 2013-01-25 | 2013-01-25 | 基于时空显著性检测的多传感器视频融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103095996A true CN103095996A (zh) | 2013-05-08 |
CN103095996B CN103095996B (zh) | 2015-09-02 |
Family
ID=48208089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310047223.9A Expired - Fee Related CN103095996B (zh) | 2013-01-25 | 2013-01-25 | 基于时空显著性检测的多传感器视频融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103095996B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103354602A (zh) * | 2013-06-18 | 2013-10-16 | 西安电子科技大学 | 基于高阶奇异值分解的多传感器视频融合方法 |
CN106372636A (zh) * | 2016-08-25 | 2017-02-01 | 上海交通大学 | 基于hop_top的视频显著性检测方法 |
CN107392917A (zh) * | 2017-06-09 | 2017-11-24 | 深圳大学 | 一种基于时空约束的视频显著性检测方法及系统 |
CN109740632A (zh) * | 2018-12-07 | 2019-05-10 | 百度在线网络技术(北京)有限公司 | 基于多传感器多被测对象的相似度模型训练方法和装置 |
CN109871813A (zh) * | 2019-02-25 | 2019-06-11 | 沈阳上博智像科技有限公司 | 一种实时图像跟踪方法及系统 |
CN109951705A (zh) * | 2019-03-15 | 2019-06-28 | 武汉大学 | 一种面向监控视频中车辆对象编码的参考帧合成方法及装置 |
CN110705431A (zh) * | 2019-09-26 | 2020-01-17 | 中国人民解放军陆军炮兵防空兵学院 | 基于深度c3d特征的视频显著性区域检测方法及系统 |
CN112839160A (zh) * | 2021-04-20 | 2021-05-25 | 北京中星时代科技有限公司 | 一种车载夜视辅助驾驶成像光学系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101093580A (zh) * | 2007-08-29 | 2007-12-26 | 华中科技大学 | 一种基于非子采样轮廓波变换的图像融合方法 |
CN101404084A (zh) * | 2008-11-14 | 2009-04-08 | 哈尔滨工业大学 | 基于Wavelet和Curvelet变换的红外图像背景抑制方法 |
CN101546428A (zh) * | 2009-05-07 | 2009-09-30 | 西北工业大学 | 基于区域分割的序列红外与可见光图像融合 |
CN101651772A (zh) * | 2009-09-11 | 2010-02-17 | 宁波大学 | 一种基于视觉注意的视频感兴趣区域的提取方法 |
CN101859434A (zh) * | 2009-11-05 | 2010-10-13 | 哈尔滨工业大学(威海) | 医学超声的基波和谐波图像融合方法 |
US20110025919A1 (en) * | 2009-07-31 | 2011-02-03 | Vorontsov Mikhail A | Automated Video Data Fusion Method |
CN102096913A (zh) * | 2011-01-25 | 2011-06-15 | 西安电子科技大学 | 压缩感知框架下的多策略图像融合方法 |
CN102637297A (zh) * | 2012-03-21 | 2012-08-15 | 武汉大学 | 一种基于Curvelet变换的可见光与红外图像融合方法 |
-
2013
- 2013-01-25 CN CN201310047223.9A patent/CN103095996B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101093580A (zh) * | 2007-08-29 | 2007-12-26 | 华中科技大学 | 一种基于非子采样轮廓波变换的图像融合方法 |
CN101404084A (zh) * | 2008-11-14 | 2009-04-08 | 哈尔滨工业大学 | 基于Wavelet和Curvelet变换的红外图像背景抑制方法 |
CN101546428A (zh) * | 2009-05-07 | 2009-09-30 | 西北工业大学 | 基于区域分割的序列红外与可见光图像融合 |
US20110025919A1 (en) * | 2009-07-31 | 2011-02-03 | Vorontsov Mikhail A | Automated Video Data Fusion Method |
CN101651772A (zh) * | 2009-09-11 | 2010-02-17 | 宁波大学 | 一种基于视觉注意的视频感兴趣区域的提取方法 |
CN101859434A (zh) * | 2009-11-05 | 2010-10-13 | 哈尔滨工业大学(威海) | 医学超声的基波和谐波图像融合方法 |
CN102096913A (zh) * | 2011-01-25 | 2011-06-15 | 西安电子科技大学 | 压缩感知框架下的多策略图像融合方法 |
CN102637297A (zh) * | 2012-03-21 | 2012-08-15 | 武汉大学 | 一种基于Curvelet变换的可见光与红外图像融合方法 |
Non-Patent Citations (3)
Title |
---|
AHMED ABD-EL-KADER, HOSSAM EL-DIN MOUSTAFA, SAMEH REHAN: "Performance Measures for Image Fusion Based on Wavelet Transform and Curvelet Transform", 《28TH NATIONAL RADIO SCIENCE CONFERENCE》, 28 April 2011 (2011-04-28), pages 1 - 7, XP031947088, DOI: 10.1109/NRSC.2011.5873622 * |
张强: "基于多尺度几何分析的多传感器图像融合研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 200812, 31 December 2008 (2008-12-31), pages 138 - 31 * |
王宏,敬忠良,李建勋: "一种基于目标区域的图像融合新方法", 《中国激光》, no. 200503, 10 March 2005 (2005-03-10), pages 351 - 355 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103354602A (zh) * | 2013-06-18 | 2013-10-16 | 西安电子科技大学 | 基于高阶奇异值分解的多传感器视频融合方法 |
CN103354602B (zh) * | 2013-06-18 | 2016-07-06 | 西安电子科技大学 | 基于高阶奇异值分解的多传感器视频融合方法 |
CN106372636A (zh) * | 2016-08-25 | 2017-02-01 | 上海交通大学 | 基于hop_top的视频显著性检测方法 |
CN107392917B (zh) * | 2017-06-09 | 2021-09-28 | 深圳大学 | 一种基于时空约束的视频显著性检测方法及系统 |
CN107392917A (zh) * | 2017-06-09 | 2017-11-24 | 深圳大学 | 一种基于时空约束的视频显著性检测方法及系统 |
CN109740632A (zh) * | 2018-12-07 | 2019-05-10 | 百度在线网络技术(北京)有限公司 | 基于多传感器多被测对象的相似度模型训练方法和装置 |
CN109740632B (zh) * | 2018-12-07 | 2023-11-10 | 阿波罗智能技术(北京)有限公司 | 基于多传感器多被测对象的相似度模型训练方法和装置 |
CN109871813A (zh) * | 2019-02-25 | 2019-06-11 | 沈阳上博智像科技有限公司 | 一种实时图像跟踪方法及系统 |
CN109871813B (zh) * | 2019-02-25 | 2021-11-26 | 沈阳上博智像科技有限公司 | 一种实时图像跟踪方法及系统 |
CN109951705A (zh) * | 2019-03-15 | 2019-06-28 | 武汉大学 | 一种面向监控视频中车辆对象编码的参考帧合成方法及装置 |
CN110705431A (zh) * | 2019-09-26 | 2020-01-17 | 中国人民解放军陆军炮兵防空兵学院 | 基于深度c3d特征的视频显著性区域检测方法及系统 |
CN110705431B (zh) * | 2019-09-26 | 2022-03-15 | 中国人民解放军陆军炮兵防空兵学院 | 基于深度c3d特征的视频显著性区域检测方法及系统 |
CN112839160A (zh) * | 2021-04-20 | 2021-05-25 | 北京中星时代科技有限公司 | 一种车载夜视辅助驾驶成像光学系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103095996B (zh) | 2015-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103095996A (zh) | 基于时空显著性检测的多传感器视频融合方法 | |
CN104268847B (zh) | 一种基于交互非局部均值滤波的红外与可见光图像融合方法 | |
Dong et al. | High quality multi-spectral and panchromatic image fusion technologies based on curvelet transform | |
CN103871076B (zh) | 基于光流法和超像素分割的运动目标提取方法 | |
CN101615290B (zh) | 一种基于典型相关分析的人脸图像超分辨率重建方法 | |
CN104200452B (zh) | 基于谱图小波变换的红外与可见光图像融合方法及其装置 | |
CN107301664A (zh) | 基于相似性测度函数的改进局部立体匹配方法 | |
CN103957397B (zh) | 一种基于图像特征的低分辨率深度图像上采样方法 | |
CN101873440B (zh) | 基于Surfacelet变换的红外与可见光视频图像融合方法 | |
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
CN104408700A (zh) | 基于形态学和pca的轮廓波红外与可见光图像融合方法 | |
CN103729842A (zh) | 基于局部统计特征与整体显著性分析的织物疵点检测方法 | |
CN105898278B (zh) | 一种基于双目多维感知特性的立体视频显著性检测方法 | |
CN109658351A (zh) | 一种结合l0梯度约束和局部低秩矩阵恢复的高光谱图像去噪方法 | |
CN104299232A (zh) | 一种基于自适应窗方向波域和改进fcm的sar图像分割方法 | |
CN104050685A (zh) | 基于粒子滤波视觉注意力模型的运动目标检测方法 | |
CN103761717B (zh) | 一种基于全色遥感影像的城市水体提取方法 | |
CN103826032A (zh) | 深度图后期处理方法 | |
CN104268833A (zh) | 基于平移不变剪切波变换的图像融合新方法 | |
CN104318563A (zh) | 一种基于医学图像的器官骨架提取方法 | |
CN103905815B (zh) | 基于高阶奇异值分解的视频融合性能评价方法 | |
CN104063871A (zh) | 可穿戴设备的图像序列场景分割方法 | |
CN107133938A (zh) | 基于小波系数统计模型的鲁棒图像融合方法 | |
CN103226825A (zh) | 基于低秩稀疏模型的遥感图像变化检测方法 | |
CN103152569A (zh) | 一种基于深度信息的视频感兴趣区域压缩方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150902 Termination date: 20200125 |
|
CF01 | Termination of patent right due to non-payment of annual fee |