CN104268847A - 一种基于交互非局部均值滤波的红外与可见光图像融合方法 - Google Patents

一种基于交互非局部均值滤波的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN104268847A
CN104268847A CN201410490237.2A CN201410490237A CN104268847A CN 104268847 A CN104268847 A CN 104268847A CN 201410490237 A CN201410490237 A CN 201410490237A CN 104268847 A CN104268847 A CN 104268847A
Authority
CN
China
Prior art keywords
image
light image
infrared
fusion
visible images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410490237.2A
Other languages
English (en)
Other versions
CN104268847B (zh
Inventor
秦翰林
延翔
韩姣姣
牟媛
宗靖国
李佳
曾庆杰
赵日成
赵营
周慧鑫
刘上乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Science And Technology Ltd Of Upper Hiroad Army
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201410490237.2A priority Critical patent/CN104268847B/zh
Publication of CN104268847A publication Critical patent/CN104268847A/zh
Application granted granted Critical
Publication of CN104268847B publication Critical patent/CN104268847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种基于交互非局部均值滤波的红外与可见光图像融合方法,主要解决现有红外与可见光图像融合方法获得融合图像的清晰度、对比度、空间分辨率低等问题。其实现步骤为:(1)对输入的红外与可见光图像进行交互非局部均值滤波获得基层图像;(2)对红外与可见光图像与其基层图像相减得到红外与可见光图像的细节图像;(3)计算细节图像的邻域窗口统计特性得到红外与可见光图像的融合权重图;(4)将红外与可见光图像的融合权重图分别作用于红外与可见光图像,并对经融合权重图作用的红外图像与可见光图像进行加权融合便获得融合图像。本发明采用的基于交互非局部均值滤波的红外与可见光图像融合方法能获得清晰度、对比度、空间分辨率高的融合图像,融合效果好,可用于人类视觉和机器认知等领域。

Description

一种基于交互非局部均值滤波的红外与可见光图像融合方法
技术领域
本发明属于图像融合处理技术领域,具体涉及一种基于交互非局部均值滤波的红外与可见光图像融合方法。
背景技术
图像融合是将两个或多个传感器获得的同一场景的图像信息有机整合的技术,融合图像更有利于人类与机器视觉感知和其它图像处理任务,如:图像增强、人脸识别、特征提取和目标检测等。由于图像融合技术可以丰富图像的信息及视觉效果,因此,图像融合被广泛应用于计算机视觉、医学成像、遥感测量等领域。
从二十世纪八十年代开始,多传感器图像融合已引起了广泛的兴趣和研究热潮,其在机器学习、遥感、计算机视觉、医学图像处理以及军事应用中有着广泛的应用前景。经过近三十年的发展,图像融合技术已形成了一定的规模,国内外也都开发出许多用于不同领域的融合系统,但是,这并不意味着图像融合技术已相当成熟了。从国内外目前的研究情况来看,图像融合技术在理论和技术方面均存在有待解决的问题。与国外相比,国内开展图像融合研究工作起步较晚,尽管国内近几年在图像融合方面的研究取得了较大的成就;但是,相比国外仍处于较落后的状态。因此,急需我们对图像融合进行广泛深入的基础理论和基础技术的研究。
随着新的信息理论的不断发展及国外内学者对图像融合不断深入全面地研究,图像融合研究取得了较大的进步。近年来,国内外学者提出了许多图像融合方法,其中,基于多尺度变换的图像融合方法是目前被广泛采用的方法,如文章《Image sequence fusion using a shift-invariant wavelet transform》,ImageProcessing,1997.Proceedings.,International Conference on.IEEE,1997,3:288-291,因为小波变换不能很好地捕捉图像的边缘和纹理信息,而且,该方法用简单的系数绝对值取大的融合规则,得到的融合图像效果不理想。此后,Kor S等人便提出了基于提升小波变换的特征级图像融合方法,参见文章《Feature levelfusion of multimodal medical images in lifting wavelet transform domain》,Engineering in Medicine and Biology Society,2004.IEMBS′04.26th AnnualInternational Conference ofthe IEEE.IEEE,2004,1:1479-1482,该方法通过计算小波变换系数的梯度,并通过比较两幅图像的小波变换系数梯度之差与设定的阈值的大小来确定融合系数,该方法所得到的融合图像尽管效果有所改善,但是,还是难以满足要求。随着非下采样轮廓波变换(NSCT)的兴起,学者们已将NSCT应用于图像融合中,参见《Image fusion based on nonsubsampled contourlettransform for infrared and visible light image》,Infrared Physics & Technology,2013,61:94-100.该方法获得的融合图像细节较丰富,纹理较清晰,视觉效果优于前两种方法,这是由于NSCT具有:(1)高度冗余性,与有用信息有关的NSCT系数在各个细节子带内呈现稀疏性分布;(2)NSCT采用的是具有各向异性的Contourlet基,是的各个细节子带“描述”的是源图像在不同方向上的细节信息,因此具有多方向选择性;而且,这种基于NSCT的图像融合方法对低频子带系数和带通方向子带系数分别采用基于区域视觉特性和交互梯度融合规则。但NSCT也有自身的不足:由于NSCT采用的方向滤波器为扇形滤波器的非下采样滤波器组,通过此滤波器获得带通方向子带系数;从而使得基于NSCT的图像融合方法的计算量较大,不利于实际应用;而且融合图像的清晰度、空间分辨率等依然相对较低,整体效果还是不尽如人意。
发明内容
本发明的目的在于针对上述现有方法的不足,提出一种基于交互非局部均值滤波的红外与可见光图像融合方法,以实现融合权重的自适应性、融合图像的清晰度与空间分辨率等,以得到图像质量更好的融合图像。
实现本发明的技术关键在于直接红外图像与可见光图像进行融合,节省了存储空间,通过计算红外图像与可见光图像的细节图像邻域窗口统计特性得到具有自适应性的红外与可见光图像融合权重图,整个过程分为四大部分。首先,对红外图像与可见光图像分别进行交互非局部均值滤波获取红外图像与可见光图像的基层图像;其次,将红外图像与可见光图像与其基层图像相减获得对应的细节图像;再次,分别计算红外图像与可见光图像的细节图像邻域窗口统计特性得到具有自适应性的红外图像与可见光图像的融合权重图;最后,将红外图像与可见光图像的融合权重图分别作用于红外图像与可见光图像,并对经融合权重作用的红外图像与可见光图像进行加权融合便得到融合图像。本发明方法的具体实现步骤如下:
(1)对输入的红外图像A和可见光图像B分别进行交互非局部均值滤波处理,得到基层图像BA和BB
B A ( p ) = Σ q ∈ I ω A ( p , q ) A ( q )
B B ( p ) = Σ q ∈ I ω B ( p , q ) B ( q )
其中,
其中,为高斯核的标准差,k为滤波器参数,Np与Nq分别表示图像A中位置为p和q的相似窗口,Mp与Mq分别表示图像B中位置为p和q的相似窗口,I(Np)与I(Nq)分别表示图像A中的邻域Np与Nq的灰度值,I(Mp)与I(Mq)分别表示图像B中的邻域Mp与Mq的灰度值。
(2)将红外图像A与可见光图像B分别与其基层图像BA和BB相减获得红外图像与可见光图像的细节图像DA与DB
DA=A-BA
DB=B-BB
(3)计算细节图像DA和DB的邻域窗口统计特性获得对应红外图像A与可见光图像B的融合权重图ξA与ξB
(3a)确定红外图像A和可见光图像B的像素位置(m,n)以及邻域窗口的大小ψ×ψ,构造矩阵M,其中,矩阵M中对应位置的元素为红外图像A(或可见光图像B)像素位置(m,n)的大小为ψ×ψ的邻域窗口图像块中像素值。
(3b)将矩阵M的行与列对应的数值分别记为观测值与变量值,计算矩阵M的协方差矩阵行的无偏估计值UH,通过如下公式计算:
U H = Σ i = 1 ψ ( a i - a ‾ ) ( a i - a ‾ ) T ψ - 1
cov(M)=E((M-E(M))(M-E(M))T)
其中,ai为ψ空间变量的第i个观测值,是观测值的均值,cov(M)为矩阵M的协方差矩阵。
(3c)确定矩阵UH的特征值,由于矩阵M的大小为ψ×ψ,所以矩阵M有ψ个特征值,这些特征值的和正比于邻域窗口图像块的水平细节强度,将这些特征值的和记为DSTH,是通过如下公式计算:
DST H ( m , n ) = Σ i ψ λ i
其中,λi是矩阵UH的第i个特征值。
(3d)同理有,将矩阵M的每一列与每一行分别看作一个观测值和一个变量,从而由矩阵M的协方差矩阵列的无偏估计值UV的特征值的和获得垂直细节强度DSTV,是通过如下公式计算:
DST V ( m , n ) = Σ i ψ ζ i
其中,ζi是矩阵UV的第i个特征值。
(3e)通过DSTH和DSTV计算红外图像A与可见光图像B的融合权重图ξA与ξB,是通过如下公式计算:
ξA(m,n)=DSTH[A](m,n)+DSTV[A](m,n)
ξB(m,n)=DSTH[B](m,n)+DSTV[B](m,n)
其中,A、B分别为红外图像与可见光图像,(m,n)为图像的空间位置。
(4)将融合权重图ξA与ξB分别作用于红外图像A与可见光图像B,并对这两幅经融合权重图作用的图像进行加权融合,获得最终的融合图像F,是通过如下公式计算:
F ( m , n ) = ξ A ( m , n ) A ( m , n ) + ξ B ( m , n ) B ( m , n ) ξ A ( m , n ) + ξ B ( m , n )
其中,(m,n)为图像的空间位置。
本发明由于采用了交互非局部均值滤波理论来获取红外图像与可见光图像的细节图像,并通过计算细节图像的邻域窗口统计特性来获得具有自适应性的红外与可见光图像的融合权重图,所以与传统的图像融合方法相比,本发明具有以下优点:
1.不需要对红外图像与可见光图像进行多尺度分解,节省存储空间;
2.通过计算红外图像与可见光图像的细节图像邻域窗口统计特性来获得具有自适应性的红外与可见光图像的融合权重图;
3.利用红外图像的特性来确定对可见光图像进行非局部均值滤波的滤波核、利用可见光图像的特性来确定对红外图像进行非局部均值滤波的滤波核,这样能获得更好的细节图像,从而获得更优的自适应融合权重,以便有效地提升融合图像的清晰度、空间分辨率等,得到融合效果更好的图像。
仿真实验证明,本发明对红外图像与可见光图像融合问题,融合图像较清晰,视觉效果较好,客观评价指标较优,是一种有效可行的图像融合方法。
附图说明
图1为本发明的整体流程图。
图2为本发明使用的两组红外图像与可见光图像的源图像。
图3为本发明与现有三种图像融合方法对红外与可见光UNcamp图像进行融合的结果图。
图4为本发明与现有三种图像融合方法对红外与可见光City图像进行融合结果图。
具体实施方式
下面结合具体实施方式对本发明进行详细的说明。
本发明所涉及的基于交互非局部均值滤波的红外与可见光图像融合方法,是利用交互非局部均值分别对红外图像与可见光图像进行滤波,并将红外图像与可见光图像分别与其滤波后的图像相减获得细节图像,以减少内存空间;通过分别计算红外图像与可见光图像的细节图像领域窗口统计特性来获得红外与可见光图像融合权重图来实现图像融合的自适应性和融合图像的质量,整个过程分为四大部分。
首先,对红外图像A与可见光图像B分别进行交互非局部均值(C-NLM)滤波,获得红外像图A与可见光图像B的基层图像BA与BB;其次,将红外图像A与可见光图像B与基层图像BA与BB相减获得红外图像A与可见光图像B的细节图像DA和DB;再次,计算细节图像DA和DB的邻域窗口统计特性图,即得到红外图像A与可见光图像B的融合权重图ξA与ξB;最后,将融合权重图ξA与ξB分别作用于红外图像A与可见光图像B,并对经融合权重作用的红外图像与可见光图像进行加权融合,便得到融合图像F,具体由以下步骤实现:
步骤一:对输入的红外图像A和可见光图像B分别进行交互非局部均值滤波处理,得到红外图像A与可见光图像B的基层图像BA与BB
B A ( p ) = Σ q ∈ I ω A ( p , q ) A ( q )
B B ( p ) = Σ q ∈ I ω B ( p , q ) B ( q )
其中,
其中,为高斯核的标准差,k为滤波器参数,Np与Nq分别表示图像A中位置为p和q的相似窗口,Mp与Mq分别表示图像B中位置为p和q的相似窗口,I(Np)与I(Nq)分别表示图像A中的邻域Np与Nq的灰度值,I(Mp)与I(Mq)分别表示图像B中的邻域Mp与Mq的灰度值。
交互非局部均值滤波是利用自然图像冗余度较高的特点,鉴于自然图像中的每个小窗口都有许多与其相似的窗口,交互非局部均值滤波通过从相似窗口中预测当前位置的像素值,在平滑图像的同时能够保持图像中景物重要特征和细微结构。因此,对图像进行交互非局部均值滤波得到滤波图像,并通过原图像与滤波后的图像相减得到细节图像,能够很好地表达对应原图像的显著特征。
步骤二:将红外图像A与可见光图像B分别与基层图BA与BB相减,便获得红外图像A与可见光图像B的细节图像DA与DB
DA=A-BA
DB=B-BB
步骤三:计算细节图像DA与DB的邻域窗口统计特性得到红外图像A与可见光图像B的融合权重图ξA与ξB,具体过程如下:
(1)确定红外图像A与可见光图像B的像素位置(m,n)以及邻域窗口的大小ψ×ψ,构造矩阵M,其中,矩阵M中对应位置的元素为红外图像A(或可见光图像B)的像素位置(m,n)的大小为ψ×ψ的邻域窗口的图像块中像素值。
(2)将矩阵M行与列对应的数值分别记为观测值与变量值,计算矩阵M的协方差矩阵的行的无偏估计值UH,通过如下公式计算:
U H = Σ i = 1 ψ ( a i - a ‾ ) ( a i - a ‾ ) T ψ - 1
cov(M)=E((M-E(M))(M-E(M))T)
其中,ai为ψ空间变量的第i个观测值,是观测值的均值,cov(M)为矩阵M的协方差矩阵。
(3)确定矩阵UH的特征值,由于矩阵M的大小为ψ×ψ,所以矩阵M有ψ个特征值,这些特征值的和正比于邻域窗口图像块的水平细节强度,将这些特征值的和记为DSTH,其通过如下计算:
DST H ( m , n ) = Σ i ψ λ i
其中,λi是矩阵UH的第i个特征值。
(4)同理有,把矩阵M的每一列与每一行分别看作一个观测值和一个变量,从而由矩阵M的协方差矩阵列的无偏估计值UV的特征值的和获得垂直细节强度DSTV,是通过如下公式计算:
DST V ( m , n ) = Σ i ψ ζ i
其中,ζi是矩阵UV的第i个特征值。
(5)利用DSTH和DSTV计算红外图像A与可见光图像B的融合图像的权重图ξA与ξB,是通过如下公式计算:
ξA(m,n)=DSTH[A](m,n)+DSTV[A](m,n)
ξB(m,n)=DSTH[B](m,n)+DSTV[B](m,n)
其中,A、B分别为红外图像与可见光图像,(m,n)为图像的空间位置。
步骤四:对红外图像A与可见光图像B进行融合。将步骤3所获得的红外图像A与可见光图像B的融合权重图ξA与ξB分别作用于红外图像A与可见光图像B,便得到融合图像F,是通过如下公式计算:
F ( m , n ) = ξ A ( m , n ) A ( m , n ) + ξ B ( m , n ) B ( m , n ) ξ A ( m , n ) + ξ B ( m , n )
其中,(m,n)图像的空间位置。
本发明的效果可以通过仿真实验具体说明:
1.实验条件
实验中采用的图像数据是两组已配准的红外与可见光图像,大小分别320×240与320×320,两组红外与可见光图像均来源于http://www.imagefusion.org,第一组为UNcamp图像,如图2(a)和图2(b)分别为红外与可见光图像;第二组为City图像,如图2(c)和图2(d)分别为红外与可见光图像。
2.实验内容
实验1,用本发明的方法和现有的三种融合方法对UNcamp图像进行融合实验,融合结果如图3,其中图3(a)为文章《Image sequence fusion using ashift-invariant wavelet transform》,Image Processing,1997.Proceedings.,International Conference on.IEEE,1997,3:288-291.图3(b)为文章《Feature levelfusion of multimodal medical images in lifting wavelet transform domain》,Engineering in Medicine and Biology Society,2004.IEMBS′04.26th AnnualInternational Conference of the IEEE.IEEE,2004,1:1479-1482.图3(c)为文章《Image fusion based on nonsubsampled contourlet transform for infrared and visiblelight image》,Infrared Physics & Technology,2013,61:94-100.图3(d)为本发明的图像融合结果图。
从图3可见,本发明的融合方法和现有的三种融合方法相比,视觉效果更高、目标和场景都更清晰,文章《Image sequence fusion using a shift-invariant wavelettransform》,Image Processing,1997.Proceedings.,International Conference on.IEEE,1997,3:288-291与文章《Feature level fusion ofmultimodal medical images in liftingwavelet transform domain》,Engineering in Medicine and Biology Society,2004.IEMBS′04.26th Annual International Conference of the IEEE.IEEE,2004,1:1479-1482的融合方法的融合结果中的目标和场景均比较模糊,文章《Imagefusion based on nonsubsampled contourlet transform for infrared and visible lightimage》,Infrared Physics&Technology,2013,61:94-100的融合方法的融合结果中场景较模糊,且与本发明方法相比对比度较低,视觉效果较差。
实验2,用本发明的方法和现有的三种融合方法对City图像进行融合实验,融合结果如图4,其中图4(a)为文章《Image sequence fusion using a shift-invariantwavelet transform》,Image Processing,1997.Proceedings.International Conferenceon.IEEE,1997,3:288-291.图4(b)为文章《Feature level fusion ofmultimodalmedical images in lifting wavelet transform domain》,Engineering in Medicine andBiology Society,2004.IEMBS′04.26th Annual International Conference ofthe IEEE.IEEE,2004,1:1479-1482.图4(c)为文章《Image fusion based on nonsubsampledcontourlet transform for infrared and visible light image》,Infrared Physics &Technology,2013,61:94-100.图4(d)为本发明的图像融合结果图。
从图4可见,本发明的融合方法和现有的三种融合方法相比,视觉效果更高、目标(车、人等)和场景都较清晰,文章《Image sequence fusion using ashift-invariant wavelet transform》,Image Processing,1997.Proceedings.,International Conference on.IEEE,1997,3:288-291与文章《Feature level fusion ofmultimodal medical images in lifting wavelet transform domain》,Engineering inMedicine and Biology Society,2004.IEMBS′04.26th Annual InternationalConference ofthe IEEE.IEEE,2004,1:1479-1482的融合方法的融合结果中目标(车、人等)和场景均较模糊、融合结果的对比度较低,文章《Image fusionbasedon nonsubsampled contourlet transform for infrared and visible light image》,InfraredPhysics & Technology,2013,61:94-100的融合方法的融合结果目标较清晰且与本发明方法相比,场景较模糊,视觉效果较差。
将本发明的融合方法与文章《Image sequence fusion using a shift-invariantwavelet transform》,Image Processing,1997.Proceedings.,International Conferenceon.IEEE,1997,3:288-291.的融合方法、文章《Feature level fusion ofmultimodalmedical images in lifting wavelet transform domain》,Engineering in Medicine andBiology Society,2004.IEMBS′04.26th Annual International Conference ofthe IEEE.IEEE,2004,1:1479-1482.的融合方法、文章《Image fusion based on nonsubsampledcontourlet transform for infrared and visible light image》,Infrared Physics &Technology,2013,61:94-100.的融合方法在五种图像质量评价指标上进行比较,来客观评价本发明的效果。四种融合方法在第一组UNcamp、第二组City红外图像与可见光图像上的融合客观评价指标如表1与表2:
表1 第一组红外图像与可见光图像融合客观评价指标
Method SP AG Entropy SF QAB/F
SWT 4.4690 6.6165 6.2542 7.9955 0.6094
LWT 4.7051 6.8247 6.2534 8.3068 0.6167
NSCT 4.9635 7.3290 6.5355 8.9559 0.5767
Propose 6.7913 9.8390 6.4889 12.6753 0.6951
表2 第二组红外图像与可见光图像融合客观评价指标
Method SP AG Entropy SF QAB/F
LWT 4.9095 7.1925 6.8089 9.9120 0.6837
SWT 5.1218 7.5051 6.8079 10.4724 0.6900
NSCT 6.5166 9.5320 7.1770 13.3889 0.6854
Propose 8.7335 12.6387 7.1285 17.1907 0.8275
表1与表2中:
SWT表示文章Rockinger O,“Image sequence fusion using a shift-invariantwavelet transform,”Image Processing,1997.Proceedings.,International Conferenceon.IEEE,1997,3:288-291.的融合方法。
LWT表示文章Kor S,Tiwary U,“Feature level fusion of multimodal medicalimages in lifting wavelet transform domain,”Engineering in Medicine and BiologySociety,2004.IEMBS′04.26th Annual International Conference of the IEEE.IEEE,2004,1:1479-1482.的融合方法。
NSCT表示文章Adu J,Gan J,Wang Y,et a1.Image fusion based onnonsubsampled contourlet transform for infrared and visible light image[J].InfraredPhysics & Technology,2013,61:94-100.的融合方法。
SP表示图像清晰度,AG表示平均梯度,Entropy表示信息熵,SF表示空间频率,QAB/F表示边缘保持度。
由表1可见,本发明的方法在四项指标上均明显优于上述的三篇文章的方法,另外一项指标也比较接近。
由表2可见,本发明的方法在四项指标上明显优于上述三篇文章的方法,另外一项项指标也差异较小。
上述实验证明,本发明提出的基于交互非局部均值滤波的红外与可见光图像融合方法对红外与可见光图像融合问题能取得较好的视觉效果。
本发明的内容不限于实施例所列举,本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换,均为本发明的权利要求所涵盖。

Claims (3)

1.一种基于交互非局部均值滤波的红外与可见光图像融合方法,其特征在于:
所述方法包括如下步骤:
(1)对输入的红外图像A和可见光图像B分别进行交互非局部均值滤波,获得红外与可见光图像的基层图像BA与BB
(2)将红外图像A与可见光图像B分别与基层图像BA与BB相减,得到红外与可见光图像的细节图像DA与DB
(3)计算细节图像的邻域窗口的统计特性获得红外与可见光图像的融合权重图ξA与ξB
(4)将融合权重图ξA与ξB分别作用于红外图像A和可见光图像B,并对经融合权重图作用的红外图像与可见光图像进行加权融合,得到最终的融合图像F。
2.如权利要求1所述的一种基于交互非局部均值滤波的红外与可见光图像融合方法,其步骤(1)所述的采用交互非局部均值滤波对红外图像A和可见光图像B进行滤波处理,获得基层图像BA与BB,按如下步骤进行:
(2a)构造交互非局部均值滤波核:
其中,A与B分别为红外图像与可见光图像,为高斯核的标准差,k为滤波器参数,Np与Nq分别表示红外图像A中位置为p和q的相似窗口,Mp与Mq分别表示可见光图像B中位置为p和q的相似窗口,I(Np)与I(Nq)分别表示红外图像A中的邻域Np与Nq的灰度值,I(Mp)与I(Mq)分别表示可见光图像B中的邻域Mp与Mq的灰度值;
(2b)计算红外图像A与可见光图像B的基层图像BA与BB,按如下公式计算:
B A ( p ) = Σ q ∈ I ω A ( p , q ) A ( q )
B B ( p ) = Σ q ∈ I ω B ( p , q ) B ( q )
3.如权利要求1所述的基于交互非局部均值滤波的红外与可见光图像融合方法,其中步骤(3)所述的通过计算红外A与可见光图像B的细节图像邻域窗口的统计特性获得源红外图像A与可见光图像B的融合权重图ξA与ξB,按照如下步骤进行:
(3a)确定红外图像A和可见光图像B的像素位置(m,n)以及其邻域窗口的大小ψ×ψ,构造矩阵M,其中,矩阵M中对应位置的元素为红外图像A(或可见光图像B)像素位置(m,n)的大小为ψ×ψ的邻域窗口图像块中像素值;
(3b)将矩阵M的行与列对应的数值分别记为观测值与变量值,计算矩阵M的协方差矩阵的行的无偏估计值UH
(3c)确定矩阵UH的特征值,由于矩阵M的大小为ψ×ψ,所以矩阵M有ψ个特征值,这些特征值的和正比于邻域窗口图像块的水平细节强度,将这些特征值的和记为DSTH
(3d)同理有,将矩阵M的每一列与每一行分别看作一个观测值和一个变量,从而由矩阵M的协方差矩阵列的无偏估计值UV的特征值的和获得垂直细节强度DSTV
(3e)通过DSTH和DSTV计算红外图像A与可见光图像B的融合权重ξA与ξB,是通过如下公式进行;
ξA(m,n)=DSTH[A](m,n)+DSTV[A](m,n)
ξB(m,n)=DSTH[B](m,n)+DSTV[B](m,n)
其中,A、B分别为红外图像与可见光图像,(m,n)为图像的空间位置。
CN201410490237.2A 2014-09-23 2014-09-23 一种基于交互非局部均值滤波的红外与可见光图像融合方法 Active CN104268847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410490237.2A CN104268847B (zh) 2014-09-23 2014-09-23 一种基于交互非局部均值滤波的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410490237.2A CN104268847B (zh) 2014-09-23 2014-09-23 一种基于交互非局部均值滤波的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN104268847A true CN104268847A (zh) 2015-01-07
CN104268847B CN104268847B (zh) 2017-04-05

Family

ID=52160367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410490237.2A Active CN104268847B (zh) 2014-09-23 2014-09-23 一种基于交互非局部均值滤波的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN104268847B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931207A (zh) * 2016-05-30 2016-09-07 西安电子科技大学 基于gpu加速的非局部平均滤波实时处理方法
CN106485745A (zh) * 2016-10-21 2017-03-08 昆明理工大学 一种微波反应腔温度场三维立体重构方法
CN106846288A (zh) * 2017-01-17 2017-06-13 中北大学 一种双模态红外图像差异特征指数测度的多算法融合方法
CN107004258A (zh) * 2015-11-16 2017-08-01 华为技术有限公司 一种视频平滑方法及装置
CN107784642A (zh) * 2016-08-26 2018-03-09 北京航空航天大学 一种红外视频和可见光视频自适应融合方法
CN108171679A (zh) * 2017-12-27 2018-06-15 合肥君正科技有限公司 一种图像融合方法、系统及设备
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN109120869A (zh) * 2018-11-07 2019-01-01 深圳市道通智能航空技术有限公司 双光图像整合方法、整合设备及无人机
CN109447936A (zh) * 2018-12-21 2019-03-08 江苏师范大学 一种红外和可见光图像融合方法
CN109785277A (zh) * 2018-12-11 2019-05-21 南京第五十五所技术开发有限公司 一种实时的红外与可见光图像融合方法
CN110189284A (zh) * 2019-05-24 2019-08-30 南昌航空大学 一种红外与可见光图像融合方法
WO2019196539A1 (zh) * 2018-04-11 2019-10-17 杭州海康威视数字技术股份有限公司 图像融合方法及其装置
CN111507913A (zh) * 2020-04-08 2020-08-07 四川轻化工大学 一种基于纹理特征的图像融合算法
CN111833282A (zh) * 2020-06-11 2020-10-27 毛雅淇 一种基于改进的DDcGAN模型的图像融合方法
WO2021120406A1 (zh) * 2019-12-17 2021-06-24 大连理工大学 一种基于显著图增强的红外和可见光融合方法
CN116758441A (zh) * 2023-06-16 2023-09-15 河南通航无人机科技有限公司 一种无人机集群智能调度管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993023823A1 (en) * 1992-05-15 1993-11-25 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
CN1545064A (zh) * 2003-11-27 2004-11-10 上海交通大学 红外与可见光图像融合方法
CN102609927A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于场景景深的雾天可见光/红外图像彩色融合方法
CN102982518A (zh) * 2012-11-06 2013-03-20 扬州万方电子技术有限责任公司 红外与可见光动态图像的融合方法及装置
US20130135444A1 (en) * 2006-05-31 2013-05-30 Mobileye Technologies Limited Fusion of Far Infrared and Visible Images in Enhanced Obstacle Detection in Automotive Applications
CN103793896A (zh) * 2014-01-13 2014-05-14 哈尔滨工程大学 一种红外图像与可见光图像的实时融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993023823A1 (en) * 1992-05-15 1993-11-25 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
CN1545064A (zh) * 2003-11-27 2004-11-10 上海交通大学 红外与可见光图像融合方法
US20130135444A1 (en) * 2006-05-31 2013-05-30 Mobileye Technologies Limited Fusion of Far Infrared and Visible Images in Enhanced Obstacle Detection in Automotive Applications
CN102609927A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于场景景深的雾天可见光/红外图像彩色融合方法
CN102982518A (zh) * 2012-11-06 2013-03-20 扬州万方电子技术有限责任公司 红外与可见光动态图像的融合方法及装置
CN103793896A (zh) * 2014-01-13 2014-05-14 哈尔滨工程大学 一种红外图像与可见光图像的实时融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
W. SOUIDENE 等: "IMAGE DENOISING IN THE TRANSFORMED DOMAIN USING NON LOCAL NEIGHBORHOODS", 《2006 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS SPEECH AND SIGNAL PROCESSING PROCEEDINGS》 *
刘卫: "新型小波变换域图像去噪及融合算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107004258B (zh) * 2015-11-16 2020-06-26 华为技术有限公司 一种视频平滑方法及装置
CN107004258A (zh) * 2015-11-16 2017-08-01 华为技术有限公司 一种视频平滑方法及装置
US10559106B2 (en) 2015-11-16 2020-02-11 Huawei Technologies Co., Ltd. Video smoothing method and apparatus
CN105931207A (zh) * 2016-05-30 2016-09-07 西安电子科技大学 基于gpu加速的非局部平均滤波实时处理方法
CN105931207B (zh) * 2016-05-30 2018-08-10 西安电子科技大学 基于gpu加速的非局部平均滤波实时处理方法
CN107784642A (zh) * 2016-08-26 2018-03-09 北京航空航天大学 一种红外视频和可见光视频自适应融合方法
CN106485745A (zh) * 2016-10-21 2017-03-08 昆明理工大学 一种微波反应腔温度场三维立体重构方法
CN106846288B (zh) * 2017-01-17 2019-09-06 中北大学 一种双模态红外图像差异特征指数测度的多算法融合方法
CN106846288A (zh) * 2017-01-17 2017-06-13 中北大学 一种双模态红外图像差异特征指数测度的多算法融合方法
CN108171679A (zh) * 2017-12-27 2018-06-15 合肥君正科技有限公司 一种图像融合方法、系统及设备
CN108171679B (zh) * 2017-12-27 2022-07-22 合肥君正科技有限公司 一种图像融合方法、系统及设备
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN108564109B (zh) * 2018-03-21 2021-08-10 天津大学 一种基于深度学习的遥感图像目标检测方法
WO2019196539A1 (zh) * 2018-04-11 2019-10-17 杭州海康威视数字技术股份有限公司 图像融合方法及其装置
CN109120869A (zh) * 2018-11-07 2019-01-01 深圳市道通智能航空技术有限公司 双光图像整合方法、整合设备及无人机
CN109785277B (zh) * 2018-12-11 2022-10-04 南京第五十五所技术开发有限公司 一种实时的红外与可见光图像融合方法
CN109785277A (zh) * 2018-12-11 2019-05-21 南京第五十五所技术开发有限公司 一种实时的红外与可见光图像融合方法
CN109447936A (zh) * 2018-12-21 2019-03-08 江苏师范大学 一种红外和可见光图像融合方法
CN110189284A (zh) * 2019-05-24 2019-08-30 南昌航空大学 一种红外与可见光图像融合方法
WO2021120406A1 (zh) * 2019-12-17 2021-06-24 大连理工大学 一种基于显著图增强的红外和可见光融合方法
CN111507913A (zh) * 2020-04-08 2020-08-07 四川轻化工大学 一种基于纹理特征的图像融合算法
CN111833282A (zh) * 2020-06-11 2020-10-27 毛雅淇 一种基于改进的DDcGAN模型的图像融合方法
CN111833282B (zh) * 2020-06-11 2023-08-04 毛雅淇 一种基于改进的DDcGAN模型的图像融合方法
CN116758441A (zh) * 2023-06-16 2023-09-15 河南通航无人机科技有限公司 一种无人机集群智能调度管理系统
CN116758441B (zh) * 2023-06-16 2024-01-26 河南通航无人机科技有限公司 一种无人机集群智能调度管理系统

Also Published As

Publication number Publication date
CN104268847B (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
CN104268847A (zh) 一种基于交互非局部均值滤波的红外与可见光图像融合方法
CN103873743B (zh) 一种基于结构张量和卡尔曼滤波的视频去噪方法
CN104200452A (zh) 基于谱图小波变换的红外与可见光图像融合方法及其装置
Adu et al. Image fusion based on nonsubsampled contourlet transform for infrared and visible light image
CN104809734A (zh) 一种基于引导滤波的红外图像与可见光图像融合的方法
CN104008539B (zh) 基于多尺度几何分析的图像超分辨率重建方法
CN106846289B (zh) 一种红外光强与偏振图像融合方法
CN107657217A (zh) 基于运动目标检测的红外与可见光视频的融合方法
CN105825472A (zh) 一种快速的基于多尺度高斯滤波器的色调映射系统及方法
CN102254314A (zh) 基于压缩感知的可见光和红外图像融合方法
CN103533214A (zh) 一种基于卡尔曼滤波和双边滤波的视频实时去噪方法
CN105069769A (zh) 一种微光与红外夜视图像融合方法
CN102800070A (zh) 基于区域和人眼对比敏感特性的异源图像融合方法
CN104268833A (zh) 基于平移不变剪切波变换的图像融合新方法
Yin et al. Significant target analysis and detail preserving based infrared and visible image fusion
CN103971354A (zh) 低分辨率红外图像重建高分辨率红外图像的方法
Junwu et al. An infrared and visible image fusion algorithm based on LSWT-NSST
CN104463822B (zh) 基于多尺度全局滤波的多聚焦图像融合方法及其装置
CN107818547A (zh) 一种面向微光图像序列中椒盐和高斯混合噪声的去除方法
Jiang et al. Automatic space debris extraction channel based on large field of view photoelectric detection system
CN104156930A (zh) 基于双尺度空间的图像融合方法和装置
Yang et al. Infrared and visible image fusion based on QNSCT and Guided Filter
CN105303544A (zh) 一种基于最小边界距离的视频拼接方法
CN116051444A (zh) 一种有效的红外与可见光图像自适应融合方法
CN104182955A (zh) 基于可操纵金字塔变换的图像融合方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200102

Address after: 201306 No. 453, block a0201, Shanghai Lingang marine hi tech industrialization base, Pudong New Area, Shanghai

Patentee after: Science and Technology Ltd. of upper Hiroad army

Address before: Xi'an City, Shaanxi province Taibai Road 710071 No. 2

Patentee before: Xi'an University of Electronic Science and Technology

TR01 Transfer of patent right