CN111429391A - 一种红外和可见光图像融合方法、融合系统及应用 - Google Patents

一种红外和可见光图像融合方法、融合系统及应用 Download PDF

Info

Publication number
CN111429391A
CN111429391A CN202010239814.6A CN202010239814A CN111429391A CN 111429391 A CN111429391 A CN 111429391A CN 202010239814 A CN202010239814 A CN 202010239814A CN 111429391 A CN111429391 A CN 111429391A
Authority
CN
China
Prior art keywords
image
layer
infrared
frequency
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010239814.6A
Other languages
English (en)
Other versions
CN111429391B (zh
Inventor
郝帅
安倍逸
马旭
赵新生
马瑞泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN202010239814.6A priority Critical patent/CN111429391B/zh
Publication of CN111429391A publication Critical patent/CN111429391A/zh
Application granted granted Critical
Publication of CN111429391B publication Critical patent/CN111429391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域,公开了一种红外和可见光图像融合方法、融合系统及应用,将红外图像和可见光图像利用小波变换进行多尺度分解,得到源图像所对应的高频部分和低频部分;将高频部分和低频部分进行各向异性扩散,生成图像的基础层和细节层;采用KL变换对异源图像的细节层进行融合,利用线性叠加的方式对基础层进行融合;将融合后的细节层和基础层进行线性重构生成最终的融合图像。本发明为了验证所提出算法的优势,将其与3种经典的融合算法进行比较,通过大量融合实验表明,相比于3种传统算法,所提出的算法无论从主观判断,还是从客观评价指标都具有更好的融合效果。

Description

一种红外和可见光图像融合方法、融合系统及应用
技术领域
本发明属于图像处理技术领域,尤其涉及一种红外和可见光图像融合方法、融合系统及应用。
背景技术
目前,基于多尺度方向引导滤波和卷积稀疏表示的图像融合、基于小波变换的融合方法、基于DCT变换的图像融合方法、在多尺度域内改进模糊规则的图像融合方法、基于非采样Contourlet变换的融合算法等,都是采用多尺度融合方法,都能够获得较好视觉效果的融合图像。但此类方法其融合结果存在信息保留不完整、背景与细节信息表达不完全的问题。在研究基于小波变换的多尺度图像融合指出,此类方法能够同时考虑图像边缘信息和图像内部内部区域能量特征,能够保留图像边缘信息,且图像去噪效果更好,使融合图像能够获得更佳的视觉评价效果。
单个传感器捕获的图像无法提供关于目标场景的完整信息,而使用多个传感器捕获多个图像对于了解全部信息非常重要。图像融合是通过一种给定算法,整合异源传感器在同一目标场景所采集到的多张图像为单个图像,提高图像所含信息量。可见光图像具有较高分辨率,细节表示能力强,但在光照条件较差的情况下,仅使用可见传感器拍摄的图像不足以提供完整信息。相比之下,热红外图像受环境影响较小,但其分辨率较低、细节描述能力较差。因此,为实现优势互补,提高图像精准性及可靠性,对红外图像和可见光图像进行融合。目前,在目标识别、医疗科学、人脸识别以及军事等方面,图像融合具有广阔的应用前景。
目前,根据图像表征的层次不同,图像融合由低到高可以分为像素级、特征级和决策级三个层次。决策级图像融合后图像原始信息损失较多,而像素级图像融合能尽可能保留较多信息,特征级融合图像能够好的对目标检测。近年来,在基于像素级图像融合方法中,多尺度图像融合技术融合效果较好,是一个前景广阔的发展方向。当图像中的物体、某些边缘或细节特征出现在不同尺度上,固定单一尺度无法反映图像中所有细节信息,且无法事先定义一个最优尺寸对特征进行提取,故需要在多个尺度下考虑图像内容。此外,基于非多尺度变换图像融合方法的实用场合非常有限。而多尺度融合模拟了人类视觉系统感知物体的方式,是目前最常用的像素级融合方法。这类方法对图像不同结构的细节信息可以分别进行处理,能够提高图像融合的质量,特别是可以提高图像的分辨率和清晰度。目前,小波分析是应用最广泛的多尺度分析。
在特征级融合中,采用边缘保留的图像融合方法具有更高可靠性。例如,提出的基于迭代导向滤波的图像融合算法,采用加权最小二乘法滤波,采用双边滤波方法,交叉双边滤波和提出的在三维方向上进行各向异性扩散的方法。上述思想都为将源图像分解为基础层和细节层,进行方法处理后结合形成融合图像。进行各向异性扩散能够对图像边缘和非边缘区域实现不同程度的扩散,能够图像保留更多的边缘轮廓特征,较好地抑制了噪声,视觉评价效果较好。但目前针对各向异性扩散模型提出的改进方式,大多都是针对扩散方程本身提出的,忽略了图像的自身特征信息,可能造成图像细节部分(纹理、弱边缘等)的丢失或模糊。
综上所述,现有技术存在的问题是:传统算法对红外与可见光图像融合时易出现边缘模糊以及细节分辨力弱。
解决上述技术问题的难度:针对图像边缘及细节的处理,在算法方面进行改进,主要针对图像自身特征信息,分别对图像边缘部分和非边缘部分进行不同的扩散处理,尽可能保留更多的图像信息,再进行不同方法的融合。
解决上述技术问题的意义:对图像边缘和非边缘区域实现不同程度的扩散,能够图像保留更多的边缘轮廓特征,而细节信息也能够充分保留,最后得到高质量、视觉评价效果较好的融合图像,图像的分辨率和清晰度也得到提高。
发明内容
针对现有技术存在的问题,本发明提供了一种红外和可见光图像融合方法、融合系统及应用,具体涉及一种基于小波变换和各向异性扩散的红外和可见光图像融合方法及系统。
本发明是这样实现的,所述红外和可见光图像融合方法包括以下步骤:
第一步,将红外图像和可见光图像利用小波变换进行多尺度分解,得到源图像所对应的高频部分和低频部分;
第二步,将高频部分和低频部分进行各向异性扩散,生成图像的基础层和细节层;采用KL变换对异源图像的细节层进行融合,利用线性叠加的方式对基础层进行融合;
第三步,将融合后的细节层和基础层进行线性重构生成最终的融合图像。
进一步,所述红外和可见光图像融合方法的小波变换提取高频层和低频层包括:
(1)分别将红外图像和可见光图像转化为灰度图,利用小波变换分别对其进行多尺度分解,获得低频系数和高频系数;
(2)对红外和可见光图像的低频和高频系数分别进行小波逆变换,进行图像重构,低频图像与高频图像各自进行加权平均,最终融合成一个高频层和一个低频层。
进一步,所述红外和可见光图像融合方法使用各向异性扩散得到基础层和细节层包括:得到的高频和低频图
Figure BSA0000205152680000031
尺寸为p×q,图像通过保持边缘平滑的各向异性扩散过程获取基础层:
Bn(x,y)=aniso(In(x,y));
Bn(x,y)表示获取的第n个基础层,aniso(In(x,y))表示在此基础层上进行各向异性扩散,源图像减去基础层即可得到细节层:
Dn(x,y)=In(x,y)-Bn(x,y)。
进一步,所述红外和可见光图像融合方法的基于KL-transform的融合细节层,加权叠加融合基础层,细节层利用KL变换进行融合,将相关的组件转换为不相关的组件,并可紧凑表示相关数据集;
细节层D1(x,y),D2(x,y)对应了源图像A1(x,y)、A2(x,y),细节层I1(x,y),I2(x,y)为矩阵X的列向量;通过考虑每行作为观察值,每一列作为变量,求X的协方差矩阵CXX,再对特征值σ1,σ2和CXX的特征向量
Figure BSA0000205152680000041
Figure BSA0000205152680000042
进行计算;对不相关系数KL1、KL2进行计算后,观察相应的较大特征值(σmax=max(σ1,σ2));如果ξmax相对应的特征向量为σmax,那么KL1、KL2求得:
Figure BSA0000205152680000043
最后给出融合细节层D:
Figure BSA0000205152680000044
同时,n个细节层的广义表达式为:
Figure BSA0000205152680000045
在采用加权叠加的基础层融合时,通过分配适当的权值来选择每个源图像中所需的基础层信息,基层融合计算公式为:
Figure BSA0000205152680000046
∑ωn=1,且0≤ωn≤1;如果
Figure BSA0000205152680000047
此式表示对基础层进行平均值的计算;得到细节层后,利用KL变换得到最终的基础层,利用加权叠加法对图像进行处理。
进一步,所述红外和可见光图像融合方法获取融合图像,最终基层B和细节层D通过计算加权平均值得到融合图像F:
Figure BSA0000205152680000051
本发明的另一目的在于提供一种红外和可见光图像融合系统包括:
高频部分和低频部分源图像获取模块,用于将红外图像和可见光图像利用小波变换进行多尺度分解,得到源图像所对应的高频部分和低频部分;
融合模块,用于将得到的高频部分和低频部分的图像进行各向异性扩散,生成图像的基础层和细节层;采用KL变换对异源图像的细节层进行融合,利用线性叠加的方式对基础层进行融合;
融合图像生成模块将融合后的细节层和基础层进行线性重构生成最终的融合图像。
本发明的另一目的在于提供一种所述红外和可见光图像融合方法在目标识别图像融合中、医疗科学图像融合中、人脸识别图像融合中、军事图像融合中的应用。
本发明的另一目的在于提供一种所述红外和可见光图像融合方法在传感器中的应用。
本发明的另一目的在于提供一种接收用户输入程序存储介质,所存储的计算机程序使电子设备执行所述红外和可见光图像融合方法,包括下列步骤:
步骤1,将红外图像和可见光图像利用小波变换进行多尺度分解,得到源图像所对应的高频部分和低频部分;
步骤2,将得到的高频部分和低频部分的图像进行各向异性扩散,生成图像的基础层和细节层;采用KL变换对异源图像的细节层进行融合,利用线性叠加的方式对基础层进行融合;
步骤3,将融合后的细节层和基础层进行线性重构生成最终的融合图像。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品,包括计算机可读程序,供于电子装置上执行时,提供用户输入接口以实施所述红外和可见光图像融合方法。
综上所述,本发明的优点及积极效果为:本发明首先将图片分别利用小波变换分解高频层和低频层,再利用各向异性扩散将源图像分解为基础层和细节层;最后的细节层和基础层分别在Karhunen-Loeve变换和加权线性叠加计算;融合图像由最终细节层和最终基础层计算加权平均值而产生。本发明为了验证所提出算法的优势,将其与3种经典的融合算法进行比较,通过大量融合实验表明,相比于3种传统算法,所提出的算法无论从主观判断,还是从客观评价指标都具有更好的融合效果。
附图说明
图1是本发明实施例提供的红外和可见光图像融合方法流程图。
图2是本发明实施例提供的红外和可见光图像融合方法的实现流程图。
图3是本发明实施例提供的红外图像的低频和高频图;
图中:(a)低频;(b)高频。
图4是本发明实施例提供的可见光图像的低频和高频图;
图中:(a)低频;(b)高频。
图5是本发明实施例提供的低频、高频合成图;
图中:(a)低频;(b)高频。
图6是本发明实施例提供的源图像减去基础层即可得到细节层示意图;
图中:(a)低频细节层;(b)高频细节层。
图7是本发明实施例提供的最终细节层示意图。
图8是本发明实施例提供的第一幅图融合结果示意图;
图中:(a)WDK;(b)MSVD;(c)WT;(d)TS。
图9是本发明实施例提供的第二幅图的融合结果示意图;
图中:(a)WDK;(b)MSVD;(c)WT;(d)TS。
图10是本发明实施例提供的第三幅图的融合结果示意图;
图中:(a)WDK;(b)MSVD;(c)WT;(d)TS。
图11是本发明实施例提供的第四幅图的融合结果示意图;
图中:(a)WDK;(b)MSVD;(c)WT;(d)TS。
图12是本发明实施例提供的第五幅图的融合结果示意图;
图中:(a)WDK;(b)MSVD;(c)WT;(d)TS。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种红外和可见光图像融合方法,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的红外和可见光图像融合方法包括以下步骤:
S101:将红外图像和可见光图像利用小波变换进行多尺度分解,得到源图像所对应的高频部分和低频部分;
S102:将高频部分和低频部分进行各向异性扩散,生成图像的基础层和细节层;采用KL变换对异源图像的细节层进行融合,利用线性叠加的方式对基础层进行融合;
S103:将融合后的细节层和基础层进行线性重构生成最终的融合图像。
本发明提供一种红外和可见光图像融合系统包括:
高频部分和低频部分源图像获取模块,用于将红外图像和可见光图像利用小波变换进行多尺度分解,得到源图像所对应的高频部分和低频部分。
融合模块,用于将得到的高频部分和低频部分的图像进行各向异性扩散,生成图像的基础层和细节层;采用KL变换对异源图像的细节层进行融合,利用线性叠加的方式对基础层进行融合。
融合图像生成模块将融合后的细节层和基础层进行线性重构生成最终的融合图像。
下面结合附图对本发明的技术方案作进一步的描述。
1、各向异性扩散过程将使给定图像在均匀区域光滑,同时利用偏微分方程(PDE)将非均匀区域,即边缘轮廓保留下来。各向异性扩散方程采用通量函数来控制图像的扩散:
Figure BSA0000205152680000085
其中,c(x,y,t)为通量函数或扩散速率,Δ表示拉普拉斯算符,
Figure BSA0000205152680000086
表示空间变量的梯度算子,t表示时间。假设在时间t处,得到适合该比例的区域边界的位置,通过在每个区域的内部将传导系数设置为1,在边界处设置为0,即可在区域内进行平滑处理。然后,模糊将在每个区域中分别发生,而区域之间没有交互作用,故边界轮廓能依然保持清晰。
本发明也可以把式(1)写成热方程:采用前向-中心空间(FTCS)格式求解该方程。使用拉普拉斯算子的四近邻离散化得到:
Figure BSA0000205152680000081
在(2)中,
Figure BSA0000205152680000082
为在t+1尺度下含有粗分辨率的图像,并依赖于之能的图像Iit j。λ为稳定常数,
Figure BSA0000205152680000083
使数值方案稳定。ΩN,ΩS,ΩE和ΩW是N,S,E,W为北,南,东,西的助记符下标,表示临近差异。它们被定义为:
Figure BSA0000205152680000084
同理,cN、cS、cW和cE关心的是导电系数或通量函数在北、南、西、东四个方向上的变化。
Figure BSA0000205152680000091
在式(4)中,g(·)单调递减,g(0)=1。g(·)可以使用不同的函数。对下面两个函数对图像进行处理:
Figure BSA0000205152680000092
Figure BSA0000205152680000093
这两个函数得到的结果是相似的,生成的比例空间是不同的:第一个特权高对比度边缘优先于低对比度边缘,第二个特权宽区域优先较小的边缘。这两个函数都包含一个自由参数k,这个常数k用来根据边界强度来决定区域边界的有效性。用aniso(I)表示对图像I进行各向异性扩散处理。
2、基于小波变换和各向异性扩散的红外和可见光图像融合算法
2.1程序流程图,具体方法如图2所示,下面详细解释每个步骤子部分。
(1)在源图像中进行小波变换,提取高频层和低频层,在各自尺度叠加后形成最终高频层和最终低频层。
(2)使用各向异性扩散得到基础层和细节层。
(3)细节层融合利用KL变换,基础层融合利用加权叠加的方法。
(4)最终细节和基础层的叠加。
2.2小波变换提取高频层和低频层
首先,分别将红外图像和可见光图像转化为灰度图,利用小波变换分别对其进行多尺度分解,获得低频系数和高频系数。
然后,对红外和可见光图像的低频和高频系数分别进行小波逆变换,进行图像重构,低频图像与高频图像各自进行加权平均,最终融合成一个高频层和一个低频层。
2.3使用各向异性扩散得到基础层和细节层
假设得到的高频和低频图
Figure BSA0000205152680000101
尺寸为p×q,这些图像通过保持边缘平滑的各向异性扩散过程获取基础层:
Bn(x,y)=aniso(In(x,y)) (7)
Bn(x,y)表示获取的第n个基础层,aniso(In(x,y))表示在此基础层上进行各向异性扩散。源图像减去基础层即可得到细节层:
Dn(x,y)=In(x,y)-Bn(x,y) (8)
2.4基于KL-transform的融合细节层,加权叠加融合基础层,细节层利用KL变换进行融合。它将相关的组件转换为不相关的组件,并可紧凑表示相关数据集。
细节层D1(x,y),D2(x,y)对应了源图像A1(x,y)、A2(x,y)。细节层I1(x,y),I2(x,y)设为矩阵X的列向量。通过考虑每行作为观察值,每一列作为变量,求X的协方差矩阵CXX,再对特征值σ1,σ2和CXX的特征向量
Figure BSA0000205152680000102
Figure BSA0000205152680000103
进行计算。对不相关系数KL1、KL2进行计算后,观察其相应的较大特征值(σmax=max(σ1,σ2))。如果ξmax相对应的特征向量为σmax,那么KL1、KL1求得:
Figure BSA0000205152680000104
最后给出融合细节层D:
Figure BSA0000205152680000105
同时,n个细节层的广义表达式为:
Figure BSA0000205152680000106
在采用加权叠加的基础层融合时,通过分配适当的权值来选择每个源图像中所需的基础层信息。基层融合计算公式为:
Figure BSA0000205152680000111
∑ωn=1,且0≤ωn≤1;如果
Figure BSA0000205152680000112
那么此式表示对基础层进行平均值的计算。得到细节层后,利用KL变换得到最终的基础层,利用加权叠加法对图像进行处理。
2.5.获取融合图像,最终基层B和细节层D通过计算加权平均值得到融合图像F:
Figure BSA0000205152680000113
下面结合测试对本发明的技术效果作详细的描述。
1、结果与分析
为了验证本发明所提出融合算法(WDK)的优势,本发明选取多尺度奇异值分解(MSVD)算法、小波变换(WT)、双尺度融合(TS)算法进行对比,分别从主观和客观两个方面来对算法的性能进行评估。本算法的运行环境为戴尔笔记本电脑(型号为灵越7380),使用的是MATLAB R2019a。所用图像来自于数据库https://figshare.com/articles/TN_Image_Fusion_Dataset/1008029
2、本发明选取5幅典型红外与可见光图像用于融合,得到主观评价,融合结果分别如图所示。由图8、图9、图10、图11和图12可以看出,相比于其他3种融合算法,本算法能够将图中的人的轮廓、树木以及房屋等区域的边缘信息较好的保留下来,同时更加清晰的显示图中含有的细节信息。
3、为了更好的对本算法做出比较和评价,选择香农熵(Shannon Entropy,EN)、图像交叉熵(cross entropy,CE)、特征相似度(Feature SIMilarity,FSIM)、图像互信息(mutual information,MI)、图像相对偏差(relatively warp,RW)、和算法运行时间作为信息融合性能的客观评价指标。其中,EN反映图像所含的信息量的丰富程度,数值越大表明获得的融合图像包含信息量越大;CE表示融合后的两幅图像与原始图像的交叉熵。交叉熵越小,图像间的差异越小,融合效果越好;FSIM用于评价图像间相似度,数值越大说明融合图像与源图像在某些特征方面更相似;RW表示原始图像与融合图像的相对标准偏差,反映了与真实值的偏差程度,相对标准偏差越小,融合精度越高,图像融合效果越好;MI表示融合后的图像与原始图像之间相互信息的计算,MI值越大,两幅图像的相似度越高。利用进行主观评价的五幅测试图,对各算法进行客观评价,评价结果分别如表1-5所示。
表1 第1组融合实验客观评价结果
Figure BSA0000205152680000121
表2 第2组融合实验客观评价结果
Figure BSA0000205152680000122
表3 第3组融合实验客观评价结果
Figure BSA0000205152680000123
表4 第4组融合实验客观评价结果
Figure BSA0000205152680000124
表5 第5组融合实验客观评价结果
Figure BSA0000205152680000125
Figure BSA0000205152680000131
通过表1到表5可以看出,本发明提出的算法在EN方面,四组都能保持最大的数值,FSIM的数值也普遍较大,说明本算法可保留更大的信息量,且融合后的图像与原始图像特征相似度较强。通过5组实验的CE数值能够看出,大部分都能获得最小数值,表明融合图像与源图像差异较小。同时,通过5组实验的RW指标可以看出,在其中四组中本算法能获得最小数值,表明本算法相较于其他算法,与源图像相差最小。而通过5组的MI指标可以看出,本算法获得了最大数值,表明本算法相较于其他算法,特征相似度与原始图像最好,包含更多原始图像的图像信息。通过分析以上五组算法的运行时间,我们可以得出结论,本发明提出的算法在运行时间上远远小于其他算法,这进一步证明了本发明在图像融合方面的有效性。
本发明提出了一种基于小波变换和各向异性扩散的红外和可见光图像融合算法,在可以保证对边缘区域信息充分保留的同时,含有更高的细节信息。实验证明,本发明提出的算法在主观评价和客观评价都具有较好的融合效果。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种红外和可见光图像融合方法,其特征在于,所述红外和可见光图像融合方法包括以下步骤:
第一步,将红外图像和可见光图像利用小波变换进行多尺度分解,得到源图像所对应的高频部分和低频部分;
第二步,将得到的高频部分和低频部分的图像进行各向异性扩散,生成图像的基础层和细节层;采用KL变换对异源图像的细节层进行融合,利用线性叠加的方式对基础层进行融合;
第三步,将融合后的细节层和基础层进行线性重构生成最终的融合图像。
2.如权利要求1所述的红外和可见光图像融合方法,其特征在于,所述红外和可见光图像融合方法的小波变换提取高频层和低频层包括:
(1)分别将红外图像和可见光图像转化为灰度图,利用小波变换分别对其进行多尺度分解,获得低频系数和高频系数;
(2)对红外和可见光图像的低频和高频系数分别进行小波逆变换,进行图像重构,低频图像与高频图像各自进行加权平均,最终融合成一个高频层和一个低频层。
3.如权利要求1所述的红外和可见光图像融合方法,其特征在于,所述红外和可见光图像融合方法使用各向异性扩散得到基础层和细节层包括:得到的高频和低频图
Figure FSA0000205152670000011
尺寸为p×q,图像通过保持边缘平滑的各向异性扩散过程获取基础层:
Bn(x,y)=aniso(In(x,y));
Bn(x,y)表示获取的第n个基础层,aniso(In(x,y))表示在此基础层上进行各向异性扩散,源图像减去基础层即可得到细节层:
Dn(x,y)=In(x,y)-Bn(x,y)。
4.如权利要求1所述的红外和可见光图像融合方法,其特征在于,所述红外和可见光图像融合方法的基于KL-transform的融合细节层,加权叠加融合基础层,细节层利用KL变换进行融合,将相关的组件转换为不相关的组件,并可紧凑表示相关数据集;
细节层D1(x,y),D2(x,y)对应了源图像A1(x,y)、A2(x,y),细节层I1(x,y),I2(x,y)为矩阵X的列向量;通过考虑每行作为观察值,每一列作为变量,求X的协方差矩阵Cxx,再对特征值σ1,σ2和Cxx的特征向量
Figure FSA0000205152670000021
Figure FSA0000205152670000022
进行计算;对不相关系数KL1、KL2进行计算后,观察相应的较大特征值(σmax=max(σ1,σ2));如果ξmax相对应的特征向量为σmax,那么KL1、KL2求得:
Figure FSA0000205152670000023
最后给出融合细节层D:
Figure FSA0000205152670000024
同时,n个细节层的广义表达式为:
Figure FSA0000205152670000025
在采用加权叠加的基础层融合时,通过分配适当的权值来选择每个源图像中所需的基础层信息,基层融合计算公式为:
Figure FSA0000205152670000026
∑ωn=1,且0≤ωn≤1;如果
Figure FSA0000205152670000027
此式表示对基础层进行平均值的计算;得到细节层后,利用KL变换得到最终的基础层,利用加权叠加法对图像进行处理。
5.如权利要求1所述的红外和可见光图像融合方法,其特征在于,所述红外和可见光图像融合方法获取融合图像,最终基层B和细节层D通过计算加权平均值得到融合图像F:
Figure FSA0000205152670000028
6.一种如权利要求1~5任意一项所述红外和可见光图像融合方法的红外和可见光图像融合系统,其特征在于,所述红外和可见光图像融合系统包括:
高频部分和低频部分源图像获取模块,用于将红外图像和可见光图像利用小波变换进行多尺度分解,得到源图像所对应的高频部分和低频部分;
融合模块,用于将得到的高频部分和低频部分的图像进行各向异性扩散,生成图像的基础层和细节层;采用KL变换对异源图像的细节层进行融合,利用线性叠加的方式对基础层进行融合;
融合图像生成模块将融合后的细节层和基础层进行线性重构生成最终的融合图像。
7.一种如权利要求1~5任意一项所述红外和可见光图像融合方法在目标识别图像融合中、医疗科学图像融合中、人脸识别图像融合中、军事图像融合中的应用。
8.一种如权利要求1~5任意一项所述红外和可见光图像融合方法在传感器中的应用。
9.一种接收用户输入程序存储介质,所存储的计算机程序使电子设备执行权利要求1~5任意一项所述红外和可见光图像融合方法,包括下列步骤:
步骤1,将红外图像和可见光图像利用小波变换进行多尺度分解,得到源图像所对应的高频部分和低频部分;
步骤2,将得到的高频部分和低频部分的图像进行各向异性扩散,生成图像的基础层和细节层;采用KL变换对异源图像的细节层进行融合,利用线性叠加的方式对基础层进行融合;
步骤3,将融合后的细节层和基础层进行线性重构生成最终的融合图像。
10.一种存储在计算机可读介质上的计算机程序产品,包括计算机可读程序,供于电子装置上执行时,提供用户输入接口以实施如权利要求1~5任意一项所述红外和可见光图像融合方法。
CN202010239814.6A 2020-03-23 2020-03-23 一种红外和可见光图像融合方法、融合系统及应用 Active CN111429391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010239814.6A CN111429391B (zh) 2020-03-23 2020-03-23 一种红外和可见光图像融合方法、融合系统及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010239814.6A CN111429391B (zh) 2020-03-23 2020-03-23 一种红外和可见光图像融合方法、融合系统及应用

Publications (2)

Publication Number Publication Date
CN111429391A true CN111429391A (zh) 2020-07-17
CN111429391B CN111429391B (zh) 2023-04-07

Family

ID=71549241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010239814.6A Active CN111429391B (zh) 2020-03-23 2020-03-23 一种红外和可见光图像融合方法、融合系统及应用

Country Status (1)

Country Link
CN (1) CN111429391B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899209A (zh) * 2020-08-11 2020-11-06 四川警察学院 基于卷积匹配追踪字典学习的可见光红外图像融合方法
CN111899207A (zh) * 2020-08-11 2020-11-06 四川警察学院 基于局部处理卷积字典学习的可见光与红外图像融合方法
CN111915546A (zh) * 2020-08-04 2020-11-10 西安科技大学 红外和可见光图像融合方法、系统、计算机设备及应用
CN112001260A (zh) * 2020-07-28 2020-11-27 国网湖南省电力有限公司 一种基于红外可见光图像融合的电缆沟故障检测方法
CN112115979A (zh) * 2020-08-24 2020-12-22 深圳大学 一种红外图像和可见图像的融合方法及设备
CN112184606A (zh) * 2020-09-24 2021-01-05 南京晓庄学院 一种基于拉普拉斯金字塔的可见光图像与红外图像融合方法
CN112184604A (zh) * 2020-09-15 2021-01-05 杭州电子科技大学 一种基于图像融合的彩色图像增强方法
CN113222877A (zh) * 2021-06-03 2021-08-06 北京理工大学 红外和可见光图像融合方法及其在机载光电视频中的应用
CN114548446A (zh) * 2022-04-25 2022-05-27 国网山东省电力公司潍坊市寒亭区供电公司 一种基于人工智能的电力设备检测系统及方法
CN114581354A (zh) * 2022-03-31 2022-06-03 昆明理工大学 一种采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006017233A1 (en) * 2004-07-12 2006-02-16 Lehigh University Image fusion methods and apparatus
CN102890820A (zh) * 2012-09-18 2013-01-23 西安电子科技大学 基于shearlet变换和维纳滤波的图像去噪方法
US20140064591A1 (en) * 2011-06-30 2014-03-06 Toshiba Medial Systems Corporation Ultrasound diagnosis apparatus, image processing apparatus, and image processing method
US20160125599A1 (en) * 2013-06-07 2016-05-05 Paul Scherrer Institut Image fusion scheme for differential phase contrast imaging
CN106327459A (zh) * 2016-09-06 2017-01-11 四川大学 基于udct和pcnn的可见光与红外图像融合算法
CN107341786A (zh) * 2017-06-20 2017-11-10 西北工业大学 小波变换与联合稀疏表示的红外与可见光图像融合方法
US20180227509A1 (en) * 2015-08-05 2018-08-09 Wuhan Guide Infrared Co., Ltd. Visible light image and infrared image fusion processing system and fusion method
CN109801250A (zh) * 2019-01-10 2019-05-24 云南大学 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法
AU2020100199A4 (en) * 2020-02-08 2020-03-19 Cao, Sihua MR A medical image fusion method based on two-layer decomposition and improved spatial frequency

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006017233A1 (en) * 2004-07-12 2006-02-16 Lehigh University Image fusion methods and apparatus
US20140064591A1 (en) * 2011-06-30 2014-03-06 Toshiba Medial Systems Corporation Ultrasound diagnosis apparatus, image processing apparatus, and image processing method
CN102890820A (zh) * 2012-09-18 2013-01-23 西安电子科技大学 基于shearlet变换和维纳滤波的图像去噪方法
US20160125599A1 (en) * 2013-06-07 2016-05-05 Paul Scherrer Institut Image fusion scheme for differential phase contrast imaging
US20180227509A1 (en) * 2015-08-05 2018-08-09 Wuhan Guide Infrared Co., Ltd. Visible light image and infrared image fusion processing system and fusion method
CN106327459A (zh) * 2016-09-06 2017-01-11 四川大学 基于udct和pcnn的可见光与红外图像融合算法
CN107341786A (zh) * 2017-06-20 2017-11-10 西北工业大学 小波变换与联合稀疏表示的红外与可见光图像融合方法
CN109801250A (zh) * 2019-01-10 2019-05-24 云南大学 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法
AU2020100199A4 (en) * 2020-02-08 2020-03-19 Cao, Sihua MR A medical image fusion method based on two-layer decomposition and improved spatial frequency

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐丹萍;王海梅;: "基于双边滤波和NSST的红外与可见光图像融合" *
涂一枝;郭立强;: "基于对比度增强与小波变换相结合的红外与可见光图像融合算法" *
陈伟斌;牛顾宏斌;: "基于加权的可见光与红外光图像融合算法" *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001260A (zh) * 2020-07-28 2020-11-27 国网湖南省电力有限公司 一种基于红外可见光图像融合的电缆沟故障检测方法
CN111915546A (zh) * 2020-08-04 2020-11-10 西安科技大学 红外和可见光图像融合方法、系统、计算机设备及应用
CN111899209B (zh) * 2020-08-11 2023-09-26 四川警察学院 基于卷积匹配追踪字典学习的可见光红外图像融合方法
CN111899207A (zh) * 2020-08-11 2020-11-06 四川警察学院 基于局部处理卷积字典学习的可见光与红外图像融合方法
CN111899209A (zh) * 2020-08-11 2020-11-06 四川警察学院 基于卷积匹配追踪字典学习的可见光红外图像融合方法
CN112115979A (zh) * 2020-08-24 2020-12-22 深圳大学 一种红外图像和可见图像的融合方法及设备
CN112115979B (zh) * 2020-08-24 2024-03-22 深圳大学 一种红外图像和可见图像的融合方法及设备
CN112184604A (zh) * 2020-09-15 2021-01-05 杭州电子科技大学 一种基于图像融合的彩色图像增强方法
CN112184604B (zh) * 2020-09-15 2024-02-20 杭州电子科技大学 一种基于图像融合的彩色图像增强方法
CN112184606A (zh) * 2020-09-24 2021-01-05 南京晓庄学院 一种基于拉普拉斯金字塔的可见光图像与红外图像融合方法
CN113222877B (zh) * 2021-06-03 2023-04-11 北京理工大学 红外和可见光图像融合方法及其在机载光电视频中的应用
CN113222877A (zh) * 2021-06-03 2021-08-06 北京理工大学 红外和可见光图像融合方法及其在机载光电视频中的应用
CN114581354A (zh) * 2022-03-31 2022-06-03 昆明理工大学 一种采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法
CN114548446A (zh) * 2022-04-25 2022-05-27 国网山东省电力公司潍坊市寒亭区供电公司 一种基于人工智能的电力设备检测系统及方法

Also Published As

Publication number Publication date
CN111429391B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111429391B (zh) 一种红外和可见光图像融合方法、融合系统及应用
Aggarwal et al. Line detection in images through regularized Hough transform
EP0927405B1 (fr) Dispositif electronique de traitement d'images pour la detection de variations dimensionnelles
Guo et al. An image super-resolution reconstruction method with single frame character based on wavelet neural network in internet of things
CN102842122A (zh) 基于小波神经网络的增强现实图像方法
Li et al. Speckle noise removal based on structural convolutional neural networks with feature fusion for medical image
Wen et al. An adaptive kernel regression method for 3D ultrasound reconstruction using speckle prior and parallel GPU implementation
Chang et al. Brain MR image restoration using an automatic trilateral filter with GPU-based acceleration
DE102022123434A1 (de) Gemeinsame Schätzung von Herzfrequenz und Atemfrequenz unter Verwendung neuronaler Netze
Zhang et al. Multimodal image fusion based on global-regional-local rule in NSST domain
Xing et al. Infrared and visible image fusion based on nonlinear enhancement and NSST decomposition
Huang et al. A spatial and geometry feature-based quality assessment model for the light field images
Ding et al. BEMD image fusion based on PCNN and compressed sensing
Zhang et al. Feature decomposition and enhancement for unsupervised medical ultrasound image denoising and instance segmentation
Wang et al. Convolutional sparse representation and local density peak clustering for medical image fusion
Luo et al. Infrared and visible image fusion based on VPDE model and VGG network
Xu et al. Deep convolutional neural networks for bias field correction of brain magnetic resonance images
Haq et al. Block-based compressed sensing of MR images using multi-rate deep learning approach
Li et al. Medical image fusion based on local Laplacian decomposition and iterative joint filter
Jian et al. Towards reliable object representation via sparse directional patches and spatial center cues
Jeon et al. Shape prior metal artefact reduction algorithm for industrial 3D cone beam CT
Quan Quality evaluation method of agricultural product packaging image based on structural similarity and MTF
Yang et al. Iterative excitation with noise rejection techniques for X-ray computed tomography of hollow turbine blades
Simona Răboacă et al. A new adaptive spatial filtering method in the wavelet domain for medical images
Subudhi et al. Context dependent fuzzy associated statistical model for intensity inhomogeneity correction from magnetic resonance images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant