CN108122219B - 基于联合稀疏与非负稀疏的红外与可见光图像融合方法 - Google Patents

基于联合稀疏与非负稀疏的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN108122219B
CN108122219B CN201711231984.4A CN201711231984A CN108122219B CN 108122219 B CN108122219 B CN 108122219B CN 201711231984 A CN201711231984 A CN 201711231984A CN 108122219 B CN108122219 B CN 108122219B
Authority
CN
China
Prior art keywords
infrared
fusion
image
sign
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711231984.4A
Other languages
English (en)
Other versions
CN108122219A (zh
Inventor
何贵青
董丹丹
夏召强
冯晓毅
李会方
谢红梅
吴俊�
蒋晓悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University of Technology
Original Assignee
Northwest University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University of Technology filed Critical Northwest University of Technology
Priority to CN201711231984.4A priority Critical patent/CN108122219B/zh
Publication of CN108122219A publication Critical patent/CN108122219A/zh
Application granted granted Critical
Publication of CN108122219B publication Critical patent/CN108122219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

本发明提供了一种基于联合稀疏与非负稀疏的红外与可见光图像融合方法，涉及图像融合技术领域，对红外与可见光图像得到样本矩阵，并得到融合的均值结果，对去均值样本进行联合稀疏表示得到融合的去均值结果，将融合的均值结果与去均值结果结合，对红外图像进行显著性检测得到显著图，并得到红外图像的目标区域图，即可得到目标增强的红外与可见光图像融合结果，本发明在基于联合稀疏表示的融合方法基础上，引入了基于非负稀疏表示的分类融合思想，能够将公有特征与特有特征分别提取，完全保留源图像中的特有特征，能够有效指示特征类别，对均值采用分类融合的融合规则，更有效保留红外目标与背景细节，二者综合运用能够获得更优的融合结果。

Description

基于联合稀疏与非负稀疏的红外与可见光图像融合方法
技术领域
本发明涉及图像融合技术领域，尤其是一种红外与可见光图像融合方法。
背景技术
图像融合是指将同一对象经多个传感器成像或单一传感器多次成像的信息加以综合，以获得对该对象更全面、准确、可靠的描述，从而提高对图像信息分析和提取的能力。红外与可见光图像融合是图像融合的一个重要分支，它将红外图像的目标探测特性与可见光图像的场景保持特性相结合，既可克服单一可见光图像对光照条件的强依赖性，又能克服单一红外图像对比度低、背景模糊的缺点。红外与可见光图像融合技术能够有效提高图像识别与解译效率，在军事、监控、安防等领域有着重要的研究意义与应用前景。
近几年，红外与可见光图像融合方法中图像稀疏表示理论(SparseRepresentation，SR)受到广泛关注，该理论将过完备字典中少量原子的线性组合用以更加简洁的描述图像，这些稀疏系数及其对应的原子能够表示图像的本质结构。针对红外与可见光图像的特点，近年出现一定数量的基于稀疏的图像融合算法，如Yu N,Qiu T,Bi F,etal.Image Features Extraction and Fusion Based on Joint Sparse Representation[J].IEEE Journal of Selected Topics in Signal Processing,2011,5(5):1074-1082.以及王珺.基于稀疏表示的图像融合方法研究[D].西安,2015.前者提出了联合稀疏表示理论(Joint Sparse Representation,JSR)，将图像特征分为公有特征和特有特征两类，将公有特征完全保留的同时对特有特征采取加权融合，获得的融合图像则能够完全保留源图像中的特有特征。后者提出了将非负稀疏表示(Non-negative Sparse Representation，NNSR)的概念应用到图像融合中，将各类特征按各自特点分类融合，充分发挥了“选择”与“加权”融合规则的优势。
然而传统的基于联合稀疏表示的融合方法能够将公有特征与各自特有特征分别提出，但是其融合权重仅仅由单一的系数l1范数或者l2范数决定，这样并不能体现分类融合的思想，很多重要的特征会因此受损。
发明内容
为了克服现有技术的不足，提高图像融合性能，实现联合稀疏表示与非负稀疏表示优势互补，从而使红外图像中目标特性与可见光图像中的背景细节有机结合在一起。本发明提供一种基于联合稀疏表示与非负稀疏表示的红外与可见光图像融合方法。一方面联合稀疏表示能够将公有特征与特有特征分别提取，这样能够完全保留源图像中的特有特征，另一方面非负稀疏表示能够有效指示特征类别，对均值采用分类融合的融合规则，能够更有效保留红外目标与背景细节，二者综合运用能够获得更优的融合结果。
本发明解决其技术问题所采用的技术方案的具体步骤如下：
步骤一、分别对红外与可见光图像进行滑窗操作，得到样本矩阵；
对红外图像Iir与可见光图像Ivi分别进行滑窗操作，红外图像Iir与可见光图像Ivi的长度均为M，宽度均为N，即自左上到右下，以步长将图像分成的图像块，再将每个图像块拉直成列向量，按取出顺序排列成大小为n×L的红外样本矩阵Vir与可见光样本矩阵Vvi，取出顺序为滑窗操作将块取出的顺序，即自左上到右下，Z字型滑动取出顺序，红外样本矩阵Vir与可见光样本矩阵Vvi的列数L表示取出块的个数，即
步骤二、求样本矩阵各列的均值，得到均值样本和去均值样本；
求红外样本矩阵Vir与可见光样本矩阵Vvi中每列的均值，得到大小为1×L的均值样本Mir与Mvi，并将红外样本矩阵Vir与可见光样本矩阵Vvi中每列减去该列均值样本后得到大小为n×L的去均值样本与
步骤三、基于非负稀疏表示理论，设计得到融合指导模板Sign_f，并在该模板的指导下，得到融合的均值结果Mf，具体步骤如下：
步骤3.1：首先，准备训练样本V，即从样本矩阵[Vir,Vvi]中随机抽取m列，m取值为样本总数的1/3到1/2，作为训练样本V，vi为训练样本V中第i列样本，Col为训练样本的总列数，αni为vi的非负稀疏表示系数，λ为正则化参数；通过在线字典学习算法(OnlineDictionary Learning，ODL)，训练得到非负字典Dn，目标方程为：
步骤3.2：通过非负稀疏编码(Non-negative Sparse Coding,NNSC)，对样本矩阵Vir与Vvi进行稀疏编码，得到红外图像的非负稀疏系数Anir与可见光图像的非负稀疏系数Anvi，目标方程为式(1)；
其中NNSC算法，只需迭代更新Axt+1＝Axt.×(DnTVx)./(DnTDnAxt+λ)，其中Axt(x＝nir,nvi)表示第t次迭代的非负稀疏系数，Axt+1表示第t+1次迭代的非负稀疏系数，Vx(x＝ir,vi)表示样本矩阵，正则化参数λ为与矩阵DnTDnAxt中每个元素相加，即得到非负稀疏系数Anir与Anvi；
步骤3.3：计算Anir与Anvi中每列的活动水平al与稀疏度sp：
其中，al(αi)表示非负稀疏系数αi的活动水平，sp(αi)表示αi的稀疏度，K是αi的维数；
步骤3.4：根据公式(2)的活动水平与稀疏度，分别求得红外图像中的目标特征Sign_IT、红外图像中的轮廓特征Sign_IC以及可见光图像中的纹理特征Sign_VT：
其中，αi IR和αi VI分别表示非负稀疏系数Anir与Anvi的第i列系数，τ∈(0,1]和γ∈(0,1]为常数，Sign_IT∈R1×L为红外目标特征，Sign_IC∈R1×L为红外轮廓特征，Sign_VT∈R1 ×L为可见光细节特征，IalMax＝max(al(Anir))，IalMean＝mean(al(Anir))，VspMax＝max(sp(Anvi))，ValMax＝max(al(Anvi))；
步骤3.5：对于第i个窗口区域，融合指导模板为Sign_f(i)，具体如下：
Sign_IT(i)、Sign_IC(i)、Sign_VT(i)分别通过公式(3)、(4)和(5)求得红外目标特征图、红外轮廓特征图以及可见光细节特征图，在满足Sign_IT(i)＝＝255或Sign_IC(i)＝＝255&&Sign_VT(i)！＝255的条件下，即该处是红外目标特征或者该处仅存在红外轮廓特征而不存在可见光细节特征时，Sign_f(i)标注为255；在满足Sign_IC(i)！＝255&&Sign_VT(i)＝＝255的条件下，即该处仅存在可见光细节特征而不存在红外轮廓特征时，Sign_f(i)标注为0；在满足Sign_IC(i)＝＝255&&Sign_VT(i)＝＝255的条件下，即该处同时存在红外轮廓特征和可见光细节特征时，Sign_f(i)标注为64；
红外图像中的红外目标特征优先级最高，即只要存在红外目标特征，则始终采用公式(6)中所示255的融合规则；当无红外目标特征时，在区域仅有单一特征时，则采用选择其一规则融合，即对于第i个窗口区域，当Sign_f(i)等于255，选择对应的红外图像作为融合结果；当Sign_f(i)等于0，则选择对应的可见光图像作为融合结果；当区域存在多个特征时，则对应采用加权平均规则融合；
对于不确定区域则采用区域一致性规则处理，所述区域一致性规则即先统计不确定像素点的8邻域窗口区域内的融合规则，若周围融合规则最多的数目大于κ，其中κ≤8，则不确定像素点的融合规则采用周围融合规则数目最多的规则，否则认为红外与可见光图像特征都较重要，采用加权平均规则融合该位置，即设为64，更新遍历完整幅图像，得到最终的Sign_f；
根据公式(6)的结果，可得到第i列融合的均值结果Μf(i)如下：
其中，红外图像和可见光图像的均值向量中第i列均值分别为Mir(i)与Mvi(i)，β为一个正常数，根据经验取为0.01，与分别是红外图像和可见光图像样本矩阵的第i列去均值样本，按照公式(7)可得到融合的均值结果Μf；
步骤四、对去均值样本与进行联合稀疏表示，得到公有稀疏系数AC和红外特有稀疏系数与可见光特有稀疏系数并通过加权平均规则，得到融合的去均值结果具体包括如下步骤：
步骤4.1：训练字典D，从样本矩阵[Vir,Vvi]中随机抽取n列，n取值范围为0到样本总数之间，作为训练样本V'，训练得到大小为n×K的字典D，目标方程如下：
其中，||α||0表示α的l0范数，即向量α中非零元素的个数，ε表示所能容忍的误差，根据经验将ε，取值范围为0.01～0.1，表示向量x的l2范数的平方，其中x＝v-Dα；
步骤4.2：对去均值样本与进行联合稀疏表示，即对联合矩阵在联合字典上进行稀疏编码，0表示与字典D相同大小的零矩阵，以式(8)为目标方程，求得联合稀疏表示系数
步骤4.3：融合的稀疏系数通过稀疏系数Af与字典D，获得融合的去均值结果即
步骤五、将融合的均值结果Mf与去均值结果结合，对其进行滑窗逆操作，得到初步融合结果If：
首先，将均值Mf乘以全1向量I∈Rn×1，即Vmf＝I×Mf，此时与Vmf大小一致，则将Vf中每一列重塑成大小的块，再按照取块的顺序依次放回至取出位置，将重叠区域的像素进行叠加，在重叠区域求像素的均值，即将该像素点的像素求和，除以叠加的次数即可得到像素的均值，得到融合图像If；
步骤六、对红外图像进行显著性检测得到显著图，在显著图中选取种子点后，由区域增长法得到红外图像的目标区域图，得到目标增强的红外与可见光图像融合结果Izf，具体包括以下步骤：
步骤6.1：计算长度为M、宽度为N的红外图像的显著图S(x,y)：
S(x,y)＝|Ig(x,y)-Iu| (9)
Ig(x,y)是红外图像经过高斯滤波后的矢量图，目的是对图像进行平滑处理，提出噪声；Iu是红外图像的像素算数平均值；
步骤6.2：找出S(x,y)中像素最大值的坐标，将该坐标作为区域增长的种子点，在红外图像中通过区域增长法，获得目标区域二值图，即该图中目标区域为1，非目标区域为0，将目标区域图与红外图像Iir点乘，获得目标区域，再与融合图像If通过选择最大像素的规则得到融合结果，所述最大像素的规则为比较两幅待融合图像对应位置的像素值大小，选择像素值大的作为该位置的融合结果，遍历整幅图像得到融合图像，即可得到目标增强的红外与可见光图像融合结果Izf。
步骤3.1中所述ODL算法的步骤为：
①初始化，将大小为n×K(K＞n)的DCT字典设置为初始字典D0，K为字典的列数，设置迭代次数T以及正则化参数λ，令A0∈RK×K←0，B0∈Rn×K←0；初始值矩阵A0和B0的大小均给定；
②从V中取vi，进行稀疏编码：采用最小角回归(Least Angle Regression,LARS)算法求解下式：
③令Ai←Ai-1+αiαi T∈RK×K，Bi←Bi-1+viαi T∈Rn×K，其中矩阵Ai为存储αi信息的矩阵，矩阵Bi为存储vi和αi信息的矩阵，Ai与Ai-1的大小与A0的大小一致，均为K×K，更新过程另一种表示为即在上一次求得的结果基础上再加上αiαi T；Bi与Bi-1的大小与B0的大小一致，均为n×K，更新过程另一种表示为即在上一次求得结果的基础上再加上viαi T；
④采用块下降法根据下式依次更新字典Di：
其中Di初始化为Di-1，迭代直至到达迭代次数即满足收敛条件，返回字典D，即非负字典Dn。
步骤4.1中所述字典D通过K-SVD算法训练得到。
步骤4.2中所述联合稀疏表示系数通过OMP算法求得。
本发明的有益效果在于由于在基于联合稀疏表示的融合方法基础上，引入了基于非负稀疏表示的分类融合思想，一方面联合稀疏表示能够将公有特征与特有特征分别提取，能够完全保留源图像中的特有特征，另一方面非负稀疏表示能够有效指示特征类别，对均值采用分类融合的融合规则，能够更有效保留红外目标与背景细节，二者综合运用能够获得更优的融合结果。
附图说明
图1是本发明的图像融合流程图。
图2为测试图像，其中图2(a)为红外图像，图2(b)为可见光图像。
图3为本发明对图2融合后的结果。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
参照图1，本发明的图像融合步骤如下：
步骤一、分别对红外与可见光图像进行滑窗操作，得到样本矩阵；
对红外图像Iir与可见光图像Ivi分别进行滑窗操作，红外图像Iir与可见光图像Ivi的长度均为M，宽度均为N，即自左上到右下，以步长将图像分成的图像块，再将每个图像块拉直成列向量，按取出顺序排列成大小为n×L的红外样本矩阵Vir与可见光样本矩阵Vvi，取出顺序为滑窗操作将块取出的顺序，即自左上到右下，Z字型滑动取出顺序，红外样本矩阵Vir与可见光样本矩阵Vvi的列数L表示取出块的个数，即
步骤二、求样本矩阵各列的均值，得到均值样本和去均值样本；
求红外样本矩阵Vir与可见光样本矩阵Vvi中每列的均值，得到大小为1×L的均值样本Mir与Mvi，并将红外样本矩阵Vir与可见光样本矩阵Vvi中每列减去该列均值样本后得到大小为n×L的去均值样本与
步骤三、基于非负稀疏表示理论，设计得到融合指导模板Sign_f，并在该模板的指导下，得到融合的均值结果Mf，具体步骤如下：
步骤3.1：首先，准备训练样本V，即从样本矩阵[Vir,Vvi]中随机抽取m列，m取值为样本总数的1/3到1/2，本发明中m取值20000，作为训练样本V，vi为训练样本V中第i列样本，Col为训练样本的总列数，αni为vi的非负稀疏表示系数，λ为正则化参数；通过在线字典学习算法(Online Dictionary Learning，ODL)，训练得到非负字典Dn，目标方程为：
步骤3.2：通过非负稀疏编码(Non-negative Sparse Coding,NNSC)，对样本矩阵Vir与Vvi进行稀疏编码，得到红外图像的非负稀疏系数Anir与可见光图像的非负稀疏系数Anvi，目标方程为式(1)；
其中NNSC算法，只需迭代更新Axt+1＝Axt.×(DnTVx)./(DnTDnAxt+λ)，其中Axt(x＝nir,nvi)表示第t次迭代的非负稀疏系数，Axt+1表示第t+1次迭代的非负稀疏系数，Vx(x＝ir,vi)表示样本矩阵，正则化参数λ为与矩阵DnTDnAxt中每个元素相加，即得到非负稀疏系数Anir与Anvi；
步骤3.3：计算Anir与Anvi中每列的活动水平al与稀疏度sp：
其中，al(αi)表示非负稀疏系数αi的活动水平，sp(αi)表示αi的稀疏度，K是αi的维数；
步骤3.4：根据公式(2)的活动水平与稀疏度，分别求得红外图像中的目标特征Sign_IT、红外图像中的轮廓特征Sign_IC以及可见光图像中的纹理特征Sign_VT：
其中，αi IR和αi VI分别表示非负稀疏系数Anir与Anvi的第i列系数，τ∈(0,1]和γ∈(0,1]为常数，Sign_IT∈R1×L为红外目标特征，Sign_IC∈R1×L为红外轮廓特征，Sign_VT∈R1 ×L为可见光细节特征，IalMax＝max(al(Anir))，IalMean＝mean(al(Anir))，VspMax＝max(sp(Anvi))，ValMax＝max(al(Anvi))；
步骤3.5：对于第i个窗口区域，融合指导模板为Sign_f(i)，具体如下：
Sign_IT(i)、Sign_IC(i)、Sign_VT(i)分别通过公式(3)、(4)和(5)求得红外目标特征图、红外轮廓特征图以及可见光细节特征图，在满足Sign_IT(i)＝＝255或Sign_IC(i)＝＝255&&Sign_VT(i)！＝255的条件下，即该处是红外目标特征或者该处仅存在红外轮廓特征而不存在可见光细节特征时，Sign_f(i)标注为255；在满足Sign_IC(i)！＝255&&Sign_VT(i)＝＝255的条件下，即该处仅存在可见光细节特征而不存在红外轮廓特征时，Sign_f(i)标注为0；在满足Sign_IC(i)＝＝255&&Sign_VT(i)＝＝255的条件下，即该处同时存在红外轮廓特征和可见光细节特征时，Sign_f(i)标注为64，对应加权融合规则；
红外图像中的红外目标特征优先级最高，即只要存在红外目标特征，则始终采用公式(6)中所示255的融合规则；当无红外目标特征时，在区域仅有单一特征时，则采用选择其一规则融合，即对于第i个窗口区域，当Sign_f(i)等于255，选择对应的红外图像作为融合结果；当Sign_f(i)等于0，则选择对应的可见光图像作为融合结果；当区域存在多个特征时，则对应采用加权平均规则融合；
对于不确定区域则采用区域一致性规则处理，所述区域一致性规则即先统计不确定像素点的8邻域窗口区域内的融合规则，若周围融合规则最多的数目大于κ，其中κ≤8，本发明中κ取为4，则不确定像素点的融合规则采用周围融合规则数目最多的规则，否则认为红外与可见光图像特征都较重要，采用加权平均规则融合该位置，即设为64，更新遍历完整幅图像，得到最终的Sign_f；
根据公式(6)的结果，可得到第i列融合的均值结果Μf(i)如下：
其中，红外图像和可见光图像的均值向量中第i列均值分别为Mir(i)与Mvi(i)，β为一个正常数，根据经验取为0.01，与分别是红外图像和可见光图像样本矩阵的第i列去均值样本，按照公式(7)可得到融合的均值结果Μf；
步骤四、对去均值样本与进行联合稀疏表示，得到公有稀疏系数AC和红外特有稀疏系数与可见光特有稀疏系数并通过加权平均规则，得到融合的去均值结果具体包括如下步骤：
步骤4.1：训练字典D，从样本矩阵[Vir,Vvi]中随机抽取n列，n取值范围为0到样本总数之间，本发明n取值5000，作为训练样本V'，训练得到大小为n×K的字典D，目标方程如下：
其中，||α||0表示α的l0范数，即向量α中非零元素的个数，ε表示所能容忍的误差，根据经验将ε，取值范围为0.01～0.1，表示向量x的l2范数的平方，其中x＝v-Dα；
步骤4.2：对去均值样本与进行联合稀疏表示，即对联合矩阵在联合字典上进行稀疏编码，0表示与字典D相同大小的零矩阵，以式(8)为目标方程，求得联合稀疏表示系数
步骤4.3：融合的稀疏系数通过稀疏系数Af与字典D，获得融合的去均值结果即
步骤五、将融合的均值结果Mf与去均值结果结合，对其进行滑窗逆操作，得到初步融合结果If：
首先，将均值Mf乘以全1向量I∈Rn×1，即Vmf＝I×Mf，此时与Vmf大小一致，则将Vf中每一列重塑成大小的块，再按照取块的顺序依次放回至取出位置，将重叠区域的像素进行叠加，在重叠区域求像素的均值，即将该像素点的像素求和，除以叠加的次数即可得到像素的均值，得到融合图像If；
步骤六、对红外图像进行显著性检测得到显著图，在显著图中选取种子点后，由区域增长法得到红外图像的目标区域图，得到目标增强的红外与可见光图像融合结果Izf，具体包括以下步骤：
步骤6.1：计算长度为M、宽度为N的红外图像的显著图S(x,y)：
S(x,y)＝|Ig(x,y)-Iu| (9)
Ig(x,y)是红外图像经过高斯滤波后的矢量图，目的是对图像进行平滑处理，提出噪声；Iu是红外图像的像素算数平均值；
步骤6.2：找出S(x,y)中像素最大值的坐标，将该坐标作为区域增长的种子点，在红外图像中通过区域增长法，获得目标区域二值图，即该图中目标区域为1，非目标区域为0，将目标区域图与红外图像Iir点乘，获得目标区域，再与融合图像If通过选择最大像素的规则得到融合结果，所述最大像素的规则为比较两幅待融合图像对应位置的像素值大小，选择像素值大的作为该位置的融合结果，遍历整幅图像得到融合图像，即可得到目标增强的红外与可见光图像融合结果Izf。
步骤3.1中所述ODL算法的步骤为：
①初始化，将大小为n×K(K＞n)的DCT字典设置为初始字典D0，K为字典的列数，设置迭代次数T以及正则化参数λ，令A0∈RK×K←0，B0∈Rn×K←0；初始值矩阵A0和B0的大小均给定；
②从V中取vi，进行稀疏编码：采用最小角回归(Least Angle Regression,LARS)算法求解下式：
③令Ai←Ai-1+αiαi T∈RK×K，Bi←Bi-1+viαi T∈Rn×K，其中矩阵Ai为存储αi信息的矩阵，矩阵Bi为存储vi和αi信息的矩阵，Ai与Ai-1的大小与A0的大小一致，均为K×K，更新过程另一种表示为即在上一次求得的结果基础上再加上αiαi T；Bi与Bi-1的大小与B0的大小一致，均为n×K，更新过程另一种表示为即在上一次求得结果的基础上再加上viαi T；
④采用块下降法根据下式依次更新字典Di：
其中Di初始化为Di-1，迭代直至到达迭代次数即满足收敛条件，返回字典D，即非负字典Dn。
步骤4.1中所述字典D通过K-SVD算法训练得到。
步骤4.2中所述联合稀疏表示系数通过OMP算法求得。
图2中红外与可见光图像为已经精确配准后的图像，图3是用本发明对图2(a)和图2(b)融合后的结果，图3右下角是对图中方框位置的放大显示，是由于结合了联合稀疏表示与非负稀疏表示的优势，且进一步进行了目标增强，因此有效提升了融合性能。

Claims (4)

1.一种基于联合稀疏与非负稀疏的红外与可见光图像融合方法，其特征在于包括下述步骤：
步骤一、分别对红外与可见光图像进行滑窗操作，得到样本矩阵；
对红外图像Iir与可见光图像Ivi分别进行滑窗操作，红外图像Iir与可见光图像Ivi的长度均为M，宽度均为N，即自左上到右下，以步长将图像分成的图像块，再将每个图像块拉直成列向量，按取出顺序排列成大小为n×L的红外样本矩阵Vir与可见光样本矩阵Vvi，取出顺序为滑窗操作将块取出的顺序，即自左上到右下，Z字型滑动取出顺序，红外样本矩阵Vir与可见光样本矩阵Vvi的列数L表示取出块的个数，即
步骤二、求样本矩阵各列的均值，得到均值样本和去均值样本；
求红外样本矩阵Vir与可见光样本矩阵Vvi中每列的均值，得到大小为1×L的均值样本Mir与Mvi，并将红外样本矩阵Vir与可见光样本矩阵Vvi中每列减去该列均值样本后得到大小为n×L的去均值样本与
步骤三、基于非负稀疏表示理论，设计得到融合指导模板Sign_f，并在该模板的指导下，得到融合的均值结果Mf，具体步骤如下：
步骤3.1：首先，准备训练样本V，即从样本矩阵[Vir,Vvi]中随机抽取m列，m取值为样本总数的1/3到1/2，作为训练样本V，vi为训练样本V中第i列样本，Col为训练样本的总列数，αi为vi的非负稀疏系数，λ为正则化参数；通过在线字典学习法，训练得到非负字典Dn，目标方程为：
步骤3.2：通过非负稀疏编码，对样本矩阵Vir与Vvi进行稀疏编码，得到红外图像的非负稀疏系数Anir与可见光图像的非负稀疏系数Anvi，目标方程为式(1)；
其中NNSC算法，只需迭代更新Axt+1＝Axt.×(DnTVx)./(DnTDnAxt+λ)，其中Axt(x＝nir,nvi)表示第t次迭代的非负稀疏系数，Axt+1表示第t+1次迭代的非负稀疏系数，Vx(x＝ir,vi)表示样本矩阵，正则化参数λ为与矩阵DnTDnAxt中每个元素相加，即得到非负稀疏系数Anir与Anvi；
步骤3.3：计算Anir与Anvi中每列的活动水平al与稀疏度sp：
其中，al(αi)表示非负稀疏系数αi的活动水平，sp(αi)表示αi的稀疏度，K是αi的维数；
步骤3.4：根据公式(2)的活动水平与稀疏度，分别求得红外图像中的目标特征Sign_IT、红外图像中的轮廓特征Sign_IC以及可见光图像中的纹理特征Sign_VT：
其中，αi IR和αi VI分别表示非负稀疏系数Anir与Anvi的第i列系数，τ∈(0,1]和γ∈(0,1]为常数，Sign_IT∈R1×L为红外目标特征，Sign_IC∈R1×L为红外轮廓特征，Sign_VT∈R1×L为可见光细节特征，IalMax＝max(al(Anir))，IalMean＝mean(al(Anir))，VspMax＝max(sp(Anvi))，ValMax＝max(al(Anvi))；
步骤3.5：对于第i个窗口区域，融合指导模板为Sign_f(i)，具体如下：
Sign_IT(i)、Sign_IC(i)、Sign_VT(i)分别通过公式(3)、(4)和(5)求得红外目标特征图、红外轮廓特征图以及可见光细节特征图，在满足Sign_IT(i)＝＝255或Sign_IC(i)＝＝255&&Sign_VT(i)！＝255的条件下，即该处是红外目标特征或者该处仅存在红外轮廓特征而不存在可见光细节特征时，Sign_f(i)标注为255；在满足Sign_IC(i)！＝255&&Sign_VT(i)＝＝255的条件下，即该处仅存在可见光细节特征而不存在红外轮廓特征时，Sign_f(i)标注为0；在满足Sign_IC(i)＝＝255&&Sign_VT(i)＝＝255的条件下，即该处同时存在红外轮廓特征和可见光细节特征时，Sign_f(i)标注为64；
红外图像中的红外目标特征优先级最高，即只要存在红外目标特征，则始终采用公式(6)中所示255的融合规则；当无红外目标特征时，在区域仅有单一特征时，则采用选择其一规则融合，即对于第i个窗口区域，当Sign_f(i)等于255，选择对应的红外图像作为融合结果；当Sign_f(i)等于0，则选择对应的可见光图像作为融合结果；当区域存在多个特征时，则对应采用加权平均规则融合；
对于不确定区域则采用区域一致性规则处理，所述区域一致性规则即先统计不确定像素点的8邻域窗口区域内的融合规则，若周围融合规则最多的数目大于κ其中，κ≤8，则不确定像素点的融合规则采用周围融合规则数目最多的规则，否则认为红外与可见光图像特征都较重要，采用加权平均规则融合该位置，即设为64，更新遍历完整幅图像，得到最终的Sign_f；
根据公式(6)的结果，可得到第i列融合的均值结果Μf(i)如下：
其中，红外图像和可见光图像的均值向量中第i列均值分别为Mir(i)与Mvi(i)，β为一个正常数，根据经验取为0.01，与分别是红外图像和可见光图像样本矩阵的第i列去均值样本，按照公式(7)可得到融合的均值结果Μf；
步骤四、对去均值样本与进行联合稀疏表示，得到公有稀疏系数AC和红外特有稀疏系数与可见光特有稀疏系数并通过加权平均规则，得到融合的去均值结果具体包括如下步骤：
步骤4.1：训练字典D，从样本矩阵[Vir,Vvi]中随机抽取n列，n取值范围为0到样本总数之间，作为训练样本V'，训练得到大小为n×K的字典D，目标方程如下：
其中，||α||0表示α的l0范数，即向量α中非零元素的个数，ε表示所能容忍的误差，根据经验将ε取值范围为0.01～0.1，表示向量x的l2范数的平方，其中x＝v-Dα；
步骤4.2：对去均值样本与进行联合稀疏表示，即对联合矩阵在联合字典上进行稀疏编码，0表示与字典D相同大小的零矩阵，以式(8)为目标方程，求得联合稀疏表示系数
步骤4.3：融合的稀疏系数通过稀疏系数Af与字典D，获得融合的去均值结果即
步骤五、将融合的均值结果Mf与去均值结果Vf结合，对其进行滑窗逆操作，得到初步融合结果If：
首先，将均值Mf乘以全1向量I∈Rn×1，即Vmf＝I×Mf，此时与Vmf大小一致，则将Vf中每一列重塑成大小的块，再按照取块的顺序依次放回至取出位置，将重叠区域的像素进行叠加，在重叠区域求像素的均值，即将该像素点的像素求和，除以叠加的次数即可得到像素的均值，得到融合图像If；
步骤六、对红外图像进行显著性检测得到显著图，在显著图中选取种子点后，由区域增长法得到红外图像的目标区域图，得到目标增强的红外与可见光图像融合结果Izf，具体包括以下步骤：
步骤6.1：计算长度为M、宽度为N的红外图像的显著图S(x,y)：
S(x,y)＝|Ig(x,y)-Iu| (9)
Ig(x,y)是红外图像经过高斯滤波后的矢量图，目的是对图像进行平滑处理，剔除噪声；Iu是红外图像的像素算数平均值；
步骤6.2：找出S(x,y)中像素最大值的坐标，将该坐标作为区域增长的种子点，在红外图像中通过区域增长法，获得目标区域二值图，即该图中目标区域为1，非目标区域为0，将目标区域图与红外图像Iir点乘，获得目标区域，再与融合图像If通过选择最大像素的规则得到融合结果，所述最大像素的规则为比较两幅待融合图像对应位置的像素值大小，选择像素值大的作为该位置的融合结果，遍历整幅图像得到融合图像，即可得到目标增强的红外与可见光图像融合结果Izf。
2.根据权利要求1所述的一种基于联合稀疏与非负稀疏的红外与可见光图像融合方法，其特征在于：
步骤3.1中所述ODL算法的步骤为：
①初始化，将大小为n×K(K＞n)的DCT字典设置为初始字典D0，K为字典的列数，设置迭代次数T以及正则化参数λ，令A0∈RK×K←0，B0∈Rn×K←0；初始值矩阵A0和B0的大小均给定；
②从V中取vi，进行稀疏编码：采用最小角回归(Least Angle Regression,LARS)算法求解下式：
③令Ai←Ai-1+αiαi T∈RK×K，Bi←Bi-1+viαi T∈Rn×K，其中矩阵Ai为存储αi信息的矩阵，矩阵Bi为存储vi和αi信息的矩阵，Ai与Ai-1的大小与A0的大小一致，均为K×K，更新过程另一种表示为即在上一次求得的结果基础上再加上αiαi T；Bi与Bi-1的大小与B0的大小一致，均为n×K，更新过程另一种表示为即在上一次求得结果的基础上再加上viαi T；
④采用块下降法根据下式依次更新字典Di：
其中Di初始化为Di-1，迭代直至到达迭代次数即满足收敛条件，返回字典D，即非负字典Dn。
3.根据权利要求1所述的一种基于联合稀疏与非负稀疏的红外与可见光图像融合方法，其特征在于：
步骤4.1中所述字典D通过K-SVD算法训练得到。
4.根据权利要求1所述的一种基于联合稀疏与非负稀疏的红外与可见光图像融合方法，其特征在于：
步骤4.2中所述联合稀疏表示系数通过OMP算法求得。
CN201711231984.4A 2017-11-30 2017-11-30 基于联合稀疏与非负稀疏的红外与可见光图像融合方法 Active CN108122219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711231984.4A CN108122219B (zh) 2017-11-30 2017-11-30 基于联合稀疏与非负稀疏的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711231984.4A CN108122219B (zh) 2017-11-30 2017-11-30 基于联合稀疏与非负稀疏的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN108122219A CN108122219A (zh) 2018-06-05
CN108122219B true CN108122219B (zh) 2019-10-18

Family

ID=62228740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711231984.4A Active CN108122219B (zh) 2017-11-30 2017-11-30 基于联合稀疏与非负稀疏的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN108122219B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360175A (zh) * 2018-10-12 2019-02-19 云南大学 一种红外与可见光的图像融合方法
CN109120869B (zh) * 2018-11-07 2024-09-06 深圳市道通智能航空技术股份有限公司 双光图像整合方法、整合设备及无人机
CN109447933B (zh) * 2018-11-14 2019-10-22 西北工业大学 基于特有信息同步分解的红外与可见光图像融合方法
CN109766925B (zh) * 2018-12-20 2021-05-11 深圳云天励飞技术有限公司 特征融合方法、装置、电子设备及存储介质
CN113269748A (zh) * 2021-05-25 2021-08-17 中国矿业大学 一种红外可见光图像融合的电缆接头故障预警系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021537A (zh) * 2014-06-23 2014-09-03 西北工业大学 一种基于稀疏表示的红外与可见光图像融合方法
CN104809714A (zh) * 2015-04-29 2015-07-29 华东交通大学 基于多形态稀疏表示的图像融合方法
CN106056564A (zh) * 2016-05-27 2016-10-26 西华大学 基于联合稀疏模型的边缘清晰图像融合方法
CN106530266A (zh) * 2016-11-11 2017-03-22 华东理工大学 一种基于区域稀疏表示的红外与可见光图像融合方法
CN106683066A (zh) * 2017-01-13 2017-05-17 西华大学 一种基于联合稀疏模型的图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021537A (zh) * 2014-06-23 2014-09-03 西北工业大学 一种基于稀疏表示的红外与可见光图像融合方法
CN104809714A (zh) * 2015-04-29 2015-07-29 华东交通大学 基于多形态稀疏表示的图像融合方法
CN106056564A (zh) * 2016-05-27 2016-10-26 西华大学 基于联合稀疏模型的边缘清晰图像融合方法
CN106530266A (zh) * 2016-11-11 2017-03-22 华东理工大学 一种基于区域稀疏表示的红外与可见光图像融合方法
CN106683066A (zh) * 2017-01-13 2017-05-17 西华大学 一种基于联合稀疏模型的图像融合方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Fusion method for infrared and visible images by using non-negative sparse representation;Jun Wang;《Infrared Physics and Technology》;20140919;参见第477-489页 *
一种基于稀疏表示的红外与可见光图像融合方法;宋莎莎 等;《第二届全国图象图形学术会议论文集》;20141011;参见第254-257页 *
一种基于视觉显著图的舰船红外图像目标检测方法;马新星等;《红外》;20131031;第34卷(第10期);参见第31-36页 *
基于非负稀疏表示的红外与可见光图像融合方法;王珺 等;《第二届全国图象图形联合学术会议论文集》;20141011;参见第150-154页 *
自适应字典学习的多聚焦图像融合;严春满;《中国图象图形学报》;20120930;第17卷(第9期);参见第1144-1149页 *

Also Published As

Publication number Publication date
CN108122219A (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
CN108122219B (zh) 基于联合稀疏与非负稀疏的红外与可见光图像融合方法
CN110135375B (zh) 基于全局信息整合的多人姿态估计方法
CN111144217B (zh) 一种基于人体三维关节点检测的动作评价方法
WO2017133009A1 (zh) 一种基于卷积神经网络的深度图像人体关节定位方法
CN108052896B (zh) 基于卷积神经网络与支持向量机的人体行为识别方法
CN106023220B (zh) 一种基于深度学习的车辆外观部件图像分割方法
Sanchez et al. Registration of thermal and visible light images of diseased plants using silhouette extraction in the wavelet domain
CN104392223B (zh) 二维视频图像中的人体姿态识别方法
JP5877053B2 (ja) 姿勢推定装置および姿勢推定方法
CN110310285B (zh) 一种精确的基于三维人体重建的烧伤面积计算方法
CN106778785B (zh) 构建图像特征提取模型的方法及图像识别的方法、装置
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
CN108717531A (zh) 基于Faster R-CNN的人体姿态估计方法
CN108304820A (zh) 一种人脸检测方法、装置及终端设备
CN108108674A (zh) 一种基于关节点分析的行人再识别方法
CN102521595A (zh) 一种基于眼动数据和底层特征的图像感兴趣区域提取方法
CN109360175A (zh) 一种红外与可见光的图像融合方法
CN105761234A (zh) 一种基于结构稀疏表示的遥感影像融合方法
CN108010123A (zh) 一种保留拓扑信息的三维点云获取方法
CN108335319A (zh) 一种基于自适应阈值及ransac的图像角点匹配方法
CN111199207B (zh) 基于深度残差神经网络的二维多人体姿态估计方法
CN109159113A (zh) 一种基于视觉推理的机器人作业方法
CN107463954A (zh) 一种模糊异谱图像的模板匹配识别方法
CN107220971A (zh) 一种基于卷积神经网络和主成分分析法的肺结节特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant