CN107730482A - 一种基于区域能量和方差的稀疏融合算法 - Google Patents

一种基于区域能量和方差的稀疏融合算法 Download PDF

Info

Publication number
CN107730482A
CN107730482A CN201710898139.6A CN201710898139A CN107730482A CN 107730482 A CN107730482 A CN 107730482A CN 201710898139 A CN201710898139 A CN 201710898139A CN 107730482 A CN107730482 A CN 107730482A
Authority
CN
China
Prior art keywords
image
fusion
infrared
sparse
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710898139.6A
Other languages
English (en)
Other versions
CN107730482B (zh
Inventor
陶冰洁
黄景雨
许晓伟
王酉祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710898139.6A priority Critical patent/CN107730482B/zh
Publication of CN107730482A publication Critical patent/CN107730482A/zh
Application granted granted Critical
Publication of CN107730482B publication Critical patent/CN107730482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Battery Electrode And Active Subsutance (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于区域能量和方差的稀疏融合算法，属于图像处理领域的图像融合部分。本发明重点针对红外和可见光图像，使用基于区域能量和方差的融合规则，对不同源图像的稀疏系数进行融合处理，并通过稀疏重构，得到最终的融合图像。通过对多幅已配准的红外和可见光图像测试表明，该方法较与传统方法与一般的稀疏融合算法，在熵、互信息、边缘保持度、平均梯度等评价指标方面有明显的优势。该方法利用区域能量和方差对图像块进行分类，得以选取更适合的规则进行融合处理，改善了单一融合规则没有充分考虑图像信息的缺陷，所以本发明提出的方法具有较好的融合效果。

Description

一种基于区域能量和方差的稀疏融合算法
技术领域
本发明涉及图像处理领域，用于实现红外和可见光图像的像素级融合，尤其涉及一种基于区域能量和方差的稀疏融合算法。
背景技术
图像融合技术主要通过对不同源图像的综合处理来现对场景信息更丰富的表达。针对红外图像和可见光图像，融合技术不仅可以弥补可见光成像时的不足，在黑夜、烟雾等极端条件下实现全天候监控，而且可以在人口密集场景下利用可见光成像进行目标外部特性分析，利用红外成像对目标进行内部分析，从而实现人性化的监控。因此在军事和智能监控等领域，红外与可见光图像融合技术有很高的研究价值。
图像融合算法性能的好坏主要体现在融合图像对源图像结构、细节信息的保留程度以及融合图像包含信息的丰富程度。通常可以通过互信息、交叉熵、结构相似度等指标来表征融合算法性能的优劣，另一方面，运行时间也是表征算法性能优劣的重要指标。
目前，常用的图像融合算法有基于主成分分析的图像融合、基于离散小波变换的图像融合、基于非下采样多尺度变换的图像融合以及基于稀疏表示的图像融合等一系列算法。在融合过程中，稀疏表示理论的引入不仅可以保证得到的数据包含了红外和可见光图像的完整信息，而且可以降低计算复杂度和提高传输效率，为后续处理和应用提供更丰富的信息支撑。
发明内容
本发明的目的在于：为解决现有的图像融合算法对原图像结构、细节信息的保留程度不够好以及融合图像包含信息的丰富程度不高的问题。可见光图像细节丰富，结构清晰但是容易受光线强弱的影响导致感兴趣目标丢失，而红外图像可以弥补这一缺陷，本发明基于表征原图像清晰度和红外辐射强弱的区域能量和方差来制定融合规则，可以很好地保留可见光图像中的细节信息和红外图像中有强红外辐射的目标的结构信息，取得较好的融合效果。本发明提供一种基于区域能量和方差的稀疏融合方法。
本发明采用的技术方案如下：
步骤1：读入红外图像r(x,y)和可见光图像v(x,y)，根据滑块大小s和滑动步长l对其进行边界扩充得到红外图像Ar1(x,y)和红外图像Av1(x,y)，根据Ar1大小构造一个行列相同的融合图像矩阵Y，并初始化矩阵各元素为零；
步骤2：对红外图像和可见光图像构造的训练集A进行字典训练得到过完备字典D；
步骤3：根据s和l对红外图像Ar1(x,y)和红外图像Av1(x,y)按照从左到右，从上到下分别依次进行滑窗处理，每次得到的图像块s1,s2按行展开成列向量c1,c2；
步骤4：在过完备字典D下对列向量c1，c2进行稀疏分解并得到各自的稀疏系数；
步骤5：根据稀疏系数对应的图像块的区域能量和方差自适应选取融合规则进行图像融合，得到的融合系数在过完备字典D下进行稀疏重构得到列向量c3，再将其转换为为图像块，叠加到融合图像矩阵Y对应的位置中；
步骤6：迭代步骤3、步骤4和步骤5，直到红外和可见光图像滑窗移动到最后一行和最后一列；再将得到的融合图像矩阵Y依据各自对应位置的叠加次数进行平均处理，经过裁剪得到最终的融合图像F。
具体地，所述步骤1的具体步骤如下：
步骤11：读取红外图像r(x,y)和可见光图像v(x,y)，并将此作为原图像，假设图像大小为m×n；
步骤12：根据滑块大小s和滑动步长l，将原图像分别扩展成大小为(ceil((m-s)/l)*l+s)*(ceil((n-s)/l)*l+s)的红外图像r1(x,y)和可见光图像v1(x,y)，其中ceil(x)函数实现的是不小于x的最小整数，只扩展图像的右边界和下边界，确定右边界和下边界分别需要扩充的个数t1，t2，其中t1＝(ceil((n-s)/l)*l+s)-n，t2＝(ceil((m-s)/l)*l+s)-m；此步骤具体实现步骤如下：
步骤121：扩展图像的右边界，以图像r(x,y)和v(x,y)右边界为中轴，对称复制原图最外围中的t1列像素，得到红外图像r0(x,y)和可见光图像v0(x,y)；
步骤122：扩展图像的下边界，以r0(x,y)和v0(x,y)为原图，以下边界为中轴，对称复制原图像最外围中的t2行像素，得到最终的扩展图像r1(x,y)和v1(x,y)；
步骤13：构造一个融合图像零矩阵Y，其矩阵大小为(ceil((m-s)/l)*l+s)*(ceil((n-s)/l)*l+s)。
具体地，所述步骤2的具体步骤如下：
步骤21：将图像经滑窗处理后得到的图像块展开成列向量，为了尽可能多获得训练集，滑动步长取1，则图像r1(x,y)和r2(x,y)经处理得到训练集y1，y2，组合成训练集y；此步骤具体实现步骤如下：
步骤211：将红外图像和可见光图像分别从上到下，从左到右，按移动步长1依次提取图像块，并将其展开成列向量，依次添加到空白矩阵y1,y2中；
步骤212：将红外图像和可见光图像各自的训练集y1，y2，组合成训练集y，其中，y＝[y1,y2]；
步骤22：将超完备DCT作为初始字典；首先固定字典D，利用正交匹配追踪算法求解y在D下的系数矩阵正交匹配追踪算法具体实现步骤如下：
以下流程中：rt表示残差，t表示迭代次数，表示空集，Λt表示t次迭代的索引(列序号)集合，λt表示第t次迭代找到的列序号，dj表示字典D的第j列，At表示按索引选出的矩阵D的列集合，xt为t×1的列向量，符号∪表示集合并运算，<·,·>表示求向量内积。
步骤221：输入为训练集y,过完备字典D，稀疏度为K，初始化r0＝y， t＝1；
步骤222：找出残差r与字典D的列内积取得最大值所对应的脚标λt，即
步骤223：令Λt＝Λt-1∪{λt}，
步骤224：由最小二乘法得到
步骤225：更新残差t＝t+1；
步骤226：判断是否满足t>K,若满足，则停止迭代；若不满足，则继续执行步骤1；
步骤227：重构所得在Λt处有非零项，其值分别为最后一次迭代所得
步骤23：固定系数矩阵更新字典的第k列dk，使得目标函数最小，其中dk相对应系数矩阵中向量则目标函数改为：
式中，被分解为N个向量与其系数相乘的和，更新第k列dk，则固定其余的N-1项不变，将第k列置零后与系数重构回初始信号，Ek为训练集y与重构会的信号之差，利用矩阵SVD分解法来更新dk，从而得到新的字典D；
步骤24：最后重复迭代，直到目标函数达到设定的全局误差，则迭代终止，获得的更新字典D即为学习字典。
具体地，所述步骤4的具体步骤如下：
步骤41：初始化残差其中X1,X2分别为对应位置滑块展开的列向量c1,c2,l表示迭代次数，表示经由l次迭代后所得的各项残差，字典D大小为M*N,初始化稀疏系数为零矩阵，大小为N*1；
步骤42：计算字典内每个原子dk,k＝1,2,…,N，与2种残差项的内积绝对值之和，如下式所示：
从中选出取得最大值时对应的原子,并将其做正交化处理,选出原子在字典矩阵中的列数j即为稀疏系数矩阵对应稀疏系数的行数，大小为残差与选中原子的内积；
步骤43：更新稀疏系数矩阵中的第j行和残差，进行下一次迭代；
步骤44：最后直到各残差的二范数小于设定值ε，则迭代结束，得到红外和可见光图像块列向量各自对应的稀疏系数向量。
具体地，所述步骤5的具体步骤如下：
步骤51：求得红外图像和可见光图像稀疏系数对应图像块的区域能量Er，Ev，其中区域能量的定义公式为：
其中，m×n表示图像块区域的大小，x(i,j)表示图像块区域(i,j)位置处的像素值，E表示区域能量；
步骤52：求得红外图像和可见光图像稀疏系数对应图像块的区域方差Sr，Sv，其中区域方差的定义如下：
其中，X表示大小为m×n的区域，X(i,j)表示区域位置(i，j)处的灰度值，表示X区域的灰度平均值；
步骤53：如果可见光图像的区域能量和方差都大于红外图像，则融合系数取可见光图像块对应的稀疏系数；如果红外图像的区域能量和方差都大于可见光图像，则融合系数取红外图像块所对应的稀疏系数；如果二者的区域能量和方差各有优势，则融合系数由基于方差的权重加权而成；加权融合的处理公式如下：
其中a，b表示红外与可见光图像对应区域的方差，xIR、xVI、xF表示红外、可见光和融合图像的稀疏系数；稀疏系数融合规则如下式所示：
其中EIR，EVI分别为红外、可见光图像区域能量，SIR，SVI为红外、可见光图像的区域方差；
步骤54：将融合系数x在过完备字典D下进行稀疏重构,得到融合列向量c3＝Dx；
步骤55：将列向量逆处理变换成图像块，将其数据叠加到融合矩阵Y对应位置，获得融合图像。
具体地，所述步骤6的具体步骤如下：
步骤61：不断迭代步骤3、4和5，直到整个原图像Ar1(x,y)和Av1(x,y)均做融合处理；
步骤62：根据移动步长对步骤51获得的融合图像矩阵进行平均处理，使得融合图中多次重叠的部分根据重叠次数进行平均；
步骤63：依照红外图像和可见光图像的大小对步骤52得到的融合图像进行裁剪，得到最终的融合图像。
进一步地，所述算法还包括步骤7：根据红外图像、可见光图像和融合图像，求得熵、互信息、边缘保持度、标准差等客观评价指标进行融合性能评价；
所述步骤7的具体步骤如下：
步骤71：输入红外图像R、可见光图像V和融合图像F；
步骤72：对融合算法进行信息熵的客观评价，熵越大，融合性能越好。其中信息熵的数学定义为：
其中，L为图像的灰度级数，pi为灰度值为i的概率值,计算公式如下所示：
式中，N表示像素总数m×n,Ni表示像素值为i的个数；
步骤72：对融合性能进行边缘保持度(EIP)的客观评价，依靠融合图像和红外与可见光图像之间像素对像素的对比结果求得EIP值；从红外图像R到融合图像F边缘强度和方向的变化可以通过下式来计算：
其中GFR(i,j)，αFR(i,j)表示的是边缘强度、边缘方向的变化，gF(i,j)，gR(i,j)表示的是融合图像F、红外图像R每个像素的边强度，αF(i,j)，αR(i,j)表示图像F、R每个像素的边方向；
以融合图像F为例，可以用Sobel算子提取图像的边参数，经Sobel算子滤波F后，分别得到两个图像表示融合图像F水平方向和垂直方向的边信息，然后就可以评估像素(i，j)处的边强度和边方向，如下式所示：
利用sigmoid函数来建模边强度和边方向的丢失，从而得到视觉强度和方向的保留估计，如下式所示：
其中所有可调节参数取定值，Γg＝0.9994，Kg＝-15，σg＝0.5,Γa＝0.9879，Ka＝-22，σa＝0.8为常数，它们均是提出者经过多次试验所得到的最佳取值，最终的融合图像F相对于红外和可见光图像的边缘保持度计算公式如下式所示：
该参数表征的是融合图像F对红外图像R任一像素(i，j)的再现能力，当取值为1时，表明信息完全没有丢失，取值为0时则表明全部丢失；根据边保留映射QFR，基于红外和可见光图像进行像素级融合而生成融合图像F的融合过程，得到一个参数QVR/F，计算公式如下式所示：
其中对应的权值为由视觉重要系数wV(i,j)，wR(i,j)决定，其取值大小为[0,1]，值越大，融合效果越好；步骤64：对融合性能进行平均梯度客观评价，平均梯度的数学定义如下式所示：
式中，△xf(i,j)，△yf(i,j)分别为图像位置(i，j)处的灰度值f(i，j)在水平方向和垂直方向的一阶差分；平均梯度越大，融合性能越好；
步骤73：对融合性能进行互信息客观评价，互信息的数学定义
其中，和分别为融合图像和可见光图像、红外图像的互信息，计算公式如式所示。
其中，p(f,v)和p(f,r)分别是融合图像F和可见光图像V、红外图像R的联合概率分布函数，p(f)、p(v)和p(r)分别是融合图像F、可见光图像V和红外图像R的边缘概率分布函数；
步骤74：对基于主成分分析的图像融合、基于离散小波变换的图像融合、基于非下采样轮廓波变换的图像融合、基于绝对值取大的稀疏融合、基于区域方差加权的稀疏融合多种算法分别进行熵、边缘保持度、等指标的客观评价，从而实现对本发明融合性能好坏进行一个客观总结。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
一、针对红外图像和可见光图像，在实现基于稀疏表示的图像融合算法过程中，采用基于区域能量和方差的规则对两幅源图像块的稀疏系数进行融合处理，得到最终的融合图像，较于传统的图像融合方法，本发明利用原图像的区域能量和方差信息，在进行图像融合时能够充分考虑图像块的细节和能量信息，较之单一融合规则的稀疏算法和其他融合方法，在熵、互信息、边缘保持度、标准差等客观评价方面取得了较好的效果。
二、将本发明应用在红外和可见光图像序列的行人检测中，相较于单一传感器获取的图像序列的目标检测，经本发明提出的融合算法处理过后进行的目标检测在漏检和目标定位方面均取得了较好的效果。
附图说明
图1为本发明的流程示意图；
图2为稀疏融合方法的基本框图；
图3为验证本发明采用的可见光图像；
图4为验证本发明采用的红外图像；
图5为本发明的融合图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例中基于区域能量和方差的稀疏融合方法，具体实现包括以下步骤：
步骤1：读入红外图像r(x,y)和可见光图像v(x,y)，根据滑块大小s和滑动步长l对其进行边界扩充得到红外图像Ar1(x,y)和红外图像Av1(x,y)，根据Ar1大小构造一个行列相同的融合图像矩阵Y，并初始化矩阵中各元素为零；
步骤1的具体步骤如下：
步骤11：读取红外图像r(x,y)和可见光图像v(x,y)，并将此作为原图像，假设图像大小为m×n；
步骤12：根据滑块大小s和滑动步长l，将原图像分别扩展成大小为(ceil((m-s)/l)*l+s)*(ceil((n-s)/l)*l+s)的红外图像r1(x,y)和可见光图像v1(x,y)，其中ceil(x)函数实现的是不小于x的最小整数，只扩展图像的右边界和下边界，确定右边界和下边界分别需要扩充的个数t1，t2，其中t1＝(ceil((n-s)/l)*l+s)-n，t2＝(ceil((m-s)/l)*l+s)-m；此步骤具体实现步骤如下：
步骤121：扩展图像的右边界，以图像r(x,y)和v(x,y)右边界为中轴，对称复制原图最外围中的t1列像素，得到红外图像r0(x,y)和可见光图像v0(x,y)；
步骤122：扩展图像的下边界，以r0(x,y)和v0(x,y)为原图，以下边界为中轴，对称复制原图像最外围中的t2行像素，得到最终的扩展图像r1(x,y)和v1(x,y)；
步骤13：构造一个融合图像矩阵Y，其矩阵大小为(ceil((m-s)/l)*l+s)*(ceil((n-s)/l)*l+s)，并初始化矩阵中各元素为零。
步骤2：对红外图像r(x,y)和可见光图像v(x,y)构造的训练集A进行字典训练得到过完备字典D；
所述步骤2的具体步骤如下：
步骤21：将图像经滑窗处理后得到的图像块展开成列向量，为了尽可能多获得训练集，滑动步长取1，则图像r1(x,y)和r2(x,y)经处理得到训练集y1，y2，组合成训练集y；此步骤具体实现步骤如下：
步骤211：将原图像从上到下，从左到右，按移动步长1依次提取图像块，并将其展开成列向量，依次添加到空白矩阵y1,y2中；
步骤212：将红外图像和可见光图像各自的训练集y1，y2，组合成训练集y，其中，y＝[y1,y2]；
步骤22：将超完备DCT作为初始字典；首先固定字典D，利用正交匹配追踪算法求解y在D下的系数矩阵正交匹配追踪算法具体实现步骤如下：
以下流程中：rt表示残差，t表示迭代次数，表示空集，Λt表示t次迭代的索引(列序号)集合，λt表示第t次迭代找到的列序号，dj表示字典D的第j列，At表示按索引选出的矩阵D的列集合，xt为t×1的列向量，符号∪表示集合并运算，<·,·>表示求向量内积。
步骤221：输入为训练集y,过完备字典D，稀疏度为K，初始化r0＝y， t＝1；
步骤222：找出残差r与字典D的列内积取得最大值所对应的脚标λt，即
步骤223：令Λt＝Λt-1∪{λt}，
步骤224：由最小二乘法得到
步骤225：更新残差t＝t+1；
步骤226：判断是否满足t>K,若满足，则停止迭代；若不满足，则继续执行步骤1；
步骤227：重构所得在Λt处有非零项，其值分别为最后一次迭代所得
步骤23：固定系数矩阵更新字典的第k列dk，使得目标函数最小，其中dk相对应系数矩阵中向量则目标函数改为：
式中，被分解为N个向量与其系数相乘的和，更新第k列dk，则固定其余的N-1项不变，将第k列置零后与系数重构回初始信号，Ek为训练集y与重构会的信号之差，利用矩阵SVD分解法来更新dk，从而得到新的字典D；
步骤24：最后重复迭代，直到目标函数达到设定的全局误差，则迭代终止，获得的更新字典D即为学习字典。
步骤3：根据s和l对红外图像Ar1(x,y)和红外图像Av1(x,y)按照从左到右，从上到下分别依次进行滑窗处理，每次得到的图像块s1,s2按行展开成列向量c1,c2；
步骤4：在过完备字典D下对列向量c1，c2进行稀疏分解并得到各自的稀疏系数；所述步骤4的具体步骤如下：
步骤41：初始化残差其中X1,X2分别为对应位置滑块展开的列向量c1,c2,l表示迭代次数，表示经由l次迭代后所得的各项残差，字典D大小为M*N,初始化稀疏系数为零矩阵，大小为N*1；
步骤42：计算字典内每个原子dk,k＝1,2,…,N，与2种残差项的内积绝对值之和，如下式所示：
从中选出取得最大值时对应的原子,并将其做正交化处理,选出原子在字典矩阵中的列数j即为稀疏系数矩阵对应稀疏系数的行数，大小为残差与选中原子的内积；
步骤43：更新稀疏系数矩阵中的第j行和残差，进行下一次迭代；
步骤44：最后直到各残差的二范数小于设定值ε，则迭代结束，得到红外和可见光图像块列向量各自对应的稀疏系数向量。
步骤5：根据稀疏系数对应的图像块的区域能量和方差自适应选取融合规则进行图像融合，得到的融合系数在过完备字典D下进行稀疏重构得到列向量c3，再将其转换为为图像块，叠加到融合图像矩阵Y对应的位置中；所述步骤5的具体步骤如下：
步骤51：求得红外图像和可见光图像稀疏系数对应图像块的区域能量Er，Ev，其中区域能量的定义公式为
其中，m×n表示图像块区域的大小，x(i,j)表示图像块区域(i,j)位置处的像素值，E表示区域能量；
步骤52：求得红外图像和可见光图像稀疏系数对应图像块的区域方差Sr，Sv，其中区域方差的定义如下：
其中，X表示大小为m×n的区域，X(i,j)表示区域位置(i，j)处的灰度值，表示X区域的灰度平均值；
步骤53：如果可见光图像的区域能量和方差都大于红外图像，则融合系数取可见光图像块对应的稀疏系数；如果红外图像的区域能量和方差都大于可见光图像，则融合系数取红外图像块所对应的稀疏系数；如果二者的区域能量和方差各有优势，则融合系数由基于方差的权重加权而成；加权融合的处理公式如下：
其中a，b表示红外与可见光图像对应区域的方差，xIR、xVI、xF表示红外、可见光和融合图像的稀疏系数；稀疏系数融合规则如下式所示：
其中EIR，EVI分别为红外、可见光图像区域能量，SIR，SVI为红外、可见光图像的区域方差；
步骤54：将融合系数x在过完备字典D下进行稀疏重构,得到融合列向量c3＝Dx；
步骤55：将列向量逆处理变换成图像块，将其数据叠加到融合矩阵Y对应位置，获得融合图像。
步骤6：迭代步骤3、步骤4和步骤5，直到红外和可见光图像滑窗移动到最后一行和最后一列；再将得到的融合图像矩阵Y依据各自对应位置的叠加次数进行平均处理，经过裁剪得到最终的融合图像F。
所述步骤6的具体步骤如下：
步骤61：不断迭代步骤3、4和5，直到整个原图像Ar1(x,y)和Av1(x,y)均做融合处理；
步骤62：根据移动步长对步骤51获得的融合图像矩阵进行平均处理，使得融合图中多次重叠的部分根据重叠次数进行平均；
步骤63：依照红外图像和可见光图像的大小对步骤52得到的融合图像进行裁剪，得到最终的融合图像。
步骤7：根据红外图像、可见光图像和融合图像，求得熵、互信息、边缘保持度、标准差等客观评价指标进行融合性能评价；
步骤7的具体步骤如下：
步骤71：输入红外图像R、可见光图像V和融合图像F；
步骤72：对融合算法进行信息熵的客观评价，熵越大，融合性能越好。其中信息熵的数学定义为：
其中，L为图像的灰度级数，pi为灰度值为i的概率值,计算公式如下所示；
式中，N表示像素总数m×n,Ni表示像素值为i的个数；
步骤72：对融合性能进行边缘保持度(EIP)的客观评价，依靠融合图像和红外与可见光图像之间像素对像素的对比结果求得EIP值；从红外图像R到融合图像F边缘强度和方向的变化可以通过下式来计算；
其中GFR(i,j)，αFR(i,j)表示的是边缘强度、边缘方向的变化，gF(i,j)，gR(i,j)表示的是融合图像F、红外图像R每个像素的边强度，αF(i,j)，αR(i,j)表示图像F、R每个像素的边方向；
以融合图像F为例，可以用Sobel算子提取图像的边参数，经Sobel算子滤波F后，分别得到两个图像表示融合图像F水平方向和垂直方向的边信息，然后就可以评估像素(i，j)处的边强度和边方向，如下式所示：
利用sigmoid函数来建模边强度和边方向的丢失，从而得到视觉强度和方向的保留估计，如下式所示：
其中所有可调节参数取定值，Γg＝0.9994，Kg＝-15，σg＝0.5,Γa＝0.9879，Ka＝-22，σa＝0.8为常数，它们均是提出者经过多次试验所得到的最佳取值，最终的融合图像F相对于红外和可见光图像的边缘保持度计算公式如下式所示：
该参数表征的是融合图像F对红外图像R任一像素(i，j)的再现能力，当取值为1时，表明信息完全没有丢失，取值为0时则表明全部丢失；根据边保留映射QFR，基于红外和可见光图像进行像素级融合而生成融合图像F的融合过程，得到一个参数QVR/F，计算公式如下式所示：
其中对应的权值为由视觉重要系数wV(i,j)，wR(i,j)决定，其取值大小为[0,1]，值越大，融合效果越好；步骤64：对融合性能进行平均梯度客观评价，平均梯度的数学定义如下式所示：
式中，△xf(i,j)，△yf(i,j)分别为图像位置(i，j)处的灰度值f(i，j)在水平方向和垂直方向的一阶差分；平均梯度越大，融合性能越好；
步骤73：对融合性能进行互信息客观评价，互信息的数学定义
其中，和分别为融合图像和可见光图像、红外图像的互信息，计算公式如式所示：
其中，p(f,v)和p(f,r)分别是融合图像F和可见光图像V、红外图像R的联合概率分布函数，p(f)、p(v)和p(r)分别是融合图像F、可见光图像V和红外图像R的边缘概率分布函数；
步骤74：对基于主成分分析的图像融合、基于离散小波变换的图像融合、基于非下采样轮廓波变换的图像融合、基于绝对值取大的稀疏融合、基于区域方差加权的稀疏融合多种算法分别进行熵、边缘保持度、等指标的客观评价，从而实现对本发明融合性能好坏进行一个客观总结。
本文提出了一种基于区域能量和方差的稀疏融合方法，该方法针对融合规则的设计没有充分考虑图像块信息的不足，利用区域能量和方差对红外和可见光图像块进行分类，选取不同的融合规则进行融合处理，在经过稀疏重构得到最终的融合图像。经过信息熵、互信息、边缘保持度、平均梯度等客观评价指标的计算，在目前的传统融合方法和一般的稀疏融合算法中融合性能最好。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于区域能量和方差的稀疏融合算法，其特征在于，包括如下步骤：
步骤1：读入红外图像r(x,y)和可见光图像v(x,y)，根据滑块大小s和滑动步长l对其进行边界扩充得到红外图像Ar1(x,y)和可见光图像Av1(x,y)，根据红外图像A的大小构造一个行列相同的融合图像矩阵Y，并初始化各元素为零；
步骤2：对红外图像和可见光图像构造的训练集A进行字典训练得到过完备字典D；
步骤3：根据s和l对红外图像Ar1(x,y)和可见光图像Av1(x,y)分别依次进行滑窗处理，每次得到的图像块s1,s2按行展开成列向量c1,c2；
步骤4：在过完备字典D下对列向量c1，c2进行稀疏分解并得到各自的稀疏系数；
步骤5：根据稀疏系数对应的图像块的区域能量和方差自适应选取融合规则进行图像融合，得到的融合系数在过完备字典D下进行稀疏重构得到列向量c3，再将其转换为图像块，叠加到融合图像矩阵Y对应的位置中；
步骤6：迭代步骤3、步骤4和步骤5，直到红外图像和可见光图像的滑窗移动到最后一行和最后一列；再将得到的融合图像矩阵Y依据各自对应位置的叠加次数进行平均处理，经过裁剪得到最终的融合图像F。
2.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法，其特征在于，所述步骤1的具体步骤如下：
步骤11：读取红外图像r(x,y)和可见光图像v(x,y)，并将此作为原图像，假设图像大小为m×n；
步骤12：根据滑块大小s和滑动步长l，将原图像分别扩展成大小为(ceil((m-s)/l)*l+s)*(ceil((n-s)/l)*l+s)的红外图像r1(x,y)和可见光图像v1(x,y)，其中ceil(x)函数实现的是不小于x的最小整数，只扩展图像的右边界和下边界，确定右边界和下边界分别需要扩充的个数t1，t2，其中t1＝(ceil((n-s)/l)*l+s)-n，t2＝(ceil((m-s)/l)*l+s)-m；此步骤具体实现步骤如下：
步骤121：扩展图像的右边界，以图像r(x,y)和v(x,y)右边界为中轴，对称复制原图最外围中的t1列像素，得到红外图像r0(x,y)和可见光图像v0(x,y)；
步骤122：扩展图像的下边界，以r0(x,y)和v0(x,y)为原图，以下边界为中轴，对称复制原图像最外围中的t2行像素，得到最终的扩展图像r1(x,y)和v1(x,y)；
步骤13：构造一个融合图像矩阵Y，其矩阵大小为(ceil((m-s)/l)*l+s)*(ceil((n-s)/l)*l+s)。
3.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法，其特征在于，所述步骤2的具体步骤如下：
步骤21：将图像经滑窗处理后得到的图像块展开成列向量，为了尽可能多获得训练集，滑动步长取1，则图像r1(x,y)和r2(x,y)经处理得到训练集y1，y2，组合成训练集y；此步骤具体实现步骤如下：
步骤211：将红外图像和可见光图像分别从上到下，从左到右，按移动步长1依次提取图像块，并将其展开成列向量，依次添加到空白矩阵y1,y2中；
步骤212：将红外图像和可见光图像各自的训练集y1，y2，组合成训练集y，其中，y＝[y1,y2]；
步骤22：将超完备DCT作为初始字典；首先固定字典D，利用正交匹配追踪算法求解y在D下的系数矩阵正交匹配追踪算法具体实现步骤如下：
以下流程中：rt表示残差，t表示迭代次数，表示空集，Λt表示t次迭代的索引(列序号)集合，λt表示第t次迭代找到的列序号，dj表示字典D的第j列，At表示按索引选出的矩阵D的列集合，xt为t×1的列向量，符号∪表示集合并运算，<·,·>表示求向量内积。
步骤221：输入为训练集y,过完备字典D，稀疏度为K，初始化r0＝y， t＝1；
步骤222：找出残差r与字典D的列内积取得最大值所对应的脚标λt，即
<mrow> <msub> <mi>&amp;lambda;</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>|</mo> <mo>&lt;</mo> <msub> <mi>r</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <msub> <mi>d</mi> <mi>j</mi> </msub> <mo>&gt;</mo> <mo>|</mo> </mrow> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>N</mi> </mrow> </munder> </mrow>
步骤223：令Λt＝Λt-1∪{λt}，
步骤224：由最小二乘法得到
步骤225：更新残差t＝t+1；
步骤226：判断是否满足t>K,若满足，则停止迭代；若不满足，则继续执行步骤1；
步骤227：重构所得在Λt处有非零项，其值分别为最后一次迭代所得
步骤23：固定系数矩阵更新字典的第k列dk，使得目标函数最小，其中dk相对应系数矩阵中向量则目标函数改为：
<mrow> <mo>|</mo> <mo>|</mo> <mi>y</mi> <mo>-</mo> <mi>D</mi> <mover> <mi>x</mi> <mo>^</mo> </mover> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>=</mo> <mo>|</mo> <mo>|</mo> <mi>y</mi> <mo>-</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>d</mi> <mi>j</mi> </msub> <msubsup> <mi>x</mi> <mi>T</mi> <mi>j</mi> </msubsup> <mo>|</mo> <mo>|</mo> <mo>=</mo> <mo>|</mo> <mo>|</mo> <mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;NotEqual;</mo> <mi>k</mi> </mrow> </munder> <msub> <mi>d</mi> <mi>j</mi> </msub> <msubsup> <mi>x</mi> <mi>T</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>=</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>E</mi> <mi>k</mi> </msub> <mo>-</mo> <msub> <mi>d</mi> <mi>k</mi> </msub> <msubsup> <mi>x</mi> <mi>T</mi> <mi>k</mi> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>;</mo> </mrow>
式中，被分解为N个向量与其系数相乘的和，更新第k列dk，则固定其余的N-1项不变，将第k列置零后与系数重构回初始信号，Ek为训练集y与重构会的信号之差，利用矩阵SVD分解法来更新dk，从而得到新的字典D；
步骤24：最后重复迭代，直到目标函数达到设定的全局误差，则迭代终止，获得的更新字典D即为学习字典。
4.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法，其特征在于，所述步骤4的具体步骤如下：
步骤41：初始化残差其中X1,X2分别为对应位置滑块展开的列向量c1,c2,l表示迭代次数，表示经由l次迭代后所得的各项残差，字典D大小为M*N,初始化稀疏系数为零矩阵，大小为N*1；
步骤42：计算字典内每个原子dk,k＝1,2,…,N，与2种残差项的内积绝对值之和，如下式所示：
<mrow> <msub> <mi>u</mi> <mi>l</mi> </msub> <mo>=</mo> <munder> <mi>argmax</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mi>N</mi> </mrow> </munder> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>2</mn> </munderover> <mo>|</mo> <mo>&lt;</mo> <msubsup> <mi>R</mi> <mi>j</mi> <mn>0</mn> </msubsup> <mi>x</mi> <mo>,</mo> <msub> <mi>d</mi> <mi>k</mi> </msub> <mo>&gt;</mo> <mo>|</mo> <mo>;</mo> </mrow>
从中选出取得最大值时对应的原子，并将其做正交化处理,选出原子在字典矩阵中的列数j即为稀疏系数矩阵对应稀疏系数的行数，大小为残差与选中原子的内积；
步骤43：更新稀疏系数矩阵中的第j行和残差，进行下一次迭代；
步骤44：最后直到各残差的二范数小于设定值ε，则迭代结束，得到红外和可见光图像块列向量各自对应的稀疏系数向量。
5.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法，其特征在于，所述步骤5的具体步骤如下：
步骤51：求得红外图像和可见光图像稀疏系数对应图像块的区域能量Er，Ev，其中区域能量的定义公式为
<mrow> <mi>E</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msup> <mrow> <mo>&amp;lsqb;</mo> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中，m×n表示图像块区域的大小，x(i,j)表示图像块区域(i,j)位置处的像素值，E表示区域能量；
步骤52：求得红外图像和可见光图像稀疏系数对应图像块的区域方差Sr，Sv，其中区域方差的定义如下：
<mrow> <mi>V</mi> <mi>a</mi> <mi>r</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>m</mi> <mo>&amp;times;</mo> <mi>n</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msup> <mrow> <mo>&amp;lsqb;</mo> <mi>X</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <mover> <mi>X</mi> <mo>&amp;OverBar;</mo> </mover> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中，X表示大小为m×n的区域，X(i,j)表示区域位置(i，j)处的灰度值，表示X区域的灰度平均值；
步骤53：如果可见光图像的区域能量和方差都大于红外图像，则融合系数取可见光图像块对应的稀疏系数；如果红外图像的区域能量和方差都大于可见光图像，则融合系数取红外图像块所对应的稀疏系数；如果二者的区域能量和方差各有优势，则融合系数由基于方差的权重加权而成；加权融合的处理公式如下：
<mrow> <msub> <mi>x</mi> <mi>F</mi> </msub> <mo>=</mo> <mfrac> <mi>a</mi> <mrow> <mi>a</mi> <mo>+</mo> <mi>b</mi> </mrow> </mfrac> <msub> <mi>x</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mo>+</mo> <mfrac> <mi>b</mi> <mrow> <mi>a</mi> <mo>+</mo> <mi>b</mi> </mrow> </mfrac> <msub> <mi>x</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> </msub> </mrow>
其中a，b表示红外与可见光图像对应区域的方差，xIR、xVI、xF表示红外、可见光和融合图像的稀疏系数；稀疏系数融合规则如下式所示：
<mrow> <msub> <mi>x</mi> <mi>F</mi> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>s</mi> <mrow> <mi>V</mi> <mn>1</mn> </mrow> </msub> <mo>&gt;</mo> <msub> <mi>s</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mi>a</mi> <mi>n</mi> <mi>d</mi> <mi> </mi> <msub> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> </msub> <mo>&gt;</mo> <msub> <mi>E</mi> <mi>m</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>s</mi> <mrow> <mi>V</mi> <mn>1</mn> </mrow> </msub> <mo>&lt;</mo> <msub> <mi>s</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mi>a</mi> <mi>n</mi> <mi>d</mi> <mi> </mi> <msub> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> </msub> <mo>&lt;</mo> <msub> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> <mtr> <mtd> <mrow> <mfrac> <msub> <mi>s</mi> <mi>n</mi> </msub> <mrow> <msub> <mi>s</mi> <mi>n</mi> </msub> <mo>+</mo> <msub> <mi>s</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> </mrow> </mfrac> <msub> <mi>x</mi> <mi>F</mi> </msub> <mo>+</mo> <mfrac> <msub> <mi>s</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mrow> <msub> <mi>s</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>s</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> </mrow> </mfrac> <msub> <mi>x</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中EIR，EVI分别为红外、可见光图像区域能量，SIR，SVI为红外、可见光图像的区域方差；
步骤54：将融合系数x在过完备字典D下进行稀疏重构,得到融合列向量c3＝Dx；
步骤55：将列向量逆处理变换成图像块，将其数据叠加到融合矩阵Y对应位置，获得融合图像。
6.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法，其特征在于，所述步骤6的具体步骤如下：
步骤61：不断迭代步骤3、4和5，直到整个原图像Ar1(x,y)和Av1(x,y)均做融合处理；
步骤62：根据移动步长对步骤51获得的融合图像矩阵进行平均处理，使得融合图中多次重叠的部分根据重叠次数进行平均；
步骤63：依照红外图像和可见光图像的大小对步骤52得到的融合图像进行裁剪，得到最终的融合图像。
7.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法，其特征在于，还包括步骤7：根据红外图像、可见光图像和融合图像，求得熵、互信息、边缘保持度、标准差等客观评价指标进行融合性能评价；
所述步骤7的具体步骤如下：
步骤71：输入红外图像R、可见光图像V和融合图像F；
步骤72：对融合算法进行信息熵的客观评价，熵越大，融合性能越好。其中信息熵的数学定义为：
<mrow> <mi>E</mi> <mo>=</mo> <mo>-</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msub> <mi>p</mi> <mi>i</mi> </msub> <mi>log</mi> <mi> </mi> <msub> <mi>p</mi> <mi>i</mi> </msub> </mrow>
其中，L为图像的灰度级数，pi为灰度值为i的概率值,计算公式如下所示：
<mrow> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mi>N</mi> <msub> <mi>N</mi> <mi>i</mi> </msub> </mfrac> </mrow>
式中，N表示像素总数m×n,Ni表示像素值为i的个数；
步骤72：对融合性能进行边缘保持度(EIP)的客观评价，依靠融合图像和红外与可见光图像之间像素对像素的对比结果求得EIP值；从红外图像R到融合图像F边缘强度和方向的变化可以通过下式来计算：
<mrow> <msup> <mi>G</mi> <mrow> <mi>F</mi> <mi>R</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mfrac> <mrow> <msub> <mi>g</mi> <mi>F</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>g</mi> <mi>R</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>,</mo> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>g</mi> <mi>R</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <msub> <mi>g</mi> <mi>F</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> <mtr> <mtd> <mrow> <mfrac> <mrow> <msub> <mi>g</mi> <mi>R</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>g</mi> <mi>F</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
<mrow> <msup> <mi>&amp;alpha;</mi> <mrow> <mi>F</mi> <mi>R</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>&amp;alpha;</mi> <mi>F</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>R</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>-</mo> <mi>&amp;pi;</mi> <mo>/</mo> <mn>2</mn> <mo>|</mo> </mrow> <mrow> <mi>&amp;pi;</mi> <mo>/</mo> <mn>2</mn> </mrow> </mfrac> </mrow>
其中GFR(i,j)，αFR(i,j)表示的是边缘强度、边缘方向的变化，gF(i,j)，gR(i,j)表示的是融合图像F、红外图像R每个像素的边强度，αF(i,j)，αR(i,j)表示图像F、R每个像素的边方向；
以融合图像F为例，可以用Sobel算子提取图像的边参数，经Sobel算子滤波F后，分别得到两个图像表示融合图像F水平方向和垂直方向的边信息，然后就可以评估像素(i，j)处的边强度和边方向，如下式所示：
<mrow> <msub> <mi>g</mi> <mi>F</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msubsup> <mi>s</mi> <mi>F</mi> <mi>x</mi> </msubsup> <msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msubsup> <mi>s</mi> <mi>F</mi> <mi>y</mi> </msubsup> <msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>
<mrow> <msub> <mi>&amp;alpha;</mi> <mi>F</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mfrac> <mrow> <msubsup> <mi>s</mi> <mi>F</mi> <mi>y</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msubsup> <mi>s</mi> <mi>F</mi> <mi>x</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
利用sigmoid函数来建模边强度和边方向的丢失，从而得到视觉强度和方向的保留估计，如下式所示：
<mrow> <msubsup> <mi>Q</mi> <mi>g</mi> <mrow> <mi>F</mi> <mi>R</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <msub> <mi>&amp;Gamma;</mi> <mi>g</mi> </msub> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>e</mi> <mrow> <msub> <mi>K</mi> <mi>g</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>G</mi> <mrow> <mi>F</mi> <mi>V</mi> </mrow> </msup> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>-</mo> <msub> <mi>&amp;sigma;</mi> <mi>g</mi> </msub> <mo>)</mo> </mrow> </mrow> </msup> </mrow> </mfrac> </mrow>
<mrow> <msubsup> <mi>Q</mi> <mi>a</mi> <mrow> <mi>F</mi> <mi>R</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <msub> <mi>&amp;Gamma;</mi> <mi>a</mi> </msub> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>e</mi> <mrow> <msub> <mi>K</mi> <mi>a</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>&amp;alpha;</mi> <mrow> <mi>F</mi> <mi>R</mi> </mrow> </msup> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>-</mo> <msub> <mi>&amp;sigma;</mi> <mi>a</mi> </msub> <mo>)</mo> </mrow> </mrow> </msup> </mrow> </mfrac> </mrow>
其中所有可调节参数取定值，Γg＝0.9994，Kg＝-15，σg＝0.5,Γa＝0.9879，Ka＝-22，σa＝0.8为常数，它们均是提出者经过多次试验所得到的最佳取值，最终的融合图像F相对于红外和可见光图像的边缘保持度计算公式如下式所示：
<mrow> <msup> <mi>Q</mi> <mrow> <mi>F</mi> <mi>R</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>Q</mi> <mi>g</mi> <mrow> <mi>F</mi> <mi>R</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <msubsup> <mi>Q</mi> <mi>a</mi> <mrow> <mi>F</mi> <mi>R</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow>
该参数表征的是融合图像F对红外图像R任一像素(i，j)的再现能力，当取值为1时，表明信息完全没有丢失，取值为0时则表明全部丢失；根据边保留映射QFR，基于红外和可见光图像进行像素级融合而生成融合图像F的融合过程，得到一个参数QVR/F，计算公式如下式所示：
<mrow> <msup> <mi>Q</mi> <mrow> <mi>V</mi> <mi>R</mi> <mo>/</mo> <mi>F</mi> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>&amp;lsqb;</mo> <msup> <mi>Q</mi> <mrow> <mi>V</mi> <mi>F</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <msup> <mi>w</mi> <mi>V</mi> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>Q</mi> <mrow> <mi>R</mi> <mi>F</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <msup> <mi>w</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>&amp;lsqb;</mo> <msup> <mi>W</mi> <mi>V</mi> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>w</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> </mfrac> </mrow>
其中对应的权值为由视觉重要系数wV(i,j)，wR(i,j)决定，其取值大小为[0,1]，值越大，融合效果越好；步骤64：对融合性能进行平均梯度客观评价，平均梯度的数学定义如下式所示：
<mrow> <mi>A</mi> <mi>G</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>m</mi> <mo>&amp;times;</mo> <mi>n</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msqrt> <mrow> <mi>&amp;Delta;</mi> <mi>x</mi> <mi>f</mi> <msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>y</mi> <mi>f</mi> <msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>
式中，△xf(i,j)，△yf(i,j)分别为图像位置(i，j)处的灰度值f(i，j)在水平方向和垂直方向的一阶差分；平均梯度越大，融合性能越好；
步骤73：对融合性能进行互信息客观评价，互信息的数学定义
<mrow> <msubsup> <mi>MI</mi> <mi>F</mi> <mrow> <mi>V</mi> <mi>R</mi> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>MI</mi> <mi>F</mi> <mi>V</mi> </msubsup> <mo>+</mo> <msubsup> <mi>MI</mi> <mi>F</mi> <mi>R</mi> </msubsup> </mrow>
其中，和分别为融合图像和可见光图像、红外图像的互信息，计算公式如式所示。
<mrow> <mi>M</mi> <mi>I</mi> <mrow> <mo>(</mo> <mi>F</mi> <mo>,</mo> <mi>V</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>f</mi> <mo>&amp;Element;</mo> <mi>F</mi> </mrow> </munder> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>v</mi> <mo>&amp;Element;</mo> <mi>V</mi> </mrow> </munder> <mi>p</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> <msub> <mi>log</mi> <mn>2</mn> </msub> <mfrac> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>v</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
<mrow> <mi>M</mi> <mi>I</mi> <mrow> <mo>(</mo> <mi>F</mi> <mo>,</mo> <mi>R</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>f</mi> <mo>&amp;Element;</mo> <mi>F</mi> </mrow> </munder> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>r</mi> <mo>&amp;Element;</mo> <mi>R</mi> </mrow> </munder> <mi>p</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>,</mo> <mi>r</mi> <mo>)</mo> </mrow> <msub> <mi>log</mi> <mn>2</mn> </msub> <mfrac> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>,</mo> <mi>r</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>r</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
其中，p(f,v)和p(f,r)分别是融合图像F和可见光图像V、红外图像R的联合概率分布函数，p(f)、p(v)和p(r)分别是融合图像F、可见光图像V和红外图像R的边缘概率分布函数；
步骤74：对基于主成分分析的图像融合、基于离散小波变换的图像融合、基于非下采样轮廓波变换的图像融合、基于绝对值取大的稀疏融合、基于区域方差加权的稀疏融合多种算法分别进行熵、边缘保持度、等指标的客观评价，从而实现对本发明融合性能好坏进行一个客观总结。
CN201710898139.6A 2017-09-28 2017-09-28 一种基于区域能量和方差的稀疏融合方法 Active CN107730482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710898139.6A CN107730482B (zh) 2017-09-28 2017-09-28 一种基于区域能量和方差的稀疏融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710898139.6A CN107730482B (zh) 2017-09-28 2017-09-28 一种基于区域能量和方差的稀疏融合方法

Publications (2)

Publication Number Publication Date
CN107730482A true CN107730482A (zh) 2018-02-23
CN107730482B CN107730482B (zh) 2021-07-06

Family

ID=61208324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710898139.6A Active CN107730482B (zh) 2017-09-28 2017-09-28 一种基于区域能量和方差的稀疏融合方法

Country Status (1)

Country Link
CN (1) CN107730482B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805850A (zh) * 2018-06-05 2018-11-13 天津师范大学 一种基于原子融合吸收度的框架性图像融合方法
CN109447933A (zh) * 2018-11-14 2019-03-08 西北工业大学 基于特有信息同步分解的红外与可见光图像融合方法
CN109886908A (zh) * 2019-02-14 2019-06-14 西安理工大学 红外图像与可见光图像融合方法
CN109934793A (zh) * 2019-01-30 2019-06-25 绵阳慧视光电技术有限责任公司 一种基于整数dct变换的实时图像融合方法
CN110110786A (zh) * 2019-05-06 2019-08-09 电子科技大学 一种基于nsct与dwt的红外与可见光图像融合方法
CN110210541A (zh) * 2019-05-23 2019-09-06 浙江大华技术股份有限公司 图像融合方法及设备、存储装置
CN111652832A (zh) * 2020-07-09 2020-09-11 南昌航空大学 一种基于滑动窗口技术的红外与可见光图像融合方法
CN112268521A (zh) * 2020-09-30 2021-01-26 西安理工大学 面向齿轮齿面形状误差的变角度同步相移干涉测量方法
CN113284079A (zh) * 2021-05-27 2021-08-20 山东第一医科大学(山东省医学科学院) 一种多模态医学图像融合方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521609A (zh) * 2011-12-02 2012-06-27 湖南大学 基于分布式压缩传感的近红外与可见光图像人脸识别方法
WO2014082097A1 (en) * 2012-11-26 2014-05-30 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
CN104021537A (zh) * 2014-06-23 2014-09-03 西北工业大学 一种基于稀疏表示的红外与可见光图像融合方法
CN104809714A (zh) * 2015-04-29 2015-07-29 华东交通大学 基于多形态稀疏表示的图像融合方法
US20150312489A1 (en) * 2009-03-02 2015-10-29 Flir Systems, Inc. Anomalous pixel detection
CN106683066A (zh) * 2017-01-13 2017-05-17 西华大学 一种基于联合稀疏模型的图像融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150312489A1 (en) * 2009-03-02 2015-10-29 Flir Systems, Inc. Anomalous pixel detection
CN102521609A (zh) * 2011-12-02 2012-06-27 湖南大学 基于分布式压缩传感的近红外与可见光图像人脸识别方法
WO2014082097A1 (en) * 2012-11-26 2014-05-30 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
CN104021537A (zh) * 2014-06-23 2014-09-03 西北工业大学 一种基于稀疏表示的红外与可见光图像融合方法
CN104809714A (zh) * 2015-04-29 2015-07-29 华东交通大学 基于多形态稀疏表示的图像融合方法
CN106683066A (zh) * 2017-01-13 2017-05-17 西华大学 一种基于联合稀疏模型的图像融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
C.H.LIU等: ""Infrared and visible image fusion method based on saliency detection in sparse domain"", 《INFRARED PHYSICS & TECHNOLOGY》 *
MINGYIN等: ""A novel infrared and visible image fusion algorithm based on shift-invariant dual-tree complex shearlet transform and sparse representation"", 《NEUROCOMPUTING》 *
PIERRE BUYSSENS等: ""Fusion levels of visible and infrared modalities for face recognition"", 《2010 FOURTH IEEE INTERNATIONAL CONFERENCE ON BIOMETRICS: THEORY, APPLICATIONS AND SYSTEMS (BTAS)》 *
高仕博等: ""面向目标检测的稀疏表示方法研究进展"", 《电子学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805850A (zh) * 2018-06-05 2018-11-13 天津师范大学 一种基于原子融合吸收度的框架性图像融合方法
CN109447933A (zh) * 2018-11-14 2019-03-08 西北工业大学 基于特有信息同步分解的红外与可见光图像融合方法
CN109447933B (zh) * 2018-11-14 2019-10-22 西北工业大学 基于特有信息同步分解的红外与可见光图像融合方法
CN109934793A (zh) * 2019-01-30 2019-06-25 绵阳慧视光电技术有限责任公司 一种基于整数dct变换的实时图像融合方法
CN109934793B (zh) * 2019-01-30 2023-03-31 绵阳慧视光电技术有限责任公司 一种基于整数dct变换的实时图像融合方法
CN109886908A (zh) * 2019-02-14 2019-06-14 西安理工大学 红外图像与可见光图像融合方法
CN109886908B (zh) * 2019-02-14 2022-02-11 西安理工大学 红外图像与可见光图像融合方法
CN110110786A (zh) * 2019-05-06 2019-08-09 电子科技大学 一种基于nsct与dwt的红外与可见光图像融合方法
CN110210541A (zh) * 2019-05-23 2019-09-06 浙江大华技术股份有限公司 图像融合方法及设备、存储装置
CN111652832A (zh) * 2020-07-09 2020-09-11 南昌航空大学 一种基于滑动窗口技术的红外与可见光图像融合方法
CN111652832B (zh) * 2020-07-09 2023-05-12 南昌航空大学 一种基于滑动窗口技术的红外与可见光图像融合方法
CN112268521A (zh) * 2020-09-30 2021-01-26 西安理工大学 面向齿轮齿面形状误差的变角度同步相移干涉测量方法
CN112268521B (zh) * 2020-09-30 2022-06-14 西安理工大学 面向齿轮齿面形状误差的变角度同步相移干涉测量方法
CN113284079A (zh) * 2021-05-27 2021-08-20 山东第一医科大学(山东省医学科学院) 一种多模态医学图像融合方法

Also Published As

Publication number Publication date
CN107730482B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN107730482B (zh) 一种基于区域能量和方差的稀疏融合方法
Chen et al. Denoising hyperspectral image with non-iid noise structure
CN109741256B (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
CN108133465B (zh) 基于空谱加权tv的非凸低秩松弛的高光谱图像恢复方法
CN110501072B (zh) 一种基于张量低秩约束的快照式光谱成像系统的重构方法
CN102629374B (zh) 基于子空间投影和邻域嵌入的图像超分辨率重建方法
CN110796625A (zh) 一种基于组稀疏表示和加权全变分的图像压缩感知重构方法
CN109636722B (zh) 一种基于稀疏表示的在线字典学习超分辨率重建的方法
CN104268833B (zh) 基于平移不变剪切波变换的图像融合方法
CN103218791A (zh) 基于稀疏自适应字典的图像去噪方法
CN104657951A (zh) 图像乘性噪声移除方法
CN107203747B (zh) 基于自适应选择机制的稀疏联合模型目标跟踪方法
CN108765313B (zh) 基于类内低秩结构表示的高光谱图像去噪方法
CN110992292A (zh) 一种增强型低秩稀疏分解模型医学ct图像去噪方法
CN108537252A (zh) 一种基于新范数的图像噪声去除方法
CN109887050A (zh) 一种基于自适应字典学习的编码孔径光谱成像方法
CN107301631B (zh) 一种基于非凸加权稀疏约束的sar图像降斑方法
Chen et al. Hyperspectral image denoising with weighted nonlocal low-rank model and adaptive total variation regularization
CN106934398B (zh) 基于超像素聚类和稀疏表示的图像去噪方法
CN109741258B (zh) 基于重建的图像超分辨率方法
Abas et al. Multi-focus image fusion with multi-scale transform optimized by metaheuristic algorithms
CN111598822A (zh) 一种基于gfrw与iscm的图像融合方法
Xiong et al. Gradient boosting for single image super-resolution
TU et al. MULTITEMPORAL IMAGE CLOUD REMOVAL USING GROUP SPARSITY AND NONCONVEX LOW-RANK APPROXIMATION.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant