CN108805850A - 一种基于原子融合吸收度的框架性图像融合方法 - Google Patents
一种基于原子融合吸收度的框架性图像融合方法 Download PDFInfo
- Publication number
- CN108805850A CN108805850A CN201810566441.6A CN201810566441A CN108805850A CN 108805850 A CN108805850 A CN 108805850A CN 201810566441 A CN201810566441 A CN 201810566441A CN 108805850 A CN108805850 A CN 108805850A
- Authority
- CN
- China
- Prior art keywords
- atom
- formula
- fusion
- trap
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 102
- 239000011159 matrix material Substances 0.000 claims description 43
- 239000013598 vector Substances 0.000 claims description 42
- 238000000354 decomposition reaction Methods 0.000 claims description 15
- 238000000205 computational method Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 13
- 230000001195 anabolic effect Effects 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 239000004615 ingredient Substances 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 11
- 238000002156 mixing Methods 0.000 description 9
- 238000005457 optimization Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000155 melt Substances 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 229910052711 selenium Inorganic materials 0.000 description 1
- 239000011669 selenium Substances 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于原子融合吸收度的稀疏表示图像融合框架性方法，主要步骤包括：（1）应用稀疏表示和联合稀疏表示计算模型计算字典中每个原子的吸收度；（2）应用稀疏表示模型进行图像融合，在融合规则中根据原子融合吸收度对组合得到的稀疏系数进行调整。本发明的思路是在采用稀疏表示和过完备学习型字典的图像融合算法中，利用“联合稀疏表示”模型计算得到每个字典原子的吸收度，并将原子融合吸收度用于稀疏表示系数的组合过程中，提升较低吸收度原子的融合效果，从而达到提高融合质量的目标。
Description
技术领域
本发明属于信息融合、数字图像处理等技术领域，具体涉及一种基于原子融合吸收度的稀疏表示图像融合框架性方法。
背景技术
一、图像融合及其质量评价
图像融合是信息融合技术的一个主要分支，是一种被广泛使用的计算成像技术。图像融合通过将多幅关于同一场景、但具有不同成像模式或相机参数的图像通过数字处理的手段组合为一幅图像，目标是将各幅源图像中的显著视觉信息尽可能多地集成到融合结果中，以达到更好的主观视觉效果或为计算机视觉处理提供更多信息。图像融合包括多聚焦图像融合、医疗图像融合、可见光-红外图像融合、远程监控图像融合等分支。图1给出了多聚焦图像融合的示意性说明。多聚焦图像融合的目的是将源图像中的聚焦内容尽可能多地组合到融合结果中，以获得“处处聚焦”的图像。按照融合处理层次，图像融合可以分为像素级、特征级和决策级，目前像素级融合的应用和研究最为普遍。
图像融合的发展已经历近三十年的发展历史。伴随着信号表示与处理技术的发展和应用，融合算法的性能不断提升，并且目前基于神经网络的深度学习技术也已被用于图像融合的研究中。像素级图像融合算法按照组合领域可以分为空间域融合、变换域融合以及基于深度学习的融合。在研究和应用最广泛的变换域融合中，多尺度分析和稀疏表示是最主要的两种数学变换模型。已被使用的多尺度分析工具包括小波变换、剪切波变换、非下采样轮廓波变换等。稀疏表示是近年来兴起的一种图像表示模型，它已经被应用于许多图像处理、图像分析研究中，并且表现出比多尺度分析更为优秀的性能。
除了融合算法，质量评价是图像融合应用中另一个重要的方面，具体包括主观评价和客观评价两大类方法。主观评价是由有经验的观察者通过观察不同的融合结果并给出融合质量的评价结果。由于主观评价容易受到多种主观因素的干扰和限制，因此在实际应用中，无参考标准的客观评价方法被广泛使用，常用的评价指标包括基于互信息的方法和基于局部特征相似性的方法。
二、稀疏表示
稀疏表示是一种新的信号分析方法，来源于压缩传感理论。这种方法将信号表示为一个过完备（冗余）字典中“原子”的组合。过完备字典中原子的数目比信号的维数大，由此产生了冗余。由于这种超完备性，导致一个信号在一个过完备字典上有很多种（近似）表示方法，其中具有最少系数(最稀疏)的表示是最简单的，称之为稀疏表示。稀疏表示能够有效降低信号的数据量，同时也能够更有效的反映出图像特征。近年来已被广泛应用于各种图像处理应用中。
给定矩阵D={d1,d2,…,dm}∈Rn×m，其中D矩阵称为字典，矩阵的每列d1，d2，…，dm称为原子。稀疏表示理论指出，对于任意n维信号x∈R n可以表示成字典中少数原子的线性组合形式：
式
其中α=(α1, α2…，αm)称为稀疏表示系数。当字典维数满足n<m时，称D为过完备（冗余）字典，上式是一个欠正定方程，具有无穷多个解。为了使信号的表示具有唯一性，稀疏表示理论引入了稀疏性约束，即从无穷多个解中找出最稀疏的。信号的稀疏性一般采用范数来度量，即向量中非零元素个数，称为L0范数。通过稀疏性约束，上式的稀疏解可以由下面的L0范数优化模型获得：
式
求解最小L0范数是一个NP难问题。当X足够稀疏时，上述问题可以转换为求解X的L1范数问题：
式
上式中ε为允许误差，表示稀疏系数绝对值之和。
稀疏表示求解的方法当前包括贪婪策略、凸松弛策略、非凸松弛策略三类。贪婪算法最初由Mallat等提出，匹配追踪（MP）是各类改进算法的基础。根据MP改进的正交匹配追踪算法（OMP）引入了最小二乘的思想来求解逼近信号，目前被广泛采用。如果将L0范数优化转化为L1范数的优化，这样对稀疏系数的求解问题就变为了凸优化问题。其中比较有代表性的算法为基追踪（BP）算法。非凸策略采用非凸函数来逼近，主要利用Lp（0<p<1）范数逼近。
目前过完备稀疏表示理论已在图像去噪、图像压缩、图像识别、图像超分辨率等研究中被大量采用。其原因在于过完备性保证了字典原子更加多样，稀疏性使得稀疏表示可以更加准确地选择与待处理信号最相关的原子，增强了信号处理方法的自适应能力。通常过完备字典有两种构造方法：
(1)使用多尺度分析方法的基函数进行扩展来构成字典，例如小波变换、离散余弦变换、轮廓波等，也可以是这些变换基的组合；
(2)通过样本学习得到。对处理对象或某一类图像进行学习，提取其中的各种特征构成字典。这种学习字典较固定基字典具有更优化的表示性能，典型的字典生成算法为K-VSD、MOD、PCA等。基于稀疏表示的图像融合方法其大致步骤为：
(1)构建稀疏表示过完备原子库字典；
(2)采用滑动窗口的办法将源图像划分为小块（通常为8*8），将每个小块作为一个独立的向量信号，使用过完备字典对其进行稀疏分解；
(3)根据融合规则将各源图像对应位置的稀疏分解系数进行组合；
(4)由组合后的稀疏分解系数和过完备字典重新构造最终的融合图像，附图2给出了上述步骤的示意图。
三、联合稀疏表示
联合稀疏表示基于的原理是：当不同属性的传感器采集同一信号源的信息时，各传感信号中均包含了两部分信息：共同信息和特有（差异）信息，共同信息和特有信息可以使用同一个过完备字典进行稀疏表示。就图像融合而言，关于同一场景的不同模态源图像经过联合稀疏表示后，每幅图像的稀疏表示系数可分为两部分：共同部分的稀疏系数和差异部分的稀疏系数：
式
上式中表示共同稀疏系数，表示差异稀疏系数，表示联合稀疏字典（当两幅图像联合分解时）：
式
上式中D为过完备字典，‘0’为与D同样大小的全0矩阵。
对两幅图像A、B进行联合稀疏分解可以表示为：
式
上式中，YB和YA是B、Ａ的分块向量化表示（例如将图像分为8*8的小块，每小块转换为64*1的列向量，图像中所有小块的列向量横向排列成构成YB和YA），表示两幅图像共有信息的稀疏表示系数矩阵，表示A图像相对于B的差异（特有）信息稀疏表示系数矩阵，表示B图像相对于A的差异信息稀疏表示系数矩阵。
发明内容
本发明公开了一种基于原子融合吸收度的稀疏表示图像融合框架性方法，主要步骤包括：（1）应用稀疏表示和联合稀疏表示计算模型计算字典中每个原子的吸收度；（2）应用稀疏表示模型进行图像融合，在融合规则中根据原子融合吸收度对组合得到的稀疏系数进行调整。
本发明的思路是在采用稀疏表示和过完备学习型字典的图像融合算法中，利用“联合稀疏表示”模型计算得到每个字典原子的吸收度，并将原子融合吸收度用于稀疏表示系数的组合过程中，提升较低吸收度原子的融合效果，从而达到提高融合质量的目标。
为实现上述目的，本发明公开了一种基于联合稀疏表示的原子融合吸收度计算方法，其特征在于：
设定参与融合的两幅源图像为A、B，融合结果为F，此处以两幅源图像为例，多幅的情况依此类推；按如下的步骤进行：
（1）生成或选取所使用的过完备字典D∈R64*L，L>>64，经验值256或512；该字典可使用K-SVD或其他字典学习算法生成；
（2）将A、B和F（设其为M行、N列）划分为8*8的小块，相邻小块重叠，移动步距为1；并将所有块按照列序的方式转换为64*1的列向量；每幅图像产生K=(M-8+1)*(N-8+1)个(64*1)列向量；
（3）将F、A、B分解得到的列向量分别横向组成(64*K)的二维矩阵，记为IF、IA、IB；
（4）计算原子成分占比：
（式1）
（式1）中XA、XB为对应于IA、IB稀疏系数矩阵，则原子成分占比为：
（式2）
（式2）中i,j分别表示稀疏系数矩阵的行号（原子序号）和列号（对应图像块列向量的序号）；
（5）计算原子融合残余度：
将IF分别与IA、IB进行联合稀疏分解：
（式3）
（式3）中的为源图像A与融合结果F之间的共有信息稀疏表示系数矩阵, 为F相对于A的差异信息稀疏表示系数矩阵，为A相对于F的残余信息稀疏表示系数矩阵；为源图像B与F之间的共有信息稀疏表示系数矩阵，为F相对于B的差异信息稀疏表示系数矩阵， 为B相对于F的残余信息稀疏表示系数矩阵；这些矩阵的大小为（L*K）；
使用OMP（正交匹配追踪）等算法求解（式3），得到 使用这些系数计算原子i的（累计）残余系数：
（式4）
（式4）中i为原子序号，j为列号（对应图像块列向量的序号）；
（6）计算原子融合吸收度：
（式5）
（式5）中i为原子序号。
在使用稀疏表示进行图像融合过程中，使用（式1）对源图像进行逐块分解，得到系数矩阵XA、XB，其大小为L*K；逐块进行融合,则融合结果的第k块的稀疏系数向量为：
(式6)
（式6）中∈R1*K是融合结果向量化表示XF的第k个列向量（包括L个原子系数），对应融合结果中第k个图像块的系数表示系数；融合规则根据源图像块的稀疏系数向量的活跃度来决定如何对它们进行组合；计算活动度的常用方法有0阶范数、1阶范数，融合规则通常有选取活跃度大的系数向量作为融合结果的系数向量，或根据活跃度进行加权平均；
对（式6）得到的中的L原子系数使用（式5）计算得到的原子融合吸收度进行调整：
（式7）
（式7）中AAR(l)表示字典中第l个原子的融合吸收度，λ为调整参数，建议值[0.2~0.3]。
本发明的理论推导过程
一、理论分析
本发明中，原子融合吸收度定义为原子在源图像中的成分占比与其融合残余度的比值。该定义反映了字典中每个原子的融合效果。其物理意义在于：原子代表了图像中的基本形状，图像是由这些基本形状组合而成。原子间具有很大的差别。一部分原子包含了较多的快速变化，因此具有较高的显著度（信息量），而另一些代表背景的原子则相对平滑，显著度较低。在融合结果组合的过程中，由于原子之间的相互叠加，必然使得高显著度原子受到更大的干扰变形，而低显著度原子的“保形”能力相对更强，信息损失相对较小。因此高显著度原子具有较低的吸收度（融合效果较差），而低显著度原子具有较高的吸收度和较好的融合效果。因此通过原子融合吸收度，可以对原子在融合过程中的融合效果进行量化测量。
如前所述，现有基于稀疏表示的融合算法都是基于图像块的。图像块的稀疏表示系数（向量）在组合时都是以整个向量为单位的，不会对每个原子进行处理。但是每个原子的最终吸收度并不相同，因此可以单独调整融合后每个原子的稀疏系数，达到提升低吸收度显著原子的融合效果的目的。
1、原子在源图像中的成分占比
根据稀疏表示的概念，每个图像块可视为字典原子的最稀疏线性组合。原子在源图像中的成分占比是一个原子在源图像所有图像块中的稀疏系数绝对值之和占全部原子稀疏系数绝对值之和的比例。假设两幅源图像经分块并向量化后表示为IA和IB，他们包括2*L个列向量，所使用的过完备字典D包括K个原子，则对源图像进行SR分解：
式
上式中XA、XB为对应于IA、IB稀疏系数矩阵。则原子成分占比为：
式
实验表明，对于不同的融合源图像，一个字典中原子的成分占比具有高度的相似性，即一部分原子在不同图像中总是具有比较高的成分占比。附图3给出了一个例证：使用(a)所示的具有256个原子的过完备字典对 (b)中所示的三组源图像进行分解，(c)给出了三幅源图像中成分占比最大的20个原子的字典序号，(d)给出了三组源图像的排序后原子成分占比分布图。由图可见，不同图像中原子占比的分布具有高度的相似性，各个原子在不同图像中的占比基本相同。这一发现为基于稀疏表示的图像融合提供了一种新的思路。
1、 原子融合残余度
原子融合残余度表示一个原子未被组合进融合结果的部分在全部原子未被吸收部分中所占的比例。
依据联合稀疏表示的概念，这里将源图像及融合结果都看作是对同一视觉场景的不同观察结果。使用一个过完备学习字典将源图像和融合结果进行联合稀疏分解，可以得到共同分量和每幅图像的差异分量。
同前，设两幅源图像A、B及融合结果F经分块并向量化后表示为IA、IB及IF，每个包括L个列向量，所使用的过完备字典D包括K个原子，将IF分别与IA、IB进行联合稀疏分解，则有：
式
式9中，表示用于联合稀疏分解的联合字典，其中的D1为D的列归一化变形，0为与D同样大小的全零矩阵。式8等价于：
式
式10中表示IF、IA之间共同部分的稀疏表示系数矩阵，表示IF相对于IA的特有部分的稀疏表示系数矩阵，表示IA相对于IF的特有部分的稀疏表示系数矩阵；为IF、IB之间的联合稀疏分解结果，含义同前。
在上述各稀疏系数矩阵中，是两幅源图像相对于融合结果的差异部分的稀疏矩阵，包含了源图像中原子未被吸收部分（残余）的信息。当他们为全0时表示源图像完全被融合结果吸收。
第i个原子的总融合残余系数（total residual coefficients, TRC）为：
式
该原子融合残余度（residual ratio, RR）为其总残余系数在全部原子总残余系数之和中的占比：
式
实验分析表明，字典中原子的融合残余度主要受该原子在源图像中的成分占比、原子本身空间特点以及融合算法的影响，融合残余度主要由该原子的成分占比确定，而原子空间特点和融合算法主要对融合残余系数的大小起作用。
图4给出了附图3中的第二组源图像的残余度分析结果（残余度已按大小排序），其中融合结果是使用简单的平均方法和主分量分析法计算得到的。由图可见原子融合残余度与原子成分占比的分布高度相似，按残余度排序的原子序号也与按成分占比排序的原子序号非常接近，由此证明原子成分占比是影响原子融合残余度的主要因素。
2、 原子融合吸收度
原子融合吸收度（Atom absorption ratio, AAR）定义为原子成分占比与其融合残余度的比值：
式
如果所有原子的融合效果都相同，则所有原子的吸收度均应等于1。但是从直观上分析，高显著度原子（包含更多快速变化）在融合过程中更容易被变形扭曲或覆盖，而变化缓慢的原子（背景部分）则相对“保形”能力更强。
图5给出了图1所示源图像及其融合结果的成分占比（CROA）、原子残余度（RR）的关系。为了体现原子本身对于融合效果的影响，使用“二阶导数绝对值之和”来表征原子的显著度，即：原子显著度S=累加和（原子中每个点的水平二阶导数绝对值+垂直二阶导数绝对值）。
由图可见，原子显著度（绿色）、原子成分占比（蓝色）、原子融合残余度（红色）存在着显著的关系：高显著度原子一般拥有比较高的成分占比；（2）、高成分占比原子的融合残余度更高。
图6显示了由图5得到的原子融合吸收度图，横坐标按照原子成分占比由小到大排序，为了显示小于1的部分，原子融合吸收度（纵坐标）的显示范围限定为[0,2]。由图可见，成分占比较大的原子（约占原子总数的2/3）其融合吸收度小于1，而成分占比较小原子的融合吸收度则普遍较大。
此外需要指出的是，融合算法主要对残余稀疏系数的大小产生影响，而对融合残余度的影响很小。因此可以先使用任意一种融合算法得到一个预融合结果，然后根据预融合结果和源图像计算得到字典原子融合吸收度。
3、 基于原子融合吸收度的框架性融合方法
如前所述，成分占比高的原子大多具有较高的显著度和较低的融合吸收度，因此在基于稀疏表示的图像融合算法中，可以通过调整那些融合吸收度较低原子的融合系数来提高融合结果中显著信息的含量。本发明提出的框架性方法步骤如下：
（1）、使用字典学习算法（如K-SVD算法）得到学习型过完备字典。根据已有的研究成果，优化的原子大小为64*1，原子个数256；
（2）、使用任意一种融合算法得到一个预融合结果，使用该预融合结果和源图像计算得到每个原子的融合吸收度；
（3）、采用滑动窗口技术将源图像分解为8*8的图像块，每块按照列序转换成64*1的列向量，将每幅图像的所有块列向量横向排列成一个矩阵，使用SR分解算法（如OMP）得到每幅源图像的稀疏系数矩阵；
（4）、计算每对相同位置的图像块稀疏系数向量的显著度，已有方法包括稀疏系数向量的0范数、1范数以及其他更复杂的方法。根据得到的显著度和融合规则计算融合稀疏系数向量，常用的规则包括选最大、加权平均等；
（5）、对融合稀疏系数向量中的每个原子系数根据原子融合吸收度进行调整：
式
上式中为调整前第i个原子的融合系数，为调整后的新值，为一个调节常数，用它来调节变换后的原子稀疏表示系数，作用是压缩高吸收度原子系数，增大低吸收度原子系数，突出高显著度原子的含量。
本发明公开的基于原子融合吸收度的稀疏表示图像融合框架性方法的积极效果在于：
（1）使用联合稀疏表示模型计算每个原子的融合吸收度，从原子角度准确评价其融合效果；
（2）根据融合吸收度调整融合后每个原子的稀疏表示系数，通过突出高显著度原子来提升融合结果中显著信息的含量，是融合过程具有更明确的物理意义。
附图说明
图1为多聚焦图像融合的示意说明；其中（a）图像中左侧聚焦，（b）图像中右侧聚焦，融合结果（c）集成两幅源图像中的清晰部分，达到处处聚焦的目的；
图2为基于稀疏表示的图像融合过程，主要步骤是字典生成、稀疏表示系数求解和稀疏表示系数融合；
图3为原子成分占比的分析例证；其中(a)所示为具有256个原子的过完备稀疏表示字典； (b)为三幅多聚焦源图像，(c)为在三组源图像中成分占比中最大的20个原子的序号，(d)为三组排序后原子成分占比分布图；可见不同源图像中的原子占比分布具有高度的规律性；
图4为附图3中的第二组源图像的残余度分析结果， 原子融合残余度的比较分析（图3(b)中第二组源图像）(a).平均算法；(b).主分量分析法；证明了原子融合残余度与原子成分占比的分布具有高度相似性，由此证明原子成分占比是影响原子融合残余度的主要因素；
图5为图1所示源图像及其融合结果的成分占比（CROA）、原子残余度（RR）的关系；此例说明原子成分占比、残余度以及原子显著度之间存在明显的关系；
图6为原子融合吸收度示例（图5中CROA/RR，只显示0~2范围）,给出了图5中的CROA/RR原子融合吸收度示例；由图可见高成分占比原子的融合吸收度普遍小于1，同时这部分原子的显著度较高；
图7为本发明提出的框架性稀疏表示融合方法流程图，包括学习型字典生成或选取、原子融合吸收度计算以及融合吸收度指导的稀疏表示融合。
具体实施方式
下面通过具体的实施方案叙述本发明。除非特别说明，本发明中所用的技术手段均为本领域技术人员所公知的方法。另外，实施方案应理解为说明性的，而非限制本发明的范围，本发明的实质和范围仅由权利要求书所限定。对于本领域技术人员而言，在不背离本发明实质和范围的前提下，对这些实施方案中的物料成分和用量进行的各种改变或改动也属于本发明的保护范围。
实施例1
以下给出本发明的具体计算过程。假设参与融合的两幅源图像为A、B，融合结果为F，此处以两幅源图像为例，多幅的情况依此类推。
1、 生成或选取所使用的过完备字典D∈R64*L，L>>64，经验值256或512。该字典可使用K-SVD或其他字典学习算法生成；
2、 将A、B和F（设其为M行、N列）划分为8*8的小块，相邻小块重叠，移动步距为1；并将所有块按照列序的方式转换为64*1的列向量；每幅图像产生K=(M-8+1)*(N-8+1)个(64*1)列向量；
3、 将F、A、B分解得到的列向量分别横向组成(64*K)的二维矩阵，记为IF、IA、IB；
4、 计算原子成分占比：
（式1）
（式1）中XA、XB为对应于IA、IB稀疏系数矩阵。则原子成分占比为：
（式2）
（式2）中i,j分别表示稀疏系数矩阵的行号（原子序号）和列号（对应图像块列向量的序号）；
5、 计算原子融合残余度：
将IF分别与IA、IB进行联合稀疏分解：
（式3）
（式3）中的为源图像A与融合结果F之间的共有信息稀疏表示系数矩阵, 为F相对于A的差异信息稀疏表示系数矩阵，为A相对于F的残余信息稀疏表示系数矩阵；为源图像B与F之间的共有信息稀疏表示系数矩阵，为F相对于B的差异信息稀疏表示系数矩阵， 为B相对于F的残余信息稀疏表示系数矩阵。这些矩阵的大小为（L*K）。
使用OMP（正交匹配追踪）等算法求解（式3），得到
使用这些系数计算原子i的（累计）残余系数：
（式4）
（式4）中i为原子序号，j为列号（对应图像块列向量的序号）；
6、 计算原子融合吸收度：
（式5）
（式5）中i为原子序号。
7、基于原子融合吸收度的框架性融合方法：
使用稀疏表示进行图像融合，使用（式1）对源图像进行逐块分解，得到系数矩阵XA、XB，其大小为L*K。逐块进行融合,则融合结果的第k块的稀疏系数向量为：
(式6)
（式6）∈R1*K是融合结果向量化表示XF的第k个列向量（包括L个原子系数），对应融合结果中第k个图像块的系数表示系数。融合规则根据源图像块的稀疏系数向量的活跃度来决定如何对它们进行组合。计算活动度的方法有0阶范数、1阶范数等，融合规则通常有选取活跃度大的系数向量作为融合结果的系数向量，或根据活跃度进行加权平均等。本发明对（式6）得到的中的L原子系数使用步骤6计算得到的原子融合吸收度进行调整：
（式7）
（式7）中AAR(l)表示字典中第l个原子的融合吸收度，λ为调整参数，建议值[0.2~0.3]。
Claims (2)
1.一种基于联合稀疏表示的原子融合吸收度计算方法，其特征在于：
设定参与融合的两幅源图像为A、B，融合结果为F，此处以两幅源图像为例，多幅的情况依此类推；按如下的步骤进行：
（1）生成或选取所使用的过完备字典经验值256或512；该字典可使用K-SVD或其他字典学习算法生成；
（2）将A、B和F（设其为M行、N列）划分为8*8的小块，相邻小块重叠，移动步距为1；并将所有块按照列序的方式转换为64*1的列向量；每幅图像产生K=(M-8+1)*(N-8+1)个(64*1)列向量；
（3）将F、A、B分解得到的列向量分别横向组成(64*K)的二维矩阵，记为IF、IA、IB；
（4）计算原子成分占比：
（式1）
（式1）中XA、XB为对应于IA、IB稀疏系数矩阵，则原子成分占比为：
（式2）
（式2）中i,j分别表示稀疏系数矩阵的行号（原子序号）和列号（对应图像块列向量的序号）；
（5）计算原子融合残余度：
将IF分别与IA、IB进行联合稀疏分解：
（式3）
（式3）中的为源图像A与融合结果F之间的共有信息稀疏表示系数矩阵, 为F相对于A的差异信息稀疏表示系数矩阵，为A相对于F的残余信息稀疏表示系数矩阵；为源图像B与F之间的共有信息稀疏表示系数矩阵， 为F相对于B的差异信息稀疏表示系数矩阵， 为B相对于F的残余信息稀疏表示系数矩阵；这些矩阵的大小为（L*K）；
使用OMP（正交匹配追踪）等算法求解（式3），得到
和使用这些系数计算原子i的（累计）残余系数：
（式4）
（式4）中i为原子序号，j为列号（对应图像块列向量的序号）；
（6）计算原子融合吸收度：
（式5）
（式5）中i为原子序号。
2.权利要求1所述的基于联合稀疏表示的原子融合吸收度计算方法，其特征在于：
在使用稀疏表示进行图像融合过程中，使用（式1）对源图像进行逐块分解，得到系数矩阵XA、XB，其大小为L*K；逐块进行融合,则融合结果的第k块的稀疏系数向量为：
(式6)
（式6）中∈R1*K是融合结果向量化表示XF的第k个列向量（包括L个原子系数），对应融合结果中第k个图像块的系数表示系数；融合规则根据源图像块的稀疏系数向量的活跃度来决定如何对它们进行组合；计算活动度的常用方法有0阶范数、1阶范数，融合规则通常有选取活跃度大的系数向量作为融合结果的系数向量，或根据活跃度进行加权平均；
对（式6）得到的中的L原子系数使用（式5）计算得到的原子融合吸收度进行调整：
（式7）
（式7）中AAR(l)表示字典中第l个原子的融合吸收度，λ为调整参数，建议值[0.2~0.3]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810566441.6A CN108805850A (zh) | 2018-06-05 | 2018-06-05 | 一种基于原子融合吸收度的框架性图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810566441.6A CN108805850A (zh) | 2018-06-05 | 2018-06-05 | 一种基于原子融合吸收度的框架性图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108805850A true CN108805850A (zh) | 2018-11-13 |
Family
ID=64088625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810566441.6A Pending CN108805850A (zh) | 2018-06-05 | 2018-06-05 | 一种基于原子融合吸收度的框架性图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805850A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689510A (zh) * | 2019-09-12 | 2020-01-14 | 北京航天控制仪器研究所 | 一种引入字典信息基于稀疏表示的图像融合方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102651124A (zh) * | 2012-04-07 | 2012-08-29 | 西安电子科技大学 | 基于冗余字典稀疏表示和评价指标的图像融合方法 |
| CN103942805A (zh) * | 2014-05-08 | 2014-07-23 | 长沙理工大学 | 基于局部多原子匹配追踪的图像稀疏分解快速方法 |
| CN104376565A (zh) * | 2014-11-26 | 2015-02-25 | 西安电子科技大学 | 基于离散余弦变换和稀疏表示的无参考图像质量评价方法 |
| CN104599259A (zh) * | 2015-01-30 | 2015-05-06 | 华北电力大学 | 基于分阶段多原子正交匹配跟踪的多模图像融合方法 |
| CN105044556A (zh) * | 2015-07-06 | 2015-11-11 | 河南理工大学 | 基于原子稀疏证据融合的小电流接地故障自适应选线方法 |
| CN106203428A (zh) * | 2016-07-05 | 2016-12-07 | 武汉大学 | 基于模糊估计融合的图像显著性检测方法 |
| CN106886986A (zh) * | 2016-08-31 | 2017-06-23 | 电子科技大学 | 基于自适应组结构稀疏字典学习的图像融合方法 |
| CN107730482A (zh) * | 2017-09-28 | 2018-02-23 | 电子科技大学 | 一种基于区域能量和方差的稀疏融合算法 |
| CN108038852A (zh) * | 2017-12-14 | 2018-05-15 | 天津师范大学 | 一种基于联合稀疏表示的图像融合质量评价方法 |
-
2018
- 2018-06-05 CN CN201810566441.6A patent/CN108805850A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102651124A (zh) * | 2012-04-07 | 2012-08-29 | 西安电子科技大学 | 基于冗余字典稀疏表示和评价指标的图像融合方法 |
| CN103942805A (zh) * | 2014-05-08 | 2014-07-23 | 长沙理工大学 | 基于局部多原子匹配追踪的图像稀疏分解快速方法 |
| CN104376565A (zh) * | 2014-11-26 | 2015-02-25 | 西安电子科技大学 | 基于离散余弦变换和稀疏表示的无参考图像质量评价方法 |
| CN104599259A (zh) * | 2015-01-30 | 2015-05-06 | 华北电力大学 | 基于分阶段多原子正交匹配跟踪的多模图像融合方法 |
| CN105044556A (zh) * | 2015-07-06 | 2015-11-11 | 河南理工大学 | 基于原子稀疏证据融合的小电流接地故障自适应选线方法 |
| CN106203428A (zh) * | 2016-07-05 | 2016-12-07 | 武汉大学 | 基于模糊估计融合的图像显著性检测方法 |
| CN106886986A (zh) * | 2016-08-31 | 2017-06-23 | 电子科技大学 | 基于自适应组结构稀疏字典学习的图像融合方法 |
| CN107730482A (zh) * | 2017-09-28 | 2018-02-23 | 电子科技大学 | 一种基于区域能量和方差的稀疏融合算法 |
| CN108038852A (zh) * | 2017-12-14 | 2018-05-15 | 天津师范大学 | 一种基于联合稀疏表示的图像融合质量评价方法 |
Non-Patent Citations (7)
| Title |
|---|
| BIN YANG AND SHUTAO LI: "Multifocus Image Fusion and Restoration With Sparse Representation", 《IEEE TRANSAC TIONS ON INSTRUMENTATION AND MEASUREMENT》 * |
| HUYAN XIANG ET AL: "An Improved Multi-Exposure Image Fusion Algorithm", 《ADVANCED MATERIALS RESEARCH VOLS》 * |
| QIHENG ZHANG ET AL: "Dictionary learning method for joint sparse representation-based image fusion", 《OPTICAL ENGINEERING》 * |
| 万莉 等: "基于边缘增强的多聚焦图像融合方法", 《天津师范大学学报（自然科学版）》 * |
| 肖冬杰 等: "基于稀疏表示的自适应图像融合方法研究", 《计算机应用与软件》 * |
| 胡燕翔 等: "基于视觉注意机制的异源图像融合", 《计算机工程》 * |
| 路锦正 等: "超完备稀疏表示的图像超分辨率重构方法", 《系统工程与电子技术》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689510A (zh) * | 2019-09-12 | 2020-01-14 | 北京航天控制仪器研究所 | 一种引入字典信息基于稀疏表示的图像融合方法 |
| CN110689510B (zh) * | 2019-09-12 | 2022-04-08 | 北京航天控制仪器研究所 | 一种引入字典信息基于稀疏表示的图像融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106355570B (zh) | 一种结合深度特征的双目立体视觉匹配方法 | |
| Jiang et al. | Wearable vision assistance system based on binocular sensors for visually impaired users | |
| DE69817879T2 (de) | Erkennung verzerrter bilder durch schnelle faltung und mittels bilderfassung von markanten punkten und volumeninformation | |
| CN105744256B (zh) | 基于图谱视觉显著的立体图像质量客观评价方法 | |
| CN110443843A (zh) | 一种基于生成对抗网络的无监督单目深度估计方法 | |
| CN110148104A (zh) | 基于显著性分析与低秩表示的红外与可见光图像融合方法 | |
| DE112011100652T5 (de) | Dreidimensionale messvorrichtung, verarbei- tungsverfahren und nichtflüchtiges computer- lesbares speichermedium | |
| Griffin | The second order local-image-structure solid | |
| Sanguinetti et al. | A model of natural image edge co-occurrence in the rototranslation group | |
| Memisevic et al. | Stereopsis via deep learning | |
| CN108389189A (zh) | 基于字典学习的立体图像质量评价方法 | |
| CN110458802A (zh) | 基于投影权值归一化的立体图像质量评价方法 | |
| CN108615256A (zh) | 一种人脸三维重建方法及装置 | |
| CN114049434A (zh) | 一种基于全卷积神经网络的3d建模方法及系统 | |
| Yang et al. | No-reference stereoimage quality assessment for multimedia analysis towards Internet-of-Things | |
| WO2020216810A1 (de) | Verfahren und vorrichtung zum vermessen der lokalen brechkraft und/oder der brechkraftverteilung eines brillenglases | |
| Yin et al. | Accurate estimation of body height from a single depth image via a four-stage developing network | |
| DE102012222361B4 (de) | Umgebungserkennungsvorrichtung | |
| CN111428555B (zh) | 一种分关节的手部姿态估计方法 | |
| Srinivasan et al. | Brain MR image analysis using discrete wavelet transform with fractal feature analysis | |
| Plebe et al. | Occupancy grid mapping with cognitive plausibility for autonomous driving applications | |
| CN113724308B (zh) | 基于光度与对比度互注意力的跨波段立体匹配算法 | |
| CN108805850A (zh) | 一种基于原子融合吸收度的框架性图像融合方法 | |
| CN112381952B (zh) | 一种基于多相机的面部轮廓点云模型重构方法及装置 | |
| CN116823852B (zh) | 基于卷积神经网络的条状皮肤瘢痕图像分割方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181113 |