CN108038852B - 一种基于联合稀疏表示模型的图像融合质量评价方法 - Google Patents

一种基于联合稀疏表示模型的图像融合质量评价方法 Download PDF

Info

Publication number
CN108038852B
CN108038852B CN201711342521.5A CN201711342521A CN108038852B CN 108038852 B CN108038852 B CN 108038852B CN 201711342521 A CN201711342521 A CN 201711342521A CN 108038852 B CN108038852 B CN 108038852B
Authority
CN
China
Prior art keywords
fusion
sparse representation
quality evaluation
source image
joint sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711342521.5A
Other languages
English (en)
Other versions
CN108038852A (zh
Inventor
胡燕翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Normal University
Original Assignee
Tianjin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Normal University filed Critical Tianjin Normal University
Priority to CN201711342521.5A priority Critical patent/CN108038852B/zh
Publication of CN108038852A publication Critical patent/CN108038852A/zh
Application granted granted Critical
Publication of CN108038852B publication Critical patent/CN108038852B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于联合稀疏表示模型的图像融合质量评价方法，包括使用源图像作为样本来训练得到过完备字典，使用此字典和联合稀疏表示模型来对融合结果与源图像进行联合稀疏表示。使用联合稀疏表示得到的源图像差异特征系数矩阵绝对值之和和共同稀疏系数矩阵绝对值之和比值的平均值作为融合质量评价指标。本发明将稀疏表示引入融合算法质量评价，算法使用的过完备字典来自于对源图像的学习，其中包含了源图像中的各种空间形状特征；通过对融合结果‑‑源图像使用联合稀疏表示分解，可以准确有效地分离出融合结果与源图像之间的特征差异，从而从“特征级”的角度对融合算法性能进行更加准确的评价。

Description

一种基于联合稀疏表示模型的图像融合质量评价方法
技术领域
本发明属于数字图像处理以及信号分析领域，尤其是涉及一种基于联合稀疏表示模型的图像融合质量评价方法。
背景技术
图像融合技术是将对同一场景由不同图像传感器，或同一图像传感器使用不同工作参数拍摄的图像，通过图像处理的方法组合为一幅图像。该组合结果包含了较任意一幅原始图像更为丰富的视觉信息。图像融合技术有效地克服了各种图像传感器的物理性能限制，例如动态范围、光谱特性、空间分辨率等，因此已经在远程监控、数字医疗、高动态范围成像、军事侦察等多个方面得到了广泛应用。传统的融合质量评价指标都只是简单从图像的空间强度分布的变化来评价融合效果，无法从形状特征的角度对融合算法的特征提取能力进行分析。
发明内容
有鉴于此，本发明旨在提出一种基于联合稀疏表示模型的图像融合质量评价方法，以实现从形状特征的角度对融合算法的特征提取能力进行分析。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于联合稀疏表示模型的图像融合质量评价方法，包括如下步骤：
(1)使用源图像作为样本来训练得到过完备字典；
(2)使用上一步中的字典和联合稀疏表示模型来对融合结果与源图像进行联合稀疏表示，得到共同系数特征系数和每幅源图像的差异特征系数；
(3)将源图像的差异特征系数矩阵绝对值之和和共同稀疏系数矩阵绝对值之和比值的平均值作为融合质量评价指标。
进一步的，所述步骤(1)中，设源图像为IA、IB，融合结果为IF，则有IA＝Ic+IAU,IB＝Ic+IBU,
其中，Ic为其共同信息，IAU和IBU为其特有信息，则有
IF＝Ic+fusion(IAU,IBU)。
进一步的，所述步骤(2)中，
将IF分别与IA、IB进行联合稀疏分解，得到
IA＝D*YFA C+D*YAF U，IFA＝D*YFA C+D*YFA U
IB＝D*YFB C+D*YBF U，IFB＝D*YFB C+D*YFB U
其中，YFA C表示源图像IA与融合结果IF之间的共有信息，YAF U表示IA相对于IF的特有信息，YFA U表示了IF相对于IA的特有信息；YFB C表示IB、IF之间的共有信息，YBF U表示IB相对于IF的特有信息，YFB U表示了IF相对于IA的特有信息。
进一步的，所述步骤(3)中，稀疏系数矩阵YAF U和YBF U代表着在IA、IB中存在但未被IF包含的特征，则使用稀疏系数矩阵YAF U和YBF U的绝对值之和与对应的共同稀疏系数矩阵YFA C、YFB C绝对值之和比值的平均值作为融合质量评价指标。
相对于现有技术，本发明所述的一种基于联合稀疏表示模型的图像融合质量评价方法具有以下优势：
本发明将稀疏表示引入融合算法质量评价，算法使用的过完备字典来自于对源图像的学习，其中包含了源图像中的各种空间形状特征；通过对融合结果--源图像使用联合稀疏表示分解，可以准确有效地分离出融合结果与源图像之间的特征差异，从而从“特征级”的角度对融合算法性能进行更加准确的评价。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种基于联合稀疏表示模型的图像融合质量评价方法示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示为本发明的方法流程图，根据联合稀疏表示理论，参加融合的源图像是对同一视场的不同观测信号，每幅源图像均包含共同信息和特有信息。假设源图像为IA、IB，融合结果为IF，则有IA＝Ic+IAU,IB＝Ic+IBU,Ic为其共同信息，IAU和IBU为其特有信息。由于IF由IA、IB共同生成，因此有IF＝Ic+fusion(IAU,IBU)。理想情况下，当IF包含有IA、IB中的全部信息时，则IF＝Ic+IAU+IBU。但是由于特征信息的相对性(来源于不同源图像的特征互相削弱)，在IF中完全同时包含IAU、IBU是不可能的。融合算法的目的在于将各源图像中的显著特征信息集成到融合结果中，因此通过比较IF中同时包含特征信息IAU、IBU的多少，可以对融合算法的特征“集成”能力做出评价。
使用稀疏表示的方法，可以将图像中的特征信息以过完备字典中原子线性组合的方式表示出来，线性组合的系数--稀疏系数的大小则表征了对应的特征信息的强弱。而通过在源图像—融合结果之间应用联合稀疏表示模型，能够有效地将他们之间特征信息的差异提取出来，从而对融合算法的特征信息提取能力进行评判。根据上述分析，公式推导如下：
IA＝Ic+IAU,IB＝Ic+IBU，IF＝Ic+fusion_rule(IAU,IBU)
(1)
上式中fusion_rule(IAU,IBU)表示融合结果中包含的源图像特征信息是由融合规则决定的。
将IF分别与IA、IB进行联合稀疏分解：
IA＝D*YFA C+D*YAF U，IFA＝D*YFA C+D*YFA U (2)
IB＝D*YFB C+D*YBF U，IFB＝D*YFB C+D*YFB U (3)
上式中YFA C表示源图像IA与融合结果IF之间的共有信息，YAF U表示IA相对于IF的特有信息，YFA U表示了IF相对于IA的特有信息；YFB C表示IB、IF之间的共有信息，YBF U表示IB相对于IF的特有信息，YFB U表示了IF相对于IA的特有信息。融合结果完全集成了IA、IB中的特征信息，则有YAF U＝YFA U＝0以及YBF U＝YFB U＝0。稀疏系数矩阵YAF U和YBF U代表着在IA、IB中存在但未被IF包含的特征。因此在融合质量评价中，使用稀疏系数矩阵YAF U和YBF U的绝对值之和与对应的共同稀疏系数矩阵YFA C、YFB C绝对值之和比值的平均值作为融合质量评价指标，具有最小指标的融合算法具有最佳的融合质量。
给出评价方法的具体计算过程。设由两幅源图像IA、IB产生融合结果F，对于源图像多于两幅的情形可以此类推。
1、读入源图像IA、IB和融合结果IF；设其大小为M行、N列，并且M、N大于8；
2、将IA、IB和IF划分为8*8的小块，相邻小块的重叠宽度为7(步距为1)；并将所有小块按照列优先的方式转换为64*1的列向量；每幅图像产生K＝(M-8+1)*(N-8+1)个(64*1)列向量。
3、将源图像IA、IB的列向量作为学习样本，使用K-SVD算法训练过完备稀疏字典D∈R64*L，其中L>>64,经验最佳值256；
4、将IF、IA、IB分解得到的列向量分别横向组合成(64*K)的二维矩阵，记为YIF、YIA、YIB；
5、将YIF分别与YIA、YIB进行联合稀疏分解：
Figure GDA0003420066310000051
Figure GDA0003420066310000052
(4)式中的YFA C、YAF U、YFA U分别为IA—IF间的共有信息稀疏表示系数矩阵、IF相对于IA的特有信息稀疏表示系数矩阵、IA相对于IF的特有信息稀疏表示系数矩阵；(5)式中的YFB C、YBF U、YFB U分别为IB—IF间的共有信息稀疏表示系数矩阵、IF相对于IB的特有信息稀疏表示系数矩阵、IB相对于IF的特有信息稀疏表示系数矩阵。这些系数矩阵的大小均为(L*K)。式中D为步骤2训练得到的过完备稀疏字典(64*L)，0为与D大小相等的全0矩阵。
使用OMP(正交匹配追踪)算法求解(4)、(5)两式，得到的各系数矩阵具有最小L1范式。
6、根据步骤4的计算结果，令：
QAF＝||YAF U||1/||YFA c||1 (6)
式(6)为IA相对于IF的稀疏表示差异；
QBF＝||YBF U||1/||YFB c||1 (7)
式(7)为IB相对于IF的稀疏表示差异，则基于联合稀疏表示的融合质量评价指标为：
QSR＝(QFA+QFB)/2 (8)
以上各式中，矩阵Y的一阶范数||Y||1表示Y矩阵中所有元素绝对值之和。
7、YAF U、YBF U中第j列中的最大值(设其位于第i行)表示源图像IA或IB第j个图像块与对应的融合结果的第j个图像块之间最大的形状特征差异为字典中第i个原子表示的形状特征。计算YAF U、YBF U各行系数的绝对值之和，最大值(设其位于第i行)表示融合结果对于IA或IB中特种形状提取效果最差的是字典中第i个原子表征的形状特征。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于联合稀疏表示模型的图像融合质量评价方法，其特征在于：包括如下步骤：
(1)使用源图像作为样本来训练得到过完备字典；
所述步骤(1)中，设源图像为IA、IB，融合结果为IF，则有IA＝Ic+IAU,IB＝Ic+IBU,
其中，Ic为其共同信息，IAU和IBU为其特有信息，则有
IF＝Ic+fusion(IAU,IBU)；
(2)使用上一步中的字典和联合稀疏表示模型来对融合结果与源图像进行联合稀疏表示，得到的差异特征系数；
所述步骤(2)中，
将IF分别与IA、IB进行联合稀疏分解，得到
IA＝D*YFA C+D*YAF U，IFA＝D*YFA C+D*YFA U
IB＝D*YFB C+D*YBF U，IFB＝D*YFB C+D*YFB U
其中，YFA C表示源图像IA与融合结果IF之间的共有信息，YAF U表示IA相对于IF的特有信息，YFA U表示了IF相对于IA的特有信息；YFB C表示IB、IF之间的共有信息，YBF U表示IB相对于IF的特有信息，YFB U表示了IF相对于IA的特有信息；
矩阵Y的一阶范数||Y||1表示Y矩阵中所有元素绝对值之和；
(3)将源图像的差异特征系数矩阵绝对值之和和共同稀疏系数矩阵绝对值之和比值的平均值作为融合质量评价指标；
所述步骤(3)中，稀疏系数矩阵YAF U和YBF U代表着在IA、IB中存在但未被IF包含的特征，则使用稀疏系数矩阵YAF U和YBF U的绝对值之和与对应的共同稀疏系数矩阵YFA C、YFB C绝对值之和比值的平均值作为融合质量评价指标。
CN201711342521.5A 2017-12-14 2017-12-14 一种基于联合稀疏表示模型的图像融合质量评价方法 Expired - Fee Related CN108038852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711342521.5A CN108038852B (zh) 2017-12-14 2017-12-14 一种基于联合稀疏表示模型的图像融合质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711342521.5A CN108038852B (zh) 2017-12-14 2017-12-14 一种基于联合稀疏表示模型的图像融合质量评价方法

Publications (2)

Publication Number Publication Date
CN108038852A CN108038852A (zh) 2018-05-15
CN108038852B true CN108038852B (zh) 2022-03-04

Family

ID=62102956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711342521.5A Expired - Fee Related CN108038852B (zh) 2017-12-14 2017-12-14 一种基于联合稀疏表示模型的图像融合质量评价方法

Country Status (1)

Country Link
CN (1) CN108038852B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805850A (zh) * 2018-06-05 2018-11-13 天津师范大学 一种基于原子融合吸收度的框架性图像融合方法
CN109003256B (zh) * 2018-06-13 2022-03-04 天津师范大学 一种基于联合稀疏表示的多聚焦图像融合质量评价方法
CN109544504A (zh) * 2018-10-16 2019-03-29 天津大学 基于稀疏表示的屏幕图像质量评价方法
CN110223264B (zh) * 2019-04-26 2022-03-25 中北大学 基于直觉可能性集的图像差异特征属性融合有效度分布构造及合成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855616A (zh) * 2012-08-14 2013-01-02 西北工业大学 基于多尺度字典学习的图像融合方法
CN102932847A (zh) * 2012-10-26 2013-02-13 重庆邮电大学 基于稀疏表示分类器的分布式压缩感知数据分类方法
CN104021537A (zh) * 2014-06-23 2014-09-03 西北工业大学 一种基于稀疏表示的红外与可见光图像融合方法
CN106683066A (zh) * 2017-01-13 2017-05-17 西华大学 一种基于联合稀疏模型的图像融合方法
CN106981058A (zh) * 2017-03-29 2017-07-25 武汉大学 一种基于稀疏字典的光学与红外图像融合方法及系统
CN107292316A (zh) * 2017-05-31 2017-10-24 昆明理工大学 一种基于稀疏表示的提升图像清晰度的方法
CN107341786A (zh) * 2017-06-20 2017-11-10 西北工业大学 小波变换与联合稀疏表示的红外与可见光图像融合方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855616A (zh) * 2012-08-14 2013-01-02 西北工业大学 基于多尺度字典学习的图像融合方法
CN102932847A (zh) * 2012-10-26 2013-02-13 重庆邮电大学 基于稀疏表示分类器的分布式压缩感知数据分类方法
CN104021537A (zh) * 2014-06-23 2014-09-03 西北工业大学 一种基于稀疏表示的红外与可见光图像融合方法
CN106683066A (zh) * 2017-01-13 2017-05-17 西华大学 一种基于联合稀疏模型的图像融合方法
CN106981058A (zh) * 2017-03-29 2017-07-25 武汉大学 一种基于稀疏字典的光学与红外图像融合方法及系统
CN107292316A (zh) * 2017-05-31 2017-10-24 昆明理工大学 一种基于稀疏表示的提升图像清晰度的方法
CN107341786A (zh) * 2017-06-20 2017-11-10 西北工业大学 小波变换与联合稀疏表示的红外与可见光图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于稀疏表示的遥感图像融合方法";尹雯等;《光学学报》;20130430;第267-274页 *
"基于结构组稀疏表示的遥感图像融合";张晓等;《中国图象图形学报》;20160831;第1106-1118页 *

Also Published As

Publication number Publication date
CN108038852A (zh) 2018-05-15

Similar Documents

Publication Publication Date Title
CN108038852B (zh) 一种基于联合稀疏表示模型的图像融合质量评价方法
CN108416723B (zh) 基于全变分正则化和变量分裂的无透镜成像快速重构方法
CN105492878B (zh) 用于快照光谱成像的设备和方法
CN111145131A (zh) 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
US10274420B2 (en) Compact multifunctional system for imaging spectroscopy
Sahu et al. Different image fusion techniques–a critical review
CN109523513B (zh) 基于稀疏重建彩色融合图像的立体图像质量评价方法
Shao et al. Using binocular feature combination for blind quality assessment of stereoscopic images
Su et al. Color and depth priors in natural images
CN112818764B (zh) 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN107635136B (zh) 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN107622515B (zh) 压缩光场的物理重建方法
Jin et al. Remote sensing image fusion method in CIELab color space using nonsubsampled shearlet transform and pulse coupled neural networks
Li et al. Optimal sample complexity for blind gain and phase calibration
CN103258334B (zh) 彩色图像的场景光源颜色估计方法
CN115331079A (zh) 一种面向多模态遥感图像分类网络的对抗攻击方法
Kekre et al. Implementation and comparison of different transform techniques using Kekre's wavelet transform for image fusion
Parvatikar et al. Comparative study of different image fusion techniques
Su et al. Bivariate statistical modeling of color and range in natural scenes
CN113935917A (zh) 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法
CN116206196B (zh) 一种海洋低光环境多目标检测方法及其检测系统
Lyu et al. Identifiability-guaranteed simplex-structured post-nonlinear mixture learning via autoencoder
CN108801457B (zh) 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法
CN109003256B (zh) 一种基于联合稀疏表示的多聚焦图像融合质量评价方法
Kulkarni et al. Optimization in Image Fusion Using Genetic Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220304