CN108038852A - 一种基于联合稀疏表示的图像融合质量评价方法 - Google Patents
一种基于联合稀疏表示的图像融合质量评价方法 Download PDFInfo
- Publication number
- CN108038852A CN108038852A CN201711342521.5A CN201711342521A CN108038852A CN 108038852 A CN108038852 A CN 108038852A CN 201711342521 A CN201711342521 A CN 201711342521A CN 108038852 A CN108038852 A CN 108038852A
- Authority
- CN
- China
- Prior art keywords
- source images
- fusion
- joint sparse
- sparse
- represent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 48
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 14
- 238000002156 mixing Methods 0.000 abstract description 10
- 238000013441 quality evaluation Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000007926 Craterellus fallax Nutrition 0.000 description 1
- 240000007175 Datura inoxia Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于联合稀疏表示的图像融合质量评价方法，包括使用源图像作为样本来训练得到过完备字典，使用此字典和联合稀疏表示模型来对融合结果与源图像进行联合稀疏表示。使用联合稀疏表示得到的源图像差异特征系数绝对值之和与共同稀疏系数绝对值之和的比值作为融合质量评价指标。本发明将稀疏表示引入融合算法质量评价，算法使用的过完备字典来自于对源图像的学习，其中包含了源图像中的各种空间形状特征；通过对融合结果‑‑源图像使用联合稀疏表示分解，可以准确有效地分离出融合结果与源图像之间的特征差异，从而从“特征级”的角度对融合算法性能进行更加准确的评价。
Description
技术领域
本发明属于数字图像处理以及信号分析领域，尤其是涉及一种基于联合稀疏表示的图像融合质量评价方法。
背景技术
图像融合技术是将对同一场景由不同图像传感器，或同一图像传感器使用不同工作参数拍摄的图像，通过图像处理的方法组合为一幅图像。该组合结果包含了较任意一幅原始图像更为丰富的视觉信息。图像融合技术有效地克服了各种图像传感器的物理性能限制，例如动态范围、光谱特性、空间分辨率等，因此已经在远程监控、数字医疗、高动态范围成像、军事侦察等多个方面得到了广泛应用。传统的融合质量评价指标都只是简单从图像的空间强度分布的变化来评价融合效果，无法从形状特征的角度对融合算法的特征提取能力进行分析。
发明内容
有鉴于此，本发明旨在提出一种基于联合稀疏表示的图像融合质量评价方法，以实现从形状特征的角度对融合算法的特征提取能力进行分析。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于联合稀疏表示的图像融合质量评价方法，包括如下步骤：
(1)使用源图像作为样本来训练得到过完备字典；
(2)使用上一步中的字典和联合稀疏表示模型来对融合结果与源图像进行联合稀疏表示，得到共同系数特征系数和每幅源图像的差异特征系数；
(3)将源图像的差异特征系数绝对值之和和共同稀疏系数绝对值之和的比值作为融合质量评价指标。
进一步的，所述步骤(1)中，设源图像为IA、IB，融合结果为IF，则有IA＝Ic+IAU,IB＝Ic+IBU,
其中，Ic为其共同信息，IAU和IBU为其特有信息，则有
IF＝Ic+fusion(IAU,IBU)。
进一步的，所述步骤(2)中，
将IF分别与IA、IB进行联合稀疏分解，得到
IA＝D*YFA C+D*YAF U，IFA＝D*YFA C+D*YFA U
IB＝D*YFB C+D*YBF U，IFB＝D*YFB C+D*YFB U
其中，YFA C表示源图像IA与融合结果IF之间的共有信息，YAF U表示IA相对于IF的特有信息，YFA U表示了IF相对于IA的特有信息；YFB C表示IB、IF之间的共有信息，YBF U表示IB相对于IF的特有信息，YFB U表示了IF相对于IA的特有信息。
进一步的，所述步骤(3)中，稀疏系数矩阵YAF U和YBF U代表着在IA、IB中存在但未被IF包含的特征，则使用稀疏系数矩阵YAF U和YBF U的绝对值之和与对应的YFA C、YFB C绝对值之和比值的平均值作为融合质量评价指标。
相对于现有技术，本发明所述的一种基于联合稀疏表示的图像融合质量评价方法具有以下优势：
本发明将稀疏表示引入融合算法质量评价，算法使用的过完备字典来自于对源图像的学习，其中包含了源图像中的各种空间形状特征；通过对融合结果--源图像使用联合稀疏表示分解，可以准确有效地分离出融合结果与源图像之间的特征差异，从而从“特征级”的角度对融合算法性能进行更加准确的评价。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种基于联合稀疏表示的图像融合质量评价方法示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示为本发明的方法流程图，根据联合稀疏表示理论，参加融合的源图像是对同一视场的不同观测信号，每幅源图像均包含共同信息和特有信息。假设源图像为IA、IB，融合结果为IF，则有IA＝Ic+IAU,IB＝Ic+IBU,Ic为其共同信息，IAU和IBU为其特有信息。由于IF由IA、IB共同生成，因此有IF＝Ic+fusion(IAU,IBU)。理想情况下，当IF包含有IA、IB中的全部信息时，则IF＝Ic+IAU+IBU。但是由于特征信息的相对性(来源于不同源图像的特征互相削弱)，在IF中完全同时包含IAU、IBU是不可能的。融合算法的目的在于将各源图像中的显著特征信息集成到融合结果中，因此通过比较IF中同时包含特征信息IAU、IBU的多少，可以对融合算法的特征“集成”能力做出评价。
使用稀疏表示的方法，可以将图像中的特征信息以过完备字典中原子线性组合的方式表示出来，线性组合的系数--稀疏系数的大小则表征了对应的特征信息的强弱。而通过在源图像—融合结果之间应用联合稀疏表示模型，能够有效地将他们之间特征信息的差异提取出来，从而对融合算法的特征信息提取能力进行评判。根据上述分析，公式推导如下：
IA＝Ic+IAU,IB＝Ic+IBU，IF＝Ic+fusion_rule(IAU,IBU)(1)
上式中fusion_rule(IAU,IBU)表示融合结果中包含的源图像特征信息是由融合规则决定的。
将IF分别与IA、IB进行联合稀疏分解：
IA＝D*YFA C+D*YAF U，IFA＝D*YFA C+D*YFA U (2)
IB＝D*YFB C+D*YBF U，IFB＝D*YFB C+D*YFB U (3)
上式中YFA C表示源图像IA与融合结果IF之间的共有信息，YAF U表示IA相对于IF的特有信息，YFA U表示了IF相对于IA的特有信息；YFB C表示IB、IF之间的共有信息，YBF U表示IB相对于IF的特有信息，YFB U表示了IF相对于IA的特有信息。融合结果完全集成了IA、IB中的特征信息，则有YAF U＝YFA U＝0以及YBF U＝YFB U＝0。稀疏系数矩阵YAF U和YBF U代表着在IA、IB中存在但未被IF包含的特征。因此在融合质量评价中，使用稀疏系数矩阵YAF U和YBF U的平均值与对应的YFA C、YFB C比值的平均值作为融合质量评价指标，具有最小指标的融合算法具有最佳的融合质量。
给出评价方法的具体计算过程。设由两幅源图像IA、IB产生融合结果F，对于源图像多于两幅的情形可以此类推。
1、读入源图像IA、IB和融合结果IF；设其大小为M行、N列，并且M、N大于8；
2、将IA、IB和IF划分为8*8的小块，相邻小块的重叠宽度为7(步距为1)；并将所有小块按照列优先的方式转换为64*1的列向量；每幅图像产生K＝(M-8+1)*(N-8+1)个(64*1)列向量。
3、将源图像IA、IB的列向量作为学习样本，使用K-SVD算法训练过完备稀疏字典D∈R64*L，其中L>>64,经验最佳值256；
4、将IF、IA、IB分解得到的列向量分别横向组合成(64*K)的二维矩阵，记为YIF、YIA、YIB；
5、将YIF分别与YIA、YIB进行联合稀疏分解：
(4)式中的YFA C、YAF U、YFA U分别为IA—IF间的共有信息稀疏表示系数矩阵、IF相对于IA的特有信息稀疏表示系数矩阵、IA相对于IF的特有信息稀疏表示系数矩阵；(5)式中的YFB C、YBF U、YFB U分别为IB—IF间的共有信息稀疏表示系数矩阵、IF相对于IB的特有信息稀疏表示系数矩阵、IB相对于IF的特有信息稀疏表示系数矩阵。这些系数矩阵的大小均为(L*K)。式中D为步骤2训练得到的过完备稀疏字典(64*L)，0为与D大小相等的全0矩阵。
使用OMP(正交匹配追踪)算法求解(4)、(5)两式，得到的各系数矩阵具有最小L1范式。
6、根据步骤4的计算结果，令：
QAF＝||YAF U||1/||YFA U||1 (6)
式(6)为IA相对于IF的稀疏表示差异；
QBF＝||YBF U||1/||YFB U||1 (7)
式(7)为IB相对于IF的稀疏表示差异，则基于联合稀疏表示的融合质量评价指标为：
QSR＝(QFA+QFB)/2 (8)
以上各式中，矩阵Y的一阶范数||Y||1表示Y矩阵中所有元素绝对值之和。
7、YAF U、YBF U中第j列中的最大值(设其位于第i行)表示源图像IA或IB第j个图像块与对应的融合结果的第j个图像块之间最大的形状特征差异为字典中第i个原子表示的形状特征。计算YAF U、YBF U各行系数的绝对值之和，最大值(设其位于第i行)表示融合结果对于IA或IB中特种形状提取效果最差的是字典中第i个原子表征的形状特征。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于联合稀疏表示的图像融合质量评价方法，其特征在于：包括如下步骤：
(1)使用源图像作为样本来训练得到过完备字典；
(2)使用上一步中的字典和联合稀疏表示模型来对融合结果与源图像进行联合稀疏表示，得到的差异特征系数；
(3)将源图像的差异特征系数平均值和共同稀疏系数平均值的比值作为融合质量评价指标。
2.根据权利要求1所述的一种基于联合稀疏表示的图像融合质量评价方法，其特征在于：所述步骤(1)中，设源图像为IA、IB，融合结果为IF，则有IA＝Ic+IAU,IB＝Ic+IBU,
其中，Ic为其共同信息，IAU和IBU为其特有信息，则有
IF＝Ic+fusion(IAU,IBU)。
3.根据权利要求2所述的一种基于联合稀疏表示的图像融合质量评价方法，其特征在于：所述步骤(2)中，
将IF分别与IA、IB进行联合稀疏分解，得到
IA＝D*YFA C+D*YAF U，IFA＝D*YFA C+D*YFA U
IB＝D*YFB C+D*YBF U，IFB＝D*YFB C+D*YFB U
其中，YFA C表示源图像IA与融合结果IF之间的共有信息，YAF U表示IA相对于IF的特有信息，YFA U表示了IF相对于IA的特有信息；YFB C表示IB、IF之间的共有信息，YBF U表示IB相对于IF的特有信息，YFB U表示了IF相对于IA的特有信息。
4.根据权利要求3所述的一种基于联合稀疏表示的图像融合质量评价方法，其特征在于：所述步骤(3)中，稀疏系数矩阵YAF U和YBF U代表着在IA、IB中存在但未被IF包含的特征，则使用稀疏系数矩阵YAF U和YBF U的绝对值之和与对应的YFA C、YFB C的绝对值之和比值的平均值作为融合质量评价指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711342521.5A CN108038852B (zh) | 2017-12-14 | 2017-12-14 | 一种基于联合稀疏表示模型的图像融合质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711342521.5A CN108038852B (zh) | 2017-12-14 | 2017-12-14 | 一种基于联合稀疏表示模型的图像融合质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108038852A true CN108038852A (zh) | 2018-05-15 |
| CN108038852B CN108038852B (zh) | 2022-03-04 |
Family
ID=62102956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711342521.5A Expired - Fee Related CN108038852B (zh) | 2017-12-14 | 2017-12-14 | 一种基于联合稀疏表示模型的图像融合质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108038852B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805850A (zh) * | 2018-06-05 | 2018-11-13 | 天津师范大学 | 一种基于原子融合吸收度的框架性图像融合方法 |
| CN109003256A (zh) * | 2018-06-13 | 2018-12-14 | 天津师范大学 | 一种基于联合稀疏表示的多聚焦图像融合质量评价方法 |
| CN109544504A (zh) * | 2018-10-16 | 2019-03-29 | 天津大学 | 基于稀疏表示的屏幕图像质量评价方法 |
| CN110223264A (zh) * | 2019-04-26 | 2019-09-10 | 中北大学 | 基于直觉可能性集的图像差异特征属性融合有效度分布构造及合成方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855616A (zh) * | 2012-08-14 | 2013-01-02 | 西北工业大学 | 基于多尺度字典学习的图像融合方法 |
| CN102932847A (zh) * | 2012-10-26 | 2013-02-13 | 重庆邮电大学 | 基于稀疏表示分类器的分布式压缩感知数据分类方法 |
| CN104021537A (zh) * | 2014-06-23 | 2014-09-03 | 西北工业大学 | 一种基于稀疏表示的红外与可见光图像融合方法 |
| CN106683066A (zh) * | 2017-01-13 | 2017-05-17 | 西华大学 | 一种基于联合稀疏模型的图像融合方法 |
| CN106981058A (zh) * | 2017-03-29 | 2017-07-25 | 武汉大学 | 一种基于稀疏字典的光学与红外图像融合方法及系统 |
| CN107292316A (zh) * | 2017-05-31 | 2017-10-24 | 昆明理工大学 | 一种基于稀疏表示的提升图像清晰度的方法 |
| CN107341786A (zh) * | 2017-06-20 | 2017-11-10 | 西北工业大学 | 小波变换与联合稀疏表示的红外与可见光图像融合方法 |
-
2017
- 2017-12-14 CN CN201711342521.5A patent/CN108038852B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855616A (zh) * | 2012-08-14 | 2013-01-02 | 西北工业大学 | 基于多尺度字典学习的图像融合方法 |
| CN102932847A (zh) * | 2012-10-26 | 2013-02-13 | 重庆邮电大学 | 基于稀疏表示分类器的分布式压缩感知数据分类方法 |
| CN104021537A (zh) * | 2014-06-23 | 2014-09-03 | 西北工业大学 | 一种基于稀疏表示的红外与可见光图像融合方法 |
| CN106683066A (zh) * | 2017-01-13 | 2017-05-17 | 西华大学 | 一种基于联合稀疏模型的图像融合方法 |
| CN106981058A (zh) * | 2017-03-29 | 2017-07-25 | 武汉大学 | 一种基于稀疏字典的光学与红外图像融合方法及系统 |
| CN107292316A (zh) * | 2017-05-31 | 2017-10-24 | 昆明理工大学 | 一种基于稀疏表示的提升图像清晰度的方法 |
| CN107341786A (zh) * | 2017-06-20 | 2017-11-10 | 西北工业大学 | 小波变换与联合稀疏表示的红外与可见光图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 尹雯等: ""基于稀疏表示的遥感图像融合方法"", 《光学学报》 * |
| 张晓等: ""基于结构组稀疏表示的遥感图像融合"", 《中国图象图形学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805850A (zh) * | 2018-06-05 | 2018-11-13 | 天津师范大学 | 一种基于原子融合吸收度的框架性图像融合方法 |
| CN109003256A (zh) * | 2018-06-13 | 2018-12-14 | 天津师范大学 | 一种基于联合稀疏表示的多聚焦图像融合质量评价方法 |
| CN109003256B (zh) * | 2018-06-13 | 2022-03-04 | 天津师范大学 | 一种基于联合稀疏表示的多聚焦图像融合质量评价方法 |
| CN109544504A (zh) * | 2018-10-16 | 2019-03-29 | 天津大学 | 基于稀疏表示的屏幕图像质量评价方法 |
| CN110223264A (zh) * | 2019-04-26 | 2019-09-10 | 中北大学 | 基于直觉可能性集的图像差异特征属性融合有效度分布构造及合成方法 |
| CN110223264B (zh) * | 2019-04-26 | 2022-03-25 | 中北大学 | 基于直觉可能性集的图像差异特征属性融合有效度分布构造及合成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108038852B (zh) | 2022-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108038852A (zh) | 一种基于联合稀疏表示的图像融合质量评价方法 | |
| Lin et al. | Improving discrimination in color vision deficiency by image re-coloring | |
| Gomez Chavez et al. | CADDY underwater stereo-vision dataset for human–robot interaction (HRI) in the context of diver activities | |
| Dufour et al. | Shape, displacement and mechanical properties from isogeometric multiview stereocorrelation | |
| Minařík et al. | Radiometric and atmospheric corrections of multispectral μMCA camera for UAV spectroscopy | |
| CN107133976A (zh) | 一种获取三维高光谱信息的方法和装置 | |
| CN105744256A (zh) | 基于图谱视觉显著的立体图像质量客观评价方法 | |
| CN104361574B (zh) | 一种基于稀疏表示的无参考彩色图像质量评价方法 | |
| Vazquez-Corral et al. | Perceptual color characterization of cameras | |
| CN110782467B (zh) | 基于深度学习和图像处理的马体尺测量方法 | |
| Tan et al. | Automatic camera calibration using active displays of a virtual pattern | |
| CN113240732A (zh) | 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法 | |
| CN102750731A (zh) | 基于左右单眼感受野和双目融合的立体视觉显著计算方法 | |
| Bai et al. | Assessment of camouflage effectiveness based on perceived color difference and gradient magnitude | |
| Díaz-Barrancas et al. | Spectral color management in virtual reality scenes | |
| Buzi et al. | Measuring the shape: performance evaluation of a photogrammetry improvement applied to the Neanderthal skull Saccopastore 1 | |
| Kong et al. | Novel and automatic rice thickness extraction based on photogrammetry using rice edge features | |
| Parvatikar et al. | Comparative study of different image fusion techniques | |
| Pueo et al. | Video-based system for automatic measurement of barbell velocity in back squat | |
| Linhares et al. | How Good Are RGB Cameras Retrieving Colors of Natural Scenes and Paintings?—A Study Based on Hyperspectral Imaging | |
| Žiljak Gršić et al. | Properties of dyes for painting with spectroscopy in the visible and near infrared range | |
| Raicu et al. | Preliminary Identification of Mixtures of Pigments Using the paletteR Package in R—The Case of Six Paintings by Andreina Rosa (1924–2019) from the International Gallery of Modern Art Ca’Pesaro, Venice | |
| Eom et al. | A Study on the Diagnosis Technology for Conservation Status of Painting Cultural Heritage Using Digital Image Analysis Program | |
| CN113935917A (zh) | 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法 | |
| Trombini et al. | Camera color correction for cultural heritage preservation based on clustered data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220304 |