CN111626939A - 一种基于稀疏表达和Piella指数优化的含噪图像融合的红外和可见光图像融合方法 - Google Patents

一种基于稀疏表达和Piella指数优化的含噪图像融合的红外和可见光图像融合方法 Download PDF

Info

Publication number
CN111626939A
CN111626939A CN202010508878.1A CN202010508878A CN111626939A CN 111626939 A CN111626939 A CN 111626939A CN 202010508878 A CN202010508878 A CN 202010508878A CN 111626939 A CN111626939 A CN 111626939A
Authority
CN
China
Prior art keywords
piella
index
dictionary
image
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010508878.1A
Other languages
English (en)
Inventor
余南南
程义
阚森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Fly Dream Electronic & Technology Co ltd
Original Assignee
Xuzhou Fly Dream Electronic & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou Fly Dream Electronic & Technology Co ltd filed Critical Xuzhou Fly Dream Electronic & Technology Co ltd
Priority to CN202010508878.1A priority Critical patent/CN111626939A/zh
Publication of CN111626939A publication Critical patent/CN111626939A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于稀疏表达和Piella指数优化的含噪图像融合的红外和可见光图像融合方法，该方法具体步骤如下：（1）对原始图像进行联合字典训练，得到一组冗余字典；（2）利用优化算法更新字典中相对应基向量的加权值，使得Piella指数最大，根据加权值合并基向量，得到一个新的字典；（3）通过这个字典和稀疏系数得到融合图像。

Description

一种基于稀疏表达和Piella指数优化的含噪图像融合的红外 和可见光图像融合方法
技术领域
本发明属于图像融合及超分辨技术领域，尤其涉及一种基于稀疏表达和Piella指数优化的含噪图像融合的红外和可见光图像融合方法。
背景技术
图像融合技术是指将多源信道所采集到的关于同一目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成同一图像以供观察或进一步处理。来自于多个传感器的图像具有很强的互补性，采用图像融合可以很好的比较分析这些数据。
空间域的融合算法包括基于像素的、基于图像块的和基于区域的方法。其中基于图像块的方法实现起来简单，可以使得每个图像块的特征完整的传递到融合图像中。噪声的干扰会对融合图像的质量产生很大影响，所以在含噪图像融合中首先要对所有的原始图像进行去噪。稀疏表达算法近年来受到广泛关注，被应用到很多的图像处理领域中。
发明内容
发明目的：为了克服上述现有技术的缺点，本发明提供一种基于稀疏表达和Piella指数优化的含噪图像融合的红外和可见光图像融合方法，最大程度提取测试图像的特征信息，保障了融合重构图像的清晰度以及准确性。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于稀疏表达和Piella指数优化的含噪图像融合的红外和可见光图像融合方法，该方法包括如下步骤：
（1）对全部的原始图像进行联合的KSVD训练，得到两个字典和一组稀疏系数；（2）对字典中相对的基向量进行加权求和得到一个合并后的基向量，通过优化算法使得Piella指数最大化确定加权值，所有的基向量构成一个融合字典；(3) 通过融合字典和稀疏系数矩阵重构得到融合图像。
进一步的，步骤(1)中的联合KSVD训练，具体设计如下：
(1.1)首先对所有的图像的滑动窗进行分块，对每个图像块字典编纂得到列向量，组成矩阵
Figure 40937DEST_PATH_IMAGE002
，设冗余字典为，稀疏系数矩阵为
Figure 734087DEST_PATH_IMAGE004
，则
Figure 389059DEST_PATH_IMAGE006
(1)
则
Figure 876672DEST_PATH_IMAGE008
(2)
设
Figure 617095DEST_PATH_IMAGE010
，
Figure 238569DEST_PATH_IMAGE012
和
Figure 623414DEST_PATH_IMAGE014
，上式可以表示为
Figure 140983DEST_PATH_IMAGE016
。使用KSVD算法得到
Figure 634282DEST_PATH_IMAGE018
的冗余字典
Figure 669234DEST_PATH_IMAGE020
。
步骤(2)中的基于Piella优化的字典融合，具体设计如下：
含噪图像
Figure 298798DEST_PATH_IMAGE022
经过联合KSVD字典训练得到冗余字典
Figure 987269DEST_PATH_IMAGE024
，设冗余字典中第
Figure 577650DEST_PATH_IMAGE026
组基向量对应的加权系数为
Figure 540927DEST_PATH_IMAGE028
，则融合图像对应的基向量
Figure 759418DEST_PATH_IMAGE030
为：
Figure 759735DEST_PATH_IMAGE032
(3)
其中
Figure 962047DEST_PATH_IMAGE034
，同时设
Figure 604381DEST_PATH_IMAGE036
。每个图像块可以表示为少量基向量的线性组合，图像块的Piella指数受到基向量Piella指数的影响。基向量的Piella指数增大会使得相应的图像块的Piella指数增大。融合图像第
Figure 208537DEST_PATH_IMAGE026
个基向量的Piella指数可以表示为：
Figure DEST_PATH_IMAGE038
(4)
其中，
Figure DEST_PATH_IMAGE040
为局部加权值，
Figure DEST_PATH_IMAGE042
。因为
Figure DEST_PATH_IMAGE044
是已知的，
Figure 793406DEST_PATH_IMAGE030
由
Figure DEST_PATH_IMAGE046
确定，可将
Figure 951855DEST_PATH_IMAGE048
简化为
Figure 256934DEST_PATH_IMAGE050
，则上式为：
Figure 590964DEST_PATH_IMAGE052
(5)
为了使基向量的Piella指数最大，我们通过梯度下降法更新加权值
Figure 323296DEST_PATH_IMAGE028
。
附图说明
图1为本发明算法的框图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示， 一种基于深度学习的红外和可见光图像融合方法，具体步骤如下：
首先对原始图像进行联合字典训练。采用KSVD训练所有原始图像的字典。
首先对所有的图像的滑动窗进行分块，对每个图像块字典编纂得到列向量，组成矩阵
Figure 375566DEST_PATH_IMAGE002
，设冗余字典为
Figure 218757DEST_PATH_IMAGE024
，稀疏系数矩阵为
Figure 672872DEST_PATH_IMAGE004
，则
Figure 576106DEST_PATH_IMAGE006
(1)
则
Figure 115672DEST_PATH_IMAGE008
(2)
设
Figure 762554DEST_PATH_IMAGE010
，
Figure 71176DEST_PATH_IMAGE012
和
Figure 145311DEST_PATH_IMAGE014
，上式可以表示为
Figure 906593DEST_PATH_IMAGE016
。使用KSVD算法得到
Figure 357166DEST_PATH_IMAGE018
的冗余字典
Figure 520294DEST_PATH_IMAGE020
，
Figure 765331DEST_PATH_IMAGE054
(3)
其中
Figure DEST_PATH_IMAGE056
为
Figure DEST_PATH_IMAGE057
中第
Figure 341806DEST_PATH_IMAGE026
列，
Figure DEST_PATH_IMAGE059
表示
Figure DEST_PATH_IMAGE060
中非零值个数的上限。基于KSVD字典训练的稀疏表达算法具有很好的去噪功能，高斯噪声的稀疏性很差，可以认为字典
Figure 392807DEST_PATH_IMAGE020
中只包括纯净图像的元素。
含噪图像
Figure 410442DEST_PATH_IMAGE022
经过联合KSVD字典训练得到冗余字典
Figure 357538DEST_PATH_IMAGE024
，设冗余字典中第
Figure 93413DEST_PATH_IMAGE026
组基向量对应的加权系数为
Figure 885788DEST_PATH_IMAGE028
，则融合图像对应的基向量
Figure 757930DEST_PATH_IMAGE030
为：
Figure 610348DEST_PATH_IMAGE032
(4)
其中
Figure 567940DEST_PATH_IMAGE034
，同时设
Figure 898427DEST_PATH_IMAGE036
。每个图像块可以表示为少量基向量的线性组合，图像块的Piella指数受到基向量Piella指数的影响。基向量的Piella指数增大会使得相应的图像块的Piella指数增大。融合图像第
Figure 156233DEST_PATH_IMAGE026
个基向量的Piella指数可以表示为：
Figure 179552DEST_PATH_IMAGE038
(5)
其中，
Figure 624440DEST_PATH_IMAGE040
为局部加权值，
Figure 758618DEST_PATH_IMAGE042
。因为
Figure 870931DEST_PATH_IMAGE044
是已知的，
Figure 799573DEST_PATH_IMAGE030
由
Figure 997336DEST_PATH_IMAGE046
确定，可将
Figure 669626DEST_PATH_IMAGE048
简化为
Figure 636445DEST_PATH_IMAGE050
，则上式为：
Figure 735988DEST_PATH_IMAGE052
(6)
为了使基向量的Piella指数最大，通过梯度下降法更新加权值
Figure 421047DEST_PATH_IMAGE028
。首先根据
Figure 897027DEST_PATH_IMAGE046
对
Figure DEST_PATH_IMAGE062
求偏导，
Figure DEST_PATH_IMAGE064
(7)
由于
Figure 780670DEST_PATH_IMAGE036
，则
Figure DEST_PATH_IMAGE066
。根据Piella指数的定义，
Figure 51114DEST_PATH_IMAGE068
(8)
其中
Figure 957890DEST_PATH_IMAGE070
和
Figure DEST_PATH_IMAGE072
分别表示第
Figure 440824DEST_PATH_IMAGE074
个图像对应的第
Figure 506869DEST_PATH_IMAGE026
个基向量
Figure DEST_PATH_IMAGE076
的均值和方差，
Figure DEST_PATH_IMAGE078
和
Figure DEST_PATH_IMAGE080
分别表示融合图像对应的第
Figure 479373DEST_PATH_IMAGE026
个基向量
Figure DEST_PATH_IMAGE082
的均值和方差，
Figure DEST_PATH_IMAGE084
表示它们之间的协方差。根据
Figure DEST_PATH_IMAGE086
对
Figure 794817DEST_PATH_IMAGE050
求偏导为
Figure DEST_PATH_IMAGE088
(9)
Figure DEST_PATH_IMAGE090
(10)
得到
Figure DEST_PATH_IMAGE092
之后，通过梯度下降法更新加权系数
Figure DEST_PATH_IMAGE094
，将
Figure DEST_PATH_IMAGE096
代入式(6)中得到
Figure 206076DEST_PATH_IMAGE030
，通过式(5)求出
Figure 1993DEST_PATH_IMAGE062
，判断
Figure 879820DEST_PATH_IMAGE062
是否收敛，如果收敛则训练结束，如果不收敛则重复上述过程直至收敛为止。
从式(1)中可以看出，本专利算法不同的图像对应不同的冗余字典和相同的稀疏系数，所以利用融合字典和这个稀疏系数就可以重构融合图像。通过上一节训练得到
Figure 761188DEST_PATH_IMAGE098
，重构得到矩阵
Figure 117083DEST_PATH_IMAGE100
。将
Figure DEST_PATH_IMAGE102
中的每一列
Figure DEST_PATH_IMAGE104
转变为方阵，然后把这个方阵放到图像相应的位置，融合图像每个位置的像素值为所对应的各个方阵像素值的平均值。

Claims (2)

1.一种基于稀疏表达和Piella指数优化的含噪图像融合的红外和可见光图像融合方法，其特征在于，该方法包括如下步骤：（1）对全部的原始图像进行联合的KSVD训练，得到两个字典和一组稀疏系数；（2）对字典中相对的基向量进行加权求和得到一个合并后的基向量，通过优化算法使得Piella指数最大化确定加权值，所有的基向量构成一个融合字典；(3) 通过融合字典和稀疏系数矩阵重构得到融合图像。
2.根据权利要求1所述的一种基于稀疏表达和Piella指数优化的含噪图像融合的红外和可见光图像融合方法，其特征在于，步骤(1)中的联合KSVD训练，具体设计如下： (1.1)首先对所有的图像的滑动窗进行分块，对每个图像块字典编纂得到列向量，组成矩阵
Figure 217800DEST_PATH_IMAGE001
，设冗余字典为
Figure 603782DEST_PATH_IMAGE002
，稀疏系数矩阵为
Figure 180257DEST_PATH_IMAGE003
，则
Figure 168942DEST_PATH_IMAGE004
(1)
则
Figure 248893DEST_PATH_IMAGE005
(2)
设
Figure 868093DEST_PATH_IMAGE006
，
Figure 603968DEST_PATH_IMAGE007
和
Figure 396344DEST_PATH_IMAGE008
，上式可以表示为
Figure 534064DEST_PATH_IMAGE009
；
使用KSVD算法得到
Figure 120903DEST_PATH_IMAGE010
的冗余字典
Figure 344074DEST_PATH_IMAGE011
；
步骤(2)中基于Piella优化的字典融合，具体设计如下：含噪图像
Figure 674561DEST_PATH_IMAGE012
经过联合KSVD字典训练得到冗余字典
Figure 666788DEST_PATH_IMAGE013
，设冗余字典中第
Figure 955687DEST_PATH_IMAGE014
组基向量对应的加权系数为
Figure 666154DEST_PATH_IMAGE015
，则融合图像对应的基向量
Figure 534753DEST_PATH_IMAGE016
为：
Figure 647065DEST_PATH_IMAGE017
(3)
其中
Figure 575707DEST_PATH_IMAGE018
，同时设
Figure 773470DEST_PATH_IMAGE019
；
每个图像块可以表示为少量基向量的线性组合，图像块的Piella指数受到基向量Piella指数的影响；
基向量的Piella指数增大会使得相应的图像块的Piella指数增大；
融合图像第
Figure 445760DEST_PATH_IMAGE020
个基向量的Piella指数可以表示为：
Figure 412579DEST_PATH_IMAGE021
(4)
其中，
Figure 777701DEST_PATH_IMAGE022
为局部加权值，
Figure 197181DEST_PATH_IMAGE023
；
因为
Figure 673162DEST_PATH_IMAGE024
是已知的，
Figure 228908DEST_PATH_IMAGE016
由
Figure 764932DEST_PATH_IMAGE025
确定，可将
Figure 671708DEST_PATH_IMAGE026
简化为
Figure 685800DEST_PATH_IMAGE027
，则上式为：
Figure 627212DEST_PATH_IMAGE028
(5)
为了使基向量的Piella指数最大，我们通过梯度下降法更新加权值
Figure 334136DEST_PATH_IMAGE015
。
CN202010508878.1A 2020-06-06 2020-06-06 一种基于稀疏表达和Piella指数优化的含噪图像融合的红外和可见光图像融合方法 Pending CN111626939A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010508878.1A CN111626939A (zh) 2020-06-06 2020-06-06 一种基于稀疏表达和Piella指数优化的含噪图像融合的红外和可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010508878.1A CN111626939A (zh) 2020-06-06 2020-06-06 一种基于稀疏表达和Piella指数优化的含噪图像融合的红外和可见光图像融合方法

Publications (1)

Publication Number Publication Date
CN111626939A true CN111626939A (zh) 2020-09-04

Family

ID=72260876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010508878.1A Pending CN111626939A (zh) 2020-06-06 2020-06-06 一种基于稀疏表达和Piella指数优化的含噪图像融合的红外和可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN111626939A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100046829A1 (en) * 2008-08-21 2010-02-25 Adobe Systems Incorporated Image stylization using sparse representation
CN106981058A (zh) * 2017-03-29 2017-07-25 武汉大学 一种基于稀疏字典的光学与红外图像融合方法及系统
CN109447933A (zh) * 2018-11-14 2019-03-08 西北工业大学 基于特有信息同步分解的红外与可见光图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100046829A1 (en) * 2008-08-21 2010-02-25 Adobe Systems Incorporated Image stylization using sparse representation
CN106981058A (zh) * 2017-03-29 2017-07-25 武汉大学 一种基于稀疏字典的光学与红外图像融合方法及系统
CN109447933A (zh) * 2018-11-14 2019-03-08 西北工业大学 基于特有信息同步分解的红外与可见光图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
余南南: "基于稀疏表示的图像融合与去噪算法研究" *
余南南;邱天爽;毕峰;王爱齐;: "基于Piella指数优化的CT和MR图像融合" *

Similar Documents

Publication Publication Date Title
CN109741256B (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN110210551B (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
CN107977932B (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN111784602B (zh) 一种生成对抗网络用于图像修复的方法
CN109102477A (zh) 一种基于非凸低秩稀疏约束的高光谱遥感图像恢复方法
CN108133465B (zh) 基于空谱加权tv的非凸低秩松弛的高光谱图像恢复方法
CN109887021B (zh) 基于跨尺度的随机游走立体匹配方法
CN107730482B (zh) 一种基于区域能量和方差的稀疏融合方法
CN111583285B (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN109801218B (zh) 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法
CN114119444A (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN109712150A (zh) 基于稀疏表示的光学微波图像融合重建方法和装置
CN111222519A (zh) 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN111325288B (zh) 基于聚类思想的多视角动态脑网络特征维度约减方法
CN108460400A (zh) 一种结合多种特征信息的高光谱图像分类方法
CN113066025A (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN107292316A (zh) 一种基于稀疏表示的提升图像清晰度的方法
CN114693577B (zh) 一种基于Transformer的红外偏振图像融合方法
CN115359407A (zh) 一种视频中的多车辆跟踪方法
CN112767271A (zh) 一种基于三维变分网络的高光谱图像深度降噪的方法
CN113034388B (zh) 一种古代绘画虚拟修复方法及修复模型的构建方法
CN111242873A (zh) 基于稀疏表示的图像去噪方法
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200904