CN107369147B - 基于自我监督学习的图像融合方法 - Google Patents
基于自我监督学习的图像融合方法 Download PDFInfo
- Publication number
- CN107369147B CN107369147B CN201710545757.2A CN201710545757A CN107369147B CN 107369147 B CN107369147 B CN 107369147B CN 201710545757 A CN201710545757 A CN 201710545757A CN 107369147 B CN107369147 B CN 107369147B
- Authority
- CN
- China
- Prior art keywords
- image
- weight
- matrix
- images
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 44
- 238000000638 solvent extraction Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 239000013598 vector Substances 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 10
- 238000000034 method Methods 0.000 abstract description 8
- 238000000605 extraction Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于自我监督学习的图像融合方法，涉及图像融合技术领域。本方法具体步骤如下：1)获取原图像；2)对原图像的预处理操作，将两幅原图像进行分块，编纂成新的矩阵，再按列组成联合矩阵；3)特征提取，将步骤2)中得到的联合矩阵作为输入信号输入到稀疏自编码器中，得到两幅图像简单合并后的边缘特征信息，得到的隐藏层的权值，该权值体现了待融合图像的显著特征，将此看做一个权值矩阵，4)图像的重构,步骤3)得到的权值矩阵作为字典，再通过匹配追踪算法得到原始图像各自的稀疏系数矩阵，在图像重构中，利用最大化选择算法得到联合稀疏系数矩阵，最终的重构图像由字典与联合稀疏系数矩阵相乘得到。
Description
技术领域
本发明涉及图像融合技术领域，具体是一种基于自我监督学习的图像融合方法。
背景技术
近年来，在图像融合方面，一些技术已经日渐成熟，在复杂的场景下拍摄出来的一组图像照片一般是无法完全涵盖解决一个实际问题需要的所有信息的，但是，在不同的条件下对同一个场景拍摄出来的图像就可能会涵盖足够的所需信息。图像融合技术可以利用从不同的角度拍摄或是用多个不一样的传感器获取的一组图像去得到一幅从人类的感官上可以更易于理解的图像。融合形成的图像可以更加清晰地呈现出对某一场景的描述。在视觉效果上，融合的图像更加的完美。简单来说，图像融合就是将很多种具有不同特性的关于图像的数据结合起来，相互之间可以互补以发挥各自最大的优势的目的，也可以更加全面的反映目标的一些固定不变的属性，还可以提供更强的对信息进行分析的能力。
目前现有的大部分的图像融合的算法都包括三个部分：图像的特征提取，图像的特征合并，图像的重构融合。图像融合算法大致分为两种，一种是空间域算法，它是将图像或者是图像的一部分看作是图像自身的特征，再使用某种规则进行合并，重构得到融合图像；另一种是变换域算法，该种算法先要将源图像转换到变换域，对变换域上的系数进行合并，再重构得到融合图像。在以往的浅层模型当中，都是依靠人工规则来构造特征的，而深度训练则是自身根据大数据来学习特征，这样的方法更能够刻画数据的内在信息，对于特征提取而言，手工选取特征是十分费力的，能不能选取好的特征在很大程度上都是靠运气和经验的，而且调节它也需要不少的时间。
发明内容
为了克服上述现有技术的缺点，本发明提供一种基于基于自我监督学习的图像融合方法，最大程度的将图像自身的高级隐藏的特征表达出来，保障了最终融合后的图像的清晰度以及准确性。
本发明是以如下技术方案实现的：一种基于自我监督学习的图像融合方法，
1)获取原图像；
2)对原图像的预处理操作，将两幅原图像进行分块，编纂成新的矩阵，再按列组成联合矩阵；
3)特征提取，将步骤2)中得到的联合矩阵作为输入信号输入到稀疏自编码器中，得到两幅图像简单合并后的边缘特征信息，得到的隐藏层的权值，该权值体现了待融合图像的显著特征，将此看做一个权值矩阵，
4)图像的重构,步骤3)得到的权值矩阵作为字典，再通过匹配追踪算法得到原始图像各自的稀疏系数矩阵，在图像重构中，利用最大化选择算法得到联合稀疏系数矩阵，最终的重构图像由字典与联合稀疏系数矩阵相乘得到。
优选的，步骤1)中的原图像指的是从开源的图像库里面的原始图像。
优选的，步骤2)采用滑动窗技术将两幅原图像进行分块。
优选的，步骤3)具体步骤如下：滑动得到的小块经过编纂成列向量组合形成新的矩阵aa1和bb1，这里将aa1和bb1按列按行依次相加，合并形成一个新的联合矩阵cc1，大小不变，选取同一组数据的训练集和测试集，经过训练得到的是两幅图像简单合并后的边缘特征信息，也就是经过稀疏自编码器的特征提取，得到的隐藏层的权值，该权值体现了待融合图像的显著特征，将此看做一个权值矩阵，把得到的这个含有待融合图像特征的权值矩阵作为一个字典W2来使用。
初始化的过程具体如下：首先基于图层的大小随机初始化参数W1,W2,b1,b2,将权重和偏差转换为向量的形式，定直接误差项，权值惩罚项，稀疏性惩罚项均为0；
然后采用前向算法计算出各神经网络节点的线性组合值和激活值，如公式(1)(2)所示；
zi＝Wi×xi+bi (1)
ai＝sigmoid(zi) (2)
i＝1,2；
其中sigmoid函数表示为，
稀疏自编码器采用的是两层的结构，W是权值向量，b是偏置向量，分别就是对应的两层的两对参数，公式得到的是每一层的输出值，这里的W和b是一开始随机初始化的，通过网络模型的训练对参数进行调整，得到最终的W2，作为最终需要的字典矩阵；而这里的x表示的就是网络模型的输入信号，也就是图像信息；
其次用反向传播算法更新权值参数和偏置项参数，采用梯度下降法将误差减到最小。
优选的，y1和y2是原图像对应的稀疏系数矩阵，采用最大化选择算法得到的是联合稀疏系数矩阵A，重构图像为
由公式(4)可得到重构图像；
本发明的有益效果是：通过本方法对图像特征进行提取，避免了手工选取特征的麻烦，将该特征提取方法与最大化选择法相结合，最大程度的将图像自身的高级隐藏的特征表达出来，对于最终融合后的图像的清晰度，准确性提供了保障。
附图说明
图1为本发明原理框图。
具体实施方式
如图1所示，一种基于基于自我监督学习的图像融合方法，具体步骤如下:
首先，就是源图像的获取，采取的是从开源的图像库里面的原始图像，这样的图片做起实验来更有效果；
再次，就是对原图像的预处理操作，要采用滑动窗技术将原图像进行分块，编纂成新的矩阵，再按列组成联合矩阵；
其次，就是要对原始图像进行特征提取，将第二步中得到的联合矩阵作为输入信号输入到稀疏自编码器中，对于稀疏自编码器而言，它的输出是通过一个非线性变换得到的，但是我所需要的并不是最终的输出，而是使得最终输出能够与输入信号十分近似的隐藏层的输出，于是，通过训练得到图像的边缘特征信息，这些特征信息便是稀疏自编码器的隐层输出；
最后，就要进行图像的重构，第三步得到的权值矩阵作为字典，再通过匹配追踪算法可以得到原始图像各自的稀疏系数矩阵，在图像重构中，利用最大化选择算法得到联合稀疏系数矩阵，最终的重构图像由字典与联合稀疏系数矩阵相乘得到。
本方法中稀疏自动编码器就是一种基于自我监督特征学习和特征层次结构的学习结构模型，它是属于深度学习研究领域比较主流的一种网络模型。深度学习其实就是神经网络的一种延伸，是对已有的神经网络进行改进，从输入层可以获取基本信息，中间通过多层的抽象特征的表达方式，再通过反馈对网络参数实现微调，最终可以实现预定想要实现的目标效果。稀疏自动编码器目的在于图像的特征提取。
1.特征提取
假设两幅图像分别为m和n，大小均为128×128，对两幅图像用滑动窗进行分块(这里采用的是大小为8×8且滑动步长为1的滑动小块)，滑动得到的小块经过编纂成列向量组合形成新的矩阵aa1和bb1，大小变成了64×14641，这里将aa1和bb1按列按行依次相加，合并形成一个新的联合矩阵cc1，大小仍然是64×14641，这里，训练集和测试集(要提取的特征，不可能直接给一幅图片就可以得到特征，首先需要进行训练，也就是要先利用一组图片数据进行处理，也就是训练，得到网络模型中所需要的参数，参数一旦确定了，模型也就形成了，接下来就是进行测试，也就是待融合图像的特征提取步骤)选取的是同一组数据，经过训练得到的是两幅图像简单合并后的边缘特征信息，也就是经过稀疏自编码器的特征提取，得到的隐藏层的权值，该权值体现了待融合图像的显著特征，将此看做一个权值矩阵，在此算法中，把得到的这个含有待融合图像特征的权值矩阵W2作为一个字典来使用。得到了字典W1后，用匹配追踪算法求得待融合图像的稀疏系数矩阵y1和y2。具体地，首先基于图层的大小随机初始化参数W1,W2,b1,b2,将权重和偏差转换为向量的形式，设定直接误差项，权值惩罚项，稀疏性惩罚项均为0；然后采用前向算法计算出各神经网络节点的线性组合值和激活值，如公式(1)(2)所示。
zi＝Wi×xi+bi (1)
ai＝sigmoid(zi) (2)
i＝1,2；
其中sigmoid函数表示为，
其次用反向传播算法更新权值参数和偏置项参数，采用梯度下降法将误差减到最小。
2.图像重构
通过特征提取后得到图像经过深度训练后的可以良好的代表输入信号的特征字典W2，并且还得到了各个待融合图像的稀疏系数矩阵y1和y2，本设计中采用的方法使得所有的图像块对应的都是同一个字典W2。融合规则采用的是最大化选择算法。具体地，y1和y2是原图像对应的稀疏系数矩阵，采用最大化选择得到的是联合稀疏系数矩阵A，重构图像为
由公式(4)可得到重构图像。
本发明研究的图像融合的算法都是基于MATLAB实验平台进行搭建的，效果还算满意。
Claims (4)
1.一种基于自我监督学习的图像融合方法，其特征在于：
1)获取原图像；
2)对原图像的预处理操作，将两幅原图像进行分块，编纂成新的矩阵，再按列组成联合矩阵；
3)特征提取，将步骤2)中得到的联合矩阵作为输入信号输入到稀疏自编码器中，得到两幅图像简单合并后的边缘特征信息，得到的隐藏层的权值，该权值体现了待融合图像的显著特征，将此看做一个权值矩阵，
4)图像的重构，步骤3)得到的权值矩阵作为字典，再通过匹配追踪算法得到原始图像各自的稀疏系数矩阵，在图像重构中，利用最大化选择算法得到联合稀疏系数矩阵，最终的重构图像由字典与联合稀疏系数矩阵相乘得到；
步骤3)具体步骤如下：
滑动得到的小块经过编纂成列向量组合形成新的矩阵aa1和bb1，这里将aa1和bb1按列按行依次相加，合并形成一个新的联合矩阵cc1，大小不变，选取同一组数据的训练集和测试集，经过训练得到的是两幅图像简单合并后的边缘特征信息，也就是经过稀疏自编码器的特征提取，得到的隐藏层的权值，该权值体现了待融合图像的显著特征，将此看做一个权值矩阵，把得到的这个含有待融合图像特征的权值矩阵作为一个字典W2来使用；
首先基于图层的大小随机初始化参数W1，W2，b1，b2将权重和偏差转换为向量的形式，定直接误差项、权值惩罚项、稀疏性惩罚项均为0；
然后采用前向算法计算出各神经网络节点的线性组合值和激活值，如公式(1)(2)所示，
zi＝Wi×xi+bi (1)
αi＝sigmoid(zi) (2)
i＝1,2；
其中sigmoid函数表示为，
稀疏自编码器采用的是两层的结构，W是权值向量，b是偏置向量，分别就是对应的两层的两对参数，公式得到的是每一层的输出值，这里的W和b是一开始随机初始化的，通过网络模型的训练对参数进行调整，得到最终的W2，作为最终需要的字典矩阵，
其次用反向传播算法更新权值参数和偏置项参数，采用梯度下降法将误差减到最小。
2.根据权利要求1所述的一种基于自我监督学习的图像融合方法，其特征在于：步骤1)中的原图像指的是从开源的图像库里面的原始图像。
3.根据权利要求1所述的一种基于自我监督学习的图像融合方法，其特征在于：步骤2)采用滑动窗技术将两幅原图像进行分块。
4.根据权利要求1所述的一种基于自我监督学习的图像融合方法，其特征在于：用匹配追踪算法求得待融合图像的稀疏系数矩阵y1和y2，采用最大化选择算法得到的是联合稀疏稀疏矩阵A，重构图像为
由公式(4)可得到重构图像：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710545757.2A CN107369147B (zh) | 2017-07-06 | 2017-07-06 | 基于自我监督学习的图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710545757.2A CN107369147B (zh) | 2017-07-06 | 2017-07-06 | 基于自我监督学习的图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107369147A CN107369147A (zh) | 2017-11-21 |
| CN107369147B true CN107369147B (zh) | 2020-12-25 |
Family
ID=60305924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710545757.2A Active CN107369147B (zh) | 2017-07-06 | 2017-07-06 | 基于自我监督学习的图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107369147B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801247A (zh) * | 2017-11-16 | 2019-05-24 | 通用电气公司 | 医学成像方法、计算机程序以及计算机存储介质 |
| GB201802942D0 (en) * | 2018-02-23 | 2018-04-11 | Univ Leuven Kath | Reconstruction method |
| CN109543697A (zh) * | 2018-11-16 | 2019-03-29 | 西北工业大学 | 一种基于深度学习的rgbd图像目标识别方法 |
| CN109521740A (zh) * | 2018-11-19 | 2019-03-26 | 广东工业大学 | 一种工业控制方法、系统及电子设备和存储介质 |
| CN109785279B (zh) * | 2018-12-28 | 2023-02-10 | 江苏师范大学 | 一种基于深度学习的图像融合重建方法 |
| CN112183561B (zh) * | 2020-11-09 | 2024-04-30 | 山东中医药大学 | 一种用于图像特征提取的联合融减自动编码器算法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540045A (zh) * | 2009-03-25 | 2009-09-23 | 湖南大学 | 基于同步正交匹配追踪的多源图像融合方法 |
| CN104778671A (zh) * | 2015-04-21 | 2015-07-15 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
| CN104851099A (zh) * | 2015-05-21 | 2015-08-19 | 周口师范学院 | 一种基于表示学习的图像融合方法 |
| CN105590088A (zh) * | 2015-09-17 | 2016-05-18 | 重庆大学 | 一种基于稀疏自编码和稀疏表示进行交通标志识别的方法 |
| CN105701506A (zh) * | 2016-01-12 | 2016-06-22 | 杭州电子科技大学 | 一种基于超限学习机与稀疏表示分类的改进方法 |
| CN106886986A (zh) * | 2016-08-31 | 2017-06-23 | 电子科技大学 | 基于自适应组结构稀疏字典学习的图像融合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9092692B2 (en) * | 2012-09-13 | 2015-07-28 | Los Alamos National Security, Llc | Object detection approach using generative sparse, hierarchical networks with top-down and lateral connections for combining texture/color detection and shape/contour detection |
-
2017
- 2017-07-06 CN CN201710545757.2A patent/CN107369147B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540045A (zh) * | 2009-03-25 | 2009-09-23 | 湖南大学 | 基于同步正交匹配追踪的多源图像融合方法 |
| CN104778671A (zh) * | 2015-04-21 | 2015-07-15 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
| CN104851099A (zh) * | 2015-05-21 | 2015-08-19 | 周口师范学院 | 一种基于表示学习的图像融合方法 |
| CN105590088A (zh) * | 2015-09-17 | 2016-05-18 | 重庆大学 | 一种基于稀疏自编码和稀疏表示进行交通标志识别的方法 |
| CN105701506A (zh) * | 2016-01-12 | 2016-06-22 | 杭州电子科技大学 | 一种基于超限学习机与稀疏表示分类的改进方法 |
| CN106886986A (zh) * | 2016-08-31 | 2017-06-23 | 电子科技大学 | 基于自适应组结构稀疏字典学习的图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于稀疏表示的图像融合方法研究;李锦兴;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160615(第06期);第15-22页 * |
| 深度学习UFLDL老教程笔记1 稀疏自编码器||;博客园-原创精华区;《https://web.archive.org/web/20161206165715/https://www.tuicool.com/articles/B3E3Er》;20161206;第1-9页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107369147A (zh) | 2017-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107369147B (zh) | 基于自我监督学习的图像融合方法 | |
| CN106548208B (zh) | 一种照片图像快速智能风格化方法 | |
| CN109685072B (zh) | 一种基于生成对抗网络的复合降质图像高质量重建方法 | |
| CN107256541B (zh) | 一种基于卷积神经网络的多光谱遥感图像去雾方法 | |
| EP3570222A1 (en) | Information processing device and method, and computer readable storage medium | |
| Jain et al. | Autoencoders for level generation, repair, and recognition | |
| CN107798349B (zh) | 一种基于深度稀疏自编码机的迁移学习方法 | |
| CN108648197B (zh) | 一种基于图像背景掩膜的目标候选区域提取方法 | |
| US11354792B2 (en) | System and methods for modeling creation workflows | |
| Cho et al. | Palettenet: Image recolorization with given color palette | |
| CN107730482B (zh) | 一种基于区域能量和方差的稀疏融合方法 | |
| CN109785279B (zh) | 一种基于深度学习的图像融合重建方法 | |
| CN111915522A (zh) | 一种基于注意力机制的图像修复方法 | |
| CN109345446A (zh) | 一种基于对偶学习的图像风格转移算法 | |
| CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
| Xu et al. | UP-CNN: Un-pooling augmented convolutional neural network | |
| CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
| Yang et al. | Down image recognition based on deep convolutional neural network | |
| CN112184582B (zh) | 一种基于注意力机制的图像补全方法及装置 | |
| CN109060838A (zh) | 一种基于机器视觉的产品表面划痕检测方法 | |
| CN108596222A (zh) | 基于反卷积神经网络的图像融合方法 | |
| Paul et al. | Modified convolutional neural network with pseudo-CNN for removing nonlinear noise in digital images | |
| Abdurrahman et al. | Generative adversarial network implementation for batik motif synthesis | |
| Zhang et al. | FCHP: Exploring the discriminative feature and feature correlation of feature maps for hierarchical DNN pruning and compression | |
| Shocher et al. | Internal distribution matching for natural image retargeting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230222 Address after: Room 2202, Block A, Lanhai Office, Greenland Business City, Yunlong District, Xuzhou City, Jiangsu Province, 221000 Patentee after: Jiangsu Zhongshang Robot Technology Co.,Ltd. Address before: 221116 No. 101, Shanghai Road, Copper Mt. New District, Jiangsu, Xuzhou Patentee before: Jiangsu Normal University |
|
| TR01 | Transfer of patent right |