CN107392855B - 基于稀疏自编码网络与极速学习的图像超分辨重建方法 - Google Patents

基于稀疏自编码网络与极速学习的图像超分辨重建方法 Download PDF

Info

Publication number
CN107392855B
CN107392855B CN201710589217.4A CN201710589217A CN107392855B CN 107392855 B CN107392855 B CN 107392855B CN 201710589217 A CN201710589217 A CN 201710589217A CN 107392855 B CN107392855 B CN 107392855B
Authority
CN
China
Prior art keywords
resolution
image
sparse
low
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710589217.4A
Other languages
English (en)
Other versions
CN107392855A (zh
Inventor
王敏
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wenjie Sensing Technology Co ltd
Original Assignee
Suzhou Wenjie Sensing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wenjie Sensing Technology Co ltd filed Critical Suzhou Wenjie Sensing Technology Co ltd
Priority to CN201710589217.4A priority Critical patent/CN107392855B/zh
Publication of CN107392855A publication Critical patent/CN107392855A/zh
Application granted granted Critical
Publication of CN107392855B publication Critical patent/CN107392855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于稀疏自编码网络与极速学习的图像超分辨重建方法，解决了特征提取不准确及特征提取与重建步骤独自进行而导致恢复不准确的问题。主要步骤为：输入低分辨率测试图像，对输入的低分辨率测试图像通过重叠的方式进行分块，构造低分辨率测试图像块；对于每一个低分辨率图像块经过层级的稀疏自编码器提取稀疏特征；将稀疏特征通过预先学习得到的极速学习机投影到高分辨率像素空间得到高分辨率图像块；最后将高分辨率图像块聚合得到最终的高分辨率图像，完成图像超分辨率重建。本发明采用多层稀疏自编码网络学习稀疏特征，将特征提取与重建集成在一个统一的网络框架中，有效提高了重建图像质量并改善细节信息，适用于各种自然图像的超分辨率重建。

Description

基于稀疏自编码网络与极速学习的图像超分辨重建方法
技术领域
本发明属于图像处理技术领域，主要涉及图像超分辨重建，具体是一种基于稀疏自编码网络与极速学习的图像超分辨重建方法，该方法可用于各类自然图像和字符图像的超分辨率重建。
背景技术
图像超分辨率重建技术能够利用信号处理的手段从低分辨率的图像中恢复出高分辨率的图像，在许多领域取得了广泛的应用。传统的基于重构的超分辨方法大多利用的是图像的边缘特性、像素的非负性和局部平滑特性等先验知识构造约束条件，对图像自身的先验信息利用的不足，当放大系数较大时恢复出来的结果图像过于平滑。Freeman等人提出了一种基于学习的方法，利用马尔科夫网络来学习训练库中对应的高、低分辨率图像块之间的关系来预测输入低分辨率图像的细节信息。Chang等人提出了邻域嵌入(NeighborEmbedding)方法，利用局部线性嵌入的思想，从训练库中选取输入样本的多个近邻，然后根据误差最小的原则得到重建权重，通过对这些近邻块进行线性组合得到重建结果。但是这些方法特征提取的不够准确，往往找不到准确的近邻，而且特征提取与重建步骤独自进行而导致重建不准确，重建图像的质量一般。
发明内容
本发明的目的在于克服上述已有技术的缺点，提出一种基于稀疏自编码网络与极速学习的图像超分辨重建方法，改善特征提取的过程，将特征提取和重建集成在一个统一的网络框架中，提高重建图像的效率和质量。
本发明是一种基于稀疏自编码网络与极速学习的图像超分辨重建方法，其特征在于，包括有如下步骤：
步骤1：输入训练样例图像对，用重叠的方式将低分辨率训练样例图像分割为大小为
Figure BDA0001354316530000011
的低分辨率训练样例图像块并拉成向量
Figure BDA0001354316530000012
用相同的方式将高分辨率训练样例图像分割为与低分辨率训练样例图像块
Figure BDA0001354316530000013
相对应的大小为
Figure BDA0001354316530000014
的高分辨率训练样例图像块并拉成向量
Figure BDA0001354316530000015
其中n表示低分辨率训练样例图像块向量的维度，N表示高分辨率和低分辨率训练样例图像块的规模，s表示上采样倍数；
步骤2：将低分辨率训练样例图像块向量
Figure BDA0001354316530000016
输入到稀疏自编码网络中，得到第一层输出稀疏权重矩阵W1，将低分辨率训练样例图像向量
Figure BDA0001354316530000017
与权值矩阵W1的转置矩阵W1 T相乘并通过非线性函数g得到第一层稀疏特征
Figure BDA0001354316530000021
其中
Figure BDA0001354316530000022
步骤3：将第一层稀疏特征
Figure BDA0001354316530000023
输入到稀疏自编码网络中，得到第二层输出稀疏权重矩阵W2，将第一层稀疏特征
Figure BDA0001354316530000024
与权值矩阵W2的转置矩阵
Figure BDA0001354316530000025
相乘并通过非线性函数g得到第二层稀疏特征
Figure BDA0001354316530000026
其中
Figure BDA0001354316530000027
步骤4：以第二层稀疏特征
Figure BDA0001354316530000028
作为输入，对应的高分辨率训练样例图像块向量
Figure BDA0001354316530000029
为输出训练极速学习机网络，得到极速学习机输出权重W3o，其中极速学习机的随机初始化权重为W3i；
步骤5：输入待超分辨率重建的低分辨率测试图像X，按重叠的方式分割成大小为
Figure BDA00013543165300000210
的图像块并拉成向量形成低分辨率测试图像向量
Figure BDA00013543165300000211
步骤6：将低分辨率测试图像向量
Figure BDA00013543165300000212
输入到第一层稀疏自编码器得到第一层稀疏特征
Figure BDA00013543165300000213
其中
Figure BDA00013543165300000214
步骤7：将第一层稀疏特征
Figure BDA00013543165300000215
输入第二层稀疏自编码器得到第二层稀疏特征
Figure BDA00013543165300000216
其中
Figure BDA00013543165300000217
步骤8：将第二层稀疏特征
Figure BDA00013543165300000218
输入到极速学习机中，经过随机初始化权重为W3i随机投影为hi，其中
Figure BDA00013543165300000219
将随机投影经过极速学习机输出权重W3o投影到高分辨率像素空间
Figure BDA00013543165300000220
如
Figure BDA00013543165300000221
步骤9：将高分辨率图像块集
Figure BDA00013543165300000222
中的所有高分辨率图像输出小块
Figure BDA00013543165300000223
按顺序放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像Y*。
本发明的技术方案的具体步骤是：输入低分辨率测试图像，对输入的低分辨率测试图像通过重叠地方式进行分块构造低分辨率测试图像块；对于每一个低分辨率图像块经过层级的稀疏自编码器提取稀疏特征；将稀疏特征通过预先学习得到的极速学习机投影到高分辨率像素空间得到高分辨率图像块；最后将高分辨率图像块聚合得到最终的高分辨率图像，完成图像超分辨率重建。
本发明与现有的技术相比具有以下优点：
1.本发明基于稀疏自编码的概念，引入了层级的稀疏自编码器学习图像块的稀疏特征，更准确的描述图像本身的方向及纹理性质；
2.本发明使用极速学习机用于重建，将低分辨率图像块的特征空间非线性的映射到高分辨率像素空间，提高了重建的准确性。
3.本发明构造了较大的训练样例集合训练网络，能对各种图像进行重构，包括自然图像和字符图像，从而增强了超分辨方法的通用性。
实验证明，本发明适用于各种自然的超分辨率重建，通过本方法进行重建后，重建图像的细节和纹理信息都保持得比较好。
附图说明
图1是本发明的总流程图；
图2是本发明训练使用的自然图像示意图；
图3是本发明训练使用的字符图像示意图；
图4是用本发明对测试Butterfly图像的重构效果图；
图5是用本发明对测试Flower图像的重构效果图；
图6是用本发明对测试Girl图像的重构效果图；
图7是用本发明对测试中文字符图像的重构效果图；
图8是用本发明对测试中文字符图像的重构效果图；(英文)
具体实施方法
随着信息科技的快速发展，人类获取的知识与日俱增，需要信息处理技术进一步发展，为人们提供更便捷和多样化的服务。图像作为重要的信息载体之一，在多个领域发挥着不可替代的作用。在实际应用中，从成像系统获取的图像，由于光学散焦和相对运动引起的模糊以及光电敏感器的散粒噪声污染，尤其是CCD等成像器件的欠采样和光学衍射的截止频率的频谱混叠，还有成像器件水平不理想，实际得到的图像质量比较差、分辨率比较低，满足不了实际应用的要求。图像超分辨率重建技术可以通过信号处理的手段将低分辨率的图像恢复成高分辨率的图像，在许多领域得到了广泛的应用。传统方法特征提取的不够准确，往往找不到准确的近邻，而且特征提取与重建步骤独自进行而导致重建不准确，重建图像的质量一般。本发明旨在提出一种基于稀疏自编码网络与极速学习的图像超分辨重建方法，改善特征提取的过程，将特征提取和重建集成在一个统一的网络框架中，提高重建图像的质量。
下面结合附图对本发明详细说明：
实施例1
本发明是一种基于稀疏自编码网络与极速学习的图像超分辨重建方法，参见图1，本发明对图像超分辨重构包括有如下步骤：
步骤1：输入训练样例图像对，用重叠的方式将低分辨率训练样例图像分割为大小为
Figure BDA0001354316530000041
的低分辨率训练样例图像块并拉成向量
Figure BDA0001354316530000042
用相同的方式将高分辨率训练样例图像分割为与低分辨率训练样例图像块
Figure BDA0001354316530000043
相对应的大小为
Figure BDA0001354316530000044
的高分辨率训练样例图像块并拉成向量
Figure BDA0001354316530000045
其中n表示低分辨率训练样例图像块向量的维度，N表示高分辨率和低分辨率训练样例图像块的规模，s表示上采样倍数；
步骤2：将低分辨率训练样例图像块向量
Figure BDA0001354316530000046
输入到稀疏自编码网络中，得到第一层输出稀疏权重矩阵W1，将低分辨率训练样例图像向量
Figure BDA0001354316530000047
与权值矩阵W1的转置矩阵
Figure BDA0001354316530000048
相乘并通过非线性函数g得到第一层稀疏特征
Figure BDA0001354316530000049
其中
Figure BDA00013543165300000410
步骤3：将第一层稀疏特征
Figure BDA00013543165300000411
输入到稀疏自编码网络中，得到第二层输出稀疏权重矩阵W2，将第一层稀疏特征
Figure BDA00013543165300000412
与权值矩阵W2的转置矩阵
Figure BDA00013543165300000413
相乘并通过非线性函数g得到第二层稀疏特征
Figure BDA00013543165300000414
其中
Figure BDA00013543165300000415
步骤4：以第二层稀疏特征
Figure BDA00013543165300000416
作为输入，对应的高分辨率训练样例图像块向量
Figure BDA00013543165300000417
为输出训练极速学习机网络，得到极速学习机输出权重W3o，其中极速学习机的随机初始化权重为W3i；
步骤5：输入待超分辨率重建的低分辨率测试图像X，按重叠的方式分割成大小为
Figure BDA00013543165300000418
的图像块并拉成向量形成低分辨率测试图像向量
Figure BDA00013543165300000419
步骤6：将低分辨率测试图像向量
Figure BDA00013543165300000420
输入到第一层稀疏自编码器得到第一层稀疏特征
Figure BDA00013543165300000421
其中
Figure BDA00013543165300000422
步骤7：将第一层稀疏特征
Figure BDA00013543165300000423
输入第二层稀疏自编码器得到第二层稀疏特征
Figure BDA00013543165300000424
其中
Figure BDA00013543165300000425
步骤8：将第二层稀疏特征
Figure BDA00013543165300000426
输入到极速学习机中，经过随机初始化权重为W3i随机投影为hi，其中
Figure BDA00013543165300000427
将随机投影经过极速学习机输出权重W3o投影到高分辨率像素空间
Figure BDA0001354316530000051
如
Figure BDA0001354316530000052
步骤9：将高分辨率图像块集
Figure BDA0001354316530000053
中的所有高分辨率图像输出小块
Figure BDA0001354316530000054
按顺序放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像Y*。
本实施例采用软件MATLAB 2012b作为仿真工具，计算机配置为Intel Core i5/2.4G/4G。本发明构造了较大的训练样例集合学习字典(网络)，能对各种图像进行重构，包括自然图像和字符图像，从而提升了超分辨方法的通用性。
实施例2
基于稀疏自编码网络与极速学习的图像超分辨重建方法同实施例1，参照附图1，本发明的基于稀疏自编码网络与极速学习的图像超分辨重建方法具体步骤包括：
1、一种基于表征学习与邻域约束嵌入的图像超分辨重构方法(基于稀疏自编码网络与极速学习的图像超分辨重建方法)，其特征在于，包括有如下步骤：
步骤1：输入训练样例图像对，参见图2、图3，用重叠的方式将低分辨率训练样例图像分割为大小为
Figure BDA00013543165300000515
的低分辨率训练样例图像块并拉成向量
Figure BDA00013543165300000516
用相同的方式将高分辨率训练样例图像分割为与低分辨率训练样例图像块
Figure BDA00013543165300000517
相对应的大小为
Figure BDA00013543165300000518
的高分辨率训练样例图像块并拉成向量
Figure BDA00013543165300000519
其中n表示低分辨率训练样例图像块向量的维度，N表示高分辨率和低分辨率训练样例图像块的规模，s表示上采样倍数；在这里n＝9，s＝3。所采用的训练图像对为图像处理领域中常用的标准自然图像和字符图像，如图2是一类(几幅)自然图像，其中包括花、鸟类和蝴蝶；图3是一类(几幅)字符图像，其中包括中文字符和英文字符；训练图像边缘信息比较丰富，展示的这些图像都是高分辨率的图像，对这些图像下采样得到低分辨率图像构成训练图像对。
步骤2：将低分辨率训练样例图像块向量
Figure BDA0001354316530000055
输入到稀疏自编码网络中，得到第一层输出稀疏权重矩阵W1，将低分辨率训练样例图像向量
Figure BDA0001354316530000056
与权值矩阵W1的转置矩阵
Figure BDA0001354316530000057
相乘并通过非线性函数g得到第一层稀疏特征
Figure BDA0001354316530000058
其中
Figure BDA0001354316530000059
步骤3：将第一层稀疏特征
Figure BDA00013543165300000510
输入到稀疏自编码网络中，得到第二层输出稀疏权重矩阵W2，将第一层稀疏特征
Figure BDA00013543165300000511
与权值矩阵W2的转置矩阵
Figure BDA00013543165300000512
相乘并通过非线性函数g得到第二层稀疏特征
Figure BDA00013543165300000513
其中
Figure BDA00013543165300000514
步骤4：以第二层稀疏特征
Figure BDA0001354316530000061
作为输入，对应的高分辨率训练样例图像块向量
Figure BDA0001354316530000062
为输出训练极速学习机网络，得到极速学习机输出权重W3o，其中极速学习机的随机初始化权重为W3i；
步骤5：输入待超分辨率重建的低分辨率测试图像X，如图4(a)、5(a)、图6(a)、图7(a)、图8(a)为5幅输入的低分辨率测试图像，按重叠的方式分割成大小为
Figure BDA0001354316530000063
的图像块并拉成向量形成低分辨率测试图像向量
Figure BDA0001354316530000064
步骤6：将低分辨率测试图像向量
Figure BDA0001354316530000065
输入到第一层稀疏自编码器得到第一层稀疏特征
Figure BDA0001354316530000066
其中
Figure BDA0001354316530000067
步骤7：将第一层稀疏特征
Figure BDA0001354316530000068
输入第二层稀疏自编码器得到第二层稀疏特征
Figure BDA0001354316530000069
其中
Figure BDA00013543165300000610
步骤8：将第二层稀疏特征
Figure BDA00013543165300000611
输入到极速学习机中，经过随机初始化权重为W3i随机投影为hi，其中
Figure BDA00013543165300000612
将随机投影经过极速学习机输出权重W3o投影到高分辨率像素空间
Figure BDA00013543165300000613
如
Figure BDA00013543165300000614
步骤9：将高分辨率图像块集
Figure BDA00013543165300000615
中的所有高分辨率图像输出小块
Figure BDA00013543165300000616
按顺序放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像Y*，如图4(d)、5(d)、图6(d)、图7(d)、图8(d)就是测试图像的高分辨率重构图。
本发明对图4(a)、图5(a)、图6(a)、图7(a)、图8(a)5幅比较模糊的输入的低分辨率测试图像进行重构，得到图4(d)图5(d)、图6(d)、图7(d)、图8(d)5幅高分辨率图像。图4(b)、图5(b)、图6(b)、图7(b)、图8(b)是Bicubic插值方法的重构结果，图4(c)、图5(c)、图6(c)、图7(c)、图8(c)是Yang(TIP2010)方法的重构结果。对比图4(b)(c)图5(b)(c)、图6(b)(c)、图7(b)(c)、图8(b)(c)的结果，本发明得到的图像边缘更加清晰，细节更加丰富，效果最好。
本发明的效果可以通过以下实验进一步说明：
实施例3
基于稀疏自编码网络与极速学习的图像超分辨重建方法同实施例1-2。
实验条件
本实验采用测试图像Butterfly、Flower、Girl、中文字符和英文字符5幅图像作为实验数据(图像)，采用软件MATLAB 2012b作为仿真工具，计算机配置为Intel Core i5/2.4G/4G。
实验内容
分别利用Bicubic插值方法、Yang(TIP2010)方法和本发明的方法，对各类输入测试图像进行重构：
首先，对Butterfly图像进行重构，结果如图4所示，其中图4(a)为输入低分辨率图像、图4(b)为Bicubic插值方法的重构结果、图4(c)为Yang(TIP2010)方法的重构结果、图4(d)为本发明的重构结果；
然后，对Flower图像进行重构，结果如图5所示，其中图5(a)为输入低分辨率图像、图5(b)为Bicubic插值方法的重构结果、图5(c)为Yang(TIP2010)方法的重构结果、图5(d)为本发明的重构结果；
其次，对Girl图像进行重构，结果如图6所示，其中图6(a)为输入低分辨率图像、图6(b)为Bicubic插值方法的重构结果、图6(c)为Yang(TIP2010)方法的重构结果、图6(d)为本发明的重构结果；
再次，对中文字符图像进行重构，结果如图7所示，其中图7(a)为输入低分辨率图像、图7(b)为Bicubic插值方法的重构结果、图7(c)为Yang(TIP2010)方法的重构结果、图7(d)为本发明的重构结果。
最后，对英文字符图像进行重构，结果如图8所示，其中图8(a)为输入低分辨率图像、图8(b)为Bicubic插值方法的重构结果、图8(c)为Yang(TIP2010)方法的重构结果、图8(d)为本发明的重构结果；
实验结果分析
从图4—图8中的对比图像可以看出，本发明在重建图像的视觉效果上要优于其它方法，得到了较为清晰的纹理细节信息，并且对于各种类型的输入图像都可以得到很好的重建效果。
表1.三种方法重构图像数值评价指标对比
Figure BDA0001354316530000071
Figure BDA0001354316530000081
由于人的主观因素的影响，视觉效果并不能精确的说明重构效果的好坏，用量化的指标能够更准确的反映重构效果，重构图像数值评价指标参见表1。从表1可见，对于五幅输入的低分辨率图像，Bicubic插值方法的结果最差，Yang(TIP2010)方法的结果有些提升。本发明相对于Bicubic插值方法、Yang(TIP2010)方法，在峰值信噪比、结构相似度和特征相似度方面有很大的提高，说明本发明的效果优于其他的方法。
综上，本发明公开了一种基于稀疏自编码网络与极速学习的图像超分辨重建方法，解决了特征提取不准确及特征提取与重建步骤独自进行而导致恢复不准确的问题。主要步骤为：输入低分辨率测试图像，对输入的低分辨率测试图像通过重叠的方式进行分块，构造低分辨率测试图像块；对于每一个低分辨率图像块经过层级的稀疏自编码器提取稀疏特征；将稀疏特征通过预先学习得到的极速学习机投影到高分辨率像素空间得到高分辨率图像块；最后将高分辨率图像块聚合得到最终的高分辨率图像，完成图像超分辨率重建。本发明采用多层稀疏自编码网络学习稀疏特征，将特征提取与重建集成在一个统一的网络框架中，有效提高了重建图像质量并改善细节信息，适用于各种自然图像的超分辨率重建。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (1)

1.一种基于稀疏自编码网络与极速学习的图像超分辨重建方法，其特征在于，包括有如下步骤：
步骤1：输入训练样例图像对，用重叠的方式将低分辨率训练样例图像分割为大小为
Figure FDA0001354316520000011
的低分辨率训练样例图像块并拉成向量
Figure FDA0001354316520000012
用相同的方式将高分辨率训练样例图像分割为与低分辨率训练样例图像块
Figure FDA0001354316520000013
相对应的大小为
Figure FDA0001354316520000014
的高分辨率训练样例图像块并拉成向量
Figure FDA0001354316520000015
其中n表示低分辨率训练样例图像块向量的维度，N表示高分辨率和低分辨率训练样例图像块的规模，s表示上采样倍数；
步骤2：将低分辨率训练样例图像块向量
Figure FDA0001354316520000016
输入到稀疏自编码网络中，得到第一层输出稀疏权重矩阵W1，将低分辨率训练样例图像向量
Figure FDA0001354316520000017
与权值矩阵W1的转置矩阵W1 T相乘并通过非线性函数g得到第一层稀疏特征
Figure FDA0001354316520000018
其中
Figure FDA0001354316520000019
步骤3：将第一层稀疏特征
Figure FDA00013543165200000110
输入到稀疏自编码网络中，得到第二层输出稀疏权重矩阵W2，将第一层稀疏特征
Figure FDA00013543165200000111
与权值矩阵W2的转置矩阵
Figure FDA00013543165200000112
相乘并通过非线性函数g得到第二层稀疏特征
Figure FDA00013543165200000113
其中
Figure FDA00013543165200000114
步骤4：以第二层稀疏特征
Figure FDA00013543165200000115
作为输入，对应的高分辨率训练样例图像块向量
Figure FDA00013543165200000116
为输出训练极速学习机网络，得到极速学习机输出权重W3o，其中极速学习机的随机初始化权重为W3i；
步骤5：输入待超分辨率重建的低分辨率测试图像X，按重叠的方式分割成大小为
Figure FDA00013543165200000117
的图像块并拉成向量形成低分辨率测试图像向量
Figure FDA00013543165200000118
M表示低分辨率测试图像向量的规模；
步骤6：将低分辨率测试图像向量
Figure FDA00013543165200000119
输入到第一层稀疏自编码器得到第一层稀疏特征
Figure FDA00013543165200000120
其中
Figure FDA00013543165200000121
步骤7：将第一层稀疏特征
Figure FDA0001354316520000021
输入第二层稀疏自编码器得到第二层稀疏特征
Figure FDA0001354316520000022
其中
Figure FDA0001354316520000023
步骤8：将第二层稀疏特征
Figure FDA0001354316520000024
输入到极速学习机中，经过随机初始化权重为W3i随机投影为hi，其中
Figure FDA0001354316520000025
将随机投影经过极速学习机输出权重W3o投影到高分辨率像素空间
Figure FDA0001354316520000026
如
Figure FDA0001354316520000027
步骤9：将高分辨率图像块集
Figure FDA0001354316520000028
中的所有高分辨率图像输出小块
Figure FDA0001354316520000029
按顺序放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像Y*。
CN201710589217.4A 2017-07-19 2017-07-19 基于稀疏自编码网络与极速学习的图像超分辨重建方法 Active CN107392855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710589217.4A CN107392855B (zh) 2017-07-19 2017-07-19 基于稀疏自编码网络与极速学习的图像超分辨重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710589217.4A CN107392855B (zh) 2017-07-19 2017-07-19 基于稀疏自编码网络与极速学习的图像超分辨重建方法

Publications (2)

Publication Number Publication Date
CN107392855A CN107392855A (zh) 2017-11-24
CN107392855B true CN107392855B (zh) 2021-10-22

Family

ID=60339292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710589217.4A Active CN107392855B (zh) 2017-07-19 2017-07-19 基于稀疏自编码网络与极速学习的图像超分辨重建方法

Country Status (1)

Country Link
CN (1) CN107392855B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272450B (zh) * 2018-08-22 2023-01-06 复旦大学 一种基于卷积神经网络的图像超分方法
CN110084752B (zh) * 2019-05-06 2023-04-21 电子科技大学 一种基于边缘方向和k均值聚类的图像超分辨重建方法
CN111445388A (zh) * 2019-12-27 2020-07-24 珠海大横琴科技发展有限公司 一种图像超分辨重建模型训练方法、船只跟踪方法及装置
CN114584789B (zh) * 2022-04-28 2022-07-19 南通裕荣电子商务有限公司 基于图像频谱的数据压缩传输方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455988A (zh) * 2013-09-17 2013-12-18 西安电子科技大学 基于结构自相似性与稀疏表示的超分辨率图像重构方法
CN105631807A (zh) * 2015-12-21 2016-06-01 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8538200B2 (en) * 2008-11-19 2013-09-17 Nec Laboratories America, Inc. Systems and methods for resolution-invariant image representation
CN101639937B (zh) * 2009-09-03 2011-12-14 复旦大学 一种基于人工神经网络的超分辨率方法
CN104778659A (zh) * 2015-04-15 2015-07-15 杭州电子科技大学 基于深度学习的单帧图像超分辨率重建方法
CN105069767B (zh) * 2015-07-07 2018-06-12 西安电子科技大学 基于表征学习与邻域约束嵌入的图像超分辨重构方法
CN106897737B (zh) * 2017-01-24 2019-10-11 北京理工大学 一种基于超限学习机的高光谱遥感图像地物分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455988A (zh) * 2013-09-17 2013-12-18 西安电子科技大学 基于结构自相似性与稀疏表示的超分辨率图像重构方法
CN105631807A (zh) * 2015-12-21 2016-06-01 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Low-rank sparse representation for single image super-resolution via self-similarity learning;Jiahe Shi等;《IEEE Xplore》;20160819;全文 *

Also Published As

Publication number Publication date
CN107392855A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
Cai et al. Coarse-to-fine sparse transformer for hyperspectral image reconstruction
Cho et al. Weakly-and self-supervised learning for content-aware deep image retargeting
CN107392855B (zh) 基于稀疏自编码网络与极速学习的图像超分辨重建方法
Yuan et al. Regional spatially adaptive total variation super-resolution with spatial information filtering and clustering
He et al. Beta process joint dictionary learning for coupled feature spaces with application to single image super-resolution
CN105631807B (zh) 基于稀疏域选取的单帧图像超分辨重建方法
Cheon et al. Generative adversarial network-based image super-resolution using perceptual content losses
CN102930518B (zh) 基于改进的稀疏表示的图像超分辨率方法
Li et al. A two-channel convolutional neural network for image super-resolution
CN112529776B (zh) 图像处理模型的训练方法、图像处理方法及装置
Guo et al. Multiscale semilocal interpolation with antialiasing
CN106920214A (zh) 空间目标图像超分辨率重建方法
CN113139904B (zh) 一种图像盲超分辨率方法及系统
CN108335264B (zh) 一种基于混合分辨率稀疏字典学习的图像超分辨率方法
CN111640067B (zh) 基于三通道卷积神经网络的单幅图像超分辨率重建方法
Muhammad et al. Multi-scale Xception based depthwise separable convolution for single image super-resolution
CN112837220B (zh) 一种提高红外图像分辨率的方法及其用途
Li et al. Image reflection removal using end‐to‐end convolutional neural network
CN103390266A (zh) 一种图像超分辨率方法和装置
Yang et al. A novel regularized K-SVD dictionary learning based medical image super-resolution algorithm
CN109697695B (zh) 可见光图像引导的超低分辨率热红外图像插值算法
Yu et al. Single-image super-resolution based on regularization with stationary gradient fidelity
Yin et al. Fractional-order difference curvature-driven fractional anisotropic diffusion equation for image super-resolution
Lu et al. Utilizing homotopy for single image superresolution
CN114022363A (zh) 图像超分辨率重建方法、装置以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant