CN110246085A - 一种单图像超分辨率方法 - Google Patents
一种单图像超分辨率方法 Download PDFInfo
- Publication number
- CN110246085A CN110246085A CN201910425646.7A CN201910425646A CN110246085A CN 110246085 A CN110246085 A CN 110246085A CN 201910425646 A CN201910425646 A CN 201910425646A CN 110246085 A CN110246085 A CN 110246085A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- resolution
- reconstruction
- rebuild
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000001154 acute effect Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 24
- 230000001537 neural effect Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种单图像超分辨率方法，所述方法中的图像重建模型将传统的单通式重建结构改为并行式结构，使用浅层和深层两种超分辨率网络，利用两网络的深浅差异，将图像超分辨率过程人为划分为主体重建和细节重建部分，可以将超分辨率任务进一步细分，使得以浅层网络为核心的主体重建结构可以专注于对图像底层内容的处理，以深层网络为核心的细节重建结构可以专注于对图像高层内容的处理。本发明不仅可应用至其他基于深度学习的端到端单图像超分辨率模型，有效降低该单图像超分辨率模型的训练开销，同时提升准确率，更适用于特征提取阶段中图像尺寸不会被压缩的残差网络结构。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种单图像超分辨率方法。
背景技术
单图像超分辨率是指只用单幅图像，从观测到的低分辨率图像重建出对应的高分辨率图像，它被广泛应用于视觉成像、监控设备、卫星图像和医学影像等领域，也可作为许多图像算法的前置输入。图像重建任务要求算法模型必须兼顾低分辨率图像的高层与低层特征，这就使得在模型在层间传递过程中必须始终保留丰富的特征，这将严重影响模型在训练时的稳定性，使得模型在提高深度时更容易遭遇模型退化问题，同时也一定程度上制约了模型的深度。目前已经公开的算法大多通过改进分类算法的内部结构用以适应图像超分辨率任务，却并没有从结构本身将图像分类算法与图像超分辨率算法进行关联，因此仍存在进一步提升的空间。
发明内容
本发明提供了一种单图像超分辨率方法，所述方法中的图像重建模型将传统的单通式重建结构改为并行式结构，使用浅层和深层两种超分辨率网络，利用两网络的深浅差异，将图像超分辨率过程人为划分为主体重建和细节重建部分，可以将超分辨率任务进一步细分，使得以浅层网络为核心的主体重建结构可以专注于对图像底层内容（低频特征）的处理，以深层网络为核心的细节重建结构可以专注于对图像高层内容（高频特征）的处理。本发明可简单便捷的应用至其他基于深度学习的端到端单图像超分辨率模型，有效降低该单图像超分辨率模型的训练开销，同时提升准确率。由于大多数图像分类网络在提取图像高层特征时会对图像的原始尺寸进行压缩（如Alex Net和VGG Net），而在图像超分辨率任务中对图像原始尺寸进行压缩将会大量丢失图像信息，因此本发明更适用于特征提取阶段中图像尺寸不会被压缩的残差网络结构。
本发明的具体技术方案如下：
本发明中的图像重建模型分为主体重建模块和细节重建模块，图像重建模型接收低分辨率图像输入，并分别将其输入到由负责主体重建的浅层卷积神经网络模型构成的主体重建模块和由负责细节重建的深层卷积神经网络模型构成的细节重建模块，主体重建模块和细节重建模块在各自模块中完成图像放大，图像重建模型在输出阶段对图像主体和图像细节进行合并。
优选的，主体重建模块的重建流程如下：将低分辨率图像输入到浅层卷积神经网络，使得浅层卷积神经网络在训练早期就承担模型对图像主体进行重建的任务，最后使用像素混洗算法对图像特征进行整合，生成与目标图像尺寸一致的图像。
优选的，细节重建模块的重建流程如下：将低分辨率图像输入到深层卷积神经网络，使得深层卷积神经网络在训练过程中以辅助的形式出现，主要完成对图像细节部分的重建，最后使用像素混洗算法对图像特征进行整合，生成与目标图像尺寸一致的图像。
附图说明
图1为本发明的整体流程图。
图2为本发明中图像重建模型的重建流程图。
图3为本发明中图像重建模型的网络结构图。
具体实施方式
参照图1，本发明的一个实施例包括了如下步骤：
（1）训练数据准备阶段：将训练数据按训练参数裁剪为相同大小的低分辨率图像与高分辨率图像。
（2）加载预训练参数：直接使用图像分类算法中的特征提取部分。
（3）图像重建阶段：图像重建模型分为主体重建模块和细节重建模块，图像重建模型接收低分辨率图像输入，并分别将其输入到由负责主体重建的浅层卷积神经网络模型构成的主体重建模块和由负责细节重建的深层卷积神经网络模型构成的细节重建模块，主体重建模块和细节重建模块在各自模块中完成图像放大，图像重建模型在输出阶段对图像主体和图像细节进行合并。
（4）计算损失阶段：使用均方误差作为图像重建模型的损失函数，用于计算输出值与目标值之间的误差。
（5）权重更新阶段：使用Adam算法作为图像重建模型的优化器，其中Adam优化器使用、、作为初始参数。
（6）输出模型文件阶段：当损失值或评价指标PSNR值不在发生剧烈变化时，或训练次数达到最大迭代次数上限时，输出训练好的模型文件。
（7）测试数据准备阶段：在测试过程中，测试数据集不进行额外的裁剪。
（8）加载模型文件阶段：调用训练好的模型文件，将测试数据输入模型。
（9）获得高分辨率图像输出，对模型训练进行评估。
参照图2，本发明实施例给出了一个优选的图像重建模型的流程：（a）将低分辨率图像输入到浅层卷积神经网络，使得浅层卷积神经网络在训练早期就承担模型对图像主体进行重建的任务，最后使用像素混洗算法对图像特征进行整合，生成与目标图像尺寸一致的图像。（b）将低分辨率图像输入到深层卷积神经网络，使得深层卷积神经网络在训练过程中以辅助的形式出现，主要完成对图像细节部分的重建，最后使用像素混洗算法对图像特征进行整合，生成与目标图像尺寸一致的图像。（c）接收主体重建模块和细节重建模块中的输出结果，并对两者进行叠加，得到最后的高分辨率图像。
参照图3，本发明实施例中图像重建模型的网络结构，主要包括如下步骤：
（1）使用单层卷积结构，对输入图像的通道数进行调整，调整至符合模型输入的通道数。
（2）使用多层残差块结构，在保持输入输出特征尺寸不变的前提下，提取图像的高层特征。
（3）使用稠密跳跃连接结构，人为连接各层残差块的输出，为每层残差结构引入不同层次的图像特征。
（4）使用单层卷积结构对图像特征的通道数进行调整，并使用像素混洗结构完成高分辨率图像的重建。
（5）浅层网络除特征提取部分仅使用简单卷积层外，其余与深层网络类似。
（6）合并浅层网络与深层网络重建结果，获得最后的高超分辨率图像输出。
Claims (4)
1.一种单图像超分辨率方法，包括图像重建模型，其特征在于：所述图像重建模型分为主体重建模块和细节重建模块，图像重建模型接收低分辨率图像输入，并分别将其输入到由负责主体重建的浅层卷积神经网络模型构成的主体重建模块和由负责细节重建的深层卷积神经网络模型构成的细节重建模块，主体重建模块和细节重建模块在各自模块中完成图像放大，图像重建模型在输出阶段对图像主体和图像细节进行合并。
2.根据权利要求1所述的方法，其中所述主体重建模块的重建流程如下：将低分辨率图像输入到浅层卷积神经网络，使得浅层卷积神经网络在训练早期就承担模型对图像主体进行重建的任务，最后使用像素混洗算法对图像特征进行整合，生成与目标图像尺寸一致的图像。
3.根据权利要求1所述的方法，其中所述细节重建模块的重建流程如下：将低分辨率图像输入到深层卷积神经网络，使得深层卷积神经网络在训练过程中以辅助的形式出现，主要完成对图像细节部分的重建，最后使用像素混洗算法对图像特征进行整合，生成与目标图像尺寸一致的图像。
4.根据权利要求1或2或3所述的方法，所述方法还包括：
（1）训练数据准备阶段：将训练数据按训练参数裁剪为相同大小的低分辨率图像与高分辨率图像；
（2）加载预训练参数：直接使用图像分类算法中的特征提取部分；
（3）计算损失阶段：使用均方误差作为图像重建模型的损失函数，用于计算输出值与目标值之间的误差；
（4）权重更新阶段：使用Adam算法作为图像重建模型的优化器，其中Adam优化器使用、、作为初始参数；
（5）输出模型文件阶段：当损失值或评价指标PSNR值不在发生剧烈变化时，或训练次数达到最大迭代次数上限时，输出训练好的模型文件；
（6）测试数据准备阶段：在测试过程中，测试数据集不进行额外的裁剪；
（7）加载模型文件阶段：调用训练好的模型文件，将测试数据输入模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910425646.7A CN110246085A (zh) | 2019-05-21 | 2019-05-21 | 一种单图像超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910425646.7A CN110246085A (zh) | 2019-05-21 | 2019-05-21 | 一种单图像超分辨率方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110246085A true CN110246085A (zh) | 2019-09-17 |
Family
ID=67884797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910425646.7A Pending CN110246085A (zh) | 2019-05-21 | 2019-05-21 | 一种单图像超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110246085A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111355965A (zh) * | 2020-02-28 | 2020-06-30 | 中国工商银行股份有限公司 | 一种基于深度学习的图像压缩还原方法及装置 |
| TWI733341B (zh) * | 2020-02-20 | 2021-07-11 | 瑞昱半導體股份有限公司 | 用於圖像放大與增強的方法與裝置 |
| CN113313636A (zh) * | 2020-02-27 | 2021-08-27 | 瑞昱半导体股份有限公司 | 用于图像放大与增强的方法与装置 |
| CN115358929A (zh) * | 2022-10-19 | 2022-11-18 | 中科方寸知微(南京)科技有限公司 | 压缩图像超分方法、图像压缩方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064407A (zh) * | 2018-09-13 | 2018-12-21 | 武汉大学 | 基于多层感知机层的密集连接网络图像超分辨率方法 |
| CN109509149A (zh) * | 2018-10-15 | 2019-03-22 | 天津大学 | 一种基于双通道卷积网络特征融合的超分辨率重建方法 |
| CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
-
2019
- 2019-05-21 CN CN201910425646.7A patent/CN110246085A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064407A (zh) * | 2018-09-13 | 2018-12-21 | 武汉大学 | 基于多层感知机层的密集连接网络图像超分辨率方法 |
| CN109509149A (zh) * | 2018-10-15 | 2019-03-22 | 天津大学 | 一种基于双通道卷积网络特征融合的超分辨率重建方法 |
| CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| YU J ET AL.: "Wide activation for efficient and accurate image super-resolution", 《ARXIV:1808.08718》 * |
| 姚琴娟 等: "基于双通道CNN的单幅图像超分辨率重建", 《华东理工大学学报（自然科学版）》 * |
| 高媛 等: "基于深度可分离卷积和宽残差网络的医学影像超分辨率重建", 《计算机应用》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI733341B (zh) * | 2020-02-20 | 2021-07-11 | 瑞昱半導體股份有限公司 | 用於圖像放大與增強的方法與裝置 |
| CN113313636A (zh) * | 2020-02-27 | 2021-08-27 | 瑞昱半导体股份有限公司 | 用于图像放大与增强的方法与装置 |
| CN111355965A (zh) * | 2020-02-28 | 2020-06-30 | 中国工商银行股份有限公司 | 一种基于深度学习的图像压缩还原方法及装置 |
| CN111355965B (zh) * | 2020-02-28 | 2022-02-25 | 中国工商银行股份有限公司 | 一种基于深度学习的图像压缩还原方法及装置 |
| CN115358929A (zh) * | 2022-10-19 | 2022-11-18 | 中科方寸知微(南京)科技有限公司 | 压缩图像超分方法、图像压缩方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110246085A (zh) | 一种单图像超分辨率方法 | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN110097550B (zh) | 一种基于深度学习的医学图像分割方法及系统 | |
| CN110197468A (zh) | 一种基于多尺度残差学习网络的单图像超分辨重建算法 | |
| CN112653899B (zh) | 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法 | |
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| CN107240066A (zh) | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 | |
| CN109509149A (zh) | 一种基于双通道卷积网络特征融合的超分辨率重建方法 | |
| CN108447036A (zh) | 一种基于卷积神经网络的低光照图像增强方法 | |
| CN107730451A (zh) | 一种基于深度残差网络的压缩感知重建方法和系统 | |
| CN108537733A (zh) | 基于多路径深度卷积神经网络的超分辨率重建方法 | |
| CN109118432A (zh) | 一种基于快速循环卷积网络的图像超分辨率重建方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN107633520A (zh) | 一种基于深度残差网络的超分辨率图像质量评估方法 | |
| CN106204489A (zh) | 结合深度学习与梯度转换的单幅图像超分辨率重建方法 | |
| CN107133935A (zh) | 一种基于深度卷积神经网络的单图像精细去雨方法 | |
| CN109636769A (zh) | 基于双路密集残差网络的高光谱和多光谱图像融合方法 | |
| CN111127374A (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| CN112184554A (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN110084773A (zh) | 一种基于深度卷积自编码网络的图像融合方法 | |
| CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
| CN110120019A (zh) | 一种基于特征增强的残差神经网络及图像去块效应方法 | |
| CN106683056A (zh) | 一种机载光电红外数字图像处理方法及装置 | |
| CN110136060A (zh) | 基于浅层密集连接网络的图像超分辨率重建方法 | |
| CN109961434A (zh) | 面向层级语义衰减的无参考图像质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190917 |
|
| WD01 | Invention patent application deemed withdrawn after publication |