CN112330540A - 一种基于多尺度优化的图像超分辨率方法 - Google Patents
一种基于多尺度优化的图像超分辨率方法 Download PDFInfo
- Publication number
- CN112330540A CN112330540A CN202011234933.9A CN202011234933A CN112330540A CN 112330540 A CN112330540 A CN 112330540A CN 202011234933 A CN202011234933 A CN 202011234933A CN 112330540 A CN112330540 A CN 112330540A
- Authority
- CN
- China
- Prior art keywords
- scale
- sampling
- feature
- method based
- layers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000005457 optimization Methods 0.000 title claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 230000010354 integration Effects 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度优化的图像超分辨率方法，包括训练样本、数据增强模块、联集特征采样模块、多尺度特征图输出模块，所述数据增强模块包括：多尺度下采样增强算法、高斯滤波增强算法和混合增强算法，所述联集特征采样模块包括两个卷积层、两个残差整合层、两个特征拼接层和两个上采样卷积层，所述多尺度特征图输出模块包括多尺度因子、上采样卷积核、FC层、RelU层、输出特征矩阵和映射特征矩阵。本发明用于模糊图像进行高分辨率修复得到高清图像，本发明在游戏、电影、相机、医疗影像等多个领域都有广泛的应用。
Description
技术领域
本发明涉及图像处理领域，具体为一种基于多尺度优化的图像超分辨率方法。
背景技术
超分辨率图像重建是指用信号处理和图像处理的方法，通过软件算法的方式将已有的低分辨率图像转换成高分辨率图像的技术。它在视频监控、图像打印、刑侦分析、医学图像处理、卫星成像等领域有较广泛的应用。
目前广泛认可的单幅图像SR方法主要为基于结构自相似性的SR方法。基于正则化约束的SR方法将附加信息作为正则化约束项加入到图像重构过程中，将图像重构问题转换为寻求满足特定限制条件解的最优化问题。基于结构自相似性的SR方法利用了图像广泛具有的结构自相似性，并将这种结构自相似性作为图像重构过程中的附加信息。近年来相继出现了一些利用非局部自相似结构的SR方法，这种方法的基本思路是在整幅图像中搜索相同尺度的相似图像块，利用这些相似图像块所提供的互补信息重构高分辨率图像。由于图像自身中相同尺度相似图像块所提供的附加信息具有一定的局限性，因而制约了这种方法图像重构效果的进一步提升。构建与图像高、低频子图所对应的高、低频码本，并通过高频码本所提供的附加信息实现图像重构，这种方法实际上是利用了图像自身不同尺度相似图像块所提供的附加信息将相同尺度和不同尺度相似图像块所提供的附加信息均加入到图像重构过程中，利用相同尺度相似图像块就如同利用多幅低分辨率图像，而不同尺度相似图像块又提供了不同分辨率图像块间的对应关系文献在整幅图像中搜索具有相似结构的图像块,因此存在运算复杂度较高的问题。
发明内容
本发明的目的是针对现有技术的缺陷，提供一种基于多尺度优化的图像超分辨率方法，以解决上述背景技术提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于多尺度优化的图像超分辨率方法，包括训练样本、数据增强模块、联集特征采样模块和多尺度特征图输出模块。
作为本发明的一种优选技术方案，所述数据增强模块包括：多尺度下采样增强算法、高斯滤波增强算法和混合增强算法。
作为本发明的一种优选技术方案，所述联集特征采样模块包括两个卷积层、两个残差整合层、两个特征拼接层和两个上采样卷积层。
作为本发明的一种优选技术方案，所述多尺度特征图输出模块包括多尺度因子、上采样卷积核、FC层、RelU层、输出特征矩阵和映射特征矩阵。
作为本发明的一种优选技术方案，具体方法如下：
步骤一：成对的训练样本经过数据增强模块得到待训练数据；
步骤二：待训练数据经过联集特征采样得到中间采样特征图；
步骤三：由不同的尺度因子生成多个上采样卷积核；
步骤四：中间采样特征图经过多个上采样卷积核得到多个输出特征矩阵；
步骤五：多个输出特征矩阵经过FC层全连接操作、RelU层激活计算、FC层全连接操作从而得到位置映射特征矩阵。
本发明的有益效果是：本发明用于模糊图像进行高分辨率修复得到高清图像，本发明在游戏、电影、相机、医疗影像等多个领域都有广泛的应用。
附图说明
图1为本发明的流程图；
图2为本发明的效果图，其中附图2(左)为待修复区域，附图2(右)为本发明提供方法训练得到模型的输出结果。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易被本领域人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
实施例：请参阅图1-2，本发明提供一种技术方案：一种基于多尺度优化的图像超分辨率方法，包括训练样本、数据增强模块、联集特征采样模块、多尺度特征图输出模块。
所述数据增强模块包括：多尺度下采样增强算法、高斯滤波增强算法和混合增强算法。所述联集特征采样模块包括两个卷积层、两个残差整合层、两个特征拼接层和两个上采样卷积层。所述多尺度特征图输出模块包括多尺度因子、上采样卷积核、FC层、RelU层、输出特征矩阵和映射特征矩阵。
具体方法如下：
步骤一：成对的训练样本经过数据增强模块得到待训练数据；
步骤二：待训练数据经过联集特征采样得到中间采样特征图；
步骤三：由不同的尺度因子生成多个上采样卷积核；
步骤四：中间采样特征图经过多个上采样卷积核得到多个输出特征矩阵；
步骤五：多个输出特征矩阵经过FC层全连接操作、RelU层激活计算、FC层全连接操作从而得到位置映射特征矩阵。
参见图1，上述发明所述方法主要包括训练样本、数据增强模块、联集特征采样模块、多尺度特征图输出模块。
目前有一份待训练的模糊样本和清晰样本数据，经过上述方法构建的模型进行训练，包括正则化方法、数据增强、数据清晰等技巧，使得模型训练区域收敛后得到较优模型参数固化。
输入一张模糊图片，经过联集特征采样得到中间采样特征图，经过多个上采样卷积核得到多个输出特征矩阵，经过多个上采样卷积核得到多个输出特征矩阵，经过FC层全连接操作、RelU层激活计算、FC层全连接操作最终输出的便是修复好的高分辨率图像，具体效果如图2所示。
本发明用于模糊图像进行高分辨率修复得到高清图像，本发明在游戏、电影、相机、医疗影像等多个领域都有广泛的应用。
上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (5)
1.一种基于多尺度优化的图像超分辨率方法，其特征在于：包括训练样本、数据增强模块、联集特征采样模块和多尺度特征图输出模块。
2.根据权利要求1所述的一种基于多尺度优化的图像超分辨率方法，其特征在于：所述数据增强模块包括：多尺度下采样增强算法、高斯滤波增强算法和混合增强算法。
3.根据权利要求1所述的一种基于多尺度优化的图像超分辨率方法，其特征在于：所述联集特征采样模块包括两个卷积层、两个残差整合层、两个特征拼接层和两个上采样卷积层。
4.根据权利要求1所述的一种基于多尺度优化的图像超分辨率方法，其特征在于：所述多尺度特征图输出模块包括多尺度因子、上采样卷积核、FC层、RelU层、输出特征矩阵和映射特征矩阵。
5.根据权利要求1所述的一种基于多尺度优化的图像超分辨率方法，其特征在于：具体方法如下：
步骤一：成对的训练样本经过数据增强模块得到待训练数据；
步骤二：待训练数据经过联集特征采样得到中间采样特征图；
步骤三：由不同的尺度因子生成多个上采样卷积核；
步骤四：中间采样特征图经过多个上采样卷积核得到多个输出特征矩阵；
步骤五：多个输出特征矩阵经过FC层全连接操作、RelU层激活计算、FC层全连接操作从而得到位置映射特征矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011234933.9A CN112330540A (zh) | 2020-11-08 | 2020-11-08 | 一种基于多尺度优化的图像超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011234933.9A CN112330540A (zh) | 2020-11-08 | 2020-11-08 | 一种基于多尺度优化的图像超分辨率方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112330540A true CN112330540A (zh) | 2021-02-05 |
Family
ID=74316539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011234933.9A Pending CN112330540A (zh) | 2020-11-08 | 2020-11-08 | 一种基于多尺度优化的图像超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330540A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986029A (zh) * | 2018-07-03 | 2018-12-11 | 南京览笛信息科技有限公司 | 文字图像超分辨率重建方法、系统、终端设备及存储介质 |
| CN110706154A (zh) * | 2019-08-28 | 2020-01-17 | 西北大学 | 一种基于层次化残差神经网络的图像超分辨率方法 |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN111145096A (zh) * | 2019-12-26 | 2020-05-12 | 苏州大学 | 基于递归极深网络的超分辨图像重构方法及系统 |
| CN111259758A (zh) * | 2020-01-13 | 2020-06-09 | 中国矿业大学 | 一种针对密集区域的两阶段遥感图像目标检测方法 |
-
2020
- 2020-11-08 CN CN202011234933.9A patent/CN112330540A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986029A (zh) * | 2018-07-03 | 2018-12-11 | 南京览笛信息科技有限公司 | 文字图像超分辨率重建方法、系统、终端设备及存储介质 |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN110706154A (zh) * | 2019-08-28 | 2020-01-17 | 西北大学 | 一种基于层次化残差神经网络的图像超分辨率方法 |
| CN111145096A (zh) * | 2019-12-26 | 2020-05-12 | 苏州大学 | 基于递归极深网络的超分辨图像重构方法及系统 |
| CN111259758A (zh) * | 2020-01-13 | 2020-06-09 | 中国矿业大学 | 一种针对密集区域的两阶段遥感图像目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bashir et al. | A comprehensive review of deep learning-based single image super-resolution | |
| CN111192200A (zh) | 基于融合注意力机制残差网络的图像超分辨率重建方法 | |
| CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
| CN109636769A (zh) | 基于双路密集残差网络的高光谱和多光谱图像融合方法 | |
| CN116152120B (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
| CN112001843B (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| CN111861884B (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
| CN112949636B (zh) | 一种车牌超分辨率识别方法、系统及计算机可读介质 | |
| CN112669248A (zh) | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 | |
| CN111340744A (zh) | 基于注意力双流深度网络的低质量图像降采样方法及其系统 | |
| CN113298718A (zh) | 一种单幅图像超分辨率重建方法及系统 | |
| CN114581347B (zh) | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 | |
| CN116664397B (zh) | TransSR-Net结构化图像超分辨重建方法 | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| Yang et al. | Image super-resolution reconstruction based on improved Dirac residual network | |
| CN116703725A (zh) | 感知多重特征的双分支网络实现针对真实世界文本图像的超分辨率的方法 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN117078516B (zh) | 基于残差混合注意力的矿井图像超分辨率重建方法 | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
| CN117593199A (zh) | 一种基于高斯先验分布自注意力的双流遥感图像融合方法 | |
| CN115546030B (zh) | 基于孪生超分辨率网络的压缩视频超分辨率方法及系统 | |
| CN116797541A (zh) | 一种基于Transformer的肺部CT图像超分辨率重建方法 | |
| Yang et al. | RSAMSR: A deep neural network based on residual self-encoding and attention mechanism for image super-resolution | |
| CN111899166A (zh) | 一种基于深度学习的医学高光谱显微图像超分辨重构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |