CN111754400B - 一种高效的图片超分辨率重建方法 - Google Patents
一种高效的图片超分辨率重建方法 Download PDFInfo
- Publication number
- CN111754400B CN111754400B CN202010484726.2A CN202010484726A CN111754400B CN 111754400 B CN111754400 B CN 111754400B CN 202010484726 A CN202010484726 A CN 202010484726A CN 111754400 B CN111754400 B CN 111754400B
- Authority
- CN
- China
- Prior art keywords
- convolution
- picture
- super
- resolution
- mixblock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000003321 amplification Effects 0.000 claims 1
- 238000003199 nucleic acid amplification method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 2
- 230000003993 interaction Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
Abstract
本发明公开了一种高效的图片超分辨率重建方法，本发明基于卷积神经网络提出一种新的图片超分辨率网络结构，该网络结构命名为SESRNet，其中采用多尺度卷积融合模块可以高效的获取不同尺度的图像特征并且计算量大大降低。SESRNet主要由5个Mixblock组成，其所需要的计算量只有2.8GFLOPS，比主流的FSRCNN的6GFLOPS减少了一半的计算量。本发明中的图片超分辨率网络在保持图片还原的效果下，大大降低了计算量，使得边缘智能物联网终端设备上可以更加顺畅的将图片还原至合适的效果,提升AIoT设备的交互效果。
Description
技术领域
本发明属于人工智能领域，涉及一种高效的图片超分辨率重建方法。
背景技术
随着深度学习在图像领域的应用，在各个领域都有了长足的进步，其中图像超分辨率重建技术已经开始适用图像处理的各个方面，如视频影音、医疗诊断等领域。算法成熟的同时，可穿戴设备等物联网级的应用也迎来大规模爆发，不同设备有不同的显示方式和不同的分辨率屏幕，必须将较低质量的视频图片的提升到一定高的分辨率，才能进一步提升设备的交互体验。
目前一些基于卷积神经网络的超分辨率重建算法在训练和测试阶段都需要较长的时间和巨大的内存消耗。主要原因是这些模型的输入是低分辨率图像是通过插值变换生成的大尺寸图片，网络没有采用任何下采样操作，这些方案将带来巨大的计算成本。
发明内容
本发明针对现有技术的不足，提出了一种高效的图片超分辨率重建方法。
本发明在保证图片还原的效果的基础上，降低算力消耗，本发明提出了一种新的图片超分辨率网络结构-超级高效图片超分辨率网络(SESRNet)，其中采用一种多尺度卷积融合模块(Mixblock)可以高效的获取不同尺度的图片特征并且计算量大大降低。SESRNet由5个Mixblock组成，其计算量只有2.8GFLOPS，比主流的FSRCNN的6GFLOPS减少了一半的计算量。
本发明所采用图像重建方法包括如下步骤：
步骤1、数据预处理；分别在训练集、验证集、测试集原始图像上，将RGB图片转换成YCbCr通道。
步骤2、数据增强；读取预处理后的图像，对图像进行水平翻转、垂直翻转和90度旋转。数据扩增的目的在于在训练阶段可以防止模型的过拟合。
步骤3、搭建超分辨率重建网络模型；
将低像素图片包含两个平行操作，一个分支是直接进行Bilinear操作得到一个2倍的图片，另外一个分支是经过第一个3*3卷积后，采用5层的Mixblock组成一个Residualbody，在Mixblock提取特征前增加一个LSC，来充分利用低层次的特征；将初始3*3卷积后的特征图和经过5个Mixblock后的特征图拼接通过3*3卷积进行融合；最后经过Pixelshuffle重新排列像素来得到一个2倍的图片，最后将这两张图片加权得到最终的图片；其中LSC为Long Skip Contact。
所述的每个Mixblock结构为：采用残差结构，在block中先通过一个1*1的卷积层扩增通道数，激活层采用PReLU，在另外一个1*1的卷积之后，一半通道数进行5*5卷积，另一半进行3*3卷积，最后拼接到一起后，接一个1*1卷积层进行融合。
步骤4、获取最优参数；通过反向传播算法对改造后的超分辨率重建网络进行训练，以拟合数据。通过评价指标L1 Loss来保存最好的训练模型的权重。
作为优选，经过第一个3*3卷积后输出的特征通道数为4通道；
每个Mixblock中通过第一个1*1卷积后扩增到72通道，通过第二个1*1卷积后压缩到12通道，拆分为上下两个6通道分别进行3*3卷积和5*5卷积之后重新拼接后，通过1*1卷积融合最后输出为4通道；
经过5个Mixblock之后的4通道特征图和LSC操作传输过来的4通道特征图进行拼接，经过一个3*3卷积输出一个4通道特征图。
本发明的有益效果是：
1)本发明提出一种图片超分辨率网络方法(SESRNet)，大大降低了算力消耗。
2)本发明提出的MixBlock方法，证明了混合卷积尺度的残差块可以在超分辨率重建领域发挥重要功效。
附图说明
图1是本发明图片超分辨率重建方法算法的流程示意图。
图2是本发明SESRNet网络结构示意图。
图3是本发明Mixblock结构示意图。
具体实施方式
下面结合附图和具体实施对本发明作进一步说明。
用于实施的硬件环境是:8vCPU/64G内存，GPU为NVIDIA K80，软件运行环境是CUDA9、python3.6、pytorch 1.0。
如图1所示，基于图片超分辨率重建方法算法具体步骤如下：
A)采用同一分辨率的设备采集上千张不同图片作为标签数据，并将图片缩小2倍作为训练数据。将原始数字病理图像分为训练集、验证集、测试集，每一个集合又包含高分辨率和低分辨率样本。训练方式为有监督的学习。
B)在数据增强时，需要保证高分辨率图片和低分辨率图片做同样的操作(如旋转度数)。
C)将低分辨率图片作为输入，经过如图3所示的SESRNet网络进行2倍放大，得到高分辨率图片。
D)将上述步骤中得到的高分辨率图片跟同一内容的原始高分辨率图片进行逐像素比对，采用L1作为损失函数。
E)结合损失函数得到的损失值，使用Min-batch随机动量优化方法对SESRNet进行权重参数调整。
F)经过500个周期循环训练，损失值收敛到有一个极小值，保存模型权重参数。
如图2所示，本发明设计构建的MixBlock，采用残差结构，在block中先通过一个1*1的卷积层扩增通道数，激活层采用PReLU，在另外一个1*1的卷积之后，一半通道数进行5*5卷积，另一半进行3*3卷积，最后拼接(concat)到一起后，接一个1*1卷积层进行融合。
如图3所示，本发明设计构建的SESRNet网络结构包含两个平行操作，一个分支是直接进行Bilinear操作得到一个2倍的图片，另外一个分支是由一个LSC(Long SkipContact)操作，将初始3*3卷积后的特征图和经过5个Mixblock后的特征图拼接(concat)通过3*3卷积进行融合，最后经过Pixelshuffle重新排列像素来得到一个2倍的图片，最后将这两张图片加权得到最终的图片。
Claims (4)
1.一种图片超分辨率重建方法，其特征在于，该方法具体包括以下步骤：
步骤1、对原始图片进行数据预处理，划分为训练集、验证集、测试集，每个集合包含高分辨率图片和低分辨率图片；
步骤2、读取预处理后的图片，对图片进行数据增强；
步骤3、搭建超分辨率重建网络模型；
对所述低分辨率图片执行两个平行分支操作，一个分支是直接进行Bilinear操作得到一个2倍放大的图片，另外一个分支是经过第一个3*3卷积后，采用5层的Mixblock组成一个Residualbody，在Mixblock提取特征前增加一个LSC，将初始3*3卷积后的特征图和经过5个Mixblock后的特征图拼接通过3*3卷积进行融合；最后经过Pixelshuffle重新排列像素来得到一个2倍放大的图片，最后将这两张图片加权得到最终的图片；其中LSC为Long SkipContact；
所述的每个Mixblock结构为：采用残差结构，在block中先通过一个1*1的卷积层扩增通道数，激活层采用PReLU，在第二个1*1卷积之后，一半通道数进行5*5卷积，另一半进行3*3卷积，最后拼接到一起后，接一个1*1卷积层进行融合；
步骤4、获取最优参数；通过反向传播算法对搭建后的超分辨率重建网络进行训练，以拟合数据；通过评价指标L1 Loss来保存最好的训练模型的权重。
2.根据权利要求1所述的一种图片超分辨率重建方法，其特征在于：
经过第一个3*3卷积后输出的特征通道数为4通道；
每个Mixblock中通过第一个1*1卷积后扩增到72通道，通过第二个1*1卷积后压缩到12通道，拆分为上下两个6通道分别进行3*3卷积和5*5卷积之后重新拼接后，通过1*1卷积融合最后输出为4通道；
经过5个Mixblock之后的4通道特征图和LSC操作传输过来的4通道特征图进行拼接，经过一个3*3卷积输出一个4通道特征图。
3.根据权利要求1所述的一种图片超分辨率重建方法，其特征在于：所述的数据预处理为分别在训练集、验证集、测试集原始图像上，将RGB图片转换成YCbCr通道。
4.根据权利要求1所述的一种图片超分辨率重建方法，其特征在于：所述的数据增强为读取预处理后的图像，对图像进行水平翻转、垂直翻转和90度旋转。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010484726.2A CN111754400B (zh) | 2020-06-01 | 2020-06-01 | 一种高效的图片超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010484726.2A CN111754400B (zh) | 2020-06-01 | 2020-06-01 | 一种高效的图片超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111754400A CN111754400A (zh) | 2020-10-09 |
| CN111754400B true CN111754400B (zh) | 2023-12-26 |
Family
ID=72674442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010484726.2A Active CN111754400B (zh) | 2020-06-01 | 2020-06-01 | 一种高效的图片超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111754400B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767252B (zh) * | 2021-01-26 | 2022-08-02 | 电子科技大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
| WO2024010790A1 (en) * | 2022-07-05 | 2024-01-11 | Qualcomm Incorporated | Reduced complexity multi-mode neural network filtering of video data |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734659A (zh) * | 2018-05-17 | 2018-11-02 | 华中科技大学 | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 |
| CN109064405A (zh) * | 2018-08-23 | 2018-12-21 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于双路径网络的多尺度图像超分辨率方法 |
| CN109255758A (zh) * | 2018-07-13 | 2019-01-22 | 杭州电子科技大学 | 基于全1*1卷积神经网络的图像增强方法 |
-
2020
- 2020-06-01 CN CN202010484726.2A patent/CN111754400B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734659A (zh) * | 2018-05-17 | 2018-11-02 | 华中科技大学 | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 |
| CN109255758A (zh) * | 2018-07-13 | 2019-01-22 | 杭州电子科技大学 | 基于全1*1卷积神经网络的图像增强方法 |
| CN109064405A (zh) * | 2018-08-23 | 2018-12-21 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于双路径网络的多尺度图像超分辨率方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111754400A (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN110473144B (zh) | 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法 | |
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| CN109636721B (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
| CN111754400B (zh) | 一种高效的图片超分辨率重建方法 | |
| CN112365422B (zh) | 基于深层聚合网络的不规则缺失图像修复方法及其系统 | |
| RU2697928C1 (ru) | Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее | |
| Luo et al. | Lattice network for lightweight image restoration | |
| CN112767243B (zh) | 一种高光谱图像超分辨率的实现方法及系统 | |
| CN113554058A (zh) | 视觉目标图像分辨率增强的方法、系统、装置及存储介质 | |
| CN112017116B (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
| CN111105376A (zh) | 基于双分支神经网络的单曝光高动态范围图像生成方法 | |
| CN112288630A (zh) | 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及系统 | |
| CN113469884A (zh) | 基于数据仿真的视频超分辨方法、系统、设备及存储介质 | |
| CN112884650A (zh) | 一种基于自适应纹理蒸馏的图像混合超分辨率方法 | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN113850721A (zh) | 单幅图像超分辨率重建方法、装置、设备及可读存储介质 | |
| CN113689382A (zh) | 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统 | |
| CN116029905A (zh) | 一种基于渐进差值互补的人脸超分辨率重构方法及系统 | |
| CN111524060B (zh) | 一种实时人像背景虚化的系统、方法、存储介质和设备 | |
| CN112261415B (zh) | 基于过拟合卷积自编码网络的图像压缩编码方法 | |
| CN117114994B (zh) | 基于层次特征融合的矿井图像超分辨率重建方法及系统 | |
| CN115601242B (zh) | 一种适用于硬件部署的轻量级图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |