CN111754400A - 一种高效的图片超分辨率重建方法 - Google Patents
一种高效的图片超分辨率重建方法 Download PDFInfo
- Publication number
- CN111754400A CN111754400A CN202010484726.2A CN202010484726A CN111754400A CN 111754400 A CN111754400 A CN 111754400A CN 202010484726 A CN202010484726 A CN 202010484726A CN 111754400 A CN111754400 A CN 111754400A
- Authority
- CN
- China
- Prior art keywords
- convolution
- channels
- super
- resolution
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 abstract 1
- 230000003993 interaction Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种高效的图片超分辨率重建方法，本发明基于卷积神经网络提出一种新的图片超分辨率网络结构，该网络结构命名为SESRNet，其中采用多尺度卷积融合模块可以高效的获取不同尺度的图像特征并且计算量大大降低。SESRNet主要由5个Mixblock组成，其所需要的计算量只有2.8GFLOPS，比主流的FSRCNN的6GFLOPS减少了一半的计算量。本发明中的图片超分辨率网络在保持图片还原的效果下，大大降低了计算量，使得边缘智能物联网终端设备上可以更加顺畅的将图片还原至合适的效果,提升AIoT设备的交互效果。
Description
技术领域
本发明属于人工智能领域，涉及一种高效的图片超分辨率重建方法。
背景技术
随着深度学习在图像领域的应用，在各个领域都有了长足的进步，其中图像超分辨率重建技术已经开始适用图像处理的各个方面，如视频影音、医疗诊断等领域。算法成熟的同时，可穿戴设备等物联网级的应用也迎来大规模爆发，不同设备有不同的显示方式和不同的分辨率屏幕，必须将较低质量的视频图片的提升到一定高的分辨率，才能进一步提升设备的交互体验。
目前一些基于卷积神经网络的超分辨率重建算法在训练和测试阶段都需要较长的时间和巨大的内存消耗。主要原因是这些模型的输入是低分辨率图像是通过插值变换生成的大尺寸图片，网络没有采用任何下采样操作，这些方案将带来巨大的计算成本。
发明内容
本发明针对现有技术的不足，提出了一种高效的图片超分辨率重建方法。
本发明在保证图片还原的效果的基础上，降低算力消耗，本发明提出了一种新的图片超分辨率网络结构-超级高效图片超分辨率网络(SESRNet)，其中采用一种多尺度卷积融合模块(Mixblock)可以高效的获取不同尺度的图片特征并且计算量大大降低。SESRNet由5个Mixblock组成，其计算量只有2.8GFLOPS，比主流的FSRCNN的6GFLOPS减少了一半的计算量。
本发明所采用图像重建方法包括如下步骤：
步骤1、数据预处理；分别在训练集、验证集、测试集原始图像上，将RGB图片转换成YCbCr通道。
步骤2、数据增强；读取预处理后的图像，对图像进行水平翻转、垂直翻转和90度旋转。数据扩增的目的在于在训练阶段可以防止模型的过拟合。
步骤3、搭建超分辨率重建网络模型；
将低像素图片包含两个平行操作，一个分支是直接进行Bilinear操作得到一个2倍的图片，另外一个分支是经过第一个3*3卷积后，采用5层的Mixblock组成一个Residualbody，在Mixblock提取特征前增加一个LSC，来充分利用低层次的特征；将初始3*3卷积后的特征图和经过5个Mixblock后的特征图拼接通过3*3卷积进行融合；最后经过Pixelshuffle重新排列像素来得到一个2倍的图片，最后将这两张图片加权得到最终的图片；其中LSC为Long Skip Contact。
所述的每个Mixblock结构为：采用残差结构，在block中先通过一个1*1的卷积层扩增通道数，激活层采用PReLU，在另外一个1*1的卷积之后，一半通道数进行5*5卷积，另一半进行3*3卷积，最后拼接到一起后，接一个1*1卷积层进行融合。
步骤4、获取最优参数；通过反向传播算法对改造后的超分辨率重建网络进行训练，以拟合数据。通过评价指标L1 Loss来保存最好的训练模型的权重。
作为优选，经过第一个3*3卷积后输出的特征通道数为4通道；
每个Mixblock中通过第一个1*1卷积后扩增到72通道，通过第二个1*1卷积后压缩到12通道，拆分为上下两个6通道分别进行3*3卷积和5*5卷积之后重新拼接后，通过1*1卷积融合最后输出为4通道；
经过5个Mixblock之后的4通道特征图和LSC操作传输过来的4通道特征图进行拼接，经过一个3*3卷积输出一个4通道特征图。
本发明的有益效果是：
1)本发明提出一种图片超分辨率网络方法(SESRNet)，大大降低了算力消耗。
2)本发明提出的MixBlock方法，证明了混合卷积尺度的残差块可以在超分辨率重建领域发挥重要功效。
附图说明
图1是本发明图片超分辨率重建方法算法的流程示意图。
图2是本发明SESRNet网络结构示意图。
图3是本发明Mixblock结构示意图。
具体实施方式
下面结合附图和具体实施对本发明作进一步说明。
用于实施的硬件环境是:8vCPU/64G内存，GPU为NVIDIA K80，软件运行环境是CUDA9、python3.6、pytorch 1.0。
如图1所示，基于图片超分辨率重建方法算法具体步骤如下：
A)采用同一分辨率的设备采集上千张不同图片作为标签数据，并将图片缩小2倍作为训练数据。将原始数字病理图像分为训练集、验证集、测试集，每一个集合又包含高分辨率和低分辨率样本。训练方式为有监督的学习。
B)在数据增强时，需要保证高分辨率图片和低分辨率图片做同样的操作(如旋转度数)。
C)将低分辨率图片作为输入，经过如图3所示的SESRNet网络进行2倍放大，得到高分辨率图片。
D)将上述步骤中得到的高分辨率图片跟同一内容的原始高分辨率图片进行逐像素比对，采用L1作为损失函数。
E)结合损失函数得到的损失值，使用Min-batch随机动量优化方法对SESRNet进行权重参数调整。
F)经过500个周期循环训练，损失值收敛到有一个极小值，保存模型权重参数。
如图2所示，本发明设计构建的MixBlock，采用残差结构，在block中先通过一个1*1的卷积层扩增通道数，激活层采用PReLU，在另外一个1*1的卷积之后，一半通道数进行5*5卷积，另一半进行3*3卷积，最后拼接(concat)到一起后，接一个1*1卷积层进行融合。
如图3所示，本发明设计构建的SESRNet网络结构包含两个平行操作，一个分支是直接进行Bilinear操作得到一个2倍的图片，另外一个分支是由一个LSC(Long SkipContact)操作，将初始3*3卷积后的特征图和经过5个Mixblock后的特征图拼接(concat)通过3*3卷积进行融合，最后经过Pixelshuffle重新排列像素来得到一个2倍的图片，最后将这两张图片加权得到最终的图片。
Claims (4)
1.一种高效的图片超分辨率重建方法，其特征在于，该方法具体包括以下步骤：
步骤1、数据预处理；
步骤2、数据增强；
步骤3、搭建超分辨率重建网络模型；
将低像素图片包含两个平行操作，一个分支是直接进行Bilinear操作得到一个2倍的图片，另外一个分支是经过第一个3*3卷积后，采用5层的Mixblock组成一个Residualbody，在Mixblock提取特征前增加一个LSC，将初始3*3卷积后的特征图和经过5个Mixblock后的特征图拼接通过3*3卷积进行融合；最后经过Pixelshuffle重新排列像素来得到一个2倍的图片，最后将这两张图片加权得到最终的图片；其中LSC为Long Skip Contact；
所述的每个Mixblock结构为：采用残差结构，在block中先通过一个1*1的卷积层扩增通道数，激活层采用PReLU，在另外一个1*1的卷积之后，一半通道数进行5*5卷积，另一半进行3*3卷积，最后拼接到一起后，接一个1*1卷积层进行融合；
步骤4、获取最优参数；通过反向传播算法对改造后的超分辨率重建网络进行训练，以拟合数据；通过评价指标L1 Loss来保存最好的训练模型的权重。
2.根据权利要求1所述的一种高效的图片超分辨率重建方法，其特征在于：
经过第一个3*3卷积后输出的特征通道数为4通道；
每个Mixblock中通过第一个1*1卷积后扩增到72通道，通过第二个1*1卷积后压缩到12通道，拆分为上下两个6通道分别进行3*3卷积和5*5卷积之后重新拼接后，通过1*1卷积融合最后输出为4通道；
经过5个Mixblock之后的4通道特征图和LSC操作传输过来的4通道特征图进行拼接，经过一个3*3卷积输出一个4通道特征图。
3.根据权利要求1所述的一种高效的图片超分辨率重建方法，其特征在于：所述的数据预处理为分别在训练集、验证集、测试集原始图像上，将RGB图片转换成YCbCr通道。
4.根据权利要求1所述的一种高效的图片超分辨率重建方法，其特征在于：所述的数据增强为读取预处理后的图像，对图像进行水平翻转、垂直翻转和90度旋转。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010484726.2A CN111754400B (zh) | 2020-06-01 | 2020-06-01 | 一种高效的图片超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010484726.2A CN111754400B (zh) | 2020-06-01 | 2020-06-01 | 一种高效的图片超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111754400A true CN111754400A (zh) | 2020-10-09 |
| CN111754400B CN111754400B (zh) | 2023-12-26 |
Family
ID=72674442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010484726.2A Active CN111754400B (zh) | 2020-06-01 | 2020-06-01 | 一种高效的图片超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111754400B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767252A (zh) * | 2021-01-26 | 2021-05-07 | 电子科技大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
| CN113222816A (zh) * | 2021-04-30 | 2021-08-06 | Oppo广东移动通信有限公司 | 一种超分辨率网络结构、超分模块、设备以及重建方法 |
| WO2024010790A1 (en) * | 2022-07-05 | 2024-01-11 | Qualcomm Incorporated | Reduced complexity multi-mode neural network filtering of video data |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734659A (zh) * | 2018-05-17 | 2018-11-02 | 华中科技大学 | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 |
| CN109064405A (zh) * | 2018-08-23 | 2018-12-21 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于双路径网络的多尺度图像超分辨率方法 |
| CN109255758A (zh) * | 2018-07-13 | 2019-01-22 | 杭州电子科技大学 | 基于全1*1卷积神经网络的图像增强方法 |
-
2020
- 2020-06-01 CN CN202010484726.2A patent/CN111754400B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734659A (zh) * | 2018-05-17 | 2018-11-02 | 华中科技大学 | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 |
| CN109255758A (zh) * | 2018-07-13 | 2019-01-22 | 杭州电子科技大学 | 基于全1*1卷积神经网络的图像增强方法 |
| CN109064405A (zh) * | 2018-08-23 | 2018-12-21 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于双路径网络的多尺度图像超分辨率方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767252A (zh) * | 2021-01-26 | 2021-05-07 | 电子科技大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
| CN113222816A (zh) * | 2021-04-30 | 2021-08-06 | Oppo广东移动通信有限公司 | 一种超分辨率网络结构、超分模块、设备以及重建方法 |
| WO2024010790A1 (en) * | 2022-07-05 | 2024-01-11 | Qualcomm Incorporated | Reduced complexity multi-mode neural network filtering of video data |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111754400B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN109903228B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN111754400B (zh) | 一种高效的图片超分辨率重建方法 | |
| Chen et al. | MICU: Image super-resolution via multi-level information compensation and U-net | |
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
| RU2697928C1 (ru) | Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее | |
| CN109949224A (zh) | 一种基于深度学习的联级超分辨率重建的方法及装置 | |
| CN113724136B (zh) | 一种视频修复方法、设备及介质 | |
| CN117237197B (zh) | 基于交叉注意力机制的图像超分辨率方法及装置 | |
| CN112017116A (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
| CN113689382A (zh) | 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统 | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 | |
| CN117196960A (zh) | 全尺度特征细化轻量级图像超分辨率方法及装置 | |
| CN117788295B (zh) | 一种遥感图像的超分辨率重建方法、系统及介质 | |
| CN111667412A (zh) | 基于交叉学习网络的图像超分辨率的重建方法及装置 | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
| Zheng et al. | Double-branch dehazing network based on self-calibrated attentional convolution | |
| CN117522694A (zh) | 一种基于扩散模型的图像超分辨率重建方法及系统 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN118134791A (zh) | 一种遥感图像纹理增强方法、设备及存储介质 | |
| CN113850721A (zh) | 单幅图像超分辨率重建方法、装置、设备及可读存储介质 | |
| CN115797178B (zh) | 一种基于3d卷积的视频超分辨率的方法 | |
| CN113902631A (zh) | 图像处理方法、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |