CN106447609A - 一种基于深度卷积神经网络的图像超分辨方法 - Google Patents
一种基于深度卷积神经网络的图像超分辨方法 Download PDFInfo
- Publication number
- CN106447609A CN106447609A CN201610783300.0A CN201610783300A CN106447609A CN 106447609 A CN106447609 A CN 106447609A CN 201610783300 A CN201610783300 A CN 201610783300A CN 106447609 A CN106447609 A CN 106447609A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- convolutional neural
- super
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 32
- 238000013507 mapping Methods 0.000 claims abstract description 24
- 230000001537 neural effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 abstract 2
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 238000012549 training Methods 0.000 description 3
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度卷积神经网络的图像超分辨方法，该方法通过建立表达从低分辨率图像到高分辨率图像的映射的神经网络实现图像超分辨，所述从低分辨率图像到高分辨率图像的映射的具体实现过程包括以下步骤：1)对原始图像进行插值预处理；2)从插值预处理后的图像中提取图像块，采用卷积运算对每一所述图像块进行处理，将所述图像块表示为一第一高维向量；3)将每一所述第一高维向量通过卷积运算非线性映射为维度不同的第二高维向量；4)对所有所述第二高维向量进行整合，获得重构后的图像，实现从低分辨率图像到高分辨率图像的映射。与现有技术相比，本发明具有运算开销较小、适合在线处理等优点。
Description
技术领域
本发明涉及一种图像超分辨方法，尤其是涉及一种基于深度卷积神经网络的图像超分辨方法。
背景技术
单个图像的超分辨(super resolution)是计算机视觉领域的经典问题。超分辨的定义是，给定一个输入图片，要输出一个分辨率更高(像素点更多)的图像，并添加合适的高频信息，因此，仅仅使用插值的方法放大图片不能被称作超分辨。
目前主流的超分辨技术大多是基于样例的，其中，具有代表性的是一种基于稀疏编码(sparse-coding)的算法。这个算法有多个步骤：首先，从图像中密集地提取出一些相互重叠的图像块，并作相应的预处理；然后用一个低分辨率的字典(dictionary)来编码这些图像块；之后，一个高分辨率的字典会使用这些稀疏系数来重构图像。之前的超分辨算法大多着重于学习和优化这些字典。在Freeman等人的开创性工作Example-based super-resolution(Computer Graphics and Applications 22(2),56–65(2002))中，字典以一个低/高分辨率图像块的键值对的集合的形式呈现，对低分辨率图像中的图像块在字典中搜索其最近邻(nearest neighbor)，然后使用该最近邻对应的高分辨率图像块重构图像。但现有方法仍然存在运算开销较大，难以实现在线处理的问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种运算开销较小、适合在线处理的基于深度卷积神经网络的图像超分辨方法。
本发明的目的可以通过以下技术方案来实现：
一种基于深度卷积神经网络的图像超分辨方法，该方法通过建立表达从低分辨率图像到高分辨率图像的映射的神经网络实现图像超分辨，所述从低分辨率图像到高分辨率图像的映射的具体实现过程包括以下步骤：
1)对原始图像进行插值预处理；
2)从插值预处理后的图像中提取图像块，采用卷积运算对每一所述图像块进行处理，将所述图像块表示为一第一高维向量；
3)将每一所述第一高维向量通过卷积运算非线性映射为维度不同的第二高维向量；
4)对所有所述第二高维向量进行整合，获得重构后的图像，实现从低分辨率图像到高分辨率图像的映射。
所述步骤1)中，以双立方插值方式对原始图像进行插值预处理，实现原始图像的放大。
所述步骤2)中，采用同一系列不同的滤波器对所述图像块进行卷积运算，获得的多个特征构成第一高维向量。
所述第一高维向量的维度、特征个数与滤波器的个数相同。
步骤3)中，所述非线性映射具体为：利用n个大小为1×1的滤波器对m维的第一高维向量进行卷积运算，获得n维的第二高维向量。
步骤4)中，所述整合具体为：对所有所述第二高维向量进行平均化处理。
与现有技术相比，本发明具有以下优点：
1)本发明在获得低分辨率图像到高分辨率图像的映射的过程中采用了卷积神经网络技术，有效降低了图像超分辨过程的运算开销。卷积神经网络近年来在计算机视觉领域有极佳的表现，因而十分火热。卷积神经网络与传统的神经网络最大的不同是权值共享——能极大地减少参数的个数，同时由于图像局部性的特点，依然有很好的效果。随着GPU运算的发展以及大型数据集(如ImageNet)的建立，训练卷积神经网络也变得较为便利。
2)本发明在进行图像块提取和非线性映射均进行了卷积运算，计算效率高。
3)本发明进行高维向量整合时采用平均化处理方式，也可以看作是卷积运算，从而实现了三层深度卷积，实现一种三层卷积神经网络，进一步降低了图像超分辨过程的运算开销，使其更适合于在线处理。
附图说明
图1为本发明映射实现过程的流程示意图；
图2为本发明映射实现过程的原理示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1-图2所示，本实施例提供一种基于深度卷积神经网络的图像超分辨方法，该方法通过建立表达从低分辨率图像到高分辨率图像的映射的神经网络实现图像超分辨，从低分辨率图像到高分辨率图像的映射的具体实现过程包括以下步骤：
1)插值预处理
以双立方插值(bicubic interpolation)方式对原始图像进行插值预处理，实现原始图像的放大，放大到所需要的倍数。
2)图像块的提取与表示
从插值预处理后的图像中提取图像块，采用卷积运算对每一图像块进行处理，将图像块表示为一第一高维向量，具体地，采用同一系列不同的滤波器对图像块进行卷积运算，获得的多个特征构成第一高维向量。第一高维向量的维度、特征个数与滤波器的个数相同。
3)将每一第一高维向量通过卷积运算非线性映射为维度不同的第二高维向量。非线性映射具体为：利用n个大小为1×1的滤波器对m维的第一高维向量进行卷积运算，获得n维的第二高维向量。映射后的第二高维向量可以看作是高分辨率图像中图像块的表示。
4)对所有第二高维向量进行整合，获得重构后的图像，实现从低分辨率图像到高分辨率图像的映射。本实施例中，整合具体为：对所有第二高维向量进行平均化处理，可以使重构后的图像与高分辨率的图像尽可能接近，此步骤也可以看作卷积运算。
事实上，步骤2)到4)均可以以卷积的形式实现，从而实现一个三层的卷积神经网络，每一层对应一个步骤。训练这个网络时，将输入图像本身作为label，将输入图像降采样再双立方插值后的图像作为训练数据。我们使用的代价函数(Loss function)是均方差(Mean square error)。
关于图像的超分辨并没有统一的评判标准。本实施例使用峰值信噪比(PSNR)对本发明的图像超分辨方法进行评判，PSNR值越高，一般可以认为图像的质量越好。本实施例对一些图像进行的测试，结果显示其PSNR值有明显的提高。
Claims (6)
1.一种基于深度卷积神经网络的图像超分辨方法，其特征在于，该方法通过建立表达从低分辨率图像到高分辨率图像的映射的神经网络实现图像超分辨，所述从低分辨率图像到高分辨率图像的映射的具体实现过程包括以下步骤：
1)对原始图像进行插值预处理；
2)从插值预处理后的图像中提取图像块，采用卷积运算对每一所述图像块进行处理，将所述图像块表示为一第一高维向量；
3)将每一所述第一高维向量通过卷积运算非线性映射为维度不同的第二高维向量；
4)对所有所述第二高维向量进行整合，获得重构后的图像，实现从低分辨率图像到高分辨率图像的映射。
2.根据权利要求1所述的基于深度卷积神经网络的图像超分辨方法，其特征在于，所述步骤1)中，以双立方插值方式对原始图像进行插值预处理，实现原始图像的放大。
3.根据权利要求1所述的基于深度卷积神经网络的图像超分辨方法，其特征在于，所述步骤2)中，采用同一系列不同的滤波器对所述图像块进行卷积运算，获得的多个特征构成第一高维向量。
4.根据权利要求3所述的基于深度卷积神经网络的图像超分辨方法，其特征在于，所述第一高维向量的维度、特征个数与滤波器的个数相同。
5.根据权利要求1所述的基于深度卷积神经网络的图像超分辨方法，其特征在于，步骤3)中，所述非线性映射具体为：利用n个大小为1×1的滤波器对m维的第一高维向量进行卷积运算，获得n维的第二高维向量。
6.根据权利要求1所述的基于深度卷积神经网络的图像超分辨方法，其特征在于，步骤4)中，所述整合具体为：对所有所述第二高维向量进行平均化处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610783300.0A CN106447609A (zh) | 2016-08-30 | 2016-08-30 | 一种基于深度卷积神经网络的图像超分辨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610783300.0A CN106447609A (zh) | 2016-08-30 | 2016-08-30 | 一种基于深度卷积神经网络的图像超分辨方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106447609A true CN106447609A (zh) | 2017-02-22 |
Family
ID=58091420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610783300.0A Pending CN106447609A (zh) | 2016-08-30 | 2016-08-30 | 一种基于深度卷积神经网络的图像超分辨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106447609A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106952229A (zh) * | 2017-03-15 | 2017-07-14 | 桂林电子科技大学 | 基于数据增强的改进型卷积网络的图像超分辨率重建方法 |
| CN107256571A (zh) * | 2017-05-15 | 2017-10-17 | 北京理工大学 | 一种基于深度学习与自适应差分盒的分形维数估计方法 |
| CN108242048A (zh) * | 2018-02-09 | 2018-07-03 | 西安邮电大学 | 一种车牌图像超分辨率重建的方法 |
| WO2018214671A1 (zh) * | 2017-05-26 | 2018-11-29 | 杭州海康威视数字技术股份有限公司 | 一种失真图像的去失真方法、装置及电子设备 |
| CN109345482A (zh) * | 2018-09-29 | 2019-02-15 | 深圳市牧月科技有限公司 | 一种深度超分辨率图像滤波处理方法 |
| CN110033413A (zh) * | 2018-12-29 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 客户端的图像处理方法、装置、电子设备、计算机可读介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101639937A (zh) * | 2009-09-03 | 2010-02-03 | 复旦大学 | 一种基于人工神经网络的超分辨率方法 |
| WO2016019484A1 (en) * | 2014-08-08 | 2016-02-11 | Xiaoou Tang | An apparatus and a method for providing super-resolution of a low-resolution image |
| CN105869117A (zh) * | 2016-03-28 | 2016-08-17 | 上海交通大学 | 一种针对深度学习超分辨率技术的gpu加速方法 |
| WO2016132147A1 (en) * | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Enhancement of visual data |
-
2016
- 2016-08-30 CN CN201610783300.0A patent/CN106447609A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101639937A (zh) * | 2009-09-03 | 2010-02-03 | 复旦大学 | 一种基于人工神经网络的超分辨率方法 |
| WO2016019484A1 (en) * | 2014-08-08 | 2016-02-11 | Xiaoou Tang | An apparatus and a method for providing super-resolution of a low-resolution image |
| WO2016132147A1 (en) * | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Enhancement of visual data |
| CN105869117A (zh) * | 2016-03-28 | 2016-08-17 | 上海交通大学 | 一种针对深度学习超分辨率技术的gpu加速方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHAO DONG等: "Learning a Deep Convolutional Network for Image Super-Resolution", 《COMPUTER VISION-ECCV 2014》 * |
| 胡传平等: "基于深度学习的图像超分辨率算法研究", 《铁道警察学院学报》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106952229A (zh) * | 2017-03-15 | 2017-07-14 | 桂林电子科技大学 | 基于数据增强的改进型卷积网络的图像超分辨率重建方法 |
| CN107256571A (zh) * | 2017-05-15 | 2017-10-17 | 北京理工大学 | 一种基于深度学习与自适应差分盒的分形维数估计方法 |
| WO2018214671A1 (zh) * | 2017-05-26 | 2018-11-29 | 杭州海康威视数字技术股份有限公司 | 一种失真图像的去失真方法、装置及电子设备 |
| CN108932697A (zh) * | 2017-05-26 | 2018-12-04 | 杭州海康威视数字技术股份有限公司 | 一种失真图像的去失真方法、装置及电子设备 |
| CN108932697B (zh) * | 2017-05-26 | 2020-01-17 | 杭州海康威视数字技术股份有限公司 | 一种失真图像的去失真方法、装置及电子设备 |
| US11250546B2 (en) | 2017-05-26 | 2022-02-15 | Hangzhou Hikvision Digital Technology Co., Ltd. | Image distortion correction method and device and electronic device |
| CN108242048A (zh) * | 2018-02-09 | 2018-07-03 | 西安邮电大学 | 一种车牌图像超分辨率重建的方法 |
| CN109345482A (zh) * | 2018-09-29 | 2019-02-15 | 深圳市牧月科技有限公司 | 一种深度超分辨率图像滤波处理方法 |
| CN109345482B (zh) * | 2018-09-29 | 2020-11-17 | 深圳市牧月科技有限公司 | 一种深度超分辨率图像滤波处理方法 |
| CN110033413A (zh) * | 2018-12-29 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 客户端的图像处理方法、装置、电子设备、计算机可读介质 |
| CN110033413B (zh) * | 2018-12-29 | 2023-08-18 | 阿里巴巴集团控股有限公司 | 客户端的图像处理方法、装置、设备、计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106447609A (zh) | 一种基于深度卷积神经网络的图像超分辨方法 | |
| Suryanarayana et al. | Accurate magnetic resonance image super-resolution using deep networks and Gaussian filtering in the stationary wavelet domain | |
| Dai et al. | Second-order attention network for single image super-resolution | |
| CN107240066A (zh) | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 | |
| Zhou et al. | Pan-sharpening with customized transformer and invertible neural network | |
| CN103077511B (zh) | 基于字典学习和结构相似的图像超分辨率重建方法 | |
| CN111861961A (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
| Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
| Su et al. | Multi‐scale cross‐path concatenation residual network for Poisson denoising | |
| Wang et al. | Dual residual attention module network for single image super resolution | |
| CN115358932A (zh) | 一种多尺度特征融合的人脸超分辨率重构方法及系统 | |
| Hang et al. | Attention cube network for image restoration | |
| Wang et al. | Multi-scale attention network for image super-resolution | |
| CN110288529B (zh) | 一种基于递归局部合成网络的单幅图像超分辨率重建方法 | |
| Yang et al. | MRDN: A lightweight Multi-stage residual distillation network for image Super-Resolution | |
| Li et al. | Lightweight adaptive weighted network for single image super-resolution | |
| Xia et al. | Meta-learning-based degradation representation for blind super-resolution | |
| Wu et al. | Lightweight asymmetric convolutional distillation network for single image super-resolution | |
| Shen et al. | RSHAN: Image super-resolution network based on residual separation hybrid attention module | |
| Wu et al. | Pyramidal dense attention networks for single image super‐resolution | |
| Zhang et al. | Image restoration via deep memory-based latent attention network | |
| CN111080516A (zh) | 基于自样例增强的超分辨率图像重建方法 | |
| Zhang et al. | From local to global: Efficient dual attention mechanism for single image super-resolution | |
| Lin et al. | Feedback multi-scale residual dense network for image super-resolution | |
| Guo et al. | Speedy and accurate image super‐resolution via deeply recursive CNN with skip connection and network in network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170222 |
|
| RJ01 | Rejection of invention patent application after publication |