CN108122197A - 一种基于深度学习的图像超分辨率重建方法 - Google Patents
一种基于深度学习的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN108122197A CN108122197A CN201711020490.1A CN201711020490A CN108122197A CN 108122197 A CN108122197 A CN 108122197A CN 201711020490 A CN201711020490 A CN 201711020490A CN 108122197 A CN108122197 A CN 108122197A
- Authority
- CN
- China
- Prior art keywords
- msub
- resolution
- image
- label
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000004913 activation Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims abstract description 11
- 230000007935 neutral effect Effects 0.000 claims abstract description 8
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000000205 computational method Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 6
- 239000011229 interlayer Substances 0.000 abstract description 2
- 238000013507 mapping Methods 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的图像超分辨率重建方法，其目的在于利用深度学习技术对低分辨率数据进行训练得到低分辨率到高分辨率之间的映射函数，其技术关键在于(1)对数据集进行下采样处理；(2)利用残差原理，将不同层间的卷积激活结果相加；(3)训练数据分为有标签和无标签两类，两种情况对应两种损失数；(4)整合两类情况，获得最终的损失函数。本发明输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为重建后的超分辨率图像。本发明在不改变成像系统硬件设备的前提下，有效提高所获取的图像质量。
Description
技术领域
本发明属于图像处理领域，尤其涉及一种基于深度学习的图像超分辨率重建方法。
背景技术
图像超分辨率(super resolution,SR)是从一个低分辨率图像得到高分辨率图像的过程，该技术主要被用于对图像空间分辨率的增强，其可以突破原有的系统成像硬件条件的限制，重新获得的高分辨率图像具有更高的分辨率，更多的细节信息，更高质量的画质的特点，是目前获取高精度图像的最有效、最低成本的途径之一。
图像获取过程中，受成像条件和成像方式等因素的限制，成像系统通常并不能获取原始场景中的所有信息，在成像过程中会受到变形、模糊、下采样和噪声等诸多因素的影响，从而造成获取的图像质量下降。因此，在不改变成像系统硬件设备的前提下，有效提高所获取的图像质量，一直以来都是成像技术领域所致力解决的和核心问题。该项技术的研究具有重要的意义。
图像超分辨率复原技术主要分为两大类，即基于重建的方法和基于学习的方法。目前有以下几种基于学习的代表性方法：Dong等率先将卷积神经网络引入到图像超分辨率问题当中，设计了基于深度卷积神经网络的图像超分辨率复原方法(Super resolutionusing convolution neural network,SRCNN)。Kim等在SRCNN的基础上借鉴用于图像分类的VGG网络结构，提出极深网络的图像超分辨率复原方法(Accurate image super-resolution using very deep convolutional network,VDSR)。与图像分类的极深网络不同，极深网络的超分辨率方法可以用更深网络对低分辨率图像和高分辨率图像之间映射关系建模。VDSR的方法具有20层深层网络，其缺乏层间信息反馈及上下文信息关联，为了解决此问题，Kim等提出了深度递归卷积神经网络的超分辨率方法(Deeply recursiveconvolutionak network,DRCN)。Christian等将生成式对抗网络用语SR问题,提出(Photo-Realistic Single Image Super-Resolution Using a Generative AdversarialNetwork,SRGAN)。其出发点是传统方法一般处理的是较小的放大倍数，当放大倍数在4以上时，很容易使得到的结果显得过于平滑，而缺少一些细节信息上的真实感。因此SRGAN使用GAN来生成图像中的细节。Bee Lim等提出了用于单一图像超分辨率的增强型深度残差网络(Enhanced Deep Residual Networks for Single Image Super-Resolution,EDSR)，是NTIRE2017夺冠论文。
虽然已有多种超分辨率复原方法，但是实际应用中仍存在一下问题：
(1)SR是一个逆问题，对于一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应。
(2)真实多媒体应用中获得的低质量图像往往是多种降质因素并存的复杂降质图像，如低分辨率、失焦模糊、运动模糊、压缩失真和噪声等。
发明内容
本发明的目的在于针对上有技术的不足，提出一种基于深度学习的图像超分辨率重建方法，利用深度学习技术对低分辨率数据进行训练得到低分辨率到高分辨率之间的映射函数，从而达到超分辨率的效果。
本发明采用的技术方案是：
一种基于深度学习的图像超分辨率重建方法，包括以下步骤：
步骤1：对训练数据集进行n倍下采样处理。原高分辨率训练数据IH的宽高分别是W,H，得到的低分辨率训练数据IL的宽高分别是W/n，H/n。
步骤2：将原始高分辨率图像IH和由步骤1得到的低分辨率IL图像一一对应，得到有标签的训练数据。另选取低分辨训练数据集作为无标签的训练数据,且无标签的数据量大于有标签的数据量。把这两类数据存为HDF5(Hierarchical Data Format)文件。所述HDF5文件为可以存储不同类型的图像和数码数据的文件格式。
步骤3：设计网络结构。确定深度神经网络输入层节点数、输出层节点数、隐藏层数和隐藏层节点数，随机初始化各层的连接权值W和偏置b,给定学习速率η，选定激活函数RELU，选定损失函数Loss。
(3a)选定损失函数Loss。在一种基于深度学习的图像超分辨率重建方法中采用的训练集分为有标签和无标签数据，所述标签为低分辨率图像所对应的原始高分辨率图像。所述有标签数据和无标签数据由上述步骤2得到。有标签和无标签的两种情况分别对应了两种损失数。
(3b)有标签的情况。采用欧式距离的计算方法,图像矩阵有W×H个元素(像素点)，用W×H个元素值(A1,A2,...,AW×H)构成原始高分辨率图像的一维向量，用(a1,a2,...,aW×H)构成重建高分辨率图像的一维向量，然后利用数学上的欧式距离公式计算这两个向量之间的距离，距离越小就说明两幅图像越相似。
进一步地，所述欧式距离公式为：
原始高分辨率图像IH＝(A1,A2,...,AW×H)
重建高分辨率图像IS＝(a1,a2,...,aW×H)
欧氏距离
(3c)无标签的情况。由于在无标签的情况下，重建的高分辨率图像没有原始的高分辨率图像与之对应，所以将低分辨率图像IL作为重建高分辨率图像IS的参考对象，以保持IL的结构。
进一步地，所述将低分辨率图像IL作为重建高分辨率图像IS的参考对象，具体公式为：
其中：i＝0,1,...,s,s＜W/n,j＝0,1,...,t,t＜H/n。
步骤4：将输入的IL尺寸放大n倍，所述放大是将低辨率图片插值处理，即放大后的图像像素为IS(n×i+1,n×j+1)＝IL(i+1,j+1)。IS其余没有对应值得像素点取值为255。
步骤5：对经过放大后的图像采用40层卷积神经网络进行卷积，激活处理。其中选定卷积核为3×3。激活函数为f(x)＝max(x,0)。利用残差原理，将第一层的卷积激活结果和第十层的卷积激活结果相加；将第十一层的卷积激活结果和第二十层的卷积激活结果相加；将第二十一层的卷积激活结果和第三十层的卷积激活结果相加；将第三十一层的卷积激活结果和第四十层的卷积激活结果相加后和第一层的卷积激活结果相加得到重建的高分辨率图像IS。
步骤6：反复执行步骤5，直到神经网络输出层误差达到预设精度要求或训练次数达到最大迭代次数，结束训练。保存网络结构和参数，得到训练好的神经网络模型。
步骤7：输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为重建后的超分辨率图像。
附图说明
以下结合附图，对本发明的具体实施方式做进一步的详细描述。
图1为本发明一种基于深度学习的图像超分辨率重建方法的原理示意图。
具体实施方式
如图1所示，本发明公开了一种基于深度学习的图像超分辨率重建方法，下面结合附图对本发明的具体实施方式做详细的说明。
步骤1：对训练数据集进行n倍下采样处理。所采用的是新发布的DIV2K数据集,该数据集包含800张训练图像，100张验证图像和100张测试图像。在下采样处理中，原高分辨率训练数据IH的宽高分别是W,H，得到的低分辨率训练数据IL的宽高分别是W/n，H/n。
步骤2：将原始高分辨率图像IH和由步骤1得到的低分辨率IL图像一一对应，得到有标签的训练数据。另选取低分辨训练数据集作为无标签的训练数据，且无标签的数据量大于有标签的数据量。把这两类数据存为HDF5(Hierarchical Data Format)文件。所述HDF5文件为可以存储不同类型的图像和数码数据的文件格式。
步骤3：设计网络结构，确定深度神经网络输入层节点数、输出层节点数、隐藏层数和隐藏层节点数，随机初始化各层的连接权值W和偏置b,给定学习速率η，选定激活函数RELU，选定损失函数Loss。
(3a)选定损失函数Loss。评价图片质量一般采用峰值噪声比PSNR，其公式为：
峰值噪声比
其中，MSE是原图与处理图像之间的均方误差；MAXI是图像颜色的最大值，8位采样点表示255。
均方误差
在本发明中，W,H表示图像的宽和高；i,j表示图像像素点的位置；A表示原始高分辨率图像IH；a表示重建高分辨率图像IS。
在一种基于深度学习的图像超分辨率重建方法中采用的训练集分为有标签和无标签数据，所述标签为低分辨率图像所对应的原始高分辨率图像。所述有标签数据和无标签数据由上述步骤2得到。有标签和无标签的两种情况分别对应了两种损失数。
(3b)有标签的情况。采用欧式距离的计算方法,图像矩阵有W×H个元素(像素点)，用W×H个元素值(A1,A2,...,AW×H)构成原始高分辨率图像的一维向量，用(a1,a2,...,aW×H)构成重建高分辨率图像的一维向量，然后利用数学上的欧式距离公式计算这两个向量之间的距离，距离越小就说明两幅图像越相似。
进一步地，所述欧式距离公式为：
原始高分辨率图像IH＝(A1,A2,...,AW×H)
重建高分辨率图像IS＝(a1,a2,...,aW×H)
欧氏距离
进一步地，在本发明中
其中：i1＝0,1,...,W j1＝0,1,...,H。
(3c)无标签的情况。由于在无标签的情况下，重建的高分辨率图像没有原始的高分辨率图像与之对应，所以将低分辨率图像IL作为重建高分辨率图像IS的参考对象，以保持IL的结构。
进一步地，所述将低分辨率图像IL作为重建高分辨率图像IS的参考对象，具体公式为：
其中：i2＝0,1,...,s,s＜W/n j2＝0,1,...,t,t＜H/n。
(3d)如图1所示，在实际训练过程中总的损失函数由Loss1和Loss2两个部分结合而得。
所述Loss1为上述(1)计算公式，以IL是2×2，IS是4×4大小为例，Loss1的作用是使IS(i1,j1)＝IH(i1,j1)，在这里i1＝0,1,2,3j1＝0,1,2,3：
所述Loss2为上述(2)计算公式，Loss2的作用是使IS保持IL的结构特性：
即：
IS(1,1)＝IL(1,1)IS(1,3)＝IL(1,2)
IS(3,1)＝IL(2,1)IS(3,3)＝IL(2,2)
本发明最终的损失函数为：
其中k表示训练的数据有无标签，训练有标签的数据时k＝1，训练无标签的数据时k＝0。
步骤4：将输入的IL尺寸放大n倍，所述放大是将低辨率图片插值处理，即放大后的图像像素为IS(n×i2+1,n×j2+1)＝IL(i2+1,j2+1)。IS其余没有对应值得像素点取值为255。
步骤5：对经过放大后的图像采用40层卷积神经网络进行卷积，激活处理。其中选定卷积核为3x3。每次卷积后，图像的尺寸变小，因此，在下一次卷积前对图像进行补0操作，恢复到原来大小。所述补0操作为pad值设置为1，则四个边缘都扩充1个像素，即宽度和高度都扩充了2个像素。所述pad为深度学习框架caffe中的变量，用于获得扩充图像边缘的相关命令。
利用残差原理，将第一层的卷积激活结果和第十层的卷积激活结果相加(F1+F10)；将第十一层的卷积激活结果和第二十层的卷积激活结果相加(F11+F20)；将第二十一层的卷积激活结果和第三十层的卷积激活结果相加(F21+F30)；将第三十一层的卷积激活结果和第四十层的卷积激活结果相加后和第一层的卷积激活结果相加(F31+F40+F1)，得到重建的高分辨率图像IS。
步骤6：反复执行步骤5，直到神经网络输出层误差达到预设精度要求或训练次数达到最大迭代次数，结束训练。保存网络结构和参数，得到训练好的神经网络模型。
步骤7：输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为重建后的超分辨率图像。
Claims (6)
1.一种基于深度学习的图像超分辨率重建方法，包括如下步骤：
步骤1：对训练数据集进行n倍下采样处理，原高分辨率训练数据IH的宽高分别是W,H，得到的低分辨率训练数据IL的宽高分别是W/n，H/n；
步骤2：将原始高分辨率图像IH和由步骤1得到的低分辨率IL图像一一对应，得到有标签的训练数据，另选取低分辨训练数据集作为无标签的训练数据，且无标签的数据量大于有标签的数据量，把这两类数据存为HDF5(Hierarchical Data Format)文件；
步骤3：设计网络结构，确定深度神经网络输入层节点数、输出层节点数、隐藏层数和隐藏层节点数，随机初始化各层的连接权值W和偏置b，给定学习速率η，选定激活函数RELU，选定损失函数Loss；
步骤4：将输入的低分辨率训练数据IL尺寸放大n倍，所述放大是将低辨率图片插值处理，即放大后的图像像素为IS(n×i+1,n×j+1)＝IL(i+1,j+1)，i为图像横向位置索引，j为图像纵向位置索引；IS其余没有对应值得像素点取值为255；
步骤5：对经过放大后的图像采用40层卷积神经网络进行卷积，激活处理，其中选定卷积核为3×3，激活函数为f(x)＝max(x,0)，利用残差原理，将第一层的卷积激活结果和第十层的卷积激活结果相加；将第十一层的卷积激活结果和第二十层的卷积激活结果相加；将第二十一层的卷积激活结果和第三十层的卷积激活结果相加；将第三十一层的卷积激活结果和第四十层的卷积激活结果相加后和第一层的卷积激活结果相加得到重建的高分辨率图像IS；
步骤6：反复执行步骤5，直到神经网络输出层误差达到预设精度要求或训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型；
步骤7：输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为重建后的超分辨率图像。
2.根据权利要求1所述的基于深度学习的图像超分辨率重建方法，其特征在于，采用的训练数据集分为有标签和无标签数据，所述标签为低分辨率图像所对应的原始高分辨率图像，所述有标签数据和无标签数据由上述步骤2得到，有标签和无标签的两种情况分别对应了两种损失数。
3.根据权利要求2所述的基于深度学习的图像超分辨率重建方法，其特征在于，有标签时，采用欧式距离的计算方法，图像矩阵有W×H个元素(像素点)，用W×H个元素值(A1,A2,...,AW×H)构成原始高分辨率图像的一维向量，用(a1,a2,...,aW×H)构成重建高分辨率图像的一维向量，然后利用数学上的欧式距离公式计算这两个向量之间的距离，距离越小就说明两幅图像越相似；
所述欧式距离公式为：
原始高分辨率图像IH＝(A1,A2,...,AW×H)
重建高分辨率图像IS＝(a1,a2,...,aW×H)
欧氏距离
4.根据权利要求2所述的基于深度学习的图像超分辨率重建方法，其特征在于，无标签时重建的高分辨率图像没有原始的高分辨率图像与之对应，所以将低分辨率图像IL作为重建高分辨率图像IS的参考对象，以保持IL的结构；所述将低分辨率图像IL作为重建高分辨率图像IS的参考对象，具体公式为：其中：i＝0,1,...,s,s＜W/n,j＝0,1,...,t,t＜H/n。
5.根据权利要求2所述的基于深度学习的图像超分辨率重建方法，其特征在于，在实际训练过程中总的损失函数由Loss1和Loss2两个部分结合而得，Loss1的作用是使IS＝IH，Loss2的作用是使IS保持IL的结构特性。
6.根据权利要求2所述的基于深度学习的图像超分辨率重建方法，其特征在于，
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>L</mi>
<mi>o</mi>
<mi>s</mi>
<mi>s</mi>
<mo>=</mo>
<mi>k</mi>
<mo>&times;</mo>
<mi>L</mi>
<mi>o</mi>
<mi>s</mi>
<mi>s</mi>
<mn>1</mn>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<mi>L</mi>
<mi>o</mi>
<mi>s</mi>
<mi>s</mi>
<mn>2</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<mi>k</mi>
<mo>&times;</mo>
<msqrt>
<mrow>
<msub>
<mi>&Sigma;</mi>
<msub>
<mi>i</mi>
<mn>1</mn>
</msub>
</msub>
<msub>
<mi>&Sigma;</mi>
<msub>
<mi>j</mi>
<mn>1</mn>
</msub>
</msub>
<mo>|</mo>
<msup>
<mi>I</mi>
<mi>H</mi>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>i</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>j</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msup>
<mi>I</mi>
<mi>S</mi>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>i</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>j</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<msqrt>
<mrow>
<msub>
<mi>&Sigma;</mi>
<msub>
<mi>i</mi>
<mn>2</mn>
</msub>
</msub>
<msub>
<mi>&Sigma;</mi>
<msub>
<mi>j</mi>
<mn>2</mn>
</msub>
</msub>
<mo>|</mo>
<msup>
<mi>I</mi>
<mi>H</mi>
</msup>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>&times;</mo>
<msub>
<mi>i</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
<mo>&times;</mo>
<msub>
<mi>j</mi>
<mn>2</mn>
</msub>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msup>
<mi>I</mi>
<mi>S</mi>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>i</mi>
<mn>2</mn>
</msub>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<msub>
<mi>j</mi>
<mn>2</mn>
</msub>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中k表示训练的数据有无标签，训练有标签的数据时k＝1，训练无标签的数据时k＝0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711020490.1A CN108122197B (zh) | 2017-10-27 | 2017-10-27 | 一种基于深度学习的图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711020490.1A CN108122197B (zh) | 2017-10-27 | 2017-10-27 | 一种基于深度学习的图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108122197A true CN108122197A (zh) | 2018-06-05 |
| CN108122197B CN108122197B (zh) | 2021-05-04 |
Family
ID=62228304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711020490.1A Active CN108122197B (zh) | 2017-10-27 | 2017-10-27 | 一种基于深度学习的图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108122197B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921785A (zh) * | 2018-06-14 | 2018-11-30 | 厦门大学 | 基于小波包的超分辨率重建方法 |
| CN109035171A (zh) * | 2018-08-01 | 2018-12-18 | 中国计量大学 | 一种网纹人脸图像修复方法 |
| CN109118428A (zh) * | 2018-06-07 | 2019-01-01 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
| CN109360148A (zh) * | 2018-09-05 | 2019-02-19 | 北京悦图遥感科技发展有限公司 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
| CN109934771A (zh) * | 2019-03-08 | 2019-06-25 | 北京航空航天大学 | 基于循环神经网络的无监督遥感图像超分辨率重建方法 |
| CN110148091A (zh) * | 2019-04-10 | 2019-08-20 | 深圳市未来媒体技术研究院 | 基于非局部注意力机制的神经网络模型及图像超分辨方法 |
| CN110288524A (zh) * | 2019-05-09 | 2019-09-27 | 广东启迪图卫科技股份有限公司 | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 |
| CN110458759A (zh) * | 2019-08-16 | 2019-11-15 | 杭州微算智能科技有限公司 | 一种基于edsr单图超分辨率重建方法 |
| CN110675324A (zh) * | 2018-07-02 | 2020-01-10 | 上海寰声智能科技有限公司 | 4k超高清图像清晰化处理方法 |
| WO2020062958A1 (en) * | 2018-09-30 | 2020-04-02 | Boe Technology Group Co., Ltd. | Apparatus, method, and computer-readable medium for image processing, and system for training a neural network |
| CN111008555A (zh) * | 2019-10-21 | 2020-04-14 | 武汉大学 | 一种无人机图像弱小目标增强提取方法 |
| CN111681298A (zh) * | 2020-06-08 | 2020-09-18 | 南开大学 | 一种基于多特征残差网络的压缩感知图像重建方法 |
| CN112215248A (zh) * | 2019-07-11 | 2021-01-12 | 深圳先进技术研究院 | 深度学习模型训练方法、装置、电子设备及存储介质 |
| CN112435162A (zh) * | 2020-11-13 | 2021-03-02 | 中国科学院沈阳自动化研究所 | 一种基于复数域神经网络的太赫兹图像超分辨重建方法 |
| CN112767260A (zh) * | 2020-12-30 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像质量提升方法、装置、计算机设备和存储介质 |
| CN112884648A (zh) * | 2021-01-25 | 2021-06-01 | 汉斯夫(杭州)医学科技有限公司 | 多类模糊图像超分辨率重建的方法和系统 |
| WO2023012529A1 (en) * | 2021-08-02 | 2023-02-09 | Rafael Advanced Defense Systems Ltd. | Methods and systems for simulating image capture of imaging device |
| WO2023159581A1 (zh) * | 2022-02-28 | 2023-08-31 | 京东方科技集团股份有限公司 | 机器学习模型的训练方法、装置和图像的处理方法、装置 |
| CN117408881A (zh) * | 2023-09-28 | 2024-01-16 | 上海纬而视科技股份有限公司 | 一种基于昆虫复眼视网神经膜的超分辨率图像重建方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008538A (zh) * | 2014-05-12 | 2014-08-27 | 清华大学 | 基于单张图像超分辨率方法 |
| CN104778671A (zh) * | 2015-04-21 | 2015-07-15 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
| CN106600533A (zh) * | 2016-12-08 | 2017-04-26 | 浙江工业大学 | 单图像超分辨率重建方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN107133919A (zh) * | 2017-05-16 | 2017-09-05 | 西安电子科技大学 | 基于深度学习的时间维视频超分辨率方法 |
| US20170293825A1 (en) * | 2016-04-08 | 2017-10-12 | Wuhan University | Method and system for reconstructing super-resolution image |
-
2017
- 2017-10-27 CN CN201711020490.1A patent/CN108122197B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008538A (zh) * | 2014-05-12 | 2014-08-27 | 清华大学 | 基于单张图像超分辨率方法 |
| CN104778671A (zh) * | 2015-04-21 | 2015-07-15 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
| US20170293825A1 (en) * | 2016-04-08 | 2017-10-12 | Wuhan University | Method and system for reconstructing super-resolution image |
| CN106600533A (zh) * | 2016-12-08 | 2017-04-26 | 浙江工业大学 | 单图像超分辨率重建方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN107133919A (zh) * | 2017-05-16 | 2017-09-05 | 西安电子科技大学 | 基于深度学习的时间维视频超分辨率方法 |
Non-Patent Citations (1)
| Title |
|---|
| JINCHANG XU 等: ""Fast and Accurate Image Super-Resolution Using A Combined Loss"", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 * |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118428A (zh) * | 2018-06-07 | 2019-01-01 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
| CN108921785B (zh) * | 2018-06-14 | 2020-07-07 | 厦门大学 | 基于小波包的超分辨率重建方法 |
| CN108921785A (zh) * | 2018-06-14 | 2018-11-30 | 厦门大学 | 基于小波包的超分辨率重建方法 |
| CN110675324B (zh) * | 2018-07-02 | 2023-10-10 | 上海寰声智能科技有限公司 | 4k超高清图像清晰化处理方法 |
| CN110675324A (zh) * | 2018-07-02 | 2020-01-10 | 上海寰声智能科技有限公司 | 4k超高清图像清晰化处理方法 |
| CN109035171A (zh) * | 2018-08-01 | 2018-12-18 | 中国计量大学 | 一种网纹人脸图像修复方法 |
| CN109035171B (zh) * | 2018-08-01 | 2021-06-15 | 中国计量大学 | 一种网纹人脸图像修复方法 |
| CN109360148A (zh) * | 2018-09-05 | 2019-02-19 | 北京悦图遥感科技发展有限公司 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
| CN109360148B (zh) * | 2018-09-05 | 2023-11-07 | 北京悦图遥感科技发展有限公司 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
| US11348005B2 (en) | 2018-09-30 | 2022-05-31 | Boe Technology Group Co., Ltd. | Apparatus, method, and computer-readable medium for image processing, and system for training a neural network |
| WO2020062958A1 (en) * | 2018-09-30 | 2020-04-02 | Boe Technology Group Co., Ltd. | Apparatus, method, and computer-readable medium for image processing, and system for training a neural network |
| US11449751B2 (en) | 2018-09-30 | 2022-09-20 | Boe Technology Group Co., Ltd. | Training method for generative adversarial network, image processing method, device and storage medium |
| CN109934771A (zh) * | 2019-03-08 | 2019-06-25 | 北京航空航天大学 | 基于循环神经网络的无监督遥感图像超分辨率重建方法 |
| CN109934771B (zh) * | 2019-03-08 | 2021-03-12 | 北京航空航天大学 | 基于循环神经网络的无监督遥感图像超分辨率重建方法 |
| CN110148091A (zh) * | 2019-04-10 | 2019-08-20 | 深圳市未来媒体技术研究院 | 基于非局部注意力机制的神经网络模型及图像超分辨方法 |
| CN110288524A (zh) * | 2019-05-09 | 2019-09-27 | 广东启迪图卫科技股份有限公司 | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 |
| CN112215248A (zh) * | 2019-07-11 | 2021-01-12 | 深圳先进技术研究院 | 深度学习模型训练方法、装置、电子设备及存储介质 |
| CN110458759A (zh) * | 2019-08-16 | 2019-11-15 | 杭州微算智能科技有限公司 | 一种基于edsr单图超分辨率重建方法 |
| CN111008555A (zh) * | 2019-10-21 | 2020-04-14 | 武汉大学 | 一种无人机图像弱小目标增强提取方法 |
| CN111681298A (zh) * | 2020-06-08 | 2020-09-18 | 南开大学 | 一种基于多特征残差网络的压缩感知图像重建方法 |
| CN112435162A (zh) * | 2020-11-13 | 2021-03-02 | 中国科学院沈阳自动化研究所 | 一种基于复数域神经网络的太赫兹图像超分辨重建方法 |
| CN112435162B (zh) * | 2020-11-13 | 2024-03-05 | 中国科学院沈阳自动化研究所 | 一种基于复数域神经网络的太赫兹图像超分辨重建方法 |
| CN112767260A (zh) * | 2020-12-30 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像质量提升方法、装置、计算机设备和存储介质 |
| CN112884648A (zh) * | 2021-01-25 | 2021-06-01 | 汉斯夫(杭州)医学科技有限公司 | 多类模糊图像超分辨率重建的方法和系统 |
| WO2023012529A1 (en) * | 2021-08-02 | 2023-02-09 | Rafael Advanced Defense Systems Ltd. | Methods and systems for simulating image capture of imaging device |
| WO2023159581A1 (zh) * | 2022-02-28 | 2023-08-31 | 京东方科技集团股份有限公司 | 机器学习模型的训练方法、装置和图像的处理方法、装置 |
| CN117408881A (zh) * | 2023-09-28 | 2024-01-16 | 上海纬而视科技股份有限公司 | 一种基于昆虫复眼视网神经膜的超分辨率图像重建方法 |
| CN117408881B (zh) * | 2023-09-28 | 2024-05-03 | 上海纬而视科技股份有限公司 | 一种基于昆虫复眼视网神经膜的超分辨率图像重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108122197B (zh) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108122197A (zh) | 一种基于深度学习的图像超分辨率重建方法 | |
| CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| Niklaus et al. | Video frame interpolation via adaptive separable convolution | |
| CN109102462A (zh) | 一种基于深度学习的视频超分辨率重建方法 | |
| Ren et al. | Single image super-resolution via adaptive high-dimensional non-local total variation and adaptive geometric feature | |
| CN109544448B (zh) | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 | |
| CN109767386A (zh) | 一种基于深度学习的快速图像超分辨率重建方法 | |
| CN107958444A (zh) | 一种基于深度学习的人脸超分辨率重建方法 | |
| CN106204449A (zh) | 一种基于对称深度网络的单幅图像超分辨率重建方法 | |
| CN110992262A (zh) | 一种基于生成对抗网络的遥感图像超分辨重建方法 | |
| CN107633486A (zh) | 基于三维全卷积神经网络的结构磁共振图像去噪方法 | |
| CN106709875A (zh) | 一种基于联合深度网络的压缩低分辨率图像复原方法 | |
| CN111028150A (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| CN108805808A (zh) | 一种利用卷积神经网络提高视频分辨率的方法 | |
| CN110796622B (zh) | 一种基于串联神经网络多层特征的图像比特增强方法 | |
| CN107784628A (zh) | 一种基于重建优化和深度神经网络的超分辨率实现方法 | |
| CN106485671A (zh) | 基于边缘的多方向加权tv和自相似性约束图像去模糊方法 | |
| CN105513033B (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
| CN112669214B (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
| CN112699844A (zh) | 一种基于多尺度残差层级密连接网络的图像超分辨率方法 | |
| CN108122262A (zh) | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 | |
| Gao et al. | Learning to Incorporate Texture Saliency Adaptive Attention to Image Cartoonization. | |
| CN113096015B (zh) | 基于渐进式感知和超轻量级网络的图像超分辨率重建方法 | |
| CN103020936B (zh) | 一种人脸图像超分辨率重构方法 | |
| CN110473153A (zh) | 基于模糊核估计迭代结构保持的图像盲复原方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |