CN110458758B - 一种图像超分辨率重建方法、系统及计算机存储介质 - Google Patents
一种图像超分辨率重建方法、系统及计算机存储介质 Download PDFInfo
- Publication number
- CN110458758B CN110458758B CN201910687010.XA CN201910687010A CN110458758B CN 110458758 B CN110458758 B CN 110458758B CN 201910687010 A CN201910687010 A CN 201910687010A CN 110458758 B CN110458758 B CN 110458758B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- feature
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 238000007634 remodeling Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 54
- 238000000605 extraction Methods 0.000 claims description 28
- 230000004913 activation Effects 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000005549 size reduction Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 82
- 238000012360 testing method Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种图像超分辨率重建方法、系统及计算机存储介质，其方法包括以下步骤，S1，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将原始高分辨率图像进行插值下采样，得到低分辨率图像；S2，基于生成网络对低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；S3，基于判别网络和原始高分辨率图像对超分辨率图像进行真伪判别。本发明其将单一的低分辨图像通过边缘细节信息增强表达，在原始超分辨率重建生成网络中加入边缘增强融合网络提高了图像超分辨率重建性能，获得更清晰的重建图像；另外，判别网络也可以提升边缘增强生成对抗网络的重建性能。
Description
技术领域
本发明涉及图像超分辨率技术领域，具体涉及一种图像超分辨率重建方法、系统及计算机存储介质。
背景技术
人脸超分辨率重建是基于图像超分辨率重建的思想，结合人脸图像中的结构性特征所产生有侧向性的图像超分辨率重建算法，实现从信息量较少的低分辨率(Low-Resolution，LR)人脸图像能够还原恢复出信息量丰富的高分辨率(High-Resolution，HR)人脸图像的技术。人脸超分辨率技术能够提升人脸图像的分辨率和清晰度，使得在原始极低分辨率图像中有限的人脸信息能够得到更加细致的表达，在安防、刑侦等应用中发挥了重要的作用。
Dong等人将图像超分辨率重建(Super-Resolution，SR)问题带入深度学习的时代，首次将卷积神经网络应用于图像超分辨率重建问题。在此之后图像超分辨率重建算法百家争鸣，Kim等人借鉴图像分类问题中(Visual Geometry Group，VGG)网络架构，提出网络越深效果越好的(Deep Convolutional Network for Image Super-Resolution，VDSR)。但是在实际的测试中由于VDSR其缺乏层间信息反馈及上下文信息关联而不能达到设想的效果。Ledig等人将生成式对抗网络用于SR问题，提出(Super-Resolution GenerativeAdversarial Network,SRGAN)和基于残差学习的(Super-Resolution Residual Network,SRResnet)。SRGAN和SRResnet算法在通用图像上能够实现较好的效果，但是由于人脸的结构性的缺失使得生成的人脸图像在具有伪影等模糊现象。
在人脸超分辨重建任务上，通用场景图像的深度学习超分辨率方法对人脸目标的前景和背景内容没有区分，导致重建人脸图像与背景部分、五官与面部过渡部分细节模糊，难以满足实际需求。Lu等人通过双重中继残差网络直接用于人脸图像的超分辨率重建中，获得了边缘增强的人脸图像，但是面部细节的恢复不够清晰。Yang等人增强SRGAN中判别网络的判别能力反向促进生成器生成能力的思路设计出侧重于人脸超分辨率重建，使得更好的恢复出人脸细节信息。人脸生成图像具有很好的视觉主观效果，但是在人脸边缘部分细节信息不够明显。
发明内容
本发明所要解决的技术问题是提供一种图像超分辨率重建方法、系统及计算机存储介质，能够有效提升图像的超分辨率重建性能。
本发明解决上述技术问题的技术方案如下：一种图像超分辨率重建方法，包括以下步骤，
S1，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将所述原始高分辨率图像进行插值下采样，得到低分辨率图像；
S2，基于生成网络对所述低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；
S3，基于判别网络和所述原始高分辨率图像对所述超分辨率图像进行真伪判别；
当所述超分辨率图像为伪图像时，基于判别结果学习隐藏在所述生成网络中的损失函数，调整所述生成网络的隐变量参数，基于学习调整后的所述生成网络，重复执行所述S2，直至所述超分辨率图像为真图像；
当所述超分辨率图像为真图像时，结束操作。
本发明的有益效果是：本发明提供了一种图像超分辨率重建方法，其将单一的低分辨图像通过边缘细节信息增强表达，在原始超分辨率重建生成网络中加入边缘增强融合网络提高了图像超分辨率重建性能，获得更清晰的重建图像；另外，判别网络也可以提升边缘增强生成对抗网络的重建性能。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述S2具体包括，在所述生成网络中，
S21，对所述低分辨率图像进行全局浅层特征提取和边缘浅层特征提取，得到图像全局浅层特征和图像边缘浅层特征；
S22，对所述图像全局浅层特征和所述图像边缘浅层特征分别进行残差密集学习，得到图像全局深层特征和图像边缘深层特征；
S23，对所述图像全局深层特征和所述图像边缘深层特征进行边缘增强融合，得到边缘增强的低分辨率图像特征图；
S24，对所述低分辨率图像特征图进行上采样，并通过激活函数对所述低分辨率图像特征图进行重建，得到超分辨率图像。
进一步，所述S21具体为，
利用两层k3n128s1的卷积层对所述低分辨率图像进全局浅层特征提取，得到图像全局浅层特征；
利用拉普拉斯算子对所述低分辨率图像进行边缘区域提取，得到图像边缘区域；利用一层k3n128s1的卷积层对所述图像边缘区域进行边缘浅层特征提取，得到图像边缘浅层特征。
进一步，所述S22具体为，
利用十六层残差卷积层分别对所述图像全局浅层特征和所述图像边缘浅层特征进行残差密集连接计算，得到所述图像全局深层特征和所述图像边缘深层特征。
采用上述进一步方案的有益效果是：生成网络使用残差密集学习方式来进一步获得深层特征提取，使用感知损失由计算图像在特征空间上的差距，最小化图像特征之间的欧氏距离使得SR在语义上与HR差异性更小。
进一步，所述S23具体为，
利用一层k1n128s1的卷积层分别对所述图像全局深层特征和所述图像边缘深层特征进行特征降维；
利用一层k3n128s1的卷积层分别对经过特征降维后的所述图像全局深层特征和所述图像边缘深层特征进行尺度缩小；
利用Concat层对经过尺寸缩小后的所述图像全局深层特征和所述图像边缘深层特征进行通道连接；
利用一层k1n128s1的卷积层减少所述图像全局深层特征和所述图像边缘深层特征进行通道连接的通道数量，完成跨通道的交互和信息整合，得到边缘增强的低分辨率图像特征图。
进一步，所述S24具体为，
利用子像素卷积对所述低分辨率图像特征图进行上采样，并通过激活函数对经过上采样后的所述低分辨率图像特征图进行重建，得到所述超分辨率图像。
进一步，在所述S3中，判别网络对所述超分辨率图像进行真伪判别的具体过程为，
将所述超分辨率图像和所述原始高分辨率图像输入至判别网络中；
利用一层k3n64s1的卷积层提取所述超分辨率图像和所述原始高分辨率图像的浅层特征，得到浅层特征图像；
利用一层k3n64s2的卷积层减小所述浅层特征图像的大小，得到小尺寸浅层特征图像；
利用4层密集连接层对所述小尺寸浅层特征图像进行密集连接计算，得到深层特征图像；
利用激活函数对所述深层特征图像进行真伪判别，得到的判别结果即为所述超分辨率图像的真伪。
基于上述一种图像超分辨率重建方法，本发明还提供一种图像超分辨率重建系统。
一种图像超分辨率重建系统，包括预处理模块、生成网络和判别网络；
所述预处理模块用于，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将所述原始高分辨率图像进行插值下采样，得到低分辨率图像；
所述生成网络用于，对所述低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；
所述判别网络用于，利用所述原始高分辨率图像对所述超分辨率图像进行真伪判别，当所述超分辨率图像为伪图像时，基于判别结果学习隐藏在所述生成网络中的损失函数，调整所述生成网络的隐变量参数。
本发明的有益效果是：本发明提供了一种图像超分辨率重建系统，其将单一的低分辨图像通过边缘细节信息增强表达，在原始超分辨率重建生成网络中加入边缘增强融合网络提高了图像超分辨率重建性能，获得更清晰的重建图像；另外，判别网络也可以提升边缘增强生成对抗网络的重建性能。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述生成网络包括特征提取模块、残差密集学习模块、边缘增强融合模块和图像上采样模块；
所述特征提取模块用于，对所述低分辨率图像进行全局浅层特征提取和边缘浅层特征提取，得到图像全局浅层特征和图像边缘浅层特征；
所述残差密集学习模块用于，对所述图像全局浅层特征和所述图像边缘浅层特征分别进行残差密集学习，得到图像全局深层特征和图像边缘深层特征；
所述边缘增强融合模块用于，对所述图像全局深层特征和所述图像边缘深层特征进行边缘增强融合，得到边缘增强的低分辨率图像特征图；
所述图像上采样模块用于，对所述低分辨率图像特征图进行上采样，并通过激活函数对所述低分辨率图像特征图进行重建，得到超分辨率图像。
基于上述一种图像超分辨率重建方法，本发明还提供一种计算机存储介质。
一种计算机存储介质，其特征在于，所述计算机存储介质包括：至少一个指令，在所述指令被执行时实现上述所述的方法步骤。
附图说明
图1为本发明一种图像超分辨率重建方法的流程图；
图2为由生成网络与判别网络组成的生成对抗网络的结构图；
图3为本发明一种图像超分辨率重建方法的实验效果图；
图4为本发明一种图像超分辨率重建系统的结构图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明提供一种图像超分辨率重建方法、系统及计算机存储介质，其利用生成网络与判别网络进行基于边缘增强的超分辨重建，在由生成网络和判别网络组成的基于边缘增强的生成对抗网络的结构图(图2)中，定义k表示卷积核大小，n表示滤波器数量，s表示步长。在样本数量N的实验数据集中，低分辨率图像集
以及原始高分辨率图像集
分别表示训练的LR和对应的HR，定义G(X)表示生成网络中根据低分辨率图像的样本分布密度函数所生成的超分辨率图像(即SR)的样本分布密度函数。神经网络的训练过程需要一个目标函数对网络训练结果进行约束，也就是说生成对抗网络的训练过程可以表示为最小-最大问题的约束求解，生成对抗网络的目标函数也就是对于最小-最大问题的最优求解方程，因此生成网络与判别网络的损失函数分别是这个求解方程的组成部分。判别网络与生成网络的对抗损失函数lD(G,D)和lG(G,D)对生成对抗网络中最小-最大问题进行约束，其最小-最大问题的约束条件如下：
其中，G(X)表示生成网络生成的超分辨率图像的样本分布密度函数，D(G(X))表示判别网络对于超分辨率图像与原始高分辨率图像成功区分的概率函数，X～Ptrain(X)代表低分辨率图像集X中服从训练的低分辨率图像的分布函数，D(Y)表示判别网络不能区分超分辨率图像与原始高分辨率图像的概率函数，Y～Ptrain(Y)表示原始高分辨率图像集Y中服从训练的原始高分辨率图像的分布函数。
对抗训练是在生成对抗网络的训练过程中调节网络参数的一种独特的训练技巧，而在图像超分辨重建测试时不需要用到判别网络。
如图1和图2所示，一种图像超分辨率重建方法，包括以下步骤，
S1，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将所述原始高分辨率图像进行插值下采样，得到低分辨率图像；
例如：将样本数量为N的原始图像集
中的每一张原始图像的分辨率统一转化为分辨率为Y:mt×nt的图像，作为原始高分辨率图像集；将原始高分辨率图像集中的每一张原始高分辨率图像分别进行插值下采样，得到分辨率为X:m×n的低分辨率图像集，低分辨率图像集中的低分辨率图像用于t倍图像超分辨率重建。
在本发明中：高分辨率和低分辨率是相对而言的。
S2，基于生成网络对所述低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；
所述S2具体包括S21-S24，在所述生成网络中，
S21，对所述低分辨率图像进行全局浅层特征提取和边缘浅层特征提取，得到图像全局浅层特征和图像边缘浅层特征；所述S21具体为：
利用两层k3n128s1的卷积层(上述已定义k表示卷积核大小，n表示滤波器数量，s表示步长，所以k3n128s1表示卷积层的卷积核大小为3，滤波器数量为128，步长为1，对于下述卷积层，可以依此类推)对所述低分辨率图像进全局浅层特征提取，得到图像全局浅层特征；
利用拉普拉斯算子对所述低分辨率图像进行边缘区域提取，得到图像边缘区域；利用一层k3n128s1的卷积层对所述图像边缘区域进行边缘浅层特征提取，得到图像边缘浅层特征。
S22，对所述图像全局浅层特征和所述图像边缘浅层特征分别进行残差密集学习，得到图像全局深层特征和图像边缘深层特征；
所述S22具体为：
利用十六层残差卷积层分别对所述图像全局浅层特征和所述图像边缘浅层特征进行残差密集连接计算，得到所述图像全局深层特征和所述图像边缘深层特征。
残差卷积层为k3n64s1的卷积层结构；使用C表示残差学习中残差密集连接计算，
是指图像全局浅层特征或图像边缘浅层特征经过十六层残差卷积层时，作为第一层的输入特征图的矩阵表达形式，
表示经过残差学习的第i层残差卷积层后输出的图像全局深层特征或图像边缘深层特征的激活值；残差学习公式如下所示：
其中，
生成网络使用残差密集学习方式来进一步获得深层特征提取。在生成网络中使用感知损失函数lfeature计算图像在特征空间上的差距，最小化图像特征之间的欧氏距离使得SR在语义上与HR差异性更小。其中感知损失函数lfeature的表达式如下：
其中，
表示原始高分辨率图像与超分辨率图像的特征的欧氏距离，(X,Y)～Ptrain(X,Y)表示低分辨率图像集X和原始高分辨率图像集Y中服从训练的且由原始高分辨率图像及对应的低分辨率图像组成的高低分辨率图像对的分布函数。
S23，对所述图像全局深层特征和所述图像边缘深层特征进行边缘增强融合，得到边缘增强的低分辨率图像特征图；
所述S23具体为：
利用一层k1n128s1的卷积层分别对所述图像全局深层特征和所述图像边缘深层特征进行特征降维；
利用一层k3n128s1的卷积层分别对经过特征降维后的所述图像全局深层特征和所述图像边缘深层特征进行尺度缩小；
利用Concat层对经过尺寸缩小后的所述图像全局深层特征和所述图像边缘深层特征进行通道连接；
利用一层k1n128s1的卷积层减少所述图像全局深层特征和所述图像边缘深层特征进行通道连接的通道数量，完成跨通道的交互和信息整合，得到边缘增强的低分辨率图像特征图。
S24，对所述低分辨率图像特征图进行上采样，并通过激活函数对所述低分辨率图像特征图进行重建，得到超分辨率图像；
所述S24具体为：
利用子像素卷积(Pixel Shuffle)对所述低分辨率图像特征图进行上采样，并通过激活函数对经过上采样后的所述低分辨率图像特征图进行重建，得到所述超分辨率图像；
对经过上采样后的所述低分辨率图像特征图进行重建的激活函数如下：
其中，Concat代表由矩阵在维度上的叠加，在这里表示S23中，图像全局深层特征和图像边缘深层特征在通道上的叠加操作，
表示由子像素卷积(Pixel Shuffle)进行的上采样运算。
像素域损失函数lpixel用于保留图像的低频部分，用来减少SR和HR之间的差值，G(X)表示生成网络输出结果SR，像素域损失函数lpixel表示如下：
像素域损失函数lpixel与感知损失函数定义相似，只是像素域损失函数lpixel在计算两者欧式距离时不需要累加求和。
生成网络的总损失函数lGen(G,D)采用组合损失函数，包含对抗损失函数lG(G，D)、像素域损失函数lpixel和感知损失函数lfeature，组合损失函数表示如下：
lGen(G,D)＝lpixel+αlG(G,D)+βlfeature (7)
S3，基于判别网络和所述原始高分辨率图像对所述超分辨率图像进行真伪判别；当所述超分辨率图像为伪图像时，基于判别结果学习隐藏在所述生成网络中的损失函数，调整所述生成网络的隐变量参数，基于学习调整后的所述生成网络，重复执行所述S2，直至所述超分辨率图像为真图像；当所述超分辨率图像为真图像时，结束操作；
在所述S3中，判别网络对所述超分辨率图像进行真伪判别的具体过程为，
将所述超分辨率图像和所述原始高分辨率图像输入至判别网络中；
利用一层k3n64s1的卷积层提取所述超分辨率图像和所述原始高分辨率图像的浅层特征，得到浅层特征图像；
利用一层k3n64s2的卷积层减小所述浅层特征图像的大小，得到小尺寸浅层特征图像；
利用4层密集连接层对所述小尺寸浅层特征图像进行密集连接计算，得到深层特征图像；
利用激活函数对所述深层特征图像进行真伪判别，得到的判别结果即为所述超分辨率图像的真伪。
其中，小尺寸浅层特征图像中的小尺寸定义相对于浅层特征图像的大小而言。
其中，对所述深层特征图像进行真伪判别的激活函数具体为LeakyReLU和Sigmoid激活函数。
在判别网络中也可使用感知损失函数lfeature计算图像在特征空间上的差距，判别网络中总损失函数lDis采用组合损失函数，包含对抗损失函数lD(G，D)和感知损失函数lfeature，组合损失函数表示如下：
lDis＝-lD(G,D)+βlfeature (8)
判别网络作为对抗生成网络的一部分，判别网络中的感知损失函数与生成网络中的感知损失函数公式定义是一致的。
本发明中将生成网络和判别网络的总损失函数中的系数α和β分别设置为0.01和0.025。
测试实施例：测试环节使用图像数据库(Labeled Faces in the Wild，LFW)，进行4倍上采样的图像超分辨重建。在LFW数据集13000张原始图像中，实验使用3000张作为测试样本。使用CelebA数据集仅作为测试集，随机选择1000张原始图像来验证算法的鲁棒性。实验效果如图3所示，其中，图像(a)为输入的低分辨率图像，图像(b)为重建后的超分辨率图像，图像(c)为原始高分辨率图像。测试在生成网络和对抗网络中的每次迭代训练中使用ADAM算法进行优化，网络在每10000次迭代后，学习率衰减为原来的0.9倍。通过测量重建图像的峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)、结构相似度(StructuralSimilarity Index，SSIM)来证明本发明中算法的有效性和优越性。以下提供实验对比结果说明本方法的有效性和优越性。
两组实验的平均PSNR和SSIM值如下表所示：
本发明方法与对比方法在LFW测试集上实验的测试结果如下表所示：
从以上表格明显看出，与其他方法相比，本发明方法在PSNR值和SSIM值上高于其他方法。
基于上述一种图像超分辨率重建方法，本发明还提供一种图像超分辨率重建系统。
如图4所示，一种图像超分辨率重建系统，包括预处理模块生成网络和判别网络；
所述预处理模块用于，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将所述原始高分辨率图像进行插值下采样，得到低分辨率图像；
所述生成网络用于，对所述低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；
所述判别网络用于，利用所述原始高分辨率图像对所述超分辨率图像进行真伪判别，当所述超分辨率图像为伪图像时，基于判别结果学习隐藏在所述生成网络中的损失函数，调整所述生成网络的隐变量参数。
具体的：
所述生成网络包括特征提取模块、残差密集学习模块、边缘增强融合模块和图像上采样模块；
所述特征提取模块用于，对所述低分辨率图像进行全局浅层特征提取和边缘浅层特征提取，得到图像全局浅层特征和图像边缘浅层特征；
所述残差密集学习模块用于，对所述图像全局浅层特征和所述图像边缘浅层特征分别进行残差密集学习，得到图像全局深层特征和图像边缘深层特征；
所述边缘增强融合模块用于，对所述图像全局深层特征和所述图像边缘深层特征进行边缘增强融合，得到边缘增强的低分辨率图像特征图；
所述图像上采样模块用于，对所述低分辨率图像特征图进行上采样，并通过激活函数对所述低分辨率图像特征图进行重建，得到超分辨率图像。
在本具体实施例中：
特征提取模块包括图像全局浅层特征提取单元和图像边缘浅层特征提取单元，图像全局浅层特征提取单元采用两层k3n128s1的卷积层，图像边缘浅层特征提取单元采用依次排列的拉普拉斯算子层和一层k3n128s1的卷积层。
残差密集学习模块包括图像全局浅层特征残差密集学习单元和图像边缘浅层特征残差密集学习单元，图像全局浅层特征残差密集学习单元和图像边缘浅层特征残差密集学习单元分别采用十六层残差卷积层。
边缘增强融合模块采用依次排列的一层k1n128s1的卷积、一层k3n128s1的卷积层、Concat层和一层k1n128s1的卷积层。图像上采样模块采用依次排列的子像素卷积层和激活函数层。
所述判别网络采用依次排列的一层k3n64s1的卷积层、一层k3n64s2的卷积层、4层密集连接层和激活函数层。
本发明提供了一种图像超分辨率重建系统，其将单一的低分辨图像通过边缘细节信息增强表达，在原始超分辨率重建生成对抗网络中加入边缘增强融合网络提高了图像超分辨率重建性能，获得更清晰的重建图像；另外，判别网络也可以提升边缘增强生成对抗网络的重建性能。
基于上述基于边缘增强生成对抗网络的图像超分辨率重建方法，本发明还提供一种计算机存储介质。
一种计算机存储介质，所述计算机存储介质包括：至少一个指令，在所述指令被执行时实现上述所述的方法步骤。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种图像超分辨率重建方法，其特征在于：包括以下步骤，
S1，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将所述原始高分辨率图像进行插值下采样，得到低分辨率图像；
S2，基于生成网络对所述低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；
S3，基于判别网络和所述原始高分辨率图像对所述超分辨率图像进行真伪判别；
当所述超分辨率图像为伪图像时，基于判别结果学习隐藏在所述生成网络中的损失函数，调整所述生成网络的隐变量参数，基于学习调整后的所述生成网络，重复执行所述S2，直至所述超分辨率图像为真图像；
当所述超分辨率图像为真图像时，结束操作；
所述S2具体包括，在所述生成网络中，
S21，对所述低分辨率图像进行全局浅层特征提取和边缘浅层特征提取，得到图像全局浅层特征和图像边缘浅层特征；
S22，对所述图像全局浅层特征和所述图像边缘浅层特征分别进行残差密集学习，得到图像全局深层特征和图像边缘深层特征；
S23，对所述图像全局深层特征和所述图像边缘深层特征进行边缘增强融合，得到边缘增强的低分辨率图像特征图；
S24，对所述低分辨率图像特征图进行上采样，并通过激活函数对所述低分辨率图像特征图进行重建，得到超分辨率图像。
2.根据权利要求1所述的一种图像超分辨率重建方法，其特征在于：所述S21具体为，
利用两层k3n128s1的卷积层对所述低分辨率图像进全局浅层特征提取，得到图像全局浅层特征；
利用拉普拉斯算子对所述低分辨率图像进行边缘区域提取，得到图像边缘区域；利用一层k3n128s1的卷积层对所述图像边缘区域进行边缘浅层特征提取，得到图像边缘浅层特征。
3.根据权利要求1所述的一种图像超分辨率重建方法，其特征在于：所述S22具体为，
利用十六层残差卷积层分别对所述图像全局浅层特征和所述图像边缘浅层特征进行残差密集连接计算，得到所述图像全局深层特征和所述图像边缘深层特征。
4.根据权利要求1所述的一种图像超分辨率重建方法，其特征在于：所述S23具体为，
利用一层k1n128s1的卷积层分别对所述图像全局深层特征和所述图像边缘深层特征进行特征降维；
利用一层k3n128s1的卷积层分别对经过特征降维后的所述图像全局深层特征和所述图像边缘深层特征进行尺度缩小；
利用Concat层对经过尺寸缩小后的所述图像全局深层特征和所述图像边缘深层特征进行通道连接；
利用一层k1n128s1的卷积层减少所述图像全局深层特征和所述图像边缘深层特征进行通道连接的通道数量，完成跨通道的交互和信息整合，得到边缘增强的低分辨率图像特征图。
5.根据权利要求1所述的一种图像超分辨率重建方法，其特征在于：所述S24具体为，
利用子像素卷积对所述低分辨率图像特征图进行上采样，并通过激活函数对经过上采样后的所述低分辨率图像特征图进行重建，得到所述超分辨率图像。
6.根据权利要求1至5任一项所述的一种图像超分辨率重建方法，其特征在于：在所述S3中，判别网络对所述超分辨率图像进行真伪判别的具体过程为，
将所述超分辨率图像和所述原始高分辨率图像输入至判别网络中；
利用一层k3n64s1的卷积层提取所述超分辨率图像和所述原始高分辨率图像的浅层特征，得到浅层特征图像；
利用一层k3n64s2的卷积层减小所述浅层特征图像的大小，得到小尺寸浅层特征图像；
利用4层密集连接层对所述小尺寸浅层特征图像进行密集连接计算，得到深层特征图像；
利用激活函数对所述深层特征图像进行真伪判别，得到的判别结果即为所述超分辨率图像的真伪。
7.一种图像超分辨率重建系统，其特征在于：包括预处理模块、生成网络和判别网络；
所述预处理模块用于，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将所述原始高分辨率图像进行插值下采样，得到低分辨率图像；
所述生成网络用于，对所述低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；
所述判别网络用于，利用所述原始高分辨率图像对所述超分辨率图像进行真伪判别，当所述超分辨率图像为伪图像时，基于判别结果学习隐藏在所述生成网络中的损失函数，调整所述生成网络的隐变量参数；
所述生成网络包括特征提取模块、残差密集学习模块、边缘增强融合模块和图像上采样模块；
所述特征提取模块用于，对所述低分辨率图像进行全局浅层特征提取和边缘浅层特征提取，得到图像全局浅层特征和图像边缘浅层特征；
所述残差密集学习模块用于，对所述图像全局浅层特征和所述图像边缘浅层特征分别进行残差密集学习，得到图像全局深层特征和图像边缘深层特征；
所述边缘增强融合模块用于，对所述图像全局深层特征和所述图像边缘深层特征进行边缘增强融合，得到边缘增强的低分辨率图像特征图；
所述图像上采样模块用于，对所述低分辨率图像特征图进行上采样，并通过激活函数对所述低分辨率图像特征图进行重建，得到超分辨率图像。
8.一种计算机存储介质，其特征在于，所述计算机存储介质包括：至少一个指令，在所述指令被执行时实现如权利要求1至6任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910687010.XA CN110458758B (zh) | 2019-07-29 | 2019-07-29 | 一种图像超分辨率重建方法、系统及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910687010.XA CN110458758B (zh) | 2019-07-29 | 2019-07-29 | 一种图像超分辨率重建方法、系统及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110458758A CN110458758A (zh) | 2019-11-15 |
| CN110458758B true CN110458758B (zh) | 2022-04-29 |
Family
ID=68483713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910687010.XA Active CN110458758B (zh) | 2019-07-29 | 2019-07-29 | 一种图像超分辨率重建方法、系统及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458758B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021102644A1 (zh) * | 2019-11-25 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 图像增强方法、装置及终端设备 |
| CN111062886A (zh) * | 2019-12-10 | 2020-04-24 | 携程计算机技术（上海）有限公司 | 酒店图片的超分辨方法、系统、电子产品和介质 |
| CN111062872B (zh) * | 2019-12-17 | 2021-02-05 | 暨南大学 | 一种基于边缘检测的图像超分辨率重建方法及系统 |
| CN111179177B (zh) * | 2019-12-31 | 2024-03-26 | 深圳市联合视觉创新科技有限公司 | 图像重建模型训练方法、图像重建方法、设备及介质 |
| CN113365107B (zh) * | 2020-03-05 | 2024-05-10 | 阿里巴巴集团控股有限公司 | 视频处理方法、影视视频处理方法及装置 |
| CN111429355A (zh) * | 2020-03-30 | 2020-07-17 | 新疆大学 | 一种基于生成对抗网络的图像超分辨率重建方法 |
| CN111626932B (zh) * | 2020-05-07 | 2023-09-29 | Tcl华星光电技术有限公司 | 图像的超分辨率重建方法及装置 |
| CN111667410B (zh) * | 2020-06-10 | 2021-09-14 | 腾讯科技（深圳）有限公司 | 图像分辨率提升方法、装置及电子设备 |
| CN111815546A (zh) * | 2020-06-23 | 2020-10-23 | 浙江大华技术股份有限公司 | 图像重建方法以及相关设备、装置 |
| CN111932460B (zh) * | 2020-08-10 | 2023-09-22 | 北京大学深圳医院 | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 |
| CN111915491A (zh) * | 2020-08-14 | 2020-11-10 | 深圳清研智城科技有限公司 | 一种基于远近景的弱监督超分辨率重建模型及方法 |
| CN112150379A (zh) * | 2020-09-22 | 2020-12-29 | 武汉工程大学 | 基于感知判别增强生成对抗网络的图像去雾方法及装置 |
| WO2022099710A1 (zh) * | 2020-11-16 | 2022-05-19 | 京东方科技集团股份有限公司 | 图像重建方法、电子设备和计算机可读存储介质 |
| CN112734638B (zh) * | 2020-12-24 | 2022-08-05 | 桂林理工大学 | 一种遥感影像超分辨重建方法、装置及存储介质 |
| CN112785501B (zh) * | 2021-01-20 | 2023-09-01 | 北京百度网讯科技有限公司 | 文字图像的处理方法、装置、设备和存储介质 |
| CN113436217A (zh) * | 2021-07-23 | 2021-09-24 | 山东大学 | 基于深度学习的无人车环境检测方法 |
| CN113674154B (zh) * | 2021-08-23 | 2023-10-27 | 北京印刷学院 | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 |
| CN114022348A (zh) * | 2021-09-30 | 2022-02-08 | 浪潮(北京)电子信息产业有限公司 | 一种图像的超分辨率方法、系统及相关装置 |
| CN114648468B (zh) * | 2022-05-18 | 2022-08-16 | 中山大学深圳研究院 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
| CN115375626B (zh) * | 2022-07-25 | 2023-06-06 | 浙江大学 | 基于物理分辨率的医学图像分割方法、系统、介质及设备 |
| CN116071243B (zh) * | 2023-03-27 | 2023-06-16 | 江西师范大学 | 一种基于边缘增强的红外图像超分辨率重建方法 |
| CN117237190B (zh) * | 2023-09-15 | 2024-03-15 | 中国矿业大学 | 用于边缘移动设备的轻量化图像超分辨率重建系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133456A (zh) * | 2016-11-30 | 2018-06-08 | 京东方科技集团股份有限公司 | 人脸超分辨率重建方法、重建设备以及计算机系统 |
| CN109509152A (zh) * | 2018-12-29 | 2019-03-22 | 大连海事大学 | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810675B (zh) * | 2013-09-09 | 2016-09-21 | 深圳市华星光电技术有限公司 | 图像超分辨率重构系统及方法 |
-
2019
- 2019-07-29 CN CN201910687010.XA patent/CN110458758B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133456A (zh) * | 2016-11-30 | 2018-06-08 | 京东方科技集团股份有限公司 | 人脸超分辨率重建方法、重建设备以及计算机系统 |
| CN109509152A (zh) * | 2018-12-29 | 2019-03-22 | 大连海事大学 | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 边缘增强深层网络的图像超分辨率重建;谢珍珠等;《中国图象图形学报》;20180116(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110458758A (zh) | 2019-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458758B (zh) | 一种图像超分辨率重建方法、系统及计算机存储介质 | |
| CN110211045B (zh) | 基于srgan网络的超分辨率人脸图像重建方法 | |
| CN113284051B (zh) | 一种基于频率分解多注意力机制的人脸超分辨方法 | |
| CN112070670B (zh) | 全局-局部分离注意力机制的人脸超分辨率方法及系统 | |
| Chang | [Retracted] Neural Reversible Steganography with Long Short‐Term Memory | |
| CN114757832B (zh) | 基于交叉卷积注意力对抗学习的人脸超分辨方法和装置 | |
| CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN115131203A (zh) | Lr图像生成方法及基于不确定性的真实图像超分辨率方法 | |
| Liu et al. | Research on super-resolution reconstruction of remote sensing images: A comprehensive review | |
| CN112581423A (zh) | 一种基于神经网络的汽车表面缺陷的快速检测方法 | |
| CN116797461A (zh) | 基于多级强化注意力机制的双目图像超分辨率重建方法 | |
| CN115293966A (zh) | 一种人脸图像重建方法、装置以及存储介质 | |
| Ahn et al. | Local-source enhanced residual network for steganalysis of digital images | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| Ke et al. | DF-UDetector: An effective method towards robust deepfake detection via feature restoration | |
| Shen et al. | Mutual information-driven triple interaction network for efficient image dehazing | |
| Hou et al. | Joint learning of image deblurring and depth estimation through adversarial multi-task network | |
| CN113421186A (zh) | 使用生成对抗网络的非监督视频超分辨率的设备和方法 | |
| Espinosa et al. | An efficient approach for underwater image improvement: Deblurring, dehazing, and color correction | |
| Lai et al. | Generative focused feedback residual networks for image steganalysis and hidden information reconstruction | |
| CN116228537A (zh) | 基于去噪和超分辨率重构融合的攻击图像防御方法 | |
| CN116258867A (zh) | 一种基于关键区域低感知性扰动的对抗样本生成方法 | |
| CN113487506B (zh) | 基于注意力去噪的对抗样本防御方法、装置和系统 | |
| Li et al. | Adversarial feature hybrid framework for steganography with shifted window local loss | |
| CN113902647A (zh) | 一种基于双闭环网络的图像去模糊方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |