CN111062872B - 一种基于边缘检测的图像超分辨率重建方法及系统 - Google Patents
一种基于边缘检测的图像超分辨率重建方法及系统 Download PDFInfo
- Publication number
- CN111062872B CN111062872B CN201911302745.2A CN201911302745A CN111062872B CN 111062872 B CN111062872 B CN 111062872B CN 201911302745 A CN201911302745 A CN 201911302745A CN 111062872 B CN111062872 B CN 111062872B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- network model
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000003708 edge detection Methods 0.000 title claims abstract description 25
- 230000006870 function Effects 0.000 claims abstract description 59
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 230000008447 perception Effects 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 44
- 238000010586 diagram Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000005549 size reduction Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 5
- 238000011084 recovery Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001609 comparable effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于边缘检测的图像超分辨率重建方法及系统，该方法的步骤为：将高分辨率图像作为原始图像样本，经图像预处理后得到低分辨率图像；构建超分辨率重建网络模型，将低分辨率图像输入到超分辨率重建网络模型中预训练超分辨率重建网络模型；超分辨率图像与高分辨率图像经过VGG19网络计算得到感知损失函数；超分辨率图像和高分辨率图像进行颜色空间的转换以及边缘提取，经L1损失函数计算得到边缘损失函数；感知损失函数和边缘损失函数按比例结合得到损失函数Ltotal并更新参数，低分辨率图像输入到训练好的超分辨率重建网络模型得到恢复的高分辨率图像。本发明弥补了生成伪造纹理的不足，提高了图像恢复的视觉效果和真实性。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于边缘检测的图像超分辨率重建方法及系统。
背景技术
随着卷积神经网络的提出，深度学习被广泛应用于各个领域，比如人脸识别、目标检测、语义分割、姿态估计等等。但是在图像恢复上并没有十分成熟的技术出现。由于运动抖动、物理遮挡或者远距离拍摄都会使得图像分辨率降低，使得人们无法分辨出图像里面的物体。因此，图像恢复也会成为未来发展必不可少的技术。其中超分辨率重建就是其中一种在恶劣环境中提高图像分辨率的的一种方法，它的研究成果能够被用于现有的一些图像处理算法上，提高算法的识别能力和判断能力。
目前主流的超分辨率(超分)重建算法分为两种，一种是基于增强感知质量的超分方法，一种是基于高分辨率原图重建的超分方法，前者旨在恢复的图像符合人的视觉感官；后者以像素与像素间的对比进行指引。
对于现有增强感知质量的超分方法，运用生成对抗网络，基本能够达到一个不错的视觉效果，但是，图像纹理信息恢复的同时也减低了峰值信噪比的值，这是因为生成对抗网络生成的图像并非完全和原始图像一致，而且根据当前的像素去制造一个尽可能真的像素，所以生成的纹理信息也不一定是真实的。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于边缘检测的图像超分辨率重建方法及系统，通过深度学习的技术，使得网络模型能够很好的拟合数据间的规律，避免生成伪造的纹理信息，从而通过训练模型实现图像的超分辨率重建，引入了边缘检测算法的优越性，减少了参数量，恢复和原图一致的信息，最终提升输出图像的感知质量和视觉效果。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于边缘检测的图像超分辨率重建方法，包括下述步骤：
获取高分辨率图像作为原始图像样本，进行图像裁剪及图像尺寸缩小后得到低分辨率图像；
构建超分辨率重建网络模型：采用ESRGAN模型的RRDB模块进行特征提取，输出特征图，采用上采样将输出的特征图恢复到原始高分辨率图像尺寸；
将所述低分辨率图像输入到所述超分辨率重建网络模型中，进行超分辨率重建网络模型预训练；
训练超分辨率重建网络模型，具体步骤为：
将低分辨率图像输入到经预训练后的超分辨率重建网络模型，得到超分辨率图像；
超分辨率图像与高分辨率图像经过VGG19网络计算得到感知损失函数Lp；
超分辨率图像和高分辨率图像分别进行颜色空间的转换，得到YCbCr颜色空间图，提取得到Y分量超分辨率图像和Y分量高分辨率图像；
Y分量超分辨率图像和Y分量高分辨率图像分别通过Sobel算子计算边缘图像，得到超分辨率边缘提取图像和高分辨率边缘提取图像，进行L1损失函数计算得到边缘损失函数Lm；
感知损失函数Lp和边缘损失函数Lm按设定比例进行结合，得到损失函数Ltotal；
采用反向传播算法计算隐含层的误差，采用梯度下降算法更新超分辨率重建网络模型的参数；
低分辨率图像输入到超分辨率重建网络模型得到恢复的高分辨率图像。
作为优选的技术方案，所述进行超分辨率重建网络模型预训练的具体步骤为：
将所述低分辨率图像输入到所述超分辨率重建网络模型中得到生成图；
将所述生成图和所述高分辨率图像通过L1损失函数计算，得到损失函数Lpre；
损失函数Lpre计算公式为：
其中，I为低分辨率图像，Y为与I对应的高分辨率图像，f为需要训练的超分辨率重建网络模型，W、H和C分别为低分辨率图像I的宽、高和通道数；
采用反向传播算法计算隐含层的误差，采用梯度下降算法更新超分辨率重建网络模型的参数。
作为优选的技术方案，所述采用ESRGAN模型的RRDB模块进行特征提取，所述RRDB模块包括残差模块和密集模块，所述残差模块将输入图像和经过卷积后的输出特征相加，所述密集模块将输入图像经过每一层卷积层得到的特征图和前几层卷积层得到的特征图进行叠加，得到多通道图像后送进卷积层进行计算，学习特征图经过每一层卷积层的差异，将学习到的差异作为输入叠加到后几层卷积层再进行卷积操作。
作为优选的技术方案，所述采用上采样将输出的特征图恢复到原始高分辨率图像尺寸，所述上采样采用连续放大两倍最邻近插值将输出的特征图恢复原始尺寸，并进行卷积操作对最邻近插值的结果进行平滑处理。
作为优选的技术方案，所述超分辨率图像与高分辨率图像经过VGG19网络计算得到感知损失函数Lp；
所述超分辨率图像与高分辨率图像经过VGG19网络，提取得到高层信息的特征图，进行均方差计算感知损失函数Lp，具体计算方式为：
其中，I为低分辨率图像，Y为与I对应的高分辨率图像，f为需要训练的超分辨率重建网络模型，g为VGG19神经网络模型，W、H和C分别为低分辨率图像I的宽、高和通道数。
作为优选的技术方案，所述进行L1损失函数计算得到边缘损失函数Lm，边缘损失函数Lm具体计算公式为：
其中，I为低分辨率图像，Y为与I对应的高分辨率图像，f为需要训练的超分辨率重建网络模型，
为采用了Sobel算子边缘提取模块。
作为优选的技术方案，所述损失函数Ltotal的计算公式为：
Ltotal＝Lp+λLm
其中，λ表示比例系数。
作为优选的技术方案，所述采用梯度下降算法更新超分辨率重建网络模型的参数，对于卷积层的参数wi和偏差bi每次迭代的更新公式为：
其中，α为学习率。
本发明还提供一种基于边缘检测的图像超分辨率重建系统，包括：
图像预处理模块、超分辨率重建网络模型构建模块、超分辨率重建网络模型预训练模块和超分辨率重建网络模型训练模块；
所述图像预处理模块用于获取高分辨率图像，进行图像裁剪及图像尺寸缩小后得到低分辨率图像；
所述的超分辨率重建网络模型构建模块用于构建超分辨率重建网络模型，包括特征提取模块和上采样模块，所述特征提取模块采用ESRGAN模型的RRDB模块，进行特征提取后输出特征图，所述上采样模块用于将输出的特征图恢复到原始尺寸；
所述超分辨率重建网络模型预训练模块用于将所述低分辨率图像输入到所述超分辨率重建网络模型中，进行超分辨率重建网络模型预训练；
超分辨率重建网络模型训练模块包括感知单元和边缘提取单元，所述感知单元采用VGG19网络提取得到高层信息特征图，计算感知损失；
所述边缘提取单元用于转换图像到YCbCr颜色空间，采用Sobel算子提取Y分量上的边缘特征，并计算边缘损失；
超分辨率重建网络模型训练模块用于结合感知损失和边缘损失构建梯度下降算法的损失函数Ltotal,采用反向传播算法计算隐含层误差，采用梯度下降算法更新神经网络参数。
作为优选的技术方案，所述的特征提取模块包括残差模块和密集模块，所述残差模块用于将输入图像和经过卷积后的输出特征相加，所述密集模块用于将输入图像经过每一层卷积层得到的特征图和前几层卷积层得到的特征图进行叠加，得到的多通道图像作为输入图像输入卷积层进行计算，学习特征图经过每一层卷积层的差异，将学习到的差异作为输入叠加到后几层卷积层再进行卷积操作；
所述上采样模块用于将特征提取后的图像恢复到原始高分辨率图像尺寸，包括最邻近算法单元和卷积单元，所述最邻近算法单元用于将特征提取后的特征图恢复到原始尺寸大小，所述卷积单元对恢复的图像进行平滑处理。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明采用ESRGAN模型中的RRDB模块来提取图像的特征信息，结合高分辨率图像通过VGG19网络计算感知损失，通过边缘提取单元计算边缘损失，并以设定的比例结合感知损失和边缘损失，共同监督超分辨率重建网络训练和学习过程，保留了特征提取的优势，弥补了生成伪造纹理的不足，有效的提高了图像恢复的视觉效果和真实性。
(2)本发明移除了ESRGAN网络中的判别网络，不仅改善了图像恢复伪造纹理的不足，还减少了网络参数量，节省了网络训练时间和资源的损耗。
(3)本发明的边缘提取采用转换图像到YCbCr颜色空间的方法提取Y分量上的图像，保留了图像纹理信息的同时也减少了图像的大小，减少了计算量，并且采用Sobel算子对Y分量上的图像进行边缘提取，使超分辨率重建网络能够有效学习到边缘细节信息。
(4)本发明采用双误差损失函数将感知损失和边缘损失结合，并且以设定的比例结合，使超分辨率重建网络拟合效果最佳，具有更强的泛化能力，约束超分辨率重建网络生成更多的真实的纹理信息。
(5)本发明相较于ESRGAN网络，避免了伪造纹理的生成，在图像文字的生成有较好的效果。
附图说明
图1为本实施例基于边缘检测的图像超分辨率重建方法的训练流程示意图；
图2为本实施例基于边缘检测的图像超分辨率重建方法的效果对比示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1所示，本实施例提供一种基于边缘检测的图像超分辨率重建方法，包括下述步骤：
S1：获取原始图像、预处理图像，具体为：
S11：高分辨率图像经过裁剪裁成128X128大小；
由于原始图像基本都是3000x3000大小，如果把原始图像放到超分辨率重建网络里面进行训练，达到的计算量将会非常大，以至于显存溢出，无法进行训练，因此将原始图像进行裁剪，得到局部的图像信息，由于本实施例最终的测试集尺寸大部分都在300到512这个范围，因此裁剪成128x128不仅减少了计算量，还适合最终图像的测试使用；
S12：使用双三次插值算法得到16倍缩小的低分辨率图像，进行图像尺寸调整，也便于与其他超分网络模型和方法进行比较；
S2：构建超分辨率重建网络模型，具体为：
S21：利用ESRGAN模型的RRDB模块进行特征提取；
其中，RRDB模块分为两个模块，一个残差模块，一个密集模块；
残差模块通过将输入图像和经过卷积后的输出特征相加，使得在原来图像基础上增加输入图像和输出特征的差异，在本实施例中，一开始的输入图像为预处理后得到低分辨率图像；
密集模块一共有5层卷积层，每一层的输出作为后面层的输入，通过将输入图像经过每一层卷积层得到特征图和前几层得到的特征图进行叠加，得到的多通道图像作为输入图像输入到卷积层进行计算，学习特征图经过每一层卷积层的差异，并作用于后面的特征图，将学习到的差异作为输入叠加到后面的卷积层再进行卷积操作；
S22：采用上采样将输出的特征图恢复到原始尺寸；
其中，上采样的具体步骤为：用两次2倍的最邻近插值将输出的特征图恢复原始尺寸，并使用卷积操作对最邻近插值的结果进行平滑处理；
上采样步骤为超分辨率重建网络的构建的最后阶段，将一开始的图像(32x32)连续放大两倍变成(128x128)的图像，这个128x128的图像即所要得到的生成图，用于和高分辨率图像计算损失，约束超分辨率重建网络模型的生成能力；
S3：预训练超分辨率重建网络模型，具体为：
S31：将低分辨率图像输入到构建的超分辨率重建网络模型中，得到生成图；
S32：将生成图和高分辨率图通过L1损失函数(最小化绝对误差)，得到损失函数Lpre；
在本实施例中，损失函数Lpre计算公式为：
其中，I为低分辨率图像，Y为与I对应的高分辨率图像，f为需要训练的超分辨率重建网络模型，W、H和C分别为低分辨率图像I的宽、高和通道数；
S33：采用反向传播算法计算隐含层的误差，采用梯度下降算法更新超分辨率重建网络模型的参数；
本实施例预训练的迭代次数设置为50次，通过预训练，使得超分辨率重建网络模型的参数对生成图有一定作用，避免了超分辨率重建网络模型盲目生成细节的情况，同时还加快了正式训练的速度；
S4：训练超分辨率重建网络模型，具体为：
S41：将低分辨率图像输入到预训练后的超分辨率重建网络模型，得到超分辨率图像；
S42：超分辨率图像与高分辨率图像经过VGG19网络计算得到感知损失函数Lp；
本实施例中的VGG19网络模型是一个特征提取效果很好的模型，超分辨率图像和高分辨率图像经过VGG19模型，提取得到第5个池化层之前的第4个卷积层的特征图(即高层特征信息的特征图)，特征细节得到的损失能够使本模型更具有对高层特征信息的生成能力，提取高层信息的特征图后进行均方差计算感知损失函数Lp；
在本实施例中，感知损失函数Lp计算公式为：
其中，I为低分辨率图像，Y为与I对应的高分辨率图像，f为需要训练的超分辨率重建网络模型，g为VGG19神经网络模型，W、H和C分别为低分辨率图像I的宽、高和通道数；
S43：超分辨率图像和高分辨率图像分别进行颜色空间的转换，得到YCbCr颜色空间图，并提取Y分量上图像；
S44：超分辨率图像和高分辨率图像的Y分量上的图像通过Sobel算子计算各自的边缘图像，进行L1损失函数计算得到边缘损失函数Lm；
在本实施例中，边缘损失函数Lm的计算公式为：
其中，I为低分辨率图像，Y为与I对应的高分辨率图像，f为需要训练的超分辨率重建网络模型，
为边缘提取模块，运用了Sobel算子；
本实施例的YCbCr颜色空间中的Y表示亮度分量，Cb表示蓝色分量，Cr表示红色分量，其中大部分细节纹理信息都在Y分量上，因此对Y分量进行边缘检测，提取纹理信息，再计算损失来约束超分辨率重建网络模型的图像生成，且正式训练时进行损失函数的计算，为了超分辨率重建网络模型生成更加丰富的纹理信息；
S45：感知损失函数Lp和边缘损失函数Lm按设定比例进行结合，得到损失函数Ltotal；
在本实施例中，损失函数Ltotal具体计算公式为：
Ltotal＝Lp+λLm
其中，λ表示比例系数，在每一次迭代过程中，Ltotal的值逐渐减小，说明网络的学习能力逐渐增强，生成的超分辨率图像更加接近真实图像，弥补了ESRGAN因生成对抗网络而引入的假的纹理信息的不足之处，提高了最后的图像质量和视觉效果；
S46：采用反向传播算法计算隐含层的误差，采用梯度下降算法更新超分辨率重建网络模型的参数；
在本实施例中，对于卷积层的参数wi和偏差bi每次迭代的更新公式如下：
其中，α为学习率；
S5：低分辨率图像输入到超分辨率重建网络模型得到恢复的高分辨率图像。
在本实施例中还进行训练实验，一部分是超分辨率重建网络预训练阶段，一部分是超分辨率重建网络训练阶段，其中这两个阶段的输入高分辨率图像和低分辨率图像分别为128x128和32x32，并且以16张图像为一批输入到超分辨率重建网络模型中，本实施例用到Adam优化函数，并且β1＝0.9，β2＝0.999；
预训练阶段：学习率为1x10-6，L1损失函数计算损失，训练50次迭代；
训练阶段：学习率为1x10-5，均方差损失函数计算感知损失，L1损失函数计算边缘损失，Ltotal中的Lm损失的系数λ＝1，训练100次迭代；
本实施例超分辨率重建网络模型的网络参数量表如下表1所示：
表1 网络参数量表
| 网络模型 | ESRGAN | 本实施例网络模型 |
| 参数量(M) | 31.2 | 16.7 |
其中表1中ESRGAN网络的生成网络和判别网络的总参数量为31.2M，本实施例网络去掉判别网络后，网络训练参数量少了，参数量为16.7M。
本实施例超分辨率重建网络模型的网络质量评估表如表2所示：
表2 网络质量评估表
其中，本实施例使用公开测试集Set5、Set14、BSDS100、Manga109对模型进行测试来评估网络质量的好坏，其中Bicubic为直接对图像双三次插值得到超分辨率图像，ESRGAN则在ESRGAN网络已训练好的模型下进行测试，在PSNR和SSIM指标上，本实施例相比于其他超分方法有较好的效果。
本实施例通过去掉ESRGAN中的判别网络，减轻了网络结构，避免了伪造纹理的生成，并且加入边缘检测模块，丰富了纹理信息，如图2所示，本实施例与主流算法有一个可比的效果，本实施例的图像超分辨率重建方法的纹理信息生成能够接近ESRGAN，并且避免了伪造纹理的生成，图2中的对比效果也体现ESRGN存在的伪造纹理生成和本文网络对其的改进：图中的繁体字“長”经过ESRGAN的重建之后生成了伪纹理(上面的笔划多了一横)，而本实施例提出的图像超分辨率重建方法重建了正确的笔划。
本实施例还提供一种基于边缘检测的图像超分辨率重建系统，包括：图像预处理模块、超分辨率重建网络模型构建模块、超分辨率重建网络模型预训练模块和超分辨率重建网络模型训练模块；
图像预处理模块用于获取高分辨率图像，并且通过裁剪和双三次插值得到低分辨率图像，低分辨率图像和高分辨率图像组对成一组训练数据；
超分辨率重建网络模型构建模块用于构建神经网络模型，所述神经网络模型包括特征提取模块和上采样模块；
特征提取模块包括残差模块和密集模块，所述残差模块通过将输入图像和经过卷积后的输出特征相加，使得在原来图像基础上增加输入图像和输出特征的差异，所述密集模块通过将输入图像经过每一层卷积层得到特征图和前几层得到的特征图进行叠加，得到的多通道图像作为输入图像送进卷积层进行计算，学习特征图经过每一层卷积层的差异，并作用于后面的特征图，将学习到的差异作为输入叠加到后几层卷积层再进行卷积操作；
上采样模块用于将特征提取后的图像恢复到和高分辨率大小一致的图像，包括最邻近算法单元和卷积单元，最邻近算法单元使特征提取后的特征图恢复到原来大小，卷积单元对恢复的图像进行平滑处理；
超分辨率重建网络模型预训练模块用于迭代训练构建的神经网络模型，使用L1损失函数计算超分辨率图像和高分辨率图像的损失值，采用反向传播算法计算每一隐含层的误差，采用梯度下降算法更新神经网络参数；
超分辨率重建网络模型训练模块包括感知单元和边缘提取单元，感知单元由VGG19网络组成，并提取第5个池化层之前的第4个卷积层的特征图来计算感知损失；边缘提取单元用于转换图像到YCbCr颜色空间，采用Sobel算子提取Y分量上的边缘特征，并计算边缘损失；超分辨率重建网络模型训练模块结合感知损失和边缘损失构建梯度下降算法的损失函数Ltotal,采用反向传播算法计算隐含层误差，采用梯度下降算法更新神经网络参数。
在本实施例中，基于边缘检测的图像超分辨率重建系统利用ESRGAN模型的RRDB模块提取特征，通过特征提取获取更高的峰值信噪比，并通过去除判别网络来减轻网络结构；再通过加入边缘提取单元增强图像纹理信息，结合感知损失和边缘损失共同作用RRDB网络，相比于现有的网络，在保证图像真实的情况下，使得生成图具有更好的视觉效果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种基于边缘检测的图像超分辨率重建方法，其特征在于，包括下述步骤：
获取高分辨率图像作为原始图像样本，进行图像裁剪及图像尺寸缩小后得到低分辨率图像；
构建超分辨率重建网络模型：采用ESRGAN模型的RRDB模块进行特征提取，输出特征图，采用上采样将输出的特征图恢复到原始高分辨率图像尺寸；
将所述低分辨率图像输入到所述超分辨率重建网络模型中，进行超分辨率重建网络模型预训练；
训练超分辨率重建网络模型，具体步骤为：
将低分辨率图像输入到经预训练后的超分辨率重建网络模型，得到超分辨率图像；
超分辨率图像与高分辨率图像经过VGG19网络计算得到感知损失函数Lp；
超分辨率图像和高分辨率图像分别进行颜色空间的转换，得到YCbCr颜色空间图，提取得到Y分量超分辨率图像和Y分量高分辨率图像；
Y分量超分辨率图像和Y分量高分辨率图像分别通过Sobel算子计算边缘图像，得到超分辨率边缘提取图像和高分辨率边缘提取图像，进行L1损失函数计算得到边缘损失函数Lm；
感知损失函数Lp和边缘损失函数Lm按设定比例进行结合，得到损失函数Ltotal；
采用反向传播算法计算隐含层的误差，采用梯度下降算法更新超分辨率重建网络模型的参数；
低分辨率图像输入到超分辨率重建网络模型得到恢复的高分辨率图像。
2.根据权利要求1所述的基于边缘检测的图像超分辨率重建方法，其特征在于，所述进行超分辨率重建网络模型预训练的具体步骤为：
将所述低分辨率图像输入到所述超分辨率重建网络模型中得到生成图；
将所述生成图和所述高分辨率图像通过L1损失函数计算，得到损失函数Lpre；
损失函数Lpre计算公式为：
其中，I为低分辨率图像，Y为与I对应的高分辨率图像，f为需要训练的超分辨率重建网络模型，W、H和C分别为低分辨率图像I的宽、高和通道数；
采用反向传播算法计算隐含层的误差，采用梯度下降算法更新超分辨率重建网络模型的参数。
3.根据权利要求1所述的基于边缘检测的图像超分辨率重建方法，其特征在于，所述采用ESRGAN模型的RRDB模块进行特征提取，所述RRDB模块包括残差模块和密集模块，所述残差模块将输入图像和经过卷积后的输出特征相加，所述密集模块将输入图像经过每一层卷积层得到的特征图和前几层卷积层得到的特征图进行叠加，得到多通道图像后送进卷积层进行计算，学习特征图经过每一层卷积层的差异，将学习到的差异作为输入叠加到后几层卷积层再进行卷积操作。
4.根据权利要求1所述的基于边缘检测的图像超分辨率重建方法，其特征在于，所述采用上采样将输出的特征图恢复到原始高分辨率图像尺寸，所述上采样采用连续放大两倍最邻近插值将输出的特征图恢复原始尺寸，并进行卷积操作对最邻近插值的结果进行平滑处理。
5.根据权利要求1所述的基于边缘检测的图像超分辨率重建方法，其特征在于，所述超分辨率图像与高分辨率图像经过VGG19网络计算得到感知损失函数Lp；
所述超分辨率图像与高分辨率图像经过VGG19网络，提取得到高层信息的特征图，进行均方差计算感知损失函数Lp，具体计算方式为：
其中，I为低分辨率图像，Y为与I对应的高分辨率图像，f为需要训练的超分辨率重建网络模型，g为VGG19神经网络模型，W、H和C分别为低分辨率图像I的宽、高和通道数。
6.根据权利要求1所述的基于边缘检测的图像超分辨率重建方法，其特征在于，所述进行L1损失函数计算得到边缘损失函数Lm，边缘损失函数Lm具体计算公式为：
其中，I为低分辨率图像，Y为与I对应的高分辨率图像，f为需要训练的超分辨率重建网络模型，
为采用了Sobel算子边缘提取模块。
7.根据权利要求1所述的基于边缘检测的图像超分辨率重建方法，其特征在于，所述损失函数Ltotal的计算公式为：
Ltotal＝Lp+λLm
其中，λ表示比例系数。
8.根据权利要求1所述的基于边缘检测的图像超分辨率重建方法，其特征在于，所述采用梯度下降算法更新超分辨率重建网络模型的参数，对于卷积层的参数wi和偏差bi每次迭代的更新公式为：
其中，α为学习率。
9.一种基于边缘检测的图像超分辨率重建系统，其特征在于，包括：
图像预处理模块、超分辨率重建网络模型构建模块、超分辨率重建网络模型预训练模块和超分辨率重建网络模型训练模块；
所述图像预处理模块用于获取高分辨率图像，进行图像裁剪及图像尺寸缩小后得到低分辨率图像；
所述的超分辨率重建网络模型构建模块用于构建超分辨率重建网络模型，包括特征提取模块和上采样模块，所述特征提取模块采用ESRGAN模型的RRDB模块，进行特征提取后输出特征图，所述上采样模块用于将输出的特征图恢复到原始尺寸；
所述超分辨率重建网络模型预训练模块用于将所述低分辨率图像输入到所述超分辨率重建网络模型中，进行超分辨率重建网络模型预训练；
超分辨率重建网络模型训练模块包括感知单元和边缘提取单元，所述感知单元采用VGG19网络提取得到高层信息特征图，计算感知损失；
所述边缘提取单元用于转换图像到YCbCr颜色空间，采用Sobel算子提取Y分量上的边缘特征，并计算边缘损失；
超分辨率重建网络模型训练模块用于结合感知损失和边缘损失构建梯度下降算法的损失函数Ltotal,采用反向传播算法计算隐含层误差，采用梯度下降算法更新神经网络参数。
10.根据权利要求9所述的基于边缘检测的图像超分辨率重建系统，其特征在于，所述的特征提取模块包括残差模块和密集模块，所述残差模块用于将输入图像和经过卷积后的输出特征相加，所述密集模块用于将输入图像经过每一层卷积层得到的特征图和前几层卷积层得到的特征图进行叠加，得到的多通道图像作为输入图像输入卷积层进行计算，学习特征图经过每一层卷积层的差异，将学习到的差异作为输入叠加到后几层卷积层再进行卷积操作；
所述上采样模块用于将特征提取后的图像恢复到原始高分辨率图像尺寸，包括最邻近算法单元和卷积单元，所述最邻近算法单元用于将特征提取后的特征图恢复到原始尺寸大小，所述卷积单元对恢复的图像进行平滑处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911302745.2A CN111062872B (zh) | 2019-12-17 | 2019-12-17 | 一种基于边缘检测的图像超分辨率重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911302745.2A CN111062872B (zh) | 2019-12-17 | 2019-12-17 | 一种基于边缘检测的图像超分辨率重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062872A CN111062872A (zh) | 2020-04-24 |
| CN111062872B true CN111062872B (zh) | 2021-02-05 |
Family
ID=70301967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911302745.2A Active CN111062872B (zh) | 2019-12-17 | 2019-12-17 | 一种基于边缘检测的图像超分辨率重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062872B (zh) |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626932B (zh) * | 2020-05-07 | 2023-09-29 | Tcl华星光电技术有限公司 | 图像的超分辨率重建方法及装置 |
| CN111696033B (zh) * | 2020-05-07 | 2023-04-28 | 中山大学 | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 |
| CN111882489A (zh) * | 2020-05-15 | 2020-11-03 | 东北石油大学 | 用于水下图像同时增强的超分辨率图形恢复方法 |
| CN111951177B (zh) * | 2020-07-07 | 2022-10-11 | 浙江大学 | 一种基于图像超分辨损失函数的红外图像细节增强方法 |
| CN111929723B (zh) * | 2020-07-15 | 2023-03-14 | 清华大学 | 基于多任务学习的地震数据约束下速度模型超分辨率方法 |
| CN112508782B (zh) * | 2020-09-10 | 2024-04-26 | 浙江大华技术股份有限公司 | 网络模型的训练方法、人脸图像超分辨率重建方法及设备 |
| CN112288632B (zh) * | 2020-10-29 | 2023-02-28 | 福州大学 | 基于精简esrgan的单图像超分辨率方法及系统 |
| CN112435162B (zh) * | 2020-11-13 | 2024-03-05 | 中国科学院沈阳自动化研究所 | 一种基于复数域神经网络的太赫兹图像超分辨重建方法 |
| CN112419158A (zh) * | 2020-12-07 | 2021-02-26 | 上海互联网软件集团有限公司 | 图像视频超分辨率与超清晰度重建系统及方法 |
| CN112508787A (zh) * | 2020-12-14 | 2021-03-16 | 磐基技术有限公司 | 一种基于图像超分辨的目标检测方法 |
| CN112767427A (zh) * | 2021-01-19 | 2021-05-07 | 西安邮电大学 | 一种补偿边缘信息的低分辨率图像识别算法 |
| CN112785502B (zh) * | 2021-01-25 | 2024-04-16 | 江南大学 | 一种基于纹理迁移的混合相机的光场图像超分辨率方法 |
| CN112862681B (zh) * | 2021-01-29 | 2023-04-14 | 中国科学院深圳先进技术研究院 | 一种超分辨率方法、装置、终端设备及存储介质 |
| CN112950471A (zh) * | 2021-02-26 | 2021-06-11 | 杭州朗和科技有限公司 | 视频超分处理方法、装置、超分辨率重建模型、介质 |
| CN113240580B (zh) * | 2021-04-09 | 2022-12-27 | 暨南大学 | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 |
| CN113269722A (zh) * | 2021-04-22 | 2021-08-17 | 北京邮电大学 | 生成对抗网络的训练方法、及高分辨率图像重建方法 |
| CN113177888A (zh) * | 2021-04-27 | 2021-07-27 | 北京有竹居网络技术有限公司 | 超分修复网络模型生成方法、图像超分修复方法及装置 |
| CN113205051B (zh) * | 2021-05-10 | 2022-01-25 | 中国科学院空天信息创新研究院 | 基于高空间分辨率遥感影像的储油罐提取方法 |
| CN113240584B (zh) * | 2021-05-11 | 2023-04-28 | 上海大学 | 一种基于图片边缘信息的多任务手势图片超分辨率方法 |
| CN113487476A (zh) * | 2021-05-21 | 2021-10-08 | 中国科学院自动化研究所 | 在线更新的图像盲超分辨率重建方法和装置 |
| CN113361689A (zh) * | 2021-06-09 | 2021-09-07 | 上海联影智能医疗科技有限公司 | 超分辨率重建网络模型的训练方法和扫描图像处理方法 |
| CN113344110B (zh) * | 2021-06-26 | 2024-04-05 | 浙江理工大学 | 一种基于超分辨率重建的模糊图像分类方法 |
| CN113658046B (zh) * | 2021-08-18 | 2022-08-02 | 中科天网（广东）科技有限公司 | 基于特征分离的超分辨率图像生成方法、装置、设备和介质 |
| CN113643182B (zh) * | 2021-08-20 | 2024-03-19 | 中国地质大学（武汉） | 一种基于对偶学习图网络的遥感影像超分辨率重建方法 |
| CN114881864B (zh) * | 2021-10-12 | 2023-01-03 | 北京九章云极科技有限公司 | 印章修复网络模型的训练方法及装置 |
| CN113920013B (zh) * | 2021-10-14 | 2023-06-16 | 中国科学院深圳先进技术研究院 | 一种基于超分辨率的小图像多目标检测方法 |
| CN114549308B (zh) * | 2022-01-28 | 2024-03-22 | 大连大学 | 面向感知的具有大感受野的图像超分辨率重建方法及系统 |
| CN114494022B (zh) * | 2022-03-31 | 2022-07-29 | 苏州浪潮智能科技有限公司 | 模型训练方法、超分辨率重建方法、装置、设备及介质 |
| CN114842034B (zh) * | 2022-04-19 | 2022-12-02 | 山东省人工智能研究院 | 一种基于放大模糊操作痕迹的图片真假检测方法 |
| CN115018700A (zh) * | 2022-04-26 | 2022-09-06 | 大连理工大学 | 一种触觉图像超分辨率重建方法及采集系统 |
| CN115511748A (zh) * | 2022-09-30 | 2022-12-23 | 北京航星永志科技有限公司 | 图像高清化处理方法和装置、电子设备 |
| CN115409716B (zh) * | 2022-11-01 | 2023-02-07 | 杭州网易智企科技有限公司 | 视频处理方法、装置、存储介质及设备 |
| CN116206059B (zh) * | 2023-02-13 | 2023-12-01 | 北京医智影科技有限公司 | 模型训练方法 |
| CN116485713A (zh) * | 2023-03-01 | 2023-07-25 | 北京邮电大学 | 针对图像的计数方法、装置、电子设备及介质 |
| CN116612013B (zh) * | 2023-07-19 | 2023-10-31 | 山东智洋上水信息技术有限公司 | 一种红外图像超分方法及其移植至前端设备的方法 |
| CN116844192B (zh) * | 2023-07-19 | 2024-04-12 | 滁州学院 | 一种低质量指纹图像的增强处理方法 |
| CN117197756B (zh) * | 2023-11-03 | 2024-02-27 | 深圳金三立视频科技股份有限公司 | 隐患区域入侵检测方法、装置、设备和存储介质 |
| CN117370583B (zh) * | 2023-12-08 | 2024-03-19 | 湘江实验室 | 一种基于生成对抗网络的知识图谱实体对齐方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN107240066A (zh) * | 2017-04-28 | 2017-10-10 | 天津大学 | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 |
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
| CN110458758A (zh) * | 2019-07-29 | 2019-11-15 | 武汉工程大学 | 一种图像超分辨率重建方法、系统及计算机存储介质 |
-
2019
- 2019-12-17 CN CN201911302745.2A patent/CN111062872B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN107240066A (zh) * | 2017-04-28 | 2017-10-10 | 天津大学 | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 |
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
| CN110458758A (zh) * | 2019-07-29 | 2019-11-15 | 武汉工程大学 | 一种图像超分辨率重建方法、系统及计算机存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks;Xintao Wang等;《springer》;20181231;第1-16页 * |
| How to deal with color in super resolution reconstruction of images;RUI GONG等;《OPTICS EXPRESS》;20170515;第25卷(第10期);第1-13页 * |
| Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network;Christian Ledig等;《arXiv:1609.04802v5》;20170525;第1-19页 * |
| Single Text Image Super-Resolution Based on Edge-Compensated Autoregressive Model;Liang Wu 等;《IEEE》;20171231;第155-158页 * |
| 融合感知损失的生成式对抗超分辨率算法;杨娟 等;《中国图象图形学报》;20190831;第24卷(第8期);第1270-1282页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062872A (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN111861961B (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
| CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| Sun et al. | Lightweight image super-resolution via weighted multi-scale residual network | |
| CN109636721B (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
| CN111696033B (zh) | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 | |
| CN111861902A (zh) | 基于深度学习的Raw域视频去噪方法 | |
| CN112288632B (zh) | 基于精简esrgan的单图像超分辨率方法及系统 | |
| CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| CN109949217B (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
| CN113298718A (zh) | 一种单幅图像超分辨率重建方法及系统 | |
| CN110418139B (zh) | 一种视频超分辨修复方法、装置、设备及存储介质 | |
| CN113469884A (zh) | 基于数据仿真的视频超分辨方法、系统、设备及存储介质 | |
| CN116029902A (zh) | 一种基于知识蒸馏的无监督真实世界图像超分辨方法 | |
| CN109903373A (zh) | 一种基于多尺度残差网络的高质量人脸生成方法 | |
| He et al. | SRDRL: A blind super-resolution framework with degradation reconstruction loss | |
| CN103971354A (zh) | 低分辨率红外图像重建高分辨率红外图像的方法 | |
| CN115526777A (zh) | 一种盲超分网络建立方法、盲超分方法及存储介质 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |