CN109559276A - 一种基于无参考质量评价和特征统计的图像超分辨率重建方法 - Google Patents
一种基于无参考质量评价和特征统计的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN109559276A CN109559276A CN201811352647.5A CN201811352647A CN109559276A CN 109559276 A CN109559276 A CN 109559276A CN 201811352647 A CN201811352647 A CN 201811352647A CN 109559276 A CN109559276 A CN 109559276A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- quality evaluation
- picture
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000006870 function Effects 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 28
- 230000008447 perception Effects 0.000 claims description 8
- 230000000644 propagated effect Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000001737 promoting effect Effects 0.000 claims description 2
- 238000005215 recombination Methods 0.000 claims 1
- 230000006798 recombination Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 13
- 230000016776 visual perception Effects 0.000 abstract description 11
- 238000013459 approach Methods 0.000 abstract description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 102000057593 human F8 Human genes 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 229940047431 recombinate Drugs 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明为使超分辨率重建的图片更加符合人眼视觉感知效果,并同时维护图片的特征结构等问题,提出了一种基于无参考质量评价和特征统计的图像超分辨率重建方法,构建了一个对抗学习网络模型,生成更多的高频细节边缘,使得图像看起来更有纹理,通过无参考质量评价调整图像色调、亮度和锐度使生成图像更逼近人类视觉感知,并通过特征统计维护图像的内部特征结构。相较于传统的超分辨率重建方法,本方法产生的高分辨率图片具有更加丰富的真实纹理细节,提升了图像的人眼感知效果,并且图片的结果内容不会被破坏。
Description
技术领域
本发明涉及计算机视觉、图像超分辨率重建、图像质量评价领域,具体地涉及一种基于无参考质量评价和特征统计的图像超分辨率重建方法。
背景技术
图像超分辨率重建是从信息量有限的低分辨率图像中恢复出高分辨率的图像。然而超分辨率重建是一对多的病态问题,因为多种高分辨图片可能对应着同一种低分辨率图片。得益于目前热门的深度学习的发展,这类方法通过从超分辨率数据集上学习相应的映射关系限制解空间,从而从一定程度上缓解了这种病态问题,并且在超分辨率重建效果上取得重大突破。这些工作大多通过设计先进的网络结构单方面地追求更高的峰值信噪比PSNR和结构相似性SSIM,但是超分辨率最重要的目标是产生具有高视觉质量的目标图像。PSNR和SSIM都是依赖于低层像素间的差异,并不能代表感知质量的效果。
目前图像超分辨重建模型大多采用的是对应像素间的误差作为网络学习的损失函数,如MSE损失和L1损失。这类以PSNR为导向的损失函数尽管可以使生成模型恢复图像整体结构,但是却容易产生模糊的纹理细节。为了获得更好的重建的细节和边缘,基于深度特征的感知损失被提出用于引导深度网络的学习。此外,通过利用鉴别器网络计算生成的图像与真实自然图像的对抗损失可以引导模型生成更加逼真的图像,产生图像具有很好的视觉感知效果,不过这种方法却容易使图像生成一些虚假边缘。总之,损失函数在训练网络模型方面具有十分重要的作用,但能够兼顾视觉感知质量和图像内容破坏的损失函数仍有待研究。
现在已有的一些关于图像损失函数的专利(包括发明授权专利和发明公布专利)如下:
1)申请号为:CN201710044857.7的中国发明专利《一种基于残差子图像的深度学习超分辨率重建方法》,此发明采用较深的网络层数,提升模型的非线性表示能力和图像重建能力,能够得到较高客观指标的重建结果。但这一种方法生成的高分辨率图像普通具有较模糊的细节,不能获得很好的主观感知质量。
2)申请号为:CN201710301990.6的中国发明专利《基于内容感知深度学习网络的遥感图像超分辨率重建方法》,此方法的思想是将待超分图像按内容复杂性分为高、中、低三种,在采用三种对应的复杂性不等的GAN网络模型进行重建。并提出了一个新的结合内容损失、对抗损失和全变差损失的损失函数引导模型进行训练。此方法一定程度上克服了超分辨率重建中普遍存在的过拟合和欠拟合的问题,但是GAN网络训练较为复杂,且参数量众多,容易导致生成图像出现一些虚假边缘,影响图像的真实观感。
尽管感知损失和对抗损失应用于图像超分辨率重建,使得生成图片有兼顾到一定的感知效果,但是生成结果面临过多虚假边缘,结构破坏等等。本发明的创新点在于引入图像无参考质量评价作为损失函数,有效地使生成图像更加符合人眼视觉感知效果。同时引入了深层特征的统计损失,维护图像内部的特征自然统计,以此使得生成图像免于遭受结构破坏,兼顾生成图像的特征统计与目标图像保持一致。首先建立并初始化了一个对抗学习网络,通过分辨器的损失函数调整整个网络的权重和参数,生成器产生的图像受到分辨器的反馈,使得生成图像产生更多的自然真实边缘,形成一个闭环的对抗学习网络。但同时我们在生成器中额外引入了质量评价损失和自然统计损失,以此调整生成器产生的图片具有更好的质量评价指标,并能够维持真实图像内部的特征统计,避免生成图像遭受内容结构破坏。本发明可以使得图像生成高视觉感知质量的图像,并且能够使得图像兼顾内容结构完整,具有较高的PSNR值。
发明内容
本发明为使超分辨率重建的图片更加符合人眼视觉感知效果,并同时维护图片的特征结构等问题,提出了一种基于无参考质量评价和特征统计的图像超分辨率重建方法,构建了一个对抗学习网络模型,生成更多的高频细节边缘,使得图像看起来更有纹理,通过无参考质量评价调整图像色调、亮度和锐度使生成图像更逼近人类视觉感知,并通过特征统计维护图像的内部特征结构。
为实现上述目的,本发明的技术方案包括以下步骤:
步骤S1,设计对抗学习网络模型用于图像超分辨率重建,该网络模型由生成器G和鉴别器D组成,其中生成器包含多层残差网络结构提取图像的深层语义信息,再根据提取到的语义信息结合图像的结构信息,使用亚像素重组提升图像的分辨率,最后采用一个卷积层降维至RGB的维度;
步骤S2,取一系列高分辨图像,并将图像长宽裁剪为倍数S的最邻近整倍数作为目标图像数据集,设目标图像尺寸大小为Ch×Cw,将所有目标图像降采样S倍后得到低分辨率图像数据集,图像尺寸大小为将两者数据集作为本网络模型的训练数据集;
步骤S3,将低分辨率图像和目标图像一一对应,随机取目标图像的某块y及其对应的低分辨率图像块x作为当前图像的训练样本对,设目标块尺寸大小为Ph×Pw,输入块尺寸大小为
步骤S4,将S3中得到的图像块输入到对抗学习网络模型中,构建生成器总损失函数和鉴别器损失函数,通过前后向传播算法,逐步更新该网络模型的训练参数,直到整个训练集训练完成,再通过epoch次循环迭代遍历整个训练集,至该网络模型参数、生成器总损失函数和鉴别器损失函数收敛后,保存整个网络的模型参数;
步骤S5,输入测试低分辨率图像到训练好的对抗学习网络模型中,通过一次前向传播计算,生成高分辨率图像。
进一步的,步骤S4中所述总损失函数包括4种,分别为对抗损失函数,图像特征统计损失函数,图像质量评价损失函数和L2损失。
进一步的,鉴别器损失函数的构建方式如下,
将低分辨图像块x输入到生成器G中,经过多层残差提取深层特征后,再通过一个亚像素重组提升特征图的分辨率,最后采用一个卷积层降维至RGB的维度,由此得到尺寸为Ph×Pw高分辨率的生成图像块G(x);
将生成图像块G(x)输入到鉴别器D中,经过一次前向传播后得到该图片鉴别为真实图像的概率D(x,G(x));再将目标图像块y输入到鉴别器中,经过一次前向传播后得到真实图片被鉴别为真实图像的概率D(x,y),鉴别器根据以下优化方程进行训练:
其中为目标函数的数学期望,x~Pdata(x)、y~Pdata(y)分别指的是低分辨率图像x和目标图像y取自特定分布,这个特定的分布就是S3中定义的训练样本队列。
进一步的,所述对抗损失函数的定义如下,
进一步的,所述图像特征统计损失函数的构建方式如下
图像的特征统计损失用于测量生成图像块G(x)与目标图像块y的特征相似度,首先采用VGG网络提取两种图像的特征集合,分别记作生成图像特征集合Gx={xm},目标图像特征集合Yy={yn},其中xm、yn分别表示生成图像和目标图像的特征点,设特征集合总数有|Gx|=|Yy|=N,测量两集合之间的统计损失为
其中CXmn表示特征xm与yn之间相似度,采用可以保证对于每一个目标图像特征点yn都能在集合Gx={xm}找到最相近的匹配点;
其中dmn是特征xm与yn之间的余弦距离,h与ε是预设定的常量因子,有CXmn∈[0,1]。
进一步的,所述图像质量评价损失函数的构建方式如下,
在原有VGG19分类网络的基础上,将最后一层换为一个输出10单元的全连接层,并接上softmax单元进行归一化,该图像评价网络将在AVA图像质量评价数据上进行训练,10个单元分别表示1~10的分值,网络输出结果表示每个分数值的概率,
将生成图像块G(x)输入到图像评价网络中,输出得到10个单元分数概率,由此得到该图像块的平均质量评价分数为,
其中N=10表示网络最后的10个单元,pi(G(x))表示生成图像在每个分数单元i的概率值,上式有μ(G(x))∈[1,10],且1分表示最低的图像感知质量,10分表示最高的图像质量,图像质量评价损失用为有
采用图像质量评价损失有助于增强生成图像的亮度、色彩、色度、对比度和清晰度。
进一步的,生成器的总损失函数为,
其中为对生成图像G(x)和目标图像y采用高斯滤波后,计算的L2损失,λL2、λCX、λP和λA分别表示四种损失的权重。
进一步的,所述残差网络结构包含两个3x3的卷积层,卷积层之间采用Relu激活单元。
与现有技术相比,本发明的优点和有益效果:本发明在图像超分辨率重建网络中,引入了图像质量评价和特征统计方法,引导网络训练并产生高感知质量的高分辨率图片。相较于传统的超分辨率重建方法,本方法产生的高分辨率图片具有更加丰富的真实纹理细节,提升了图像的人眼感知效果,并且图片的结果内容不会被破坏。
附图说明
图1为本发明技术方案的总体框图。
图2为本发明是实例生成器包含的多层残差网络结构图。
图3为每个残差块内部结构。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
目前,图像超分辨率重建大多是以峰值信噪比PSNR和结构相似性SSIM为导向复原高清图像,这类方法通常以L1或MSE作为损失训练超分辨率重建网络,虽然此类损失函数可以引导生成的图像具有较高的PSNR/SSIM值,但是却容易生成过于平滑的边缘,缺少高频细节信息,导致生成的图像在人眼感知效果方面表现不佳。针对这点,也有人提出采用生成对抗损失和感知损失来训练网络,但是这种方法却容易生成过多的虚假边缘,导致图像结构被破坏,PSNR/SSIM下降严重。本发明提出引入特征统计损失和无参考质量评价损失,可以有效保护图像的特征结构不被破坏,同时生成更加符合人眼视觉感知的图像。
图1是本发明技术方案的总体框图,本发明基于无参考质量评价和特征统计的图像超分辨率重建方法输入的是低分辨率的图像,输出为兼顾图像结构和人眼感知效果的高清图像。本发明方法中设计的对抗学习网络模型主要由生成器和鉴别器构成,生成器的主要功能是学习到低分辨率图像到高分辨率图像的映射关系,鉴别器则是为了鉴别生成器产生图像的真实度。生成器采用了对抗损失、特征统计损失和图像质量评价损失来引导生成器的训练。由鉴别器产生的对抗损失可以引导生成器生成图像时产生更多的边缘细节;特征统计损失则是在生成图像和目标图像的深层语义特征层面上计算统计损失,从而引导生成器在生成图像时能够维持图像的内部特征统计规律,避免图像遭受严重的结构破坏。图像质量评价损失则将生成图像依照人类关于亮度、色度、清晰度等因素的影响进行评价,并将评价结果作为生成模型的损失,从而引导网络生成更加符合人眼感知效果的图像。通过以上的网络结构,可以使得超分辨率重建的图像生成更多的高频细节边缘,使得图像看起来更有纹理,更逼近人类视觉感知,并可以保持图像内容结构与原图一致。
本实施例基于无参考质量评价和特征统计的图像超分辨率重建方法,具体包括以下步骤:
步骤S1,设计对抗学习网络模型用于图像超分辨率重建。该网络模型由生成器G和鉴别器D组成,其中生成器G包含多层残差网络结构提取图像的深层语义信息,再根据提取到的语义信息结合图像的结构信息,使用亚像素重组提升图像的分辨率,最后采用一个卷积层降维至RGB的维度。如图2所示,我们使用了16个残差块,每个残差块内部结构如图3所示,每个残差块内部包含两个3x3的卷积层,卷积层之间采用Relu激活单元,卷积单元学习图像的残差特征后,与该残差块的输入相加,得到该残差块的输出。鉴别器D采用SRGAN论文中的模型,用于判断图像的真实度。
步骤S2,取一系列高分辨图像,并将图像长宽裁剪为倍数S的最邻近整倍数作为目标图像数据集(设目标图像尺寸大小为Ch×Cw),将所有目标图像降采样S倍后得到低分辨率图像数据集(输入图像尺寸大小为),将两者数据集作为本网络模型的训练数据集,倍数S可以根据项目需求进行调整。
步骤S3,将低分辨率图像和目标图像一一对应,考虑到硬件显存的限制,我们随机取目标图像的某块y,将其尺寸大小设定为Ph=Pw=96,及其对应的低分辨率图像块x(输入块尺寸大小为),作为当前图像的训练样本对。
步骤S4,将S3中得到的图像块输入到该网络模型中,构建生成器总损失函数和鉴别器损失函数,通过前后向传播算法,逐步更新该网络模型的训练参数,直到整个训练集训练完成。再通过epoch次循环迭代遍历整个训练集,至该网络模型参数、生成器总损失函数和鉴别器损失函数收敛后,保存整个网络的模型参数。
步骤S41,将低分辨图像块x输入到生成器G中,经过多层残差提取深层特征后,再通过一个亚像素重组提升特征图的分辨率,最后采用一个卷积层降维至RGB的维度,由此得到尺寸为Ph×Pw高分辨率的生成图像块G(x)。
步骤S42,将生成图像块G(x)输入到鉴别器D中,经过一次前向传播后得到该图片鉴别为真实图像的概率D(x,G(x))。再将目标图像块y输入到鉴别器中,经过一次前向传播后得到真实图片被鉴别为真实图像的概率D(x,y)。鉴别器根据以下优化方程进行训练:
其中为目标函数的数学期望,x~Pdata(x)、y~Pdata(y)分别指的是低分辨率图像x和目标图像y取自特定分布,这个特定的分布就是S3中我们定义的训练样本队列。
另外定义对抗损失为
步骤S43,图像的特征统计损失用于测量生成图像块G(x)与目标图像块y的特征相似度。首先采用VGG19网络提取两种图像的在VGG19网络第五层的特征图,分别记作生成图像特征集合Gx={xm},目标图像特征集合Yy={yn},其中xm、yn分别表示生成图像和目标图像的特征点,设特征集合总数有|Gx|=|Yy|=N,测量两集合之间的统计损失为
其中CXmn表示特征xm与yn之间相似度,采用可以保证对于每一个目标图像特征点yn都能在集合Gx={xm}找到最相近的匹配点。
其中dmn是特征xm与yn之间的余弦距离。常量因子h=0.5与ε=1e-5,有CXmn∈[0,1]。我们采用特征相似度损失在保证目标特征分布的情况下重构了目标图像块。
步骤S44,无参考质量评价是基于人眼感知方面来评价图像的质量的一种算法。在超分辨率重建图像中引入无参考质量评价损失引导网络训练可以有效提升生成图像的感知质量。无参考质量评价我们采用神经网络进行学习并给出输入图像的得分结果分布。在原有VGG19分类网络的基础上,将最后一层换为一个输出10单元的全连接层,并接上softmax单元进行归一化,该网络将在AVA图像质量评价数据上进行训练。10个单元分别表示1~10的分值,网络输出结果表示每个分数值的概率。
将生成图像块G(x)输入到图像评价网络中,输出得到10个单元分数概率,由此得到该图像块的平均质量评价分数为
其中N=10表示网络最后的10个单元,pi(G(x))表示生成图像在每个分数单元i的概率值。上式有μ(G(x))∈[1,10],且1分表示最低的图像感知质量,10分表示最高的图像质量。图像质量评价损失用为有
采用图像质量评价损失有助于增强生成图像的亮度、色彩、色度、对比度和清晰度。
步骤S45,由上述得到生成器的总损失函数:
其中为对生成图像G(x)和目标图像y采用高斯滤波后,计算的L2损失。在低分辨率情况下计算L2损失可以保证图像整体结构不够破坏,而不用L2损失引导生成边缘细节,因为L2损失引导的超分网络容易生成过模糊的边缘细节。而λL2、λCX、λP和λA分别表示四种损失的权重。在本专利中,我们设定λL2=10、λCX=0.1、λP=1e-5和λA=1e-4。
步骤S46,对抗学习网络模型训练中,根据式子1和8计算出鉴别器和生成器的损失,并更新两者的模型参数,优化模型直至损失收敛。设定生成器和鉴别器的学习率分别为lrG=1e-5,lrD=1e-7。每批次训练样本数设置为64,采用随机梯度下降法进行权重更新,迭代总次数epoch=2500。
步骤S5,输入任意尺寸测试低分辨率图像,通过一次前向传播计算,生成放大S倍高分辨率图像。
以上就是本发明的详细步骤,应当理解的是本说明书未详细阐述的部分均属于现有技术。本发明提出了一种基于无参考质量评价和特征统计的图像超分辨率重建方法,构建了一个对抗学习网络模型,生成更多的高频细节边缘,使得图像看起来更有纹理,通过无参考质量评价调整图像色调、亮度和锐度使生成图像更逼近人类视觉感知,并通过特征统计维护图像的内部特征结构,从而使超分辨率重建的图片更加符合人眼视觉感知效果。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (8)
1.一种基于无参考质量评价和特征统计的图像超分辨率重建方法,其特征在于,包括如下步骤:
步骤S1,设计对抗学习网络模型用于图像超分辨率重建,该网络模型由生成器G和鉴别器D组成,其中生成器包含多层残差网络结构提取图像的深层语义信息,再根据提取到的语义信息结合图像的结构信息,使用亚像素重组提升图像的分辨率,最后采用一个卷积层降维至RGB的维度;
步骤S2,取一系列高分辨图像,并将图像长宽裁剪为倍数S的最邻近整倍数作为目标图像数据集,设目标图像尺寸大小为Ch×Cw,将所有目标图像降采样S倍后得到低分辨率图像数据集,图像尺寸大小为将两者数据集作为本网络模型的训练数据集;
步骤S3,将低分辨率图像和目标图像一一对应,随机取目标图像的某块y及其对应的低分辨率图像块x作为当前图像的训练样本对,设目标块尺寸大小为Ph×Pw,输入块尺寸大小为
步骤S4,将S3中得到的图像块输入到对抗学习网络模型中,构建生成器总损失函数和鉴别器损失函数,通过前后向传播算法,逐步更新该网络模型的训练参数,直到整个训练集训练完成,再通过epoch次循环迭代遍历整个训练集,至该网络模型参数、生成器总损失函数和鉴别器损失函数收敛后,保存整个网络的模型参数;
步骤S5,输入测试低分辨率图像到训练好的对抗学习网络模型中,通过一次前向传播计算,生成高分辨率图像。
2.如权利要求1所述的一种基于无参考质量评价和特征统计的图像超分辨率重建方法,其特征在于:步骤S4中所述总损失函数包括4种,分别为对抗损失函数,图像特征统计损失函数,图像质量评价损失函数和L2损失。
3.如权利要求2所述的一种基于无参考质量评价和特征统计的图像超分辨率重建方法,其特征在于:鉴别器损失函数的构建方式如下,
将低分辨图像块x输入到生成器G中,经过多层残差提取深层特征后,再通过一个亚像素重组提升特征图的分辨率,最后采用一个卷积层降维至RGB的维度,由此得到尺寸为Ph×Pw高分辨率的生成图像块G(x);
将生成图像块G(x)输入到鉴别器D中,经过一次前向传播后得到该图片鉴别为真实图像的概率D(x,G(x));再将目标图像块y输入到鉴别器中,经过一次前向传播后得到真实图片被鉴别为真实图像的概率D(x,y),鉴别器根据以下优化方程进行训练:
其中为目标函数的数学期望,x~Pdata(x)、y~Pdata(y)分别指的是低分辨率图像x和目标图像y取自特定分布,这个特定的分布就是S3中定义的训练样本队列。
4.如权利要求3所述的一种基于无参考质量评价和特征统计的图像超分辨率重建方法,其特征在于:所述对抗损失函数的定义如下,
5.如权利要求4所述的一种基于无参考质量评价和特征统计的图像超分辨率重建方法,其特征在于:所述图像特征统计损失函数的构建方式如下
图像的特征统计损失用于测量生成图像块G(x)与目标图像块y的特征相似度,首先采用VGG网络提取两种图像的特征集合,分别记作生成图像特征集合Gx={xm},目标图像特征集合Yy={yn},其中xm、yn分别表示生成图像和目标图像的特征点,设特征集合总数有|Gx|=|Yy|=N,测量两集合之间的统计损失为
其中CXmn表示特征xm与yn之间相似度,采用可以保证对于每一个目标图像特征点yn都能在集合Gx={xm}找到最相近的匹配点;
其中dmn是特征xm与yn之间的余弦距离,h与ε是预设定的常量因子,有CXmn∈[0,1]。
6.如权利要求5所述的一种基于无参考质量评价和特征统计的图像超分辨率重建方法,其特征在于:所述图像质量评价损失函数的构建方式如下,
在原有VGG19分类网络的基础上,将最后一层换为一个输出10单元的全连接层,并接上softmax单元进行归一化,该图像评价网络将在AVA图像质量评价数据上进行训练,10个单元分别表示1~10的分值,网络输出结果表示每个分数值的概率,
将生成图像块G(x)输入到图像评价网络中,输出得到10个单元分数概率,由此得到该图像块的平均质量评价分数为,
其中N=10表示网络最后的10个单元,pi(G(x))表示生成图像在每个分数单元i的概率值,上式有μ(G(x))∈[1,10],且1分表示最低的图像感知质量,10分表示最高的图像质量,图像质量评价损失用为有
采用图像质量评价损失有助于增强生成图像的亮度、色彩、色度、对比度和清晰度。
7.如权利要求6所述的一种基于无参考质量评价和特征统计的图像超分辨率重建方法,其特征在于:生成器的总损失函数为,
其中为对生成图像G(x)和目标图像y采用高斯滤波后,计算的L2损失,λL2、λCX、λP和λA分别表示四种损失的权重。
8.如权利要求1所述的一种基于无参考质量评价和特征统计的图像超分辨率重建方法,其特征在于:所述残差网络结构包含两个3x3的卷积层,卷积层之间采用Relu激活单元。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811352647.5A CN109559276B (zh) | 2018-11-14 | 2018-11-14 | 一种基于质量评价和特征统计的图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811352647.5A CN109559276B (zh) | 2018-11-14 | 2018-11-14 | 一种基于质量评价和特征统计的图像超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109559276A true CN109559276A (zh) | 2019-04-02 |
CN109559276B CN109559276B (zh) | 2020-09-08 |
Family
ID=65866231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811352647.5A Active CN109559276B (zh) | 2018-11-14 | 2018-11-14 | 一种基于质量评价和特征统计的图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109559276B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110189272A (zh) * | 2019-05-24 | 2019-08-30 | 北京百度网讯科技有限公司 | 用于处理图像的方法、装置、设备和存储介质 |
CN110211035A (zh) * | 2019-04-18 | 2019-09-06 | 天津中科智能识别产业技术研究院有限公司 | 融合互信息的深度神经网络的图像超分辨率方法 |
CN110223224A (zh) * | 2019-04-29 | 2019-09-10 | 杰创智能科技股份有限公司 | 一种基于信息过滤网络的图像超分辨实现算法 |
CN111127392A (zh) * | 2019-11-12 | 2020-05-08 | 杭州电子科技大学 | 一种基于对抗生成网络的无参考图像质量评价方法 |
CN111127454A (zh) * | 2019-12-27 | 2020-05-08 | 上海交通大学 | 基于深度学习生成工业缺陷样本的方法及系统 |
CN111178499A (zh) * | 2019-12-10 | 2020-05-19 | 西安交通大学 | 一种基于生成对抗网络改进的医学图像超分辨率方法 |
CN111681298A (zh) * | 2020-06-08 | 2020-09-18 | 南开大学 | 一种基于多特征残差网络的压缩感知图像重建方法 |
CN112766388A (zh) * | 2021-01-25 | 2021-05-07 | 深圳中兴网信科技有限公司 | 模型获取方法、电子设备和可读存储介质 |
WO2021102644A1 (zh) * | 2019-11-25 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 图像增强方法、装置及终端设备 |
CN113379715A (zh) * | 2021-06-24 | 2021-09-10 | 南京信息工程大学 | 一种水下图像增强和数据集真值图像获得方法 |
WO2021175045A1 (zh) * | 2020-03-02 | 2021-09-10 | Oppo广东移动通信有限公司 | 色彩增强方法及相关装置 |
CN113435509A (zh) * | 2021-06-28 | 2021-09-24 | 山东力聚机器人科技股份有限公司 | 基于元学习的小样本场景分类识别方法及系统 |
CN114022360A (zh) * | 2021-11-05 | 2022-02-08 | 长春理工大学 | 基于深度学习的渲染图像超分辨系统 |
CN117173389A (zh) * | 2023-08-23 | 2023-12-05 | 无锡芯智光精密科技有限公司 | 一种基于轮廓匹配的固晶机视觉定位方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101146226A (zh) * | 2007-08-10 | 2008-03-19 | 中国传媒大学 | 一种基于自适应st区的高清视频图像质量评价方法及装置 |
CN101930605A (zh) * | 2009-11-12 | 2010-12-29 | 北京交通大学 | 基于二维混合变换的sar图像目标提取方法及系统 |
US20170148151A1 (en) * | 2015-11-25 | 2017-05-25 | Electronics And Telecommunications Research Institute | Apparatus and method for measuring quality of holographic image |
CN107392952A (zh) * | 2017-07-19 | 2017-11-24 | 天津大学 | 一种无参考混合失真图像质量评价方法 |
US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
US20180144214A1 (en) * | 2016-11-23 | 2018-05-24 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
CN108090902A (zh) * | 2017-12-30 | 2018-05-29 | 中国传媒大学 | 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法 |
US20180174275A1 (en) * | 2016-12-15 | 2018-06-21 | WaveOne Inc. | Autoencoding image residuals for improving upsampled images |
-
2018
- 2018-11-14 CN CN201811352647.5A patent/CN109559276B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101146226A (zh) * | 2007-08-10 | 2008-03-19 | 中国传媒大学 | 一种基于自适应st区的高清视频图像质量评价方法及装置 |
CN101930605A (zh) * | 2009-11-12 | 2010-12-29 | 北京交通大学 | 基于二维混合变换的sar图像目标提取方法及系统 |
US20170148151A1 (en) * | 2015-11-25 | 2017-05-25 | Electronics And Telecommunications Research Institute | Apparatus and method for measuring quality of holographic image |
US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
US20180144214A1 (en) * | 2016-11-23 | 2018-05-24 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
US20180174275A1 (en) * | 2016-12-15 | 2018-06-21 | WaveOne Inc. | Autoencoding image residuals for improving upsampled images |
CN107392952A (zh) * | 2017-07-19 | 2017-11-24 | 天津大学 | 一种无参考混合失真图像质量评价方法 |
CN108090902A (zh) * | 2017-12-30 | 2018-05-29 | 中国传媒大学 | 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法 |
Non-Patent Citations (3)
Title |
---|
C. LI 等: "《Content-partitioned structural similarity index for image quality assessment》", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 * |
M. A. SAAD 等: "《Blind Image Quality Assessment: A Natural Scene Statistics Approach in the DCT Domain》", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
杨迪威: "《基于自然统计特性的图像质量评价方法研究》", 《中国博士学位论文全文库 信息科技辑》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110211035A (zh) * | 2019-04-18 | 2019-09-06 | 天津中科智能识别产业技术研究院有限公司 | 融合互信息的深度神经网络的图像超分辨率方法 |
CN110211035B (zh) * | 2019-04-18 | 2023-03-24 | 天津中科智能识别产业技术研究院有限公司 | 融合互信息的深度神经网络的图像超分辨率方法 |
CN110223224A (zh) * | 2019-04-29 | 2019-09-10 | 杰创智能科技股份有限公司 | 一种基于信息过滤网络的图像超分辨实现算法 |
CN110189272A (zh) * | 2019-05-24 | 2019-08-30 | 北京百度网讯科技有限公司 | 用于处理图像的方法、装置、设备和存储介质 |
CN111127392A (zh) * | 2019-11-12 | 2020-05-08 | 杭州电子科技大学 | 一种基于对抗生成网络的无参考图像质量评价方法 |
CN111127392B (zh) * | 2019-11-12 | 2023-04-25 | 杭州电子科技大学 | 一种基于对抗生成网络的无参考图像质量评价方法 |
WO2021102644A1 (zh) * | 2019-11-25 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 图像增强方法、装置及终端设备 |
CN111178499B (zh) * | 2019-12-10 | 2022-06-07 | 西安交通大学 | 一种基于生成对抗网络改进的医学图像超分辨率方法 |
CN111178499A (zh) * | 2019-12-10 | 2020-05-19 | 西安交通大学 | 一种基于生成对抗网络改进的医学图像超分辨率方法 |
CN111127454A (zh) * | 2019-12-27 | 2020-05-08 | 上海交通大学 | 基于深度学习生成工业缺陷样本的方法及系统 |
WO2021175045A1 (zh) * | 2020-03-02 | 2021-09-10 | Oppo广东移动通信有限公司 | 色彩增强方法及相关装置 |
CN111681298A (zh) * | 2020-06-08 | 2020-09-18 | 南开大学 | 一种基于多特征残差网络的压缩感知图像重建方法 |
CN112766388A (zh) * | 2021-01-25 | 2021-05-07 | 深圳中兴网信科技有限公司 | 模型获取方法、电子设备和可读存储介质 |
CN113379715A (zh) * | 2021-06-24 | 2021-09-10 | 南京信息工程大学 | 一种水下图像增强和数据集真值图像获得方法 |
CN113435509A (zh) * | 2021-06-28 | 2021-09-24 | 山东力聚机器人科技股份有限公司 | 基于元学习的小样本场景分类识别方法及系统 |
CN114022360A (zh) * | 2021-11-05 | 2022-02-08 | 长春理工大学 | 基于深度学习的渲染图像超分辨系统 |
CN114022360B (zh) * | 2021-11-05 | 2024-05-03 | 长春理工大学 | 基于深度学习的渲染图像超分辨系统 |
CN117173389A (zh) * | 2023-08-23 | 2023-12-05 | 无锡芯智光精密科技有限公司 | 一种基于轮廓匹配的固晶机视觉定位方法 |
CN117173389B (zh) * | 2023-08-23 | 2024-04-05 | 无锡芯智光精密科技有限公司 | 一种基于轮廓匹配的固晶机视觉定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109559276B (zh) | 2020-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109559276A (zh) | 一种基于无参考质量评价和特征统计的图像超分辨率重建方法 | |
CN110211045A (zh) | 基于srgan网络的超分辨率人脸图像重建方法 | |
CN109829855A (zh) | 一种基于融合多层次特征图的超分辨率重建方法 | |
CN109523463A (zh) | 一种基于条件生成对抗网络的人脸老化方法 | |
CN107423700A (zh) | 人证核实的方法及装置 | |
CN101299235B (zh) | 一种基于核主成分分析的人脸超分辨率重构方法 | |
CN107463609A (zh) | 一种使用分层时空注意力编解码器网络机制解决视频问答的方法 | |
CN108334816A (zh) | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 | |
CN108921123A (zh) | 一种基于双重数据增强的人脸识别方法 | |
CN109919830A (zh) | 一种基于美学评价的带参考人眼图像修复方法 | |
CN108932536A (zh) | 基于深度神经网络的人脸姿态重建方法 | |
CN104298753B (zh) | 基于人脸图像处理的人才测评方法 | |
CN106023098B (zh) | 基于张量结构多字典学习与稀疏编码的图像修补方法 | |
CN104361593A (zh) | 一种基于hvs和四元数的彩色图像质量评价方法 | |
CN110473266A (zh) | 一种基于姿态指导的保留源场景人物动作视频生成方法 | |
CN106157249A (zh) | 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法 | |
CN109960975A (zh) | 一种基于人眼的人脸生成及其人脸识别方法 | |
CN109410204A (zh) | 一种基于cam的皮质白内障图像处理及增强方法 | |
CN109934158A (zh) | 基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法 | |
CN110473142A (zh) | 基于深度学习的单幅图像超分辨率重建方法 | |
CN109086707A (zh) | 一种基于DCNNs-LSTM模型的表情追踪方法 | |
CN110490807A (zh) | 图像重建方法、装置及存储介质 | |
CN110222609A (zh) | 一种基于图像处理的墙体裂缝智能识别方法 | |
CN106056141A (zh) | 一种使用空间稀疏编码的目标识别与角度粗估计算法 | |
CN105160653A (zh) | 一种用于雾天图像的质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |