CN111738919A - 基于线性多步残差稠密网的低清小脸真实感幻构方法 - Google Patents

基于线性多步残差稠密网的低清小脸真实感幻构方法 Download PDF

Info

Publication number
CN111738919A
CN111738919A CN202010446190.5A CN202010446190A CN111738919A CN 111738919 A CN111738919 A CN 111738919A CN 202010446190 A CN202010446190 A CN 202010446190A CN 111738919 A CN111738919 A CN 111738919A
Authority
CN
China
Prior art keywords
face image
resolution face
generator
low
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010446190.5A
Other languages
English (en)
Inventor
邵文泽
张苗苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202010446190.5A priority Critical patent/CN111738919A/zh
Publication of CN111738919A publication Critical patent/CN111738919A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于线性多步残差稠密网的低清小脸真实感幻构方法,包括如下步骤:获取低分辨率人脸图像;将所述低分辨率人脸图像输入至最佳人脸幻构模型,得到高分辨率人脸图像。本发明通过在人脸幻构模型中引入线性多步机制使得深度网络具有更强的可解释性,并利用该机制指导构建更深层次的网络模型,另外使用残差稠密块加深网络用于提取高层特征,提升幻构人脸的质量。相较之前的若干代表方法,定量定性实验结果均表明本发明提出的方法幻构的人脸真实感更强。

Description

基于线性多步残差稠密网的低清小脸真实感幻构方法
技术领域
本发明涉及一种基于线性多步残差稠密网的低清小脸真实感幻构方法,属于图像处理技术领域。
背景技术
图像超分辨率重建技术的目的是提高输入图像的分辨率,即通过增强输入图像内容的清晰度或者恢复输入图像自身并不存在的细节信息,最终输出高分辨率图像。人脸图像超分辨率又称人脸幻构,它是图像超分辨率技术在人脸图片上的应用,目的是通过超分辨率重建算法从低分辨率人脸图像估计重建出高分辨率人脸图像。人脸图像由于其特殊性,是人们工作生活中关注度最高的媒体内容之一,在机器学习、计算机视觉等领域内一直受到广泛关注。近年来互联网、智能手机产业发展迅速,人们用手机拍摄的视频、图像等多媒体数据正逐渐称为通信应用的主流,所以视频和图像通信在多媒体通信中的研究和应用越来越多,而视频中的多媒体数据多为人脸图像,故人脸图像已经成为机器学习、人工智能等领域的研究热点。在互联网应用中,受限于网络带宽和存储空间,用户往往只能传输存储低分辨率人脸;另外在视频监控中获得的人脸图像往往只有几十甚低几个像素,在遥感中,能获得高分辨率人脸图像的设备造价昂贵,因此人脸图像超分辨率成为了一个重要的研究课题。
超分辨率重建算法通常分为三类:基于插值、基于重建和基于学习的超分辨率重建算法,基于插值的方法实现简单计算效率高,但是重建结果过于平滑,无法产生高频细节;基于重建的方法无法处理自然图像中的复杂图像结构;基于学习的方法依赖样本图像库建立低分辨率图像和高分辨率图像之间的映射,当输入新的低分辨率图像时,根据这种映射关系重建出高分辨率图像,所以此类方法的关键是针对样本图像库的学习算法本身。但是,现有的基于学习的人脸图像超分辨率技术均将幻构模型作为一个黑箱,即模型的输出变量对输入变量的依赖关系是非线性函数的关系,这种关系往往是非常复杂的,因此无法获得一个关于输入变量与输出变量之间的函数表达式,这使得基于学习的人脸幻构模型缺乏可解释性。此外,虽然基于学习的方法重建的人脸的高频细节优于基于插值的方法,但是现有的人脸图像超分辨率方法重建得到的人脸仍存在真实感弱的问题。
综上可知,现有的人脸幻构方法存在模型可解释性差、幻构的人脸真实感弱的问题。
公开于该背景技术部分的信息仅仅只对本发明的总体背景的理解,而不应该被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
针对现有技术的不足,本发明的目的在于提供一种基于线性多步残差稠密网的低清小脸真实感幻构方法,以解决现有的人脸幻构方法存在模型可解释性差、幻构的人脸真实感弱的问题。
为解决上述技术问题,本发明采用的技术方案为:
一种低清小脸真实感幻构方法,包括如下步骤:
获取低分辨率人脸图像;
将所述低分辨率人脸图像输入至最佳人脸幻构模型,得到高分辨率人脸图像。
进一步的,所述最佳人脸幻构模型的建立方法包括:
获取低分辨率人脸图像的训练集;
将所述训练集输入至生成器;
由所述生成器生成低分辨率人脸图像对应的高分辨率人脸图像;
通过判别器和概率计算公式计算得到高分辨率人脸图像与真实高分辨率人脸图像之间的相对值;
根据所述相对值和损失函数计算生成器和判别器的总体损失值;
判断所述总体损失值是否收敛,若是则将所述生成器作为最佳人脸幻构模型,否则更新生成器、判别器的网络参数和训练集,重复上述步骤直到总体损失值收敛。
进一步的,所述高分辨率人脸图像的生成方法包括:
通过生成器的特征提取模块提取低分辨率人脸图像的特征图;
通过生成器的上采样模块对特征图进行放大;
将放大后的特征图输入至生成器的特征映射模块进行特征映射得到高分辨率人脸图像。
进一步的,所述特征提取模块包括卷积层、长连接结构和线性多步残差稠密块的叠加结构,所述特征提取模块的卷积层的后面紧跟着一个LReLU激活函数;所述上采样模块包括邻近插值层、卷积层和LReLU激活函数;所述特征映射模块包括两个卷积层,第一个卷积后面紧跟着一个LReLU激活函数。
进一步的,所述线性多步残差稠密块的输出为:
un+1=knun+(1-kn)un-1+fn(un),
式中,un+1为当前线性多步残差稠密块的输出,un为前一个线性多步残差稠密块的输出,un-1为倒数第二个线性多步残差稠密块的输出,fn(un)为当前残差稠密块的输出,kn为动态学习系数。
进一步的,所述线性多步残差稠密块的结构中添加有残差缩放因子;所述残差缩放因子的值为0.2。
进一步的,所述概率计算公式为:
Figure BDA0002504354350000041
Figure BDA0002504354350000042
式中,DRa(xr,xf)表示真实高分辨率人脸图像比预测高分辨率人脸图像更真的概率,DRa(xf,xr)表示预测高分辨率人脸图像比真实高分辨率人脸图像更假的概率,
Figure BDA0002504354350000043
表示对xr、xf求平均,σ表示S型激活函数,C(xf)为判别器的全连接层预测的高分辨率人脸图像的绝对值,C(xr)为真实高分辨率人脸图像的绝对值。
进一步的,所述总体损失值的计算公式如下:
Figure BDA0002504354350000044
Figure BDA0002504354350000045
式中,LG为生成器总体损失值,LD为判别器总体损失值,α、γ为平衡对行损失项与像素损失项的系数,
Figure BDA0002504354350000046
为生成器对抗损失值,
Figure BDA0002504354350000047
为判别器对抗损失值;L1为生成器的像素级损失值。
进一步的,所述生成器对抗损失值的计算公式如下:
Figure BDA0002504354350000051
所述判别器对抗损失值的计算公式如下:
Figure BDA0002504354350000052
所述像素级损失值的计算公式如下:
Figure BDA0002504354350000053
其中,DRa(xr,xf)表示真实高分辨率人脸图像比预测高分辨率人脸图像更真的概率,DRa(xf,xr)表示预测高分辨率人脸图像比真实高分辨率人脸图像更假的概率,
Figure BDA0002504354350000054
表示对xr、xf求平均,σ表示S型激活函数;
Figure BDA0002504354350000055
表示对xi求平均;xr为真实高分辨率图像;xf为真实高分辨率图像。
进一步的,所述网络参数的更新方法采用随机梯度下降法。
与现有技术相比,本发明所达到的有益效果是:
本发明通过在最佳人脸幻构模型中引入线性多步残差稠密网结构构建深层网络,线性多步机制使得网络具有更强的可解释性,残差稠密结构有助于稳定深度网络的训练,提高幻构人脸的真实感。
附图说明
图1为本发明流程示意图;
图2为基于线性多步残差稠密网的低清小脸真实感幻构方法流程图;
图3为线性多步残差稠密网结构图;
图4为基于线性多步残差稠密网的低清小脸真实感幻构方法与当前其他方法视觉效果对比图。
具体实施方式
下面对本发明的具体实施方式进行详细描述,但应当理解本发明的保护范围并不受具体实施方式的限制。
如图1所示为本发明流程示意图,结合该图可知,本发明提出的基于线性多步残差稠密网的低清小脸真实感幻构方法包括:
步骤(1),采用预设的生成器模型预测输入低分辨率人脸图像对应的高分辨率人脸图像。
在预设的生成器模型预测输入低分辨率人脸图像对应的高分辨率人脸图像之前,本发明提出的方法还包括:获得总训练集和测试集:总训练集包括训练集和验证集两个部分,本发明选取名人脸数据集中前2万张图片为训练集,后100张图片为验证集,最后260张人脸图片作为测试集;总训练集和测试集预处理:将总训练集和测试集中128×128像素的人脸图像作为真实高分辨率人脸图像,采用双三次插值方法进行8倍分辨率缩小获得16×16像素低分辨率人脸图像。
获取到低分辨率人脸图像训练集后,将训练集随机分批输入预设生成器中,每一批的批量数为16。其中,预设生成器模型如图2所示,图2为基于线性多步残差稠密网的低清小脸真实感幻构方法流程图,上半部分为生成器模型流程图,生成器模型包含特征提取、上采样和特征映射三个部分。
特征提取部分提取输入的低分辨率人脸图像的特征,获取16张训练图像的特征图。该部分包含两个卷积层、一个长连接结构和一个线性多步残差稠密块叠加结构,该部分所有的卷积层的尺寸均为3*3,并且,所有的卷积层后面都紧跟着一个LReLU激活函数。其中,线性多步残差稠密块叠加结构由16个线性多步残差稠密块组成。受启发于多步求解差分方程的线性方法,线性多步残差稠密块结构将神经网络与差分方程结合从而得到更有效的深层网络,这使得神经网络可以被解释为微分方程的不同数值离散化,该思想让神经网络变得具有可解释性而不再完全以一个黑箱的形式存在。图3所示为线性多步残差稠密块结构,线性多步机制可以看作图中两个跳跃连接结构,其系数k与1-k在网络训练时是随机动态变化的,两者在网络收敛时得到的值是最佳的。此外,整个线性多步残差稠密块的输出为差分方程:un+1=knun+(1-kn)un-1+fn(un),式中,un+1为当前线性多步残差稠密块的输出,un为前一个线性多步残差稠密块的输出,un-1为倒数第二个线性多步残差稠密块的输出,fn(un)为当前残差稠密块的输出,kn为动态学习系数,模型收敛时为最佳值。而图3中残差稠密块的作用则是加深网络层次,该模块中的跳跃连接为残差结构,残差结构的思想是根据输入将输出层表示为学习残差函数,由残差块叠加的残差网络更容易优化,并且能够通过增加相当的深度来提高网络的准确率。其核心是解决了增加深度带来的副作用(退化问题),这样能够通过单纯地增加网络深度来提高网络性能。稠密结构在残差结构中的卷积层上添加更多更短的连接,它的每一个卷积层都将前面所有层的功能映射作为输入实现通道的连接,这种密集的连接方式将信息流动最大化,加强梯度传播从而缓解梯度消失。此外,为了保持网络在训练过程中的稳定性,残差稠密块在结构中添加残差缩放因子(β),β的值在0到1之间,在本发明中,β=0.2。
于是,特征提取部分提取特征的流程为:首先,该部分先采用一个卷积提取浅层特征,卷积层的输出为16×16×64。然后使用线性多步残差稠密块叠加结构提取图像高层特征,假设线性多步残差稠密块叠加结构的输入为x,则第一个残差稠密块(RDB)的输出为,R1=RDB(x);第二个残差稠密块的输出为R2=RDB(R1+k1×x);第三个残差稠密块的输出为R3=RDB(k2×R1+(1-k1)×x);第四个残差稠密块的输出为R4=RDB(k3×R2+(1-k2)×R1);第五个残差稠密块的输出为R5=RDB(k4×R3+(1-k3)×R2);第n个残差稠密块的输出为Rn=RDB(kn-1×Rn-2+(1-kn-2)×Rn-3)。具体到残差稠密块结构中,第一个卷积层的输入为16×16×64,输出为16×16×32;第二个卷积层的输入为16×16×96,输出为16×16×32;第三个卷积层的输入为16×16×128,输出为16×16×32;第四个卷积层的输入为16×16×160,输出为16×16×32;第五个卷积层作为两个RDB之间的过渡块,它的输入为16×16×192,输出为16×16×64。最后,将线性多步残差稠密块叠加结构提取到的高层特征做卷积之后与第一个卷积层提取的浅层特征融合送入上采样模块,融合后的输出为16×16×64。
将16张大小为16×16×64训练图像的特征图输入预设生成器的上采样部分,该部分包含三个上采样层,每一个上采样层都由一个邻近插值层、3*3卷积层和一个LReLU激活函数组成,将特征图放大两倍;即第一个上采样层的输出为32×32×64,第二个上采样层的输出为64×64×64;第三个上采样层的输出为128×128×64。
将上采样部分放大后的特征图输入特征映射部分完成特征映射实现图像复原,该模块包含两个3*3大小的卷积,第一个卷积后面紧跟着一个LReLU激活函数,它的输出为128×128×64,第二个卷积的输出为128×128×3。到此为止,生成器完成低分辨率人脸图像的重建得到预测高分辨率人脸图像:xf=G(xi);式中,xi表示第i张低分辨率人脸图像,G表示生成器,xf表示生成器预测的第i张低分辨率人脸图像对应的高分辨率人脸图像。
步骤(2),采用预设的判别器模型和概率计算公式估计生成器预测的高分辨率人脸图像与真实高分辨率人脸图像之间的相对值。
将预设生成器预测的高分辨率人脸图像与真实的高分辨率人脸图像输入预设判别器中,其中,预设判别器结构如图2下半部分所示,本发明判别器采用图像分类问题的全卷积网络,它包含特征提取模块和全连接层两个部分。
使用特征提取模块提取预测和真实高分辨率人脸图像特征,该模块包含10个卷积层,10个卷积层后均跟有一个LReLU激活函数,第1、3、5、7、9个卷积层的尺寸为3*3,剩余的卷积层尺寸为4*4。将大小为128×128×3的预测和真实高分辨率人脸图像输入判别器特征提取模块,则第一个卷积层的输出为128×128×64;第二个卷积的输出为64×64×64;第三个卷积的输出为64×64×128;第四个卷积的输出为32×32×128;第五个卷积层的输出为32×32×256;第六个卷积层的输出为16×16×256;第七个卷积层的输出为16×16×512;第八、九个卷积层的输出为8×8×512;最后一个卷积层的输出为4×4×512。
将特征提取模块提取的特征输入预设判别器的全连接层,第一个全连接层的输出为1×1024;第二个全连接层的输出为1×512;第三个全连接层的输出为1×1,即为判别器估计的预测和真实高分辨率人脸图像的绝对值:C(xf)和C(xr),其中,C为判别器,xr为真实高分辨率图像。
根据下述概率计算公式估计预测和真实高分辨率人脸图像之间的相对值:
Figure BDA0002504354350000101
Figure BDA0002504354350000102
式中,DRa(xr,xf)表示真实高分辨率人脸图像比预测高分辨率人脸图像更真的概率,DRa(xf,xr)表示预测高分辨率人脸图像比真实高分辨率人脸图像更假的概率,
Figure BDA0002504354350000103
表示在批量数(16)中对xr、xf求平均,σ表示S型激活函数,具体计算公式为:
Figure BDA0002504354350000104
步骤(3),根据生成器预测的高分辨率人脸图像、真实的高分辨率人脸图像以及两者之间的相对值和预设损失函数确定生成器和判别器的损失值。
根据预测高分辨率人脸图像、真实高分辨率人脸图像和下述像素级损失函数确定生成器像素级损失值:
Figure BDA0002504354350000105
式中,
Figure BDA0002504354350000106
表示在批量数(16)中对xi求平均;根据预测和真实高分辨率人脸图像之间的相对值和下述生成器对抗损失项确定生成器对抗损失值和判别器对抗损失值:
Figure BDA0002504354350000111
Figure BDA0002504354350000112
其中,
Figure BDA0002504354350000113
为生成器对抗损失值,
Figure BDA0002504354350000114
为判别器对抗损失值,log为取对数操作;
根据生成器像素级损失值、对抗损失值、判别器对抗损失值和下述总损失函数确定生成器和判别器总体损失值:
Figure BDA0002504354350000115
Figure BDA0002504354350000116
式中,LG为生成器总体损失函数,LD为判别器总体损失函数,α、γ为平衡对行损失项与像素损失项的系数,其中,α=4.5×10-5,γ=0.55。
步骤(4),判断所述损失值是否收敛,若是,将所述预设的生成器模型作为收敛后的最佳人脸幻构模型;若不是,则更新预设判别器和生成器模型参数,采用更新参数后的生成器和判别器模型重新执行步骤(1)(2)(3)(4)。
其中,本发明使用随机梯度下降法更新预设生成器和判别器模型的网络参数。
步骤(5),直至步骤(4)中判断所述损失值收敛,使用所述最佳人脸幻构模型对待检测低分辨率人脸图像进行超分辨率重建得到对应的高分辨率人脸图像。
将步骤(1)中预处理后的测试集中的低分辨率人脸图片输入最佳人脸幻构模型中;经过与步骤(1)中的相同过程得到低分辨率人脸图像对应的预测高分辨率人脸图像。
根据预测和真实的高分辨率人脸图像计算峰值信噪比:
Figure BDA0002504354350000121
式中,f为真实高分辨率人脸图像,f*预测高分辨率人脸图像,M为f的像素个数,PSNR的单位为dB;根据预测和真实的高分辨率人脸图像计算结构相似度:
Figure BDA0002504354350000122
式中,μHR、σHR为260张HR图像均值、方差,μSR、σSR为260张SR图像均值、方差,σHRSR为260张HR和SR图像的协方差,L为像素值的取值范围,SSIM单位为dB。
实验结果:使用峰值信噪比和结构相似度计算公式计算260张测试图片峰值信噪比和结构相似度,取平均得到表中的平均峰值信噪比和结构相似度;根据表中的结果可以得出本发明提出的方法具有最高的峰值信噪比和结构相似度值,即为表中的粗体。另外,图4为本发明提出的基于线性多步残差稠密网的低清小脸真实感幻构方法与当前其他方法视觉效果对比图,放大查看图中细节,本发明提出方法所重建的人脸图片更加逼近真实高分辨率人脸图片,因此本发明提出的方法具有最佳图像重建效果。
Figure BDA0002504354350000123
Figure BDA0002504354350000131
本发明提在生成器中引入线性多步机制使得深度网络具有更强的可解释性,并利用该机制指导构建更深层次的网络模型,另外使用残差稠密块加深网络用于提取高层特征,提升幻构人脸的质量;通过去除判别器中的批归一化层加强判别器的鉴别性从而增强幻构人脸的细节。相较之前的若干代表方法,定量定性实验结果均表明本发明提出的方法幻构的人脸真实感更强。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式,并且很显然,根据上述教导,可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用,从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.一种低清小脸真实感幻构方法,其特征在于,包括如下步骤:
获取低分辨率人脸图像;
将所述低分辨率人脸图像输入至最佳人脸幻构模型,得到高分辨率人脸图像。
2.根据权利要求1所述的一种低清小脸真实感幻构方法,其特征在于,所述最佳人脸幻构模型的建立方法包括:
获取低分辨率人脸图像的训练集;
将所述训练集输入至生成器;
由所述生成器生成低分辨率人脸图像对应的高分辨率人脸图像;
通过判别器和概率计算公式计算得到高分辨率人脸图像与真实高分辨率人脸图像之间的相对值;
根据所述相对值和损失函数计算生成器和判别器的总体损失值;
判断所述总体损失值是否收敛,若是则将所述生成器作为最佳人脸幻构模型,否则更新生成器、判别器的网络参数和训练集,重复上述步骤直到总体损失值收敛。
3.根据权利要求2所述的一种低清小脸真实感幻构方法,其特征在于,所述高分辨率人脸图像的生成方法包括:
通过生成器的特征提取模块提取低分辨率人脸图像的特征图;
通过生成器的上采样模块对特征图进行放大;
将放大后的特征图输入至生成器的特征映射模块进行特征映射得到高分辨率人脸图像。
4.根据权利要求3所述的一种低清小脸真实感幻构方法,其特征在于,所述特征提取模块包括卷积层、长连接结构和线性多步残差稠密块的叠加结构,所述特征提取模块的卷积层的后面紧跟着一个LReLU激活函数;所述上采样模块包括邻近插值层、卷积层和LReLU激活函数;所述特征映射模块包括两个卷积层,第一个卷积后面紧跟着一个LReLU激活函数。
5.根据权利要求4所述的一种低清小脸真实感幻构方法,其特征在于,所述线性多步残差稠密块的输出为:
un+1=knun+(1-kn)un-1+fn(un),
式中,un+1为当前线性多步残差稠密块的输出,un为前一个线性多步残差稠密块的输出,un-1为倒数第二个线性多步残差稠密块的输出,fn(un)为当前残差稠密块的输出,kn为动态学习系数。
6.根据权利要求4所述的一种低清小脸真实感幻构方法,其特征在于,所述线性多步残差稠密块的结构中添加有残差缩放因子;所述残差缩放因子的值为0.2。
7.根据权利要求2所述的一种低清小脸真实感幻构方法,其特征在于,所述概率计算公式为:
Figure FDA0002504354340000021
Figure FDA0002504354340000022
式中,DRa(xr,xf)表示真实高分辨率人脸图像比预测高分辨率人脸图像更真的概率,DRa(xf,xr)表示预测高分辨率人脸图像比真实高分辨率人脸图像更假的概率,
Figure FDA0002504354340000023
表示对xr、xf求平均,σ表示S型激活函数,C(xf)为判别器的全连接层预测的高分辨率人脸图像的绝对值,C(xr)为真实高分辨率人脸图像的绝对值。
8.根据权利要求2所述的一种低清小脸真实感幻构方法,其特征在于,所述总体损失值的计算公式如下:
Figure FDA0002504354340000031
Figure FDA0002504354340000032
式中,LG为生成器总体损失值,LD为判别器总体损失值,α、γ为平衡对行损失项与像素损失项的系数,
Figure FDA0002504354340000033
为生成器对抗损失值,
Figure FDA0002504354340000034
为判别器对抗损失值;L1为生成器的像素级损失值。
9.根据权利要求8所述的一种低清小脸真实感幻构方法,其特征在于,
所述生成器对抗损失值的计算公式如下:
Figure FDA0002504354340000035
所述判别器对抗损失值的计算公式如下:
Figure FDA0002504354340000036
所述像素级损失值的计算公式如下:
Figure FDA0002504354340000037
其中,DRa(xr,xf)表示真实高分辨率人脸图像比预测高分辨率人脸图像更真的概率,DRa(xf,xr)表示预测高分辨率人脸图像比真实高分辨率人脸图像更假的概率,
Figure FDA0002504354340000038
表示对xr、xf求平均,σ表示S型激活函数;
Figure FDA0002504354340000039
表示对xi求平均;xr为真实高分辨率图像;xf为真实高分辨率图像。
10.根据权利要求2所述的一种低清小脸真实感幻构方法,其特征在于,所述网络参数的更新方法采用随机梯度下降法。
CN202010446190.5A 2020-05-22 2020-05-22 基于线性多步残差稠密网的低清小脸真实感幻构方法 Pending CN111738919A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010446190.5A CN111738919A (zh) 2020-05-22 2020-05-22 基于线性多步残差稠密网的低清小脸真实感幻构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010446190.5A CN111738919A (zh) 2020-05-22 2020-05-22 基于线性多步残差稠密网的低清小脸真实感幻构方法

Publications (1)

Publication Number Publication Date
CN111738919A true CN111738919A (zh) 2020-10-02

Family

ID=72647701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010446190.5A Pending CN111738919A (zh) 2020-05-22 2020-05-22 基于线性多步残差稠密网的低清小脸真实感幻构方法

Country Status (1)

Country Link
CN (1) CN111738919A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613577A (zh) * 2020-12-31 2021-04-06 上海商汤智能科技有限公司 神经网络的训练方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张杨忆等: "改进残差块和对抗损失的GAN图像超分辨率重建", 《哈尔滨工业大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613577A (zh) * 2020-12-31 2021-04-06 上海商汤智能科技有限公司 神经网络的训练方法、装置、计算机设备及存储介质
CN112613577B (zh) * 2020-12-31 2024-06-11 上海商汤智能科技有限公司 神经网络的训练方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
CN110717857A (zh) 超分辨率图像重构方法和装置
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110223234A (zh) 基于级联收缩扩张的深度残差网络图像超分辨率重建方法
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN110246148B (zh) 多模态的深度信息融合和注意力学习的显著性检测方法
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN112381897A (zh) 基于自编码网络结构的低照度图像增强方法
CN110349087A (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN117710216B (zh) 一种基于变分自编码器的图像超分辨率重建方法
CN115880158A (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN112907448A (zh) 一种任意比率图像超分辨率方法、系统、设备及存储介质
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
CN116152061A (zh) 一种基于模糊核估计的超分辨率重建方法
CN116309178A (zh) 一种基于自适应注意力机制网络的可见光图像去噪方法
CN113393435B (zh) 一种基于动态上下文感知滤波网络的视频显著性检测方法
CN114862679A (zh) 基于残差生成对抗网络的单图超分辨率重建方法
CN110335196A (zh) 一种基于分形解码的超分辨率图像重建方法及系统
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
CN111738919A (zh) 基于线性多步残差稠密网的低清小脸真实感幻构方法
CN112184552A (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201002