CN114820303A - 低清图像重建超分辨率人脸图像的方法、系统及存储介质 - Google Patents
低清图像重建超分辨率人脸图像的方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114820303A CN114820303A CN202210296363.9A CN202210296363A CN114820303A CN 114820303 A CN114820303 A CN 114820303A CN 202210296363 A CN202210296363 A CN 202210296363A CN 114820303 A CN114820303 A CN 114820303A
- Authority
- CN
- China
- Prior art keywords
- codes
- network
- iteration
- resolution
- implicit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 52
- 230000000750 progressive effect Effects 0.000 claims abstract description 41
- 238000005457 optimization Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 71
- 230000003044 adaptive effect Effects 0.000 claims description 22
- 230000014509 gene expression Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 7
- 230000001902 propagating effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种低清图像重建超分辨率人脸图像的方法、系统及存储介质，包括：将低分辨率图像输入预训练渐进式生成对抗网络中，初始化隐编码和通道权重参数；将隐编码和通道权重输入预训练渐进式生成对抗网络的迭代单元，获得迭代的多重隐编码和通道权重；判断多重隐编码和通道权重的迭代次数是否大于预设的迭代次数阈值，基于输出的多重隐编码和通道权重生成的最终超分辨率的高清人脸图像。通过本发明将多重隐编码分组，并在预训练渐进式生成对抗网络不同的子网络结构下迭代优化，使得多重潜码学习不同层次的特征，提升了人脸超分图像的真实感，从而重建超分辨率人脸图像。
Description
技术领域
本发明涉及人工智能领域，尤其是涉及一种低清图像重建超分辨率人脸图像的方法、系统及存储介质。
背景技术
近年来，随着信息化时代的不断发展人们越来越依靠互联网获取信息，据统计，一个人获得的信息有75％来自视觉，但高清图像数字化后的数据量非常大，在互联网传输大分辨率人脸图像时，为了为节省网络带宽与速率，从互联网上获取到的人脸图像是压缩传输后的低分辨率图像，严重影响用户获取人脸图像的五官、脸型等细节信息。由于人脸的特殊性，人脸的细节信息在压缩后往往很难恢复出细节，特别是针对大尺度的人脸超分辨率时，人脸的真实感和身份信息会产生失真，人脸超分辨对于人脸图像压缩方面能带来快速、安全和质量方面的提升，吸引了学术界和商业界越来越多的关注。
相比于高清人脸图像，低清人脸图像往往背景模糊、光照不均，包含更多噪声，且低清人脸特征中丢失了很多对人脸的细节信息，超分辨率后的图像往往对丢失很多人脸细节，甚至丢失原先人脸的身份特征，影响质量观感，直接使用常规人脸超分辨率算法得到的结果往往不佳，这极大影响了人脸超分辨率系统的性能。
一般来说，解决低清人脸超分辨率问题的方案可以分为两类。一种是有监督方法，该方法往往需要大数量的人脸图像对，每对图像包含一张高清人脸和对应的低清人脸，但现实中很难获取到真实的图像对，大多都是人工下采样产生的低清图像，这会使得学习出来的模型不能很好的适应真实场景下的图像退化问题，另一种是无监督方法，无监督方法利用预训练模型作为先验知识来指导生成低清图像，利用优化算法优化生成对抗网络的输入，在超低清的情况并不适用，且缺少面部细节，导致模型无法提取鉴别特征，因此目前该类方法取得的结果仍不是很理想。
发明内容
发明目的：为了克服现有技术中的不足，本发明提供一种低清图像重建超分辨率人脸图像的方法、系统及存储介质；通过本发明将多重隐编码分组，并在预训练渐进式生成对抗网络不同的子网络结构下迭代优化，使得多重潜码学习不同层次的特征，提升了人脸超分图像的真实感，引入人脸识别网络身份保持损失，约束了身份特征尽可能不变，引入了对多重潜码对应的中间特征的解耦，使得对每个潜码语义解耦，利用预训练渐进式生成对抗网络和人脸识别网络重建超分辨率人脸图像。
技术方案：第一方面本发明提供种一种低清图像重建超分辨率人脸图像的方法，包括：
将低分辨率图像输入预训练渐进式生成对抗网络中，获得隐编码、通道权重；其中，预训练渐进式生成对抗网络的参数权重由大数据量高清人脸数据训练得到；
将隐编码和通道权重输入预训练渐进式生成对抗网络的迭代单元，获得迭代的多重隐编码和通道权重；
判断多重隐编码和通道权重的迭代次数是否大于预设的迭代次数阈值，将大于预设的迭代次数阈值的多重隐编码和通道权重输出；
基于输出的多重隐编码和通道权重生成的最终超分辨率的高清人脸图像。
在进一步的实施例中，所述预训练渐进式生成对抗网络中预设有迭代次数阈值和高斯随机初始化参数。
在进一步的实施例中，将隐编码和通道权重输入预训练渐进式生成对抗网络的迭代单元，获得迭代的多重隐编码和通道权重的方法包括：
将隐编码与对应的自适应通道权重参数分成两组参数，两组参数分别代入预训练渐进式生成对抗网络迭代单元，获得迭代的多重隐编码和通道权重，其中，预训练渐进式生成对抗网络的迭代单元在首次迭代时对隐编码的参数进行高斯随机初始化、通道权重的参数进行均值初始化；
所述迭代单元由预训练渐进式生成对抗网络不同合层所关联的多个子网络中的迭代计算单元组成，并在迭代过程中通过多个损失函数反向传播优化隐编码和自适应通道权重，获得迭代优化多次的多重隐编码和通道权重。
在进一步的实施例中，所述两组参数分别为第一组参数和第二组参数；所述预训练渐进式生成对抗网络的合层包括：第一组合层、第二组合层和第三组合层；
在进一步的实施例中，所述将隐编码与对应的自适应通道权重参数分成两组参数，两组参数分别代入预训练渐进式生成对抗网络迭代单元，获得迭代的多重隐编码和通道权重的方法包括；
第一组参数在被第一组合层第一子网络和第二子网络上进行迭代，第二组参数在被第二组合层第一子网络和第二子网络上进行迭代，输出两组隐编码和权重参数；其中，每组隐编码输入到对应的组合层之前的第一子网络上，每个隐编码经过第一子网络生成对应的第一中间特征，并依据自适应通道权重将每组隐编码生成的第一中间特征组合成第二中间特征，而后累加融合所有第二中间特征生成第三中间特征；第三中间特征输入到第二子网络上生成人脸图像，并通过多个损失函数分别反向传播优化隐编码和自适应通道权重，获得迭代优化后的两组隐编码和自适应通道权重；
两组隐编码和权重参数通过第三组合层的第一子网络和第二子网络上进行分别进行迭代，输出多重隐编码和自适应通道权重。
在进一步的实施例中，判断多重隐编码和通道权重的迭代次数是否大于预设的迭代次数阈值还包括：
对迭代次数小于预设的迭代次数阈值的多重隐编码和自适应通道权重，重新输入迭代单元更新，直至迭代次数大于预设的迭代次数阈值时，输出更新后的多重隐编码和自适应通道权重；
基于更新后的多重隐编码和自适应通道权重进行超分辨率计算，获得的最终超分辨率的高清人脸图像；
其中，预设的迭代次数阈值为多个，分别轮次控制多个子网络中的迭代计算单元输出与迭代循环；轮次控制多个子网络中的迭代计算单元输出的多个条件表达式如下：
式中，l表示当前迭代的轮次，L表示迭代的总伦次，k1、k2分别表示在GAN第l1、l2层的组合层进行迭代优化的轮次，ln表示网络中间层索引位置且网络中间层索引ln满足l1<l2<l3的关系；其中，l1表示第一组合层索引位置，l2表示第二组合层索引位置，l3表示第三组合层索引位置且依次迭代处理，直至达到预设最大迭代次数L；
更新迭代后的多重隐编码和自适应通道权重表达式如下：
式中，z(n)为多重隐编码，α(n)为自适应通道权重，N为隐编码的总数量，L为总损失函数，XInv为最终超分辨率的高清人脸图像，XLR为低分辨率图像。，
在进一步的实施例中，多个损失函数包括：第一损失函数、第二损失函数、第三损失函数、第四损失函数；
其中，第一损失函数为第一子网络第一中间特征和第二中间特征的差计算函数；
第二损失函数为均方误差损失；
第三损失为感知损失；
第四损失函数为生成的重建图像的身份向量与低分辨率图像的身份向量的余弦相似度计算函数；
其中，第一损失函数的表达式为：
式中，i为特征图的x坐标，j为特征图的y坐标，
表示特征图的x坐标上每个隐编码生成的第一中间加权后得到的第二中间特征，
表示特征图的y坐标上第一中间特征加权后得到的第二中间特征；
第二损失函数的表达式为：
Lpix＝|down(xinv)-xLR|
式中，Xinv表示每次迭代生成的超分辨率人脸图像，down()表示对人脸图像进行下采样操作；
第三损失函数的表达式为：
式中，
表示用于大规模图像识别的超深卷积网络VGG输出的网络中间层特征图，
第四损失函数的表达式：
式中，R表示使用附加的角余量损失训练的人脸识别网络，人脸识别网络计算身份向量与低分辨率图像的身份向量的余弦相似度，G(zi)表示zi输入到渐进式生成对抗网络得到的重建人脸图像。
在进一步的实施例中，还包括基于第一损失函数、第二损失函数、第三损失函数、第四损失函数调整迭代次数阈值，预设的迭代次数阈值计算公式为：
Ltot＝λ1Lpix+λ2Ldiv+λ3Lf+λ4Lid
式中，λ1、λ2、λ3、λ4分别为比例因子。
第二方面本发明提供一种低清图像重建超分辨率人脸图像的系统，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行上述方法的步骤。
第三方面本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
有益效果：本发明与现有技术相比具有以下优点：
1、利用预训练生成对抗网络中不同中间层所表现的知识表征不同，浅层网络生成的特征表现出身份、颜色等高级语义特征，深层网络生成的特征表现出结构、边缘等低级语义特征，将多重隐编码分组迭代优化。将多重潜码分成两组，分别放入预训练网络中不同的中间组成层分开的子网络中进行迭代优化，使得两部分多重潜码学习到不同层次语义的特征，生成出来的超分人脸图像拥有更强的真实感。
2、在所述迭代优化过程中，每个在经过预训练模型的第一子网络后都会生成对应的中间特征，自适应通道权重来将这些中间特征合成为新的中间特征，每个中间特征负责重建图像中不同的区域，因此将这些中间特征的差作为约束使得多重隐编码更好的各司其职，达到解耦的效果，有助于进一步加强人脸图像的真实感。
3、为确保生成出来的超分辨率人脸图像不仅在真实感上有所体现，更要保持住原本人脸图像的身份特征，引入人脸识别网络来计算输入的低清人脸和每个潜码生成的人脸的特征余弦相似度，以此来约束多重潜码在隐空间中迭代优化时不会偏离低清人脸的身份域。
附图说明
图1是本发明实施例提供的低清图像重建超分辨率人脸图像的方法的流程图；
图2(a)、2(b)低清的人脸图像；
图3(a)是用方法1公开的基于多码生成对抗网络先验的图像处理的超分辨率方法效果图对于图2(a)的超分辨率结果；
图3(b)是用方法1公开的基于多码生成对抗网络先验的图像处理的超分辨率方法效果图对于图2(b)的超分辨率结果；
图4(a)是用本发明方法对图2(a)的超分辨率结果；
图4(b)是用本发明方法对图2(b)的超分辨率结果。
具体实施方式
为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
实施例1：
如图1所示本实施例提供一种低清图像重建超分辨率人脸图像的方法，包括：
将低分辨率图像输入预训练渐进式生成对抗网络中，获得隐编码、通道权重；其中，预训练渐进式生成对抗网络的参数权重由大数据量高清人脸数据训练得到；
将隐编码和通道权重输入预训练渐进式生成对抗网络的迭代单元，获得迭代的多重隐编码和通道权重；
判断多重隐编码和通道权重的迭代次数是否大于预设的迭代次数阈值，将大于预设的迭代次数阈值的多重隐编码和通道权重输出；
基于输出的多重隐编码和通道权重生成的最终超分辨率的高清人脸图像。
进一步的，预训练渐进式生成对抗网络中预设有迭代次数阈值和高斯随机初始化参数。
进一步的，将隐编码和通道权重输入预训练渐进式生成对抗网络的迭代单元，获得迭代的多重隐编码和通道权重的方法包括：
将隐编码与对应的自适应通道权重参数分成两组参数，两组参数分别代入预训练渐进式生成对抗网络迭代单元，获得迭代的多重隐编码和通道权重，其中，预训练渐进式生成对抗网络的迭代单元在首次迭代时对隐编码的参数进行高斯随机初始化、通道权重的参数进行均值初始化；
所述迭代单元由预训练渐进式生成对抗网络不同合层所关联的多个子网络中的迭代计算单元组成，并在迭代过程中通过多个损失函数反向传播优化隐编码和自适应通道权重，获得迭代优化多次的多重隐编码和通道权重。
进一步的，所述两组参数分别为第一组参数和第二组参数；所述预训练渐进式生成对抗网络的合层包括：第一组合层、第二组合层和第三组合层；
进一步的，所述将隐编码与对应的自适应通道权重参数分成两组参数，两组参数分别代入预训练渐进式生成对抗网络迭代单元，获得迭代的多重隐编码和通道权重的方法包括；
第一组参数在被第一组合层第一子网络和第二子网络上进行迭代，第二组参数在被第二组合层第一子网络和第二子网络上进行迭代，输出两组隐编码和权重参数；其中，每组隐编码输入到对应的组合层之前的第一子网络上，每个隐编码经过第一子网络生成对应的第一中间特征，并依据自适应通道权重将每组隐编码生成的第一中间特征组合成第二中间特征，而后累加融合所有第二中间特征生成第三中间特征；第三中间特征输入到第二子网络上生成人脸图像，并通过多个损失函数分别反向传播优化隐编码和自适应通道权重，获得迭代优化后的两组隐编码和自适应通道权重；
两组隐编码和权重参数通过第三组合层的第一子网络和第二子网络上进行分别进行迭代，输出多重隐编码和自适应通道权重。在进一步的实施例中，判断多重隐编码和通道权重的迭代次数是否大于预设的迭代次数阈值还包括：
对迭代次数小于预设的迭代次数阈值的多重隐编码和自适应通道权重，更新迭代，获得更新迭代后的多重隐编码和自适应通道权重；
进一步的，判断多重隐编码和通道权重的迭代次数是否大于预设的迭代次数阈值还包括：
对迭代次数小于预设的迭代次数阈值的多重隐编码和自适应通道权重，重新输入迭代单元更新，直至迭代次数大于预设的迭代次数阈值时，输出更新后的多重隐编码和自适应通道权重；
基于更新后的多重隐编码和自适应通道权重进行超分辨率计算，获得的最终超分辨率的高清人脸图像；
其中，预设的迭代次数阈值为多个，分别控制多个子网络中的迭代计算单元输出和迭代循环；
更新迭代后的多重隐编码和自适应通道权重表达式如下：
式中，z(n)为多重隐编码，α(n)为自适应通道权重，N为隐编码的总数量，L为总损失函数，XInv为最终超分辨率的高清人脸图像，XLR为低分辨率图像。
在本实施例中，每轮迭代时，每个隐编码z(n)在输入预训练模型的第一子网络
后生成对应的第一中间特征
n为隐编码对应的编号。通过自适应通道权重z(n)来将这些第一中间特征
来生成第二中间特征
生成方式定义为
其中i为特征图的x坐标，j为特征图的y坐标，c为通道坐标。并将这些第二中间特征
的差做第一损失函数,而后累加融合所有的第二中间特征
生成第三中间特征。输入第三中间特征至预训练模型的第二子网络
生成的超分辨率图像XInv；
生成的最终超分图像XInv具体计算如下:
式中，l表示当前迭代的轮次，L表示迭代的总伦次，k1、k2分别表示在GAN第l1、l2层的组合层进行迭代优化的轮次，ln表示网络中间层索引位置且网络中间层索引ln满足l1<l2<l3的关系；其中，l1表示第一组合层索引位置，l2表示第二组合层索引位置，l3表示第三组合层索引位置且依次迭代处理，直至达到预设最大迭代次数L；
进一步的，多个损失函数包括：第一损失函数、第二损失函数、第三损失函数、第四损失函数；
其中，第一损失函数为第一子网络第一中间特征和第二中间特征的差计算函数；
第二损失函数为第二子网络上生成人脸图像进行下采样降级函数；
第三损失函数为预训练渐进式生成对抗网络对低分辨率图像的第一特征的提取函数；
第四损失函数为预训练渐进式生成对抗网络中身份向量与低分辨率图像的身份向量的余弦相似度计算函数；
其中，第一损失函数的表达式为：
式中，
表示特征图的x坐标上每个隐编码生成的第一中间加权后得到的第二中间特征，
表示特征图的y坐标上第一中间特征加权后得到的第二中间特征；
第二损失函数的表达式为：
Lpix＝|down(xinv)-xLR|
式中，Xinv表示每次迭代生成的超分辨率人脸图像，down()表示对人脸图像进行下采样操作；
第三损失函数的表达式为：
式中，
表示用于大规模图像识别的超深卷积网络VGG输出的网络中间层特征图，
第四损失函数的表达式：
式中，R表示使用附加的角余量损失训练的人脸识别网络，，本实施例中人脸识别网络采用ArcFace训练的ResNet网络，人脸识别网络计算身份向量与低分辨率图像的身份向量的余弦相似度，G(zi)表示zi输入到渐进式生成对抗网络得到的重建人脸图像。
进一步的，还包括基于第一损失函数、第二损失函数、第三损失函数、第四损失函数调整迭代次数阈值，预设的迭代次数阈值计算公式为：
Ltot＝λ1Lpix+λ2Ldiv+λ3Lf+λ4Lid
式中，λ1、λ2、λ3、λ4分别为比例因子。
实施例2结合图2至图4所示进一步对照说明提供一种低清图像重建超分辨率人脸图像的方法所具有的优越性，在本实施例中采用测试数据集FFHQ全称Flickr-Faces-High-Quality(Flickr-Faces-HQ)，最初是作为生成式对抗网络(GAN)的基准创建的，并由英伟达于2019年开源。FFHQ是一个高质量的人脸数据集，包含1024×1024分辨率的70000张PNG格式高清人脸图像，在年龄、种族和图像背景上丰富多样且差异明显，在人脸属性上也拥有非常多的变化，拥有不同的年龄、性别、种族、肤色、表情、脸型、发型、人脸姿态等，囊盖普通眼镜、太阳镜、帽子、发饰及围巾等多种人脸周边配件，因此该数据集也是可以用于开发一些人脸属性分类或者人脸语义分割模型的。FFHQ使用了dlib进行人脸对齐和裁剪，之后使用算法移除了一些非真实人脸如雕像、画作及照片等图像。
3.实验内容
用本发明和现有的人脸图像超分辨率方法从16倍、32倍两个很大的超分倍数作比较，这种超分方法是：
Bolei Zhou等人公开的一种基于多码生成对抗网络先验的图像处理(ImageProcessing Using Multi-Code GAN Prior.In CVPR,2020.)，记为方法1；
4.仿真结果分析
仿真实验中，采用结构相似度(SSIM)和峰值信噪比(PSNR)指标来评价实验结果，SSIM,PSNR分别定义为：
其中：wx，wy和σx，σy分别表示x和y的均值和方差，σxy表示x和y的协方差，C1和C2是常数。结构相似度的取值是0到1之间，取值越接近1表示两幅图像越相似。
其中：x代表原始清晰图像，z代表恢复出来的重建图像。峰值信噪比越大表示超分辨率性能越好。
Frechet Inception距离得分(Frechet Inception Distance score，FID)是计算真实图像和生成图像的特征向量之间距离的一种度量。
FID从原始图像的计算机视觉特征的统计方面的相似度来衡量两组图像的相似度，这种视觉特征是使用Inception v3图像分类模型计算的得到的。分数越低代表两组图像越相似，或者说二者的统计量越相似，FID在最佳情况下的得分为0.0，表示两组图像相同，FID的计算表达式如下：
其中，ux、ug表示真实图像与重建图像的均值，Tr表示矩阵对角线上元素的和，∑x、∑g表示x与g的协方差。
(1)定量评估
为了更好地评估这两种方法的性能，我们对FFHQ数据集使用Bicubic(双立方插值)降采样16倍、32倍成低分辨率图片进行实验，比较方法1和本发明方法的SSIM、PSNR值和FID值，结果如下表1，下表2所示。
表1：
| 16倍超分 | PSNR | SSIM | FID |
| 方法1 | 26.76 | 0.76 | 96.45 |
| 本发明 | 27.44 | 0.78 | 84.10 |
表2：
| 32倍超分 | PSNR | SSIM | FID |
| 方法1 | 23.23 | 0.71 | 114.27 |
| 本发明 | 23.88 | 0.76 | 98.65 |
定性评估参考图2所示，显示了本发明方法同方法1之间超分辨率效果图；其中，
图2(a)、2(b)低清的人脸图像；图3(a)是用方法1公开的基于多码生成对抗网络先验的图像处理的超分辨率方法效果图对于图2(a)的超分辨率结果；图3(b)是用方法1公开的基于多码生成对抗网络先验的图像处理的超分辨率方法效果图对于图2(b)的超分辨率结果；图4(a)是用本发明方法对图2(a)的超分辨率结果；图4(b)是用本发明方法对图2(b)的超分辨率结果。
根据上述数据可以知道，本发明方法超分辨率人脸结果的SSIM值PSNR、FID值略高于其他方法的超分辨率结果的SSIM值、PSNR值和FID值，即本发明比现有技术具有更好地去超分辨率效果。
实施例3
本实施例提供一种低清图像重建超分辨率人脸图像的系统，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行下述方法的步骤：
将低分辨率图像输入预训练渐进式生成对抗网络中，获得隐编码、通道权重；其中，预训练渐进式生成对抗网络的参数权重由大数据量高清人脸数据训练得到；
将隐编码和通道权重输入预训练渐进式生成对抗网络的迭代单元，获得迭代的多重隐编码和通道权重；
判断多重隐编码和通道权重的迭代次数是否大于预设的迭代次数阈值，根，将大于预设的迭代次数阈值的多重隐编码和通道权重输出；
基于输出的多重隐编码和通道权重生成的最终超分辨率的高清人脸图像。
实施例4
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述方法的步骤：
将低分辨率图像输入预训练渐进式生成对抗网络中，获得隐编码、通道权重；其中，预训练渐进式生成对抗网络的参数权重由大数据量高清人脸数据训练得到；
将隐编码和通道权重输入预训练渐进式生成对抗网络的迭代单元，获得迭代的多重隐编码和通道权重；
判断多重隐编码和通道权重的迭代次数是否大于预设的迭代次数阈值，将大于预设的迭代次数阈值的多重隐编码和通道权重输出；
基于输出的多重隐编码和通道权重生成的最终超分辨率的高清人脸图像。
综上所述，本发明利用预训练生成对抗网络中不同中间层所表现的知识表征不同，浅层网络生成的特征表现出身份、颜色等高级语义特征，深层网络生成的特征表现出结构、边缘等低级语义特征，将多重隐编码分组迭代优化。将多重潜码分成两组，分别放入预训练网络中不同的中间组成层分开的子网络中进行迭代优化，使得两部分多重潜码学习到不同层次语义的特征，生成出来的超分人脸图像拥有更强的真实感。其次在所述迭代优化过程中，每个在经过预训练模型的第一子网络后都会生成对应的中间特征，自适应通道权重来将这些中间特征合成为新的中间特征，每个中间特征负责重建图像中不同的区域，因此将这些中间特征的差作为约束使得多重隐编码更好的各司其职，达到解耦的效果，有助于进一步加强人脸图像的真实感。最后，为确保生成出来的超分辨率人脸图像不仅在真实感上有所体现，更要保持住原本人脸图像的身份特征，引入ArcFace人脸识别网络来计算输入的低清人脸和每个潜码生成的人脸的特征余弦相似度，以此来约束多重潜码在隐空间中迭代优化时不会偏离低清人脸的身份域。
本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种低清图像重建超分辨率人脸图像的方法，其特征在于，包括：
将低分辨率图像输入预训练渐进式生成对抗网络中，获得隐编码、通道权重；其中，预训练渐进式生成对抗网络的参数权重由大数据量高清人脸数据训练得到；
将隐编码和通道权重输入预训练渐进式生成对抗网络的迭代单元，获得迭代的多重隐编码和通道权重；
判断多重隐编码和通道权重的迭代次数是否大于预设的迭代次数阈值，将大于预设的迭代次数阈值的多重隐编码和通道权重输出；
基于输出的多重隐编码和通道权重生成的最终超分辨率的高清人脸图像。
2.根据权利要求1所述的一种低清图像重建超分辨率人脸图像的方法，其特征在于，所述预训练渐进式生成对抗网络中预设有迭代次数阈值和高斯随机初始化参数。
3.根据权利要求1所述的一种低清图像重建超分辨率人脸图像的方法，其特征在于，将隐编码和通道权重输入预训练渐进式生成对抗网络的迭代单元，获得迭代的多重隐编码和通道权重的方法包括：
将隐编码与对应的自适应通道权重参数分成两组参数，两组参数分别代入预训练渐进式生成对抗网络迭代单元，获得迭代的多重隐编码和通道权重，其中，预训练渐进式生成对抗网络的迭代单元在首次迭代时对隐编码的参数进行高斯随机初始化、通道权重的参数进行均值初始化；
所述迭代单元由预训练渐进式生成对抗网络不同组合层所关联的多个子网络中的迭代计算单元组成，并在迭代过程中通过多个损失函数反向传播优化隐编码和自适应通道权重，获得迭代优化多次的多重隐编码和通道权重。
4.根据权利要求3所述的一种低清图像重建超分辨率人脸图像的方法，其特征在于，所述两组参数分别为第一组参数和第二组参数；所述预训练渐进式生成对抗网络的组合层包括：第一组合层、第二组合层和第三组合层。
5.根据权利要求4所述的一种低清图像重建超分辨率人脸图像的方法，其特征在于，所述将隐编码与对应的自适应通道权重参数分成两组参数，两组参数分别代入预训练渐进式生成对抗网络迭代单元，获得迭代的多重隐编码和通道权重的方法包括；
第一组参数在被第一组合层分开的第一子网络和第二子网络上进行迭代，第二组参数在被第二组合层分开的第一子网络和第二子网络上进行迭代，输出两组隐编码和权重参数；其中，每组隐编码输入到对应的组合层之前的第一子网络上，每个隐编码经过第一子网络生成对应的第一中间特征，并依据自适应通道权重将每组隐编码生成的第一中间特征组合成第二中间特征，而后累加融合所有第二中间特征生成第三中间特征；第三中间特征输入到第二子网络上生成人脸图像，并通过多个损失函数分别反向传播优化隐编码和自适应通道权重，获得迭代优化后的两组隐编码和自适应通道权重；
两组隐编码和权重参数通过第三组合层的第一子网络和第二子网络上进行分别进行迭代，输出多重隐编码和自适应通道权重。
6.根据权利要求5所述的一种低清图像重建超分辨率人脸图像的方法，其特征在于，判断多重隐编码和通道权重的迭代次数是否大于预设的迭代次数阈值还包括：
对迭代次数小于预设的迭代次数阈值的多重隐编码和自适应通道权重，重新输入迭代单元更新，直至迭代次数大于预设的迭代次数阈值时，输出更新后的多重隐编码和自适应通道权重；
基于更新后的多重隐编码和自适应通道权重进行超分辨率计算，获得的最终超分辨率的高清人脸图像；
其中，预设的迭代次数阈值为多个，分别轮次控制多个子网络中的迭代计算单元输出与迭代循环；轮次控制多个子网络中的迭代计算单元输出的多个条件表达式如下：
式中，l表示当前迭代的轮次，L表示迭代的总伦次，k1、k2分别表示在GAN第l1、l2层的组合层进行迭代优化的轮次，ln表示网络中间层索引位置且网络中间层索引ln满足l1<l2<l3的关系；其中，l1表示第一组合层索引位置，l2表示第二组合层索引位置，l3表示第三组合层索引位置且依次迭代处理，直至达到预设上限迭代次数L；
更新迭代后的多重隐编码和自适应通道权重表达式如下：
式中，z(n)为多重隐编码，α(n)为自适应通道权重，N为隐编码的总数量，L为总损失函数，XInv为最终超分辨率的高清人脸图像，XLR为低分辨率图像。
7.根据权利要求1所述的一种低清图像重建超分辨率人脸图像的方法，其特征在于，多个损失函数包括：第一损失函数、第二损失函数、第三损失函数、第四损失函数；
其中，第一损失函数为第一子网络第一中间特征和第二中间特征的差计算函数；
第二损失函数为均方误差损失；
第三损失为感知损失；
第四损失函数为生成的重建图像的身份向量与低分辨率图像的身份向量的余弦相似度计算函数；
其中，第一损失函数的表达式为：
式中，i为特征图的x坐标，j为特征图的y坐标，
表示特征图的x坐标上每个隐编码生成的第一中间加权后得到的第二中间特征，
表示特征图的y坐标上第一中间特征加权后得到的第二中间特征；
第二损失函数的表达式为：
Lpix＝|down(xinv)-xLR|
式中，Xinv表示每次迭代生成的超分辨率人脸图像，down()表示对人脸图像进行下采样操作；
第三损失函数的表达式为：
式中，
表示用于大规模图像识别的超深卷积网络VGG输出的网络中间层特征图，
第四损失函数的表达式：
式中，R表示使用附加的角余量损失训练的人脸识别网络，人脸识别网络计算身份向量与低分辨率图像的身份向量的余弦相似度，G(zi)表示zi输入到渐进式生成对抗网络得到的重建人脸图像。
8.根据权利要求7所述的一种低清图像重建超分辨率人脸图像的方法，其特征在于，还包括基于第一损失函数、第二损失函数、第三损失函数、第四损失函数调整迭代次数阈值，预设的迭代次数阈值计算公式为：
Ltot＝λ1Lpix+λ2Ldiv+λ3Lf+λ4Lid
式中，λ1、λ2、λ3、λ4分别为比例因子。
9.一种低清图像重建超分辨率人脸图像的系统，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～8任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210296363.9A CN114820303A (zh) | 2022-03-24 | 2022-03-24 | 低清图像重建超分辨率人脸图像的方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210296363.9A CN114820303A (zh) | 2022-03-24 | 2022-03-24 | 低清图像重建超分辨率人脸图像的方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114820303A true CN114820303A (zh) | 2022-07-29 |
Family
ID=82530285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210296363.9A Pending CN114820303A (zh) | 2022-03-24 | 2022-03-24 | 低清图像重建超分辨率人脸图像的方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820303A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117235655A (zh) * | 2023-11-15 | 2023-12-15 | 北明天时能源科技(北京)有限公司 | 基于联邦学习的智慧供热异常工况识别方法及系统 |
| CN117853340A (zh) * | 2024-03-07 | 2024-04-09 | 北京航空航天大学 | 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法 |
-
2022
- 2022-03-24 CN CN202210296363.9A patent/CN114820303A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117235655A (zh) * | 2023-11-15 | 2023-12-15 | 北明天时能源科技(北京)有限公司 | 基于联邦学习的智慧供热异常工况识别方法及系统 |
| CN117235655B (zh) * | 2023-11-15 | 2024-02-02 | 北明天时能源科技(北京)有限公司 | 基于联邦学习的智慧供热异常工况识别方法及系统 |
| CN117853340A (zh) * | 2024-03-07 | 2024-04-09 | 北京航空航天大学 | 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Multi-channel deep networks for block-based image compressive sensing | |
| CN109919830B (zh) | 一种基于美学评价的带参考人眼图像修复方法 | |
| CN111784602A (zh) | 一种生成对抗网络用于图像修复的方法 | |
| Wulff et al. | Improving inversion and generation diversity in stylegan using a gaussianized latent space | |
| CN114820303A (zh) | 低清图像重建超分辨率人脸图像的方法、系统及存储介质 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN111861945B (zh) | 一种文本引导的图像修复方法和系统 | |
| CN113807265B (zh) | 一种多样化的人脸图像合成方法及系统 | |
| CN111696046A (zh) | 一种基于生成式对抗网络的水印去除方法和装置 | |
| CN113256508A (zh) | 一种改进的小波变换与卷积神经网络图像去噪声的方法 | |
| Dogan et al. | Semi-supervised image attribute editing using generative adversarial networks | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| Zhao et al. | Rethinking deep face restoration | |
| Li et al. | Diffusion Models for Image Restoration and Enhancement--A Comprehensive Survey | |
| CN113763268B (zh) | 人脸图像盲修复方法及系统 | |
| Uddin et al. | A perceptually inspired new blind image denoising method using $ L_ {1} $ and perceptual loss | |
| Kratzwald et al. | Improving video generation for multi-functional applications | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| CN116310008B (zh) | 一种基于少样本学习的图像处理方法及相关设备 | |
| CN109887023B (zh) | 一种基于加权梯度幅度的双目融合立体图像质量评价方法 | |
| Cao et al. | Sparse representation of classified patches for CS-MRI reconstruction | |
| CN110569763A (zh) | 一种用于细粒度人脸识别的眼镜去除方法 | |
| Durall et al. | Local facial attribute transfer through inpainting | |
| CN114677312A (zh) | 基于深度学习的脸部视频合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |