CN110910310B - 一种基于身份信息的人脸图像重建方法 - Google Patents

一种基于身份信息的人脸图像重建方法 Download PDF

Info

Publication number
CN110910310B
CN110910310B CN201911024313.XA CN201911024313A CN110910310B CN 110910310 B CN110910310 B CN 110910310B CN 201911024313 A CN201911024313 A CN 201911024313A CN 110910310 B CN110910310 B CN 110910310B
Authority
CN
China
Prior art keywords
face
loss
images
image
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911024313.XA
Other languages
English (en)
Other versions
CN110910310A (zh
Inventor
申富饶
王绪冬
李俊
赵健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Heguang Intelligent Manufacturing Research Institute Co ltd
Nanjing University
Original Assignee
Nanjing Heguang Intelligent Manufacturing Research Institute Co ltd
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Heguang Intelligent Manufacturing Research Institute Co ltd, Nanjing University filed Critical Nanjing Heguang Intelligent Manufacturing Research Institute Co ltd
Priority to CN201911024313.XA priority Critical patent/CN110910310B/zh
Publication of CN110910310A publication Critical patent/CN110910310A/zh
Application granted granted Critical
Publication of CN110910310B publication Critical patent/CN110910310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于身份信息的人脸图像重建方法，包括：步骤1，创建深度网络模型；步骤2，读取经过预训练的人脸识别模型；步骤3，将训练数据进行降采样以及剪裁处理；步骤4，将训练数据输入到深度网络模型，得到重建后的图像；步骤5，将重建后的图像输入到人脸识别模型中得到特征向量；步骤6，将剪裁后的原图像输入到人脸识别模型中，得到特征向量；步骤7，计算Quadruplet‑loss；步骤8，计算MSE‑Loss；步骤9，通过反向传播来更新深度网络模型的参数；步骤10，通过重建前后的图像，以及对应的标签信息，更新人脸识别模型的权重参数；步骤11，重复步骤3～步骤10，直到步骤9中的损失函数值收敛。

Description

一种基于身份信息的人脸图像重建方法
技术领域
本发明涉及一种基于身份信息的人脸图像重建方法。
背景技术
近年来，深度学习的兴起使得计算机视觉领域的许多问题有了很好的解决方案，使得越来越多的计算机视觉研究成果能够在实际生活中发挥作用，人脸识别就是其中最为火热的方向之一。在近5年来的深度学习浪潮中，人脸识别算法的精度得到了前所未有的提高，从实验效果上来看已经超过了人类在人脸识别任务上的能力。但是，实验中考虑的环境往往较为简单，而实际应用中则有诸多意外的干扰。针对人脸识别任务而言，最为常见的就是因为种种外界因素干扰而导致图像质量较低，会严重影响人脸识别算法的准确度。
因此，低质量的人脸识别成为一个新的研究方向。造成图像质量较低的因素有很多，其中很常见的一种就是图像的分辨率较低，通过查阅相关资料也发现，造成图像质量较低的不同因素有着类似的处理手段。在使用深度学习的背景下，实现低质量人脸识别主要有两种方法。一是试图通过深度学习模型，将不同分辨率的人脸映射到一个统一的特征空间，使得分辨率的变化对准确率的影响较小；二是使用超分辨率重建，通过超分辨率重建模型，一定程度上提高人脸的质量，进而提高识别准确率。由于深度学习模型的可解释性不强，第一种方法似乎难以找到满意的结果。
近几年来，基于深度学习的超分辨率重建已经有许多研究成果，其中不乏专门针对人脸图像进行重建。但据调查，绝大多数这方面工作都是追求重建后的视觉效果，但很少有以提高低质量人脸识别的准确率为目标而进行重建的研究。
发明内容
发明目的：克服现有的人脸超分辨率重建模型不能有效的保持身份信息的缺点，使得针对人脸图像的超分辨率重建更具有实际应用价值。同时，能够辅助人脸识别系统，使得当前的人脸识别算法在更多的场景下能有所应用。
为了解决上述技术问题，本发明公开了一种基于身份信息的人脸图像重建方法，该方法可以用于人脸图像修复、人脸识别等应用中，包括以下步骤：
步骤1，创建深度网络模型；
步骤2，读取经过预训练的人脸识别模型；
步骤3，输入训练数据，训练数据是包含人脸的图像，将训练数据进行降采样以及剪裁处理；
步骤4，将经过步骤3处理后的训练数据输入到深度网络模型，得到重建后的图像；
步骤5，将重建后的图像输入到人脸识别模型中得到特征向量；
步骤6，将剪裁后的原图像输入到人脸识别模型中，得到特征向量；
步骤7，计算一种基于四张人脸图像的损失函数值(Quadruplet-loss)；
步骤8，对于重建的图像，以及原图像，计算均方误差，即MSE-Loss；
步骤9，通过反向传播来更新深度网络模型的参数；
步骤10，通过重建前后的图像，以及对应的标签信息，更新人脸识别模型的权重参数；
步骤11，重复步骤3～步骤10，直到步骤9中的损失函数值收敛。得到用于超分辨率重建的深度网络模型，在使用过程中，不再需要前面的人脸识别模型。直接将低分辨率人脸输入到该深度网络中，即可得到重建结果。
步骤1中，构建超分辨率重建的深度网络模型CNNS，模型的结构可以有多种变化，本发明中选用的网络结构SRGAN模型的结构类似，随机初始化模型的参数。
参考文献：
Ledig C，Theis L，Huszar F，et al.Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[C]//2017 IEEE Conference onComputer Vision and Pattern Recognition(CVPR).1EEE，2017.
步骤2中，读取经过预训练的人脸识别模型CNNR。目前准确率较高的人脸识别模型通常是通过深度学习网络，对输入人脸计算出特征向量。近年来效果较好的深度人脸识别网络均可作为本发明中的CNNR，本发明中采用SphereFace人脸识别模型。
参考文献：
Liu W，Wen Y，Yu Z，et al.SphereFace：Deep Hypersphere Embedding for FaceRecognition[J].2017.
步骤3中对训练数据进行预处理，减裁掉与人脸无关的背景部分，同时满足模型训练过程中对图像分辨率的要求。
步骤3包括：将训练数据按照后面步骤的实验需求做一些处理。训练数据通常是学术界公开的大规模人脸识别数据集(在本发明中，使用CASIA-WebFACE数据集)，数据集中包含人脸的图像，对于同一个人，取他的两张不同人脸图像作为一对数据，对每一对图像进行如下操作：使用插值法进行降采样，降采样结束后，同时对降采样前后的图像进行人脸剪裁：首先检测出图像中人脸的位置，然后获得包含人脸的最小矩形区域，对得到的最小矩形区域进行调整，使其符合CNNR与CNNS所要求的输入尺寸，经过以上操作后，训练数据中的一组数据包括四张图像
Figure GDA0002965880660000031
和
Figure GDA0002965880660000032
分别表示两张原图像经过人脸剪裁得到的图像，
Figure GDA0002965880660000033
和
Figure GDA0002965880660000034
分别表示两张原图像经过降采样和人脸剪裁得到的图像。
步骤3中通过降采样来改变图像的分辨率。这里的图像为“成对”出现。每一对包含同一个人的两张图像，对这两张图像同时进行下面的重建操作。使用插值法进行降采样，在实验中，降采样的倍数为4。即对于给定的图像，如果其分辨率为M*N，则经过降采样后，分辨率变为(M/4)*(N/4)。降采样结束后，要同时对降采样前后的图像进行人脸剪裁。人脸剪裁首先检测出图像中人脸的位置，然后获得包含人脸的最小矩形区域，通常还要对得到的人脸区域再次调整大小，使其符合CNNR与CNNS所要求的输入尺寸。这样，原本的数据是两个为一组：
Figure GDA0002965880660000035
经过以上操作后，一组数据包括四张图像
Figure GDA0002965880660000036
步骤4包括：将
Figure GDA0002965880660000037
和
Figure GDA0002965880660000038
输入到深度网络模型CNNS中，通过前向传播计算，得到两张超分辨率重建的图像
Figure GDA0002965880660000039
和
Figure GDA00029658806600000310
步骤5包括：将
Figure GDA00029658806600000311
和
Figure GDA00029658806600000312
输入到人脸识别模型CNNR中，通过人脸识别模型CNNR的前向传播计算，分别得到特征向量
Figure GDA00029658806600000313
和
Figure GDA00029658806600000314
本发明所述的方法中，对训练数据有配对，因此对于每一组数据，分别有
Figure GDA00029658806600000315
与
Figure GDA0002965880660000041
步骤6中，将经过剪裁(但未经过降采样，也未经过超分辨率重建)的原图
Figure GDA0002965880660000042
和
Figure GDA0002965880660000043
输入到人脸识别模型CNNR中，通过网络模型的前向传播计算，得到特征向量
Figure GDA0002965880660000044
和
Figure GDA0002965880660000045
步骤7包括：根据如下公式计算损失函数值Quadruplet-Loss：
Quadruplet-Loss(下面简记为LossQ)，即人脸四元损失函数。通常的超分辨率重建方法中，通常只会通过原图与对应的低分辨率重建后的图像来以某种方式计算两者差异，作为损失函数。因为每次使用两张图像，属于“二元Loss”。而在人脸超分辨率重建中，本发明的目的在于超分辨率重建的同时，保持身份信息。且同一个人在数据集中通常由多张人脸图像，虽然图像内容不同，但内含同一种身份信息。对于同一个人，取两张图像
Figure GDA0002965880660000046
对应两张低分辨率图像进行重建，得到
Figure GDA0002965880660000047
和
Figure GDA0002965880660000048
不仅仅分别通过
Figure GDA0002965880660000049
和
Figure GDA00029658806600000410
计算差异，也同时使用这四张图像共同计算一个损失函数LossQ，以保证重建的结果在一个人的不同图像中保持着同样的身份信息。
Figure GDA00029658806600000411
其中
Figure GDA00029658806600000412
α和β为特征向量。
步骤8中，通过步骤4所得结果，此时每组训练数据包括6张图像：
Figure GDA00029658806600000413
(同一个人原始的两张图像)，
Figure GDA00029658806600000414
和
Figure GDA00029658806600000415
(经过降采样后的低分辨率图像)，
Figure GDA00029658806600000416
和
Figure GDA00029658806600000417
(经过重建后的图像)。在这一步，对于每组数据利用
Figure GDA00029658806600000418
和
Figure GDA00029658806600000419
四张图像计算MSE-Loss，根据MSE-Loss的定义，分别对
Figure GDA00029658806600000420
与
Figure GDA00029658806600000421
计算MSE，并做加和。其中MSE-Loss的计算方式如下：
Figure GDA00029658806600000422
其中，a，b分别表示图像的长和宽。
步骤9中，通过步骤7和步骤8中的两部分loss加和，作为总体的Loss值，通过此Loss，在超分辨率重建网络CNNS中进行反向传播计算，来更新网络的参数，使得Loss值下降。为了使最终能够得到满意的结果，在进行梯度下降计算时要注意设置合适的学习率。步骤9中，通过如下公式更新深度网络模型的参数：
Figure GDA0002965880660000051
其中，
Figure GDA0002965880660000052
为模型训练过程中总的损失，其中LossQ为步骤7中计算的人脸四元损失函数，
Figure GDA0002965880660000053
为使用
Figure GDA0002965880660000054
与
Figure GDA0002965880660000055
计算的均方误差，
Figure GDA0002965880660000056
为使用
Figure GDA0002965880660000057
与
Figure GDA0002965880660000058
计算的均方误差。
步骤10中，通过
Figure GDA0002965880660000059
以及对应的标签信息，作为人脸识别网络CNNR的训练数据。这样通过新的训练数据，计算CNNR对应的人脸识别损失函数，通过反向传播，更新CNNR的参数。使得对于原图和重建之后的图而言，CNNR提取的特征向量处于统一特征空间中。
参考文献：
Liu W，Wen Y，Yu Z，et al.SphereFace：Deep Hypersphere Embedding for FaceRecognition[J].2017.
Deng J，Guo J，Zafeiriou S.ArcFace：Additive Angular Margin Loss forDeep Face Recognition[J].2018.
步骤11中，重复步骤3～步骤10，直到步骤9中的
Figure GDA00029658806600000510
收敛。
有益效果：本发明的显著优点是对于低分辨率人脸图像进行重建之后，重建得到的结果能够更有利于人脸识别。虽然低分辨率的人脸相对于高分辨率原图而言，损失了部分信息，但对于仍包含着一定的身份信息，一般的超分辨率重建模型在重建过程中没有注意身份信息的保持，重建结果相比于原图而言丢失了身份信息，使得人脸识别准确率严重下降。而通过本发明的重建模型得到的重建结果能够有效的保持身份信息，相比于其他方法的重建图像，本方法得到的重建人脸，在识别中仍有较高的准确率。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为本发明方法的流程图。
图2为本发明在使用中的流程图。
图3a为原图像。
图3b是降采样后的图像。
图3c是插值法后的图像。
图3d是srgan结果。
图3e是本发明方法得到的结果图像。
具体实施方式
图1是本发明识别障碍物的流程图，包括11个步骤。
在步骤一中，构建超分辨率重建的网络模型，模型的结构可以有多种，通常与SRGAN模型的结构类似，随机初始化模型的参数。
在步骤二中，读取经过预训练的人脸识别模型CNNR，人脸识别模型事先在公开人脸数据集上进行过训练，理论上人脸识别模型可以任意选择，本发明中采用sphereFace模型。
在步骤三中，通过降采样来改变图像的分辨率。这里的图像为“成对”出现。每一对包含同一个人的两张图像，对这两张图像同时进行下面的重建操作。使用插值法进行降采样，在实验中，降采样的倍数为4。即对于给定的图像，如果其分辨率为M*N，则经过降采样后，分辨率变为(M/4)*(N/4)。降采样结束后，要同时对降采样前后的图像进行人脸剪裁。人脸剪裁首先检测出图像中人脸的位置，然后获得包含人脸的最小矩形区域，通常还要对得到的人脸区域再次调整大小，使其符合CNNR与CNNS所要求的输入尺寸。这样，原本的数据是两个为一组
Figure GDA0002965880660000061
经过以上操作后，一组数据包括四张图像
Figure GDA0002965880660000062
在步骤四中，将每组数据中经过降采样和剪裁的两张图像
Figure GDA0002965880660000063
和
Figure GDA0002965880660000064
输入到超分辨率重建网络CNNS中，通过前向传播计算，得到两张超分辨率重建的图像
Figure GDA0002965880660000071
和
Figure GDA0002965880660000072
在步骤五中，将超分辨率重建结果
Figure GDA0002965880660000073
和
Figure GDA0002965880660000074
输入到人脸识别模型CNNR中，通过人脸识别网络的前向传播计算，得到特征向量
Figure GDA0002965880660000075
和
Figure GDA0002965880660000076
在步骤六中，将经过剪裁(但未经过降采样，也未经过超分辨率重建)的原图
Figure GDA0002965880660000077
和
Figure GDA00029658806600000724
输入到人脸识别模型CNNR中，通过网络模型的前向传播计算，得到特征向量
Figure GDA0002965880660000079
和
Figure GDA00029658806600000710
在步骤七中，根据如下公式计算损失函数值Quadruplet-Loss：
Figure GDA00029658806600000711
其中，
Figure GDA00029658806600000712
在步骤八中，通过步骤4所得结果，此时每组训练数据包括6张图像：
Figure GDA00029658806600000713
(同一个人原始的两张图像)，
Figure GDA00029658806600000714
和
Figure GDA00029658806600000715
(经过降采样后的低分辨率图像)，
Figure GDA00029658806600000716
和
Figure GDA00029658806600000717
(经过重建后的图像)。在这一步，对于每组数据利用
Figure GDA00029658806600000718
和
Figure GDA00029658806600000719
四张图像计算MSE-Loss，根据MSE-Loss的定义，分别对
Figure GDA00029658806600000720
与
Figure GDA00029658806600000721
计算MSE，并做加和。其中MSE-Loss的计算方式如下：
Figure GDA00029658806600000722
其中a，b表示图像的长和宽。
在步骤九中，通过步骤7和步骤8中的两部分loss加和，作为总体的Loss值，通过此Loss，在超分辨率重建网络CNNS中进行反向传播计算，来更新网络的参数，使得Loss值下降。为了使最终能够得到满意的结果，在进行梯度下降计算时要注意设置合适的学习率。
Figure GDA00029658806600000723
在步骤十中，通过
Figure GDA0002965880660000081
以及对应的标签信息，作为人脸识别网络CNNR的训练数据，更新CNNR的参数，使得对于原图和重建之后的图而言，CNNR提取的特征向量处于统一特征空间中。
在步骤十一中，重复步骤3～10，直到步骤9中的
Figure GDA0002965880660000082
收敛。
实施例
为了验证算法的有效性，将上述过程得到的模型在人脸公开数据集LFW上进行测试，得到的数据通过LFW-BLUFR测试方法(参考文献Liao S，Lei Z，YiD，et al.A BenchmarkStudy of Large-scale Unconstrained Face Recognition[J].2014.)进行测评。
在上述流程中，使用的数据来自CASIA-Web人脸数据集，因此在测试中使用LFW数据集具有客观性(训练集与测试集不同)。
以下为在LFW数据集上，对本发明得到的模型进行测评的过程：
1、将LFW数据进行人脸剪裁(去除背景部分，使剩下的图像只保留人脸部分)；
2、将上述得到的所有剪裁后的数据进行4倍降采样；
3、将4倍降采样后的数据输入到本发明得到的超分辨率重建模型中，得到重建后的数据集；
4、将经过超分辨率重建的LFW数据集，通过sphereFace人脸识别模型，对数据集中的每张图像得到一个特征向量，将特征向量按LFW-BLUFR测试协议要求的格式存储好；
5、将得到的特征向量通过LFW-BLUFR协议进行测评。
在表1的第一行中，展示了通过本发明得到的超分辨率结果进行人脸识别的准确率。本实施例中又分别使用了传统方法和深度方法，同样经过上述的测评流程，在之后的几行中展示了得到的结果。
表1
Figure GDA0002965880660000083
Figure GDA0002965880660000091
如图3a、图3b、图3c、图3d、图3e所述，是输入的图像处理后的结果。图3a为原图像。图3b是降采样后的图像。图3c是插值法后的图像。图3d是srgan结果。图3e是本发明方法得到的结果图像。
本发明提供了一种基于身份信息的人脸图像重建方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (3)

1.一种基于身份信息的人脸图像重建方法，其特征在于，包括如下步骤：
步骤1，创建深度网络模型：构建用于超分辨率重建的深度网络模型CNNS；
步骤2，读取经过预训练的人脸识别模型CNNR；
步骤3，输入训练数据，训练数据是包含人脸的图像，将训练数据进行降采样以及剪裁处理，具体包括：训练数据是人脸识别数据集，数据集中包含人脸的图像，对于同一个人，取他的两张不同人脸图像作为一对数据，对每一对数据进行如下操作：使用插值法进行降采样，降采样结束后，对降采样前、后的图像均进行如下人脸剪裁：首先检测出图像中人脸的位置，然后获得包含人脸的最小矩形区域，对得到的最小矩形区域进行调整，使调整后的最小矩形区域符合CNNR与CNNS所要求的输入尺寸，经过以上操作后，训练数据中的一组数据包括四张图像
Figure FDA0002965880650000011
Figure FDA0002965880650000012
和
Figure FDA0002965880650000013
分别表示属于同一个人两张不同的人脸图像经过人脸剪裁得到的图像，
Figure FDA0002965880650000014
和
Figure FDA0002965880650000015
分别表示属于同一个人两张不同人脸图像经过降采样和人脸剪裁得到的图像；
步骤4，将
Figure FDA0002965880650000016
和
Figure FDA0002965880650000017
输入到深度网络模型CNNS中，通过前向传播计算，分别得到两张超分辨率重建的图像
Figure FDA0002965880650000018
和
Figure FDA0002965880650000019
步骤5，将
Figure FDA00029658806500000110
和
Figure FDA00029658806500000111
输入到人脸识别模型CNNR中，通过人脸识别模型CNNR的前向传播计算，分别得到特征向量
Figure FDA00029658806500000112
和
Figure FDA00029658806500000113
步骤6，将
Figure FDA00029658806500000114
和
Figure FDA00029658806500000115
输入到人脸识别模型CNNR中，通过前向传播计算，分别得到特征向量
Figure FDA00029658806500000116
和
Figure FDA00029658806500000117
步骤7，根据如下公式计算损失函数值Quadruplet-Loss：
将损失函数值Quadruplet-Loss记为LossQ，即人脸四元损失函数，通过步骤5与步骤6得到的结果计算损失函数LossQ：
Figure FDA00029658806500000118
其中
Figure FDA0002965880650000021
α和β为特征向量；
步骤8，对于两组图像
Figure FDA0002965880650000022
以及
Figure FDA0002965880650000023
分别计算均方误差MSE-Loss；
步骤9，通过反向传播来更新深度网络模型的参数；
步骤10，通过重建前后的图像，以及对应的标签信息，更新人脸识别模型的权重参数；
步骤11，重复步骤3～步骤10，直到步骤9中的损失函数值收敛。
2.根据权利要求1所述的方法，其特征在于，步骤8包括：根据如下公式计算MSE-Loss：
Figure FDA0002965880650000024
其中，a，b分别表示图像的长和宽，LossMSE(I1，I2)表示两张图像I1与I2的均方误差；
(I1)i，j表示图像I1第i行j列的像素值，(I2)i，j表示图像I2第i行j列的像素值；
步骤8中包含对两组图像计算MSE-Loss，因此需要分别计算
Figure FDA0002965880650000025
以及
Figure FDA0002965880650000026
3.根据权利要求2所述的方法，其特征在于，步骤9中，通过如下公式更新深度网络模型的参数：
Figure FDA0002965880650000027
其中，
Figure FDA0002965880650000028
为模型训练过程中总的损失，
Figure FDA0002965880650000029
为使用
Figure FDA00029658806500000210
与
Figure FDA00029658806500000215
计算的均方误差，
Figure FDA00029658806500000212
为使用
Figure FDA00029658806500000213
与
Figure FDA00029658806500000214
计算的均方误差。
CN201911024313.XA 2019-10-25 2019-10-25 一种基于身份信息的人脸图像重建方法 Active CN110910310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911024313.XA CN110910310B (zh) 2019-10-25 2019-10-25 一种基于身份信息的人脸图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911024313.XA CN110910310B (zh) 2019-10-25 2019-10-25 一种基于身份信息的人脸图像重建方法

Publications (2)

Publication Number Publication Date
CN110910310A CN110910310A (zh) 2020-03-24
CN110910310B true CN110910310B (zh) 2021-04-30

Family

ID=69815668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911024313.XA Active CN110910310B (zh) 2019-10-25 2019-10-25 一种基于身份信息的人脸图像重建方法

Country Status (1)

Country Link
CN (1) CN110910310B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766164A (zh) * 2021-01-20 2021-05-07 深圳力维智联技术有限公司 人脸识别模型训练方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002030717A1 (en) * 2000-10-10 2002-04-18 Hrl Laboratories, Llc Object detection system and method
CN101216889A (zh) * 2008-01-14 2008-07-09 浙江大学 一种融合全局特征与局部细节信息的人脸图像超分辨率方法
EP2157523A3 (en) * 2008-08-14 2011-01-19 Bond University Ltd. Cancer diagnostic method and system
CN108596267A (zh) * 2018-05-03 2018-09-28 Oppo广东移动通信有限公司 一种图像重建方法、终端设备及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5337970B2 (ja) * 2008-04-08 2013-11-06 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
KR101385599B1 (ko) * 2012-09-26 2014-04-16 한국과학기술연구원 몽타주 추론 방법 및 장치
CN107220600B (zh) * 2017-05-17 2019-09-10 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN109615582B (zh) * 2018-11-30 2023-09-01 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109543827B (zh) * 2018-12-02 2020-12-29 清华大学 生成式对抗网络装置及训练方法
CN110084281B (zh) * 2019-03-31 2023-09-12 华为技术有限公司 图像生成方法、神经网络的压缩方法及相关装置、设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002030717A1 (en) * 2000-10-10 2002-04-18 Hrl Laboratories, Llc Object detection system and method
CN101216889A (zh) * 2008-01-14 2008-07-09 浙江大学 一种融合全局特征与局部细节信息的人脸图像超分辨率方法
EP2157523A3 (en) * 2008-08-14 2011-01-19 Bond University Ltd. Cancer diagnostic method and system
CN108596267A (zh) * 2018-05-03 2018-09-28 Oppo广东移动通信有限公司 一种图像重建方法、终端设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Image Super-resolution Reconstruction Based on an Improved Generative Adversarial Network;Han Liu et al;《2019 1st International Conference on Industrial Artificial Intelligence (IAI)》;20190727;第1-6页 *
遥感图像超分辨率重构算法研究;付杰;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20190115;第C028-258页 *

Also Published As

Publication number Publication date
CN110910310A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
Ullah et al. Light-DehazeNet: a novel lightweight CNN architecture for single image dehazing
Öztireli et al. Feature preserving point set surfaces based on non‐linear kernel regression
CN108133456A (zh) 人脸超分辨率重建方法、重建设备以及计算机系统
Tuzel et al. Global-local face upsampling network
CN111968123B (zh) 一种半监督视频目标分割方法
Nirkin et al. FSGANv2: Improved subject agnostic face swapping and reenactment
CN111160229B (zh) 基于ssd网络的视频目标检测方法及装置
CN108124489B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN111524226B (zh) 讽刺肖像画的关键点检测与三维重建方法
Chhatkuli et al. Inextensible non-rigid structure-from-motion by second-order cone programming
Zhang et al. Color-guided depth image recovery with adaptive data fidelity and transferred graph Laplacian regularization
CN113658040A (zh) 一种基于先验信息和注意力融合机制的人脸超分辨方法
CN112184547B (zh) 红外图像的超分辨率方法及计算机可读存储介质
Muqeet et al. Hybrid residual attention network for single image super resolution
Zhao et al. Crnet: Unsupervised color retention network for blind motion deblurring
CN110910310B (zh) 一种基于身份信息的人脸图像重建方法
Dinev et al. User‐guided lip correction for facial performance capture
Wei et al. Facial image inpainting with deep generative model and patch search using region weight
CN113421186A (zh) 使用生成对抗网络的非监督视频超分辨率的设备和方法
CN112598604A (zh) 一种盲脸复原方法及系统
CN114862679A (zh) 基于残差生成对抗网络的单图超分辨率重建方法
Yang Super resolution using dual path connections
CN114494576A (zh) 一种基于隐函数的快速高精度多视点人脸三维重建方法
Durall et al. Local facial attribute transfer through inpainting
CN113112596A (zh) 人脸几何模型提取、3d人脸重建方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant