CN111523497B - 一种人脸纠正方法、装置和电子设备 - Google Patents
一种人脸纠正方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111523497B CN111523497B CN202010343220.XA CN202010343220A CN111523497B CN 111523497 B CN111523497 B CN 111523497B CN 202010343220 A CN202010343220 A CN 202010343220A CN 111523497 B CN111523497 B CN 111523497B
- Authority
- CN
- China
- Prior art keywords
- face
- side face
- training image
- network
- front face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 137
- 238000002372 labelling Methods 0.000 claims abstract description 108
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 12
- 235000004257 Cordia myxa Nutrition 0.000 claims description 9
- 244000157795 Cordia myxa Species 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 241000283984 Rodentia Species 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- VLPFTAMPNXLGLX-UHFFFAOYSA-N trioctanoin Chemical compound CCCCCCCC(=O)OCC(OC(=O)CCCCCCC)COC(=O)CCCCCCC VLPFTAMPNXLGLX-UHFFFAOYSA-N 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 206010061619 Deformity Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种人脸纠正方法，包括：采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注，得到侧脸标注区域和正脸标注区域；将侧脸训练图像、侧脸标注区域输入生成网络得到侧脸特征，并将正脸训练图像、正脸标注区域输入生成网络得到标准正脸特征；将侧脸特征和标准正脸特征输入判别网络，分别判断侧脸特征和标准正脸特征是来自标准正脸还是侧脸；根据判断结果得到总损失，若总损失满足预设条件，则得到纠正模型，并根据纠正模型对待纠正图像进行人脸纠正。本申请将侧脸纠正成正脸，进而在进行人脸识别时，能够提高人脸识别率，降低人脸识别时间。本申请同时还提供了一种人脸纠正装置、电子设备，均具有上述有益效果。
Description
技术领域
本申请涉及人脸识别技术领域，特别涉及一种人脸纠正方法、人脸纠正装置、电子设备。
背景技术
目前，随着深度学习的快速发展与完善，人脸识别技术取得了巨大的进步，人脸识别系统也得到广泛的运用，例如考勤，出入口控制，安全监控等领域。然而，由于抓拍相机角度或受检人站立角度等，往往使识别系统对抓拍到大量的大角度侧脸进行识别，存在误识别情况，尤其是对于大于45°的侧脸角度问题，严重影响人脸识别系统的识别率，并浪费大量不必要的计算时间。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种人脸纠正方法、人脸纠正装置、电子设备，能够对人脸进行纠正，进而提高人脸识别率。其具体方案如下：
本申请提供一种人脸纠正方法，包括：
采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注，得到侧脸标注区域和正脸标注区域；
将所述侧脸训练图像、所述侧脸标注区域输入生成网络得到侧脸特征，并将所述正脸训练图像、所述正脸标注区域输入所述生成网络得到标准正脸特征；
将所述侧脸特征和所述标准正脸特征输入判别网络，分别判断所述侧脸特征和所述标准正脸特征是来自标准正脸还是侧脸；
根据判断结果得到总损失，若所述总损失满足预设条件，则得到纠正模型，并根据所述纠正模型对待纠正图像进行人脸纠正。
可选的，所述将所述侧脸训练图像、所述侧脸标注区域输入生成网络得到侧脸特征，并将所述正脸训练图像、所述正脸标注区域输入所述生成网络得到标准正脸特征，包括：
将所述侧脸训练图像和所述侧脸标注区域分别输入全局网络和局部网络，得到侧脸全局特征和侧脸局部特征；
将所述侧脸全局特征和所述侧脸局部特征进行特征融合，得到侧脸特征；
将所述正脸训练图像和所述正脸标注区域分别输入所述全局网络和所述局部网络，得到正脸全局特征和正脸局部特征；
将所述正脸全局特征和所述正脸局部特征进行特征融合，得到标准正脸特征。
可选的，所述将所述侧脸训练图像和所述侧脸标注区域分别输入全局网络和局部网络，得到侧脸全局特征和侧脸局部特征，包括：
将所述侧脸训练图像输入所述全局网络，得到所述侧脸全局特征；
将所述侧脸标注区域输入所述局部网络，得到所述侧脸局部特征；
其中，所述全局网络是具有残差计算单元和空洞卷积的U-NET网络；
所述局部网络是具有所述残差计算单元和所述空洞卷积的所述U-NET网络。
可选的，所述全局网络包括激活函数，所述激活函数为Selu函数。
可选的，所述判别网络包括七个卷积结构和一个全连接层。
可选的，所述根据判断结果得到总损失，包括：
根据所述判断结果，得到对抗损失；
基于所述对抗损失、身份损失、全变分去噪损失得到侧脸损失和标准正脸损失；
将所述侧脸损失和所述标准正脸损失相加得到所述总损失。
可选的，所述采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注，得到侧脸标注区域和正脸标注区域，包括：
获取初始侧脸训练图像和初始正脸训练图像；
分别对所述初始侧脸训练图像和所述初始正脸训练图像进行裁剪，得到所述侧脸训练图像和所述正脸训练图像；
采用RETINAFACE算法对所述侧脸训练图像和所述正脸训练图像的左眼中心、右眼中心、鼻尖、嘴左角、嘴右角进行关键点标注，得到所述侧脸标注区域和所述正脸标注区域。
可选的，还包括：
若所述总损失不满足所述预设条件，则执行所述采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注的步骤，直至所述总损失满足所述预设条件。
本申请提供一种人脸纠正装置，包括：
关键点标注模块，用于采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注，得到侧脸标注区域和正脸标注区域；
生成网络计算模块，用于将所述侧脸训练图像、所述侧脸标注区域输入生成网络得到侧脸特征，并将所述正脸训练图像、所述正脸标注区域输入所述生成网络得到标准正脸特征；
判断模块，用于将所述侧脸特征和所述标准正脸特征输入判别网络，分别判断所述侧脸特征和所述标准正脸特征是来自标准正脸还是侧脸；
人脸纠正模块，用于根据判断结果得到总损失，若所述总损失满足预设条件，则得到纠正模型，并根据所述纠正模型对待纠正图像进行人脸纠正。
本申请提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述人脸纠正方法的步骤。
本申请提供一种人脸纠正方法，包括：采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注，得到侧脸标注区域和正脸标注区域；将侧脸训练图像、侧脸标注区域输入生成网络得到侧脸特征，并将正脸训练图像、正脸标注区域输入生成网络得到标准正脸特征；将侧脸特征和标准正脸特征输入判别网络，分别判断侧脸特征和标准正脸特征是来自标准正脸还是侧脸；根据判断结果得到总损失，若总损失满足预设条件，则得到纠正模型，并根据纠正模型对待纠正图像进行人脸纠正。
可见，本申请通过关键点标注对侧脸训练图像和正脸训练图像的人脸进行标注，然后利用双通道网路的生成网络进行特征提取，得到标准正脸特征和侧脸特征，然后利用判别网络对生成的特征进行判别，得到总损失，以使得到纠正模型，利用纠正模型对人脸进行纠正，将侧脸纠正成正脸，进而在进行人脸识别时，能够提高人脸识别率，降低人脸识别时间。
本申请同时还提供了一种人脸纠正装置、电子设备，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种人脸纠正方法的流程图；
图2为本申请实施例提供的一种人脸纠正装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着深度学习的快速发展与完善，人脸识别技术取得了巨大的进步，人脸识别系统也得到广泛的运用，例如考勤，出入口控制，安全监控等领域。然而，由于抓拍相机角度或受检人站立角度等，往往使识别系统对抓拍到大量的大角度侧脸进行识别，存在误识别情况，尤其是对于大于45°的侧脸角度问题，严重影响人脸识别系统的识别率，并浪费大量不必要的计算时间。基于上述技术问题，本实施例提供一种人脸纠正方法，能够对人脸进行纠正，进而提高人脸识别率，具体请参考图1，图1为本申请实施例所提供的一种人脸纠正方法的流程图，具体包括：
S110、采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注，得到侧脸标注区域和正脸标注区域；
本实施例中的实验训练数据采用从预先布置好的不同位置的摄像头环境中录制大角度侧脸视频(45°-90°)，然后从视频中选取合适的图像作为训练样本，通过人脸关键点裁剪算法将训练数据集中的正侧脸进行人脸裁剪，将所有数据对齐成相同的大小,图像大小为128x128。最终得到侧脸训练图像和正脸训练图像，并将改图像作为侧脸-正脸图像对。
其中，本步骤的目的是为了得到具有关键点标注的侧脸标注区域和正脸标注区域，本实施例中关键点是为了确定人脸，关键点可以是左眼中心、右眼中心、鼻尖、嘴左角、嘴右角，当然还可以包括其他的点，只要是能够确定人脸即可。对应的，然后以这5个关键点为中心通过预设好的矩形框来提取左眼区域(框大小40×40)、右眼区域(框大小40×40)、鼻子区域框大小(32×40)、和嘴巴区域(32×48)，最终得到侧脸标注区域和正脸标注区域。
可以理解的是本实施例中侧脸训练图像是训练集中的图像，侧脸包括左右侧脸，针对侧脸本实施例进行进一步阐述，记左测脸为正，右侧脸为负；将(45°，90°)范围分为+45°(190)、-45°(080)、+60°(200)、-60°(090)、+75°(010)、-75°(120)、+90°(240)、-90°(110)，其中括号中的数字代表度数编号(相机编号)并根据不同角度将对应图片重新命名，每个图片命名包括度数编号，然后对上述图像进行关键点标注。可以理解的是，本实施例中采集到的训练集中的测量图像，可以包括不同环境下的图像，值得注意的是同一环境下即光流、亮度一致情况下采集的凸显个，均可参考同一标准正脸图像。
可选的，采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注，得到侧脸标注区域和正脸标注区域，包括：获取初始侧脸训练图像和初始正脸训练图像；分别对初始侧脸训练图像和初始正脸训练图像进行裁剪，得到侧脸训练图像和正脸训练图像；采用RETINAFACE算法对侧脸训练图像和正脸训练图像的左眼中心、右眼中心、鼻尖、嘴左角、嘴右角进行关键点标注，得到侧脸标注区域和正脸标注区域。
具体的，训练数据准备：首先从预先布置好的不同位置的摄像头环境中录制大角度侧脸视频(45°-90°)，然后从视频中选取合适的图像作为训练样本即获取初始侧脸训练图像和初始正脸训练图像。通过几何关系对训练样本人脸进行裁剪，裁剪后的图像大小为128x128，也就是得到侧脸训练图像和正脸训练图像；采用人脸关键点标注算法如RETINAFACE算法对侧脸训练图像和正脸训练图像进行关键点标注(左眼中心、右眼中心、鼻尖、嘴左角、嘴右角)，得到侧脸标注区域和正脸标注区域，并将其保存为.5pt文件或者.txt文件或者xml文件。
S120、将侧脸训练图像、侧脸标注区域输入生成网络得到侧脸特征，并将正脸训练图像、正脸标注区域输入生成网络得到标准正脸特征；
本步骤中为了得到标准正脸特征和侧脸特征。本实施例中针对生成网络不在进行限定，具体的，生成网络由两个网络通道组成，具体是全局网络进行全局特征提取，局部网络进行局部特征提取，然后对提取得到的全局特征和局部特征进行融合生成侧脸特征和标准正脸特征。可以理解的是，融合的目的是为了将侧脸中的侧脸标注区域纠正为正脸。
具体的，步骤S120，包括：将侧脸训练图像和侧脸标注区域分别输入全局网络和局部网络，得到侧脸全局特征和侧脸局部特征；将侧脸全局特征和侧脸局部特征进行特征融合，得到侧脸特征；将正脸训练图像和正脸标注区域分别输入全局网络和局部网络，得到正脸全局特征和正脸局部特征；将正脸全局特征和正脸局部特征进行特征融合，得到标准正脸特征。
进一步的，将侧脸训练图像和侧脸标注区域分别输入全局网络和局部网络，得到侧脸全局特征和侧脸局部特征，包括：将侧脸训练图像输入全局网络，得到侧脸全局特征；将侧脸标注区域输入局部网络，得到侧脸局部特征；其中，全局网络是具有残差计算单元和空洞卷积的U-NET网络；局部网络是具有残差计算单元和空洞卷积的U-NET网络。
可以理解的是，上述步骤同样适合将正脸训练图像和正脸标注区域分别输入全局网络和局部网络，得到正脸全局特征和正脸局部特征，具体包括：将正脸训练图像输入全局网络，得到正脸全局特征；将正脸标注区域输入局部网络，得到正脸局部特征；其中，全局网络是具有残差计算单元和空洞卷积的U-NET网络；局部网络是具有残差计算单元和空洞卷积的U-NET网络。
进一步的，全局网络包括激活函数，激活函数为Selu函数。
其中，生成网络为双通道网络，即全局网络和局部网络，通过对输入侧脸训练图像、侧脸标注区域、正脸训练图像、正脸标注区域分别进行卷积操作学到全局和局部特征，然后将全局和局部特征进行融合，得到生成侧脸特征和标准正脸特征。可以理解的是，以U-Net结构为基础，引入空洞卷积使得网络不仅能够增大卷积感受野，同时使得提取到的特征具有更精细化的语义信息，空洞卷积为3x3，rate＝2。U-Net网络采用漏斗结构，在精细化细节学习任务中能够更好地发挥作用，具体的，依次执行空洞卷积、残差卷积计算单元和激活函数。可以理解的是，在生成网络中引入空洞卷积(atrous conv2d)，将空洞卷积和残差计算单元相结合引入纠正模型中，针对大角度侧脸本身的特征，即将人脸关键点置于人脸目标边缘，由于光线问题会有白化现象(关键区域出现像素全是255)，这会严重影响侧脸特征学习，针对该问题采用具有负样本饱和的激活函数(如Selu函数)，去掉了批量归一化层(Batch Normalization)。
其中该Selu函数具体为
其中，x是卷积后的特征，y为非线性激活函数的输出结果；α和a是SELU原始证明值，这两个主要影响负轴的平滑程度，λ为超参数，一般讲将设置为1.67，设置为1.05。利用selu函数，当不存在死区，即负样本较多时，存在饱和区；输入大于零时，激活输出对输入进行了有效放大。采用该激活函数后，发现网络收敛非常可观。
S130、将侧脸特征和标准正脸特征输入判别网络，分别判断侧脸特征和标准正脸特征是来自标准正脸还是侧脸；
本实施例不对判别网络进行限定，判别网络可以包括七个卷积结构和一个全连接层。
S140、根据判断结果得到总损失，若总损失满足预设条件，则得到纠正模型，并根据纠正模型对待纠正图像进行人脸纠正。
本实施例不对预设条件进行限定，例如，预设条件可以是训练的次数达到预设次数，预设条件还可以是当前的总损失和上一次的总损失之间的差值小于或者等于预设阈值。当然，只要能够保证人脸纠正模型的总损失基本不变化即可。可以理解的是，通过步骤S110-S140通过训练得到纠正模型，但是当总损失不满足预设条件时，则再次执行步骤S110-S140，直至得到总损失满足预设条件的纠正模型。
进一步的，根据判断结果得到总损失，包括：根据判断结果，得到对抗损失；基于对抗损失、身份损失、全变分去噪损失得到侧脸损失和标准正脸损失；将侧脸损失和标准正脸损失相加得到总损失。
判别网络对侧脸特征和标准正脸特征进行判别，判别特征来自标准正脸还是生成正脸，定义该损失为对抗损失，通过将对抗损失引入总损失，来学习侧脸到正脸的分布。为了提升网络的综合性能，利用多任务损失函数，添加了全变分模型，引入带阶次的TotalVariation(TV)损失函数。此处连续域的全变分积分就变成了如下定义：
其中，R(I)为全变分去噪损失，I为像素值，i为行值，j为列值，i在0至最大宽值范围内，j在0至最大高值范围内，每一个像素和横向下一个像素的差的平方，加上纵向下一个像素的差的平方。然后开β/2次根.β可以控制图像的清晰读。β>1,图像更加平滑，β设置成3，测试效果较好。
在总损失中引入身份损失(Lid)，其中Dropout函数中的参数根据经验设置，最终的总损失函数定义：L＝Lpix+λratoLrato+λadvLadv+λidLid+λTVLTV；
其中Lpix为像素级语义损失，提取该特征时引入空洞卷积，感受野增大同时减少了池化层，减少了信息丢失；Lrato为侧脸到正脸的旋转损失；Ladv为对抗损失，通过该损失能够较好地学习侧脸与正脸的分布；Lid即身份损失，通过Dropout函数引入身份信息，能够较好地融入身份感知信息；LTV为全变分去噪损失，能够较清晰地学习底层特征，避免模糊效应的产生。
进一步的，还包括：若总损失不满足预设条件，则执行采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注的步骤，直至总损失满足预设条件。通过上述方式确定最终的满足条件的纠正模型。
利用本实施例提供的纠正模型对采集到的部分侧脸数据集中的大角度测试图片进行相似度验证，即比较了不同侧脸与标准正脸相似度、生成正脸与标准正脸相似度。具体的，先将500个侧脸输入模型得到生成正脸，然后分别计算侧脸与标准正脸、生成正脸与标准正脸的余弦相似度，并分别计算他们的平均余弦相似度。具体结果如表1所示，从表1中可以看出，采用本申请中提出的发明方法，在标准正脸和生成正脸的平均相似度相较于标准正脸与侧脸的平均相似度得到一定提升，平均相似度提升27.8％，说明该训练方法对于提升大角度侧脸识别率的有效性。
表1识别效果测试
因此，本申请提供的一种人脸纠正方法，即一种基于生成对抗网络的提升侧脸人脸识别率的方法，可以基于空洞卷积和残差计算单元相结合的生成对抗网络训练；针对侧脸局部关键区域的光线白化(通道像素值为255)问题，引入具有负样本饱和(恶略环境造成，比如关照强度、高对比度等)的新型激活函数(如SeLu)；将身份损失引入对抗损失，结合不同id之间的场景感知，适当提升模型泛化能力。
基于上述技术方案，本实施例通过关键点标注对侧脸训练图像和正脸训练图像的人脸进行标注，然后利用双通道网路的生成网络进行特征提取，得到标准正脸特征和侧脸特征，然后利用判别网络对生成的特征进行判别，得到总损失，以使得到纠正模型，利用纠正模型对人脸进行纠正，将侧脸纠正成正脸，进而在进行人脸识别时，能够提高人脸识别率，降低人脸识别时间。
基于上述实施例，本实施例提供一种具体的人脸纠正方法，包括：
从训练集读取侧脸训练图像，根据该侧脸训练图像命名中角度的正则搜索从关键点标注集(.5pt)和正脸训练图像中读取相应数据，并将侧脸及对应正脸分别表示为IP、IF，以及侧脸训练图像和正脸训练图像对应的关键点表示为SPD、SFD；
根据SPD、SFD分别从IP、IF中裁剪出局部区域(左眼、右眼、鼻子、嘴巴)侧脸标注区域ILP和正脸标注区域ILF，其中ILP和ILF都包括裁剪出来的左眼、右眼、鼻子和嘴巴区域；
生成网络包括双通道网络，包括局部区域特征提取网络和全局特征提取网络，然后将IP和ILP分别输入全局网络(G_generator)和局部网络(L_generator)，输出结果分别为侧脸全局特征OP和侧脸局部特征OLP，将OP和OLP特征融合得到侧脸的总特征侧脸特征YP；同理IF和ILF输入网络得到正脸全局特征OF和正脸局部特征OLF以及正脸的总特征标准正脸特征YF。
将YP和YF输入判别网络,判别特征是来自标准正脸还是侧脸，判别方法采用的二分类逻辑回归；若特征来自侧脸则为1，若特征来自正脸则为0；
然后将YP和YF输入DeepFace得到的深度特征进行交叉熵dv_loss，局部特征OLP、OLP(左眼、右眼、鼻子、嘴巴)和旋转惩罚因子进行交叉熵得到Lratate，判别网络得到对抗损失Ladv,并引入身份损失ID损失Lid和全变分去噪损失LTV，全变分模型能够去模糊和去噪的效果。将以上损失相加作为生成网络的总损失。
如果来自侧脸则得到d_loss_real；如果来自正脸则得到d_loss_fake，相加得到判别网络总损失d_loss。
若所述总损失满足预设条件，则得到纠正模型，并根据所述纠正模型对待纠正图像进行人脸纠正。其中，具体的人脸纠正模型的建立本实施例不再进行赘述。
若所述总损失不满足所述预设条件，则执行所述采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注的步骤，直至所述总损失满足所述预设条件。
下面对本申请实施例提供的一种人脸纠正装置进行介绍，下文描述的人脸纠正装置与上文描述的人脸纠正方法可相互对应参照，参考图2，图2为本申请实施例所提供的一种人脸纠正装置的结构示意图，包括：
关键点标注模块210，用于采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注，得到侧脸标注区域和正脸标注区域；
生成网络计算模块220，用于将侧脸训练图像、侧脸标注区域输入生成网络得到侧脸特征，并将正脸训练图像、正脸标注区域输入生成网络得到标准正脸特征；
判断模块230，用于将侧脸特征和标准正脸特征输入判别网络，分别判断侧脸特征和标准正脸特征是来自标准正脸还是侧脸；
人脸纠正模块240，用于根据判断结果得到总损失，若总损失满足预设条件，则得到纠正模型，并根据纠正模型对待纠正图像进行人脸纠正。
可选的，生成网络计算模块220，包括：
侧脸全局特征和侧脸局部特征获得单元，用于将侧脸训练图像和侧脸标注区域分别输入全局网络和局部网络，得到侧脸全局特征和侧脸局部特征；
侧脸特征获得单元，用于将侧脸全局特征和侧脸局部特征进行特征融合，得到侧脸特征；
正脸全局特征和正脸局部特征获得单元，用于将正脸训练图像和正脸标注区域分别输入全局网络和局部网络，得到正脸全局特征和正脸局部特征；
标准正脸特征获得单元，用于将正脸全局特征和正脸局部特征进行特征融合，得到标准正脸特征。
可选的，侧脸全局特征和侧脸局部特征获得单元，包括：
侧脸全局特征获得子单元，用于将侧脸训练图像输入全局网络，得到侧脸全局特征；
侧脸局部特征获得子单元，用于将侧脸标注区域输入局部网络，得到侧脸局部特征；
其中，全局网络是具有残差计算单元和空洞卷积的U-NET网络；
局部网络是具有残差计算单元和空洞卷积的U-NET网络。
可选的，全局网络包括激活函数，激活函数为Selu函数。
可选的，判别网络包括七个卷积结构和一个全连接层。
可选的，人脸纠正模块240，包括：
对抗损失获得单元，用于根据判断结果，得到对抗损失；
侧脸损失和标准正脸损失获得单元，用于基于对抗损失、身份损失、全变分去噪损失得到侧脸损失和标准正脸损失；
总损失获得单元，用于将侧脸损失和标准正脸损失相加得到总损失。
可选的，采关键点标注模块210，包括：
初始图像获得单元，用于获取初始侧脸训练图像和初始正脸训练图像；
图像获得单元，用于分别对初始侧脸训练图像和初始正脸训练图像进行裁剪，得到侧脸训练图像和正脸训练图像；
侧脸标注区域和正脸标注区域获得单元，用于采用RETINAFACE算法对侧脸训练图像和正脸训练图像的左眼中心、右眼中心、鼻尖、嘴左角、嘴右角进行关键点标注，得到侧脸标注区域和正脸标注区域。
可选的，还包括：
迭代模块，用于若总损失不满足预设条件，则执行采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注的步骤，直至总损失满足预设条件。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的人脸纠正方法可相互对应参照。
本实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述人脸纠正方法的步骤。
由于电子设备部分的实施例与人脸纠正方法部分的实施例相互对应，因此电子设备部分的实施例请参见人脸纠正方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的方法可相互对应参照。
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述人脸纠正方法的步骤。
由于计算机可读存储介质部分的实施例与方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种人脸纠正方法、人脸纠正装置、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (7)
1.一种人脸纠正方法，其特征在于，包括：
采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注，得到侧脸标注区域和正脸标注区域；
将所述侧脸训练图像、所述侧脸标注区域输入生成网络得到侧脸特征，并将所述正脸训练图像、所述正脸标注区域输入所述生成网络得到标准正脸特征；
将所述侧脸特征和所述标准正脸特征输入判别网络，分别判断所述侧脸特征和所述标准正脸特征是来自标准正脸还是侧脸；
根据判断结果得到总损失，若所述总损失满足预设条件，则得到纠正模型，并根据所述纠正模型对待纠正图像进行人脸纠正；其中，所述总损失为基于像素级语义损失、侧脸到正脸的旋转损失、对抗损失、身份损失以及全变分去噪损失确定的总损失；
其中，所述将所述侧脸训练图像、所述侧脸标注区域输入生成网络得到侧脸特征，并将所述正脸训练图像、所述正脸标注区域输入所述生成网络得到标准正脸特征，包括：
将所述侧脸训练图像和所述侧脸标注区域分别输入全局网络和局部网络，得到侧脸全局特征和侧脸局部特征；
将所述侧脸全局特征和所述侧脸局部特征进行特征融合，得到侧脸特征；
将所述正脸训练图像和所述正脸标注区域分别输入所述全局网络和所述局部网络，得到正脸全局特征和正脸局部特征；
将所述正脸全局特征和所述正脸局部特征进行特征融合，得到标准正脸特征；
所述将所述侧脸训练图像和所述侧脸标注区域分别输入全局网络和局部网络，得到侧脸全局特征和侧脸局部特征，包括：
将所述侧脸训练图像输入所述全局网络，得到所述侧脸全局特征；
将所述侧脸标注区域输入所述局部网络，得到所述侧脸局部特征；
其中，所述全局网络是具有残差计算单元和空洞卷积的U-NET网络；
所述局部网络是具有所述残差计算单元和所述空洞卷积的所述U-NET网络。
2.根据权利要求1所述的人脸纠正方法，其特征在于，所述全局网络包括激活函数，所述激活函数为Selu函数。
3.根据权利要求1所述的人脸纠正方法，其特征在于，所述判别网络包括七个卷积结构和一个全连接层。
4.根据权利要求1所述的人脸纠正方法，其特征在于，所述采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注，得到侧脸标注区域和正脸标注区域，包括：
获取初始侧脸训练图像和初始正脸训练图像；
分别对所述初始侧脸训练图像和所述初始正脸训练图像进行裁剪，得到所述侧脸训练图像和所述正脸训练图像；
采用RETINAFACE算法对所述侧脸训练图像和所述正脸训练图像的左眼中心、右眼中心、鼻尖、嘴左角、嘴右角进行关键点标注，得到所述侧脸标注区域和所述正脸标注区域。
5.根据权利要求1至4任一项所述的人脸纠正方法，其特征在于，还包括：
若所述总损失不满足所述预设条件，则执行所述采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注的步骤，直至所述总损失满足所述预设条件。
6.一种人脸纠正装置，其特征在于，包括：
关键点标注模块，用于采用人脸关键点标注算法分别对侧脸训练图像和正脸训练图像进行关键点标注，得到侧脸标注区域和正脸标注区域；
生成网络计算模块，用于将所述侧脸训练图像、所述侧脸标注区域输入生成网络得到侧脸特征，并将所述正脸训练图像、所述正脸标注区域输入所述生成网络得到标准正脸特征；
判断模块，用于将所述侧脸特征和所述标准正脸特征输入判别网络，分别判断所述侧脸特征和所述标准正脸特征是来自标准正脸还是侧脸；
人脸纠正模块，用于根据判断结果得到总损失，若所述总损失满足预设条件，则得到纠正模型，并根据所述纠正模型对待纠正图像进行人脸纠正；其中，所述总损失为基于像素级语义损失、侧脸到正脸的旋转损失、对抗损失、身份损失以及全变分去噪损失确定的总损失；
其中，所述生成网络计算模块，包括：
侧脸全局特征和侧脸局部特征获得单元，用于将侧脸训练图像和侧脸标注区域分别输入全局网络和局部网络，得到侧脸全局特征和侧脸局部特征；
侧脸特征获得单元，用于将侧脸全局特征和侧脸局部特征进行特征融合，得到侧脸特征；
正脸全局特征和正脸局部特征获得单元，用于将正脸训练图像和正脸标注区域分别输入全局网络和局部网络，得到正脸全局特征和正脸局部特征；
标准正脸特征获得单元，用于将正脸全局特征和正脸局部特征进行特征融合，得到标准正脸特征；
所述侧脸全局特征和侧脸局部特征获得单元，包括：
侧脸全局特征获得子单元，用于将侧脸训练图像输入全局网络，得到侧脸全局特征；
侧脸局部特征获得子单元，用于将侧脸标注区域输入局部网络，得到侧脸局部特征；
其中，全局网络是具有残差计算单元和空洞卷积的U-NET网络；
局部网络是具有残差计算单元和空洞卷积的U-NET网络。
7.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述人脸纠正方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010343220.XA CN111523497B (zh) | 2020-04-27 | 2020-04-27 | 一种人脸纠正方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010343220.XA CN111523497B (zh) | 2020-04-27 | 2020-04-27 | 一种人脸纠正方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111523497A CN111523497A (zh) | 2020-08-11 |
| CN111523497B true CN111523497B (zh) | 2024-02-27 |
Family
ID=71902911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010343220.XA Active CN111523497B (zh) | 2020-04-27 | 2020-04-27 | 一种人脸纠正方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111523497B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699799A (zh) * | 2020-12-30 | 2021-04-23 | 杭州趣链科技有限公司 | 基于区块链的人脸识别方法、装置、设备和存储介质 |
| CN113609900B (zh) * | 2021-06-25 | 2023-09-12 | 南京信息工程大学 | 局部生成人脸定位方法、装置、计算机设备和存储介质 |
| CN113674139A (zh) * | 2021-08-17 | 2021-11-19 | 北京京东尚科信息技术有限公司 | 人脸图像的处理方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106557730A (zh) * | 2015-09-30 | 2017-04-05 | 北京奇虎科技有限公司 | 视频通话过程中的人脸纠正方法及装置 |
| CN108334816A (zh) * | 2018-01-15 | 2018-07-27 | 桂林电子科技大学 | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 |
| CN108764048A (zh) * | 2018-04-28 | 2018-11-06 | 中国科学院自动化研究所 | 人脸关键点检测方法及装置 |
| CN109961507A (zh) * | 2019-03-22 | 2019-07-02 | 腾讯科技（深圳）有限公司 | 一种人脸图像生成方法、装置、设备及存储介质 |
| CN110633748A (zh) * | 2019-09-16 | 2019-12-31 | 电子科技大学 | 一种鲁棒的自动人脸融合方法 |
| CN110738161A (zh) * | 2019-10-12 | 2020-01-31 | 电子科技大学 | 一种基于改进生成式对抗网络的人脸图像矫正方法 |
| CN111046707A (zh) * | 2018-10-15 | 2020-04-21 | 天津大学青岛海洋技术研究院 | 一种基于面部特征的任意姿态正脸还原网络 |
-
2020
- 2020-04-27 CN CN202010343220.XA patent/CN111523497B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106557730A (zh) * | 2015-09-30 | 2017-04-05 | 北京奇虎科技有限公司 | 视频通话过程中的人脸纠正方法及装置 |
| CN108334816A (zh) * | 2018-01-15 | 2018-07-27 | 桂林电子科技大学 | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 |
| CN108764048A (zh) * | 2018-04-28 | 2018-11-06 | 中国科学院自动化研究所 | 人脸关键点检测方法及装置 |
| CN111046707A (zh) * | 2018-10-15 | 2020-04-21 | 天津大学青岛海洋技术研究院 | 一种基于面部特征的任意姿态正脸还原网络 |
| CN109961507A (zh) * | 2019-03-22 | 2019-07-02 | 腾讯科技（深圳）有限公司 | 一种人脸图像生成方法、装置、设备及存储介质 |
| CN110633748A (zh) * | 2019-09-16 | 2019-12-31 | 电子科技大学 | 一种鲁棒的自动人脸融合方法 |
| CN110738161A (zh) * | 2019-10-12 | 2020-01-31 | 电子科技大学 | 一种基于改进生成式对抗网络的人脸图像矫正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111523497A (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111523497B (zh) | 一种人脸纠正方法、装置和电子设备 | |
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| WO2022156640A1 (zh) | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| CN101729911B (zh) | 一种基于视觉感知的多视点图像颜色校正方法 | |
| CN110059634B (zh) | 一种大场景人脸抓拍方法 | |
| CN111368666B (zh) | 一种基于新型池化及注意力机制双流网络的活体检测方法 | |
| CN111209845A (zh) | 人脸识别方法、装置、计算机设备及存储介质 | |
| CN111126190B (zh) | 一种基于自由能理论和动态纹理分析的伪装人脸识别方法 | |
| CN108282644A (zh) | 一种单摄像头成像方法及装置 | |
| US20220083808A1 (en) | Method and apparatus for processing images, device and storage medium | |
| CN111209820A (zh) | 人脸活体检测方法、系统、设备及可读存储介质 | |
| CN114881867A (zh) | 一种基于深度学习的图像去噪方法 | |
| CN115115540A (zh) | 基于光照信息引导的无监督低光图像增强方法及装置 | |
| CN109784215B (zh) | 一种基于改进的光流法的活体检测方法及系统 | |
| CN104966271B (zh) | 基于生物视觉感受野机制的图像去噪方法 | |
| CN116612355A (zh) | 人脸伪造识别模型训练方法和装置、人脸识别方法和装置 | |
| CN109064458A (zh) | 一种不良坐姿智能提醒方法和装置 | |
| CN113674230B (zh) | 一种室内逆光人脸关键点的检测方法及装置 | |
| CN113506260B (zh) | 一种人脸图像质量评估方法、装置、电子设备及存储介质 | |
| CN111967436B (zh) | 图像处理方法及装置 | |
| CN110781712B (zh) | 一种基于人脸检测与识别的人头空间定位方法 | |
| CN113554685A (zh) | 遥感卫星运动目标检测方法、装置、电子设备及存储介质 | |
| CN113963391A (zh) | 基于双目摄像头的静默活体检测方法及系统 | |
| CN113014914B (zh) | 一种基于神经网络的单人换脸短视频的识别方法和系统 | |
| CN117541764B (zh) | 一种图像拼接方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |