CN113963183A - 模型训练、人脸识别方法、电子设备及存储介质 - Google Patents

模型训练、人脸识别方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113963183A
CN113963183A CN202111575793.6A CN202111575793A CN113963183A CN 113963183 A CN113963183 A CN 113963183A CN 202111575793 A CN202111575793 A CN 202111575793A CN 113963183 A CN113963183 A CN 113963183A
Authority
CN
China
Prior art keywords
face
vector
model
mask
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111575793.6A
Other languages
English (en)
Other versions
CN113963183B (zh
Inventor
何武
寇鸿斌
朱海涛
付贤强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202111575793.6A priority Critical patent/CN113963183B/zh
Publication of CN113963183A publication Critical patent/CN113963183A/zh
Application granted granted Critical
Publication of CN113963183B publication Critical patent/CN113963183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/10Pre-processing; Data cleansing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明实施例涉及人脸识别领域,公开了一种模型训练、人脸识别方法、电子设备及存储介质,通过获取人脸戴口罩和未戴口罩的标准深度图像,并以同一人脸的未戴口罩的标准深度图像作为图像样本、戴口罩的标准深度图像作为所述图像样本对应的标签;对所述图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量;以所述样本向量作为输入,一维的特征向量作为输出,构建加密模型;以所述加密模型输出的所述特征向量作为输入,所述样本向量对应的增加佩戴口罩后的一维的拓展向量作为输出,构建解密模型;对所述加密模型和所述解密模型进行联合训练。本方案能够在人脸隐私注册的情况下,保证对未戴口罩人脸进行有效识别,保证识别率。

Description

模型训练、人脸识别方法、电子设备及存储介质
技术领域
本发明涉及人脸识别领域,特别涉及一种模型训练、人脸识别方法、电子设备及存储介质。
背景技术
人脸识别技术(Face Recognition)是基于生物特征信息进行身份识别的一种生物识别技术,主要是利用录像机或者摄像机来采集具有人脸的视频或者图像,然后利用算法对图像进行信息分析来感知人、识别人。通常被称为人脸识别或面部识别。目前人脸识别该技术主要应用到刑事侦查、监控系统、打卡考勤、安全支付等领域。
现有众多的人脸识别算法主要是基于注册库中没有戴口罩的人脸的注册特征对待识别的人脸经特征提取模型得到的识别特征进行比对实现人脸识别。但是在一些偏个人商用的应用场景中,用户出于安全考虑不希望将自己的人脸图像提供给第三方注册保存,即希望对部分人脸区域实现隐私保护如佩戴口罩的情况下,对自己的人脸特征在特征库中完成注册。
但是对于带上口罩后注册的人脸特征,由于其面部特征已经遮挡了一大半,这样在提取出未戴口罩的待识别人脸特征,与注册库中人脸特征进行比对时,不但造成了识别出的人脸特征中,对应口罩遮挡位置处的人脸特征的浪费,而且由于被参与比对的人脸特征中因口罩遮挡位置处的大量特征点丢失,造成识别率严重下降。
发明内容
本发明实施方式的目的在于提供一种模型训练、人脸识别方法、电子设备及存储介质,能够在基于戴口罩人脸完成人脸特征注册,保护人脸隐私的情况下,仍能保证对未戴口罩人脸进行有效识别,保证识别率。
为解决上述技术问题,本发明的实施方式提供了一种模型训练方法,包括:
获取人脸戴口罩和未戴口罩的标准深度图像,并以同一人脸的未戴口罩的标准深度图像作为图像样本、戴口罩的标准深度图像作为所述图像样本对应的标签;
对所述图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量;
以所述样本向量作为输入,一维的特征向量作为输出,构建加密模型;
以所述加密模型输出的所述特征向量作为输入,所述样本向量对应的增加佩戴口罩后的一维的拓展向量作为输出,构建解密模型;所述样本向量与所述拓展向量的长度相同;
对所述加密模型和所述解密模型进行联合训练,所述联合训练时的损失函数基于所述解密模型输出的所述拓展向量与所述标签向量之间的损失构建。
本发明的实施方式还提供了一种人脸识别方法,包括:
获取待检测人脸未戴口罩的第一标准深度图像;
对所述第一标准深度图像进行格式转换,得到一维的检测向量;
采用如上所述的模型训练方法联合训练得到的加密模型和解密模型,对所述检测向量依次进行处理,得到所述检测向量对应的第一拓展向量;
将所述第一拓展向量与注册库中人脸戴口罩的第二标准深度图像所对应的经格式转换后的一维向量进行比对,确定所述待检测人脸的身份信息。
本发明的实施方式还提供了一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的模型训练方法,以及如上所述的人脸识别方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的模型训练方法,以及如上所述的人脸识别方法。
本发明实施方式相对于现有技术而言,通过获取人脸戴口罩和未戴口罩的标准深度图像,并以同一人脸的未戴口罩的标准深度图像作为图像样本、戴口罩的标准深度图像作为图像样本对应的标签;对图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量;以样本向量作为输入,一维的特征向量作为输出,构建加密模型;以加密模型输出的特征向量作为输入,样本向量对应的增加佩戴口罩后的一维的拓展向量作为输出,构建解密模型;样本向量与拓展向量的长度相同;对加密模型和解密模型进行联合训练,联合训练时的损失函数基于解密模型输出的拓展向量与标签向量之间的损失构建。本方案基于人脸的相对的深度信息,构建出人脸未戴口罩和戴口罩的标准深度图像依次作为图像样本和标签,并通过图像样本对模型进行训练,以学习人脸在标准状态下,从未戴口罩到增加佩戴口罩过程的人脸深度信息变化,从而可在以人脸戴口罩的人脸特征作为注册特征,保护人脸隐私的情况下,通过模型直接对未戴口罩的人脸图像进行人脸识别,保证对未戴口罩人脸识别的准确率。
附图说明
图1是根据本发明实施方式的模型训练方法的具体流程图一;
图2是根据本发明实施方式的加密模型和解密模型的结构示意图;
图3是根据本发明实施方式的模型训练方法的具体流程图二;
图4是根据本发明实施方式的人脸识别方法的具体流程图;
图5是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
本发明的一实施方式涉及一种模型训练方法,如图1所示,本实施例提供的模型训练方法,包括如下步骤。
步骤101:获取人脸戴口罩和未戴口罩的标准深度图像,并以同一人脸的未戴口罩的标准深度图像作为图像样本、戴口罩的标准深度图像作为图像样本对应的标签。
具体地,可以使用深度相机采集人脸深度图像。在实际场景中,不同人拍摄深度图时的环境条件、状态不完全相同,同一人在不同时间拍摄深度图时的状态也不同。为了得到较好的图像样本及其标签的对应关系,以及使不同图像样本之间具有可比性,本实施例对原始采集的人脸深度图像进行标准化,得到统一标准状态下的深度图像,记为“标准深度图像”。
所谓标准深度图像的定义为:图像的尺寸固定、图像中人脸的面部姿态端正,表情自然,人脸区域覆盖整个图像区域。
需要说明的是,本实施例中涉及的标准深度图像中的深度信息均为相对深度信息,其作用是使得不同人脸和/或不同状态下拍摄的各深度图像能够对齐有可比性。例如,可以人脸区域中未被口罩遮挡的任一关键点(如额头中间位置)作为参考位置,将该位置的相对深度值设置为0,其他位置的相对深度值可以是该其他位置相对于参考位置原始深度差值。例如:参考位置的原始深度差值为5、内眼角的原始深度值为4,则内眼角的相对深度值为-1。
在得到不同人脸戴口罩和未戴口罩的标准深度图像,可以同一人脸的未戴口罩的标准深度图像作为图像样本、戴口罩的标准深度图像作为该图像样本对应的标签。例如,将同一人脸在一次采集的一组戴口罩和未戴口罩的两张深度图像中,未戴口罩的深度图像所对应的标准深度图像作为图像样本、戴口罩的深度图像所对应的标准深度图像作为该图像样本对应的标签。在对获取的标准深度图像进行标注时,需将同一人的戴口罩与未戴口罩的标准深度图像标注记作同一例样本,以方便训练模型时可以使用同一例样本中的未戴口罩的标准深度图像作为训练样本(图像样本),另一个戴口罩的标准深度图像作为相应的标签进行训练。
为使后续模型训练拥有更高的泛化性能,需要采集200个人以上的深度图像来构建图像样本及其标签。被采集人员需要轻微转动头部,以采集不同姿态下的人脸深度图像。
步骤102:对图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量。
具体地,由于图像样本和标签均是二维深度信息,为方便模型训练可将二维的图像样本和标签进行格式转换,分别得到一维的样本向量和标签向量。其中,本实施例对格式转换的具体方法不做限定。
在一个例子中,可通过如下过程实现格式转换,即:分别将图像样本及其标签中的深度值,按在图像中的行顺序或列顺序展开,得到一维向量;其中,图像样本展开后的一维向量为样本向量、标签展开后的一维向量为标签向量。
具体地,对于图像样本,可以图像样本中各像素点的深度值按其在图像中的行顺序或列顺序展开,得到一维的向量作为样本向量,样本向量的长度为样本图像所包含的像素点数。同理,对于标签(标签图像),可以标签中各像素点的深度值按其在图像中的行顺序或列顺序展开,得到一维的向量作为标签向量,标签向量的长度为标签图像所包含的像素点数。
其中,按行展开的一维向量形如(第一行像素点深度值,第二行像素点深度值,……,最后一行像素点深度值),按列展开的一维向量形如(第一列像素点深度值,第二列像素点深度值,……,最后一列像素点深度值)。
步骤103:以样本向量作为输入,一维的特征向量作为输出,构建加密模型。
具体地,可以采用常规的深度学习网络作为加密模型的网络结构。该加密模型的输入为上述样本向量、加密模型的输出为对样本向量压缩后得到的特征向量。在加密过程中,向量的长度被压缩,即特征向量的长度小于样本向量的长度。例如将特征向量的长度设定为固定值128位。
在一个例子中,如图2所示,该加密模型可包括:前后依次串接的卷积层、池化层、第一全连接层和第二全连接层;其中卷积层的输入为加密模型的输入,第二全连接层的输出为加密模型的输出。
具体地,样本向量依次经卷积层和池化层后被提取出图像样本中的深度信息特征,同时实现向量长度压缩;然后进入两个全连接层后输出固定长度的一维向量作为特征向量。
步骤104:以加密模型输出的特征向量作为输入,样本向量对应的增加佩戴口罩后的一维的拓展向量作为输出,构建解密模型;样本向量与拓展向量的长度相同。
具体地,可以采用常规的深度学习网络作为解密模型的网络结构。该解密模型的输入为加密模型输出的特征向量、解密模型的输出定义为样本向量对应的增加佩戴口罩后的一维向量,即:拓展向量。由此可见解密模型的作用是将特征向量尽可能拓展为图像样本对应的标签,即人脸戴口罩的标准深度图像经格式转换后的标签向量。在解密过程中,向量的长度被扩充,即拓展向量的长度大于特征向量的长度,且拓展向量与样本向量的长度相同,也即拓展向量与标签向量的长度相同,从而更方便后续对这两个向量计算损失。
在一个例子中,如图2所示,该解密模型可包括:前后依次串接的第三全连接层和第四全连接层;其中第三全连接层的输入为解密模型的输入,第四全连接层的输出为解密模型的输出。
具体地,加密模型输出的特征向量依次经第三全连接层和第四全连接层后,向量长度被扩充到与样本向量和标签向量相同的长度。
步骤105:对加密模型和解密模型进行联合训练,联合训练时的损失函数基于解密模型输出的拓展向量与标签向量之间的损失构建。
具体地,利用图像样本对加密模型和解密模型进行联合训练,直到满足收敛条件。收敛条件可包括损失值小于某个预先设定的较小的值,或者迭代超过最大预设次数等。
其中,联合训练时的损失函数可基于解密模型输出的拓展向量与标签向量之间的损失构建。
在一个例子中,基于解密模型输出的拓展向量与标签向量之间的损失构建损失函数可包括:
根据如下公式(1)构建损失函数:
Figure 882123DEST_PATH_IMAGE001
………………………(1)
其中,loss为损失值,n为向量长度,
Figure 19843DEST_PATH_IMAGE002
为标签向量g中排序为i的元素值,
Figure DEST_PATH_IMAGE003
为拓展向量p中排序为i的元素值。
这里,向量中排序为i的元素值即对应标准深度图像中第i个像素点的深度值。
此外,在构建上述损失函数之前,需对拓展向量和标签向量进行归一化。例如将两个向量归一化到0~1之间,以达到相似比对的效果。
与相关技术相比,本实施例通过获取人脸戴口罩和未戴口罩的标准深度图像,并以同一人脸的未戴口罩的标准深度图像作为图像样本、戴口罩的标准深度图像作为图像样本对应的标签;对图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量;以样本向量作为输入,一维的特征向量作为输出,构建加密模型;以加密模型输出的特征向量作为输入,样本向量对应的增加佩戴口罩后的一维的拓展向量作为输出,构建解密模型;样本向量与拓展向量的长度相同;对加密模型和解密模型进行联合训练,联合训练时的损失函数基于解密模型输出的拓展向量与标签向量之间的损失构建。本方案基于人脸的相对的深度信息,构建出人脸未戴口罩和戴口罩的标准深度图像依次作为图像样本和标签,并通过图像样本对模型进行训练,以学习人脸在标准状态下,从未戴口罩到增加佩戴口罩过程的人脸深度信息变化,从而可在以人脸戴口罩的人脸特征作为注册特征,保护人脸隐私的情况下,通过模型直接对未戴口罩的人脸图像进行人脸识别,保证对未戴口罩人脸识别的准确率。
本发明的另一实施方式涉及一种模型训练方法,该模型训练方法是对图1所示的模型训练方法的改进,改进之处在于:对获取人脸戴口罩和未戴口罩的标准深度图像的过程进行细化。如图3所示,上述步骤101可包括如下子步骤。
子步骤1011:获取多个人脸的戴口罩和未戴口罩的原始深度图像。
具体地,可以使用深度相机采集人脸深度图像,在一次采集的人脸深度图像中将同一个人戴口罩与未戴口罩的两种状态下的两张人脸深度图像作为一组深度图像。针对每组深度图像,要求被拍摄者的人脸面部表情、姿态特征应尽可能一致,唯一的区别仅限于戴口罩与未戴口罩的区别。这样在同等的拍摄条件下,拍摄出的两张深度图像的区别,理论上仅限于口罩遮挡区域的深度信息不同,而其他区域的深度信息相同。
子步骤1012:从原始深度图像中框选出人脸区域,并将人脸区域中人脸角度调整为正脸姿态。
具体地,对原始深度图像进行人脸识别,得到人脸区域(未戴口罩状态下的人脸所在位置,戴口罩状态下的人脸+口罩所在位置),并将其用矩形框选出来。之后,将人脸区域中人脸角度调整为正脸姿态。
本实施例中对人脸区域中人脸角度的评估,以及将人脸角度调整为正脸姿态的方法不做限定。
在一个例子中,可通过如下步骤实现将人脸区域中人脸角度调整为正脸姿态。
步骤一:将预先设置的正脸深度模板旋转得到不同角度,并计算不同角度下正脸深度模板与人脸区域之间深度图的欧氏距离,取欧氏距离最小的角度作为人脸区域的欧拉角度。
具体地,可以预先采集大量的正姿态人脸深度图,对这些正姿态人脸深度图使用最小二乘法拟合形成一个正脸深度模板,取出对应人脸关键点。然后将正脸深度模板不断旋转获得不同角度,并计算不同角度下正脸深度模板与上述得到的人脸区域的深度图之间的欧氏距离,欧氏距离值最小时所对应的正脸深度模板的旋转角度即为人脸区域中人脸角度,即人脸区域的欧拉角度。其中,为了减少计算量,在计算两个深度图之间的欧氏距离时,可以选择两个深度图中对应的人脸关键点计算最小欧氏距离。对于戴口罩的人脸深度图,可以在评估出口罩遮挡的部分人脸关键点的位置之后,计算对应的人脸关键点之间的欧氏距离。
步骤二:将人脸区域中人脸角度反向旋转欧拉角度,得到正脸姿态下的人脸区域。
具体地,在得到人脸区域中人脸角度(欧拉角度)后,可以将该人脸反向旋转该欧拉角度,从而得到正脸姿态下的人脸区域。
其中,人脸旋转对应的旋转矩阵公式为:
建立坐标系将深度图横坐标设为x轴,纵坐标设为y轴,深度值作为z轴,人脸姿态表示的欧拉角为[θx,θy,θz]。将深度图像右乘相应旋转矩阵(R x (θ)、R y (θ)、R z (θ)),即可将人脸角度转换为正脸,即:
绕x轴旋转:
Figure 999825DEST_PATH_IMAGE004
………………………(2)
绕y轴旋转:
Figure 957416DEST_PATH_IMAGE005
………………………(3)
绕z轴旋转:
Figure 960007DEST_PATH_IMAGE006
………………………(4)
其中,公式(2)、(3)、(4)中的θ依次对应为θx、θy和θz。
子步骤1013:将正脸姿态下的人脸区域调整为统一预设尺寸,形成标准深度图像,并以同一人脸的未戴口罩的标准深度图像作为图像样本、戴口罩的标准深度图像作为图像样本对应的标签。
具体地,在得到正脸姿态下的人脸区域后,可将该正脸姿态下的人脸区域对应的图像尺寸进行缩放调整,以使其具有统一预设的相同尺寸,从而形成与原始深度图像相对应的标准深度图像。即人脸戴口罩和未戴口罩的标准深度图像。在得到标准深度图像后,以同一人脸的未戴口罩的标准深度图像作为图像样本、戴口罩的标准深度图像作为图像样本对应的标签。
与相关技术比较,本实施例通过获取多个人脸的戴口罩和未戴口罩的原始深度图像;从原始深度图像中框选出人脸区域,并将人脸区域中人脸角度调整为正脸姿态;将正脸姿态下的人脸区域调整为统一预设尺寸,形成标准深度图像,从而快速得到各原始深度图像对应的标准深度图像。
本发明的一实施方式涉及一种人脸识别方法,该方法基于上述实施方式中的模型训练方法实现。如图4所示,本实施例提供的人脸识别方法,包括如下步骤。
步骤201:获取待检测人脸未戴口罩的第一标准深度图像。
具体地,针对待检测人脸,获取该人脸未戴口罩状态下的原始深度图像,然后通过采用与步骤101中获取标准深度图像相同的处理过程,得到该待检测人脸未戴口罩状态下的标准深度图像。本实施例中将待检测人脸未戴口罩状态下的标准深度图像记为“第一标准深度图像”。
步骤202:对第一标准深度图像进行格式转换,得到一维的检测向量。
具体地,针对第一标准深度图像,通过采用与步骤102中相同的处理过程,对第一标准深度图像进行格式转换,得到一维向量,并将该一维向量记为“检测向量”。
步骤203:采用模型训练方法联合训练得到的加密模型和解密模型,对检测向量依次进行处理,得到检测向量对应的第一拓展向量。
具体地,针对第一标准深度图像,通过上述实施方式中的训练方法训练得到的加密模型和解密模型,依次对检测向量进行处理,得到解密模型输出的拓展向量,并将该拓展向量记为“第一拓展向量”。
步骤204:将第一拓展向量与注册库中人脸戴口罩的第二标准深度图像所对应的经格式转换后的一维向量进行比对,确定待检测人脸的身份信息。
其中,注册库中预先存储有多个一维向量,每个一维向量则是由人脸戴口罩时的标准深度图像,即第二标准深度图像经上述格式转换后得到。
具体地,当待检测人脸与注册库中某一维向量对应的人脸为同一人时,那么待检测人脸对应的上述第一拓展向量应与该注册库中的该一维向量相似。因此通过将第一拓展向量与注册库中的每个一维向量进行相似比对,对超过相似度阈值的一维向量,则判定其中相似度值最大的一维向量对应的人脸为当前待检测的人脸,从而确定待检测人脸的身份信息。
本发明实施方式相对于现有技术而言,通过获取待检测人脸未戴口罩的第一标准深度图像;对第一标准深度图像进行格式转换,得到一维的检测向量;采用上述模型训练方法联合训练得到的加密模型和解密模型,对检测向量依次进行处理,得到检测向量对应的第一拓展向量;将第一拓展向量与注册库中人脸戴口罩的第二标准深度图像所对应的经格式转换后的一维向量进行比对,确定待检测人脸的身份信息,从而可在保护注册人脸隐私的情况下,保证对未戴口罩人脸识别的准确率。
本发明的另一实施方式涉及一种电子设备,如图5所示,包括至少一个处理器302;以及,与至少一个处理器302通信连接的存储器301;其中,存储器301存储有可被至少一个处理器302执行的指令,指令被至少一个处理器302执行,以使至少一个处理器302能够执行上述任一方法实施例。
其中,存储器301和处理器302采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器302和存储器301的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器302处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器302。
处理器302负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器301可以被用于存储处理器302在执行操作时所使用的数据。
本发明的另一实施方式涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (10)

1.一种模型训练方法,其特征在于,包括:
获取人脸戴口罩和未戴口罩的标准深度图像,并以同一人脸的未戴口罩的标准深度图像作为图像样本、戴口罩的标准深度图像作为所述图像样本对应的标签;
对所述图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量;
以所述样本向量作为输入,一维的特征向量作为输出,构建加密模型;
以所述加密模型输出的所述特征向量作为输入,所述样本向量对应的增加佩戴口罩后的一维的拓展向量作为输出,构建解密模型;所述样本向量与所述拓展向量的长度相同;
对所述加密模型和所述解密模型进行联合训练,所述联合训练时的损失函数基于所述解密模型输出的所述拓展向量与所述标签向量之间的损失构建。
2.根据权利要求1所述的方法,其特征在于,所述获取人脸戴口罩和未戴口罩的标准深度图像,包括:
获取多个人脸的戴口罩和未戴口罩的原始深度图像;
从所述原始深度图像中框选出人脸区域,并将所述人脸区域中人脸角度调整为正脸姿态;
将所述正脸姿态下的所述人脸区域调整为统一预设尺寸,形成所述标准深度图像。
3.根据权利要求2所述的方法,其特征在于,所述将所述人脸区域中人脸方向调整为正脸姿态,包括:
将预先设置的正脸深度模板旋转得到不同角度,并计算不同角度下所述正脸深度模板与所述人脸区域之间深度图的欧氏距离,取所述欧氏距离最小的所述角度作为所述人脸区域的欧拉角度;
将所述人脸区域中人脸角度反向旋转所述欧拉角度,得到正脸姿态下的所述人脸区域。
4.根据权利要求1所述的方法,其特征在于,所述对所述图像样本及其标签进行相同的格式转换,分别得到一维的样本向量和标签向量,包括:
分别将所述图像样本及其标签中的深度值,按在图像中的行顺序或列顺序展开,得到一维向量;其中,所述图像样本展开后的一维向量为所述样本向量、所述标签展开后的一维向量为所述标签向量。
5.根据权利要求1所述的方法,其特征在于,所述加密模型包括:前后依次串接的卷积层、池化层、第一全连接层和第二全连接层;所述卷积层的输入为所述加密模型的输入,所述第二全连接层的输出为所述加密模型的输出;
所述解密模型包括:前后依次串接的第三全连接层和第四全连接层;所述第三全连接层的输入为所述解密模型的输入,所述第四全连接层的输出为所述解密模型的输出。
6.根据权利要求1所述的方法,其特征在于,基于所述解密模型输出的所述拓展向量与所述标签向量之间的损失构建所述损失函数,包括:
根据如下公式构建所述损失函数:
Figure 43876DEST_PATH_IMAGE001
其中,loss为损失值,n为向量长度,
Figure 335180DEST_PATH_IMAGE002
为所述标签向量g中排序为i的元素值,
Figure 57673DEST_PATH_IMAGE003
为所述拓展向量p中排序为i的元素值。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在构建所述损失函数之前,对所述拓展向量和所述标签向量进行归一化。
8.一种戴口罩人脸识别方法,其特征在于,包括:
获取待检测人脸未戴口罩的第一标准深度图像;
对所述第一标准深度图像进行格式转换,得到一维的检测向量;
采用如权利要求1-7中任一项所述的模型训练方法联合训练得到的加密模型和解密模型,对所述检测向量依次进行处理,得到所述检测向量对应的第一拓展向量;
将所述第一拓展向量与注册库中人脸戴口罩的第二标准深度图像所对应的经格式转换后的一维向量进行比对,确定所述待检测人脸的身份信息。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的模型训练方法,以及如权利要求8所述的人脸识别方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的模型训练方法,以及如权利要求8所述的人脸识别方法。
CN202111575793.6A 2021-12-22 2021-12-22 模型训练、人脸识别方法、电子设备及存储介质 Active CN113963183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111575793.6A CN113963183B (zh) 2021-12-22 2021-12-22 模型训练、人脸识别方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111575793.6A CN113963183B (zh) 2021-12-22 2021-12-22 模型训练、人脸识别方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113963183A true CN113963183A (zh) 2022-01-21
CN113963183B CN113963183B (zh) 2022-05-31

Family

ID=79473657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111575793.6A Active CN113963183B (zh) 2021-12-22 2021-12-22 模型训练、人脸识别方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113963183B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116631019A (zh) * 2022-03-24 2023-08-22 清华大学 基于面部图像的口罩适合性检测方法及装置
WO2023158408A1 (en) * 2022-02-16 2023-08-24 Bahcesehir Universitesi Face recognition method

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951840A (zh) * 2017-03-09 2017-07-14 北京工业大学 一种人脸特征点检测方法
WO2020015477A1 (zh) * 2018-07-16 2020-01-23 阿里巴巴集团控股有限公司 一种人脸识别方法及终端设备
CN111582199A (zh) * 2020-05-12 2020-08-25 佛山市玖章智能科技有限公司 一种人脸识别模型训练方法和人脸识别方法
WO2020199693A1 (zh) * 2019-03-29 2020-10-08 中国科学院深圳先进技术研究院 一种大姿态下的人脸识别方法、装置及设备
CN111914630A (zh) * 2020-06-19 2020-11-10 北京百度网讯科技有限公司 为人脸识别生成训练数据的方法、装置、设备和存储介质
CN111914629A (zh) * 2020-06-19 2020-11-10 北京百度网讯科技有限公司 为人脸识别生成训练数据的方法、装置、设备和存储介质
CN112200154A (zh) * 2020-11-17 2021-01-08 苏州方正璞华信息技术有限公司 一种戴口罩人脸识别方法、装置、电子设备及存储介质
CN112597867A (zh) * 2020-12-17 2021-04-02 佛山科学技术学院 戴口罩人脸识别方法、系统、计算机设备及存储介质
WO2021174880A1 (zh) * 2020-09-01 2021-09-10 平安科技(深圳)有限公司 征提取模型训练方法、人脸识别方法、装置、设备及介质
CN113420731A (zh) * 2021-08-23 2021-09-21 北京的卢深视科技有限公司 模型训练方法、电子设备及计算机可读存储介质
CN113505768A (zh) * 2021-09-10 2021-10-15 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
WO2021218238A1 (zh) * 2020-04-29 2021-11-04 华为技术有限公司 图像处理方法和图像处理装置
CN113673470A (zh) * 2021-08-30 2021-11-19 广州虎牙科技有限公司 人脸检测模型训练方法、电子设备及计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951840A (zh) * 2017-03-09 2017-07-14 北京工业大学 一种人脸特征点检测方法
WO2020015477A1 (zh) * 2018-07-16 2020-01-23 阿里巴巴集团控股有限公司 一种人脸识别方法及终端设备
WO2020199693A1 (zh) * 2019-03-29 2020-10-08 中国科学院深圳先进技术研究院 一种大姿态下的人脸识别方法、装置及设备
WO2021218238A1 (zh) * 2020-04-29 2021-11-04 华为技术有限公司 图像处理方法和图像处理装置
CN111582199A (zh) * 2020-05-12 2020-08-25 佛山市玖章智能科技有限公司 一种人脸识别模型训练方法和人脸识别方法
CN111914630A (zh) * 2020-06-19 2020-11-10 北京百度网讯科技有限公司 为人脸识别生成训练数据的方法、装置、设备和存储介质
CN111914629A (zh) * 2020-06-19 2020-11-10 北京百度网讯科技有限公司 为人脸识别生成训练数据的方法、装置、设备和存储介质
WO2021174880A1 (zh) * 2020-09-01 2021-09-10 平安科技(深圳)有限公司 征提取模型训练方法、人脸识别方法、装置、设备及介质
CN112200154A (zh) * 2020-11-17 2021-01-08 苏州方正璞华信息技术有限公司 一种戴口罩人脸识别方法、装置、电子设备及存储介质
CN112597867A (zh) * 2020-12-17 2021-04-02 佛山科学技术学院 戴口罩人脸识别方法、系统、计算机设备及存储介质
CN113420731A (zh) * 2021-08-23 2021-09-21 北京的卢深视科技有限公司 模型训练方法、电子设备及计算机可读存储介质
CN113673470A (zh) * 2021-08-30 2021-11-19 广州虎牙科技有限公司 人脸检测模型训练方法、电子设备及计算机可读存储介质
CN113505768A (zh) * 2021-09-10 2021-10-15 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BERK YILMAZER 等: ""Cloud Computing Based Masked Face Recognition Application"", 《2020 INNOVATIONS IN INTELLIGENT SYSTEMS AND APPLICATIONS CONFERENCE (ASYU)》 *
万子伦: ""复杂环境下多任务识别的人脸口罩检测算法"", 《微电子学与计算机》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023158408A1 (en) * 2022-02-16 2023-08-24 Bahcesehir Universitesi Face recognition method
CN116631019A (zh) * 2022-03-24 2023-08-22 清华大学 基于面部图像的口罩适合性检测方法及装置
CN116631019B (zh) * 2022-03-24 2024-02-27 清华大学 基于面部图像的口罩适合性检测方法及装置

Also Published As

Publication number Publication date
CN113963183B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN111310731B (zh) 基于人工智能的视频推荐方法、装置、设备及存储介质
CN113963183B (zh) 模型训练、人脸识别方法、电子设备及存储介质
US10943095B2 (en) Methods and systems for matching extracted feature descriptors for enhanced face recognition
CN111680672B (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN113963426B (zh) 模型训练、戴口罩人脸识别方法、电子设备及存储介质
Du et al. Robust face recognition from multi-view videos
CN112364827B (zh) 人脸识别方法、装置、计算机设备和存储介质
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN111488815B (zh) 基于图卷积网络和长短时记忆网络的事件预测方法
CN110796100B (zh) 步态识别方法、装置、终端及存储装置
CN113963237B (zh) 模型训练、戴口罩状态检测方法、电子设备及存储介质
CN113298158B (zh) 数据检测方法、装置、设备及存储介质
CN110633624A (zh) 一种基于多特征融合的机器视觉人体异常行为识别方法
Vadlapati et al. Facial recognition using the OpenCV Libraries of Python for the pictures of human faces wearing face masks during the COVID-19 pandemic
CN112541421A (zh) 一种开放空间的行人换装重识别方法
Lee et al. Development of a privacy-preserving UAV system with deep learning-based face anonymization
Kare et al. Using bidimensional regression to assess face similarity
CN113947803B (zh) 模型训练、用于人脸识别的样本数据生成方法及电子设备
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
JP2022095332A (ja) 学習モデル生成方法、コンピュータプログラム及び情報処理装置
CN111325252A (zh) 图像处理方法、装置、设备、介质
CN114038045A (zh) 一种跨模态人脸识别模型构建方法、装置及电子设备
CN112101479A (zh) 一种发型识别方法及装置
Tiwari Gabor Based Face Recognition Using EBGM and PCA
Menon Leveraging Facial Recognition Technology in Criminal Identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220419

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Applicant before: Hefei lushenshi Technology Co., Ltd

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant