CN112966670A - 人脸识别方法、电子设备及存储介质 - Google Patents

人脸识别方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112966670A
CN112966670A CN202110378905.2A CN202110378905A CN112966670A CN 112966670 A CN112966670 A CN 112966670A CN 202110378905 A CN202110378905 A CN 202110378905A CN 112966670 A CN112966670 A CN 112966670A
Authority
CN
China
Prior art keywords
dimensional
model
feature vector
face recognition
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110378905.2A
Other languages
English (en)
Inventor
魏梦
朱海涛
陈智超
保长存
赵欲苗
户磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202110378905.2A priority Critical patent/CN112966670A/zh
Publication of CN112966670A publication Critical patent/CN112966670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施方式涉及图像处理领域，公开了一种人脸识别方法、电子设备及存储介质。本发明的部分实施方式中，人脸识别方法包括：获取二维图像，并基于二维图像获取二维图像对应的法向图；获取二维图像对应的二维特征向量，以及法向图对应的三维特征向量；融合二维特征向量和三维特征向量，得到最终的人脸特征向量；基于最终的人脸特征向量进行人脸识别。该实施方式中，降低了三维信息的获取成本，实现了单模态数据下的多模态人脸识别，提升了人脸识别的准确率。

Description

人脸识别方法、电子设备及存储介质
技术领域
本发明实施方式涉及图像处理领域，特别涉及一种人脸识别方法、电子设备及存储介质。
背景技术
二维彩色图像的人脸识别技术已成功的应用于多个领域。但是，实际应用场景中，人脸识别系统的识别率往往因光照、背景、姿态、清晰度等条件的影响而有所下降。三维信息受光照、背景、清晰度等影响较小，因此，三维人脸识别技术成为人脸识别邻域的研究趋势。
然而，三维信息的获取往往需要通过深度相机或激光雷达等设备采集，数据采集设备成本较高。而对于只有二维数据采集设备的人脸识别系统，需要通过二维信息估计得到三维信息。目前，估计三维信息的方法大多采用通过二维彩色图像估计对应的深度图像或者使用人脸重建技术获得人脸三维信息。而通过二维彩色图像估计对应的深度图时，受归一化方法影响，模型收敛较为困难；使用三维形变模型(The Three DimensionalMorphable Model，3DMM)等人脸重建技术估计人脸三维信息时，计算成本及时间成本较高。
发明内容
本发明实施方式的目的在于提供一种人脸识别方法、电子设备及存储介质，使得降低了三维信息的获取成本。
为解决上述技术问题，本发明的实施方式提供了一种人脸识别方法，包括以下步骤：获取二维图像，并基于二维图像获取二维图像对应的法向图；获取二维图像对应的二维特征向量，以及法向图对应的三维特征向量；融合二维特征向量和三维特征向量，得到最终的人脸特征向量；基于最终的人脸特征向量进行人脸识别。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的人脸识别方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的人脸识别方法。
本发明实施方式相对于现有技术而言，通过二维图像估计对应的法向图，法向图能够反映二维图像的三维信息且不需要归一化，易于收敛，降低了三维信息的获取成本，实现了单模态数据下的多模态人脸识别。基于二维图像与法向图分别提取二维特征向量和三维特征向量，将二维特征向量与三维特征向量融合后进行人脸识别，提高了人脸识别的准确率。
另外，融合二维特征向量和三维特征向量，得到最终的人脸特征向量，包括：将二维特征向量和三维特征向量输入特征融合模型，得到最终的人脸特征向量；其中，特征融合模型为用于获得二维特征向量和三维特征向量表征的最终的人脸特征向量的模型。
另外，特征融合模型的训练过程包括：将训练对象的各二维图像样本，以及针对各二维图像样本得到的法向图进行随机组合，得到多组同一训练对象不同内容的训练样本对；使用各组训练样本对中的二维图像样本对应的二维特征向量，以及训练样本对中的法向图对应的三维特征向量，对特征融合模型进行训练。
另外，特征融合模型包括第一融合子模型和第二融合子模型，第一融合子模型用于融合二维特征向量和三维特征向量，以得到融合特征向量的模型；第二融合子模型用于融合二维特征向量、三维特征向量和融合特征向量，以得到最终的人脸特征向量的模型。
另外，第一融合子模型包括第一拼接层和全连接层，第一拼接层用于拼接二维特征向量和三维特征向量，得到第一拼接向量；全连接层用于将输入的第一拼接向量整合得到融合特征向量。
另外，第二融合子模型包括第二拼接层和卷积层，第二拼接层用于拼接二维特征向量、三维特征向量和融合特征向量，得到第二拼接向量；卷积层用于将输入的第二拼接向量整合得到最终的人脸特征向量。
另外，获取二维图像，并基于二维图像获取二维图像对应的法向图，包括：将二维图像输入法向图估计模型，得到二维图像对应的法向图；法向图估计模型为用于获得二维图像表征的法向图的神经网络模型。
另外，获取二维图像对应的二维特征向量，以及法向图对应的三维特征向量，包括：将二维图像输入二维人脸识别模型，得到二维图像对应的二维特征向量；二维人脸识别模型为用于获得二维图像表征的二维特征向量的神经网络模型；将法向图输入三维人脸识别模型，得到法向图对应的三维特征向量；三维人脸识别模型为用于获得法向图表征的三维特征向量的神经网络模型。
另外，在获取二维图像，并基于二维图像获取二维图像对应的法向图之前，人脸识别方法还包括：分别对法向图估计模型、二维人脸识别模型、三维人脸识别模型和特征融合模型进行预训练；法向图估计模型为用于获得二维图像表征的法向图的神经网络模型，二维人脸识别模型为用于获得二维图像表征的二维特征向量的神经网络模型，三维人脸识别模型为用于获得法向图表征的三维特征向量的神经网络模型，特征融合模型为用于获得二维特征向量和三维特征向量表征的最终的人脸特征向量的模型；对预训练后的法向图估计模型、预训练后的二维人脸识别模型、预训练后的三维人脸识别模型和预训练后的特征融合模型进行联合训练。
附图说明
一个或多个实施方式通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施方式的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本申请的第一实施方式的人脸识别方法的流程图；
图2是根据本申请的第二实施方式的人脸识别方法的流程图；
图3是根据本申请的第三实施方式的人脸识别设备的结构示意图；
图4是根据本申请的第四实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种人脸识别方法，包括以下步骤：获取二维图像，以及二维图像对应的法向图；获取二维图像对应的二维特征向量，以及法向图对应的三维特征向量；融合二维特征向量和三维特征向量，得到最终的人脸特征向量；基于最终的人脸特征向量进行人脸识别。该实施方式中，通过二维图像估计对应的法向图，法向图能够反映二维图像的三维信息且不需要归一化，易于收敛，降低了三维信息的获取成本，实现了单模态数据下的多模态人脸识别，提升了人脸识别的准确率。基于二维图像与法向图分别提取二维特征向量和三维特征向量，将二维特征向量与三维特征向量融合后进行人脸识别，提高了人脸识别的准确率。
下面对本实施方式的人脸识别方法的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。
本实施方式中的人脸识别方法应用于电子设备。其中，电子设备可以是终端、服务器、云端服务器等。如图1所示，人脸识别方法具体包括以下步骤：
步骤101：获取二维图像，并基于二维图像获取二维图像对应的法向图。
具体地，二维图像可以是二维彩色图像。二维图像可以通过摄像头等图像采集装置获得。图像采集装置可以设置在电子设备的本体上，也可以设置在于电子设备通信连接的其他设备上。本实施方式不做限制。
在一个例子中，获取二维图像，并基于二维图像获取二维图像对应的法向图的过程包括：将二维图像输入法向图估计模型，得到二维图像对应的法向图。其中，法向图估计模型为用于获得二维图像表征的法向图的神经网络模型。
值得一提的是，通过法向图估计模型，预估二维图像表征的法向图，以获得二维图像表征的三维信息，不需要借助深度相机或激光雷达等设备，降低了设备成本；无需考虑三维信息归一化的问题，更易于模型收敛，进而降低三维信息的计算成本和时间成本。
需要说明的是，本领域技术人员可以理解，实际应用中，法向图估计模型可以是卷积神经网络模型，也可以是基于其他学习方式的模型，不限制法向图估计模型的具体结构。
在一个例子中，本领域技术人员可以采用卷积神经网络构建法向图估计模型。当输入一张人脸的二维图像时，法向图估计模型输出对应的法向图。为了得到与输入的人脸的二维图像尺寸相同的法向图，法向图估计模型可以采用语义分割网络(如U-Net)、编码-解码(Encoder-Decoder)模型等类型的卷积神经网络结构。
步骤102：获取二维图像对应的二维特征向量，以及法向图对应的三维特征向量。
具体地，电子设备基于二维图像和二维图像对应的法向图，获取不同模态的人脸特征向量，以便提高人脸识别的准确性。
在一个例子中，获取二维图像对应的二维特征向量，以及法向图对应的三维特征向量的过程包括：将二维图像输入二维人脸识别模型，得到二维图像对应的二维特征向量；二维人脸识别模型为用于获得二维图像表征的二维特征向量的神经网络模型；将法向图输入三维人脸识别模型，得到法向图对应的三维特征向量；三维人脸识别模型为用于获得法向图表征的三维特征向量的神经网络模型。
需要说明的是，本领域技术人员可以理解，实际应用中，还可以通过其他方式提取二维图像中的二维特征向量，以及法向图中的三维特征向量。本实施方式不限制提取二维特征向量和三维特征向量的方式。
在一个例子中，本领域技术人员可以采用卷积神经网络构建二维人脸识别模型。当输入一张人脸的二维图像时，二维人脸识别模型输出对应的二维特征向量。二维人脸识别模型可以采用常用的卷积神经网络，包括但不限于VGG-Net，ResNet，DenseNet，MobileNet，ShuffleNet等。
在一个例子中，本领域技术人员可以采用卷积神经网络构建三维人脸识别模型。当输入一张法向图时，三维人脸识别模型输出对应的三维特征向量。由于本实施方式采用人脸特征融合方法实现多模态人脸识别，三维人脸识别模型可以与二维人脸识别模型使用相同的卷积神经网络结构，也可以根据三维人脸识别的特性构建新的卷积神经网络结构。
步骤103：融合二维特征向量和三维特征向量，得到最终的人脸特征向量。
在一个例子中，将二维特征向量和三维特征向量输入特征融合模型，得到最终的人脸特征向量，特征融合模型为用于获得二维特征向量和三维特征向量表征的最终的人脸特征向量的模型。具体地，电子设备通过特征融合模型进行特征融合，使得最终的人脸特征向量既包含二维信息，也包含三维信息，提高人脸识别的准确率。
在一个例子中，特征融合模型包括第一融合子模型和第二融合子模型，第一融合子模型为用于融合二维特征向量和三维特征向量，以得到融合特征向量的模型；第二融合子模型为用于融合二维特征向量、三维特征向量和融合特征向量，以得到最终的人脸特征向量的模型。具体地，电子设备先基于二维特征向量和三维特征向量，融合得到融合特征向量，再基于二维特征向量、三维特征向量和融合特征向量，融合得到最终的人脸特征向量。
值得一提的是，通过多次融合二维特征向量和三维特征向量，使得最终的人脸特征向量更具辨别性，更有利于人脸识别。
需要说明的是，本领域技术人员可以理解，实际应用中，特征融合模型也可以是直接融合二维特征向量和三维特征向量，得到最终的人脸特征向量，本实施方式不限制特征融合模型得到最终的人脸特征向量的具体过程。
在一个例子中，第一融合子模型包括第一拼接层和全连接层，第一拼接层用于拼接二维特征向量和三维特征向量，得到第一拼接向量；全连接层用于将输入的第一拼接向量整合得到融合特征向量。
需要说明的是，本领域技术人员可以理解，实际应用中，第一融合子模型也可以采用其他神经网络结构，其能够达到融合二维特征向量和三维特征向量得到同维度的融合特征向量即可，本实施方式不限制第一融合子模型的具体神经网络结构。
在一个例子中，第二融合子模型包括第二拼接层和卷积层，第二拼接层用于拼接二维特征向量、三维特征向量和融合特征向量，得到第二拼接向量；卷积层用于将输入的第二拼接向量整合得到最终的人脸特征向量。
需要说明的是，本领域技术人员可以理解，实际应用中，第二融合子模型也可以采用其他神经网络结构，其能够达到融合二维特征向量、三维特征向量和融合特征向量得到同维度的最终的人脸特征向量即可，本实施方式不限制第二融合子模型的具体神经网络结构。
在一个例子中，特征融合模型的训练过程包括：将训练对象的各二维图像样本，以及针对各二维图像样本得到的法向图进行随机组合，得到多组同一训练对象不同内容的训练样本对；使用各组训练样本对中的二维图像样本对应的二维特征向量，以及训练样本对中的法向图对应的三维特征向量，对特征融合模型进行训练。例如，某一训练对象有N张不同时刻拍摄的二维图像样本，基于N张不同的二维图像样本估计得到N张法向图。将N张二维图像样本和N张法向图随机组合，得到多组训练样本对。在得到多组训练样本对后，针对各组训练样本对，分别提取该组训练样本对中的法向图对应的三维特征向量，以及二维图像样本对应的二维特征向量。将每组二维特征向量和三维特征向量分别输入特征融合模型，以对特征融合模型进行训练。
值得一提的是，采用同一训练对象的多对二维图像和法向图随机组对的训练策略对特征融合模型进行训练，对训练数据无对齐、同帧等要求，使相同对象中样本的多模态信息更好的交互，使得类内特征更为紧密，进一步提升了多模态人脸识别系统的准确率。
在一个例子中，为了克服二维人脸识别系统的不足，本实施方式将估计得到的三维模态信息与二维人脸识别系统相融合，实现多模态人脸识别。本实施方式采用卷积神经网络构建一个多模态特征融合的特征融合模型，将二维人脸识别模块输出的二维特征向量与三维人脸识别模块输出的三维特征向量输入多模态特征融合的特征融合模型。特征融合模型输出融合后的多模态人脸特征向量(即最终的人脸特征向量)用于人脸识别。
具体地，二维特征向量F2d与三维特征向量F3d均为M维。特征融合模型先通过第一拼接层(Concat层)连接二维特征向量与三维特征向量，得到2M维的第一拼接向量Fcon1，随后通过两层全连接层得到一个M维的融合特征向量Ffusion1。接着，特征融合模型将原始的二维特征向量F2d、三维特征向量F3d与融合特征向量Ffusion1连接成一个M*1*3维的第二拼接向量Fcon2，随后通过一个卷积核大小为1*1的卷积层生成最终的人脸特征向量Ffusion2，维度为M维。
需要说明的是，本领域技术人员可以理解，实际应用中，特征融合模型也可以采用其他神经网络结构，本实施方式不限制特征融合模型的神经网络结构的形式。
步骤104：基于最终的人脸特征向量进行人脸识别。
具体地，基于融合得到的最终的人脸特征向量进行人脸识别，实现单模态数据下的多模态人脸识别系统，缓解单独的二维人脸识别系统受光照、背景、姿态、清晰度等条件的影响。通过二维彩色图像估计三维信息，并将二维人脸识别与三维人脸识别相融合实现多模态人脸识别可有效的提升人脸识别效果。
需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。
与现有技术相比，本实施方式中提供的人脸识别方法，通过二维图像估计二维图像的法向图，法向图能够反映二维图像的三维信息且不需要归一化，易于收敛，降低了三维信息的获取成本，实现了单模态数据下的多模态人脸识别，提升了人脸识别的准确率。基于二维图像与法向图分别提取二维特征向量和三维特征向量，将二维特征向量与三维特征向量融合后进行人脸识别，提高了人脸识别的准确率。
本发明的第二实施方式涉及一种人脸识别方法，本实施方式是对第一实施方式的进一步细化，举例说明了在第一实施方式的步骤101之前，对第一实施方式提及的各个模型的训练过程。
具体的说，如图2所示，在本实施方式中，人脸识别方法包括步骤201至步骤206，其中步骤203至步骤206分别与第一实施方式的步骤101至步骤104相似，此处不再赘述。下面主要介绍不同之处。
步骤201：分别对法向图估计模型、二维人脸识别模型、三维人脸识别模型和特征融合模型进行预训练。
具体地，法向图估计模型为用于获得二维图像表征的法向图的神经网络模型，二维人脸识别模型为用于获得二维图像表征的二维特征向量的神经网络模型，三维人脸识别模型为用于获得法向图表征的三维特征向量的神经网络模型，特征融合模型为用于获得二维特征向量和三维特征向量表征的最终的人脸特征向量的模型。
在一个例子中，电子设备包括图像预处理模块。电子设备采集多个对象的人脸图像，人脸图像包含人脸彩色图像与人脸深度图像。其中，人脸彩色图像为二维图像，且人脸彩色图像与人脸深度图像已对齐。使用人脸检测算法检测人脸彩色图像上的人脸区域，裁剪人脸彩色图像及对应人脸深度图像的人脸区域并对齐到固定尺寸，将裁剪后的人脸深度图像转为点云进行点云中心化处理后生成固定尺寸的法向图，以便进行法向图估计模型的训练。
在一个例子中，电子设备从训练对象的图像样本集合中抽取二维图像样本和二维图像样本对应的真实法向图，作为第一训练样本；将第一训练样本输入法向图估计模型，训练法向图估计模型，直至收敛；从图像样本集合抽取二维图像样本，作为第二训练样本；将第二训练样本输入二维人脸识别模型，训练二维人脸识别模型，直至收敛；将法向图估计模型估计的法向图输入三维人脸识别模型，训练三维人脸识别模型，直至收敛；固定法向图估计模型、二维人脸识别模型和三维人脸识别模型的参数；将三维人脸识别模型输出的三维特征向量和二维人脸识别模型输出的二维特征向量随机组合，得到多组第三训练样本，将第三训练样本输入特征融合模型，训练特征融合模型，直至收敛。
值得一提的是，输入三维人脸识别模型和二维人脸识别模型的训练样本可以为同一训练对象的相同样本图像或者同一训练对象的不同样本图像，对训练数据无对齐、同帧等要求，结合相同对象中不同样本的随机组合训练策略，使相同对象中样本的多模态信息更好的交互，使得类内特征更为紧密，进一步提升了多模态人脸识别系统的准确率。
以下对法向图估计模型、二维人脸识别模型、三维人脸识别模型和特征融合模型的训练过程进行举例说明。
1、法向图估计模型可以采用监督学习的方法进行训练。具体地，将图像预处理后的人脸彩色图像输入法向图估计模型，模型输出估计的法向图，将估计的法向图与输入的人脸彩色图像对应的法向图对比计算损失后，通过反向传播更新法向图估计模型参数。法向图估计模块采用L1损失函数进行训练。
2、二维人脸识别模型可以采用监督学习的方法进行训练。具体地，将图像预处理后的人脸彩色图像输入二维人脸识别模型，二维人脸识别模块采用L2Softmax和Triplet损失函数进行训练，计算损失后通过反向传播更新二维人脸识别模型参数。
3、三维人脸识别模型可以采用监督学习的方法进行训练。具体地，将法向图估计模块得到的法向图输入三维人脸识别模型，三维人脸识别模块采用L2Softmax和Triplet损失函数进行训练，计算损失后通过反向传播更新三维人脸识别模型参数。
4、特征融合模块可以采用监督学习的方法进行训练。将预训练的法向图估计模型、二维人脸识别模型和三维人脸识别模型参数固定，将二维人脸识别模块输出的二维特征向量与三维人脸识别模块输出的三维特征向量输入特征融合模型，多模态特征融合模型采用L2Softmax和Triplet损失函数进行训练，计算损失后通过反向传播更新多模态特征融合模型参数。
步骤202：对预训练后的法向图估计模型、预训练后的二维人脸识别模型、预训练后的三维人脸识别模型和预训练后的特征融合模型进行联合训练。
具体地，将训练对象的二维图像样本分别输入预训练后的法向图估计模型和预训练后的二维人脸识别模型；其中，预训练后的法向图估计模型的输出作为预训练后的三维人脸识别模型的输入，预训练后的三维人脸识别模型的输出和预训练后的二维人脸识别模型的输出作为特征融合模型的输入；将预训练后的法向图估计模型、预训练后的二维人脸识别模型、预训练后的三维人脸识别模型和预训练后的特征融合模型各自的损失相加后进行反向传播，以更新预训练后的法向图估计模型的参数、预训练后的二维人脸识别模型的参数、预训练后的三维人脸识别模型的参数和预训练后的特征融合模型的参数，直至收敛。
在一个例子中，在训练完各个模型后，对法向图估计模型、二维人脸识别模型、三维人脸识别模型和特征融合模型构成的多模态人脸识别模型进行测试。在测试阶段，对测试人脸彩色图像进行图像预处理后，输入多模态人脸识别模型中，经过模型前向推理，多模态人脸识别模型输出对应测试人脸彩色图像的多模态人脸特征向量，将多模态人脸特征向量与测试集库中的人脸特征向量进行比对后进行身份验证，以判断多模态人脸识别模型的好坏。
执行步骤203至步骤206。
发明人发现，对于人脸三维信息估计，目前的方法大多采用通过二维彩色图像估计对应的深度图像或者使用人脸重建技术获得人脸三维信息。通过二维彩色图像估计对应的深度图时，受归一化方法影响，模型收敛较为困难；使用3DMM等人脸重建技术估计人脸三维信息时计算及时间成本较高。单独的二维人脸识别在光照、大姿态下识别效果不佳，而单独的三维人脸识别系统缺少颜色等信息。因此，将三维人脸识别系统与二维人脸识别系统相融合，组合成多模态人脸识别系统。二维人脸识别系统与三维人脸识别系统的融合方法大致可分为数据输入融合方法、网络结构融合方法及人脸特征融合方法，其中，数据输入融合方法与网络结构融合方法需要将二维彩色图像与人脸三维信息对齐，使得相同对象(ID)内的不同样本之间的交互性较差。本实施方式中，针对二维人脸识别在光照、大姿态下识别效果不佳的问题，提供了一种基于二维彩色图像的多模态人脸识别方法。该方法使用卷积神经网络估计二维彩色图像对应的法向图，该法向图反映了二维彩色图像的三维信息。由于法向图估计模型训练过程中不需要归一化，易于收敛。将二维彩色图像与法向图分别通过各自的卷积神经网络提取对应模态的人脸特征向量后，再通过特征融合模块将二维特征向量与三维特征向量融合后进行人脸识别，减缓了单独的二维人脸识别在光照、大姿态下识别效果不佳的问题。本实施方式中，由多个卷积神经网络模型组合成一个多模态人脸识别模型，可实现端到端的多模态人脸识别系统。除此之外，相同对象的二维彩色图像与法向图随机组合，不局限于相同帧数据的融合，更有助于类内数据信息交互，从而促进人脸识别系统的准确率的提升。
需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。
与现有技术相比，本实施方式中提供的人脸识别方法，通过二维图像估计二维图像的法向图，法向图能够反映二维图像的三维信息且不需要归一化，易于收敛，降低了三维信息的获取成本，实现了单模态数据下的多模态人脸识别，提升了人脸识别的准确率。基于二维图像与法向图分别提取二维特征向量和三维特征向量，将二维特征向量与三维特征向量融合后进行人脸识别，提高了人脸识别的准确率。此外，先分别训练各模型，再对各模型进行联合训练，使得训练后的模型更准确，进而提高人脸识别准确率。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种人脸识别设备，如图3所示，包括：第一获取模块301、估计模块302、第二获取模块303、特征融合模块304和识别模块305。第一获取模块301用于获取二维图像；估计模块302用于基于二维图像获取二维图像对应的法向图；第二获取模块303用于获取二维图像对应的二维特征向量，以及法向图对应的三维特征向量；特征融合模块304用于融合二维特征向量和三维特征向量，得到最终的人脸特征向量；识别模块305用于基于最终的人脸特征向量进行人脸识别。
不难发现，本实施方式为与第一实施方式相对应的系统实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明的第四实施方式涉及一种电子设备，如图4所示，包括：至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行如上述实施方式提及的人脸识别方法。
该电子设备包括：一个或多个处理器401以及存储器402，图4中以一个处理器401为例。处理器401、存储器402可以通过总线或者其他方式连接，图4中以通过总线连接为例。存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述人脸识别方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器402中，当被一个或者多个处理器401执行时，执行上述任意方法实施方式中的人脸识别方法。
上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。
本发明的第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施方式。
即，本领域技术人员可以理解，实现上述实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施方式，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：
获取二维图像，并基于所述二维图像获取所述二维图像对应的法向图；
获取所述二维图像对应的二维特征向量，以及所述法向图对应的三维特征向量；
融合所述二维特征向量和所述三维特征向量，得到最终的人脸特征向量；
基于所述最终的人脸特征向量进行人脸识别。
2.根据权利要求1所述的人脸识别方法，其特征在于，获取二维图像，并基于所述二维图像获取所述二维图像对应的法向图，包括：
将所述二维图像输入法向图估计模型，得到所述二维图像对应的法向图；法向图估计模型为用于获得二维图像表征的法向图的神经网络模型。
3.根据权利要求1所述的人脸识别方法，其特征在于，所述融合所述二维特征向量和所述三维特征向量，得到最终的人脸特征向量，包括：
将所述二维特征向量和所述三维特征向量输入特征融合模型，得到所述最终的人脸特征向量；其中，所述特征融合模型为用于获得所述二维特征向量和所述三维特征向量表征的最终的人脸特征向量的模型。
4.根据权利要求3所述的人脸识别方法，其特征在于，所述特征融合模型的训练过程包括：
将训练对象的各二维图像样本，以及针对各所述二维图像样本得到的法向图进行随机组合，得到多组同一所述训练对象不同内容的训练样本对；
使用各组所述训练样本对中的二维图像样本对应的二维特征向量，以及所述训练样本对中的法向图对应的三维特征向量，对所述特征融合模型进行训练。
5.根据权利要求3所述的人脸识别方法，其特征在于，所述特征融合模型包括第一融合子模型和第二融合子模型，所述第一融合子模型为用于融合所述二维特征向量和所述三维特征向量，以得到融合特征向量的模型；所述第二融合子模型为用于融合所述二维特征向量、所述三维特征向量和所述融合特征向量，以得到所述最终的人脸特征向量的模型。
6.根据权利要求5所述的人脸识别方法，其特征在于，所述第一融合子模型包括第一拼接层和全连接层，所述第一拼接层用于拼接所述二维特征向量和所述三维特征向量，得到第一拼接向量；所述全连接层用于将输入的所述第一拼接向量整合得到所述融合特征向量；所述第二融合子模型包括第二拼接层和卷积层，所述第二拼接层用于拼接所述二维特征向量、所述三维特征向量和所述融合特征向量，得到第二拼接向量；所述卷积层用于将输入的所述第二拼接向量整合得到所述最终的人脸特征向量。
7.根据权利要求1所述的人脸识别方法，其特征在于，所述获取所述二维图像对应的二维特征向量，以及所述法向图对应的三维特征向量，包括：
将所述二维图像输入二维人脸识别模型，得到所述二维图像对应的二维特征向量；所述二维人脸识别模型为用于获得二维图像表征的二维特征向量的神经网络模型；
将所述法向图输入三维人脸识别模型，得到所述法向图对应的三维特征向量；所述三维人脸识别模型为用于获得法向图表征的三维特征向量的神经网络模型。
8.根据权利要求1所述的人脸识别方法，其特征在于，在所述获取二维图像，并基于所述二维图像获取二维图像对应的法向图之前，所述人脸识别方法还包括：
分别对法向图估计模型、二维人脸识别模型、三维人脸识别模型和特征融合模型进行预训练；所述法向图估计模型为用于获得二维图像表征的法向图的神经网络模型，所述二维人脸识别模型为用于获得二维图像表征的二维特征向量的神经网络模型，所述三维人脸识别模型为用于获得法向图表征的三维特征向量的神经网络模型，所述特征融合模型为用于获得所述二维特征向量和所述三维特征向量表征的最终的人脸特征向量的模型；
对预训练后的所述法向图估计模型、预训练后的所述二维人脸识别模型、预训练后的所述三维人脸识别模型和预训练后的所述特征融合模型进行联合训练。
9.一种电子设备，其特征在于，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的人脸识别方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的人脸识别方法。
CN202110378905.2A 2021-04-08 2021-04-08 人脸识别方法、电子设备及存储介质 Pending CN112966670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110378905.2A CN112966670A (zh) 2021-04-08 2021-04-08 人脸识别方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110378905.2A CN112966670A (zh) 2021-04-08 2021-04-08 人脸识别方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112966670A true CN112966670A (zh) 2021-06-15

Family

ID=76281375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110378905.2A Pending CN112966670A (zh) 2021-04-08 2021-04-08 人脸识别方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112966670A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581978A (zh) * 2022-02-28 2022-06-03 支付宝(杭州)信息技术有限公司 人脸识别的方法和系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010001540U (ko) * 1999-06-29 2001-01-15 추호석 곡직 주판 장치
CN106295496A (zh) * 2015-06-24 2017-01-04 三星电子株式会社 脸部识别方法和设备
CN107679477A (zh) * 2017-09-27 2018-02-09 深圳市未来媒体技术研究院 基于空洞卷积神经网络的人脸深度和表面法向量预测方法
CN107909640A (zh) * 2017-11-06 2018-04-13 清华大学 基于深度学习的人脸重光照方法及装置
CN109063678A (zh) * 2018-08-24 2018-12-21 北京字节跳动网络技术有限公司 脸部图像识别的方法、装置及存储介质
CN109902702A (zh) * 2018-07-26 2019-06-18 华为技术有限公司 目标检测的方法和装置
CN110428491A (zh) * 2019-06-24 2019-11-08 北京大学 基于单帧图像的三维人脸重建方法、装置、设备及介质
CN111783609A (zh) * 2020-06-28 2020-10-16 北京百度网讯科技有限公司 行人再识别的方法、装置、设备和计算机可读存储介质
CN112215157A (zh) * 2020-10-13 2021-01-12 北京中电兴发科技有限公司 一种基于多模型融合的人脸特征降维提取方法
CN112446345A (zh) * 2020-12-09 2021-03-05 西安交通大学 一种低质量三维人脸识别方法、系统、设备和存储介质
CN112528902A (zh) * 2020-12-17 2021-03-19 四川大学 一种基于3d人脸模型的视频监控动态人脸识别方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010001540U (ko) * 1999-06-29 2001-01-15 추호석 곡직 주판 장치
CN106295496A (zh) * 2015-06-24 2017-01-04 三星电子株式会社 脸部识别方法和设备
CN107679477A (zh) * 2017-09-27 2018-02-09 深圳市未来媒体技术研究院 基于空洞卷积神经网络的人脸深度和表面法向量预测方法
CN107909640A (zh) * 2017-11-06 2018-04-13 清华大学 基于深度学习的人脸重光照方法及装置
CN109902702A (zh) * 2018-07-26 2019-06-18 华为技术有限公司 目标检测的方法和装置
CN109063678A (zh) * 2018-08-24 2018-12-21 北京字节跳动网络技术有限公司 脸部图像识别的方法、装置及存储介质
CN110428491A (zh) * 2019-06-24 2019-11-08 北京大学 基于单帧图像的三维人脸重建方法、装置、设备及介质
CN111783609A (zh) * 2020-06-28 2020-10-16 北京百度网讯科技有限公司 行人再识别的方法、装置、设备和计算机可读存储介质
CN112215157A (zh) * 2020-10-13 2021-01-12 北京中电兴发科技有限公司 一种基于多模型融合的人脸特征降维提取方法
CN112446345A (zh) * 2020-12-09 2021-03-05 西安交通大学 一种低质量三维人脸识别方法、系统、设备和存储介质
CN112528902A (zh) * 2020-12-17 2021-03-19 四川大学 一种基于3d人脸模型的视频监控动态人脸识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EDY WINARNO 等: "Face Recognition based on CNN 2D-3D Reconstruction using Shape and Texture Vectors Combining", 《INDONESIAN JOURNAL OF ELECTRICAL ENGINEERING AND INFORMATICS》 *
蒋罗: "三维人脸重建与人脸识别", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *
陈智超 等: "多模态3D视觉身份识别技术简析", 《中国安防》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581978A (zh) * 2022-02-28 2022-06-03 支付宝(杭州)信息技术有限公司 人脸识别的方法和系统

Similar Documents

Publication Publication Date Title
CN109191515B (zh) 一种图像视差估计方法及装置、存储介质
CN109034086B (zh) 车辆重识别方法、装置及系统
CN111541911B (zh) 视频检测方法和装置、存储介质及电子装置
WO2023185494A1 (zh) 一种点云数据识别方法、装置、电子设备及存储介质
CN111553267A (zh) 图像处理方法、图像处理模型训练方法及设备
CN112037142B (zh) 一种图像去噪方法、装置、计算机及可读存储介质
CN114241505B (zh) 化学结构图像的提取方法、装置、存储介质及电子设备
US20230098548A1 (en) Image processing method and apparatus, computer device, program, and storage medium
JP2023131117A (ja) 結合感知モデルのトレーニング、結合感知方法、装置、機器および媒体
CN115496895A (zh) 目标识别方法及其模型、电子设备、存储介质
CN115496925A (zh) 图像处理方法、设备、存储介质及程序产品
CN111652181A (zh) 目标跟踪方法、装置及电子设备
CN114494395A (zh) 基于平面先验的深度图生成方法、装置、设备及存储介质
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备
CN112966670A (zh) 人脸识别方法、电子设备及存储介质
CN114792401A (zh) 行为识别模型的训练方法、装置、设备及存储介质
CN111339973A (zh) 一种对象识别方法、装置、设备及存储介质
CN111626212A (zh) 图片中对象的识别方法和装置、存储介质及电子装置
US20230053952A1 (en) Method and apparatus for evaluating motion state of traffic tool, device, and medium
CN115775379A (zh) 三维目标检测方法及系统
CN111461091B (zh) 万能指纹生成方法和装置、存储介质及电子装置
CN114119757A (zh) 图像处理方法、装置、设备、介质和计算机程序产品
CN114140497A (zh) 目标车辆3d实时追踪方法及系统
CN112288817A (zh) 基于图像的三维重建处理方法及装置
CN115049822B (zh) 三维成像方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210615