CN112818963A - 人脸识别模型的训练方法、装置、设备及存储介质 - Google Patents

人脸识别模型的训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112818963A
CN112818963A CN202110335645.0A CN202110335645A CN112818963A CN 112818963 A CN112818963 A CN 112818963A CN 202110335645 A CN202110335645 A CN 202110335645A CN 112818963 A CN112818963 A CN 112818963A
Authority
CN
China
Prior art keywords
dimensional
training
texture
face
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110335645.0A
Other languages
English (en)
Other versions
CN112818963B (zh
Inventor
刘彦宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202110335645.0A priority Critical patent/CN112818963B/zh
Publication of CN112818963A publication Critical patent/CN112818963A/zh
Application granted granted Critical
Publication of CN112818963B publication Critical patent/CN112818963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域，揭示了一种人脸识别模型的训练方法、装置、设备及存储介质，其中方法包括：采用多个第一训练样本对初始三维人脸纹理模型生成模块训练得到目标三维人脸纹理模型生成模块；基于目标三维人脸纹理模型生成模块，根据从多个第二训练样本中获取的目标第二训练样本得到待扰动的三维人脸纹理模型；根据待扰动的三维人脸纹理模型、预设的图像投影及纹理映射模型和预设的投影角度集合进行光照和纹理的扰动以及图像生成得到待训练的二维人脸图像集合；根据待训练的二维人脸图像集合和人脸图像标定值对初始人脸识别模型进行训练得到目标人脸识别模型。实现了针对光照和表情纹理的变化进行有效建模，提高了模型对扰动的鲁棒性。

Description

人脸识别模型的训练方法、装置、设备及存储介质
技术领域
本申请涉及到人工智能技术领域，特别是涉及到一种人脸识别模型的训练方法、装置、设备及存储介质。
背景技术
深度神经网络的出现为计算机视觉技术的应用带来了飞速的发展，从而使基于深度学习技术的人脸识别技术得到广泛的应用。现有基于二维人脸图像或三维结构光的人脸识别技术都不能针对环境光照条件和不同视角下表情纹理的变化进行有效建模，降低了人脸识别模型的鲁棒性。
发明内容
本申请的主要目的为提供一种人脸识别模型的训练方法、装置、设备及存储介质，旨在解决现有技术基于二维人脸图像或三维结构光的人脸识别技术都不能针对环境光照条件和不同视角下表情纹理的变化进行有效建模，降低了人脸识别模型的鲁棒性的技术问题。
为了实现上述发明目的，本申请提出一种人脸识别模型的训练方法，所述方法包括：
获取多个第一训练样本，所述多个第一训练样本中每个第一训练样本包括：第一人脸图像样本集合；
采用所述多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的所述初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块；
获取多个第二训练样本，所述多个第二训练样本中每个第二训练样本包括：第二人脸图像样本集合和人脸图像标定值；
从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本；
基于所述目标三维人脸纹理模型生成模块，根据所述目标第二训练样本的所述第二人脸图像样本集合进行三维人脸纹理模型生成，得到待扰动的三维人脸纹理模型；
获取预设的图像投影及纹理映射模型和预设的投影角度集合，根据所述待扰动的三维人脸纹理模型、所述预设的图像投影及纹理映射模型和所述预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到所述目标第二训练样本对应的待训练的二维人脸图像集合；
根据所述目标第二训练样本对应的所述待训练的二维人脸图像集合和所述人脸图像标定值对初始人脸识别模型进行训练及参数更新；
重复执行所述从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本的步骤，直至达到第一预设的训练结束条件，将达到所述第一预设的训练结束条件的所述初始人脸识别模型作为目标人脸识别模型。
进一步的，所述采用所述多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的所述初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块的步骤，包括：
从所述多个第一训练样本中获取一个所述第一训练样本作为目标第一训练样本；
将所述目标第一训练样本的所述第一人脸图像样本集合输入所述初始三维人脸纹理模型生成模块的特征提取子模块进行特征提取，得到待处理的特征数据；
将所述待处理的特征数据输入所述初始三维人脸纹理模型生成模块的线性变换子模块进行线性变换处理，得到所述目标第一训练样本对应的身份向量、表情参数向量和姿态参数向量；
将所述身份向量、所述表情参数向量和所述姿态参数向量输入所述初始三维人脸纹理模型生成模块的三维人脸模型生成子模块进行三维人脸模型生成，得到待处理的三维人脸模型；
根据所述姿态参数向量、所述目标第一训练样本的所述第一人脸图像样本集合、所述待处理的三维人脸模型和所述初始三维人脸纹理模型生成模块的纹理采集子模块进行纹理映射，得到待处理的三维人脸纹理模型；
从所述目标第一训练样本的所述第一人脸图像样本集合中获取一张图像作为待对比的二维原始图像；
根据所述待对比的二维原始图像对应的视角，将所述待处理的三维人脸纹理模型进行二维图像投影，得到待对比的二维投影图像；
重复执行所述从所述目标第一训练样本的所述第一人脸图像样本集合中获取一张图像作为待对比的二维原始图像的步骤，直至完成所述目标第一训练样本的所述第一人脸图像样本集合中的图像的提取；
根据所有的所述待对比的二维投影图像和所有的所述待对比的二维原始图像对所述初始三维人脸纹理模型生成模块进行训练及参数更新；
重复执行所述从所述多个第一训练样本中获取一个所述第一训练样本作为目标第一训练样本的步骤，直至达到第二预设的训练结束条件，将达到所述第二预设的训练结束条件的所述初始三维人脸纹理模型生成模块作为所述目标三维人脸纹理模型生成模块。
进一步的，所述三维人脸模型生成子模块采用公式S表述为：
Figure BDA0002997432480000031
其中，
Figure BDA0002997432480000032
为S的平均值的向量，Eid为人物身份基础向量，Eexp为表情参数基础向量，xid是所述目标第一训练样本对应的所述身份向量，xexp是所述目标第一训练样本对应的所述表情参数向量，
Figure BDA0002997432480000033
Eid、Eexp为已知常量。
进一步的，所述根据所述姿态参数向量、所述目标第一训练样本的所述第一人脸图像样本集合、所述待处理的三维人脸模型和所述初始三维人脸纹理模型生成模块的纹理采集子模块进行纹理映射，得到待处理的三维人脸纹理模型的步骤，包括：
采用所述初始三维人脸纹理模型生成模块的所述纹理采集子模块，根据所述目标第一训练样本的所述第一人脸图像样本集合中的各个图像各种对应的视角和所述姿态参数向量，分别将所述待处理的三维人脸模型上的每个三维点进行二维像素投影，得到所述待处理的三维人脸模型中各个三维点各自对应的待处理的二维投影像素坐标集合；
采用所述初始三维人脸纹理模型生成模块的所述纹理采集子模块，针对所述待处理的三维人脸模型中的每个三维点，根据所述目标第一训练样本的所述第一人脸图像样本集合、所有所述待处理的二维投影像素坐标集合进行每个三维点的纹理生成，得到所述待处理的三维人脸纹理模型。
进一步的，所述采用所述初始三维人脸纹理模型生成模块的所述纹理采集子模块，针对所述待处理的三维人脸模型中的每个三维点，根据所述目标第一训练样本的所述第一人脸图像样本集合、所有所述待处理的二维投影像素坐标集合进行每个三维点的纹理生成，得到所述待处理的三维人脸纹理模型的步骤，包括：
从所述待处理的三维人脸模型中提取一个三维点作为待处理的三维点；
根据所述待处理的三维点对应的所述待处理的二维投影像素坐标集合，从所述目标第一训练样本的所述第一人脸图像样本集合中获取像素值，得到待处理的像素值集合；
对所述待处理的像素值集合进行像素值的平均值计算，得到所述待处理的三维点对应的三维点像素值；
重复执行所述从所述待处理的三维人脸模型中提取一个三维点作为待处理的三维点的步骤，直至完成所述待处理的三维人脸模型中三维点的提取；
将所有所述三维点像素值添加到所述待处理的三维人脸模型中，得到所述待处理的三维人脸纹理模型。
进一步的，所述根据所有的所述待对比的二维投影图像和所有的所述待对比的二维原始图像对所述初始三维人脸纹理模型生成模块进行训练及参数更新的步骤，包括：
采用预设的损失函数，根据所有的所述待对比的二维投影图像和所有的所述待对比的二维原始图像对所述初始三维人脸纹理模型生成模块进行训练及参数更新；
其中，所述预设的损失函数计算公式H为：
Figure BDA0002997432480000041
L2(A,B)＝|F(B,A)|+|F(A,B)|
其中，k是所述目标第一训练样本的第一人脸图像样本集合中图像的数量，A是所述待对比的二维原始图像，B是所述待对比的二维投影图像A对应的所述待对比的二维投影图像，也就是说A和B是图像对，L1(A,B)是欧氏距离，F()是光流估计函数，|F()|是光流估计函数的范数(也就是光流向量中各个元素绝对值的和)。
进一步的，所述根据所述待扰动的三维人脸纹理模型、所述预设的图像投影及纹理映射模型和所述预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到所述目标第二训练样本对应的待训练的二维人脸图像集合的步骤，包括：
获取预设光照条件；采用所述预设的图像投影及纹理映射模型，根据所述预设光照条件、所述待扰动的三维人脸纹理模型的三维纹理和姿态参数向量，对所述待扰动的三维人脸纹理模型进行光照和纹理的扰动，得到扰动后的三维人脸纹理模型；
分别针对所述预设的投影角度集合中的每个投影角度，根据所述扰动后的三维人脸纹理模型的所述三维纹理和所述姿态参数向量进行二维图像投影，得到所述目标第二训练样本对应的所述待训练的二维人脸图像集合。
本申请还提出了一种人脸识别模型的训练装置，所述装置包括：
第一训练样本获取模块，用于获取多个第一训练样本，所述多个第一训练样本中每个第一训练样本包括：第一人脸图像样本集合；
目标三维人脸纹理模型生成模块确定模块，用于采用所述多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的所述初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块；
第二训练样本获取模块，用于获取多个第二训练样本，所述多个第二训练样本中每个第二训练样本包括：第二人脸图像样本集合和人脸图像标定值；
目标第二训练样本确定模块，用于从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本；
待扰动的三维人脸纹理模型确定模块，用于基于所述目标三维人脸纹理模型生成模块，根据所述目标第二训练样本的所述第二人脸图像样本集合进行三维人脸纹理模型生成，得到待扰动的三维人脸纹理模型；
二维人脸图像生成模块，用于获取预设的图像投影及纹理映射模型和预设的投影角度集合，根据所述待扰动的三维人脸纹理模型、所述预设的图像投影及纹理映射模型和所述预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到所述目标第二训练样本对应的待训练的二维人脸图像集合；
训练及参数更新模块，用于根据所述目标第二训练样本对应的所述待训练的二维人脸图像集合和所述人脸图像标定值对初始人脸识别模型进行训练及参数更新，重复执行所述从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本的步骤，直至达到第一预设的训练结束条件，将达到所述第一预设的训练结束条件的所述初始人脸识别模型作为目标人脸识别模型。
本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的人脸识别模型的训练方法、装置、设备及存储介质，通过首先采用多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块，然后基于目标三维人脸纹理模型生成模块，根据目标第二训练样本的第二人脸图像样本集合进行三维人脸纹理模型生成，得到待扰动的三维人脸纹理模型，根据待扰动的三维人脸纹理模型、预设的图像投影及纹理映射模型和预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到目标第二训练样本对应的待训练的二维人脸图像集合，最后根据目标第二训练样本对应的待训练的二维人脸图像集合和人脸图像标定值对初始人脸识别模型进行训练及参数更新，从而实现了针对环境光照条件和不同视角下表情纹理的变化进行有效建模，采用光照和纹理扰动后的二维人脸图像进行初始人脸识别模型的训练，提高了人脸识别模型对光照扰动和纹理扰动的鲁棒性。
附图说明
图1为本申请一实施例的人脸识别模型的训练方法的流程示意图；
图2为本申请一实施例的人脸识别模型的训练装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
为了解决现有技术基于二维人脸图像或三维结构光的人脸识别技术都不能针对环境光照条件和不同视角下表情纹理的变化进行有效建模，降低了人脸识别模型的鲁棒性的技术问题，本申请提出了一种人脸识别模型的训练方法，所述方法应用于人工智能技术领域，所述方法进一步应用于人工智能的计算机视觉技术领域。所述人脸识别模型的训练方法，通过先根据二维人脸图像训练三维人脸纹理模型生成模块，然后采用训练的三维人脸纹理模型生成模块根据二维人脸图像进行三维人脸纹理模型生成，采用预设的图像投影及纹理映射模型和预设的投影角度集合将生成的三维人脸纹理模型进行光照和纹理的扰动及二维人脸图像生成，最后采用生成的扰动后的二维人脸图像对初始人脸识别模型进行训练，将训练结束的初始人脸识别模型作为目标人脸识别模型，从而实现了针对环境光照条件和不同视角下表情纹理的变化进行有效建模，采用光照和纹理扰动后的二维人脸图像进行初始人脸识别模型的训练，提高了人脸识别模型对光照扰动和纹理扰动的鲁棒性。
参照图1，本申请实施例中提供一种人脸识别模型的训练方法，所述方法包括：
S1：获取多个第一训练样本，所述多个第一训练样本中每个第一训练样本包括：第一人脸图像样本集合；
S2：采用所述多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的所述初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块；
S3：获取多个第二训练样本，所述多个第二训练样本中每个第二训练样本包括：第二人脸图像样本集合和人脸图像标定值；
S4：从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本；
S5：基于所述目标三维人脸纹理模型生成模块，根据所述目标第二训练样本的所述第二人脸图像样本集合进行三维人脸纹理模型生成，得到待扰动的三维人脸纹理模型；
S6：获取预设的图像投影及纹理映射模型和预设的投影角度集合，根据所述待扰动的三维人脸纹理模型、所述预设的图像投影及纹理映射模型和所述预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到所述目标第二训练样本对应的待训练的二维人脸图像集合；
S7：根据所述目标第二训练样本对应的所述待训练的二维人脸图像集合和所述人脸图像标定值对初始人脸识别模型进行训练及参数更新；
S8：重复执行所述从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本的步骤，直至达到第一预设的训练结束条件，将达到所述第一预设的训练结束条件的所述初始人脸识别模型作为目标人脸识别模型。
本实施例通过首先采用多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块，然后基于目标三维人脸纹理模型生成模块，根据目标第二训练样本的第二人脸图像样本集合进行三维人脸纹理模型生成，得到待扰动的三维人脸纹理模型，根据待扰动的三维人脸纹理模型、预设的图像投影及纹理映射模型和预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到目标第二训练样本对应的待训练的二维人脸图像集合，最后根据目标第二训练样本对应的待训练的二维人脸图像集合和人脸图像标定值对初始人脸识别模型进行训练及参数更新，从而实现了针对环境光照条件和不同视角下表情纹理的变化进行有效建模，采用光照和纹理扰动后的二维人脸图像进行初始人脸识别模型的训练，提高了人脸识别模型对光照扰动和纹理扰动的鲁棒性。
对于S1，可以从数据库中获取多个第一训练样本，也可以获取用户输入的多个第一训练样本，还可以从第三方应用系统获取多个第一训练样本。
每个第一训练样本包括：一个第一人脸图像样本集合。第一人脸图像样本集合中包括同一身份的人脸在同一光照情况下的多个视角的图像数据。多个视角的图像数据包括但不限于：左侧人脸图像数据、正面人脸图像数据、右侧人脸图像数据。
对于S2，初始三维人脸纹理模型生成模块依次包括：特征提取子模块、线性变换子模块、三维人脸模型生成子模块、纹理采集子模块。
特征提取子模块，是基于VGG-Face卷积网络得到的模型，用于对图像数据进行高层特征的提取。
线性变换子模块可以采用线性变换层，用于进行身份向量、表情参数向量和姿态参数向量的提取。
三维人脸模型生成子模块，用于根据线性变换子模块输出的身份向量、表情参数向量和姿态参数向量生成三维人脸模型。
纹理采集子模块，用于根据第一人脸图像样本集合对三维人脸模型进行纹理映射。
对于S3，可以从数据库中获取多个第二训练样本，也可以获取用户输入的多个第二训练样本，还可以从第三方应用系统获取多个第二训练样本。
每个第二训练样本包括：一个第二人脸图像样本集合和一个人脸图像标定值。第二人脸图像样本集合中包括同一身份的人脸在同一光照情况下的多个视角的图像数据，多个视角的图像数据包括但不限于：左侧人脸图像数据、正面人脸图像数据、右侧人脸图像数据。
在同一个第二训练样本中，人脸图像标定值是对第二人脸图像样本集合进行准确的人脸识别的结果。
对于S4，依次从所述多个第二训练样本中获取一个所述第二训练样本，将获取的所述第二训练样本作为所述目标第二训练样本。
对于S5，将所述目标第二训练样本的所述第二人脸图像样本集合输入所述目标三维人脸纹理模型生成模块进行三维人脸纹理模型生成，将生成的三维人脸纹理模型作为所述待扰动的三维人脸纹理模型。
对于S6，可以从数据库中获取预设的图像投影及纹理映射模型，也可以获取用户输入的预设的图像投影及纹理映射模型，还可以从第三方应用系统获取预设的图像投影及纹理映射模型。
可以从数据库中获取预设的投影角度集合，也可以获取用户输入的预设的投影角度集合，还可以从第三方应用系统获取预设的投影角度集合。
预设的投影角度集合包括但不限于：正面、左侧、右侧。
其中，预设的图像投影及纹理映射模型可以采用不可差分的绘制模块。比如，采用开源绘制软件Blender。
其中，采用所述预设的图像投影及纹理映射模型，对所述待扰动的三维人脸纹理模型进行扰动，然后对扰动后的三维人脸纹理模型按所述预设的投影角度集合中的角度进行二维图像投影，将投影得到的所有图像数据作为所述目标第二训练样本对应的所述待训练的二维人脸图像集合。也就是说，所述待训练的二维人脸图像集合中图像的角度与所述预设的投影角度集合中的角度有关，所述预设的投影角度集合中的角度与所述第二人脸图像样本集合中的角度可以相同，也可以全部不同，还可以部分不同。
对于S7，根据所述目标第二训练样本对应的所述待训练的二维人脸图像集合和所述目标第二训练样本对应的所述人脸图像标定值对初始人脸识别模型进行训练及参数更新的方法可以从现有技术中选择，在此不做赘述。
对于S8，重复执行步骤S4至步骤S8，直至达到第一预设的训练结束条件。
所述第一预设的训练结束条件包括：所述初始人脸识别模型的损失值达到第一收敛条件或所述初始人脸识别模型的迭代次数达到第二收敛条件。
所述第一收敛条件，是指相邻两次计算的所述初始人脸识别模型的损失值的大小满足lipschitz条件(利普希茨连续条件)。
所述初始人脸识别模型的迭代次数，是指所述初始人脸识别模型被训练的次数，也就是说，所述初始人脸识别模型被训练一次，迭代次数增加1。
所述第二收敛条件是一个具体数值。
可以理解的是，目标人脸识别模型是采用光照和纹理的扰动后的二维人脸图像训练得到的，使目标人脸识别模型对光照和纹理的扰动具有鲁棒性，从而提高了人脸识别模型对扰动的鲁棒性。
在一个实施例中，上述采用所述多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的所述初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块的步骤，包括：
S21：从所述多个第一训练样本中获取一个所述第一训练样本作为目标第一训练样本；
S22：将所述目标第一训练样本的所述第一人脸图像样本集合输入所述初始三维人脸纹理模型生成模块的特征提取子模块进行特征提取，得到待处理的特征数据；
S23：将所述待处理的特征数据输入所述初始三维人脸纹理模型生成模块的线性变换子模块进行线性变换处理，得到所述目标第一训练样本对应的身份向量、表情参数向量和姿态参数向量；
S24：将所述身份向量、所述表情参数向量和所述姿态参数向量输入所述初始三维人脸纹理模型生成模块的三维人脸模型生成子模块进行三维人脸模型生成，得到待处理的三维人脸模型；
S25：根据所述姿态参数向量、所述目标第一训练样本的所述第一人脸图像样本集合、所述待处理的三维人脸模型和所述初始三维人脸纹理模型生成模块的纹理采集子模块进行纹理映射，得到待处理的三维人脸纹理模型；
S26：从所述目标第一训练样本的所述第一人脸图像样本集合中获取一张图像作为待对比的二维原始图像；
S27：根据所述待对比的二维原始图像对应的视角，将所述待处理的三维人脸纹理模型进行二维图像投影，得到待对比的二维投影图像；
S28：重复执行所述从所述目标第一训练样本的所述第一人脸图像样本集合中获取一张图像作为待对比的二维原始图像的步骤，直至完成所述目标第一训练样本的所述第一人脸图像样本集合中的图像的提取；
S29：根据所有的所述待对比的二维投影图像和所有的所述待对比的二维原始图像对所述初始三维人脸纹理模型生成模块进行训练及参数更新；
S210：重复执行所述从所述多个第一训练样本中获取一个所述第一训练样本作为目标第一训练样本的步骤，直至达到第二预设的训练结束条件，将达到所述第二预设的训练结束条件的所述初始三维人脸纹理模型生成模块作为所述目标三维人脸纹理模型生成模块。
本实施例实现了根据第一人脸图像样本集合中多张二维人脸图像确定三维人脸纹理模型，实现了针对二维人脸图像建立三维人脸纹理模型，为后续进行光照和纹理扰动后提供了基础。
对于S21，依次从所述多个第一训练样本中获取一个所述第一训练样本，将获取的所述第一训练样本作为目标第一训练样本。
对于S22，分别将所述目标第一训练样本的所述第一人脸图像样本集合中每张人脸图像，输入所述初始三维人脸纹理模型生成模块的特征提取子模块进行高层特征提取，将提取的所有高层特征作为待处理的特征数据。也就是说，待处理的特征数据是一个多维向量，而且待处理的特征数据表述的多个视角的人脸图像的高层特征。
对于S23，将所述待处理的特征数据输入所述初始三维人脸纹理模型生成模块的线性变换子模块进行线性变换处理以用于提取身份向量、表情参数向量和姿态参数向量，将提取得到的身份向量、表情参数向量和姿态参数向量作为所述目标第一训练样本对应的身份向量、表情参数向量和姿态参数向量。也就是说，每个所述目标第一训练样本对应的一个身份向量、一个表情参数向量和一个姿态参数向量。
身份向量，用于表征所述目标第一训练样本的所述第一人脸图像样本集合对应的人体的脸部特性。
表情参数向量，用于表征所述目标第一训练样本的所述第一人脸图像样本集合对应的人体的脸部表情的参数的向量。
姿态参数向量，用于表征所述目标第一训练样本的所述第一人脸图像样本集合对应的人体的脸部姿态的参数的向量。
对于S24，将所述身份向量、所述表情参数向量和所述姿态参数向量输入所述初始三维人脸纹理模型生成模块的三维人脸模型生成子模块进行三维人脸模型生成，将生成的三维人脸模型作为待处理的三维人脸模型。从而实现了根据多个视角的二维人脸图像生成三维人脸模型。
对于S25，采用所述初始三维人脸纹理模型生成模块的纹理采集子模块，根据所述目标第一训练样本的所述第一人脸图像样本集合中各个人脸图像的视角和姿态参数向量，将所述待处理的三维人脸模型的三维点投影到所述目标第一训练样本的所述第一人脸图像样本集合中，根据投影到的所有二维点的像素值，确定所述待处理的三维人脸模型的三维点的像素值，将确定的三维点的像素值添加到所述待处理的三维人脸模型中以完成纹理映射，将完成纹理映射的所述待处理的三维人脸模型作为待处理的三维人脸纹理模型。
对于S26，依次从所述目标第一训练样本的所述第一人脸图像样本集合中获取一张图像，将获取的图像作为待对比的二维原始图像。
对于S27，将所述待处理的三维人脸纹理模型按所述待对比的二维原始图像对应的视角进行二维图像投影，将投影得到的二维图像作为待对比的二维投影图像。
对于S28，重复执行步骤S26至步骤S28，直至完成所述目标第一训练样本的所述第一人脸图像样本集合中的图像的提取。
对于S29，将所有的所述待对比的二维投影图像和所有的所述待对比的二维原始图像输入预设的损失函数进行计算，得到所述初始三维人脸纹理模型生成模块的损失值，根据所述损失值更新所述初始三维人脸纹理模型生成模块的参数，更新后的所述初始三维人脸纹理模型生成模块被用于下一次计算所述待对比的二维投影图像；
对于S210，重复执行步骤S21至步骤S210，直至达到第二预设的训练结束条件。
所述第二预设的训练结束条件包括：所述初始三维人脸纹理模型的损失值达到第三收敛条件或所述初始三维人脸纹理模型的迭代次数达到第四收敛条件。
所述第三收敛条件，是指相邻两次计算的所述初始三维人脸纹理模型的损失值的大小满足lipschitz条件(利普希茨连续条件)。
所述初始三维人脸纹理模型的迭代次数，是指所述初始三维人脸纹理模型被训练的次数，也就是说，所述初始三维人脸纹理模型被训练一次，迭代次数增加1。
所述第四收敛条件是一个具体数值。
在一个实施例中，上述三维人脸模型生成子模块采用公式S表述为：
Figure BDA0002997432480000131
其中，
Figure BDA0002997432480000132
为S的平均值的向量，Eid为人物身份基础向量，Eexp为表情参数基础向量，xid是所述目标第一训练样本对应的所述身份向量，xexp是所述目标第一训练样本对应的所述表情参数向量，
Figure BDA0002997432480000133
Eid、Eexp为已知常量。
本实施例实现了根据身份向量和表情参数向量计算三维人脸模型，从而实现了快速根据二维图像快速构建三维图像，为针对环境光照条件和不同视角下表情纹理的变化进行有效建模提供了基础。
可以理解是，将
Figure BDA0002997432480000134
Eid、Eexp、xid、xexp代入公式S，将计算得到三维人脸模型。
在一个实施例中，上述根据所述姿态参数向量、所述目标第一训练样本的所述第一人脸图像样本集合、所述待处理的三维人脸模型和所述初始三维人脸纹理模型生成模块的纹理采集子模块进行纹理映射，得到待处理的三维人脸纹理模型的步骤，包括：
S251：采用所述初始三维人脸纹理模型生成模块的所述纹理采集子模块，根据所述目标第一训练样本的所述第一人脸图像样本集合中的各个图像各种对应的视角和所述姿态参数向量，分别将所述待处理的三维人脸模型上的每个三维点进行二维像素投影，得到所述待处理的三维人脸模型中各个三维点各自对应的待处理的二维投影像素坐标集合；
S252：采用所述初始三维人脸纹理模型生成模块的所述纹理采集子模块，针对所述待处理的三维人脸模型中的每个三维点，根据所述目标第一训练样本的所述第一人脸图像样本集合、所有所述待处理的二维投影像素坐标集合进行每个三维点的纹理生成，得到所述待处理的三维人脸纹理模型。
本实施例实现了对待处理的三维人脸模型添加纹理，从而构建了待处理的三维人脸纹理模型，为针对环境光照条件和不同视角下表情纹理的变化进行有效建模提供了基础。
对于S251，采用所述初始三维人脸纹理模型生成模块的所述纹理采集子模块，根据所述目标第一训练样本的所述第一人脸图像样本集合中的各个图像各种对应的视角和所述姿态参数向量，分别将所述待处理的三维人脸模型上的每个三维点投影到所述目标第一训练样本的所述第一人脸图像样本集合中的各个图像中，得到各个三维点在所述目标第一训练样本的所述第一人脸图像样本集合中的各个图像中的二维投影像素坐标，将所有所述二维投影像素坐标作为所述待处理的三维人脸模型中各个三维点各自对应的待处理的二维投影像素坐标集合。也就是说，每个待处理的二维投影像素坐标集合中的二维投影像素坐标的数量与所述目标第一训练样本的所述第一人脸图像样本集合中的图像的数量相同。
可选的，分别将所述待处理的三维人脸模型上的每个三维点进行二维像素投影的计算公式Pr(v)为：
Figure BDA0002997432480000141
其中，vx、vy、vz是所述待处理的三维人脸模型上的三维点的三维坐标，f为所述姿态参数向量的缩放系数，α、β、γ是所述姿态参数向量的欧拉旋转角度，tx是所述姿态参数向量的二维坐标在x轴的平移变量，ty是所述姿态参数向量的二维坐标在y轴的平移变量。
也就是说，计算公式Pr(v)得到的是在一个图像上的二维投影像素坐标。
对于S252，采用所述初始三维人脸纹理模型生成模块的所述纹理采集子模块，针对所述待处理的三维人脸模型中的每个三维点，分别根据每个所述待处理的二维投影像素坐标集合在所述目标第一训练样本的所述第一人脸图像样本集合中对应的各个像素点的颜色值，确定各个三维点的纹理，将各个三维点的纹理添加到所述待处理的三维人脸模型中，将添加了三维点的纹理的所述待处理的三维人脸模型作为所述待处理的三维人脸纹理模型。
在一个实施例中，上述采用所述初始三维人脸纹理模型生成模块的所述纹理采集子模块，针对所述待处理的三维人脸模型中的每个三维点，根据所述目标第一训练样本的所述第一人脸图像样本集合、所有所述待处理的二维投影像素坐标集合进行每个三维点的纹理生成，得到所述待处理的三维人脸纹理模型的步骤，包括：
S2521：从所述待处理的三维人脸模型中提取一个三维点作为待处理的三维点；
S2522：根据所述待处理的三维点对应的所述待处理的二维投影像素坐标集合，从所述目标第一训练样本的所述第一人脸图像样本集合中获取像素值，得到待处理的像素值集合；
S2523：对所述待处理的像素值集合进行像素值的平均值计算，得到所述待处理的三维点对应的三维点像素值；
S2524：重复执行所述从所述待处理的三维人脸模型中提取一个三维点作为待处理的三维点的步骤，直至完成所述待处理的三维人脸模型中三维点的提取；
S2525：将所有所述三维点像素值添加到所述待处理的三维人脸模型中，得到所述待处理的三维人脸纹理模型。
本实施例实现了对所述待处理的三维人脸模型添加纹理，为后续针对环境光照条件和不同视角下表情纹理的变化进行有效建模提高了基础。
对于S2521，依次从所述待处理的三维人脸模型中提取一个三维点，将提取的三维点作为待处理的三维点。
对于S2522，根据所述待处理的三维点对应的所述待处理的二维投影像素坐标集合中的每个二维投影像素坐标，从所述目标第一训练样本的所述第一人脸图像样本集合中获取像素值，将获取的所有像素值作为待处理的像素值集合。
像素值，也就是像素点的颜色值。
对于S2523，对所述待处理的像素值集合进行像素值的平均值计算，将计算得到的平均值作为所述待处理的三维点对应的三维点像素值。
可以理解的是，也可以对所述待处理的像素值集合进行像素值采用其他算法进行计算以作为所述待处理的三维点对应的三维点像素值，比如，采用最大值算法，在此不做限定。
对于S2524，重复执行步骤S2521至步骤S2524，直至完成所述待处理的三维人脸模型中三维点的提取。
对于S2525，基于相同的三维坐标，分别将每个所述三维点像素值添加到所述待处理的三维人脸模型中，将添加了三维点像素值的所述待处理的三维人脸模型作为所述待处理的三维人脸纹理模型。比如，将三维点A对应的所述三维点像素值添加到所述待处理的三维人脸模型中的三维点A对应的位置，在此举例不做具体限定。
在一个实施例中，上述根据所有的所述待对比的二维投影图像和所有的所述待对比的二维原始图像对所述初始三维人脸纹理模型生成模块进行训练及参数更新的步骤，包括：
S291：采用预设的损失函数，根据所有的所述待对比的二维投影图像和所有的所述待对比的二维原始图像对所述初始三维人脸纹理模型生成模块进行训练及参数更新；
其中，所述预设的损失函数计算公式H为：
Figure BDA0002997432480000161
L2(A,B)＝|F(B,A)|+|F(A,B)|
其中，k是所述目标第一训练样本的第一人脸图像样本集合中图像的数量，A是所述待对比的二维原始图像，B是所述待对比的二维原始图像A对应的所述待对比的二维投影图像，也就是说A和B是图像对，L1(A,B)是欧氏距离，F()是光流估计函数，|F()|是光流估计函数的范数(也就是光流向量中各个元素绝对值的和)。
本实施例实现了采用欧氏距离和光流估计函数组合作为训练所述初始三维人脸纹理模型时的损失函数，从而提高了训练得到的目标三维人脸纹理模型生成模块在欧氏距离和光流估计上的准确性。
对于S291，将所有的所述待对比的二维投影图像和所有的所述待对比的二维原始图像输入预设的损失函数进行计算，得到所述初始三维人脸纹理模型生成模块的损失值，根据所述损失值更新所述初始三维人脸纹理模型生成模块的参数，更新后的所述初始三维人脸纹理模型生成模块被用于下一次计算所述待对比的二维投影图像。
A和B是图像对，也就是说，图像对的数量和所有的所述待对比的二维投影图像的数量相同，图像对的数量和所述目标第一训练样本的所述第一人脸图像样本集合中的图像的数量相同。
在一个实施例中，上述根据所述待扰动的三维人脸纹理模型、所述预设的图像投影及纹理映射模型和所述预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到所述目标第二训练样本对应的待训练的二维人脸图像集合的步骤，包括：
S61：获取预设光照条件；采用所述预设的图像投影及纹理映射模型，根据所述预设光照条件、所述待扰动的三维人脸纹理模型的三维纹理和姿态参数向量，对所述待扰动的三维人脸纹理模型进行光照和纹理的扰动，得到扰动后的三维人脸纹理模型；
S62：分别针对所述预设的投影角度集合中的每个投影角度，根据所述扰动后的三维人脸纹理模型的所述三维纹理和所述姿态参数向量进行二维图像投影，得到所述目标第二训练样本对应的所述待训练的二维人脸图像集合。
本实施例实现了对所述待扰动的三维人脸纹理模型进行光照和纹理的扰动，然后根据所述预设的投影角度集合进行二维图像投影，在第二人脸图像样本集合的角度有限的情况下，也可以根据需要通过设置所述预设的投影角度集合中投影得到各个角度的光照和纹理扰动后的二维图像。
对于S61，可以从数据库中获取预设光照条件，也可以是用户输入的预设光照条件，还可以是第三方应用系统发送的预设光照条件，还可以将预设光照条件写入实现本申请的程序文件中。
采用所述预设的图像投影及纹理映射模型，根据所述预设光照条件、所述待扰动的三维人脸纹理模型的三维纹理和所述待扰动的三维人脸纹理模型的姿态参数向量，对所述待扰动的三维人脸纹理模型进行光照和三维纹理的扰动，将完成扰动的所述待扰动的三维人脸纹理模型作为扰动后的三维人脸纹理模型。
三维纹理，也就是三维点的像素值组成的纹理。
对于S62，分别针对所述预设的投影角度集合中的每个投影角度，根据所述扰动后的三维人脸纹理模型的所述三维纹理和所述姿态参数向量进行二维图像投影，也就是说，每个投影角度会得到一张二维图像，所述待训练的二维人脸图像集合中的图像数量与所述预设的投影角度集合中的投影角度相同。
参照图2，本申请还提出了一种人脸识别模型的训练装置，所述装置包括：
第一训练样本获取模块100，用于获取多个第一训练样本，所述多个第一训练样本中每个第一训练样本包括：第一人脸图像样本集合；
目标三维人脸纹理模型生成模块确定模块200，用于采用所述多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的所述初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块；
第二训练样本获取模块300，用于获取多个第二训练样本，所述多个第二训练样本中每个第二训练样本包括：第二人脸图像样本集合和人脸图像标定值；
目标第二训练样本确定模块400，用于从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本；
待扰动的三维人脸纹理模型确定模块500，用于基于所述目标三维人脸纹理模型生成模块，根据所述目标第二训练样本的所述第二人脸图像样本集合进行三维人脸纹理模型生成，得到待扰动的三维人脸纹理模型；
二维人脸图像生成模块600，用于获取预设的图像投影及纹理映射模型和预设的投影角度集合，根据所述待扰动的三维人脸纹理模型、所述预设的图像投影及纹理映射模型和所述预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到所述目标第二训练样本对应的待训练的二维人脸图像集合；
训练及参数更新模块700，用于根据所述目标第二训练样本对应的所述待训练的二维人脸图像集合和所述人脸图像标定值对初始人脸识别模型进行训练及参数更新，重复执行所述从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本的步骤，直至达到第一预设的训练结束条件，将达到所述第一预设的训练结束条件的所述初始人脸识别模型作为目标人脸识别模型。
本实施例通过首先采用多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块，然后基于目标三维人脸纹理模型生成模块，根据目标第二训练样本的第二人脸图像样本集合进行三维人脸纹理模型生成，得到待扰动的三维人脸纹理模型，根据待扰动的三维人脸纹理模型、预设的图像投影及纹理映射模型和预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到目标第二训练样本对应的待训练的二维人脸图像集合，最后根据目标第二训练样本对应的待训练的二维人脸图像集合和人脸图像标定值对初始人脸识别模型进行训练及参数更新，从而实现了针对环境光照条件和不同视角下表情纹理的变化进行有效建模，采用光照和纹理扰动后的二维人脸图像进行初始人脸识别模型的训练，提高了人脸识别模型对光照扰动和纹理扰动的鲁棒性。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存人脸识别模型的训练方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸识别模型的训练方法。所述人脸识别模型的训练方法，包括：获取多个第一训练样本，所述多个第一训练样本中每个第一训练样本包括：第一人脸图像样本集合；采用所述多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的所述初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块；获取多个第二训练样本，所述多个第二训练样本中每个第二训练样本包括：第二人脸图像样本集合和人脸图像标定值；从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本；基于所述目标三维人脸纹理模型生成模块，根据所述目标第二训练样本的所述第二人脸图像样本集合进行三维人脸纹理模型生成，得到待扰动的三维人脸纹理模型；获取预设的图像投影及纹理映射模型和预设的投影角度集合，根据所述待扰动的三维人脸纹理模型、所述预设的图像投影及纹理映射模型和所述预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到所述目标第二训练样本对应的待训练的二维人脸图像集合；根据所述目标第二训练样本对应的所述待训练的二维人脸图像集合和所述人脸图像标定值对初始人脸识别模型进行训练及参数更新；重复执行所述从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本的步骤，直至达到第一预设的训练结束条件，将达到所述第一预设的训练结束条件的所述初始人脸识别模型作为目标人脸识别模型。
本实施例通过首先采用多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块，然后基于目标三维人脸纹理模型生成模块，根据目标第二训练样本的第二人脸图像样本集合进行三维人脸纹理模型生成，得到待扰动的三维人脸纹理模型，根据待扰动的三维人脸纹理模型、预设的图像投影及纹理映射模型和预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到目标第二训练样本对应的待训练的二维人脸图像集合，最后根据目标第二训练样本对应的待训练的二维人脸图像集合和人脸图像标定值对初始人脸识别模型进行训练及参数更新，从而实现了针对环境光照条件和不同视角下表情纹理的变化进行有效建模，采用光照和纹理扰动后的二维人脸图像进行初始人脸识别模型的训练，提高了人脸识别模型对光照扰动和纹理扰动的鲁棒性。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种人脸识别模型的训练方法，包括步骤：获取多个第一训练样本，所述多个第一训练样本中每个第一训练样本包括：第一人脸图像样本集合；采用所述多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的所述初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块；获取多个第二训练样本，所述多个第二训练样本中每个第二训练样本包括：第二人脸图像样本集合和人脸图像标定值；从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本；基于所述目标三维人脸纹理模型生成模块，根据所述目标第二训练样本的所述第二人脸图像样本集合进行三维人脸纹理模型生成，得到待扰动的三维人脸纹理模型；获取预设的图像投影及纹理映射模型和预设的投影角度集合，根据所述待扰动的三维人脸纹理模型、所述预设的图像投影及纹理映射模型和所述预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到所述目标第二训练样本对应的待训练的二维人脸图像集合；根据所述目标第二训练样本对应的所述待训练的二维人脸图像集合和所述人脸图像标定值对初始人脸识别模型进行训练及参数更新；重复执行所述从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本的步骤，直至达到第一预设的训练结束条件，将达到所述第一预设的训练结束条件的所述初始人脸识别模型作为目标人脸识别模型。
上述执行的人脸识别模型的训练方法，通过首先采用多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块，然后基于目标三维人脸纹理模型生成模块，根据目标第二训练样本的第二人脸图像样本集合进行三维人脸纹理模型生成，得到待扰动的三维人脸纹理模型，根据待扰动的三维人脸纹理模型、预设的图像投影及纹理映射模型和预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到目标第二训练样本对应的待训练的二维人脸图像集合，最后根据目标第二训练样本对应的待训练的二维人脸图像集合和人脸图像标定值对初始人脸识别模型进行训练及参数更新，从而实现了针对环境光照条件和不同视角下表情纹理的变化进行有效建模，采用光照和纹理扰动后的二维人脸图像进行初始人脸识别模型的训练，提高了人脸识别模型对光照扰动和纹理扰动的鲁棒性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种人脸识别模型的训练方法，其特征在于，所述方法包括：
获取多个第一训练样本，所述多个第一训练样本中每个第一训练样本包括：第一人脸图像样本集合；
采用所述多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的所述初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块；
获取多个第二训练样本，所述多个第二训练样本中每个第二训练样本包括：第二人脸图像样本集合和人脸图像标定值；
从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本；
基于所述目标三维人脸纹理模型生成模块，根据所述目标第二训练样本的所述第二人脸图像样本集合进行三维人脸纹理模型生成，得到待扰动的三维人脸纹理模型；
获取预设的图像投影及纹理映射模型和预设的投影角度集合，根据所述待扰动的三维人脸纹理模型、所述预设的图像投影及纹理映射模型和所述预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到所述目标第二训练样本对应的待训练的二维人脸图像集合；
根据所述目标第二训练样本对应的所述待训练的二维人脸图像集合和所述人脸图像标定值对初始人脸识别模型进行训练及参数更新；
重复执行所述从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本的步骤，直至达到第一预设的训练结束条件，将达到所述第一预设的训练结束条件的所述初始人脸识别模型作为目标人脸识别模型。
2.根据权利要求1所述的人脸识别模型的训练方法，其特征在于，所述采用所述多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的所述初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块的步骤，包括：
从所述多个第一训练样本中获取一个所述第一训练样本作为目标第一训练样本；
将所述目标第一训练样本的所述第一人脸图像样本集合输入所述初始三维人脸纹理模型生成模块的特征提取子模块进行特征提取，得到待处理的特征数据；
将所述待处理的特征数据输入所述初始三维人脸纹理模型生成模块的线性变换子模块进行线性变换处理，得到所述目标第一训练样本对应的身份向量、表情参数向量和姿态参数向量；
将所述身份向量、所述表情参数向量和所述姿态参数向量输入所述初始三维人脸纹理模型生成模块的三维人脸模型生成子模块进行三维人脸模型生成，得到待处理的三维人脸模型；
根据所述姿态参数向量、所述目标第一训练样本的所述第一人脸图像样本集合、所述待处理的三维人脸模型和所述初始三维人脸纹理模型生成模块的纹理采集子模块进行纹理映射，得到待处理的三维人脸纹理模型；
从所述目标第一训练样本的所述第一人脸图像样本集合中获取一张图像作为待对比的二维原始图像；
根据所述待对比的二维原始图像对应的视角，将所述待处理的三维人脸纹理模型进行二维图像投影，得到待对比的二维投影图像；
重复执行所述从所述目标第一训练样本的所述第一人脸图像样本集合中获取一张图像作为待对比的二维原始图像的步骤，直至完成所述目标第一训练样本的所述第一人脸图像样本集合中的图像的提取；
根据所有的所述待对比的二维投影图像和所有的所述待对比的二维原始图像对所述初始三维人脸纹理模型生成模块进行训练及参数更新；
重复执行所述从所述多个第一训练样本中获取一个所述第一训练样本作为目标第一训练样本的步骤，直至达到第二预设的训练结束条件，将达到所述第二预设的训练结束条件的所述初始三维人脸纹理模型生成模块作为所述目标三维人脸纹理模型生成模块。
3.根据权利要求2所述的人脸识别模型的训练方法，其特征在于，所述三维人脸模型生成子模块采用公式S表述为：
Figure FDA0002997432470000021
其中，
Figure FDA0002997432470000022
为S的平均值的向量，Eid为人物身份基础向量，Eexp为表情参数基础向量，xid是所述目标第一训练样本对应的所述身份向量，xexp是所述目标第一训练样本对应的所述表情参数向量，
Figure FDA0002997432470000031
Eid、Eexp为已知常量。
4.根据权利要求2所述的人脸识别模型的训练方法，其特征在于，所述根据所述姿态参数向量、所述目标第一训练样本的所述第一人脸图像样本集合、所述待处理的三维人脸模型和所述初始三维人脸纹理模型生成模块的纹理采集子模块进行纹理映射，得到待处理的三维人脸纹理模型的步骤，包括：
采用所述初始三维人脸纹理模型生成模块的所述纹理采集子模块，根据所述目标第一训练样本的所述第一人脸图像样本集合中的各个图像各种对应的视角和所述姿态参数向量，分别将所述待处理的三维人脸模型上的每个三维点进行二维像素投影，得到所述待处理的三维人脸模型中各个三维点各自对应的待处理的二维投影像素坐标集合；
采用所述初始三维人脸纹理模型生成模块的所述纹理采集子模块，针对所述待处理的三维人脸模型中的每个三维点，根据所述目标第一训练样本的所述第一人脸图像样本集合、所有所述待处理的二维投影像素坐标集合进行每个三维点的纹理生成，得到所述待处理的三维人脸纹理模型。
5.根据权利要求4所述的人脸识别模型的训练方法，其特征在于，所述采用所述初始三维人脸纹理模型生成模块的所述纹理采集子模块，针对所述待处理的三维人脸模型中的每个三维点，根据所述目标第一训练样本的所述第一人脸图像样本集合、所有所述待处理的二维投影像素坐标集合进行每个三维点的纹理生成，得到所述待处理的三维人脸纹理模型的步骤，包括：
从所述待处理的三维人脸模型中提取一个三维点作为待处理的三维点；
根据所述待处理的三维点对应的所述待处理的二维投影像素坐标集合，从所述目标第一训练样本的所述第一人脸图像样本集合中获取像素值，得到待处理的像素值集合；
对所述待处理的像素值集合进行像素值的平均值计算，得到所述待处理的三维点对应的三维点像素值；
重复执行所述从所述待处理的三维人脸模型中提取一个三维点作为待处理的三维点的步骤，直至完成所述待处理的三维人脸模型中三维点的提取；
将所有所述三维点像素值添加到所述待处理的三维人脸模型中，得到所述待处理的三维人脸纹理模型。
6.根据权利要求2所述的人脸识别模型的训练方法，其特征在于，所述根据所有的所述待对比的二维投影图像和所有的所述待对比的二维原始图像对所述初始三维人脸纹理模型生成模块进行训练及参数更新的步骤，包括：
采用预设的损失函数，根据所有的所述待对比的二维投影图像和所有的所述待对比的二维原始图像对所述初始三维人脸纹理模型生成模块进行训练及参数更新；
其中，所述预设的损失函数计算公式H为：
Figure FDA0002997432470000041
L2(A,B)＝|F(B,A)|+|F(A,B)|
其中，k是所述目标第一训练样本的第一人脸图像样本集合中图像的数量，A是所述待对比的二维原始图像，B是所述待对比的二维投影图像A对应的所述待对比的二维投影图像，也就是说A和B是图像对，L1(A,B)是欧氏距离，F()是光流估计函数，|F()|是光流估计函数的范数(也就是光流向量中各个元素绝对值的和)。
7.根据权利要求1所述的人脸识别模型的训练方法，其特征在于，所述根据所述待扰动的三维人脸纹理模型、所述预设的图像投影及纹理映射模型和所述预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到所述目标第二训练样本对应的待训练的二维人脸图像集合的步骤，包括：
获取预设光照条件；采用所述预设的图像投影及纹理映射模型，根据所述预设光照条件、所述待扰动的三维人脸纹理模型的三维纹理和姿态参数向量，对所述待扰动的三维人脸纹理模型进行光照和纹理的扰动，得到扰动后的三维人脸纹理模型；
分别针对所述预设的投影角度集合中的每个投影角度，根据所述扰动后的三维人脸纹理模型的所述三维纹理和所述姿态参数向量进行二维图像投影，得到所述目标第二训练样本对应的所述待训练的二维人脸图像集合。
8.一种人脸识别模型的训练装置，其特征在于，所述装置包括：
第一训练样本获取模块，用于获取多个第一训练样本，所述多个第一训练样本中每个第一训练样本包括：第一人脸图像样本集合；
目标三维人脸纹理模型生成模块确定模块，用于采用所述多个第一训练样本对初始三维人脸纹理模型生成模块进行训练，将训练结束的所述初始三维人脸纹理模型生成模块作为目标三维人脸纹理模型生成模块；
第二训练样本获取模块，用于获取多个第二训练样本，所述多个第二训练样本中每个第二训练样本包括：第二人脸图像样本集合和人脸图像标定值；
目标第二训练样本确定模块，用于从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本；
待扰动的三维人脸纹理模型确定模块，用于基于所述目标三维人脸纹理模型生成模块，根据所述目标第二训练样本的所述第二人脸图像样本集合进行三维人脸纹理模型生成，得到待扰动的三维人脸纹理模型；
二维人脸图像生成模块，用于获取预设的图像投影及纹理映射模型和预设的投影角度集合，根据所述待扰动的三维人脸纹理模型、所述预设的图像投影及纹理映射模型和所述预设的投影角度集合进行光照和纹理的扰动以及二维人脸图像生成，得到所述目标第二训练样本对应的待训练的二维人脸图像集合；
训练及参数更新模块，用于根据所述目标第二训练样本对应的所述待训练的二维人脸图像集合和所述人脸图像标定值对初始人脸识别模型进行训练及参数更新，重复执行所述从所述多个第二训练样本中获取一个所述第二训练样本作为目标第二训练样本的步骤，直至达到第一预设的训练结束条件，将达到所述第一预设的训练结束条件的所述初始人脸识别模型作为目标人脸识别模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110335645.0A 2021-03-29 2021-03-29 人脸识别模型的训练方法、装置、设备及存储介质 Active CN112818963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110335645.0A CN112818963B (zh) 2021-03-29 2021-03-29 人脸识别模型的训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110335645.0A CN112818963B (zh) 2021-03-29 2021-03-29 人脸识别模型的训练方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112818963A true CN112818963A (zh) 2021-05-18
CN112818963B CN112818963B (zh) 2022-08-26

Family

ID=75863527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110335645.0A Active CN112818963B (zh) 2021-03-29 2021-03-29 人脸识别模型的训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112818963B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838176A (zh) * 2021-09-16 2021-12-24 网易（杭州）网络有限公司 模型的训练方法、三维人脸图像生成方法及设备
CN113989407A (zh) * 2021-12-30 2022-01-28 青岛美迪康数字工程有限公司 Ct影像中肢体部位识别模型训练方法及系统
CN114387647A (zh) * 2021-12-29 2022-04-22 北京瑞莱智慧科技有限公司 对抗扰动生成方法、装置及存储介质
CN114863506A (zh) * 2022-03-18 2022-08-05 珠海优特电力科技股份有限公司 准入权限的验证方法、装置、系统和身份认证终端
CN116740261A (zh) * 2022-03-02 2023-09-12 腾讯科技（深圳）有限公司 图像重建方法和装置、图像重建模型的训练方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022215A (zh) * 2016-05-05 2016-10-12 北京海鑫科金高科技股份有限公司 人脸特征点定位方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022215A (zh) * 2016-05-05 2016-10-12 北京海鑫科金高科技股份有限公司 人脸特征点定位方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张淑军等: "基于AAM提取几何特征的人脸识别算法", 《系统仿真学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838176A (zh) * 2021-09-16 2021-12-24 网易（杭州）网络有限公司 模型的训练方法、三维人脸图像生成方法及设备
CN113838176B (zh) * 2021-09-16 2023-09-15 网易（杭州）网络有限公司 模型的训练方法、三维人脸图像生成方法及设备
CN114387647A (zh) * 2021-12-29 2022-04-22 北京瑞莱智慧科技有限公司 对抗扰动生成方法、装置及存储介质
CN113989407A (zh) * 2021-12-30 2022-01-28 青岛美迪康数字工程有限公司 Ct影像中肢体部位识别模型训练方法及系统
CN116740261A (zh) * 2022-03-02 2023-09-12 腾讯科技（深圳）有限公司 图像重建方法和装置、图像重建模型的训练方法和装置
CN114863506A (zh) * 2022-03-18 2022-08-05 珠海优特电力科技股份有限公司 准入权限的验证方法、装置、系统和身份认证终端

Also Published As

Publication number Publication date
CN112818963B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN112818963B (zh) 人脸识别模型的训练方法、装置、设备及存储介质
CN111968235B (zh) 一种物体姿态估计方法、装置、系统和计算机设备
KR102592270B1 (ko) 얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체
CN111797650A (zh) 障碍物的识别方法、装置、计算机设备和存储介质
US10515456B2 (en) Synthesizing hair features in image content based on orientation data from user guidance
CN109829353B (zh) 一种基于空间约束的人脸图像风格化方法
WO2022178951A1 (zh) 三维人体姿态的估计方法、装置、设备及存储介质
CN112464945A (zh) 基于深度学习算法的文本识别方法、装置、设备及存储介质
CN112233222A (zh) 基于神经网络关节点估计的人体参数化三维模型变形方法
CN113221645B (zh) 目标模型训练方法、人脸图像生成方法以及相关装置
JP2014165874A (ja) 画像処理装置、画像処理方法、及びプログラム
CN111815768B (zh) 三维人脸重建方法和装置
CN112287730A (zh) 姿态识别方法、装置、系统、存储介质及设备
CN112330569A (zh) 模型训练方法、文本去噪方法、装置、设备及存储介质
CN110472588B (zh) 锚点框确定方法、装置、计算机设备和存储介质
CN113763535A (zh) 一种特征潜码提取方法、计算机设备及存储介质
CN109934926B (zh) 模型数据处理方法、装置、可读存储介质和设备
CN112233223A (zh) 基于三维点云的人体参数化模型自动变形方法和装置
US11176422B2 (en) Apparatus and system for unsupervised disentangled representation learning with a residual variational autoencoder
CN116342765A (zh) 基于照片的虚拟人模型生成方法、装置、设备及存储介质
CN116311358A (zh) 一种双手三维姿态估计方法、装置、电子设备及存储介质
CN112307799A (zh) 姿态识别方法、装置、系统、存储介质及设备
CN115511926A (zh) 一种基于拟牛顿优化的点云匹配方法和装置
CN114419691B (zh) 人脸衰老图像的生成方法、模型训练方法、设备和介质
CN114742990A (zh) 基于人工智能的目标检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant