CN110543845A - 一种三维人脸的人脸级联回归模型训练方法及重建方法 - Google Patents

一种三维人脸的人脸级联回归模型训练方法及重建方法 Download PDF

Info

Publication number
CN110543845A
CN110543845A CN201910805668.6A CN201910805668A CN110543845A CN 110543845 A CN110543845 A CN 110543845A CN 201910805668 A CN201910805668 A CN 201910805668A CN 110543845 A CN110543845 A CN 110543845A
Authority
CN
China
Prior art keywords
component
dimensional
face
identity
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910805668.6A
Other languages
English (en)
Other versions
CN110543845B (zh
Inventor
赵启军
田婉
刘峰
武岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910805668.6A priority Critical patent/CN110543845B/zh
Publication of CN110543845A publication Critical patent/CN110543845A/zh
Application granted granted Critical
Publication of CN110543845B publication Critical patent/CN110543845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种三维人脸的人脸级联回归模型训练方法及重建方法,训练方法包括:首先预处理,采集标准身份组件和标准残余组件,提取标准真实人脸特征点,获取初始身份组件和残余组件;然后进行模型训练:拟合身份组件和残余组件的级联回归模型,对身份组件和残余组件进行更新,迭代更新直到更新的身份组件与标准身份组件的差异小于自定义阈值,且更新的残余组件与标准残余组件的差异小于自定义阈值,训练结束,得到多级级联回归模型。本发明使得任意图像集合的三维人脸重建简单易行,不受输入人脸图像的数量和面部状态限制,并能大大提高三维人脸重建的效率。

Description

一种三维人脸的人脸级联回归模型训练方法及重建方法
技术领域
本发明涉及三维人脸重建技术领域,特别涉及一种三维人脸的人脸级联回归模型训练方法及重建方法。
背景技术
三维人脸重建主要目标是从二维图像恢复对应的三维人脸。三维人脸目前在表情分析、人脸动画设计、脸部识别等诸多方面有着广泛应用。现阶段基于任意数量无约束图像集合的三维人脸重建技术大致可以分为传统方法以及深度学习的方法。一类传统方法对多幅图像采用光度立体技术进行三维人脸重建,给定某个人的一个任意数量图像集合,首先通过预定义的模板形状对图片进行人脸姿态正面化,再利用光度立体法估计一个初始化人脸形状,最后选择每个点最佳的图像子集,对形状进行逐点优化。后续工作通过加入特征点约束从而处理姿态更加复杂的人脸图像集合。但上述方法需要同一个人大量人脸图像,且只能恢复一个无表情的三维人脸形状。另一类传统方法基于三维人脸形变模型(3DMM),通过“分析合成方法”拟合三维人脸形变模型参数,获得一个无表情的人脸形状和与每张图片对应的不同表情形状。后续工作将光度立体技术与3DMM结合,从粗到细精细化三维人脸形状,从而获得较好的三维人脸重建效果。但上述方法需要解复杂的优化问题往往耗费较长时间。基于深度学习方法通过训练一个深层网络,提取每张图片对应的三维人脸形变模型(3DMM)的身份相关以及表情相关的系数,再利用网络结构聚合不同图片的身份信息,获得具有一致性的身份参数。由于3DMM模型的限制,这种方法无法处理除表情之外因素带来的脸部形状变化,比如年龄因素或体重的增加或减少。
发明内容
一种三维人脸的人脸级联回归模型训练方法,包括以下步骤:
预处理:采集真实的身份组件和残余组件,作为标准身份组件和标准残余组件;对输入图像集合进行人脸区域检测,采用特征点检测算法来提取输入图像集合的特征点,作为标准真实人脸特征点;获取初始身份组件和初始残余组件;
模型训练:利用所述标准身份组件、标准残余组件、标准真实人脸特征点、初始身份组件和初始残余组件,拟合身份组件和残余组件的级联回归模型,更新身份组件和残余组件,迭代更新直到更新的身份组件与标准身份组件的差异小于自定义阈值,且更新的残余组件与标准残余组件的差异小于自定义阈值,训练结束,得到多级级联回归模型;
其中,身份组件为任意数量无约束环境下获取的二维图像集合的共性身份信息,用一个无表情的三维人脸形状表示;残余组件为每张图像除身份组件外的人脸形状变化。
所述模型训练包括以下步骤:
S1、利用所述标准真实人脸特征点、身份组件和残余组件,计算每张图片对应的三维到二维的投影矩阵;
S2、根据标准真实人脸特征点对应索引三维人脸形状特征点,将所述三维人脸特征点投影到二维平面得到对应的二维特征点,将所述二维特征点级联;
S3、利用级联后的特征点和标准真实人脸特征点计算二维特征点差异向量,利用所述身份组件和所述标准身份组件计算身份组件差异,利用所述残余组件和所述标准残余组件计算残余组件差异,最后计算得到身份组件级联回归模型和残余组件级联回归模型;拟合身份组件和残余组件的级联回归模型,获得身份组件和残余组件更新量,对身份组件和残余组件进行更新;
更新后的身份组件和残余组件重复步骤S1-S3,迭代更新,直到更新的身份组件与标准身份组件的差异小于自定义阈值,且更新的残余组件与标准残余组件的差异小于自定义阈值,训练结束,得到每级级联回归模型。
步骤S1所述投影矩阵的计算具体为:m个训练样本,每个训练样本包含同一人数量为p的图像,i∈[1,p],在k∈[1,K]次训练过程中,其中K和p为自然数,每张图片对应的三维到二维投影矩阵用下式计算:
k=1,2.......K,;为第i张图片的标准真实人脸特征点;表示三维人脸形状上与第i张图片的l个特征点对应的三维特征点,三维人脸形状包括身份组件和残余组件。
步骤S2所述三维人脸特征点投影到二维平面得到第j个训练样本的第i张图片的特征点计算如下
表示第j个训练样本的三位人脸形状上与l个特征点对应的三维顶点,其中l为提取的标准真实人脸特征点,Mi k为透视投影矩阵,将所述特征点级联得到[Uk]j
步骤S3所述对身份组件和残余组件进行更新时,第k次训练的更新方法是:先计算第j个训练样本的第k次迭代器,计算如下:
为第j个训练样本的标准身份组件集合,为第j个训练样本每张图片的标准残余组件集合,为第j个样本第k-1级的残余组件,为第j个样本第k-1级的身份组件,[WID]k∈R3n×(2l×p)为身份组件级联回归模型,[WR]k∈R3n×2l为残余组件级联回归模型,[U*]j为第j个训练样本的标准真实人脸特征点的级联,为第j个训练样本第i张图片的标准真实人脸特征点;
由上式,利用线性最小二乘法拟合此时的身份组件级联回归模型[WID]k∈R3n ×(2l×p)和残余组件级联回归模型[WR]k∈R3n×2l
利用所述身份组件级联回归模型、残余组件级联回归模型和特征点差异向量求解此时初始化形状的改变量,身份组件和残余组件组件更新的计算如下:
[WID]k和[WR]k表示身份和残余形状在第k次迭代的级联回归模型,为标准真实人脸特征点,U*∈R136×i为级联后的标准真实人脸特征点,为第i张图片的三维人脸特征点投影到二维平面得到的特征点,Uk-1为三维人脸特征点投影到二维平面得到的特征点的级联。
该方法可以通过对不同人对应的大量图像进行训练,得到三维重建的人脸级联回归模型,为三维人脸重建提供了计算模型,大大节约了三维人脸重建的时间。
本发明还提供一种采用人脸级联回归模型的三维人脸重建方法,包括以下步骤:
S1、对输入的一个人的多张图像集合进行人脸区域检测提取人脸特征点;获取初始身份组件和初始残余组件;
S2、利用所述人脸特征点、身份组件、残余组件和上述任一项所述的训练方法得到的级联回归模型,对身份组件和残余组件进行更新;
重复步骤S2,直到每级的级联回归模型都作用于身份组件和残余组件,更新完毕,得到最终的身份组件和对应每张图片的残余组件。
步骤S2所述更新身份组件和残余组件的计算如下:
[WID]k和[WR]k表示身份和残余形状在第k次迭代的级联回归模型,为标准真实人脸特征点,U*∈R136×i为级联后的标准真实人脸特征点,为第i张图片的三维人脸特征点投影到二维平面得到的特征点,Uk-1为三维人脸特征点投影到二维平面得到的特征点的级联。
该方法可以通过级联回归模型,重建一个人不同面部状态的身份组件和残余组件,该方法不受输入图像数量的限制,可以对应输出每张图片的残余组件,让重建的三维人脸形状更加真实和丰富。
本发明还提供一种三维人脸的人脸级联回归模型训练装置用于三维人脸的人脸级联回归模型训练,所述装置包括:预处理模块和模型训练模块;
所述预处理模块,用于采集标准身份组件和标准残余组件以及提取输入图像集合的标准真实人脸特征点;
所述模型训练模块,利用所述预处理模块得到的数据进行迭代更新得到级联回归模型。
该装置用于训练人脸级联回归模型,可利用输入的图像集合,进行训练,迭代更新得到身份组件和残余组件对应的每级级联回归模型,可用于重建一个人不同表情、年龄等不同面部状态的身份组件和残余组件,让三维人脸重建的面部信息更加丰富。
本发明还提供一种采用人脸级联回归模型的三维人脸重建装置,用于采用人脸级联回归模型的三维人脸重建,所述装置包括:采集模块和三维重建模块;
所述采集模块,用于提取输入图像集合的标准真实人脸特征点同时获取初始身份组件和残余组件;
所述三维重建模块,利用所述模型训练模块得出的级联回归模型和所述采集模块得出的数据对身份组件和残余组件进行更新。
该装置用于重建输入图像集合的三维人脸形状,最终可输出得到一个人不同表情、年龄等不同面部状态的三维身份组件和每张图片对应的残余组件,得到面部信息丰富的三维人脸形状。
本发明还提供一种电子设备,包括至少一个处理器,以及与所述至少一个处理器通信连接的存储器;所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任一项所述的方法。
与现有技术相比,本发明的有益效果:本方法将三维人脸形状解耦为身份和残余组件,利用二维图片上的特征点在形状空间直接对两种成分进行级联回归估计。无需依赖三维人脸形变模型(3DMM),可以基于多张图像进行3D人脸重建,除了可以对身份特征信息进行处理,还可以对每张图像独有的残余特征信息进行提取处理;人脸的重建效果不受输入图像中的表情、年龄等不同变化所影响;无需固定输入的图像数量;重建的3D人脸视觉效果更佳,并且包含更丰富的个人信息。
附图说明
图1为模型训练的整体框图。
图2为测试级联回归模型的结果示意图。
图3为三维重建的整体步骤流程图。
图4为三维人脸的人脸级联回归模型训练装置结构示意图。
图5为采用人脸级联回归模型的三维人脸重建装置结构示意图。
图6为本发明提供的电子设备结构示意图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实现的技术均属于本发明的范围。
实施例
该发明将任意数量无约束环境下获取的二维图像集合的共性身份信息称为身份组件,用一个无表情的三维人脸形状表示,同时将每张图像除身份组件外的人脸形状变化表示为残余组件,此时残余组件不仅包含表情引发的形变量,也包括由于时间和年龄带来的人脸形变。
如图1所示,一种三维人脸的人脸级联回归模型训练方法,包括以下步骤:
预处理:采集真实的身份组件和残余组件,作为标准身份组件和标准残余组件;对输入图像集合进行人脸区域检测,采用特征点检测算法来提取输入图像集合的特征点,作为标准真实人脸特征点;获取初始身份组件和初始残余组件;
训练数据预处理:在BFM2017数据库上进行训练,首先利用BFM2017数据库提供的形状基与其他属性基合成多组不同的身份组件及残余组件,将身份组件与不同的残余组件相加,能获得同一个人不同的三位人脸形状。通过在空间中进行旋转操作,得到不同角度的三维人脸,投影到二维平面形成不同的二维图片,同时,三位人脸形状上本身具有的三维特征点也投影到二维平面。此时同一个人的多张二维图像、对应特征点、三维身份组件与残余组件就形成了实验所需的训练样本。训练数据预处理,得到的多个人的多张二维图像即为模型训练的输入图像集合,得到的对应特征点即为标准真实人脸特征点,三维身份组件与残余组件即为标准身份组件和标准残余组件。
预处理中,所述输入图像集合为多个人的图像集合,每个人的图像集合有多张图像,可以是不同表情、年龄等有脸部状态变化的图像;所述标准身份组件[SID]*,表示图像集合中对应的每个人真实的身份组件;所述标准残余组件表示图像集合中每张图片对应的真实的残余组件;所述标准真实人脸特征点,表示图像集合中每张图片对应的真实的人脸特征点。按照现有的人脸特征点定义方法,使用l=68个特征点,表示第i张图片的标准真实人脸特征点,将标准真实人脸特征点级联作为一个向量,用U*表示;用[Si]l表示三位人脸形状上与68个特征点对应的三维顶点,Ui∈R2×l代表该三维顶点在二维平面上的投影,则三维顶点与二维特征点满足:
Ui=fiPiRi([Si]l+ti)
此时fi为尺度因子,Pi为正交投影矩阵,Ri为3×3维度的旋转矩阵,ti为平移向量。利用类透视投影矩阵Mi可以近似替代上述三维到二维的映射,于是可将上式简化为
Ui=Mi[Si]l
预处理中所述初始身份组件为不代表任何身份的三维人脸形状模板,在计算机中以点云形式存储,所述初始残余组件为与身份组件维度相同的全零数组。
模型训练:利用所述标准身份组件、标准残余组件、标准真实人脸特征点、初始身份组件和初始残余组件,拟合身份组件和残余组件的级联回归模型,更新身份组件和残余组件,迭代更新直到更新的身份组件与标准身份组件的差异小于自定义阈值,且更新的残余组件与标准残余组件的差异小于自定义阈值,训练结束,得到多级级联回归模型;
其中,身份组件为任意数量无约束环境下获取的二维图像集合的共性身份信息,残余组件为每张图像除身份组件外的人脸形状变化。
如图1所示,输入模块有标准身份组件、标准残余组件和输入图像集合,初始化与预处理模块有初始身份组件、初始残余组件和人脸检测特征点提取。
第一级训练:
计算误差:第一次训练利用输入模块中的输入模块的标准身份组件、标准残余组件、输入图像集合和初始化与预处理模块中的初始身份组件、初始残余组件,计算初始三维组件差异量,初始三维组件差异量为初始身份组件差异量和初始残余组件差异量,初始身份组件差异量为初始身份组件和标准身份组件之间的差异向量,初始残余组件差异量为初始残余组件和标准残余组件之间的差异向量;
投影,计算误差:提取输入图像的特征点,作为标准真实人脸特征点;利用标准真实人脸特征点、初始身份组件和初始残余组件,计算每张图片对应的三维到二维的投影矩阵;利用投影矩阵将初始身份组件和初始残余组件上对应索引的三维人脸形状特征点投影到二维平面,得到二维平面上对应的二维特征点,利用投影得到的二维特征点和标准真实人脸特征点计算初始二维特征点差异量。
更新:利用初始身份组件差异量、初始残余组件差异量和初始二维特征点差异量,拟合身份组件回归模型获得一级身份组件的更新量,拟合残余组件回归模型获得一级残余组件的更新量,即可得到更新的身份组件和更新的残余组件。
第二级训练:
一级更新组件有更新的身份组件、更新的残余组件和标准真实人脸特征点,利用一级更新组件和输入模块的数据作为第二次训练的输入;
计算误差:利用更新的身份组件、更新的残余组件、标准的身份组件和标准的残余组件计算出一级组件差异量;
投影,计算误差:利用投影矩阵将更新的身份组件和更新的残余组件上对应索引的三维人脸形状特征点投影到二维平面,得到二维平面上对应的二维特征点,利用投影得到的二维特征点和标准真实人脸特征点计算初始二维特征点差异量,得到一级二维特征点差异量;
更新:利用一级组件差异量和一级二维特征点差异量,拟合身份组件回归模获得二级身份组件的更新量,拟合残余组件回归模型获得二级残余组件的更新量,即可得到更新的身份组件和更新的残余组件。
重复上述更新的步骤,将标准真实人脸特征点、更新的身份组件和更新的残余组件作为下一次训练的输入,重复上述的计算误差和更新的步骤,直到第K次训练时,更新的身份组件与标准身份组件计算误差后,K级组件差异量小于自定义阈值,训练结束,即可得到K级级联回归模型。
本实施例中,使用点云表示重建得到的三维人脸模型,三位人脸形状模型是经过稠密对齐的,且二维图像中语义特征点在三维点云中的索引是已知的。所有三位人脸形状具有相同数量的三维顶点,且相同解剖学位置的顶点具有相同的序号。其中,三维人脸形状包括身份组件和残余组件用S表示三位人脸形状顶点坐标的集合,
即任意三位人脸形状可以表示如下:
其中表示平均三维人脸形状,ΔSID表示身份组件,ΔSR表示残余组件。ΔSID描述了任意人脸在正面姿态,自然表情时固有的形状身份特征,于是我们将身份形状表示为在不同的观察条件下,均保持不变。残余组件ΔSR描述了特定观察条件下发生在身份形状上的形变。
具体的模型训练步骤为:
S1、利用所述标准真实人脸特征点、身份组件和残余组件,计算每张图片对应的三维到二维的投影矩阵;
本实施例中有m个训练样本,每个训练样本包含同一人数量为p的图像,i∈[1,p],需要训练k∈[1,K]次,则级联回归模型,在k∈[1,K]次训练过程中,每张图片对应的三维到二维投影矩阵可用下式计算:
k=1,2.......K,;为第i张图片的标准真实人脸特征点;表示三维人脸形状上与第i张图片的l个特征点对应的三维特征点,三维人脸形状包括身份组件和残余组件。
S2、根据标准真实人脸特征点对应索引三维人脸形状特征点,将所述三维人脸特征点投影到二维平面得到对应的二维特征点,将所述二维特征点级联;
所述三维人脸特征点投影到二维平面得到第j个训练样本的第i张图片的特征点计算如下
表示第j个训练样本的三位人脸形状上与l个特征点对应的三维顶点,其中l为提取的标准真实人脸特征点的数量,Mi k为透视投影矩阵,将所述特征点级联作为一个向量,用[Uk]j表示。
S3、利用级联后的特征点和标准真实人脸特征点计算二维特征点差异向量,利用所述身份组件和所述标准身份组件计算身份组件差异,利用所述残余组件和所述标准残余组件计算残余组件差异,最后计算得到身份组件级联回归模型和残余组件级联回归模型;拟合身份组件和残余组件的级联回归模型,获得身份组件和残余组件更新量,对身份组件和残余组件进行更新;
所述二维特征点差异向量为标准真实人脸特征点的级联和三维投影到二维平面的特征点的级联间的差异向量;所述身份组件差异向量为标准身份组件与迭代更新过程中的身份组件间的差异向量,所述残余组件差异向量为标准残余组件与迭代更新过程中的残余组件之间的差异向量。
第k次训练,身份组件和残余组件的更新方法是,先计算第j个训练样本的第次迭代器的计算如下:
为第j个训练样本的标准身份组件集合,为第j个训练样本每张图片的标准残余组件集合,为第j个样本第k-1级的残余组件,为第j个样本第k-1级的身份组件,[WID]k∈R3n×(2l×p)为身份组件回归模型,[WR]k∈R3n×2l为残余组件回归模型,[U*]j为第j个训练样本的标准真实人脸特征点的级联,为第j个训练样本第i张图片的标准真实人脸特征点;
由上式,利用线性最小二乘法即可拟合此时的身份组件回归模型[WID]k∈R3n ×(2l×p)和残余组件回归模型[WR]k∈R3n×2l
利用所述回归模型和特征点差异向量求解此时初始化形状的改变量,更新身份组件和残余组件的计算如下:
[WID]k和[WR]k表示身份和残余形状在第k次迭代的回归模型,为标准真实人脸特征点,U*∈R136×i为级联后的标准真实人脸特征点,为第i张图片的三维人脸特征点投影到二维平面得到的特征点,Uk-1为三维人脸特征点投影到二维平面得到的特征点的级联。
更新后的身份组件和残余组件重复步骤S1-S3,迭代更新,直到更新的身份组件与标准身份组件的差异小于自定义阈值,且更新的残余组件与标准残余组件的差异小于自定义阈值,训练结束,得到每级级联回归的模型。
如图2所示,训练结束后,对得到的级联回归模型进行测试。输入一组用于测试的图像集合,通过上述实施例中的级联回归模型训练方法训练的人脸级联回归模型,对输入图片进行人脸重建,可得到对应每张图片的身份组件加上残余组件,测试结果表明,训练所得人脸级联回归模型能够实现三维人脸的重建。
一种采用人脸级联回归模型的三维人脸重建方法,包括以下步骤:
S1、对输入的一个人的多张图像集合进行人脸区域检测提取人脸特征点;获取初始身份组件和初始残余组件;
本步骤所述特征点采用特征点检测算法进行标定,所述初始身份组件为不代表任何身份的三维人脸形状模板,在计算机中以点云形式存储,所述初始残余组件为与身份组件维度相同的全零数组。
S2、利用所述人脸特征点、身份组件、残余组件和权利要求1至5中任一项训练方法得到的级联回归模型,对身份组件和残余组件进行更新;
本步骤所述更新身份组件和残余组件的计算如下:
[WID]k和[WR]k表示身份和残余形状在第k次迭代的回归模型,为标准真实人脸特征点,U*∈R136×i为级联后的标准真实人脸特征点,为第i张图片的三维人脸特征点投影到二维平面得到的特征点,Uk-1为三维人脸特征点投影到二维平面得到的特征点的级联。
重复步骤S2,直到每级的级联回归模型都作用于身份组件和残余组件,更新完毕。
如图3所示,采用人脸级联回归模型的三维人脸重建方法的步骤为:提取输入图像集合的人脸特征点作为标准真实人脸特征点;获取初始组件,初始组件包括初始身份组件和初始残余组件,利用上述采用人脸级联回归模型的训练方法训练得到的一级级联回归模型,对初始组件进行更新,得到一级更新组件;再利用二级级联回归模型对一级更新组件进行更新,得到二级更新组建,以此类推,进行迭代更新,将得到的更新组件作为下一次更新的更新对象,一直到用K级更新组件对更新组件进行更新,可得到最后更新组件,三维人脸重建完毕,得到最终的身份组件和对应每张图片的残余组件。
如图4所示,一种三维人脸的人脸级联回归模型训练装置,用于三维人脸的人脸级联回归模型训练,所述装置包括:预处理模块和模型训练模块;
所述预处理模块,用于采集标准身份组件和标准残余组件以及提取输入图像集合的标准真实人脸特征点;
所述模型训练模块,利用所述预处理模块得到的数据进行迭代更新得到级联回归模型。
如图5所示,一种人脸级联回归模型的三维人脸重建装置,用于采用人脸级联回归模型的三维人脸重建,包括:采集模块和三维重建模块;
所述采集模块,用于提取输入图像集合的标准真实人脸特征点同时获取初始身份组件和残余组件;
所述三维重建模块,利用所述模型训练模块得出的级联回归模型和所述采集模块得出的数据对身份组件和残余组件进行更新。
如图6所示,本发明还提供了一种电子设备,包括至少一个处理器,以及与所述至少一个处理器通信连接的存储器;所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述任一实施例所述的方法。所述输入输出接口可以包括显示器、键盘、鼠标、以及USB接口,用于输入输出数据;电源用于为电子设备提供电能。
本领域技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等可以存储程序代码的介质。
当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,对于装置及电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附的权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种三维人脸的人脸级联回归模型训练方法,其特征在于,包括以下步骤:
预处理:采集真实的身份组件和残余组件,作为标准身份组件和标准残余组件;对输入图像集合进行人脸区域检测,采用特征点检测算法来提取输入图像集合的特征点,作为标准真实人脸特征点;获取初始身份组件和初始残余组件;
模型训练:利用所述标准身份组件、标准残余组件、标准真实人脸特征点、初始身份组件和初始残余组件,拟合身份组件和残余组件的级联回归模型,更新身份组件和残余组件,迭代更新直到更新的身份组件与标准身份组件的差异小于自定义阈值,且更新的残余组件与标准残余组件的差异小于自定义阈值,训练结束,得到多级级联回归模型;
其中,身份组件为任意数量无约束环境下获取的二维图像集合的共性身份信息,用一个无表情的三维人脸形状表示;残余组件为每张图像除身份组件外的人脸形状变化。
2.根据权利要求1中所述的模型训练方法,其特征在于,所述模型训练包括以下步骤:
S1、利用所述标准真实人脸特征点、身份组件和残余组件,计算每张图片对应的三维到二维的投影矩阵;
S2、根据标准真实人脸特征点对应索引三维人脸形状特征点,将所述三维人脸特征点投影到二维平面,得到对应的二维特征点,将所述二维特征点级联;
S3、利用级联后的特征点和标准真实人脸特征点计算二维特征点差异向量,利用所述身份组件和所述标准身份组件计算身份组件差异,利用所述残余组件和所述标准残余组件计算残余组件差异,最后计算得到身份组件级联回归模型和残余组件级联回归模型;拟合身份组件和残余组件的级联回归模型,获得身份组件和残余组件更新量,对身份组件和残余组件进行更新;
更新后的身份组件和残余组件重复步骤S1-S3,迭代更新,直到更新的身份组件与标准身份组件的差异小于自定义阈值,且更新的残余组件与标准残余组件的差异小于自定义阈值,训练结束,得到每级级联回归的模型。
3.根据权利要求2中所述的模型训练方法,其特征在于,步骤S1所述投影矩阵的计算具体为:m个训练样本,每个训练样本包含同一人数量为p的图像,i∈[1,p],在k∈[1,K]次训练过程中,其中K和p为自然数,每张图片对应的三维到二维投影矩阵用下式计算:
k=1,2.......K,;为第i张图片的标准真实人脸特征点;表示三维人脸形状上与第i张图片的l个特征点对应的三维特征点,三维人脸形状包括身份组件和残余组件。
4.根据权利要求3中所述的模型训练方法,其特征在于,步骤S2所述三维人脸特征点投影到二维平面得到第j个训练样本的第i张图片的特征点计算如下
表示第j个训练样本的三位人脸形状上与l个特征点对应的三维顶点,其中l为提取的标准真实人脸特征点,Mi k为透视投影矩阵,将所述特征点级联得到[Uk]j
5.根据权利要求4中所述的模型训练方法,其特征在于,步骤S3所述对身份组件和残余组件进行更新时,第k次训练的更新方法是:先计算第j个训练样本的第k次迭代器,计算如下:
为第j个训练样本的标准身份组件集合,为第j个训练样本每张图片的标准残余组件集合,为第j个样本第k-1级的残余组件,为第j个样本第k-1级的身份组件,[WID]k∈R3n×(2l×p)为身份组件级联回归模型,[WR]k∈R3n×2l为残余组件级联回归模型,[U*]j为第j个训练样本的标准真实人脸特征点的级联,为第j个训练样本第i张图片的标准真实人脸特征点;
由上式,利用线性最小二乘法拟合此时的身份组件级联回归模型[WID]k∈R3n×(2l×p)和残余组件级联回归模型[WR]k∈R3n×2l
利用所述身份组件级联回归模型、残余组件级联回归模型和特征点差异向量求解此时初始化形状的改变量,身份组件和残余组件组件更新的计算如下:
[WID]k和[WR]k表示身份和残余形状在第k次迭代的级联回归模型,为标准真实人脸特征点,U*∈R136×i为级联后的标准真实人脸特征点,为第i张图片的三维人脸特征点投影到二维平面得到的特征点,Uk-1为三维人脸特征点投影到二维平面得到的特征点的级联。
6.一种采用人脸级联回归模型的三维人脸重建方法,其特征在于,包括以下步骤:
S1、对输入的一个人的多张图像集合进行人脸区域检测提取人脸特征点;获取初始身份组件和初始残余组件;
S2、利用所述人脸特征点、身份组件、残余组件和权利要求1至5中任一项训练方法得到的级联回归模型,对身份组件和残余组件进行更新;
重复步骤S2,直到每级的级联回归模型都作用于身份组件和残余组件,更新完毕,得到最终的身份组件和对应每张图片的残余组件。
7.根据权利要求6中所述的三维人脸重建方法,其特征在于,步骤S2所述更新身份组件和残余组件的计算如下:
[WID]k和[WR]k表示身份和残余形状在第k次迭代的级联回归模型,为标准真实人脸特征点,U*∈R136×i为级联后的标准真实人脸特征点,为第i张图片的三维人脸特征点投影到二维平面得到的特征点,Uk-1为三维人脸特征点投影到二维平面得到的特征点的级联。
8.一种三维人脸的人脸级联回归模型训练装置,其特征在于,用于三维人脸的人脸级联回归模型训练,所述装置包括:预处理模块和模型训练模块;
所述预处理模块,用于采集标准身份组件和标准残余组件以及提取输入图像集合的标准真实人脸特征点;
所述模型训练模块,利用所述预处理模块得到的数据进行迭代更新得到级联回归模型。
9.一种采用人脸级联回归模型的三维人脸重建装置,其特征在于,用于采用人脸级联回归模型的三维人脸重建,所述装置包括:采集模块和三维重建模块;
所述采集模块,用于提取输入图像集合的标准真实人脸特征点同时获取初始身份组件和初始残余组件;
所述三维重建模块,利用权利要求8中所述模型训练模块得出的级联回归模型和所述标准真实人脸特征点、对初始身份组件和初始残余组件进行更新。
10.一种电子设备,其特征在于,包括至少一个处理器,以及与所述至少一个处理器通信连接的存储器;所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。
CN201910805668.6A 2019-08-29 2019-08-29 一种三维人脸的人脸级联回归模型训练方法及重建方法 Active CN110543845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910805668.6A CN110543845B (zh) 2019-08-29 2019-08-29 一种三维人脸的人脸级联回归模型训练方法及重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910805668.6A CN110543845B (zh) 2019-08-29 2019-08-29 一种三维人脸的人脸级联回归模型训练方法及重建方法

Publications (2)

Publication Number Publication Date
CN110543845A true CN110543845A (zh) 2019-12-06
CN110543845B CN110543845B (zh) 2022-08-12

Family

ID=68712276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910805668.6A Active CN110543845B (zh) 2019-08-29 2019-08-29 一种三维人脸的人脸级联回归模型训练方法及重建方法

Country Status (1)

Country Link
CN (1) CN110543845B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270308A (zh) * 2020-11-20 2021-01-26 江南大学 一种基于双层级联回归模型的人脸特征点定位方法
CN114005160A (zh) * 2021-10-28 2022-02-01 建湖县公安局 一种基于身份二维码和人工智能的门禁控制系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824089A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸3d姿态识别方法
CN105404861A (zh) * 2015-11-13 2016-03-16 中国科学院重庆绿色智能技术研究院 人脸关键特征点检测模型的训练、检测方法及系统
CN105718913A (zh) * 2016-01-26 2016-06-29 浙江捷尚视觉科技股份有限公司 一种鲁棒的人脸特征点定位方法
US20180046854A1 (en) * 2015-02-16 2018-02-15 University Of Surrey Three dimensional modelling
CN108109198A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于级联回归的三维表情重建方法
CN108268840A (zh) * 2018-01-10 2018-07-10 浙江大华技术股份有限公司 一种人脸跟踪方法及装置
CN108399649A (zh) * 2018-03-05 2018-08-14 中科视拓(北京)科技有限公司 一种基于级联回归网络的单张图片三维人脸重建方法
CN109063584A (zh) * 2018-07-11 2018-12-21 深圳大学 基于级联回归的面部特征点定位方法、装置、设备及介质
US20190122329A1 (en) * 2017-10-24 2019-04-25 Vmaxx, Inc. Face Replacement and Alignment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824089A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸3d姿态识别方法
US20180046854A1 (en) * 2015-02-16 2018-02-15 University Of Surrey Three dimensional modelling
CN105404861A (zh) * 2015-11-13 2016-03-16 中国科学院重庆绿色智能技术研究院 人脸关键特征点检测模型的训练、检测方法及系统
CN105718913A (zh) * 2016-01-26 2016-06-29 浙江捷尚视觉科技股份有限公司 一种鲁棒的人脸特征点定位方法
US20190122329A1 (en) * 2017-10-24 2019-04-25 Vmaxx, Inc. Face Replacement and Alignment
CN108109198A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于级联回归的三维表情重建方法
CN108268840A (zh) * 2018-01-10 2018-07-10 浙江大华技术股份有限公司 一种人脸跟踪方法及装置
CN108399649A (zh) * 2018-03-05 2018-08-14 中科视拓(北京)科技有限公司 一种基于级联回归网络的单张图片三维人脸重建方法
CN109063584A (zh) * 2018-07-11 2018-12-21 深圳大学 基于级联回归的面部特征点定位方法、装置、设备及介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FENG LIU等: "Disentangling Features in 3D Face Shapes for Joint Face Reconstruction and Recognition", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
FENG LIU等: "Joint Face Alignment and 3D Face Reconstruction", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *
FENG LIU等: "On 3D face reconstruction via cascaded regression in shape space", 《FRONTIERS OF INFORMATION TECHNOLOGY & ELECTRONIC ENGINEERING》 *
WAN TIAN等: "Landmark-Based 3D Face Reconstruction from an Arbitrary Number of Unconstained Images", 《2018 13TH IEEE INTERNATIOANL CONFERENCE ON AUTOMATIC FACE & GESTURE RECOGNITION》 *
陈平等: "基于单幅图像Pn P头部姿态估计的学习注意力可视化分析", 《通信学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270308A (zh) * 2020-11-20 2021-01-26 江南大学 一种基于双层级联回归模型的人脸特征点定位方法
CN112270308B (zh) * 2020-11-20 2021-07-16 江南大学 一种基于双层级联回归模型的人脸特征点定位方法
CN114005160A (zh) * 2021-10-28 2022-02-01 建湖县公安局 一种基于身份二维码和人工智能的门禁控制系统及方法

Also Published As

Publication number Publication date
CN110543845B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
Basu et al. 3D modeling and tracking of human lip motions
CN107194378B (zh) 一种基于混合字典学习的人脸识别方法及装置
CN105844635B (zh) 一种基于结构字典的稀疏表示深度图像重建方法
CN108121950B (zh) 一种基于3d模型的大姿态人脸对齐方法和系统
CN108446589B (zh) 复杂环境下基于低秩分解和辅助字典的人脸识别方法
CN106845551B (zh) 一种组织病理图像识别方法
Duan et al. Craniofacial reconstruction based on multi-linear subspace analysis
CN109002763B (zh) 基于同源连续性的模拟人脸老化的方法及装置
CN105981050A (zh) 用于从人脸图像的数据提取人脸特征的方法和系统
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及系统
Remil et al. Surface reconstruction with data-driven exemplar priors
CN110543845B (zh) 一种三维人脸的人脸级联回归模型训练方法及重建方法
CN110543916A (zh) 一种缺失多视图数据的分类方法及系统
CN108765540B (zh) 一种基于图像与集成学习的重光照方法
KR20210070874A (ko) 3차원 인간 모델 복원 장치 및 방법
CN110717978B (zh) 基于单张图像的三维头部重建方法
CN102708589B (zh) 一种基于特征聚类的三维目标多视点视图建模方法
Caliskan et al. Multi-view consistency loss for improved single-image 3d reconstruction of clothed people
Kakadiaris et al. 3D Face Recognition.
CN110009745B (zh) 根据平面基元和模型驱动对点云提取平面的方法
Zhu et al. Nonlocal low-rank point cloud denoising for 3-D measurement surfaces
Wu et al. Example-based real-time clothing synthesis for virtual agents
CN117611428A (zh) 一种时装人物图像风格变换方法
Tian et al. Landmark-based 3D face reconstruction from an arbitrary number of unconstrained images
CN106663186A (zh) 用于脸部识别的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant