CN115050067B - 人脸表情构建方法、装置、电子设备、存储介质及产品 - Google Patents

人脸表情构建方法、装置、电子设备、存储介质及产品 Download PDF

Info

Publication number
CN115050067B
CN115050067B CN202210583342.5A CN202210583342A CN115050067B CN 115050067 B CN115050067 B CN 115050067B CN 202210583342 A CN202210583342 A CN 202210583342A CN 115050067 B CN115050067 B CN 115050067B
Authority
CN
China
Prior art keywords
facial
facial expression
face
model
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210583342.5A
Other languages
English (en)
Other versions
CN115050067A (zh
Inventor
覃鸿
于丽娜
卢宝莉
李智伟
李卫军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Semiconductors of CAS
Original Assignee
Institute of Semiconductors of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Semiconductors of CAS filed Critical Institute of Semiconductors of CAS
Priority to CN202210583342.5A priority Critical patent/CN115050067B/zh
Publication of CN115050067A publication Critical patent/CN115050067A/zh
Application granted granted Critical
Publication of CN115050067B publication Critical patent/CN115050067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种人脸表情构建方法、装置、电子设备、存储介质及产品，本发明通过建立人脸表情构建模型，能够提取采集到人脸信息的特征参数，依据特征参数中的人脸表情控制点特征参数、人脸表情特征参数和人脸形状特征参数构建三维人脸，使得通过少量的参数即可表达丰富的人脸形状和细腻的人脸表情，更贴合实际人脸信息的三维目标人脸。本发明提供的方案，不仅考虑人脸的形状，还考虑了人脸的表情和表情控制，提高了构建出的三维目标人脸的自然度和准确性。

Description

人脸表情构建方法、装置、电子设备、存储介质及产品
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸表情构建方法、装置、电子设备、存储介质及产品。
背景技术
人脸在人类视觉感知中占有非常重要的地位，因为它们在传达身份、信息、感情和意图方面起着关键作用。正因如此，人脸图像一直以来都是图像处理领域研究的热门领域。人脸图像对人脸的朝向、形状、表情等的表达是有限的，三维人脸重建技术在医疗领域、特效制作领域也有很大的应用价值与发展前景，因此单幅图像三维人脸重建的算法研究是目前计算机视觉领域的热点。
相关三维人脸重建技术中，常常基于一个通用的人脸模型，然后在此基础上进行变形优化实现人脸重建，生成与人脸图像中的人脸形状匹配的虚拟人脸模型。但是，通过这种方式获取的虚拟人脸的自然度差，与原图相比准确性低。
发明内容
本发明提供一种人脸表情构建方法、装置、电子设备、存储介质及产品，用以解决现有技术中构建出的三维人脸自然度差准确度低的缺陷，对包含人脸表情的三维人脸实现精确构建。
本发明提供一种人脸表情构建方法，包括：
采集人脸信息；
将所述人脸信息输入人脸表情构建模型，得到所述人脸表情构建模型输出的目标参数化三维人脸；
其中，所述人脸表情构建模型用于根据所述人脸信息提取人脸表情控制点特征、人脸表情特征和人脸形状特征，根据所述人脸表情控制点特征、人脸表情特征和人脸形状特征获得所述目标参数化三维人脸。
根据本发明提供的一种人脸表情构建方法，所述人脸表情构建模型包括第一模型和第二模型，所述第一模型用于提取所述人脸表情特征和人脸形状特征得到过程三维人脸，所述第二模型用于提取所述人脸表情控制点特征得到所述目标三维人脸。
根据本发明提供的一种人脸表情构建方法，所述人脸表情构建模型是基于人脸信息样本数据集对所述第一模型和第二模型进行联合训练得到的。
根据本发明提供的一种人脸表情构建方法，所述第一模型F采用式1获得：
F＝{fi} 式1
其中，fi表示目标三维人脸的第i个顶点且i＝1,2，…，N，N表示所述目标三维人脸的顶点总数，k表示所述目标三维人脸上的表情控制点序号，K表示人脸表情控制点的总数，wk，i表示目标三维人脸的第k个控制点控制第i个顶点的权重，表示非线性控制函数，γ表示人脸表情控制点特征参数，表示人脸表情特征参数，vi表示过程三维人脸V＝{vi}的第i个顶点。
根据本发明提供的一种人脸表情构建方法，所述第二模型V采用
式2获得：
其中，β表示人脸形状特征参数，T是人脸标准模板，Bs表示人脸形状形变量，BE表示人脸表情形变量，S和E分别是人脸形状空间主成分和人脸表情空间主成分。
根据本发明提供的一种人脸表情构建方法，所述人脸标准模板是根据人脸信息样本数据集进行平均脸建模得到的，所述人脸标准模板的微表情区域的网格细密度大于其他区域。
本发明还提供一种人脸表情构建装置，包括：
输入模块，采集人脸信息；
构建模块，将所述人脸信息输入人脸表情构建模型，得到所述人脸表情构建模型输出的目标参数化三维人脸；
其中，所述人脸表情构建模型用于根据所述人脸信息提取人脸表情控制点特征、人脸表情特征和人脸形状特征，根据所述人脸表情控制点特征、人脸表情特征和人脸形状特征获得所述目标参数化三维人脸。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人脸表情构建方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人脸表情构建方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人脸表情构建方法。
本发明提供的人脸表情构建方法、装置、电子设备、存储介质及产品，通过建立人脸表情构建模型，能够对采集到人脸信息进行人脸表情控制点特征、人脸表情特征和人脸形状特征的提取，从而构建出了符合自然度的三维人脸。由于本发明不仅考虑了人脸的形状特征还考虑了表情特征和表情控制点特征，这两个特征是在形状基础上的形变量，通过这三个特征结合能够准确的描述人脸信息的细节特征，提升了重构三维人脸的流畅度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的人脸表情构建方法的流程示意图；
图2是本发明提供的人脸表情构建装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明的一种人脸表情构建方法，包括：
步骤101、采集人脸信息；
需要说明的是，本实施例采集的人脸信息可以为人脸的正侧面图像、RGBD图像或三维扫描点云。
步骤102、将采集到的人脸信息输入人脸表情构建模型，得到所述人脸表情构建模型输出的目标三维人脸；
其中，在本实施例中特征即为特征参数，所述人脸表情构建模型用于根据所述人脸信息提取人脸表情控制点特征参数、人脸表情特征参数和人脸形状特征参数，根据所述人脸表情控制点特征参数、人脸表情特征参数和人脸形状特征参数获得所述目标参数化三维人脸。
需要说明的是，所述人脸表情控制点特征用于刻画人脸上有表情时肌肉和骨骼所牵动带来的形变，所述人脸表情特征用于刻画人脸上有表情时面部的形变，由于面部表情在不同人脸上的表示是大致相同的，比如简单的笑，会有嘴角翘起，眼睛眯起等，因此可以使用同一个参数应用到不同人脸上，即可达到想要的效果。所述人脸形状特征用于刻画不同人脸的相当于标准人脸的形变和区别，不同于面部表情在数据上具有一定的相似性，不同个体的面部形状特征在数据上的差异十分的明显，例如脸颊、嘴巴、眉毛的宽度。因此在具体实现的时候，可以通过手动或通过机器学习方法标定出这些特征点，通过算法来获得输入人脸信息与模型参数的对应关系。
本发明实施例的人脸表情构建方法中提出的人脸表情构建模型考虑了人脸的形状特征参数、表情特征参数和表情控制点特征参数，通过这三个特征参数结合能够准确的描述人脸信息的细节特征，实现重构三维人脸流畅度的提升。本实施例中的人脸表情构建模型不同于现有的参数化人脸模型，首先通过人脸形状特征刻画的人脸形状参数，能够与通用人脸模板进行初步的调整和匹配，其次通过人脸表情特征刻画的人脸表情参数，能够在调整形状后的人脸模板上增添表情的形变，最后，本发明不光考虑了三维人脸的皮相特征，还考虑了影响表情的肌肉和骨相特征，从而提取了表情控制点特征获得表情控制点参数。通过获得的这逐层分析的参数，就可以构建出一个贴合人脸表情的自然的三维人脸。
在本发明的至少一个实施例中，所述人脸表情构建模型包括第一模型和第二模型，所述第一模型用于提取所述人脸表情特征和人脸形状特征得到过程三维人脸，所述第二模型用于提取所述人脸表情控制点特征得到所述目标三维人脸。
在本发明的至少一个实施例中，第一模型和第二模型均通过三维形变模型(3DMorphable Model，3DMM)和人脸关键点检测作为基础的人脸信息与对应三维人脸模型映射关系。
需要说明的是，人脸关键点检测也叫人脸对齐(face alignment)，是人脸检测、人脸表情识别和迁移、头部姿态估计等任务的基础。不同任务对关键点检测的点数量需求不同，常用的人脸关键点检测的关键点数量为20、68、194、468等。
3DMM模型多用于三维人脸重建，本实施例中模型内保存有100个3D网格(mesh)人脸，当接收到输入的2D图像关键点后，通过调整100个3D人脸的权重系数，并进行线性求和，使线性求和的结果投影至2D图像后能够与输入的2D图像的距离最小或小于预设阈值，此时利用得到的系数，即可以构建一个2D图像对应的3D网格。当接收到输入的3D点云人脸关键点后，通过调整100个3D人脸的权重系数，并进行线性求和，使线性求和的结果与输入的3D点云的距离最小或小于预设阈值，此时利用得到的系数，即可以构建一个3D点云人脸对应的3D网格。
在本发明的至少一个实施例中，第一模型和第二模型均为卷积神经网络，卷积神经网络分为检测网络和重建网络，首先检测网络从输入人脸信息得到人脸关键点，然后重建网络将得到的人脸关键点以三维网格顶点的形式预测出人脸三维立体结构。
在本发明的至少一个实施例中，所述人脸表情构建模型是基于人脸图像样本数据集对所述第一模型和第二模型进行联合训练得到的。
需要说明的是，在本实施例中人脸图像样本数据集可以采用BU-3DFE人脸数据库、USF Human ID 3-D数据集、ICT-3DHP数据集和IDIAP数据集等。BU-3DFE人脸数据库目前包含100名受试者(56％女性，44％男性)，年龄从18岁到70岁不等，有各种种族血统，包括白人、黑人、东亚人、中东人、印度人和拉丁美洲人。面部扫描的参与者包括纽约州立大学宾汉姆顿分校研究所心理、艺术和工程系的本科生、研究生和教师。大多数参与者是来自心理学系的本科生。每个受试者在3D面部扫描仪前完成七个表情。除了中性表情外，六种原型表情(快乐、厌恶、恐惧、愤怒、惊讶和悲伤)都包含四个强度等级。因此，每个受试者有25个即时三维表情模型。该数据库由2500张两人脸图像和2500个三维人脸点云模型组成。
需要说明的是，所述联合训练是指用同一个数据集对第一模型和第二模型进行训练的过程，第二模型训练得到的人脸表情主成分和人脸形状主成分将会影响第一模型中人脸表情控制点权重的训练。
在本发明的至少一个实施例中，所述第一模型F采用式1获得：
F＝{fi} 式1
其中，fi表示目标三维人脸的第i个顶点且i＝1，2,…,N，N表示所述目标三维人脸的顶点总数，k表示所述目标三维人脸上的表情控制点序号，K表示人脸表情控制点的总数，wk,i表示目标三维人脸的第k个控制点控制第i个顶点的权重，表示非线性控制函数，γ表示人脸表情控制点特征参数，表示人脸表情特征参数，V＝{vi}为所述第二模型，表示过程三维人脸顶点集合，vi表示过程三维人脸的第i个顶点。
需要说明的是，所述第一模型是最终训练完成后输出目标参数化三维人脸的模型，由式1可以看出，最终目标参数化三维人脸上的顶点fi与过程三维人脸上的顶点vi存在一一对应关系，同时，目标三维人脸上的表情控制点会与每个过程三维人脸上的顶点vi存在一对一或者一对多的控制关系，此处表情控制点即为人脸上肌肉发力点或骨骼连接点。此特征可以服务于更细微表情的识别。
在本发明的至少一个实施例中，所述第二模型V采用式2获得：
其中，β表示人脸形状特征参数，T是人脸标准模板，Bs表示人脸形状形变量，BE表示人脸表情形变量，S和E分别是人脸形状空间主成分和人脸表情空间主成分。
需要说明的是，第二模型V输出的为过程三维人脸，由于V＝{vi}，故vi表示过程三维人脸上的顶点，在本实施例中主成分分析(Princi pal Component Analysis，PCA)主要用于提取所有人脸特征点中能够影响形状变化的主成分和影响表情变化的主成分，并将提取出的主成分张成的空间称为主成分空间。
在本发明的至少一个实施例中，所述人脸标准模板是根据三维建模师依据人脸信息样本数据集平均脸设计建模得到的，所述人脸标准模板的微表情区域的网格细密度大于其他区域。
需要说明的是，本发明实施例中的人脸标准模板对人脸数据库中涉及微表情的区域统计并加强3D网格的人脸标准模板的微表情区域的细密度。具体来说，为微表情区域分配其他区域密度两倍的网格数。在本发明中面部微表情区域包括眼睛周围、瞳孔、嘴角、鼻孔、下巴、眉峰等。
另外，本发明构建出的目标人脸还可用于后续进行情绪识别等工作任务。需要说明的是，本发明实施例输出的目标参数化三维人脸，可以根据需要获得可视化三维人脸，还可以基于该目标参数化三维人脸进行进一步的情绪识别，相较于传统基于人脸图像的情绪识别，本方案可以提高情绪识别的准确性，相较于用顶点表示的三维人脸进行情绪识别，本方案可以减少情绪识别工作时的数据量，提高情绪识别的准确性并大大提升情绪识别的效率。
本发明实施例构建出的参数化三维人脸相较于传统三维人脸具有以下优势：
首先，本发明实施例的方法通过建立精细网格标准人脸模板，相较于现有技术中的粗网格人脸标准模板，由于网格在人脸反应表情变化和微表情的重点区域密度更高，因此具有更强大的表情表现力能够察觉出细微的表情和情绪变化。其次，建立人脸构建模型时，本发明实施例的方法充分考虑到人脸表情控制点、人脸表情和人脸形状的影响，因此，构建出的参数化三维人脸能够更有效表达人脸的形状和表情。另外，本发明实施例构建的参数化三维人脸相较于传统通过顶点表示的三维人脸，更便于直接通过调整参数来调整人脸的形状和表情，并且本发明实施例构建的参数化三维人脸也可以隐藏参数信息后进行可视化表达，拥有多种表达形式。如图2所示，下面对本发明提供的人脸表情构建装置进行描述，下文描述的人脸表情构建装置与上文描述的人脸表情构建方法可相互对应参照。本发明实施例公开了一种人脸表情构建装置，包括：
输入模块201，采集人脸信息；
构建模块202，将所述人脸信息输入人脸表情构建模型，得到所述人脸表情构建模型输出的目标参数化三维人脸；
其中，所述人脸表情构建模型用于根据所述人脸信息提取人脸表情控制点特征、人脸表情特征和人脸形状特征，根据所述人脸表情控制点特征、人脸表情特征和人脸形状特征获得所述目标参数化三维人脸。
本发明实施例的人脸表情构建装置中，包括了人脸表情构建模型，人脸表情构建模型考虑了人脸的形状特征、表情特征和表情控制点特征，通过这三个特征结合能够准确的描述人脸信息的细节特征，实现重构三维人脸流畅度的提升。本实施例中的人脸表情构建模型不同于现有的参数化人脸模型，首先通过人脸形状特征刻画的人脸形状参数，能够与通用人脸模板进行初步的调整和匹配，其次通过人脸表情特征刻画的人脸表情参数，能够在调整形状后的人脸模板上增添表情的形变，最后，本发明不光考虑了三维人脸的皮相特征，还考虑了影响表情的肌肉和骨相特征，从而提取了表情控制点特征获得表情控制点参数。通过获得的逐层分析的参数，就可以构建出一个贴合人脸表情的自然的参数化三维人脸。
在本发明的至少一个实施例中，所述人脸表情构建模型包括第一模型和第二模型，所述第一模型用于提取所述人脸表情特征和人脸形状特征得到过程三维人脸，所述第二模型用于提取所述人脸表情控制点特征得到所述目标三维人脸。
本发明实施例的人脸模型构建装置能够通过分别设置第一模型和第二模型实现对不用的人脸特征参数的分别提取，提高识别的准确度。
在本发明的至少一个实施例中，所述人脸表情构建模型是基于人脸图像样本数据集对所述第一模型和第二模型进行联合训练得到的。
在本发明的至少一个实施例中，所述第一模型F采用式1获得：
F＝{fi} 式1
其中，fi表示目标三维人脸的第i个顶点且i＝1，2,…,N，N表示所述目标三维人脸的顶点总数，k表示所述目标三维人脸上的表情控制点序号，K表示人脸表情控制点的总数，wk,i表示目标三维人脸的第k个控制点控制第i个顶点的权重，表示非线性控制函数，γ表示人脸表情控制点特征参数，表示人脸表情特征参数，vi表示过程三维人脸的第i个顶点。
在本发明的至少一个实施例中，所述第二模型V采用式2获得：
其中，β表示人脸形状特征参数，T是人脸标准模板，Bs表示人脸形状形变量，BE表示人脸表情形变量，S和E分别是人脸形状空间主成分和人脸表情空间主成分。
本发明实施例的人脸模型构建装置根据人脸表情控制点特征、人脸表情特征和人脸形状特征对应对于采集的人脸信息能提取出三组参数，存储在装置中。
在本发明的至少一个实施例中，所述人脸标准模板是根据人脸信息样本数据集进行平均脸建模得到的，所述人脸标准模板的微表情区域的网格细密度大于其他区域。
另外，所述人脸标准模板还可以通过对人脸三维点云数据库3D网格化后进行平均得到的，所述人脸标准模板的微表情区域的网格细密度大于其他区域。
本发明实施例的人脸模型构建装置相较于现有的装置，所构建的人脸标准模板更加精细，更有利于表达人脸丰富的表情及微表情。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行人脸表情构建方法，该方法包括：
采集人脸信息；
将所述人脸信息输入人脸表情构建模型，得到所述人脸表情构建模型输出的目标三维人脸；
其中，所述人脸表情构建模型用于根据所述人脸信息提取人脸表情控制点特征、人脸表情特征和人脸形状特征，根据所述人脸表情控制点特征、人脸表情特征和人脸形状特征获得所述目标三维人脸。
本发明实施例的电子设备通过建立人脸表情构建模型，能够对采集到人脸信息进行人脸表情控制点特征、人脸表情特征和人脸形状特征的提取，从而构建出了符合自然度的三维人脸。由于本发明不仅考虑了人脸的形状特征还考虑了表情特征和表情控制点特征，这两个特征是在形状基础上的形变量，通过这三个特征结合能够准确的描述人脸信息的细节特征，提升了重构三维人脸流畅度。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的人脸表情构建方法，该方法包括：
采集人脸信息；
将所述人脸信息输入人脸表情构建模型，得到所述人脸表情构建模型输出的目标三维人脸；
其中，所述人脸表情构建模型用于根据所述人脸信息提取人脸表情控制点特征、人脸表情特征和人脸形状特征，根据所述人脸表情控制点特征、人脸表情特征和人脸形状特征获得所述目标三维人脸。
本发明实施例的计算机程序产品通过建立人脸表情构建模型，能够对采集到人脸信息进行人脸表情控制点特征、人脸表情特征和人脸形状特征的提取，从而构建出了符合自然度的三维人脸。由于本发明不仅考虑了人脸的形状特征还考虑了表情特征和表情控制点特征，这两个特征是在形状基础上的形变量，通过这三个特征结合能够准确的描述人脸信息的细节特征，提升的重构三维人脸流畅度。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的人脸表情构建方法，该方法包括：
采集人脸信息；
将所述人脸信息输入人脸表情构建模型，得到所述人脸表情构建模型输出的目标三维人脸；
其中，所述人脸表情构建模型用于根据所述人脸信息提取人脸表情控制点特征、人脸表情特征和人脸形状特征，根据所述人脸表情控制点特征、人脸表情特征和人脸形状特征获得所述目标三维人脸。
本发明实施例的存储介质通过建立人脸表情构建模型，能够对采集到人脸信息进行人脸表情控制点特征、人脸表情特征和人脸形状特征的提取，从而构建出了符合自然度的三维人脸。由于本发明不仅考虑了人脸的形状特征还考虑了表情特征和表情控制点特征，这两个特征是在形状基础上的形变量，通过这三个特征结合能够准确的描述人脸信息的细节特征，提升的重构三维人脸流畅度。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种人脸表情构建方法，其特征在于，包括：
采集人脸信息；
将所述人脸信息输入人脸表情构建模型，得到所述人脸表情构建模型输出的目标参数化三维人脸；
其中，所述人脸表情构建模型用于根据所述人脸信息提取人脸表情控制点特征、人脸表情特征和人脸形状特征，根据所述人脸表情控制点特征、人脸表情特征和人脸形状特征获得所述目标参数化三维人脸；
其中，所述人脸表情构建模型包括第一模型和第二模型，所述第二模型用于提取所述人脸表情特征和人脸形状特征得到过程三维人脸，所述第一模型用于提取所述人脸表情控制点特征得到所述目标参数化三维人脸；
所述人脸表情构建模型是基于人脸信息样本数据集对所述第一模型和第二模型进行联合训练得到的；
所述第一模型采用如下公式获得：
；
其中，表示目标参数化三维人脸的第个顶点且，表示所述目标参数化三维人脸的顶点总数，，表示所述目标参数化三维人脸上的表情控制点序号，表示人脸表情控制点的总数，表示目标参数化三维人脸的第个控制点控制第个顶点的权重，表示非线性控制函数，表示人脸表情控制点特征参数，表示人脸表情特征参数，表示过程三维人脸的第个顶点；
所述第二模型采用如下公式获得：
；
其中，表示人脸形状特征参数，是人脸标准模板，表示人脸形状形变量，表示人脸表情形变量，和分别是人脸形状空间主成分和人脸表情空间主成分。
2.根据权利要求1所述的人脸表情构建方法，其特征在于，所述人脸标准模板是根据人脸信息样本数据集进行平均脸建模得到的，所述人脸标准模板的微表情区域的网格细密度大于其他区域。
3.一种人脸表情构建装置，其特征在于，包括：
输入模块，采集人脸信息；
构建模块，将所述人脸信息输入人脸表情构建模型，得到所述人脸表情构建模型输出的目标参数化三维人脸；
其中，所述人脸表情构建模型用于根据所述人脸信息提取人脸表情控制点特征、人脸表情特征和人脸形状特征，根据所述人脸表情控制点特征、人脸表情特征和人脸形状特征获得所述目标参数化三维人脸；
其中，所述人脸表情构建模型包括第一模型和第二模型，所述第二模型用于提取所述人脸表情特征和人脸形状特征得到过程三维人脸，所述第一模型用于提取所述人脸表情控制点特征得到所述目标参数化三维人脸；
所述人脸表情构建模型是基于人脸信息样本数据集对所述第一模型和第二模型进行联合训练得到的；
所述第一模型采用如下公式获得：
；
其中，表示目标参数化三维人脸的第个顶点且，表示所述目标参数化三维人脸的顶点总数，，表示所述目标参数化三维人脸上的表情控制点序号，表示人脸表情控制点的总数，表示目标参数化三维人脸的第个控制点控制第个顶点的权重，表示非线性控制函数，表示人脸表情控制点特征参数，表示人脸表情特征参数，表示过程三维人脸的第个顶点；
所述第二模型采用如下公式获得：
；
其中，表示人脸形状特征参数，是人脸标准模板，表示人脸形状形变量，表示人脸表情形变量，和分别是人脸形状空间主成分和人脸表情空间主成分。
4.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1或2所述人脸表情构建方法。
5.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述人脸表情构建方法。
6.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述人脸表情构建方法。
CN202210583342.5A 2022-05-25 2022-05-25 人脸表情构建方法、装置、电子设备、存储介质及产品 Active CN115050067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210583342.5A CN115050067B (zh) 2022-05-25 2022-05-25 人脸表情构建方法、装置、电子设备、存储介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210583342.5A CN115050067B (zh) 2022-05-25 2022-05-25 人脸表情构建方法、装置、电子设备、存储介质及产品

Publications (2)

Publication Number Publication Date
CN115050067A CN115050067A (zh) 2022-09-13
CN115050067B true CN115050067B (zh) 2024-07-02

Family

ID=83159887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210583342.5A Active CN115050067B (zh) 2022-05-25 2022-05-25 人脸表情构建方法、装置、电子设备、存储介质及产品

Country Status (1)

Country Link
CN (1) CN115050067B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797569B (zh) * 2023-01-31 2023-05-02 盾钰（上海）互联网科技有限公司 高精度数孪人面部表情动作细分的动态生成方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110531860A (zh) * 2019-09-02 2019-12-03 腾讯科技（深圳）有限公司 一种基于人工智能的动画形象驱动方法和装置
CN112906494A (zh) * 2021-01-27 2021-06-04 浙江大学 一种面部捕捉方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4474546B2 (ja) * 2004-10-05 2010-06-09 国立大学法人東京農工大学 顔形状モデリングシステムおよび顔形状モデリング方法
CN113744384B (zh) * 2020-05-29 2023-11-28 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
CN113887293A (zh) * 2021-08-31 2022-01-04 际络科技(上海)有限公司 基于线性解的视觉人脸三维重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110531860A (zh) * 2019-09-02 2019-12-03 腾讯科技（深圳）有限公司 一种基于人工智能的动画形象驱动方法和装置
CN112906494A (zh) * 2021-01-27 2021-06-04 浙江大学 一种面部捕捉方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115050067A (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN108288072A (zh) 一种基于生成对抗网络的面部表情合成方法
CN103208133A (zh) 一种图像中人脸胖瘦的调整方法
WO2022143645A1 (zh) 三维人脸重建的方法、装置、设备和存储介质
CN101425138B (zh) 一种基于人脸超分辨率处理的人脸老化模拟方法
CN111833236B (zh) 产生模拟用户的三维脸部模型的方法及装置
CN110188794B (zh) 一种深度学习模型的训练方法、装置、设备及存储介质
EP3050536A1 (en) System and method for adding surface detail to digital crown models created using statistical techniques
CN109002763B (zh) 基于同源连续性的模拟人脸老化的方法及装置
CN102567734B (zh) 基于比值的视网膜细小血管分割方法
JP6744905B2 (ja) 改善された年齢モデル化方法
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
CN110188667B (zh) 一种基于三方对抗生成网络的人脸摆正方法
CN111950430A (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
CN111127642A (zh) 一种人脸三维重建方法
CN115050067B (zh) 人脸表情构建方法、装置、电子设备、存储介质及产品
KR101116838B1 (ko) 개인성향을 반영한 과장표정 생성방법
CN109948569B (zh) 一种利用粒子滤波框架的三维混合表情识别方法
DE102021124537A1 (de) Energiebasierte variational autoencoder
CN107886568B (zh) 一种利用3D Avatar重建人脸表情的方法及系统
Bastanfard et al. Toward E-appearance of human face and hair by age, expression and rejuvenation
KR102229056B1 (ko) 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN116740281A (zh) 三维头部模型的生成方法、装置、电子设备和存储介质
DE102021124428A1 (de) Trainieren energiebasierter variational autoencoder
Huang et al. Face reconstruction from skull based on partial least squares regression
Shi et al. Multimedia remote interactive operations based on EEG signals constructed BCI with convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant