CN108537881A - 一种人脸模型处理方法及其设备、存储介质 - Google Patents

一种人脸模型处理方法及其设备、存储介质 Download PDF

Info

Publication number
CN108537881A
CN108537881A CN201810349627.6A CN201810349627A CN108537881A CN 108537881 A CN108537881 A CN 108537881A CN 201810349627 A CN201810349627 A CN 201810349627A CN 108537881 A CN108537881 A CN 108537881A
Authority
CN
China
Prior art keywords
model
parameter
oral cavity
expression
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810349627.6A
Other languages
English (en)
Other versions
CN108537881B (zh
Inventor
彭伟龙
李琛
戴宇榮
沈小勇
賈佳亞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810349627.6A priority Critical patent/CN108537881B/zh
Publication of CN108537881A publication Critical patent/CN108537881A/zh
Priority to EP19788578.3A priority patent/EP3783571A4/en
Priority to PCT/CN2019/077221 priority patent/WO2019201027A1/zh
Application granted granted Critical
Publication of CN108537881B publication Critical patent/CN108537881B/zh
Priority to US16/898,202 priority patent/US11257299B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种人脸模型处理方法及其设备、存储介质，其中方法包括如下步骤：获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型；采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中；采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整，以生成目标口腔模型；基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型。采用本发明，可以解决样本口腔模型与三维人脸模型合成失真的问题，使得所生成的三维人脸表情模型合成效果佳。

Description

一种人脸模型处理方法及其设备、存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种人脸模型处理方法及其设备、存储介质。
背景技术
人脸表情合成是人脸合成技术的一种，应用于计算机图形学领域，包括电影、游戏、人机交互和人脸识别等，具有广阔的应用场景。
而采用现有的人脸合成技术所合成的人脸图片在口腔处于张开形态下时往往存在口腔部分缺失的情况。为了补全口腔部分，现有技术方案多采用口腔2D(2-DIMENSIONAL，二维)合成方法和口腔3D(3-DIMENSIONAL，三维)合成方法。
其中，口腔2D合成方法是先检测出原图片的人脸区域并分割出口腔区域，然后从数据库中查找与人脸区域肤色接近的口腔图片，再将所查找到的口腔图片填补在口腔区域，但这种方法所获取的口腔图片往往不能保证和原图片中的口腔形状完全一致，而使得融合后的图片效果不佳。口腔3D合成方法是先检测出原图片中人脸的特征点，然后再生成人脸对应的3D人脸模型，再直接将3D口腔模型融合至3D人脸模型中，但由于3D口腔模型的尺寸、亮度、开合形态等难以与人脸模型保持一致，而导致所合成的图片在口腔处很难达到较为逼真的效果。因此，现有技术中的口腔合成方法往往会失真，合成效果差。
发明内容
本发明实施例提供了一种人脸模型处理方法及其设备、存储介质，可以解决样本口腔模型与三维人脸模型合成失真的问题，使得所生成的三维人脸表情模型合成效果佳。
本发明实施例一方面提供了一种人脸模型处理方法，可包括：
获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型；
采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中；
采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整，以生成目标口腔模型；
基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型。
可选的，所述获取用户图片对应的三维人脸模型，包括：
获取所选择的用户图片，对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像；
在表情模型库中获取三维表情模型，将所述人脸图像与所述三维表情模型进行合成，以生成所述用户图片对应的三维人脸模型。
可选的，所述采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中，包括：
获取所述样本口腔模型相对所述三维人脸模型的角度旋转参数以及位置平移参数，并获取所述样本口腔模型的当前坐标信息；
基于所述角度旋转参数、所述位置平移参数、所述当前坐标信息、所述三维人脸模型的坐标信息以及平均人脸模型的坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息；
将所述样本口腔模型移动至所述目标坐标信息指示的目标位置处。
可选的，所述基于所述角度旋转参数、所述位置平移参数、所述当前坐标信息、所述三维人脸模型的坐标信息以及平均人脸模型的坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息，包括：
获取所述用户图片中人脸图像的身份特征参数，并基于所述身份特征参数、身份特征基以及平均人脸模型的坐标信息，得到所述三维人脸模型的坐标信息；
计算所述三维人脸模型的坐标信息投影在平面上的第一面积以及所述平均人脸模型的坐标信息投影在所述平面上的第二面积，并计算所述第一面积与所述第二面积的第一比值；
基于所述第一比值、所述角度旋转参数、所述位置平移参数以及所述当前坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息。
可选的，所述采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整，包括：
获取所述三维人脸模型的表情参数，基于所述表情参数以及联动权重获取所述样本口腔模型的口腔开合参数；
在口腔表情参数集合中获取所述表情参数指示的舌头伸缩参数以及舌头摆动参数；
基于所述口腔开合参数、所述舌头伸缩参数以及所述舌头摆动参数对所述样本口腔模型的口腔形态进行形态调整。
可选的，所述采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整之后，还包括：
采用所述用户图片的人脸肤色亮度值对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整。
可选的，所述采用所述用户图片的人脸肤色亮度值对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整，包括：
在所述三维人脸模型的设定部位选取特征点集合；
获取所述特征点集合中各特征点在所述用户图片中的肤色亮度值以及所述各特征点在参考图片中的肤色亮度值；
计算所述各特征点在所述用户图片中的肤色亮度值与所述各特征点在参考图片中的肤色亮度值的第二比值；
基于所述第二比值对所述样本口腔模型的口腔亮度值进行亮度调整。
可选的，所述基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型之后，还包括：
将所述三维人脸表情模型转换为所述用户图片对应的表情图片；
将所述表情图片添加至所述用户图片对应的表情图片序列中；
当检测到所述表情图片序列中相邻两帧表情图片对应的表情参数不连续时，获取所述相邻两帧表情图片对应的表情参数之间的连续表情参数；
在相邻两帧表情图片之间插入所述连续表情参数对应的表情图片。
本发明实施例一方面提供了一种人脸模型处理设备，可包括：
模型获取单元，用于获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型；
模型配准单元，用于采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中；
形态调整单元，用于采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整，以生成目标口腔模型；
表情模型生成单元，用于基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型。
可选的，所述模型获取单元，包括：
人脸图像获取子单元，用于获取所选择的用户图片，对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像；
人脸模型生成子单元，用于在表情模型库中获取三维表情模型，将所述人脸图像与所述三维表情模型进行合成，以生成所述用户图片对应的三维人脸模型。
可选的，所述模型配准单元，包括：
参数获取子单元，用于获取所述样本口腔模型相对所述三维人脸模型的角度旋转参数以及位置平移参数，并获取所述样本口腔模型的当前坐标信息；
目标信息获取子单元，用于基于所述角度旋转参数、所述位置平移参数、所述当前坐标信息、所述三维人脸模型的坐标信息以及平均人脸模型的坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息；
模型移动子单元，用于将所述样本口腔模型移动至所述目标坐标信息指示的目标位置处。
可选的，所述目标信息获取子单元，具体用于：
获取所述用户图片中人脸图像的身份特征参数，并基于所述身份特征参数、身份特征基以及平均人脸模型的坐标信息，得到所述三维人脸模型的坐标信息；
计算所述三维人脸模型的坐标信息投影在平面上的第一面积以及所述平均人脸模型的坐标信息投影在所述平面上的第二面积，并计算所述第一面积与所述第二面积的第一比值；
基于所述第一比值、所述角度旋转参数、所述位置平移参数以及所述当前坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息。
可选的，所述形态调整单元，包括：
第一参数获取子单元，用于获取所述三维人脸模型的表情参数，基于所述表情参数以及联动权重获取所述样本口腔模型的口腔开合参数；
第二参数获取子单元，用于在口腔表情参数集合中获取所述表情参数指示的舌头伸缩参数以及舌头摆动参数；
形态调整子单元，用于基于所述口腔开合参数、所述舌头伸缩参数以及所述舌头摆动参数对所述样本口腔模型的口腔形态进行形态调整。
可选的，所述设备还包括：
亮度调整单元，用于采用所述用户图片的人脸肤色亮度值对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整。
可选的，所述亮度调整单元，包括：
特征点选取子单元，用于在所述三维人脸模型的设定部位选取特征点集合；
亮度值获取子单元，用于获取所述特征点集合中各特征点在所述用户图片中的肤色亮度值以及所述各特征点在参考图片中的肤色亮度值；
第二比值获取子单元，用于计算所述各特征点在所述用户图片中的肤色亮度值与所述各特征点在参考图片中的肤色亮度值的第二比值；
亮度调整子单元，用于基于所述第二比值对所述样本口腔模型的口腔亮度值进行亮度调整。
可选的，所述设备还包括：
模型转换单元，用于将所述三维人脸表情模型转换为所述用户图片对应的表情图片；
图片添加单元，用于将所述表情图片添加至所述用户图片对应的表情图片序列中；
图片检测单元，用于当检测到所述表情图片序列中相邻两帧表情图片对应的表情参数不连续时，获取所述相邻两帧表情图片对应的表情参数之间的连续表情参数；
图片插入单元，用于在相邻两帧表情图片之间插入所述连续表情参数对应的表情图片。
本发明实施例一方面提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
本发明实施例一方面提供了一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行以下步骤：
获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型；
采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中；
采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整，以生成目标口腔模型；
基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型。
在本发明实施例中，通过获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型，再采用三维人脸模型中的口腔位置参数将样本口腔模型配准至三维人脸模型中，并采用三维人脸模型的表情参数对配准后的样本口腔模型的口腔形态进行形态调整以生成目标口腔模型，基于所获取的三维人脸模型以及所生成的目标口腔模型得到用户图片对应的三维人脸表情模型。通过根据三维人脸模型的口腔位置参数以及表情参数分别对样本口腔模型进行位置和尺度的配置以及口腔形态的调节，从而使得样本口腔模型可以与三维人脸模型保持一致，可以解决样本口腔模型与三维人脸模型合成失真的问题，进而使得所生成的三维人脸表情模型合成效果佳。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种人脸模型处理方法的流程示意图；
图2是本发明实施例提供的一种三维人脸模型的界面示意图；
图3是本发明实施例提供的一种样本口腔模型的界面示意图；
图4是本发明实施例提供的一种坐标系下的模型显示示意图；
图5是本发明实施例提供的一种样本口腔模型配准后的效果示意图；
图6是本发明实施例提供的一种人脸模型处理方法的流程示意图；
图7是本发明实施例提供的一种用户图片的界面示意图；
图8是本发明实施例提供的一种三维人脸模型的界面示意图；
图9是本发明实施例提供的一种人脸模型处理方法的流程示意图；
图10是本发明实施例提供的一种样本口腔模型配准后的效果示意图；
图11是本发明实施例提供的一种不同开合参数条件下的口腔开合程度的效果示意图；
图12是本发明实施例提供的一种人脸模型处理方法的流程示意图；
图13是本发明实施例提供的一种特征点选取部位的界面示意图；
图14是本发明实施例提供的一种口腔模型内部纹理的界面示意图；
图15是本发明实施例提供的一种人脸模型处理设备的结构示意图；
图16是本发明实施例提供的一种人脸模型处理设备的结构示意图；
图17是本发明实施例提供的一种模型获取单元的结构示意图；
图18是本发明实施例提供的一种模型配准单元的结构示意图；
图19是本发明实施例提供的一种形态调整单元的结构示意图；
图20是本发明实施例提供的一种亮度调整单元的结构示意图；
图21是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面将结合附图1-附图14，对本发明实施例提供的人脸模型处理方法进行详细介绍。
请参见图1，为本发明实施例提供了一种人脸模型处理方法的流程示意图。如图1所示，本发明实施例的所述方法可以包括以下步骤S101-步骤S104。
S101，获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型；
可以理解的是，所述用户图片为用户所选择的用于建立三维人脸模型的图片，可以为在图片库中所选择的图片，也可以为通过摄像头当前拍摄的图片，所述摄像头可以为固定摄像头，也可以为可旋转摄像头。在所述用户图片中包括有人脸图像，所述人脸图像可以为一个，也可以为多个。当然，所述用户图片也可以为类人脸图片，如素描、水墨画、动漫、建筑、雕塑、工艺品等形式的图片。
所述获取用户图片对应的三维人脸模型，可以理解为，人脸模型处理设备获取所选择的用户图片，对所述用户图片进行人脸识别处理，以获取所述用户图片的人脸图像，并在表情模型库中获取三维表情模型，将所述人脸图像与所述三维表情模型进行合成，以生成所述用户图片对应的三维人脸模型。所述人脸模型处理设备可以为用户终端，包括平板电脑、个人计算机(PC)、智能手机、掌上电脑以及移动互联网设备(MID)等具备图像处理功能及交互功能的终端设备，此时所获取到的用户图片为用户通过人脸模型处理设备直接选择后由人脸模型处理设备读取而得到；所述人脸模型处理设备还可以为具备图像处理功能的服务器，此时所获取到的用户图片为用户通过人脸模型处理设备输入请求后由用户终端发送至人脸模型处理设备，并由人脸模型处理设备读取而得到，所述用户终端可以包括平板电脑、个人计算机(PC)、智能手机、掌上电脑以及移动互联网设备(MID)等具备交互功能的终端设备。
其中，所述人脸识别处理可以为对所述用户图片进行人脸检测，当检测到存在人脸图像时，可以对所检测到的人脸图像进行标记或五官定位等，具体可以依据实际场景需求执行。所述人脸检测过程可采用人脸识别方法实现，如基于特征脸主成分分析的人脸识别方法、弹性图匹配的人脸识别方法、支持向量机的人脸识别方法以及深度神经网络人脸识别方法等。
所述在表情模型库中获取三维表情模型，可以是在基于当前事件(如当前日期、当前日期发生的热点事件，还可以是用户所选择的喜欢的主题等)所更新的表情模型集合中随机选取的一个三维表情模型；也可以是对所述用户图片进行解析后获取该用户图片的主题信息，并在所述表情模型库中查找与所述主题信息相匹配的三维表情模型，所述主题信息可通过关键字描述，如所述主题信息可以为“女生节”、“红包”或“开心”等。
所述获取用户图片对应的三维人脸模型，还可以理解为，对所述用户图片中的人脸图像采用三维重建技术进行三维重建处理，并采用用户所选择的表情参数替换三维重建生成的人脸模型的表情参数，从而生成三维人脸模型。所述三维重建技术是指在目标物深度信息已知的条件下，只需要经过点云数据的配准及融合，即可实现对该目标物的三维重建。目前，基于对目标物深度信息的获取方法将三维重建技术分为被动式三维重建技术和主动式三维重建技术，其中，被动式三维重建技术一般利用周围环境如自然光的反射，使用相机获取图像，然后通过特定算法计算得到目标物的立体空间信息，主要包括纹理恢复形状法、阴影恢复形状法以及立体视觉法；主动式三维重建技术是指利用如激光、声波、电磁波等光源或能量源发射至目标物体，通过接收返回的光波来获取物体的深度信息，主要包括莫尔条纹法、飞行时间法、结构光法以及三角测距法。
需要说明的是，所得到的三维人脸模型可采用公式描述，其中S是三维人脸模型，是平均人脸的三维模型，Ui和Vi分别是通过人脸三维模型数据集训练得到的人脸身份的空间基向量矩阵和人脸表情的空间基向量矩阵，wi和vi表示对应三维人脸模型的身份参数和表情参数。Ui和Vi为已知数，如果wi和vi已知，就可以根据上述公式计算出一个对应的三维人脸模型S。相应的，如果合成了三维人脸模型S，其对应的wi和vi也可以通过检测得到。一般通过改变wi和vi的值来改变三维人脸模型S的呈现形态，通过保持三维人脸模型的身份参数wi不变，控制vi的变化，就可以得到同一人脸不同表情的几何模型，若保持vi不变，控制wi变化，就可以得到同一表情下不同人脸的几何模型。例如，如图2所示为所生成的一种三维表情模型。
在口腔模型库中包括至少一个口腔模型，各口腔模型均可采用公式描述，只是α、β和γ的值不同。其中是闭合状态下的口腔模型，ΔT1、ΔT2和ΔT3分别为口腔开合偏移量、舌头伸缩偏移量和舌头摆动偏移量，α、β和γ分别为口腔开合参数、舌头伸缩参数以及舌头摆动参数，通过改变α、β和γ的值来分别控制口腔开合形态、舌头伸缩形态以及舌头摆动形态。通过在口腔模型库中随机选择一个口腔模型作为样本口腔模型，所述样本口腔模型如图3所示。
S102，采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中；
可以理解的是，所述口腔位置参数用于指示样本口腔模型配准至三维人脸模型中，所述配准包括样本口腔模型尺寸以及位置的配准，从而使得样本口腔模型与三维人脸模型相匹配。
在一种具体的实现方式中，获取所述样本口腔模型相对所述三维人脸模型的角度旋转参数以及位置平移参数，并获取所述样本口腔模型的当前坐标信息，基于所述角度旋转参数、所述位置平移参数、所述当前坐标信息、所述三维人脸模型的坐标信息以及平均人脸模型的坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息，将所述样本口腔模型移动至所述目标坐标信息指示的目标位置处。所述角度旋转参数是指样本口腔模型相对所述三维人脸模型在空间(三维坐标系)的旋转角度大小以及旋转方向，所述旋转方向包括俯仰方向、水平偏转方向以及空间滚动方向，所述角度旋转参数可采用旋转矩阵表示。所述位置平移参数是指样本口腔模型相对所述三维人脸模型在平面(如投影到xoy平面)的相对距离大小，可基于样本口腔模型以及三维人脸模型的坐标计算得到。
其中，获取所述样本口腔模型相对所述三维人脸模型的角度旋转参数以及位置平移参数，可以理解为，获取在同一坐标系下样本口腔模型的旋转矩阵R1和坐标t1，同时获取三维人脸模型的旋转矩阵R2和坐标t2，那么样本口腔模型相对所述三维人脸模型的角度旋转参数R可基于R1和R2计算得到，位置平移参数t可基于t1和t2计算得到。当然，也可以同一坐标系下样本口腔模型和三维人脸模型中其一为参考模型，只需计算另一模型相对参考模型的角度旋转参数R和位置平移参数t。例如，如图4所示，包括三维人脸模型S和样本口腔模型T，在同一坐标系xyz下，以S为参考模型，那么S相对坐标系的旋转矩阵为R1，T相对该坐标系的旋转矩阵为R2，此时的角度旋转参数R＝R1/R2，相应的，T相对S的位置平移参数t＝t0。还可以理解为，在表情模型库中存放的三维表情模型以及在口腔模型库中存放的口腔模型都是正面放置(无角度偏转)，而所生成的三维人脸模型则会基于用户图片中人脸图像的旋转而相应发生旋转，那么只需对用户图片进行解析，获取其中人脸图像的旋转矩阵，该旋转矩阵即为样本口腔模型相对所述三维人脸模型的角度旋转参数R。样本口腔模型相对所述三维人脸模型的位置平移参数t仍然可基于位置差计算得到，或者基于三维人脸模型的坐标信息以及样本口腔模型的坐标信息计算在平面上的坐标差得到。
同时，由于所得到的样本口腔模型的尺寸与三维人脸模型的尺寸不一定完全匹配，则需依据三维人脸模型的尺寸对样本口腔模型的尺寸进行调整(如根据三维人脸模型投影在xoy平面的投影面积进行调整)。具体可以为对用户图片进行解析以获取所述用户图片中人脸图像的身份特征参数wi，并基于所述身份特征参数wi、身份特征基Ui以及平均人脸模型的坐标信息得到所述三维人脸模型的坐标信息并计算所述三维人脸模型的坐标信息S投影在平面上(如xoy平面)的第一面积Area(π(S))以及所述平均人脸模型的坐标信息投影在所述平面上的第二面积并计算所述第一面积与所述第二面积的第一比值并基于该第一比值对样本口腔模型的尺寸进行调整，可以保证口腔模型的尺寸随着三维人脸模型尺寸的变化而变化。
具体实现中，将所获取的角度旋转参数R、样本口腔模型的当前坐标信息T、位置平移参数t以及第一比值代入公式中，从而得到尺度以及位置调整后的样本口腔模型的坐标信息T*，从T到T*的变换过程即实现样本口腔模型与三维人脸模型的融合。如图5所示为S与T融合后的效果图。需要说明的是，所描述的坐标信息均为三维坐标信息。
S103，采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整，以生成目标口腔模型；
可以理解的是，由于三维人脸模型和样本口腔模型在表情变化时有各自的动作机制，且彼此独立，很难保证样本口腔模型的口腔形态和三维人脸模型的形态相匹配。为了保证样本口腔模型与三维人脸模型的协调性，则需要对样本口腔模型的口腔形态进行调整。
所述口腔形态包括口腔开合形态、舌头伸缩形态以及舌头摆动形态，并分别通过口腔开合参数α、舌头伸缩参数β和舌头摆动参数γ的值进行控制。
其中，所述口腔开合参数α基于所述三维人脸模型的表情参数v以及联动权重η获取。具体实现为获取所述表情参数v对应的多个表情分量参数vi，并分别计算多个表情分量参数中各表情分量参数vi与所对应的联动权重ηi的乘积，再对各个乘积进行线性加权处理，以得到所述口腔模型的开合参数α＝Σi∈Gηi·vi，其中G为公式中与口腔开合动作有关的表情参数vi的索引i的集合。ηi的值的设定是通过人工调节口腔模型和三维人脸模型，并在口腔模型和三维人脸模型动作协调时获取参数样本对<,v>，然后用最小二乘法计算η的统计值，以作为最佳先验参数ηi。其中，参数样本对的数量优选为大于或者等于G的数量的两倍，以提高ηi计算的准确率。所述最小二乘法(又称最小平方法)是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
所述舌头伸缩参数β和舌头摆动参数γ可以是在口腔表情参数集合中基于所述表情参数vi所获取，即表情参数vi与舌头伸缩参数β和舌头摆动参数γ存在对应关系，当以表格形式对应存储时，直接通过查表即可获取到β和γ；也可以是在基于当前事件所更新的舌头伸缩参数集合和舌头摆动参数集合中随机选取；还可以是基于用户图片的主题信息在预定义的口腔表情参数集合中查找与所述主题信息相匹配的β和γ。所述主题信息可通过关键字描述，如所述主题信息可以为“忧伤”、“大笑”或“开心”等。
具体实现中，人脸模型处理设备分别对样本口腔模型的口腔开合参数α、舌头伸缩参数β和舌头摆动参数γ进行调整，从而生成调整后的样本口腔模型，即目标口腔模型。
可选的，当人脸肤色亮度值与口腔亮度值不匹配时，采用所述用户图片的人脸肤色亮度值或者通过控制光照方向对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整。具体可以为基于人脸肤色亮度值计算口腔亮度值的缩放因子stooth_light，并将口腔纹理由RGB(Red，红色；Green，绿色；Blue，蓝色)空间转化到HSL(Hue，色相；Saturation，饱和度；Lightness，亮度)空间后采用缩放因子stooth_light对腔亮度值进行相应比例的缩放，最后再转化到RGB空间进行显示。
S104，基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型。
可以理解的是，所生成的三维人脸表情模型是三维人脸模型与目标口腔模型融合的结果，即目标口腔模型与三维人脸模型尺寸及位置匹配，形态表情一致。并对调整后的三维人脸模型和目标口腔模型进行渲染，从而生成三维人脸表情模型。
在本发明实施例中，通过获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型，再采用三维人脸模型中的口腔位置参数将样本口腔模型配准至三维人脸模型中，并采用三维人脸模型的表情参数对配准后的样本口腔模型的口腔形态进行形态调整以生成目标口腔模型，基于所获取的三维人脸模型以及所生成的目标口腔模型得到用户图片对应的三维人脸表情模型。通过根据三维人脸模型的口腔位置参数以及表情参数分别对样本口腔模型进行位置和尺度的配置以及口腔形态的调节，从而使得样本口腔模型可以与三维人脸模型保持一致，解决了样本口腔模型与三维人脸模型合成失真的问题，进而使得所生成的三维人脸表情模型合成效果佳。
请参见图6，为本发明实施例提供了一种人脸模型处理方法的流程示意图。如图6所示，本发明实施例的所述方法可以包括以下步骤S201-步骤S215。
S201，获取所选择的用户图片，对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像；
可以理解的是，所述用户图片为用户所选择的用于建立三维人脸模型的图片，可以为在图片库中所选择的图片，也可以为通过摄像头当前拍摄的图片，所述摄像头可以为固定摄像头，也可以为可旋转摄像头。在所述用户图片中包括有人脸图像，所述人脸图像可以为一个，也可以为多个。当然，所述用户图片也可以为类人脸图片，如素描、水墨画、动漫、建筑、雕塑、工艺品等形式的图片。例如，如图7所示为所获取的一种用户图片，其中包括有人脸图像。
具体实现中，人脸模型处理设备获取用户图片，通过对所述用户图片进行人脸识别处理，从而识别出其中所包含的人脸图像。所述人脸识别处理可以为对所述用户图片进行人脸检测，当检测到存在人脸图像时，可以对所检测到的人脸图像进行标记或五官定位等，具体可以依据实际场景需求执行。所述人脸检测过程可采用人脸识别方法实现，如基于特征脸主成分分析的人脸识别方法、弹性图匹配的人脸识别方法、支持向量机的人脸识别方法以及深度神经网络人脸识别方法等。
需要说明的是，所述人脸模型处理设备可以为用户终端，包括平板电脑、个人计算机(PC)、智能手机、掌上电脑以及移动互联网设备(MID)等具备图像处理功能及交互功能的终端设备，此时所获取到的用户图片为用户通过人脸模型处理设备直接选择后由人脸模型处理设备读取而得到；所述人脸模型处理设备还可以为具备图像处理功能的服务器，此时所获取到的用户图片为用户通过人脸模型处理设备输入请求后由用户终端发送至人脸模型处理设备，并由人脸模型处理设备读取而得到，所述用户终端可以包括平板电脑、个人计算机(PC)、智能手机、掌上电脑以及移动互联网设备(MID)等具备交互功能的终端设备。
S202，在表情模型库中获取三维表情模型，将所述人脸图像与所述三维表情模型进行合成，以生成所述用户图片对应的三维人脸模型；
可以理解的是，所述表情模型库中包括至少一个表情模型，所述表情模型即为带有表情的人脸五官模型。所述在表情模型库中获取三维表情模型，可以是在基于当前事件(如当前日期、当前日期发生的热点事件，还可以是用户所选择的喜欢的主题等)所更新的表情模型集合中随机选取的一个三维表情模型，例如基于当前日期发生的热点事件更新了10个表情模型，人脸模型处理设备可在这10个表情模型中随机选择一个表情模型用于合成三维人脸模型；也可以是对所述用户图片进行解析后获取该用户图片的主题信息或提取请求携带的主题信息，并在所述表情模型库中查找与所述主题信息相匹配的三维表情模型，所述主题信息可通过关键字描述，如所述主题信息可以为“女生节”、“红包”或“开心”等。
需要说明的是，所得到的三维人脸模型可采用公式描述，其中S是三维人脸模型，是平均人脸的三维模型，Ui和Vi分别是通过人脸三维模型数据集训练得到的人脸身份的空间基向量矩阵和人脸表情的空间基向量矩阵，wi和vi表示对应三维人脸模型的身份参数和表情参数。Ui和Vi为已知数，如果wi和vi已知，就可以根据上述公式计算出一个对应的三维人脸模型S。相应的，如果合成了三维人脸模型S，其对应的wi和vi也可以通过检测得到。一般通过改变wi和vi的值来改变三维人脸模型S的呈现形态，通过保持三维人脸模型的身份参数wi不变，控制vi的变化，就可以得到同一人脸不同表情的几何模型，若保持vi不变，控制wi变化，就可以得到同一表情下不同人脸的几何模型。
所述获取用户图片对应的三维人脸模型，可以理解为，在表情模型库中获取三维表情模型，将所述人脸图像与所述三维表情模型进行合成，以生成所述用户图片对应的三维人脸模型。例如，如图8所示为基于图7所示用户图片所合成的一种三维表情模型。
具体实现中，基于用户图片的主题信息或者基于当前事件在表情模型库中获取三维表情模型，将所识别到的用户图片中的人脸图像与所获取的三维表情模型进行合成，从而生成所述用户图片对应的三维人脸模型。
S203，在口腔模型库中获取所选择的样本口腔模型；
可以理解的是，在口腔模型库中包括至少一个口腔模型，各口腔模型均可采用公式描述，只是α、β和γ的值不同。其中是闭合状态下的口腔模型，ΔT1、ΔT2和ΔT3分别为口腔开合偏移量、舌头伸缩偏移量和舌头摆动偏移量，α、β和γ分别为口腔开合参数、舌头伸缩参数以及舌头摆动参数，通过改变α、β和γ的值来分别控制口腔开合形态、舌头伸缩形态以及舌头摆动形态。通过在口腔模型库中随机选择一个口腔模型作为样本口腔模型。
S204，获取所述样本口腔模型相对所述三维人脸模型的角度旋转参数以及位置平移参数，并获取所述样本口腔模型的当前坐标信息；
可以理解的是，所述角度旋转参数是指样本口腔模型相对所述三维人脸模型在空间(三维坐标系)的旋转角度大小以及旋转方向，所述旋转方向包括俯仰方向、水平偏转方向以及空间滚动方向，所述角度旋转参数可采用旋转矩阵表示。所述位置平移参数是指样本口腔模型相对所述三维人脸模型在平面(如投影到xoy平面)的相对距离大小，可基于样本口腔模型以及三维人脸模型的坐标计算得到。
获取所述样本口腔模型相对所述三维人脸模型的角度旋转参数以及位置平移参数，可以理解为，获取在同一坐标系下样本口腔模型的旋转矩阵R1和坐标t1，同时获取三维人脸模型的旋转矩阵R2和坐标t2，那么样本口腔模型相对所述三维人脸模型的角度旋转参数R可基于R1和R2计算得到，位置平移参数t可基于t1和t2计算得到。当然，也可以同一坐标系下样本口腔模型和三维人脸模型中其一为参考模型，只需计算另一模型相对参考模型的角度旋转参数R和位置平移参数t。例如，如图4所示，包括三维人脸模型S和样本口腔模型T，在同一坐标系xyz下，以S为参考模型，那么S相对坐标系的旋转矩阵为R1，T相对该坐标系的旋转矩阵为R2，此时的角度旋转参数R＝R1/R2，相应的，T相对S的位置平移参数t＝t0。还可以理解为，在表情模型库中存放的三维表情模型以及在口腔模型库中存放的口腔模型都是正面放置(无角度偏转)，而所生成的三维人脸模型则会基于用户图片中人脸图像的旋转而相应发生旋转，那么只需对用户图片进行解析，获取其中人脸图像的旋转矩阵，该旋转矩阵即为样本口腔模型相对所述三维人脸模型的角度旋转参数R。样本口腔模型相对所述三维人脸模型的位置平移参数t仍然可基于位置差计算得到，或者基于三维人脸模型的坐标信息以及样本口腔模型的坐标信息计算在平面上的坐标差得到。
所述样本口腔模型的当前坐标信息即在当前坐标系下样本口腔模型各特征点的三维坐标值。可直接在口腔模型库中获取所预存的样本口腔模型的当前坐标信息。
S205，基于所述角度旋转参数、所述位置平移参数、所述当前坐标信息、所述三维人脸模型的坐标信息以及平均人脸模型的坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息；
需要说明的是，所涉及的坐标信息(如三维人脸模型的坐标信息、平均人脸模型的坐标信息、当前坐标信息以及目标坐标信息)均为三维空间坐标，且与模型上的各特征点一一对应，即每个模型的坐标信息为该模型上各特征点的三维坐标集合。
在一种具体的实现方式中，所述基于所述角度旋转参数、所述位置平移参数、所述当前坐标信息、所述三维人脸模型的坐标信息以及平均人脸模型的坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息可以包括如下步骤，如图9所示：
S301，获取所述用户图片中人脸图像的身份特征参数，并基于所述身份特征参数、身份特征基以及平均人脸模型的坐标信息，得到所述三维人脸模型的坐标信息；
可以理解的是，通过对用户图片进行解析以获取所述用户图片中人脸图像的身份特征参数wi。同时，由于三维人脸模型中当表情参数为0时，身份参数依然不变，因此，可将所获取的身份特征参数wi、身份特征基Ui以及平均人脸模型的坐标信息代入公式中，从而得到所述三维人脸模型的坐标信息S。
S302，计算所述三维人脸模型的坐标信息投影在平面上的第一面积以及所述平均人脸模型的坐标信息投影在所述平面上的第二面积，并计算所述第一面积与所述第二面积的第一比值；
可以理解的是，由于所得到的样本口腔模型的尺寸与三维人脸模型的尺寸不一定完全匹配，则需依据三维人脸模型的尺寸对样本口腔模型的尺寸进行调整。
具体的，将三维人脸模型的坐标信息S投影在平面上(如xoy平面)，并计算投影得到的第一面积Area(π(S))，同时，将平均人脸模型的坐标信息投影在相同的平面上，并计算投影得到的第二面积并计算所述第一面积与所述第二面积的第一比值基于该第一比值对样本口腔模型的尺寸进行调整，可以保证口腔模型的尺寸随着三维人脸模型尺寸的变化而变化。
S303，基于所述第一比值、所述角度旋转参数、所述位置平移参数以及所述当前坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息。
具体实现中，将所获取的角度旋转参数R、样本口腔模型的当前坐标信息T、位置平移参数t以及第一比值带入公式中，从而得到尺度以及位置调整后的样本口腔模型的坐标信息T*，所述T*即为样本口腔模型在所述三维人脸模型的目标坐标信息。
S206，将所述样本口腔模型移动至所述目标坐标信息指示的目标位置处；
从T到T*的变换过程即实现样本口腔模型与三维人脸模型的融合。例如，如图10所示为将样本口腔模型配置至图8所示的三维人脸模型后的效果图。
S207，获取所述三维人脸模型的表情参数，基于所述表情参数以及联动权重获取所述样本口腔模型的口腔开合参数；
可以理解的是，所述口腔开合参数α用于控制样本口腔模型的开合程度。所述口腔开合参数α基于所述三维人脸模型的表情参数v以及联动权重η获取。具体实现为获取所述表情参数v对应的多个表情分量参数vi，并分别计算多个表情分量参数中各表情分量参数vi与所对应的联动权重ηi的乘积，再对各个乘积进行线性加权处理，以得到所述样本口腔模型的开合参数α＝Σi∈Gηi·vi，其中G为公式中与口腔开合动作有关的表情参数vi的索引i的集合。
联动权重ηi值的设定是通过人工调节口腔模型和三维人脸模型，并在口腔模型和三维人脸模型动作协调时获取参数样本对<α,v>，然后用最小二乘法计算η的统计值，以作为最佳先验参数ηi。其中，参数样本对的数量优选为大于或者等于G的数量的两倍，以提高ηi计算的准确率。所述最小二乘法(又称最小平方法)是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
例如，如图11中a-d所示，分别描述不同α取值下配准后的样本口腔模型的开合程度。
S208，在口腔表情参数集合中获取所述表情参数指示的舌头伸缩参数以及舌头摆动参数；
可以理解的是，所述舌头伸缩参数β用于控制舌头的伸缩程度，舌头摆动参数γ用于控制舌头的左右摆动程度。
所述舌头伸缩参数β和舌头摆动参数γ可以是在口腔表情参数集合中基于所述表情参数v所获取，即表情参数v与舌头伸缩参数β和舌头摆动参数γ存在对应关系，当以表格形式对应存储时，直接通过查表即可获取到β和γ；也可以是在基于当前事件所更新的舌头伸缩参数集合和舌头摆动参数集合中随机选取；还可以是基于用户图片的主题信息在预定义的口腔表情参数集合中查找与所述主题信息相匹配的β和γ。所述主题信息可通过关键字描述，如所述主题信息可以为“忧伤”、“大笑”或“开心”等。
S209，基于所述口腔开合参数、所述舌头伸缩参数以及所述舌头摆动参数对所述样本口腔模型的口腔形态进行形态调整；
可以理解的是，由于三维人脸模型和样本口腔模型在表情变化时有各自的动作机制，且彼此独立，很难保证样本口腔模型的口腔形态和三维人脸模型的形态相匹配。为了保证样本口腔模型与三维人脸模型的协调性，则需要对样本口腔模型的口腔形态进行调整。也就是说，对匹配至三维人脸模型中的样本口腔模型的口腔形态进行调整。
具体的，若配准后的样本口腔模型为将采用S207获取的口腔开合参数α2和采用S208获取的舌头伸缩参数β2以及舌头摆动参数γ2替换α1、β1和γ1，从而实现对样本口腔模型的口腔形态的形态调整。
S210，采用所述用户图片的人脸肤色亮度值对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整，以生成目标口腔模型；
可以理解的是，由于不同的环境下所露出的口腔模型的亮度值有所不同，比如在光线较暗的情况下，通常人脸模型的脸部肤色都会很暗，如果不对口腔模型的亮度进行调整而直接渲染，所显示的口腔模型则会很亮而不协调，因此，当人脸肤色亮度值与口腔亮度值不匹配(如人脸肤色亮度值与口腔亮度值的差值超过设定的阈值范围)时，采用所述用户图片的人脸肤色亮度值对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整。
在一种具体的实现方式中，所述采用所述用户图片的人脸肤色亮度值对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整可以包括如下步骤，如图12所示：
S401，在所述三维人脸模型的设定部位选取特征点集合；
可以理解的是，所述设定部位可以为三维人脸模型脸部额头和脸颊。在所述设定部位分别随机选取至少一个特征点，所述至少一个特征点可以包括顶点。如图13所示为三维人脸模型的脸部图像，其中A、B、C即为所选取的特征点集合。
S402，获取所述特征点集合中各特征点在所述用户图片中的肤色亮度值以及所述各特征点在参考图片中的肤色亮度值；
例如，在A集合中包括A1～A10共10个特征点，在B集合中包括B1～B10共10个特征点，以及在C集合中包括C1～C10共10个特征点，则获取这30个特征点在用户图片对应位置的肤色(肤色纹理)亮度值并对所获取的肤色亮度值进行线性加权得到 为用户图片p位置处肤色纹理的亮度值，H包括A、B和C。同样的，获取这30个特征点在用户所选择的参考图片(光线亮度正常情况下的任一包含人脸图像的用户图片)对应位置的肤色(肤色纹理)亮度值lp，并对所获取的肤色亮度值进行线性加权得到∑p∈Hlp，lp为参考图片p位置处纹理的亮度，H包括A、B和C。
S403，计算所述各特征点在所述用户图片中的肤色亮度值与所述各特征点在参考图片中的肤色亮度值的第二比值；
具体的，根据S402所得到的肤色亮度值计算第二比值
通过计算新来人脸的亮度对参考人脸亮度的比例来确定口腔纹理(如图5)的亮度。
S404，基于所述第二比值对所述样本口腔模型的口腔亮度值进行亮度调整。
具体可以为将样本口腔模型的口腔纹理由RGB空间变换到HSL空间后，采用第二比值stooth_light对口腔纹理的口腔亮度值进行等比例的缩放，最后再变换到RGB空间进行显示。其中，口腔纹理图像(口腔各个部位)如图14所示，基于计算得到的stooth_light对图14中的口腔纹理图像的各特征点的亮度值均进行调整。
S211，基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型；
可以理解的是，所生成的三维人脸表情模型是三维人脸模型与目标口腔模型融合的结果，即目标口腔模型与三维人脸模型尺寸及位置匹配，形态表情一致，亮度相协调。并对调整后的三维人脸模型和目标口腔模型进行渲染，从而生成三维人脸表情模型。
在一种具体的实施场景中，本发明实施例还可以包括以下步骤：
S212，将所述三维人脸表情模型转换为所述用户图片对应的表情图片；
可以理解的是，所述三维人脸表情模型为三维图像，而所述表情图片为二维图像。由三维人脸表情模型转换为表情图片只是空间维度的变换，而图片内容不变。
S213，将所述表情图片添加至所述用户图片对应的表情图片序列中；
可以理解的是，由多帧表情图片可组成表情图片系列，所述表情图片序列为按照设定的显示顺序以及时间间隔所展示的动态表情图片(如GIF格式图片)。将所述表情图片添加至所述用户图片对应的表情图片序列中，可以理解为，创建空的表情图片序列，然后将所获取的多帧表情图片添加到该空的表情图片序列中。还可以理解为，创建空的表情图片序列，设定了时间间隔，每生成一帧表情图片就添加到该空的表情图片序列中。
S214，当检测到所述表情图片序列中相邻两帧表情图片对应的表情参数不连续时，获取所述相邻两帧表情图片对应的表情参数之间的连续表情参数；
可以理解的是，表情图片序列中每帧表情图片分别对应一个表情参数，且相邻两帧表情图片的表情参数相连续，从而在展示表情图片序列时，用户可以观看到一组表情连续变化的表情图片序列，富有趣味性。需要说明的是，所述每帧表情图片对应的人脸图像可以完全相同，也可以完全不同，还可以部分相同，具体不限定。
具体实现中，遍历各帧表情图片，并读取遍历到的当前表情图片的第一表情参数，以及下一帧表情图片的第二表情参数，若第一表情参数与第二表情参数连续，则继续读取下一帧表情图片的第三表情参数，判断第二表情参数与d第三表情参数是否连续；若第一表情参数与第二表情参数不连续，则获取第一表情参数与第二表情参数之间的连续表情参数，并在图片库中查找连续表情参数对应的表情图片或采用上述方式生成连续表情参数对应的表情图片。其中，所述连续表情参数包括至少一个，也就是说，在两帧不连续的表情图片之间需要插入至少一帧表情图片而使得不连续的表情图片变为连续的表情图片。
S215，在相邻两帧表情图片之间插入所述连续表情参数对应的表情图片。
具体的，将所获取的连续表情参数对应的表情图片插入至两帧不连续的表情图片之间，从而使得表情连续变化。
需要说明的是，通常要生成连续表情变化的表情图片序列需要获取数量较大的表情图片，而为了减少计算量，可先获取设定帧数的表情图片，再采用插帧(插入表情图片)的方式补充。
在本发明实施例中，通过获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型，再采用三维人脸模型中的口腔位置参数将样本口腔模型配准至三维人脸模型中，并采用三维人脸模型的表情参数对配准后的样本口腔模型的口腔形态进行形态调整以生成目标口腔模型，基于所获取的三维人脸模型以及所生成的目标口腔模型得到用户图片对应的三维人脸表情模型。通过根据三维人脸模型的口腔位置参数以及表情参数分别对样本口腔模型进行位置和尺度的配置以及口腔形态的调节，从而使得样本口腔模型可以与三维人脸模型保持一致，解决了样本口腔模型与三维人脸模型合成失真的问题，进而使得所生成的三维人脸表情模型合成效果佳。
下面将结合附图15-附图20，对本发明实施例提供的人脸模型处理设备进行详细介绍。需要说明的是，附图15-附图20所示的设备，用于执行本发明图1-图14所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1-图14所示的实施例。
请参见图15，为本发明实施例提供了一种人脸模型处理设备的结构示意图。如图15所示，本发明实施例的所述表情图片生成设备1可以包括：模型获取单元11、模型配准单元12、形态调整单元13和表情模型生成单元14。
模型获取单元11，用于获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型；
可以理解的是，所述用户图片为用户所选择的用于建立三维人脸模型的图片，可以为在图片库中所选择的图片，也可以为通过摄像头当前拍摄的图片，所述摄像头可以为固定摄像头，也可以为可旋转摄像头。在所述用户图片中包括有人脸图像，所述人脸图像可以为一个，也可以为多个。当然，所述用户图片也可以为类人脸图片，如素描、水墨画、动漫、建筑、雕塑、工艺品等形式的图片。
所述获取用户图片对应的三维人脸模型，可以理解为，模型获取单元11获取所选择的用户图片，对所述用户图片进行人脸识别处理，以获取所述用户图片的人脸图像，并在表情模型库中获取三维表情模型，将所述人脸图像与所述三维表情模型进行合成，以生成所述用户图片对应的三维人脸模型。
其中，所述人脸识别处理可以为对所述用户图片进行人脸检测，当检测到存在人脸图像时，可以对所检测到的人脸图像进行标记或五官定位等，具体可以依据实际场景需求执行。所述人脸检测过程可采用人脸识别方法实现，如基于特征脸主成分分析的人脸识别方法、弹性图匹配的人脸识别方法、支持向量机的人脸识别方法以及深度神经网络人脸识别方法等。
所述在表情模型库中获取三维表情模型，可以是在基于当前事件(如当前日期、当前日期发生的热点事件，还可以是用户所选择的喜欢的主题等)所更新的表情模型集合中随机选取的一个三维表情模型；也可以是对所述用户图片进行解析后获取该用户图片的主题信息，并在所述表情模型库中查找与所述主题信息相匹配的三维表情模型，所述主题信息可通过关键字描述，如所述主题信息可以为“女生节”、“红包”或“开心”等。
所述获取用户图片对应的三维人脸模型，还可以理解为，对所述用户图片中的人脸图像采用三维重建技术进行三维重建处理，并采用用户所选择的表情参数替换三维重建生成的人脸模型的表情参数，从而生成三维人脸模型。所述三维重建技术是指在目标物深度信息已知的条件下，只需要经过点云数据的配准及融合，即可实现对该目标物的三维重建。目前，基于对目标物深度信息的获取方法将三维重建技术分为被动式三维重建技术和主动式三维重建技术，其中，被动式三维重建技术一般利用周围环境如自然光的反射，使用相机获取图像，然后通过特定算法计算得到目标物的立体空间信息，主要包括纹理恢复形状法、阴影恢复形状法以及立体视觉法；主动式三维重建技术是指利用如激光、声波、电磁波等光源或能量源发射至目标物体，通过接收返回的光波来获取物体的深度信息，主要包括莫尔条纹法、飞行时间法、结构光法以及三角测距法。
需要说明的是，所得到的三维人脸模型可采用公式描述，其中S是三维人脸模型，是平均人脸的三维模型，Ui和Vi分别是通过人脸三维模型数据集训练得到的人脸身份的空间基向量矩阵和人脸表情的空间基向量矩阵，wi和vi表示对应三维人脸模型的身份参数和表情参数。Ui和Vi为已知数，如果wi和vi已知，就可以根据上述公式计算出一个对应的三维人脸模型S。相应的，如果合成了三维人脸模型S，其对应的wi和vi也可以通过检测得到。一般通过改变wi和vi的值来改变三维人脸模型S的呈现形态，通过保持三维人脸模型的身份参数wi不变，控制vi的变化，就可以得到同一人脸不同表情的几何模型，若保持vi不变，控制wi变化，就可以得到同一表情下不同人脸的几何模型。例如，如图2所示为所生成的一种三维表情模型。
在口腔模型库中包括至少一个口腔模型，各口腔模型均可采用公式描述，只是α、β和γ的值不同。其中是闭合状态下的口腔模型，ΔT1、ΔT2和ΔT3分别为口腔开合偏移量、舌头伸缩偏移量和舌头摆动偏移量，α、β和γ分别为口腔开合参数、舌头伸缩参数以及舌头摆动参数，通过改变α、β和γ的值来分别控制口腔开合形态、舌头伸缩形态以及舌头摆动形态。通过在口腔模型库中随机选择一个口腔模型作为样本口腔模型，所述样本口腔模型如图3所示。
模型配准单元12，用于采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中；
可以理解的是，所述口腔位置参数用于指示样本口腔模型配准至三维人脸模型中，所述配准包括样本口腔模型尺寸以及位置的配准，从而使得样本口腔模型与三维人脸模型相匹配。
在一种具体的实现方式中，模型配准单元12获取所述样本口腔模型相对所述三维人脸模型的角度旋转参数以及位置平移参数，并获取所述样本口腔模型的当前坐标信息，基于所述角度旋转参数、所述位置平移参数、所述当前坐标信息、所述三维人脸模型的坐标信息以及平均人脸模型的坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息，将所述样本口腔模型移动至所述目标坐标信息指示的目标位置处。所述角度旋转参数是指样本口腔模型相对所述三维人脸模型在空间(三维坐标系)的旋转角度大小以及旋转方向，所述旋转方向包括俯仰方向、水平偏转方向以及空间滚动方向，所述角度旋转参数可采用旋转矩阵表示。所述位置平移参数是指样本口腔模型相对所述三维人脸模型在平面(如投影到xoy平面)的相对距离大小，可基于样本口腔模型以及三维人脸模型的坐标计算得到。
其中，获取所述样本口腔模型相对所述三维人脸模型的角度旋转参数以及位置平移参数，可以理解为，获取在同一坐标系下样本口腔模型的旋转矩阵R1和坐标t1，同时获取三维人脸模型的旋转矩阵R2和坐标t2，那么样本口腔模型相对所述三维人脸模型的角度旋转参数R可基于R1和R2计算得到，位置平移参数t可基于t1和t2计算得到。当然，也可以同一坐标系下样本口腔模型和三维人脸模型中其一为参考模型，只需计算另一模型相对参考模型的角度旋转参数R和位置平移参数t。例如，如图4所示，包括三维人脸模型S和样本口腔模型T，在同一坐标系xyz下，以S为参考模型，那么S相对坐标系的旋转矩阵为R1，T相对该坐标系的旋转矩阵为R2，此时的角度旋转参数R＝R1/R2，相应的，T相对S的位置平移参数t＝t0。还可以理解为，在表情模型库中存放的三维表情模型以及在口腔模型库中存放的口腔模型都是正面放置(无角度偏转)，而所生成的三维人脸模型则会基于用户图片中人脸图像的旋转而相应发生旋转，那么只需对用户图片进行解析，获取其中人脸图像的旋转矩阵，该旋转矩阵即为样本口腔模型相对所述三维人脸模型的角度旋转参数R。样本口腔模型相对所述三维人脸模型的位置平移参数t仍然可基于位置差计算得到，或者基于三维人脸模型的坐标信息以及样本口腔模型的坐标信息计算在平面上的坐标差得到。
同时，由于所得到的样本口腔模型的尺寸与三维人脸模型的尺寸不一定完全匹配，则需依据三维人脸模型的尺寸对样本口腔模型的尺寸进行调整(如根据三维人脸模型投影在xoy平面的投影面积进行调整)。具体可以为对用户图片进行解析以获取所述用户图片中人脸图像的身份特征参数wi，并基于所述身份特征参数wi、身份特征基Ui以及平均人脸模型的坐标信息得到所述三维人脸模型的坐标信息并计算所述三维人脸模型的坐标信息S投影在平面上(如xoy平面)的第一面积Area(π(S))以及所述平均人脸模型的坐标信息投影在所述平面上的第二面积并计算所述第一面积与所述第二面积的第一比值并基于该第一比值对样本口腔模型的尺寸进行调整，可以保证口腔模型的尺寸随着三维人脸模型尺寸的变化而变化。
具体实现中，模型配准单元12将所获取的角度旋转参数R、样本口腔模型的当前坐标信息T、位置平移参数t以及第一比值带入公式 中，从而得到尺度以及位置调整后的样本口腔模型的坐标信息T*，从T到T*的变换过程即实现样本口腔模型与三维人脸模型的融合。如图5所示为S与T融合后的效果图。需要说明的是，所描述的坐标信息均为三维坐标信息。
形态调整单元13，用于采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整，以生成目标口腔模型；
可以理解的是，由于三维人脸模型和样本口腔模型在表情变化时有各自的动作机制，且彼此独立，很难保证样本口腔模型的口腔形态和三维人脸模型的形态相匹配。为了保证样本口腔模型与三维人脸模型的协调性，则需要对样本口腔模型的口腔形态进行调整。
所述口腔形态包括口腔开合形态、舌头伸缩形态以及舌头摆动形态，并分别通过口腔开合参数α、舌头伸缩参数β和舌头摆动参数γ的值进行控制。
其中，所述口腔开合参数α基于所述三维人脸模型的表情参数v以及联动权重η获取。具体实现为获取所述表情参数v对应的多个表情分量参数vi，并分别计算多个表情分量参数中各表情分量参数vi与所对应的联动权重ηi的乘积，再对各个乘积进行线性加权处理，以得到所述口腔模型的开合参数α＝Σi∈Gηi·vi，其中G为公式中与口腔开合动作有关的表情参数vi的索引i的集合。ηi的值的设定是通过人工调节口腔模型和三维人脸模型，并在口腔模型和三维人脸模型动作协调时获取参数样本对<α,v>，然后用最小二乘法计算η的统计值，以作为最佳先验参数ηi。其中，参数样本对的数量优选为大于或者等于G的数量的两倍，以提高ηi计算的准确率。所述最小二乘法(又称最小平方法)是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
所述舌头伸缩参数β和舌头摆动参数γ可以是在口腔表情参数集合中基于所述表情参数vi所获取，即表情参数vi与舌头伸缩参数β和舌头摆动参数γ存在对应关系，当以表格形式对应存储时，直接通过查表即可获取到β和γ；也可以是在基于当前事件所更新的舌头伸缩参数集合和舌头摆动参数集合中随机选取；还可以是基于用户图片的主题信息在预定义的口腔表情参数集合中查找与所述主题信息相匹配的β和γ。所述主题信息可通过关键字描述，如所述主题信息可以为“忧伤”、“大笑”或“开心”等。
具体实现中，形态调整单元13分别对样本口腔模型的口腔开合参数α、舌头伸缩参数β和舌头摆动参数γ进行调整，从而生成调整后的样本口腔模型，即目标口腔模型。
可选的，当人脸肤色亮度值与口腔亮度值不匹配时，采用所述用户图片的人脸肤色亮度值或者通过控制光照方向对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整。具体可以为基于人脸肤色亮度值计算口腔亮度值的缩放因子stooth_light，并将口腔纹理由RGB(Red，红色；Green，绿色；Blue，蓝色)空间转化到HSL(Hue，色相；Saturation，饱和度；Lightness，亮度)空间后采用缩放因子stooth_light对腔亮度值进行相应比例的缩放，最后再转化到RGB空间进行显示。
表情模型生成单元14，用于基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型。
可以理解的是，所生成的三维人脸表情模型是三维人脸模型与目标口腔模型融合的结果，即目标口腔模型与三维人脸模型尺寸及位置匹配，形态表情一致。并对调整后的三维人脸模型和目标口腔模型进行渲染，从而生成三维人脸表情模型。
在本发明实施例中，通过获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型，再采用三维人脸模型中的口腔位置参数将样本口腔模型配准至三维人脸模型中，并采用三维人脸模型的表情参数对配准后的样本口腔模型的口腔形态进行形态调整以生成目标口腔模型，基于所获取的三维人脸模型以及所生成的目标口腔模型得到用户图片对应的三维人脸表情模型。通过根据三维人脸模型的口腔位置参数以及表情参数分别对样本口腔模型进行位置和尺度的配置以及口腔形态的调节，从而使得样本口腔模型可以与三维人脸模型保持一致，解决了样本口腔模型与三维人脸模型合成失真的问题，进而使得所生成的三维人脸表情模型合成效果佳。
请参见图16，为本发明实施例提供了一种人脸模型处理设备的结构示意图。如图16所示，本发明实施例的所述表情图片生成设备1可以包括：模型获取单元11、模型配准单元12、形态调整单元13、表情模型生成单元14、亮度调整单元15、模型转换单元16、图片添加单元17、图片检测单元18和图片插入单元19。
模型获取单元11，用于获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型；
所述获取用户图片对应的三维人脸模型，可以理解为，模型获取单元11获取所选择的用户图片，对所述用户图片进行人脸识别处理，以获取所述用户图片的人脸图像，并在表情模型库中获取三维表情模型，将所述人脸图像与所述三维表情模型进行合成，以生成所述用户图片对应的三维人脸模型。所述在表情模型库中获取三维表情模型，可以是在基于当前事件(如当前日期、当前日期发生的热点事件，还可以是用户所选择的喜欢的主题等)所更新的表情模型集合中随机选取的一个三维表情模型；也可以是对所述用户图片进行解析后获取该用户图片的主题信息，并在所述表情模型库中查找与所述主题信息相匹配的三维表情模型，所述主题信息可通过关键字描述，如所述主题信息可以为“女生节”、“红包”或“开心”等。
所述获取用户图片对应的三维人脸模型，还可以理解为，对所述用户图片中的人脸图像采用三维重建技术进行三维重建处理，并采用用户所选择的表情参数替换三维重建生成的人脸模型的表情参数，从而生成三维人脸模型。所述三维重建技术是指在目标物深度信息已知的条件下，只需要经过点云数据的配准及融合，即可实现对该目标物的三维重建。目前，基于对目标物深度信息的获取方法将三维重建技术分为被动式三维重建技术和主动式三维重建技术，其中，被动式三维重建技术一般利用周围环境如自然光的反射，使用相机获取图像，然后通过特定算法计算得到目标物的立体空间信息，主要包括纹理恢复形状法、阴影恢复形状法以及立体视觉法；主动式三维重建技术是指利用如激光、声波、电磁波等光源或能量源发射至目标物体，通过接收返回的光波来获取物体的深度信息，主要包括莫尔条纹法、飞行时间法、结构光法以及三角测距法。
需要说明的是，所得到的三维人脸模型可采用公式描述，其中S是三维人脸模型，是平均人脸的三维模型，Ui和Vi分别是通过人脸三维模型数据集训练得到的人脸身份的空间基向量矩阵和人脸表情的空间基向量矩阵，wi和vi表示对应三维人脸模型的身份参数和表情参数。Ui和Vi为已知数，如果wi和vi已知，就可以根据上述公式计算出一个对应的三维人脸模型S。相应的，如果合成了三维人脸模型S，其对应的wi和vi也可以通过检测得到。一般通过改变wi和vi的值来改变三维人脸模型S的呈现形态，通过保持三维人脸模型的身份参数wi不变，控制vi的变化，就可以得到同一人脸不同表情的几何模型，若保持vi不变，控制wi变化，就可以得到同一表情下不同人脸的几何模型。例如，如图2所示为所生成的一种三维表情模型。
在口腔模型库中包括至少一个口腔模型，各口腔模型均可采用公式描述，只是α、β和γ的值不同。其中是闭合状态下的口腔模型，ΔT1、ΔT2和ΔT3分别为口腔开合偏移量、舌头伸缩偏移量和舌头摆动偏移量，α、β和γ分别为口腔开合参数、舌头伸缩参数以及舌头摆动参数，通过改变α、β和γ的值来分别控制口腔开合形态、舌头伸缩形态以及舌头摆动形态。通过在口腔模型库中随机选择一个口腔模型作为样本口腔模型，所述样本口腔模型如图3所示。
可选的，如图17所示，所述模型获取单元11，包括：
人脸图像获取子单元111，用于获取所选择的用户图片，对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像；
可以理解的是，所述用户图片为用户所选择的用于建立三维人脸模型的图片，可以为在图片库中所选择的图片，也可以为通过摄像头当前拍摄的图片，所述摄像头可以为固定摄像头，也可以为可旋转摄像头。在所述用户图片中包括有人脸图像，所述人脸图像可以为一个，也可以为多个。当然，所述用户图片也可以为类人脸图片，如素描、水墨画、动漫、建筑、雕塑、工艺品等形式的图片。例如，如图7所示为所获取的一种用户图片，其中包括有人脸图像。
具体实现中，人脸图像获取子单元111获取用户图片，通过对所述用户图片进行人脸识别处理，从而识别出其中所包含的人脸图像。所述人脸识别处理可以为对所述用户图片进行人脸检测，当检测到存在人脸图像时，可以对所检测到的人脸图像进行标记或五官定位等，具体可以依据实际场景需求执行。所述人脸检测过程可采用人脸识别方法实现，如基于特征脸主成分分析的人脸识别方法、弹性图匹配的人脸识别方法、支持向量机的人脸识别方法以及深度神经网络人脸识别方法等。
人脸模型生成子单元112，用于在表情模型库中获取三维表情模型，将所述人脸图像与所述三维表情模型进行合成，以生成所述用户图片对应的三维人脸模型。
可以理解的是，所述表情模型库中包括至少一个表情模型，所述表情模型即为带有表情的人脸五官模型。所述在表情模型库中获取三维表情模型，可以是在基于当前事件(如当前日期、当前日期发生的热点事件，还可以是用户所选择的喜欢的主题等)所更新的表情模型集合中随机选取的一个三维表情模型，例如基于当前日期发生的热点事件更新了10个表情模型，人脸模型处理设备可在这10个表情模型中随机选择一个表情模型用于合成三维人脸模型；也可以是对所述用户图片进行解析后获取该用户图片的主题信息或提取请求携带的主题信息，并在所述表情模型库中查找与所述主题信息相匹配的三维表情模型，所述主题信息可通过关键字描述，如所述主题信息可以为“女生节”、“红包”或“开心”等。
需要说明的是，所得到的三维人脸模型可采用公式描述，其中S是三维人脸模型，是平均人脸的三维模型，Ui和Vi分别是通过人脸三维模型数据集训练得到的人脸身份的空间基向量矩阵和人脸表情的空间基向量矩阵，wi和vi表示对应三维人脸模型的身份参数和表情参数。Ui和Vi为已知数，如果wi和vi已知，就可以根据上述公式计算出一个对应的三维人脸模型S。相应的，如果合成了三维人脸模型S，其对应的wi和vi也可以通过检测得到。一般通过改变wi和vi的值来改变三维人脸模型S的呈现形态，通过保持三维人脸模型的身份参数wi不变，控制vi的变化，就可以得到同一人脸不同表情的几何模型，若保持vi不变，控制wi变化，就可以得到同一表情下不同人脸的几何模型。
所述获取用户图片对应的三维人脸模型，可以理解为，在表情模型库中获取三维表情模型，将所述人脸图像与所述三维表情模型进行合成，以生成所述用户图片对应的三维人脸模型。例如，如图8所示为基于图7所示用户图片所合成的一种三维表情模型。
具体实现中，人脸模型生成子单元112基于用户图片的主题信息或者基于当前事件在表情模型库中获取三维表情模型，将所识别到的用户图片中的人脸图像与所获取的三维表情模型进行合成，从而生成所述用户图片对应的三维人脸模型。
模型配准单元12，用于采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中；
可以理解的是，所述口腔位置参数用于指示样本口腔模型配准至三维人脸模型中，所述配准包括样本口腔模型尺寸以及位置的配准，从而使得样本口腔模型与三维人脸模型相匹配。
可选的，如图18所示，所述模型配准单元12，包括：
参数获取子单元121，用于获取所述样本口腔模型相对所述三维人脸模型的角度旋转参数以及位置平移参数，并获取所述样本口腔模型的当前坐标信息；
可以理解的是，所述角度旋转参数是指样本口腔模型相对所述三维人脸模型在空间(三维坐标系)的旋转角度大小以及旋转方向，所述旋转方向包括俯仰方向、水平偏转方向以及空间滚动方向，所述角度旋转参数可采用旋转矩阵表示。所述位置平移参数是指样本口腔模型相对所述三维人脸模型在平面(如投影到xoy平面)的相对距离大小，可基于样本口腔模型以及三维人脸模型的坐标计算得到。
获取所述样本口腔模型相对所述三维人脸模型的角度旋转参数以及位置平移参数，可以理解为，获取在同一坐标系下样本口腔模型的旋转矩阵R1和坐标t1，同时获取三维人脸模型的旋转矩阵R2和坐标t2，那么样本口腔模型相对所述三维人脸模型的角度旋转参数R可基于R1和R2计算得到，位置平移参数t可基于t1和t2计算得到。当然，也可以同一坐标系下样本口腔模型和三维人脸模型中其一为参考模型，只需计算另一模型相对参考模型的角度旋转参数R和位置平移参数t。例如，如图4所示，包括三维人脸模型S和样本口腔模型T，在同一坐标系xyz下，以S为参考模型，那么S相对坐标系的旋转矩阵为R1，T相对该坐标系的旋转矩阵为R2，此时的角度旋转参数R＝R1/R2，相应的，T相对S的位置平移参数t＝t0。还可以理解为，在表情模型库中存放的三维表情模型以及在口腔模型库中存放的口腔模型都是正面放置(无角度偏转)，而所生成的三维人脸模型则会基于用户图片中人脸图像的旋转而相应发生旋转，那么只需对用户图片进行解析，获取其中人脸图像的旋转矩阵，该旋转矩阵即为样本口腔模型相对所述三维人脸模型的角度旋转参数R。样本口腔模型相对所述三维人脸模型的位置平移参数t仍然可基于位置差计算得到，或者基于三维人脸模型的坐标信息以及样本口腔模型的坐标信息计算在平面上的坐标差得到。
所述样本口腔模型的当前坐标信息即在当前坐标系下样本口腔模型各特征点的三维坐标值。可直接在口腔模型库中获取所预存的样本口腔模型的当前坐标信息。
目标信息获取子单元122，用于基于所述角度旋转参数、所述位置平移参数、所述当前坐标信息、所述三维人脸模型的坐标信息以及平均人脸模型的坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息；
需要说明的是，所涉及的坐标信息(如三维人脸模型的坐标信息、平均人脸模型的坐标信息、当前坐标信息以及目标坐标信息)均为三维空间坐标，且与模型上的各特征点一一对应，即每个模型的坐标信息为该模型上各特征点的三维坐标集合。
模型移动子单元123，用于将所述样本口腔模型移动至所述目标坐标信息指示的目标位置处。
从T到T*的变换过程即实现样本口腔模型与三维人脸模型的融合。例如，如图10所示为将样本口腔模型配置至图8所示的三维人脸模型后的效果图。
可选的，所述目标信息获取子单元122，具体用于：
获取所述用户图片中人脸图像的身份特征参数，并基于所述身份特征参数、身份特征基以及平均人脸模型的坐标信息，得到所述三维人脸模型的坐标信息；
可以理解的是，通过对用户图片进行解析以获取所述用户图片中人脸图像的身份特征参数wi。同时，由于三维人脸模型中当表情参数为0时，身份参数依然不变，因此，可将所获取的身份特征参数wi、身份特征基Ui以及平均人脸模型的坐标信息代入公式中，从而得到所述三维人脸模型的坐标信息S。
计算所述三维人脸模型的坐标信息投影在平面上的第一面积以及所述平均人脸模型的坐标信息投影在所述平面上的第二面积，并计算所述第一面积与所述第二面积的第一比值；
可以理解的是，由于所得到的样本口腔模型的尺寸与三维人脸模型的尺寸不一定完全匹配，则需依据三维人脸模型的尺寸对样本口腔模型的尺寸进行调整。
具体的，将三维人脸模型的坐标信息S投影在平面上(如xoy平面)，并计算投影得到的第一面积Area(π(S))，同时，将平均人脸模型的坐标信息投影在相同的平面上，并计算投影得到的第二面积并计算所述第一面积与所述第二面积的第一比值基于该第一比值对样本口腔模型的尺寸进行调整，可以保证口腔模型的尺寸随着三维人脸模型尺寸的变化而变化。
基于所述第一比值、所述角度旋转参数、所述位置平移参数以及所述当前坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息。
具体实现中，将所获取的角度旋转参数R、样本口腔模型的当前坐标信息T、位置平移参数t以及第一比值带入公式中，从而得到尺度以及位置调整后的样本口腔模型的坐标信息T*，所述T*即为样本口腔模型在所述三维人脸模型的目标坐标信息。
形态调整单元13，用于采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整，以生成目标口腔模型；
可以理解的是，由于不同的环境下所露出的口腔模型的亮度值有所不同，比如在光线较暗的情况下，通常人脸模型的脸部肤色都会很暗，如果不对口腔模型的亮度进行调整而直接渲染，所显示的口腔模型则会很亮而不协调，因此，当人脸肤色亮度值与口腔亮度值不匹配(如人脸肤色亮度值与口腔亮度值的差值超过设定的阈值范围)时，采用所述用户图片的人脸肤色亮度值对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整。
可选的，如图19所示，所述形态调整单元13，包括：
第一参数获取子单元131，用于获取所述三维人脸模型的表情参数，基于所述表情参数以及联动权重获取所述样本口腔模型的口腔开合参数；
可以理解的是，所述口腔开合参数α用于控制样本口腔模型的开合程度。所述口腔开合参数α基于所述三维人脸模型的表情参数v以及联动权重η获取。具体实现为获取所述表情参数v对应的多个表情分量参数vi，并分别计算多个表情分量参数中各表情分量参数vi与所对应的联动权重ηi的乘积，再对各个乘积进行线性加权处理，以得到所述样本口腔模型的开合参数α＝Σi∈Gηi·vi，其中G为公式中与口腔开合动作有关的表情参数vi的索引i的集合。
联动权重ηi值的设定是通过人工调节口腔模型和三维人脸模型，并在口腔模型和三维人脸模型动作协调时获取参数样本对<α,v>，然后用最小二乘法计算η的统计值，以作为最佳先验参数ηi。其中，参数样本对的数量优选为大于或者等于G的数量的两倍，以提高ηi计算的准确率。所述最小二乘法(又称最小平方法)是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
例如，如图11中a-d所示，分别描述不同α取值下配准后的样本口腔模型的开合程度。
第二参数获取子单元132，用于在口腔表情参数集合中获取所述表情参数指示的舌头伸缩参数以及舌头摆动参数；
可以理解的是，所述舌头伸缩参数β用于控制舌头的伸缩程度，舌头摆动参数γ用于控制舌头的左右摆动程度。
所述舌头伸缩参数β和舌头摆动参数γ可以是在口腔表情参数集合中基于所述表情参数v所获取，即表情参数v与舌头伸缩参数β和舌头摆动参数γ存在对应关系，当以表格形式对应存储时，直接通过查表即可获取到β和γ；也可以是在基于当前事件所更新的舌头伸缩参数集合和舌头摆动参数集合中随机选取；还可以是基于用户图片的主题信息在预定义的口腔表情参数集合中查找与所述主题信息相匹配的β和γ。所述主题信息可通过关键字描述，如所述主题信息可以为“忧伤”、“大笑”或“开心”等。
形态调整子单元133，用于基于所述口腔开合参数、所述舌头伸缩参数以及所述舌头摆动参数对所述样本口腔模型的口腔形态进行形态调整。
可以理解的是，由于三维人脸模型和样本口腔模型在表情变化时有各自的动作机制，且彼此独立，很难保证样本口腔模型的口腔形态和三维人脸模型的形态相匹配。为了保证样本口腔模型与三维人脸模型的协调性，则需要对样本口腔模型的口腔形态进行调整。也就是说，对匹配至三维人脸模型中的样本口腔模型的口腔形态进行调整。
具体的，若配准后的样本口腔模型为将采用S207获取的口腔开合参数α2和采用S208获取的舌头伸缩参数β2以及舌头摆动参数γ2替换α1、β1和γ1，从而实现对样本口腔模型的口腔形态的形态调整。
亮度调整单元15，用于采用所述用户图片的人脸肤色亮度值对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整。
可选的，如图20所示，所述亮度调整单元15，包括：
特征点选取子单元151，用于在所述三维人脸模型的设定部位选取特征点集合；
可以理解的是，所述设定部位可以为三维人脸模型脸部额头和脸颊。在所述设定部位分别随机选取至少一个特征点，所述至少一个特征点可以包括顶点。如图13所示为三维人脸模型的脸部图像，其中A、B、C即为所选取的特征点集合。
亮度值获取子单元152，用于获取所述特征点集合中各特征点在所述用户图片中的肤色亮度值以及所述各特征点在参考图片中的肤色亮度值；
例如，在A集合中包括A1～A10共10个特征点，在B集合中包括B1～B10共10个特征点，以及在C集合中包括C1～C10共10个特征点，则获取这30个特征点在用户图片对应位置的肤色(肤色纹理)亮度值并对所获取的肤色亮度值进行线性加权得到 为用户图片p位置处肤色纹理的亮度值，H包括A、B和C。同样的，获取这30个特征点在用户所选择的参考图片(光线亮度正常情况下的任一包含人脸图像的用户图片)对应位置的肤色(肤色纹理)亮度值lp，并对所获取的肤色亮度值进行线性加权得到∑p∈Hlp，lp为参考图片p位置处纹理的亮度，H包括A、B和C。
第二比值获取子单元153，用于计算所述各特征点在所述用户图片中的肤色亮度值与所述各特征点在参考图片中的肤色亮度值的第二比值；
具体的，根据亮度值获取子单元152所得到的肤色亮度值计算第二比值
通过计算新来人脸的亮度对参考人脸亮度的比例来确定口腔纹理(如图5)的亮度。
亮度调整子单元154，用于基于所述第二比值对所述样本口腔模型的口腔亮度值进行亮度调整。
具体可以为将样本口腔模型的口腔纹理由RGB空间变换到HSL空间后，采用第二比值stooth_light对口腔纹理的口腔亮度值进行等比例的缩放，最后再变换到RGB空间进行显示。其中，口腔纹理图像(口腔各个部位)如图14所示，基于计算得到的stooth_light对图14中的口腔纹理图像的各特征点的亮度值均进行调整。
表情模型生成单元14，用于基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型。
可以理解的是，所生成的三维人脸表情模型是三维人脸模型与目标口腔模型融合的结果，即目标口腔模型与三维人脸模型尺寸及位置匹配，形态表情一致，亮度相协调。并对调整后的三维人脸模型和目标口腔模型进行渲染，从而生成三维人脸表情模型。
模型转换单元16，用于将所述三维人脸表情模型转换为所述用户图片对应的表情图片；
可以理解的是，所述三维人脸表情模型为三维图像，而所述表情图片为二维图像。由三维人脸表情模型转换为表情图片只是空间维度的变换，而图片内容不变。
图片添加单元17，用于将所述表情图片添加至所述用户图片对应的表情图片序列中；
可以理解的是，由多帧表情图片可组成表情图片系列，所述表情图片序列为按照设定的显示顺序以及时间间隔所展示的动态表情图片(如GIF格式图片)。将所述表情图片添加至所述用户图片对应的表情图片序列中，可以理解为，创建空的表情图片序列，然后将所获取的多帧表情图片添加到该空的表情图片序列中。还可以理解为，创建空的表情图片序列，设定了时间间隔，每生成一帧表情图片就添加到该空的表情图片序列中。
图片检测单元18，用于当检测到所述表情图片序列中相邻两帧表情图片对应的表情参数不连续时，获取所述相邻两帧表情图片对应的表情参数之间的连续表情参数；
可以理解的是，表情图片序列中每帧表情图片分别对应一个表情参数，且相邻两帧表情图片的表情参数相连续，从而在展示表情图片序列时，用户可以观看到一组表情连续变化的表情图片序列，富有趣味性。需要说明的是，所述每帧表情图片对应的人脸图像可以完全相同，也可以完全不同，还可以部分相同，具体不限定。
具体实现中，遍历各帧表情图片，并读取遍历到的当前表情图片的第一表情参数，以及下一帧表情图片的第二表情参数，若第一表情参数与第二表情参数连续，则继续读取下一帧表情图片的第三表情参数，判断第二表情参数与d第三表情参数是否连续；若第一表情参数与第二表情参数不连续，则获取第一表情参数与第二表情参数之间的连续表情参数，并在图片库中查找连续表情参数对应的表情图片或采用上述方式生成连续表情参数对应的表情图片。其中，所述连续表情参数包括至少一个，也就是说，在两帧不连续的表情图片之间需要插入至少一帧表情图片而使得不连续的表情图片变为连续的表情图片。
图片插入单元19，用于在相邻两帧表情图片之间插入所述连续表情参数对应的表情图片。
具体的，将所获取的连续表情参数对应的表情图片插入至两帧不连续的表情图片之间，从而使得表情连续变化。
需要说明的是，通常要生成连续表情变化的表情图片序列需要获取数量较大的表情图片，而为了减少计算量，可先获取设定帧数的表情图片，再采用插帧(插入表情图片)的方式补充。
在本发明实施例中，通过获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型，再采用三维人脸模型中的口腔位置参数将样本口腔模型配准至三维人脸模型中，并采用三维人脸模型的表情参数对配准后的样本口腔模型的口腔形态进行形态调整以生成目标口腔模型，基于所获取的三维人脸模型以及所生成的目标口腔模型得到用户图片对应的三维人脸表情模型。通过根据三维人脸模型的口腔位置参数以及表情参数分别对样本口腔模型进行位置和尺度的配置以及口腔形态的调节，从而使得样本口腔模型可以与三维人脸模型保持一致，解决了样本口腔模型与三维人脸模型合成失真的问题，进而使得所生成的三维人脸表情模型合成效果佳。
本发明实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图14所示实施例的方法步骤，具体执行过程可以参见图1-图14所示实施例的具体说明，在此不进行赘述。
请参见图21，为本发明实施例提供了一种电子设备的结构示意图。如图21所示，所述电子设备1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图21所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及人脸模型处理应用程序。
在图21所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的人脸模型处理应用程序，并具体执行以下操作：
获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型；
采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中；
采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整，以生成目标口腔模型；
基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型。
在一个实施例中，所述处理器1001在执行获取用户图片对应的三维人脸模型时，具体执行以下操作：
获取所选择的用户图片，对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像；
在表情模型库中获取三维表情模型，将所述人脸图像与所述三维表情模型进行合成，以生成所述用户图片对应的三维人脸模型。
在一个实施例中，所述处理器1001在执行采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中时，具体执行以下操作：
获取所述样本口腔模型相对所述三维人脸模型的角度旋转参数以及位置平移参数，并获取所述样本口腔模型的当前坐标信息；
基于所述角度旋转参数、所述位置平移参数、所述当前坐标信息、所述三维人脸模型的坐标信息以及平均人脸模型的坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息；
将所述样本口腔模型移动至所述目标坐标信息指示的目标位置处。
在一个实施例中，所述处理器1001在执行基于所述角度旋转参数、所述位置平移参数、所述当前坐标信息、所述三维人脸模型的坐标信息以及平均人脸模型的坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息时，具体执行以下操作：
获取所述用户图片中人脸图像的身份特征参数，并基于所述身份特征参数、身份特征基以及平均人脸模型的坐标信息，得到所述三维人脸模型的坐标信息；
计算所述三维人脸模型的坐标信息投影在平面上的第一面积以及所述平均人脸模型的坐标信息投影在所述平面上的第二面积，并计算所述第一面积与所述第二面积的第一比值；
基于所述第一比值、所述角度旋转参数、所述位置平移参数以及所述当前坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息。
在一个实施例中，所述处理器1001在执行采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整时，具体执行以下操作：
获取所述三维人脸模型的表情参数，基于所述表情参数以及联动权重获取所述样本口腔模型的口腔开合参数；
在口腔表情参数集合中获取所述表情参数指示的舌头伸缩参数以及舌头摆动参数；
基于所述口腔开合参数、所述舌头伸缩参数以及所述舌头摆动参数对所述样本口腔模型的口腔形态进行形态调整。
在一个实施例中，所述处理器1001在执行采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整之后，还执行以下操作：
采用所述用户图片的人脸肤色亮度值对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整。
在一个实施例中，所述处理器1001在执行采用所述用户图片的人脸肤色亮度值对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整时，具体执行以下操作：
在所述三维人脸模型的设定部位选取特征点集合；
获取所述特征点集合中各特征点在所述用户图片中的肤色亮度值以及所述各特征点在参考图片中的肤色亮度值；
计算所述各特征点在所述用户图片中的肤色亮度值与所述各特征点在参考图片中的肤色亮度值的第二比值；
基于所述第二比值对所述样本口腔模型的口腔亮度值进行亮度调整。
在一个实施例中，所述处理器1001在执行基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型之后，还执行以下操作：
在本发明实施例中，通过获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型，再采用三维人脸模型中的口腔位置参数将样本口腔模型配准至三维人脸模型中，并采用三维人脸模型的表情参数对配准后的样本口腔模型的口腔形态进行形态调整以生成目标口腔模型，基于所获取的三维人脸模型以及所生成的目标口腔模型得到用户图片对应的三维人脸表情模型。通过根据三维人脸模型的口腔位置参数以及表情参数分别对样本口腔模型进行位置和尺度的配置以及口腔形态的调节，从而使得样本口腔模型可以与三维人脸模型保持一致，解决了样本口腔模型与三维人脸模型合成失真的问题，进而使得所生成的三维人脸表情模型合成效果佳。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (15)

1.一种人脸模型处理方法，其特征在于，包括：
获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型；
采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中；
采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整，以生成目标口腔模型；
基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型。
2.根据权利要求1所述的方法，其特征在于，所述获取用户图片对应的三维人脸模型，包括：
获取所选择的用户图片，对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像；
在表情模型库中获取三维表情模型，将所述人脸图像与所述三维表情模型进行合成，以生成所述用户图片对应的三维人脸模型。
3.根据权利要求1所述的方法，其特征在于，所述采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中，包括：
获取所述样本口腔模型相对所述三维人脸模型的角度旋转参数以及位置平移参数，并获取所述样本口腔模型的当前坐标信息；
基于所述角度旋转参数、所述位置平移参数、所述当前坐标信息、所述三维人脸模型的坐标信息以及平均人脸模型的坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息；
将所述样本口腔模型移动至所述目标坐标信息指示的目标位置处。
4.根据权利要求3所述的方法，其特征在于，所述基于所述角度旋转参数、所述位置平移参数、所述当前坐标信息、所述三维人脸模型的坐标信息以及平均人脸模型的坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息，包括：
获取所述用户图片中人脸图像的身份特征参数，并基于所述身份特征参数、身份特征基以及平均人脸模型的坐标信息，得到所述三维人脸模型的坐标信息；
计算所述三维人脸模型的坐标信息投影在平面上的第一面积以及所述平均人脸模型的坐标信息投影在所述平面上的第二面积，并计算所述第一面积与所述第二面积的第一比值；
基于所述第一比值、所述角度旋转参数、所述位置平移参数以及所述当前坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息。
5.根据权利要求1所述的方法，其特征在于，所述采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整，包括：
获取所述三维人脸模型的表情参数，基于所述表情参数以及联动权重获取所述样本口腔模型的口腔开合参数；
在口腔表情参数集合中获取所述表情参数指示的舌头伸缩参数以及舌头摆动参数；
基于所述口腔开合参数、所述舌头伸缩参数以及所述舌头摆动参数对所述样本口腔模型的口腔形态进行形态调整。
6.根据权利要求1所述的方法，其特征在于，所述采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整之后，还包括：
采用所述用户图片的人脸肤色亮度值对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整。
7.根据权利要求6所述的方法，其特征在于，所述采用所述用户图片的人脸肤色亮度值对形态调整后的所述样本口腔模型的口腔亮度值进行亮度调整，包括：
在所述三维人脸模型的设定部位选取特征点集合；
获取所述特征点集合中各特征点在所述用户图片中的肤色亮度值以及所述各特征点在参考图片中的肤色亮度值；
计算所述各特征点在所述用户图片中的肤色亮度值与所述各特征点在参考图片中的肤色亮度值的第二比值；
基于所述第二比值对所述样本口腔模型的口腔亮度值进行亮度调整。
8.根据权利要求1所述的方法，其特征在于，所述基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型之后，还包括：
将所述三维人脸表情模型转换为所述用户图片对应的表情图片；
将所述表情图片添加至所述用户图片对应的表情图片序列中；
当检测到所述表情图片序列中相邻两帧表情图片对应的表情参数不连续时，获取所述相邻两帧表情图片对应的表情参数之间的连续表情参数；
在相邻两帧表情图片之间插入所述连续表情参数对应的表情图片。
9.一种人脸模型处理设备，其特征在于，包括：
模型获取单元，用于获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型；
模型配准单元，用于采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中；
形态调整单元，用于采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整，以生成目标口腔模型；
表情模型生成单元，用于基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型。
10.根据权利要求9所述的设备，其特征在于，所述模型获取单元，包括：
人脸图像获取子单元，用于获取所选择的用户图片，对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像；
人脸模型生成子单元，用于在表情模型库中获取三维表情模型，将所述人脸图像与所述三维表情模型进行合成，以生成所述用户图片对应的三维人脸模型。
11.根据权利要求9所述的设备，其特征在于，所述模型配准单元，包括：
参数获取子单元，用于获取所述样本口腔模型相对所述三维人脸模型的角度旋转参数以及位置平移参数，并获取所述样本口腔模型的当前坐标信息；
目标信息获取子单元，用于基于所述角度旋转参数、所述位置平移参数、所述当前坐标信息、所述三维人脸模型的坐标信息以及平均人脸模型的坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息；
模型移动子单元，用于将所述样本口腔模型移动至所述目标坐标信息指示的目标位置处。
12.根据权利要求11所述的设备，其特征在于，所述目标信息获取子单元，具体用于：
获取所述用户图片中人脸图像的身份特征参数，并基于所述身份特征参数、身份特征基以及平均人脸模型的坐标信息，得到所述三维人脸模型的坐标信息；
计算所述三维人脸模型的坐标信息投影在平面上的第一面积以及所述平均人脸模型的坐标信息投影在所述平面上的第二面积，并计算所述第一面积与所述第二面积的第一比值；
基于所述第一比值、所述角度旋转参数、所述位置平移参数以及所述当前坐标信息，得到所述样本口腔模型在所述三维人脸模型的目标坐标信息。
13.根据权利要求9所述的设备，其特征在于，所述形态调整单元，包括：
第一参数获取子单元，用于获取所述三维人脸模型的表情参数，基于所述表情参数以及联动权重获取所述样本口腔模型的口腔开合参数；
第二参数获取子单元，用于在口腔表情参数集合中获取所述表情参数指示的舌头伸缩参数以及舌头摆动参数；
形态调整子单元，用于基于所述口腔开合参数、所述舌头伸缩参数以及所述舌头摆动参数对所述样本口腔模型的口腔形态进行形态调整。
14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～8任意一项的方法步骤。
15.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行以下步骤：
获取用户图片对应的三维人脸模型，并在口腔模型库中获取所选择的样本口腔模型；
采用所述三维人脸模型中的口腔位置参数，将所述样本口腔模型配准至所述三维人脸模型中；
采用所述三维人脸模型的表情参数对配准后的所述样本口腔模型的口腔形态进行形态调整，以生成目标口腔模型；
基于所述三维人脸模型和所述目标口腔模型生成所述用户图片对应的三维人脸表情模型。
CN201810349627.6A 2018-04-18 2018-04-18 一种人脸模型处理方法及其设备、存储介质 Active CN108537881B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810349627.6A CN108537881B (zh) 2018-04-18 2018-04-18 一种人脸模型处理方法及其设备、存储介质
EP19788578.3A EP3783571A4 (en) 2018-04-18 2019-03-06 METHOD AND DEVICE FOR PROCESSING A FACE MODEL, NON-VOLATILE COMPUTER-READABLE STORAGE MEDIUM AND ELECTRONIC DEVICE
PCT/CN2019/077221 WO2019201027A1 (zh) 2018-04-18 2019-03-06 一种人脸模型处理方法、装置、非易失性计算机可读存储介质和电子设备
US16/898,202 US11257299B2 (en) 2018-04-18 2020-06-10 Face model processing for facial expression method and apparatus, non-volatile computer-readable storage-medium, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810349627.6A CN108537881B (zh) 2018-04-18 2018-04-18 一种人脸模型处理方法及其设备、存储介质

Publications (2)

Publication Number Publication Date
CN108537881A true CN108537881A (zh) 2018-09-14
CN108537881B CN108537881B (zh) 2020-04-03

Family

ID=63478033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810349627.6A Active CN108537881B (zh) 2018-04-18 2018-04-18 一种人脸模型处理方法及其设备、存储介质

Country Status (4)

Country Link
US (1) US11257299B2 (zh)
EP (1) EP3783571A4 (zh)
CN (1) CN108537881B (zh)
WO (1) WO2019201027A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840939A (zh) * 2019-01-08 2019-06-04 北京达佳互联信息技术有限公司 三维重建方法、装置、电子设备及存储介质
CN109934115A (zh) * 2019-02-18 2019-06-25 苏州市科远软件技术开发有限公司 人脸识别模型的构建方法、人脸识别方法及电子设备
WO2019201027A1 (zh) * 2018-04-18 2019-10-24 腾讯科技（深圳）有限公司 一种人脸模型处理方法、装置、非易失性计算机可读存储介质和电子设备
CN110728271A (zh) * 2019-12-19 2020-01-24 恒信东方文化股份有限公司 一种针对人脸识别生成人物表情的方法
CN111291685A (zh) * 2020-02-10 2020-06-16 支付宝实验室(新加坡)有限公司 人脸检测模型的训练方法及装置
CN112419305A (zh) * 2020-12-09 2021-02-26 深圳云天励飞技术股份有限公司 人脸光照质量检测方法、装置、电子设备及存储介质
WO2023116145A1 (zh) * 2021-12-21 2023-06-29 北京字跳网络技术有限公司 表情模型确定方法、装置、设备及计算机可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4241725A3 (en) 2017-03-20 2023-11-01 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient
US11553988B2 (en) * 2018-06-29 2023-01-17 Align Technology, Inc. Photo of a patient with new simulated smile in an orthodontic treatment review software
CN112541963B (zh) * 2020-11-09 2023-12-26 北京百度网讯科技有限公司 三维虚拟形象生成方法、装置、电子设备和存储介质
CN112954205A (zh) * 2021-02-04 2021-06-11 重庆第二师范学院 一种应用于行人再识别系统的图像采集装置
CN117830083B (zh) * 2024-03-05 2024-05-03 昆明理工大学 一种人脸素描到人脸照片的生成方法、装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1920886A (zh) * 2006-09-14 2007-02-28 浙江大学 基于视频流的三维动态人脸表情建模方法
CN101324961A (zh) * 2008-07-25 2008-12-17 上海久游网络科技有限公司 计算机虚拟世界中人脸部三维贴图方法
CN102376100A (zh) * 2010-08-20 2012-03-14 北京盛开互动科技有限公司 基于单张照片的人脸动画方法
US20140139522A1 (en) * 2009-09-18 2014-05-22 Samsung Electronics Co., Ltd. Apparatus and method to extract three-dimensional (3d) facial expression
CN104715447A (zh) * 2015-03-02 2015-06-17 百度在线网络技术（北京）有限公司 图像合成方法和装置
CN106652015A (zh) * 2015-10-30 2017-05-10 深圳超多维光电子有限公司 一种虚拟人物头像生成方法及装置
CN107316020A (zh) * 2017-06-26 2017-11-03 司马大大（北京）智能系统有限公司 人脸替换方法、装置及电子设备
CN107358648A (zh) * 2017-07-17 2017-11-17 中国科学技术大学 基于单张人脸图像的实时全自动高质量三维人脸重建方法
CN107610209A (zh) * 2017-08-17 2018-01-19 上海交通大学 人脸表情合成方法、装置、存储介质和计算机设备
CN107657664A (zh) * 2017-08-17 2018-02-02 上海交通大学 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1889129A (zh) * 2006-07-20 2007-01-03 北京中星微电子有限公司 基于单张相片的快速人脸建模方法及系统
US8780161B2 (en) * 2011-03-01 2014-07-15 Hewlett-Packard Development Company, L.P. System and method for modifying images
US8842163B2 (en) * 2011-06-07 2014-09-23 International Business Machines Corporation Estimation of object properties in 3D world
CN102426712B (zh) * 2011-11-03 2014-07-16 中国科学院自动化研究所 一种基于两幅图像的三维头部建模方法
US10417824B2 (en) * 2014-03-25 2019-09-17 Apple Inc. Method and system for representing a virtual object in a view of a real environment
CN104318615B (zh) * 2014-10-29 2017-04-19 中国科学技术大学 一种发音器官三维建模方法
US10489957B2 (en) * 2015-11-06 2019-11-26 Mursion, Inc. Control system for virtual characters
CN105719326A (zh) * 2016-01-19 2016-06-29 华中师范大学 一种基于单张照片的真实感人脸生成方法
CN106327571B (zh) * 2016-08-23 2019-11-05 北京的卢深视科技有限公司 一种三维人脸建模方法及装置
CN108537881B (zh) * 2018-04-18 2020-04-03 腾讯科技（深圳）有限公司 一种人脸模型处理方法及其设备、存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1920886A (zh) * 2006-09-14 2007-02-28 浙江大学 基于视频流的三维动态人脸表情建模方法
CN101324961A (zh) * 2008-07-25 2008-12-17 上海久游网络科技有限公司 计算机虚拟世界中人脸部三维贴图方法
US20140139522A1 (en) * 2009-09-18 2014-05-22 Samsung Electronics Co., Ltd. Apparatus and method to extract three-dimensional (3d) facial expression
CN102376100A (zh) * 2010-08-20 2012-03-14 北京盛开互动科技有限公司 基于单张照片的人脸动画方法
CN104715447A (zh) * 2015-03-02 2015-06-17 百度在线网络技术（北京）有限公司 图像合成方法和装置
CN106652015A (zh) * 2015-10-30 2017-05-10 深圳超多维光电子有限公司 一种虚拟人物头像生成方法及装置
CN107316020A (zh) * 2017-06-26 2017-11-03 司马大大（北京）智能系统有限公司 人脸替换方法、装置及电子设备
CN107358648A (zh) * 2017-07-17 2017-11-17 中国科学技术大学 基于单张人脸图像的实时全自动高质量三维人脸重建方法
CN107610209A (zh) * 2017-08-17 2018-01-19 上海交通大学 人脸表情合成方法、装置、存储介质和计算机设备
CN107657664A (zh) * 2017-08-17 2018-02-02 上海交通大学 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王罡: "基于单张正面人脸照片的三维人脸自动建模方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019201027A1 (zh) * 2018-04-18 2019-10-24 腾讯科技（深圳）有限公司 一种人脸模型处理方法、装置、非易失性计算机可读存储介质和电子设备
US11257299B2 (en) 2018-04-18 2022-02-22 Tencent Technology (Shenzhen) Company Limited Face model processing for facial expression method and apparatus, non-volatile computer-readable storage-medium, and electronic device
CN109840939A (zh) * 2019-01-08 2019-06-04 北京达佳互联信息技术有限公司 三维重建方法、装置、电子设备及存储介质
CN109840939B (zh) * 2019-01-08 2024-01-26 北京达佳互联信息技术有限公司 三维重建方法、装置、电子设备及存储介质
CN109934115A (zh) * 2019-02-18 2019-06-25 苏州市科远软件技术开发有限公司 人脸识别模型的构建方法、人脸识别方法及电子设备
CN110728271A (zh) * 2019-12-19 2020-01-24 恒信东方文化股份有限公司 一种针对人脸识别生成人物表情的方法
CN110728271B (zh) * 2019-12-19 2020-04-07 恒信东方文化股份有限公司 一种针对人脸识别生成人物表情的方法
CN111291685A (zh) * 2020-02-10 2020-06-16 支付宝实验室(新加坡)有限公司 人脸检测模型的训练方法及装置
CN111291685B (zh) * 2020-02-10 2023-06-02 支付宝实验室(新加坡)有限公司 人脸检测模型的训练方法及装置
CN112419305A (zh) * 2020-12-09 2021-02-26 深圳云天励飞技术股份有限公司 人脸光照质量检测方法、装置、电子设备及存储介质
WO2023116145A1 (zh) * 2021-12-21 2023-06-29 北京字跳网络技术有限公司 表情模型确定方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP3783571A1 (en) 2021-02-24
US11257299B2 (en) 2022-02-22
EP3783571A4 (en) 2021-12-08
CN108537881B (zh) 2020-04-03
WO2019201027A1 (zh) 2019-10-24
US20200312043A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
CN108537881A (zh) 一种人脸模型处理方法及其设备、存储介质
CN109325437B (zh) 图像处理方法、装置和系统
US11748934B2 (en) Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium
Seitz Image-based transformation of viewpoint and scene appearance
CN114072846A (zh) 动画化来自头戴式装置相机的虚拟形象
WO2021229415A1 (en) Method and system for virtual 3d communications
CN102685533B (zh) 对2d电影进行转换用于立体3d显示的方法和系统
CN108573527A (zh) 一种表情图片生成方法及其设备、存储介质
CN111640176A (zh) 一种物体建模运动方法、装置与设备
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN108475327A (zh) 三维采集与渲染
CN111161395B (zh) 一种人脸表情的跟踪方法、装置及电子设备
CN106021550A (zh) 一种发型设计方法和系统
CN110689626A (zh) 游戏模型渲染方法和装置
KR20210113948A (ko) 가상 아바타 생성 방법 및 장치
JP2018124939A (ja) 画像合成装置、画像合成方法、及び画像合成プログラム
CN109584327A (zh) 人脸老化模拟方法、装置以及设备
JP2023507862A (ja) 顔再構築方法、装置、コンピュータデバイス、及び記憶媒体
KR20170046140A (ko) 얼굴 이미지 편집 방법 및 디바이스
CN110473248A (zh) 一种利用图像构建人体三维模型的测量方法
CN110458924A (zh) 一种三维脸部模型建立方法、装置和电子设备
CN114373044A (zh) 生成脸部三维模型的方法、装置、计算设备和存储介质
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
CN108717730B (zh) 一种3d人物重建的方法及终端
CN110533773A (zh) 一种三维人脸重建方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant