CN108573527B - 一种表情图片生成方法及其设备、存储介质 - Google Patents

一种表情图片生成方法及其设备、存储介质 Download PDF

Info

Publication number
CN108573527B
CN108573527B CN201810350251.0A CN201810350251A CN108573527B CN 108573527 B CN108573527 B CN 108573527B CN 201810350251 A CN201810350251 A CN 201810350251A CN 108573527 B CN108573527 B CN 108573527B
Authority
CN
China
Prior art keywords
expression
picture
user
face
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810350251.0A
Other languages
English (en)
Other versions
CN108573527A (zh
Inventor
李琛
彭伟龙
张智
魏哲
谢君朋
张钟方
沈小勇
戴宇榮
賈佳亞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810350251.0A priority Critical patent/CN108573527B/zh
Publication of CN108573527A publication Critical patent/CN108573527A/zh
Application granted granted Critical
Publication of CN108573527B publication Critical patent/CN108573527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种表情图片生成方法及其设备、存储介质，其中方法包括如下步骤：获取所选择的用户图片，并获取用户图片中的人脸图像；对人脸图像进行三维重建处理，以获取人脸图像对应的三维人脸模型；在表情参数集合中获取表情参数，将表情参数与三维人脸模型进行合成处理，以生成人脸图像对应的第一表情图片；对第一表情图片进行图片填充处理以获取用户图片对应的目标表情图片，将目标表情图片添加至用户图片对应的表情图片序列中，并将表情图片序列进行输出。采用本发明，可以满足用户需求的表情图片，操作过程简单快捷，从而提升对表情图片获取的便利性。

Description

一种表情图片生成方法及其设备、存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种表情图片生成方法及其设备、存储介质。
背景技术
表情图片是用户在文字输入过程中表达情感的重要途径，且已成为用户在使用聊天软件中必不可少的一种表现形式，而发送特定语义的表情图片可以生动形象地表达用户的意图，因而被广泛使用。
现有的表情图片制作方法往往需要用户选择一张或者多张图片，同时自行设计各种符合特定语义的素材，再将所选择的素材添加到图片中，并进行相应的编辑及调整后才可以得到表情图片，且在用户选择的图片数量较大时，每张图片均需要采用上述相同的操作方式，操作过程繁琐复杂，从而导致获取表情图片的便利性不足。
发明内容
本发明实施例提供了一种表情图片生成方法及其设备、存储介质，可以满足用户需求的表情图片，操作过程简单快捷，从而提升对表情图片获取的便利性。
本发明实施例一方面提供了一种表情图片生成方法，可包括：
获取所选择的用户图片，并获取所述用户图片中的人脸图像；
对所述人脸图像进行三维重建处理，以获取所述人脸图像对应的三维人脸模型；
在表情参数集合中获取表情参数，将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片；
对所述第一表情图片进行图片填充处理以获取所述用户图片对应的目标表情图片，将所述目标表情图片添加至所述用户图片对应的表情图片序列中，并将所述表情图片序列进行输出。
可选的，所述获取所选择的用户图片，并获取所述用户图片中的人脸图像，包括：
获取表情获取请求，并获取所述表情获取请求携带的用户图片；
对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像。
可选的，所述在表情参数集合中获取表情参数，包括：
在表情参数集合中获取基于当前事件所更新的第一表情参数子集合，并在所述第一表情参数子集合中随机选取表情参数。
可选的，所述在表情参数集合中获取表情参数，包括：
对所述用户图片进行解析，以获取所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数；或，
获取所述表情获取请求携带的所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数。
可选的，所述将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片，包括：
对所述三维人脸模型进行解析，以获取所述三维人脸模型的目标表情参数；
采用所述表情参数替换所述目标表情参数，以生成所述人脸图像对应的第一表情图片。
可选的，所述对所述第一表情图片进行图片填充处理以获取所述用户图片对应的目标表情图片，包括：
获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取目标表情图片。
可选的，所述获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取目标表情图片，包括：
获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取第二表情图片；
对所述第二表情图片进行图片优化处理，以获取目标表情图片，所述图片优化处理包括口腔填充处理、背景填充处理以及素材填充处理中的至少一种。
可选的，当所述图片优化处理为背景填充处理时，所述对所述第二表情图片进行图片优化处理，以获取目标表情图片，包括：
获取所述人脸图像边缘特征点的第一位置集合，并获取所述第二表情图片边缘特征点的第二位置集合；
计算所述第一位置集合与所述第二位置集合的位置变化比值以及变化方向；
基于所述位置变化比值以及所述变化方向对所述第二表情图片进行背景填充处理，以获取目标表情图片。
可选的，所述将所述目标表情图片添加至所述用户图片对应的表情图片序列中，并将所述表情图片序列进行输出，包括：
将所述目标表情图片添加至所述用户图片对应的表情图片序列中；
按照设定的显示顺序以及时间间隔将所述表情图片序列转换为动态表情图片，并将所述动态表情图片进行输出。
可选的，当所述用户图片中包括多个人脸图像时，所述在表情参数集合中获取表情参数，将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片，包括：
在表情参数集合中获取与所述多个人脸图像对应的第二表情参数子集合，在所述第二表情参数子集合中获取所述多个人脸图像中目标人脸图像对应的目标表情参数；
将所述目标表情参数与所述目标人脸图像对应的三维人脸模型进行合成处理，以生成所述目标人脸图像对应的表情图片；
获取所述多个人脸图像中各人脸图像分别对应的表情图片，将所述各人脸图像分别对应的表情图片进行拼接处理，以生成第一表情图片。
本发明实施例一方面提供了一种表情图片生成设备，可包括：
人脸获取单元，用于所选择的用户图片，并获取所述用户图片中的人脸图像；
模型获取单元，用于对所述人脸图像进行三维重建处理，以获取所述人脸图像对应的三维人脸模型；
表情生成单元，用于在表情参数集合中获取表情参数，将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片；
表情填充单元，用于对所述第一表情图片进行图片填充处理以获取所述用户图片对应的目标表情图片，将所述目标表情图片添加至所述用户图片对应的表情图片序列中，并将所述表情图片序列进行输出。
可选的，所述人脸获取单元，包括：
图片获取子单元，用于获取表情获取请求，并获取所述表情获取请求携带的用户图片；
人脸获取子单元，用于对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像。
可选的，所述表情生成单元，具体用于：
在表情参数集合中获取基于当前事件所更新的第一表情参数子集合，并在所述第一表情参数子集合中随机选取表情参数。
可选的，所述表情生成单元，具体用于：
对所述用户图片进行解析，以获取所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数；或，
获取所述表情获取请求携带的所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数。
可选的，所述表情生成单元，包括：
参数获取子单元，用于对所述三维人脸模型进行解析，以获取所述三维人脸模型的目标表情参数；
参数替换单元，用于采用所述表情参数替换所述目标表情参数，以生成所述人脸图像对应的第一表情图片。
可选的，所述表情填充单元，具体用于：
获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取目标表情图片。
可选的，所述表情填充单元，包括：
肤色填充子单元，用于获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取第二表情图片；
图片优化子单元，用于对所述第二表情图片进行图片优化处理，以获取目标表情图片，所述图片优化处理包括口腔填充处理、背景填充处理以及素材填充处理中的至少一种。
可选的，当所述图片优化处理为背景填充处理时，所述图片优化子单元，具体用于：
获取所述人脸图像边缘特征点的第一位置集合，并获取所述第二表情图片边缘特征点的第二位置集合；
计算所述第一位置集合与所述第二位置集合的位置变化比值以及变化方向；
基于所述位置变化比值以及所述变化方向对所述第二表情图片进行背景填充处理，以获取目标表情图片。
可选的，所述表情填充单元，包括：
图片添加子单元，用于将所述目标表情图片添加至所述用户图片对应的表情图片序列中；
图片转换子单元，用于按照设定的显示顺序以及时间间隔将所述表情图片序列转换为动态表情图片，并将所述动态表情图片进行输出。
可选的，当所述用户图片中包括多个人脸图像时，所述表情填充单元，包括：
目标参数获取子单元，用于在表情参数集合中获取与所述多个人脸图像对应的第二表情参数子集合，在所述第二表情参数子集合中获取所述多个人脸图像中目标人脸图像对应的目标表情参数；
图片生成子单元，用于将所述目标表情参数与所述目标人脸图像对应的三维人脸模型进行合成处理，以生成所述目标人脸图像对应的表情图片；
图片拼接子单元，用于获取所述多个人脸图像中各人脸图像分别对应的表情图片，将所述各人脸图像分别对应的表情图片进行拼接处理，以生成第一表情图片。
本发明实施例一方面提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
本发明实施例一方面提供了一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行以下步骤：
获取所选择的用户图片，并获取所述用户图片中的人脸图像；
对所述人脸图像进行三维重建处理，以获取所述人脸图像对应的三维人脸模型；
在表情参数集合中获取表情参数，将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片；
对所述第一表情图片进行图片填充处理以获取所述用户图片对应的目标表情图片，将所述目标表情图片添加至所述用户图片对应的表情图片序列中，并将所述表情图片序列进行输出。
在本发明实施例中，通过获取所选择的用户图片及该用户图片所包含的人脸图像，对人脸图像进行三维重建处理以得到三维人脸模型，再在表情参数集合中获取表情参数，将表情参数与三维人脸模型进行合成处理，从而生成第一表情图片，对第一表情图片进行图片填充处理以获取用户图片对应的目标表情图片，将目标表情图片添加至用户图片对应的表情图片序列中后进行输出。通过将用户所选择的图片中的人脸图像对应的三维人脸模型与所获取的表情参数进行合成处理，并对合成处理后的图片进行填充，就可得到满足用户需求的表情图片，也就是说，用户只需要选择用户图片即可得到表情图片，操作过程简单快捷，从而提升了对表情图片获取的便利性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种表情图片生成方法的流程示意图；
图2a是本发明实施例提供的一种用户图片的界面示意图；
图2b是本发明实施例提供的一种三维人脸模型的界面示意图；
图3a、3b和3c是本发明实施例提供的一种三维人脸模型的界面示意图；
图4a、4b和4c是本发明实施例提供的一种第一表情图片的界面示意图；
图5是本发明实施例提供的一种表情图片生成方法的流程示意图；
图6是本发明实施例提供的一种表情图片生成方法的流程示意图；
图7是本发明实施例提供的一种表情图片生成方法的流程示意图；
图8是本发明实施例提供的一种表情图片生成方法的流程示意图；
图9a和9b是本发明实施例提供的一种口腔填充处理前后的效果示意图；
图10a和10b是本发明实施例提供的一种素材填充处理的界面示意图；
图11a、11b和11c是本发明实施例提供的一种素材填充处理的界面示意图；
图12a和12b是本发明实施例提供的一种素材填充处理的界面示意图；
图13是本发明实施例提供的一种表情图片生成方法的流程示意图；
图14a和14b是本发明实施例提供的一种表情图片生成设备的产品界面示意图；
图15是本发明实施例提供的一种表情图片生成设备的架构示意图；
图16是本发明实施例提供的一种人脸获取单元的结构示意图；
图17是本发明实施例提供的一种表情生成单元的结构示意图；
图18是本发明实施例提供的一种表情填充单元的结构示意图；
图19是本发明实施例提供的一种表情填充单元的结构示意图；
图20是本发明实施例提供的一种表情填充单元的结构示意图；
图21是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面将结合附图1-附图13，对本发明实施例提供的表情图片生成方法进行详细介绍。
请参见图1，为本发明实施例提供了一种表情图片生成方法的流程示意图。如图1所示，本发明实施例的所述方法可以包括以下步骤S101-步骤S104。
S101，获取所选择的用户图片，并获取所述用户图片中的人脸图像；
可以理解的是，所述用户图片为用户所选择的用于表情编辑的图片，可以为在图片库中所选择的图片，也可以为通过摄像头当前拍摄的图片，所述摄像头可以为固定摄像头，也可以为可旋转摄像头。在所述用户图片中包括有人脸图像，所述人脸图像可以为一个，也可以为多个。当然，所述用户图片也可以为类人脸图片，如素描、水墨画、动漫、建筑、雕塑、工艺品等形式的图片。还可以理解为，所述用户图片还可以为动物图片，所述动物图片中包括有动物脸部图像。
具体实现中，当表情图片生成设备获取到表情获取请求时，提取该表情获取请求携带的信息，如用户图片、图片主题信息、图片拍摄日期、图片来源信息等，同时，对该用户图片进行人脸识别处理，从而获取其中所包含的人脸图像。需要说明的是，所述表情图片生成设备可以为用户终端，包括平板电脑、个人计算机(PC)、智能手机、掌上电脑以及移动互联网设备(MID)等具备图像处理功能及交互功能的终端设备，此时所获取到的表情获取请求为用户通过表情图片生成设备直接输入请求后由表情图片生成设备读取而得到；所述表情图片生成设备还可以为具备图像处理功能的服务器，此时所获取到的表情获取请求为用户通过表情图片生成设备输入请求后由用户终端发送至表情图片生成设备，并由表情图片生成设备读取而得到，所述用户终端可以包括平板电脑、个人计算机(PC)、智能手机、掌上电脑以及移动互联网设备(MID)等具备交互功能的终端设备。
所述人脸识别处理可以为对所述用户图片进行人脸检测，当检测到存在人脸图像时，可以对所检测到的人脸图像进行标记或五官定位等，具体可以依据实际场景需求执行。所述人脸检测过程可采用人脸识别方法实现，如基于特征脸主成分分析(PrincipalComponent Analysis，PCA)的人脸识别方法、弹性图匹配的人脸识别方法以及支持向量机(Support Vector Machine，SVM)的人脸识别方法以及深度神经网络人脸识别方法等。
其中，基于PCA的人脸识别方法也是基于卡洛南-洛伊变换(Karhunen-LoèveTransform，KL)的人脸识别方法，KL变换是图像压缩的一种最优正交变换。高维的图像空间经过KL变换后得到一组新的正交基，保留其中重要的正交基，由这些正交基可以张成低维线性空间。如果假设人脸在这些低维线性空间的投影具有可分性，就可以将这些投影用作识别的特征矢量，这就是PCA人脸识别方法的基本思想。
弹性图匹配的人脸识别方法是在二维空间中定义了一种对于通常的人脸变形具有一定的不变性的距离，并采用属性拓扑图来代表人脸，拓扑图的任一顶点均包含一特征向量，用来记录人脸在该顶点位置附近的信息。该方法结合了灰度特性和几何因素，在比对时可以允许图像存在弹性形变，在克服表情变化对识别的影响方面收到了较好的效果，同时对于单个人脸也不再需要多个样本进行训练。
SVM的人脸识别方法试图使得学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能。支持向量机主要解决的是一个两分类问题，它的基本思想是试图把一个低维的线性不可分的问题转化成一个高维的线性可分的问题。通常的实验结果表明SVM有较好的识别率。
S102，对所述人脸图像进行三维重建处理，以获取所述人脸图像对应的三维人脸模型；
可以理解的是，所识别到的人脸图像为二维图像，通过三维重建技术可以将该二维图像转换为三维立体图像。而三维重建技术的重点在于如何获取目标物(二维图像)的深度信息，在二维图像深度信息已知的条件下，只需要经过点云数据的配准及融合，即可实现对该二维图像的三维重建。目前，基于对目标物体深度信息的获取方法将三维重建技术分为被动式三维重建技术和主动式三维重建技术，其中，被动式三维重建技术一般利用周围环境如自然光的反射，使用相机获取图像，然后通过特定算法计算得到目标物的立体空间信息，主要包括纹理恢复形状法(Shape From Texture，SFT)、阴影恢复形状法(Shape FromShading，SFS)以及立体视觉法(Multi-View Stereo，MVS)；主动式三维重建技术是指利用如激光、声波、电磁波等光源或能量源发射至目标物体，通过接收返回的光波来获取物体的深度信息，主要包括莫尔条纹法(Moire Fringes，MF)、飞行时间法(Time of Flight，ToF)、结构光法(Structured Light，SL)以及三角测距法(Triangle Measuring Method，TMM)。
例如，如图2a为用户图片，图中虚线部分为所识别到的人脸图像，采用三维重建技术对该人脸图像进行处理，从而得到图2b所示的三维人脸模型。
需要说明的是，所得到的三维人脸模型可采用公式
Figure BDA0001633206810000091
描述，其中G是任意人脸的三维模型，
Figure BDA0001633206810000092
是人脸的平均脸模型，UI和UE分别是通过人脸三维模型数据集训练得到的人脸身份和人脸表情的PCA空间基向量矩阵，αI和αE表示对应人脸模型的身份参数和表情参数。和UE为已知数，如果αI和αE已知，就可以计算出一个对应的人脸三维模型G，相应的，如果合成了人脸三维模型G，其对应的αI和αE也可以检测得到。另外，通过保持人脸模型的身份参数αI不变，控制αE的变化，就可以得到同一人脸不同表情的几何模型，若保持αE不变，控制αI变化，就可以得到同一表情下不同人脸的几何模型。
S103，在表情参数集合中获取表情参数，将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片；
可以理解的是，表情参数集合中包括至少一个表情参数αE1、αE2、αE3、…、αEn，所获取的表情参数可以是基于当前事件所更新的第一表情参数子集合，并在所述第一表情参数子集合中随机选取的一个表情参数，所述当前事件可以是当前日期，也可以是当前日期发生的热点事件，还可以是用户所选择的喜欢的主题等。可选的，也可以是对所述用户图片进行解析，以获取所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数。可选的，还可以是获取所述表情获取请求携带的所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数。所述主题信息可通过关键字描述，如所述主题信息可以为“女生节”、“红包”或“开心”等。
优选的，所述表情参数集合为表情模板集合中的其中一个子集合，在表情模板集合中还可以包括素材集合，而表情参数集合与素材集合可以对应存储在表情模板集合中。如表1所示为一种形式的表情模板集合，左边一列为表情参数集合，右边一列为素材集合。
表1
表情参数 素材
α<sub>E1</sub> 素材模板1
α<sub>E2</sub> 素材模板2
α<sub>E3</sub> 素材模板3
… …
α<sub>En</sub> 素材模板n
具体实现中，表情图片生成设备基于用户的选择或者基于所设定的规则在表情参数集合中选取合适的表情参数，并对所述三维人脸模型进行解析，以获取所述三维人脸模型的目标表情参数，采用所选取的表情参数替换所述目标表情参数，从而生成所述人脸图像对应的第一表情图片。若所选取的表情参数为αE1，通过解析三维人脸模型得到的目标表情参数为αE0，采用αE1代替αE0后得到将G1确定为第一表情图片，此时的第一表情图片仍为三维立体图片。
例如，生成的三维人脸模型如图2b所示，当分别选择表情参数αE1、αE2以及αE3代替图2b的目标表情参数时，则可分别生成图3a、3b以及3c对应的第一表情图片。
可选的，所生成的第一表情图片还可以是直接对表情获取请求中所携带的用户图片进行图片变型实现，如将第一表情图片按照长和宽按照不同比例进行伸缩处理。
S104，对所述第一表情图片进行图片填充处理以获取所述用户图片对应的目标表情图片，将所述目标表情图片添加至所述用户图片对应的表情图片序列中，并将所述表情图片序列进行输出。
可以理解的是，所述图片填充处理即肤色填充处理，包括皮肤以及毛发等的填充，而肤色以及毛发均从所述用户图片中采集。例如，采集图2a的肤色以及毛发像素点，并基于所采集到的像素点对图3a、3b以及3c所示的第一表情图片进行肤色填充处理后，则生成图4a、4b以及4c所示的目标表情图片。
优选的，图片填充处理还可包括对口腔的填充、背景拉伸、素材贴图等图片优化填充。例如，在生成的第一表情图片包括口型变化动作时，则可采用三维口腔渲染技术或者二维口腔贴图及合成的方式来处理口型变化表情中露出的口腔部分。又例如在生成的第一表情图片与所输入的用户图片相比发生了转头等头部角度变化动作时，则需要对用户图片中的原背景所露出的部分采用一定的规则填充，并对所覆盖的部分采用相应的规则覆盖。还例如，为了增加图片的趣味性和生动性，则可在第一表情图片中添加文本、贴图、标签、图相框等素材，所述素材可以在是基于当前事件所更新的素材模板子集合中随机选取一个或多个素材模板，也可以是基于所获取的表情参数在表1中查找对应的素材模板。需要说明的是，所述口腔填充、背景拉伸、素材填充的处理过程不限定先后顺序，当然，也可同时处理。
而由多个目标表情图片可组成表情图片序列，该表情图片序列可采用设定的时间间隔以及显示顺序进行展示，可以理解为，该表情图片序列为动态表情图片(如GIF格式的表情图片)。
将所述目标表情图片添加至所述用户图片对应的表情图片序列中，可以理解为，创建空的表情图片序列，也就是设定了时间间隔以及显示顺序，然后将所获取的多张目标表情图片添加到该空的表情图片序列中，由表情图片生成设备基于设定的时间间隔以及显示顺序对多张目标表情图片进行调整及合成，从而生成动态表情图片。例如，生成了5张目标表情图片A1、A2、A3、A4和A5，而设定的时间间隔为1s，显示顺序为1、3、5、2、4，那么，将A1、A2、A3、A4和A5添加到空的表情图片序列中后，则生成每间隔1s分别播放A1、A3、A5、A2和A4的动态图，当然，该播放过程可以认为是重复播放的，也可设定重复播放次数，具体不限定。还可以理解为，创建空的表情图片序列，设定了时间间隔，每生成一张目标表情图片就添加到该空的表情图片序列中，在停止添加目标表情图片时，将当前所生成的表情图片序列确定为动态表情图片。例如，生成了5张目标表情图片A1、A2、A3、A4和A5，而设定的时间间隔为1s，那么，将A1、A2、A3、A4和A5依次添加到空的表情图片序列中后，则生成每间隔1s分别播放A1、A2、A3、A4和A5的动态图，当然，该播放过程也可以认为是重复播放的，也可设定重复播放次数，具体不限定。
其中，所述空的表情图片序列也可以是在表情图片生成设备中预先存储的，也可以从所拍摄的表情视频中删除每帧图片内容后重建得到。另外，所述表情图片序列中的每帧表情图片可以具有连续帧表情参数，从而使产生的表情动作具有连续性。
具体实现中，通过对第一表情图片进行肤色填充、背景填充、口腔填充以及素材填充等填充处理后得到目标表情图片，并采用相同的方式获得多张目标表情图片，当表情图片生成设备为服务器时，将多张表情图片生成表情图片序列发送给用户终端进行显示，当表情图片生成设备为用户终端时，直接将多张表情图片生成表情图片序列进行显示即可，用户可查看或分享所显示的表情图片序列。
在本发明实施例中，通过获取所选择的用户图片及该用户图片所包含的人脸图像，对人脸图像进行三维重建处理以得到三维人脸模型，再在表情参数集合中获取表情参数，将表情参数与三维人脸模型进行合成处理，从而生成第一表情图片，对第一表情图片进行图片填充处理以获取用户图片对应的目标表情图片，将目标表情图片添加至用户图片对应的表情图片序列中后进行输出。通过将用户所选择的图片中的人脸图像对应的三维人脸模型与所获取的表情参数进行合成处理，并对合成处理后的图片进行填充，就可得到满足用户需求的表情图片，也就是说，用户只需要选择用户图片即可得到表情图片，操作过程简单快捷，从而提升了对表情图片获取的便利性。
请参见图5，为本发明实施例提供了一种表情图片生成方法的流程示意图。如图5所示，本发明实施例的所述方法可以包括以下步骤S201-步骤S208。
S201，获取表情获取请求，并获取所述表情获取请求携带的用户图片；
可以理解的是，所述用户图片为用户所选择的用于表情编辑的图片，可以为在图片库中所选择的图片，也可以为通过摄像头当前拍摄的图片，所述摄像头可以为固定摄像头，也可以为可旋转摄像头。在所述用户图片中包括有人脸图像，所述人脸图像可以为一个，也可以为多个。当然，所述用户图片也可以为类人脸的图片，如素描、水墨画、动漫、建筑、雕塑、工艺品等形式的图片。还可以理解为，所述用户图片还可以为动物图片，所述动物图片中包括有动物脸部图像。
具体实现中，当表情图片生成设备获取到表情获取请求时，提取该表情获取请求携带的信息，如用户图片、图片主题信息、图片拍摄日期、图片来源信息等。需要说明的是，所述表情图片生成设备可以为用户终端，包括平板电脑、个人计算机(PC)、智能手机、掌上电脑以及移动互联网设备(MID)等具备图像处理功能及交互功能的终端设备，此时所获取到的表情获取请求为用户通过表情图片生成设备直接输入请求后由表情图片生成设备读取而得到；所述表情图片生成设备还可以为具备图像处理功能的服务器，此时所获取到的表情获取请求为用户通过表情图片生成设备输入请求后由用户终端发送至表情图片生成设备，并由表情图片生成设备读取而得到，所述用户终端可以包括平板电脑、个人计算机(PC)、智能手机、掌上电脑以及移动互联网设备(MID)等具备交互功能的终端设备。
S202，对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像；
可以理解的是，所述人脸识别处理可以为对所述用户图片进行人脸检测，当检测到存在人脸图像时，可以对所检测到的人脸图像进行标记或五官定位等，具体可以依据实际场景需求执行。所述人脸检测过程可采用人脸识别方法实现，如基于PCA的人脸识别方法、弹性图匹配的人脸识别方法以及SVM的人脸识别方法等。
其中，基于PCA的人脸识别方法也是基于KL变换的人脸识别方法，KL变换是图像压缩的一种最优正交变换。高维的图像空间经过KL变换后得到一组新的正交基，保留其中重要的正交基，由这些正交基可以张成低维线性空间。如果假设人脸在这些低维线性空间的投影具有可分性，就可以将这些投影用作识别的特征矢量，这就是PCA人脸识别方法的基本思想。
弹性图匹配的人脸识别方法是在二维空间中定义了一种对于通常的人脸变形具有一定的不变性的距离，并采用属性拓扑图来代表人脸，拓扑图的任一顶点均包含一特征向量，用来记录人脸在该顶点位置附近的信息。该方法结合了灰度特性和几何因素，在比对时可以允许图像存在弹性形变，在克服表情变化对识别的影响方面收到了较好的效果，同时对于单个人脸也不再需要多个样本进行训练。
SVM的人脸识别方法试图使得学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能。支持向量机主要解决的是一个两分类问题，它的基本思想是试图把一个低维的线性不可分的问题转化成一个高维的线性可分的问题。通常的实验结果表明SVM有较好的识别率。
S203，对所述人脸图像进行三维重建处理，以获取所述人脸图像对应的三维人脸模型；
可以理解的是，所识别到的人脸图像为二维图像，通过三维重建技术可以将该二维图像转换为三维立体图像。而三维重建技术的重点在于如何获取目标物(二维图像)的深度信息，在二维图像深度信息已知的条件下，只需要经过点云数据的配准及融合，即可实现对该二维图像的三维重建。目前，基于对目标物体深度信息的获取方法将三维重建技术分为被动式三维重建技术和主动式三维重建技术，其中，被动式三维重建技术一般利用周围环境如自然光的反射，使用相机获取图像，然后通过特定算法计算得到物体的立体空间信息，主要包括SFT、SFS以及MVS；主动式三维重建技术是指利用如激光、声波、电磁波等光源或能量源发射至目标物体，通过接收返回的光波来获取物体的深度信息，再经过点云数据的配准及融合而得到物体的立体空间信息，主要包括MF、ToF、SL以及TMM。
其中，SFT是指各种物体表面具有不同的纹理信息，这种信息由纹理元组成，根据纹理元可以确定表面方向，从而恢复出相应的三维表面。基本理论为：作为图像视野中不断重复的视觉基元，纹理元覆盖在各个位置和方向上，当某个布满纹理元的物体被投射在平面上时，其相应的纹理元也会发生弯折与变化。例如透视收缩变形使与图像平面夹角越小的纹理元越长，投影变形会使离图像平面越近的纹理元越大。通过对图像的测量来获取变形，进而根据变形后的纹理元逆向计算出深度数据。SFT对物体表面纹理信息的要求严苛，需要了解成像投影中纹理元的畸变信息，应用范围较窄，只适合纹理特性确定的某些特殊情形。
SFS考虑到图像的阴影边界包含了图像的轮廓特征信息，因此能够利用不同光照条件下的图像的明暗程度与阴影来计算物体表面的深度信息，并以反射光照模型进行三维重建。需要注意的是，像素点的亮度受到包括光源指标、摄像机参数、目标表面材质等的制约。SFS的应用范围比较广泛，可以恢复除镜面外的各种物体的三维模型。缺点体现在过程多为数学计算、重建结果不够精细，另外不能忽视的是，SFS需要准确的光源参数，包括位置与方向信息。这就导致其无法应用于诸如露天场景等具有复杂光线的情形中。
MVS主要包括直接利用测距器获取程距信息、通过一幅图像推测三维信息和利用不同视点上的两幅或多幅图像恢复三维信息等三种方式。通过模拟人类视觉系统，基于视差原理获取图像对应点之间的位置偏差，恢复出三维信息。MVS在实际应用情况优于其他基于视觉的三维重建方法，也逐渐出现在一部分商业化产品上，不足的是运算量仍然偏大，而且在基线距离较大的情况下重建效果明显降低。
MF基本原理是将两块等间隔排列的直线簇或曲线簇图案重叠起来，以非常小的角度进行相对运动来形成莫尔条纹。在主光栅与指示光栅的交叉重合处，因光线的透射与遮挡而产生不同的明暗带，即莫尔条纹。莫尔条纹随着光栅的左右平移而发生垂直位移，此时产生的条纹相位信息体现了待测物体表面的深度信息，再通过逆向的解调函数，实现深度信息的恢复。这种方法具有精度高、实时性强的优点，但是其对光照较为敏感，抗干扰能力弱。
ToF指的是在光速及声速一定的前提下，通过测量发射信号与接收信号的飞行时间间隔来获得距离的方法。这种信号可以是超声波，也可以是红外线等。飞行时间法相较于立体视觉法而言，具有不受基线长度限制、与纹理无关、成像速度快等特点。但是其也有一定的缺点。首先，ToF相机的分辨率非常低；其次，ToF相机容易受到环境因素的影响，如混合像素、外界光源等，导致景物深度不准确；最后，系统误差与随机误差对测量结果的影响很大，需要进行后期数据处理，主要体现在场景像素点的位置重合上。
SL通过向表面光滑无特征的物体发射具有特征点的光线，依据光源中的立体信息辅助提取物体的深度信息。具体的过程包括两个步骤，首先利用激光投影仪向目标物体投射可编码的光束，生成特征点；然后根据投射模式与投射光的几何图案，通过三角测量原理计算摄像机光心与特征点之间的距离，由此便可获取生成特征点的深度信息，实现模型重建。这种可编码的光束就是结构光，包括各种特定样式的点、线、面等图案。SL解决了物体表面平坦、纹理单一、灰度变化缓慢等问题。因为实现简单且精度较高，所以SL的应用非常广泛，目前已有多家公司生产了以结构光技术为基础的硬件设备。
TMM是一种非接触式的测距方法，以三角测量原理为基础。红外设备以一定的角度向物体投射红外线，光遇到物体后发生反射并被电荷耦合元件(Charge-Coupled Device，CCD)图像传感器所检测。随着目标物体的移动，此时获取的反射光线也会产生相应的偏移值。根据发射角度、偏移距离、中心矩值和位置关系，便能计算出发射器到物体之间的距离。TMM在军工测量、地形勘探等领域中应用广泛。
例如，如图2a为用户图片，图中虚线部分为所识别到的人脸图像，采用三维重建技术对该人脸图像进行处理，从而得到图2b所示的三维人脸模型。
需要说明的是，所得到的三维人脸模型可采用公式
Figure BDA0001633206810000161
描述，其中G是任意人脸的三维模型，是人脸的平均脸模型，UI和UE分别是通过人脸三维模型数据集训练得到的人脸身份和人脸表情的PCA空间基向量矩阵，αI和αE表示对应人脸模型的身份参数和表情参数。
Figure BDA0001633206810000163
和UE为已知数，如果αI和αE已知，就可以计算出一个对应的人脸三维模型G，相应的，如果合成了人脸三维模型G，其对应的αI和αE也可以检测得到。另外，通过保持人脸模型的身份参数αI不变，控制αE的变化，就可以得到同一人脸不同表情的几何模型，若保持αE不变，控制αI变化，就可以得到同一表情下不同人脸的几何模型。在本发明实施例中，主要描述保持αI不变，控制αE的变化的情况。
S204，在表情参数集合中获取基于当前事件所更新的第一表情参数子集合，并在所述第一表情参数子集合中随机选取表情参数；
可以理解的是，表情参数集合中包括至少一个表情参数αE1、αE2、αE3、…、αEn，所获取的表情参数可以是基于当前事件所更新的第一表情参数子集合αE1～αE10，并在所述第一表情参数子集合αE1～αE10中随机选取的一个表情参数。所述当前事件可以是当前日期，也可以是当前日期发生的热点事件或者热点节日，还可以是用户所选择的喜欢的主题等。
可选的，对所述用户图片进行解析，以获取所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数；或，
获取所述表情获取请求携带的所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数。
可以理解的是，所述主题信息即所要表达的意图，所述主题信息可以是用户基于所查看到的用户图片在用户终端所输入的，也可以是表情图片生成设备对接收到的用户图片解析而得到的，通过关键字描述所述主题信息，如所述主题信息可以为“女生节”、“红包”或“开心”等。
在表情参数集合中所存储的表情参数分别对应一个主题信息，在获取到用户图片的主题信息后，在表情参数集合中进行查找即可获得相应的表情参数。
S205，将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片；
可以理解的是，将所述表情参数与所述三维人脸模型进行合成处理，也就是采用该表情参数替换三维人脸模型的表情参数，从而得到第一表情图片。只是针对表情参数的替换，而表情身份并没有改变，那么替换前和替换后只是表情的变化，因此所述第一表情图片仍为三维立体图片。
在一种具体的实现方式中，所述将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片可以包括以下步骤，如图6所示：
S301，对所述三维人脸模型进行解析，以获取所述三维人脸模型的目标表情参数；
可以理解的是，对所述三维人脸模型进行解析，即基于三维人脸识别算法获取三维人脸的三维数据。所述三维人脸识别算法分为基于局部特征的方法、基于全局特征的方法和基于多模态特征的方法。
例如，一种可行的表情参数获取方法可以为从二维图像上提取眉毛、眼睛、鼻子和嘴巴区域的轮廓特征点，把这些轮廓特征点映射到三维网格曲面以获得有关区域的形状描述。对于每种表情和每个人计算形状特征矩阵，然后采用改进PCA进行表情识别，从而获取目标表情参数。所述轮廓特征点是指描述人脸五官形状的边缘特征点，也就是说，所述轮廓特征点包括眉毛边缘特征点、眼睛边缘特征点、鼻子边缘特征点以及嘴巴边缘特征点。
S302，采用所述表情参数替换所述目标表情参数，以生成所述人脸图像对应的第一表情图片。
具体实现中，表情图片生成设备基于用户的选择或者基于所设定的规则在表情参数集合中选取合适的表情参数，并对所述三维人脸模型进行解析，以获取所述三维人脸模型的目标表情参数，采用所选取的表情参数替换所述目标表情参数，从而生成所述人脸图像对应的第一表情图片。若所选取的表情参数为αE1，通过解析三维人脸模型得到的目标表情参数为αE0，采用αE1代替αE0后得到
Figure BDA0001633206810000181
将G1确定为第一表情图片。
例如，生成的三维人脸模型如图2b所示，当分别选择表情参数αE1、αE2以及αE3代替图2b的目标表情参数时，则可分别生成图3a、3b以及3c对应的第一表情图片。
在另一种具体的实现方式中，当所述用户图片中包括多个人脸图像时，所述在表情参数集合中获取表情参数，将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片可以包括以下步骤，如图7所示：
S401，在表情参数集合中获取与所述多个人脸图像对应的第二表情参数子集合，在所述第二表情参数子集合中获取所述多个人脸图像中目标人脸图像对应的目标表情参数；
可以理解的是，当在用户图片中识别到多个人脸图像时，在表情参数集合中所获取的第二表情参数子集合中可以为一个第二表情参数，也可以包括多个第二表情参数，所述多个第二表情参数也可完全不同，也可以部分相同，当然也可以完全相同，即各人脸图像可采用相同的表情参数，也可采用不同的表情参数。
具体实现中，在表情参数集合中获取基于当前事件所更新的第一表情参数子集合，并在所述第一表情参数子集合中随机选取第二表情参数子集合；或者，对所述用户图片进行解析，以获取所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的第二表情参数子集合；或者，获取所述表情获取请求携带的所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的第二表情参数子集合。并从中选择多个人脸图像中目标人脸图像(任一人脸图像)对应的目标表情参数。需要说明的是，所述主题信息可以针对用户图片而言，包括一个主题信息，也可以针对用户图片中的各人脸图像而言，包括至少一个主题信息。
S402，将所述目标表情参数与所述目标人脸图像对应的三维人脸模型进行合成处理，以生成所述目标人脸图像对应的表情图片；
可以理解的是，所述目标表情参数相当于S205中的表情参数，具体描述可参见S205，此处不再赘述。
S403，获取所述多个人脸图像中各人脸图像分别对应的表情图片，将所述各人脸图像分别对应的表情图片进行拼接处理，以生成第一表情图片。
可以理解的是，可采用S402所述方法分别获取各人脸图像分别对应的表情图片，并将各人脸图像分别对应的表情图片拼接为一张表情图片，即生成第一表情图片。其中，所述拼接方式可以为上下拼接，左右拼接，或者按照设定的角度、方向、特征点等拼接。
可选的，也可将各人脸图像分别对应的表情图片按照设定的拼接规则(如拼接顺序)合成为多张表情图片。
S206，获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取目标表情图片；
在一种具体的实现方式中，所述获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取目标表情图片可以包括以下步骤，如图8所示：
S501，获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取第二表情图片；
可以理解的是，所述肤色填充处理包括皮肤以及毛发等的填充，而肤色以及毛发均从所述用户图片中采集。例如，采集图2a的肤色以及毛发像素点，并基于所采集到的像素点对图3a、3b以及3c所示的第一表情图片进行肤色填充处理后，则生成图4a、4b以及4c所示的目标表情图片。
S502，对所述第二表情图片进行图片优化处理，以获取目标表情图片，所述图片优化处理包括口腔填充处理、背景填充处理以及素材填充处理中的至少一种。
可以理解的是，在生成的第一表情图片包括口型变化动作时，则可采用三维口腔渲染技术或者二维口腔贴图及合成的方式来处理口型变化表情中露出的口腔部分，主要包含牙齿和上下颚的渲染，从而生成口腔模型；另外，基于用户图片中人脸图像所属年龄段(如婴儿、儿童、成人、老人)以及三维人脸模型的大小调整口腔模型的尺度，并通过用户图片中人脸图像的性别以及肤色亮度值调整口腔模型的亮度值，再结合表情参数调整口腔模型的口腔开合度，从而实现对口腔的填充处理。
例如，图9a所示为肤色填充处理后得到的第二表情图片，对该第二表情图片采用三维口腔渲染技术进行口腔填充处理，从而得到图9b所示的目标表情图片。
为了让用户更方便地制作专属GIF动图，同时又能满足用户通过GIF动图在特定语境下表达特定语义的需求，则可添加一定的文字、贴图、标签等素材来丰富GIF动图的表现力。比如针对情人节，可以添加文字“超级开熏～”，“我有个恋爱想和你谈谈”，“爱的KISS”等，如图10a以及10b所示；针对新年，可以添加文字“新年好”，“红包呢”，“新年顺到飞起”等，如图11a、11b以及11c所示；针对女生节，可以添加文字“女生节快乐”，“画圈圈祝福你”等，如图12a和12b所示。所获取的这些素材可以是在基于当前事件所更新的素材库中随机选取，也可以是基于所获取的表情参数查找表1而得到，不需要对用户交互界面进行修改就可以获取到满足用户需求的素材，可以给用户带来惊喜和期待。
可选的，当所述图片优化处理为背景填充处理时，所述对所述第二表情图片进行图片优化处理，以获取目标表情图片可以包括以下步骤，如图13所示：
S601，获取所述人脸图像边缘特征点的第一位置集合，并获取所述第二表情图片边缘特征点的第二位置集合；
可以理解的是，在替换人脸表情参数实现表情编辑的同时，可能会因为人脸图像轮廓的变化而产生背景空洞或背景覆盖。通过检测人脸图像轮廓的变化，再对用户图片进行背景拉伸，从而可以实现对这些背景空洞的填充以及覆盖处理。所述边缘特征点是指描述人脸形状的特征点，也就是说，只包括人脸边缘特征点。
所述第一位置集合中包括人脸图像多个边缘特征点的位置(坐标)，即描述人脸轮廓的特征点，相应的，所述第二位置集合中包括填充了肤色的人脸图像多个边缘特征点的位置(坐标)。
S602，计算所述第一位置集合与所述第二位置集合的位置变化比值以及变化方向；
一种可行的计算方式为，计算第一位置集合中各位置的平均位置，并计算第二位置集合中各位置的平均位置，然后计算这两个平均位置的变化比值以及变化方向；另一种可行的计算方式为，计算第一位置集合与第二位置集合中各边缘特征点的位置变化比值以及变化方向，再计算各边缘特征点的位置变化比值的平均值以及变化方向的平均值。
S603，基于所述位置变化比值以及所述变化方向对所述第二表情图片进行背景填充处理，以获取目标表情图片。
具体实现中，截取用户图片的背景图片，并采用S602计算所得的位置变化比值以及变化方向对用户图片的背景区域按照变化方向等比例压缩或者拉伸，并将压缩或者拉伸后的背景区域填充到第二表情图片中，从而生成目标表情图片。
S207，将所述目标表情图片添加至所述用户图片对应的表情图片序列中；
可以理解的是，由多个目标表情图片可组成表情图片序列。将所述目标表情图片添加至所述用户图片对应的表情图片序列中，可以理解为，创建空的表情图片序列，然后将所获取的多张目标表情图片添加到该空的表情图片序列中。还可以理解为，创建空的表情图片序列，每生成一张目标表情图片就添加到该空的表情图片序列中。
S208，按照设定的显示顺序以及时间间隔将所述表情图片序列转换为动态表情图片，并将所述动态表情图片进行输出。
可以理解的是，该表情图片序列可采用设定的时间间隔以及显示顺序进行展示，可以理解为，该表情图片序列为动态表情图片(如GIF格式的表情图片)。
具体实现中，创建空的表情图片序列，也就是设定了时间间隔以及显示顺序，然后将所获取的多张目标表情图片添加到该空的表情图片序列中，由表情图片生成设备基于设定的规则对多张目标表情图片进行调整及合成，从而生成动态表情图片。例如，生成了5张目标表情图片A1、A2、A3、A4和A5，而设定的时间间隔为1s，显示顺序为1、3、5、2、4，那么，将A1、A2、A3、A4和A5添加到空的表情图片序列中后，则生成每间隔1s分别播放A1、A3、A5、A2和A4的动态图，当然，该播放过程可以认为是重复播放的，也可设定重复播放次数，具体不限定。还可以理解为，创建空的表情图片序列，设定了时间间隔，每生成一张目标表情图片就添加到该空的表情图片序列中，在停止添加目标表情图片时，将当前所生成的表情图片序列确定为动态表情图片。例如，生成了5张目标表情图片A1、A2、A3、A4和A5，而设定的时间间隔为1s，那么，将A1、A2、A3、A4和A5依次添加到空的表情图片序列中后，则生成每间隔1s分别播放A1、A2、A3、A4和A5的动态图，当然，该播放过程也可以认为是重复播放的，也可设定重复播放次数，具体不限定。
其中，所述空的表情图片序列也可以是在表情图片生成设备中预先存储的，也可以从所拍摄的表情视频中删除每帧图片内容后重建得到。另外，所述表情图片序列中的每帧表情图片可以具有连续帧表情参数，从而使产生的表情动作具有连续性。
具体实现中，通过对第一表情图片进行肤色填充、背景填充、口腔填充以及素材填充等填充处理后得到目标表情图片，并采用相同的方式获得多张目标表情图片，当表情图片生成设备为服务器时，将多张表情图片生成表情图片序列发送给用户终端进行显示，当表情图片生成设备为用户终端时，直接将多张表情图片生成表情图片序列进行显示即可，用户可查看或分享所显示的表情图片序列。
在本发明实施例中，通过获取所选择的用户图片及该用户图片所包含的人脸图像，对人脸图像进行三维重建处理以得到三维人脸模型，再在表情参数集合中获取表情参数，将表情参数与三维人脸模型进行合成处理，从而生成第一表情图片，对第一表情图片进行图片填充处理以获取用户图片对应的目标表情图片，将目标表情图片添加至用户图片对应的表情图片序列中后进行输出。通过将用户所选择的图片中的人脸图像对应的三维人脸模型与所获取的表情参数进行合成处理，并对合成处理后的图片进行填充，就可得到满足用户需求的表情图片，也就是说，用户只需要选择用户图片即可得到表情图片，操作过程简单快捷，从而提升了对表情图片获取的便利性；同时，表情参数库更新方便，不需要在前端做任何修改；另外，采用GIF动图格式代替了视频形式的存储方式，借助于GIF动图在不同媒介传播和分享的便捷性，很大程度上改善了用户体验，也间接扩大了产品覆盖的用户范围。
请参见图14a和14b，为本发明实施例提供了一种表情图片生成方法的应用产品的界面示意图。如图14a和14b所示，本发明实施例具体以一人像处理场景的方式对表情图片生成方法进行介绍。
如图14a和14b为具备变脸功能的小程序的用户交互界面示意图，用户可通过图14a所展示的扫描名片、扫描文档、扫描人像或者拍摄识别的方式获取用户图片，在用户选择人像图片后跳转到图14b所展示的用户交互界面，该用户交互界面主要由4部分构成，即用于展示生成GIF的主视图区，以及三个功能按钮，包括“换效果”、“换图片”、“分享”；
当表情图片生成设备为服务器时，用户可点击“换效果”按钮，此时，用户终端将携带了该人像图片的表情获取请求发送至服务器，服务器获取该人像图片中的人脸图像，对人脸图像进行三维重建处理，以获取人脸图像对应的三维人脸模型；在表情参数集合中获取表情参数，将表情参数与三维人脸模型进行合成处理，以生成人脸图像对应的第一表情图片；对第一表情图片进行图片填充处理以获取人像图片对应的目标表情图片，将所述目标表情图片添加至人像图片对应的GIF动图中，并将GIF动图后反馈至用户终端，并在主视图区显示。当表情图片生成设备为用户终端时，用户可点击“换效果”按钮，此时，用户终端获取该人像图片中的人脸图像，对人脸图像进行三维重建处理，以获取人脸图像对应的三维人脸模型；在表情参数集合中获取表情参数，将表情参数与三维人脸模型进行合成处理，以生成人脸图像对应的第一表情图片；对第一表情图片进行图片填充处理以获取人像图片对应的目标表情图片，将所述目标表情图片添加至人像图片对应的GIF动图中，并在主视图区显示该GIF动图；
在主视图区下方，用户可通过文字提示“点击图片后长按可以把表情[发送给朋友]哦”显示地提示了用户如何对生成的GIF动图进行分享，或者直接通过“分享”按钮进行分享；
当用户点击“换照片”按钮时，可在图14b展示的界面展示图14a的界面，并基于用户所选择的用户图片后，再执行上述过程以生成一个新的GIF动图，并在主视图去显示。
在本发明实施例中，通过获取所选择的用户图片及该用户图片所包含的人脸图像，对人脸图像进行三维重建处理以得到三维人脸模型，再在表情参数集合中获取表情参数，将表情参数与三维人脸模型进行合成处理，从而生成第一表情图片，对第一表情图片进行图片填充处理以获取用户图片对应的目标表情图片，将目标表情图片添加至用户图片对应的表情图片序列中后进行输出。通过将用户所选择的图片中的人脸图像对应的三维人脸模型与所获取的表情参数进行合成处理，并对合成处理后的图片进行填充，就可得到满足用户需求的表情图片，也就是说，用户只需要选择用户图片即可得到表情图片，操作过程简单快捷，从而提升了对表情图片获取的便利性。
下面将结合附图15-附图21，对本发明实施例提供的表情图片生成设备进行详细介绍。需要说明的是，附图15-附图21所示的设备，用于执行本发明图1-图13所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1-图13所示的实施例。
请参见图15，为本发明实施例提供了一种表情图片生成设备的结构示意图。如图15所示，本发明实施例的所述表情图片生成设备1可以包括：人脸获取单元11、模型获取单元12、表情生成单元13和表情填充单元14。
人脸获取单元11，用于获取所选择的用户图片，并获取所述用户图片中的人脸图像；
可以理解的是，所述用户图片为用户所选择的用于表情编辑的图片，可以为在图片库中所选择的图片，也可以为通过摄像头当前拍摄的图片，所述摄像头可以为固定摄像头，也可以为可旋转摄像头。在所述用户图片中包括有人脸图像，所述人脸图像可以为一个，也可以为多个。当然，所述用户图片也可以为类人脸图片，如素描、水墨画、动漫、建筑、雕塑、工艺品等形式的图片。还可以理解为，所述用户图片中还可以为动物图片，所述动物图片中包括有动物脸部图像。
可选的，如图16所示，所述人脸获取单元11，包括：
图片获取子单元111，用于获取表情获取请求，并获取所述表情获取请求携带的用户图片；
具体实现中，当图片获取子单元111获取到表情获取请求时，提取该表情获取请求携带的信息，如用户图片、图片主题信息、图片拍摄日期、图片来源信息等。
人脸获取子单元112，用于对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像。
可以理解的是，所述人脸识别处理可以为对所述用户图片进行人脸检测，当检测到存在人脸图像时，可以对所检测到的人脸图像进行标记或五官定位等，具体可以依据实际场景需求执行。所述人脸检测过程可采用人脸识别方法实现，如基于PCA的人脸识别方法、弹性图匹配的人脸识别方法以及SVM的人脸识别方法等。
其中，基于PCA的人脸识别方法也是基于KL变换的人脸识别方法，KL变换是图像压缩的一种最优正交变换。高维的图像空间经过KL变换后得到一组新的正交基，保留其中重要的正交基，由这些正交基可以张成低维线性空间。如果假设人脸在这些低维线性空间的投影具有可分性，就可以将这些投影用作识别的特征矢量，这就是PCA人脸识别方法的基本思想。
弹性图匹配的人脸识别方法是在二维空间中定义了一种对于通常的人脸变形具有一定的不变性的距离，并采用属性拓扑图来代表人脸，拓扑图的任一顶点均包含一特征向量，用来记录人脸在该顶点位置附近的信息。该方法结合了灰度特性和几何因素，在比对时可以允许图像存在弹性形变，在克服表情变化对识别的影响方面收到了较好的效果，同时对于单个人脸也不再需要多个样本进行训练。
SVM的人脸识别方法试图使得学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能。支持向量机主要解决的是一个两分类问题，它的基本思想是试图把一个低维的线性不可分的问题转化成一个高维的线性可分的问题。通常的实验结果表明SVM有较好的识别率。
模型获取单元12，用于对所述人脸图像进行三维重建处理，以获取所述人脸图像对应的三维人脸模型；
可以理解的是，所识别到的人脸图像为二维图像，通过三维重建技术可以将该二维图像转换为三维立体图像。而三维重建技术的重点在于如何获取目标物(二维图像)的深度信息，在二维图像深度信息已知的条件下，只需要经过点云数据的配准及融合，即可实现对该二维图像的三维重建。目前，基于对目标物体深度信息的获取方法将三维重建技术分为被动式三维重建技术和主动式三维重建技术，其中，被动式三维重建技术一般利用周围环境如自然光的反射，使用相机获取图像，然后通过特定算法计算得到目标物的立体空间信息，主要包括SFT、SFS以及MVS；主动式三维重建技术是指利用如激光、声波、电磁波等光源或能量源发射至目标物体，通过接收返回的光波来获取物体的深度信息，主要包括MF、ToF、SL以及TMM。
其中，SFT是指各种物体表面具有不同的纹理信息，这种信息由纹理元组成，根据纹理元可以确定表面方向，从而恢复出相应的三维表面。基本理论为：作为图像视野中不断重复的视觉基元，纹理元覆盖在各个位置和方向上，当某个布满纹理元的物体被投射在平面上时，其相应的纹理元也会发生弯折与变化。例如透视收缩变形使与图像平面夹角越小的纹理元越长，投影变形会使离图像平面越近的纹理元越大。通过对图像的测量来获取变形，进而根据变形后的纹理元逆向计算出深度数据。SFT对物体表面纹理信息的要求严苛，需要了解成像投影中纹理元的畸变信息，应用范围较窄，只适合纹理特性确定的某些特殊情形。
SFS考虑到图像的阴影边界包含了图像的轮廓特征信息，因此能够利用不同光照条件下的图像的明暗程度与阴影来计算物体表面的深度信息，并以反射光照模型进行三维重建。需要注意的是，像素点的亮度受到包括光源指标、摄像机参数、目标表面材质等的制约。SFS的应用范围比较广泛，可以恢复除镜面外的各种物体的三维模型。缺点体现在过程多为数学计算、重建结果不够精细，另外不能忽视的是，SFS需要准确的光源参数，包括位置与方向信息。这就导致其无法应用于诸如露天场景等具有复杂光线的情形中。
MVS主要包括直接利用测距器获取程距信息、通过一幅图像推测三维信息和利用不同视点上的两幅或多幅图像恢复三维信息等三种方式。通过模拟人类视觉系统，基于视差原理获取图像对应点之间的位置偏差，恢复出三维信息。MVS在实际应用情况优于其他基于视觉的三维重建方法，也逐渐出现在一部分商业化产品上，不足的是运算量仍然偏大，而且在基线距离较大的情况下重建效果明显降低。
MF基本原理是将两块等间隔排列的直线簇或曲线簇图案重叠起来，以非常小的角度进行相对运动来形成莫尔条纹。在主光栅与指示光栅的交叉重合处，因光线的透射与遮挡而产生不同的明暗带，即莫尔条纹。莫尔条纹随着光栅的左右平移而发生垂直位移，此时产生的条纹相位信息体现了待测物体表面的深度信息，再通过逆向的解调函数，实现深度信息的恢复。这种方法具有精度高、实时性强的优点，但是其对光照较为敏感，抗干扰能力弱。
ToF指的是在光速及声速一定的前提下，通过测量发射信号与接收信号的飞行时间间隔来获得距离的方法。这种信号可以是超声波，也可以是红外线等。飞行时间法相较于立体视觉法而言，具有不受基线长度限制、与纹理无关、成像速度快等特点。但是其也有一定的缺点。首先，ToF相机的分辨率非常低；其次，ToF相机容易受到环境因素的影响，如混合像素、外界光源等，导致景物深度不准确；最后，系统误差与随机误差对测量结果的影响很大，需要进行后期数据处理，主要体现在场景像素点的位置重合上。
SL通过向表面光滑无特征的物体发射具有特征点的光线，依据光源中的立体信息辅助提取物体的深度信息。具体的过程包括两个步骤，首先利用激光投影仪向目标物体投射可编码的光束，生成特征点；然后根据投射模式与投射光的几何图案，通过三角测量原理计算摄像机光心与特征点之间的距离，由此便可获取生成特征点的深度信息，实现模型重建。这种可编码的光束就是结构光，包括各种特定样式的点、线、面等图案。SL解决了物体表面平坦、纹理单一、灰度变化缓慢等问题。因为实现简单且精度较高，所以SL的应用非常广泛，目前已有多家公司生产了以结构光技术为基础的硬件设备。
TMM是一种非接触式的测距方法，以三角测量原理为基础。红外设备以一定的角度向物体投射红外线，光遇到物体后发生反射并被CCD图像传感器所检测。随着目标物体的移动，此时获取的反射光线也会产生相应的偏移值。根据发射角度、偏移距离、中心矩值和位置关系，便能计算出发射器到物体之间的距离。TMM在军工测量、地形勘探等领域中应用广泛。
例如，如图2a为用户图片，图中虚线部分为所识别到的人脸图像，采用三维重建技术对该人脸图像进行处理，从而得到图2b所示的三维人脸模型。
需要说明的是，所得到的三维人脸模型可采用公式
Figure BDA0001633206810000281
描述，其中G是任意人脸的三维模型，
Figure BDA0001633206810000282
是人脸的平均脸模型，UI和UE分别是通过人脸三维模型数据集训练得到的人脸身份和人脸表情的PCA空间基向量矩阵，αI和αE表示对应人脸模型的身份参数和表情参数。和UE为已知数，如果αI和αE已知，就可以计算出一个对应的人脸三维模型G，相应的，如果合成了人脸三维模型G，其对应的αI和αE也可以检测得到。另外，通过保持人脸模型的身份参数αI不变，控制αE的变化，就可以得到同一人脸不同表情的几何模型，若保持αE不变，控制αI变化，就可以得到同一表情下不同人脸的几何模型。
表情生成单元13，用于在表情参数集合中获取表情参数，将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片；
可以理解的是，将所述表情参数与所述三维人脸模型进行合成处理，也就是采用该表情参数替换三维人脸模型的表情参数，从而第一表情图片。只是针对表情参数的替换，也表情身份并没有改变，那么替换前和替换后只是表情的变化，因此所述第一表情图片仍为三维立体图片。
优选的，所述表情参数集合为表情模板集合中的其中一个子集合，在表情模板集合中还可以包括素材集合，而表情参数集合与素材集合可以对应存储在表情模板集合中。如表1所示为一种形式的表情模板集合，左边一列为表情参数集合，右边一列为素材集合。
具体实现中，表情生成单元13基于用户的选择或者基于所设定的规则在表情参数集合中选取合适的表情参数，并对所述三维人脸模型进行解析，以获取所述三维人脸模型的目标表情参数，采用所选取的表情参数替换所述目标表情参数，从而生成所述人脸图像对应的第一表情图片。若所选取的表情参数为αE1，通过解析三维人脸模型得到的目标表情参数为αE0，采用αE1代替αE0后得到
Figure BDA0001633206810000284
将G1确定为第一表情图片，此时的第一表情图片仍为三维立体图片。
例如，生成的三维人脸模型如图2b所示，当分别选择表情参数αE1、αE2以及αE3代替图2b的目标表情参数时，则可分别生成图3a、3b以及3c对应的第一表情图片。
可选的，所生成的第一表情图片还可以是直接对表情获取请求中所携带的用户图片进行图片变型实现，如将第一表情图片按照长和宽按照不同比例进行伸缩处理。
所述表情生成单元13，具体用于：
可选的，在表情参数集合中获取基于当前事件所更新的第一表情参数子集合，并在所述第一表情参数子集合中随机选取表情参数。
可以理解的是，表情参数集合中包括至少一个表情参数αE1、αE2、αE3、…、αEn，所获取的表情参数可以是基于当前事件所更新的第一表情参数子集合，并在所述第一表情参数子集合中随机选取的一个表情参数，所述当前事件可以是当前日期，也可以是当前日期发生的热点事件，还可以是用户所选择的喜欢的主题等。
可选的，所述表情生成单元13，具体用于：
对所述用户图片进行解析，以获取所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数；或，
获取所述表情获取请求携带的所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数。
可以理解的是，所述主题信息即所要表达的意图，所述主题信息可以是用户基于所查看到的用户图片在用户终端所输入的，也可以是表情生成单元对接收到的用户图片解析而得到的，通过关键字描述所述主题信息，如所述主题信息可以为“女生节”、“红包”或“开心”等。
在表情参数集合中所存储的表情参数分别对应一个主题信息，在获取到用户图片的主题信息后，在表情参数集合中进行查找即为获得相应的表情参数。
可选的，如图17所示，所述表情生成单元13，包括：
参数获取子单元131，用于对所述三维人脸模型进行解析，以获取所述三维人脸模型的目标表情参数；
可以理解的是，对所述三维人脸模型进行解析，即基于三维人脸识别算法获取三维人脸的三维数据。所述三维人脸识别算法分为基于局部特征的方法、基于全局特征的方法和基于多模态特征的方法。
例如，一种可行的表情参数获取方法可以为从二维图像上提取眉毛、眼睛、鼻子和嘴巴区域的轮廓特征点，把这些轮廓特征点映射到三维网格曲面以获得有关区域的形状描述。对于每种表情和每个人计算形状特征矩阵，然后采用改进PCA进行表情识别，从而获取目标表情参数。所述轮廓特征点是指描述人脸五官形状的边缘特征点，也就是说，所述轮廓特征点包括眉毛边缘特征点、眼睛边缘特征点、鼻子边缘特征点以及嘴巴边缘特征点。
参数替换子单元132，用于采用所述表情参数替换所述目标表情参数，以生成所述人脸图像对应的第一表情图片。
具体实现中，参数替换子单元132基于用户的选择或者基于所设定的规则在表情参数集合中选取合适的表情参数，并对所述三维人脸模型进行解析，以获取所述三维人脸模型的目标表情参数，采用所选取的表情参数替换所述目标表情参数，从而生成所述人脸图像对应的第一表情图片。若所选取的表情参数为αE1，通过解析三维人脸模型得到的目标表情参数为αE0，采用αE1代替αE0后得到
Figure BDA0001633206810000301
将G1确定为第一表情图片。
例如，生成的三维人脸模型如图2b所示，当分别选择表情参数αE1、αE2以及αE3代替图2b的目标表情参数时，则可分别生成图3a、3b以及3c对应的第一表情图片。
表情填充单元14，用于对所述第一表情图片进行图片填充处理以获取所述用户图片对应的目标表情图片，将所述目标表情图片添加至所述用户图片对应的表情图片序列中，并将所述表情图片序列进行输出。
可选的，所述表情填充单元14，具体用于：
获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取目标表情图片。
可选的，如图18所示，所述表情填充单元14，包括：
肤色填充子单元141，用于获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取第二表情图片；
可以理解的是，所述肤色填充处理包括皮肤以及毛发等的填充。例如，通过对图3a、3b以及3c所示的第一表情图片进行肤色填充处理后，则生成图4a、4b以及4c所示的目标表情图片。
图片优化子单元142，用于对所述第二表情图片进行图片优化处理，以获取目标表情图片，所述图片优化处理包括口腔填充处理、背景填充处理以及素材填充处理中的至少一种。
可以理解的是，在生成的第一表情图片包括口型变化动作时，则可采用三维口腔渲染技术或者二维口腔贴图及合成的方式来处理口型变化表情中露出的口腔部分，主要包含牙齿和上下颚的渲染，从而生成口腔模型；另外，基于用户图片中人脸图像所属年龄段(如婴儿、儿童、成人、老人)以及三维人脸模型的大小调整口腔模型的尺度，并通过用户图片中人脸图像的性别以及肤色亮度值调整口腔模型的亮度值，再结合表情参数调整口腔模型的口腔开合度，从而实现对口腔的填充处理。
例如，图9a所示为肤色填充处理后得到的第二表情图片，对该第二表情图片采用三维口腔渲染技术进行口腔填充处理，从而得到图9b所示的目标表情图片。
为了让用户更方便地制作专属GIF动图，同时又能满足用户通过GIF动图在特定语境下表达特定语义的需求，则可添加一定的文字、贴图、标签等素材来丰富GIF动图的表现力。比如针对情人节，可以添加文字“超级开熏～”，“我有个恋爱想和你谈谈”，“爱的KISS”等，如图10a以及10b所示；针对新年，可以添加文字“新年好”，“红包呢”，“新年顺到飞起”等，如图11a、11b以及11c所示；针对女生节，可以添加文字“女生节快乐”，“画圈圈祝福你”等，如图12a和12b所示。所获取的这些素材可以是在基于当前事件所更新的素材库中随机选取，也可以是基于所获取的表情参数查找表1而得到，不需要对用户交互界面进行修改就可以获取到满足用户需求的素材，可以给用户带来惊喜和期待。
可选的，当所述图片优化处理为背景填充处理时，所述图片优化子单元142，具体用于：
获取所述人脸图像边缘特征点的第一位置集合，并获取所述第二表情图片边缘特征点的第二位置集合；
可以理解的是，在替换人脸表情参数实现表情编辑的同时，可能会因为人脸图像轮廓的变化而产生背景空洞或背景覆盖。通过检测人脸图像轮廓的变化，再对用户图片进行背景拉伸，从而可以实现对这些背景空洞的填充以及覆盖处理。
所述第一位置集合中包括人脸图像多个边缘特征点的位置(坐标)，即描述人脸轮廓的特征点，相应的，所述第二位置集合中包括填充了肤色的人脸图像多个边缘特征点的位置(坐标)。
计算所述第一位置集合与所述第二位置集合的位置变化比值以及变化方向；
一种可行的计算方式为，计算第一位置集合中各位置的平均位置，并计算第二位置集合中各位置的平均位置，然后计算这两个平均位置的变化比值以及变化方向；另一种可行的计算方式为，计算第一位置集合与第二位置集合中各边缘特征点的位置变化比值以及变化方向，再计算各边缘特征点的位置变化比值的平均值以及变化方向的平均值。
基于所述位置变化比值以及所述变化方向对所述第二表情图片进行背景填充处理，以获取目标表情图片。
具体实现中，截取用户图片的背景图片，并采用计算所得的位置变化比值以及变化方向对用户图片的背景区域按照变化方向等比例压缩或者拉伸，并将压缩或者拉伸后的背景区域填充到第二表情图片中，从而生成目标表情图片。
可选的，如图19所示，所述表情填充单元14，包括：
图片添加子单元143，用于将所述目标表情图片添加至所述用户图片对应的表情图片序列中；
可以理解的是，由多个目标表情图片可组成表情图片序列。将所述目标表情图片添加至所述用户图片对应的表情图片序列中，可以理解为，创建空的表情图片序列，然后将所获取的多张目标表情图片添加到该空的表情图片序列中。还可以理解为，创建空的表情图片序列，每生成一张目标表情图片就添加到该空的表情图片序列中。
图片转换子单元144，用于按照设定的显示顺序以及时间间隔将所述表情图片序列转换为动态表情图片，并将所述动态表情图片进行输出。
可以理解的是，该表情图片序列可采用设定的时间间隔以及显示顺序进行展示，可以理解为，该表情图片序列为动态表情图片(如GIF格式的表情图片)。
具体实现中，创建空的表情图片序列，也就是设定了时间间隔以及显示顺序，然后将所获取的多张目标表情图片添加到该空的表情图片序列中，由表情图片生成设备基于设定的规则对多张目标表情图片进行调整及合成，从而生成动态表情图片。例如，生成了5张目标表情图片A1、A2、A3、A4和A5，而设定的时间间隔为1s，显示顺序为1、3、5、2、4，那么，将A1、A2、A3、A4和A5添加到空的表情图片序列中后，则生成每间隔1s分别播放A1、A3、A5、A2和A4的动态图，当然，该播放过程可以认为是重复播放的，也可设定重复播放次数，具体不限定。还可以理解为，创建空的表情图片序列，设定了时间间隔，每生成一张目标表情图片就添加到该空的表情图片序列中，在停止添加目标表情图片时，将当前所生成的表情图片序列确定为动态表情图片。例如，生成了5张目标表情图片A1、A2、A3、A4和A5，而设定的时间间隔为1s，那么，将A1、A2、A3、A4和A5依次添加到空的表情图片序列中后，则生成每间隔1s分别播放A1、A2、A3、A4和A5的动态图，当然，该播放过程也可以认为是重复播放的，也可设定重复播放次数，具体不限定。
其中，所述空的表情图片序列也可以是在表情图片生成设备中预先存储的，也可以从所拍摄的表情视频中删除每帧图片内容后重建得到。另外，所述表情图片序列中的每帧表情图片可以具有连续帧表情参数，从而使产生的表情动作具有连续性。
具体实现中，通过对第一表情图片进行肤色填充、背景填充、口腔填充以及素材填充等填充处理后得到目标表情图片，并采用相同的方式获得多张目标表情图片，将多张表情图片生成表情图片序列发送给用户终端进行显示或者直接进行显示，用户可查看或分享所显示的表情图片序列。
可选的，如图20所示，当所述用户图片中包括多个人脸图像时，所述表情填充单元14，包括：
目标参数获取子单元145，用于在表情参数集合中获取与所述多个人脸图像对应的第二表情参数子集合，在所述第二表情参数子集合中获取所述多个人脸图像中目标人脸图像对应的目标表情参数；
可以理解的是，当在用户图片中识别到多个人脸图像时，在表情参数集合中所获取的第二表情参数子集合中可以为一个第二表情参数，也可以包括多个第二表情参数，所述多个第二表情参数也可完全不同，也可以部分相同，当然也可以完全相同，即各人脸图像可采用相同的表情参数，也可采用不同的表情参数。
具体实现中，在表情参数集合中获取基于当前事件所更新的第一表情参数子集合，并在所述第一表情参数子集合中随机选取第二表情参数子集合；或者，对所述用户图片进行解析，以获取所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的第二表情参数子集合；或者，获取所述表情获取请求携带的所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的第二表情参数子集合。并从中选择多个人脸图像中目标人脸图像(任一人脸图像)对应的目标表情参数。需要说明的是，所述主题信息可以针对用户图片而言，包括一个主题信息，也可以针对用户图片中的各人脸图像而言，包括至少一个主题信息。
图片生成子单元146，用于将所述目标表情参数与所述目标人脸图像对应的三维人脸模型进行合成处理，以生成所述目标人脸图像对应的表情图片；
可以理解的是，所述目标表情参数相当于132中的表情参数，具体描述可参见132，此处不再赘述。
图片拼接子单元147，用于获取所述多个人脸图像中各人脸图像分别对应的表情图片，将所述各人脸图像分别对应的表情图片进行拼接处理，以生成第一表情图片。
可以理解的是，可采用146所述方法分别获取各人脸图像分别对应的表情图片，并将各人脸图像分别对应的表情图片拼接为一张表情图片，即生成第一表情图片。其中，所述拼接方式可以为上下拼接，左右拼接，或者按照设定的角度、方向、特征点等拼接。
可选的，也可将各人脸图像分别对应的表情图片按照设定的拼接规则(如拼接顺序)合成为多张表情图片。
在本发明实施例中，通过获取所选择的用户图片及该用户图片所包含的人脸图像，对人脸图像进行三维重建处理以得到三维人脸模型，再在表情参数集合中获取表情参数，将表情参数与三维人脸模型进行合成处理，从而生成第一表情图片，对第一表情图片进行图片填充处理以获取用户图片对应的目标表情图片，将目标表情图片添加至用户图片对应的表情图片序列中后进行输出。通过将用户所选择的图片中的人脸图像对应的三维人脸模型与所获取的表情参数进行合成处理，并对合成处理后的图片进行填充，就可得到满足用户需求的表情图片，也就是说，用户只需要选择用户图片即可得到表情图片，操作过程简单快捷，从而提升了对表情图片获取的便利性；同时，表情参数库更新方便，不需要在前端做任何修改；另外，采用GIF动图格式代替了视频形式的存储方式，借助于GIF动图在不同媒介传播和分享的便捷性，很大程度上改善了用户体验，也间接扩大了产品覆盖的用户范围。
本发明实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图13所示实施例的方法步骤，具体执行过程可以参见图1-图13所示实施例的具体说明，在此不进行赘述。
请参见图21，为本发明实施例提供了一种电子设备的结构示意图。如图21所示，所述电子设备1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图21所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及表情图片生成应用程序。
在图21所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的表情图片生成应用程序，并具体执行以下操作：
获取所选择的用户图片，并获取所述用户图片中的人脸图像；
对所述人脸图像进行三维重建处理，以获取所述人脸图像对应的三维人脸模型；
在表情参数集合中获取表情参数，将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片；
对所述第一表情图片进行图片填充处理以获取所述用户图片对应的目标表情图片，将所述目标表情图片添加至所述用户图片对应的表情图片序列中，并将所述表情图片序列进行输出。
在一个实施例中，所述处理器1001在执行获取所选择的用户图片，并获取所述用户图片中的人脸图像时，具体执行以下操作：
获取表情获取请求，并获取所述表情获取请求携带的用户图片；
对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像。
在一个实施例中，所述处理器1001在执行在表情参数集合中获取表情参数时，具体执行以下操作：
在表情参数集合中获取基于当前事件所更新的第一表情参数子集合，并在所述第一表情参数子集合中随机选取表情参数。
在一个实施例中，所述处理器1001在执行在表情参数集合中获取表情参数时，具体执行以下操作：
对所述用户图片进行解析，以获取所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数；或，
获取所述表情获取请求携带的所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数。
在一个实施例中，所述处理器1001在执行将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片时，具体执行以下操作：
对所述三维人脸模型进行解析，以获取所述三维人脸模型的目标表情参数；
采用所述表情参数替换所述目标表情参数，以生成所述人脸图像对应的第一表情图片。
在一个实施例中，所述处理器1001在执行对所述第一表情图片进行图片填充处理以获取所述用户图片对应的目标表情图片时，具体执行以下操作：
获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取目标表情图片。
在一个实施例中，所述处理器1001在执行获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取目标表情图片时，具体执行以下操作：
获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取第二表情图片；
对所述第二表情图片进行图片优化处理，以获取目标表情图片，所述图片优化处理包括口腔填充处理、背景填充处理以及素材填充处理中的至少一种。
在一个实施例中，当所述图片优化处理为背景填充处理时，所述处理器1001在执行对所述第二表情图片进行图片优化处理，以获取目标表情图片时，具体执行以下操作：
获取所述人脸图像边缘特征点的第一位置集合，并获取所述第二表情图片边缘特征点的第二位置集合；
计算所述第一位置集合与所述第二位置集合的位置变化比值以及变化方向；
基于所述位置变化比值以及所述变化方向对所述第二表情图片进行背景填充处理，以获取目标表情图片。
在一个实施例中，所述处理器1001在执行将所述目标表情图片添加至所述用户图片对应的表情图片序列中，并将所述表情图片序列进行输出时，具体执行以下操作：
将所述目标表情图片添加至所述用户图片对应的表情图片序列中；
按照设定的显示顺序以及时间间隔将所述表情图片序列转换为动态表情图片，并将所述动态表情图片进行输出。
在一个实施例中，当所述用户图片中包括多个人脸图像时，所述处理器1001在执行在表情参数集合中获取表情参数，将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片时，具体执行以下操作：
在表情参数集合中获取与所述多个人脸图像对应的第二表情参数子集合，在所述第二表情参数子集合中获取所述多个人脸图像中目标人脸图像对应的目标表情参数；
将所述目标表情参数与所述目标人脸图像对应的三维人脸模型进行合成处理，以生成所述目标人脸图像对应的表情图片；
获取所述多个人脸图像中各人脸图像分别对应的表情图片，将所述各人脸图像分别对应的表情图片进行拼接处理，以生成第一表情图片。
在本发明实施例中，通过获取所选择的用户图片及该用户图片所包含的人脸图像，对人脸图像进行三维重建处理以得到三维人脸模型，再在表情参数集合中获取表情参数，将表情参数与三维人脸模型进行合成处理，从而生成第一表情图片，对第一表情图片进行图片填充处理以获取用户图片对应的目标表情图片，将目标表情图片添加至用户图片对应的表情图片序列中后进行输出。通过将用户所选择的图片中的人脸图像对应的三维人脸模型与所获取的表情参数进行合成处理，并对合成处理后的图片进行填充，就可得到满足用户需求的表情图片，也就是说，用户只需要选择用户图片即可得到表情图片，操作过程简单快捷，从而提升了对表情图片获取的便利性；同时，表情参数库更新方便，不需要在前端做任何修改；另外，采用GIF动图格式代替了视频形式的存储方式，借助于GIF动图在不同媒介传播和分享的便捷性，很大程度上改善了用户体验，也间接扩大了产品覆盖的用户范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (13)

1.一种表情图片生成方法，其特征在于，包括：
获取所选择的一张用户图片，并获取所述用户图片中的至少一个人脸图像；
对所述至少一个人脸图像进行三维重建处理，以获取所述至少一个人脸图像中每个人脸图像对应的三维人脸模型；
在表情参数集合中获取与所述用户图片的主题信息相匹配的表情参数，将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片；
对所述第一表情图片进行图片填充处理以获取所述用户图片对应的目标表情图片，将所述目标表情图片添加至所述用户图片对应的表情图片序列中，并将所述表情图片序列进行输出；
其中，所述对所述第一表情图片进行图片填充处理以获取所述用户图片对应的目标表情图片，包括：
获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取第二表情图片；
对所述第二表情图片进行图片优化处理，以获取目标表情图片，所述图片优化处理包括口腔填充处理、背景填充处理以及素材填充处理中的至少一种。
2.根据权利要求1所述的方法，其特征在于，所述获取所选择的一张用户图片，并获取所述用户图片中的至少一个人脸图像，包括：
获取表情获取请求，并获取所述表情获取请求携带的用户图片；
对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像。
3.根据权利要求1所述的方法，其特征在于，所述在表情参数集合中获取与所述用户图片的主题信息相匹配的表情参数，包括：
在表情参数集合中获取基于当前事件所更新的第一表情参数子集合，并在所述第一表情参数子集合中随机选取表情参数。
4.根据权利要求2所述的方法，其特征在于，所述在表情参数集合中获取与所述用户图片的主题信息相匹配的表情参数，包括：
对所述用户图片进行解析，以获取所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数；或，
获取所述表情获取请求携带的所述用户图片的主题信息，并在所述表情参数集合中查找与所述主题信息相匹配的表情参数。
5.根据权利要求1所述的方法，其特征在于，所述将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片，包括：
对所述三维人脸模型进行解析，以获取所述三维人脸模型的目标表情参数；
采用所述表情参数替换所述目标表情参数，以生成所述人脸图像对应的第一表情图片。
6.根据权利要求1所述的方法，其特征在于，当所述图片优化处理为背景填充处理时，所述对所述第二表情图片进行图片优化处理，以获取目标表情图片，包括：
获取所述人脸图像边缘特征点的第一位置集合，并获取所述第二表情图片边缘特征点的第二位置集合；
计算所述第一位置集合与所述第二位置集合的位置变化比值以及变化方向；
基于所述位置变化比值以及所述变化方向对所述第二表情图片进行背景填充处理，以获取目标表情图片。
7.根据权利要求1所述的方法，其特征在于，所述将所述目标表情图片添加至所述用户图片对应的表情图片序列中，并将所述表情图片序列进行输出，包括：
将所述目标表情图片添加至所述用户图片对应的表情图片序列中；
按照设定的显示顺序以及时间间隔将所述表情图片序列转换为动态表情图片，并将所述动态表情图片进行输出。
8.根据权利要求1所述的方法，其特征在于，当所述用户图片中包括多个人脸图像时，所述在表情参数集合中获取表情参数，将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片，包括：
在表情参数集合中获取与所述多个人脸图像对应的第二表情参数子集合，在所述第二表情参数子集合中获取所述多个人脸图像中目标人脸图像对应的目标表情参数；
将所述目标表情参数与所述目标人脸图像对应的三维人脸模型进行合成处理，以生成所述目标人脸图像对应的表情图片；
获取所述多个人脸图像中各人脸图像分别对应的表情图片，将所述各人脸图像分别对应的表情图片进行拼接处理，以生成第一表情图片。
9.一种表情图片生成设备，其特征在于，包括：
人脸获取单元，用于获取所选择的一张用户图片，并获取所述用户图片中的至少一个人脸图像；
模型获取单元，用于对所述至少一个人脸图像进行三维重建处理，以获取所述至少一个人脸图像中每个人脸图像对应的三维人脸模型；
表情生成单元，用于在表情参数集合中获取与所述用户图片的主题信息相匹配的表情参数，将所述表情参数与所述三维人脸模型进行合成处理，以生成所述人脸图像对应的第一表情图片；
表情填充单元，用于对所述第一表情图片进行图片填充处理以获取所述用户图片对应的目标表情图片，将所述目标表情图片添加至所述用户图片对应的表情图片序列中，并将所述表情图片序列进行输出；
其中，表情填充单元具体用于：
获取所述人脸图像的肤色信息，并基于所述肤色信息对所述第一表情图片进行肤色填充处理，以获取第二表情图片；
对所述第二表情图片进行图片优化处理，以获取目标表情图片，所述图片优化处理包括口腔填充处理、背景填充处理以及素材填充处理中的至少一种。
10.根据权利要求9所述的设备，其特征在于，所述人脸获取单元，包括：
图片获取子单元，用于获取表情获取请求，并获取所述表情获取请求携带的用户图片；
人脸获取子单元，用于对所述用户图片进行人脸识别处理，以获取所述用户图片中的人脸图像。
11.根据权利要求9所述的设备，其特征在于，所述表情生成单元，具体用于：
在表情参数集合中获取基于当前事件所更新的第一表情参数子集合，并在所述第一表情参数子集合中随机选取表情参数。
12.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～8任意一项的方法步骤。
13.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～8任意一项的方法步骤。
CN201810350251.0A 2018-04-18 2018-04-18 一种表情图片生成方法及其设备、存储介质 Active CN108573527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810350251.0A CN108573527B (zh) 2018-04-18 2018-04-18 一种表情图片生成方法及其设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810350251.0A CN108573527B (zh) 2018-04-18 2018-04-18 一种表情图片生成方法及其设备、存储介质

Publications (2)

Publication Number Publication Date
CN108573527A CN108573527A (zh) 2018-09-25
CN108573527B true CN108573527B (zh) 2020-02-18

Family

ID=63575111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810350251.0A Active CN108573527B (zh) 2018-04-18 2018-04-18 一种表情图片生成方法及其设备、存储介质

Country Status (1)

Country Link
CN (1) CN108573527B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3629337A1 (en) * 2018-09-28 2020-04-01 Ivoclar Vivadent AG Rendering of dental models
CN109120866B (zh) 2018-09-27 2020-04-03 腾讯科技（深圳）有限公司 动态表情生成方法、装置、计算机可读存储介质和计算机设备
CN109829930B (zh) * 2019-01-15 2021-05-04 深圳市云之梦科技有限公司 人脸图像处理方法、装置、计算机设备及可读存储介质
CN110021058B (zh) * 2019-03-21 2023-09-26 深圳点猫科技有限公司 一种便于少儿操作的三维体素建模方法及系统
CN110141857A (zh) * 2019-04-26 2019-08-20 腾讯科技（深圳）有限公司 虚拟角色的面部显示方法、装置、设备及存储介质
CN111986127B (zh) * 2019-05-22 2022-03-08 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备和存储介质
CN110288680A (zh) * 2019-05-30 2019-09-27 盎锐（上海）信息科技有限公司 影像生成方法及移动终端
CN110458916A (zh) * 2019-07-05 2019-11-15 深圳壹账通智能科技有限公司 表情包自动生成方法、装置、计算机设备及存储介质
CN110517185B (zh) * 2019-07-23 2024-02-09 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110910478B (zh) * 2019-11-05 2023-10-27 北京奇艺世纪科技有限公司 Gif图生成方法、装置、电子设备及存储介质
CN111210491B (zh) * 2019-12-31 2023-07-07 维沃移动通信有限公司 图像处理方法、电子设备和存储介质
CN111291685B (zh) * 2020-02-10 2023-06-02 支付宝实验室(新加坡)有限公司 人脸检测模型的训练方法及装置
CN111354079B (zh) * 2020-03-11 2023-05-02 腾讯科技（深圳）有限公司 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN111833418B (zh) * 2020-07-14 2024-03-29 北京百度网讯科技有限公司 动画交互方法、装置、设备以及存储介质
CN111966804A (zh) * 2020-08-11 2020-11-20 深圳传音控股股份有限公司 一种表情处理方法、终端及存储介质
CN112035692B (zh) * 2020-08-31 2023-11-03 百度在线网络技术（北京）有限公司 图片信息搜索方法和装置、计算机系统和可读存储介质
CN112083866A (zh) * 2020-09-25 2020-12-15 网易（杭州）网络有限公司 一种表情图像的生成方法和装置
CN113361419A (zh) * 2021-06-10 2021-09-07 百果园技术(新加坡)有限公司 一种图像处理方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149840A (zh) * 2006-09-20 2008-03-26 清华大学 一种复杂表情仿真系统及其实现方法
CN101311966A (zh) * 2008-06-20 2008-11-26 浙江大学 一种基于运行传播和Isomap分析的三维人脸动画编辑与合成方法
CN103198508A (zh) * 2013-04-07 2013-07-10 河北工业大学 人脸表情动画生成方法
CN106303233A (zh) * 2016-08-08 2017-01-04 西安电子科技大学 一种基于表情融合的视频隐私保护方法
CN107578459A (zh) * 2017-08-31 2018-01-12 北京麒麟合盛网络技术有限公司 表情嵌入输入法候选项的方法及装置
CN107610209A (zh) * 2017-08-17 2018-01-19 上海交通大学 人脸表情合成方法、装置、存储介质和计算机设备
CN107657664A (zh) * 2017-08-17 2018-02-02 上海交通大学 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766844A (zh) * 2017-11-13 2018-03-06 杭州有盾网络科技有限公司 一种网纹照人脸识别的方法、装置、设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149840A (zh) * 2006-09-20 2008-03-26 清华大学 一种复杂表情仿真系统及其实现方法
CN101311966A (zh) * 2008-06-20 2008-11-26 浙江大学 一种基于运行传播和Isomap分析的三维人脸动画编辑与合成方法
CN103198508A (zh) * 2013-04-07 2013-07-10 河北工业大学 人脸表情动画生成方法
CN106303233A (zh) * 2016-08-08 2017-01-04 西安电子科技大学 一种基于表情融合的视频隐私保护方法
CN107610209A (zh) * 2017-08-17 2018-01-19 上海交通大学 人脸表情合成方法、装置、存储介质和计算机设备
CN107657664A (zh) * 2017-08-17 2018-02-02 上海交通大学 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备
CN107578459A (zh) * 2017-08-31 2018-01-12 北京麒麟合盛网络技术有限公司 表情嵌入输入法候选项的方法及装置

Also Published As

Publication number Publication date
CN108573527A (zh) 2018-09-25

Similar Documents

Publication Publication Date Title
CN108573527B (zh) 一种表情图片生成方法及其设备、存储介质
US11551405B2 (en) Computing images of dynamic scenes
Suwajanakorn et al. What makes tom hanks look like tom hanks
CN108537881B (zh) 一种人脸模型处理方法及其设备、存储介质
US8624901B2 (en) Apparatus and method for generating facial animation
KR20180100476A (ko) 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법
CN113822977A (zh) 图像渲染方法、装置、设备以及存储介质
WO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
Pandey et al. Volumetric capture of humans with a single rgbd camera via semi-parametric learning
Alkawaz et al. Blend shape interpolation and FACS for realistic avatar
CN113628327A (zh) 一种头部三维重建方法及设备
CN115496863B (zh) 用于影视智能创作的情景互动的短视频生成方法及系统
KR101116838B1 (ko) 개인성향을 반영한 과장표정 생성방법
CN108537162A (zh) 人体姿态的确定方法和装置
JP2010211732A (ja) 物体認識装置および方法
US20210358189A1 (en) Advanced Systems and Methods for Automatically Generating an Animatable Object from Various Types of User Input
Chalás et al. Generating various composite human faces from real 3D facial images
KR101902553B1 (ko) 스토리텔링 콘텐츠 툴 제공 단말기 및 스토리텔링 콘텐츠 제공 방법
Asthana et al. Facial performance transfer via deformable models and parametric correspondence
Ekmen et al. From 2D to 3D real-time expression transfer for facial animation
Yu et al. A framework for automatic and perceptually valid facial expression generation
CN107451560B (zh) 用户表情识别方法、装置及终端
Patterson et al. Landmark-based re-topology of stereo-pair acquired face meshes
Gao et al. A Brief Survey: 3D Face Reconstruction
WO2010010342A1 (en) A system and method for facial recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant