CN112101306A - 基于rgb图像的精细化人脸表情捕获方法及装置 - Google Patents

基于rgb图像的精细化人脸表情捕获方法及装置 Download PDF

Info

Publication number
CN112101306A
CN112101306A CN202011246390.2A CN202011246390A CN112101306A CN 112101306 A CN112101306 A CN 112101306A CN 202011246390 A CN202011246390 A CN 202011246390A CN 112101306 A CN112101306 A CN 112101306A
Authority
CN
China
Prior art keywords
expression
model
data
image
target face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011246390.2A
Other languages
English (en)
Other versions
CN112101306B (zh
Inventor
唐浩
何雨龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tishi infinite Technology Co.,Ltd.
Original Assignee
Chengdu Tishi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tishi Technology Co ltd filed Critical Chengdu Tishi Technology Co ltd
Priority to CN202011246390.2A priority Critical patent/CN112101306B/zh
Publication of CN112101306A publication Critical patent/CN112101306A/zh
Application granted granted Critical
Publication of CN112101306B publication Critical patent/CN112101306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及3D表情重建技术领域，具体公开一种基于RGB图像的精细化人脸表情捕获方法及装置。本申请通过获取目标人脸的自然表情图像和变化表情图像，将变化表情图像输入人脸表情捕获模型获得标准表情特征，将自然表情图像和变化表情图像输入人脸关键点回归模型获得两组目标人脸的关键点空间坐标后进行坐标标准化处理，计算关键点空间坐标变化数据后代入关键点表情变化关联函数获得表情变化特征，最后根据敏感参数获得表情捕获数据的方法，降低了在人脸空间迁移变化的过程中对表情捕捉产生畸变的可能性，并且对表情特征的局部变化进行了效果增强，提高了表情捕获的稳定性和准确率。

Description

基于RGB图像的精细化人脸表情捕获方法及装置
技术领域
本发明涉及3D表情重建技术领域，具体涉及一种基于RGB图像的精细化人脸表情捕获方法及装置。
背景技术
目前人工智能技术和AR智能技术正在飞速发展，互联网用户的内容摄取需求越来丰富，针对动画人物，AR等内容的需求越加强烈，基于不同的人物角色构建特色的动作和表情成为了这些领域里边的支点内容。传统的动画及3D人物表情制作完全依赖于人工，同一个人物的表情变化需要同时做多幅图画，和多个模型的变化来表现，不仅需要极大的工作量，同时也难以保证输出动画或表情模型跟预期的表现一致，从而反复进行人物表情的构建，极大地降低了该领域里的内容输出效率。当前已有的通过人物关键点定位来抽象人脸表情特征变化的方法，也存在关键点抖动造成表情抖动问题；面部空间变化，迁移，使得检测效果畸变等多重技术问题。
发明内容
有鉴于此，本申请提供一种基于RGB图像的精细化人脸表情捕获方法及装置，能够解决或者至少部分解决上述存在的问题。
为解决以上技术问题，本发明提供的技术方案是一种基于RGB图像的精细化人脸表情捕获方法，包括：
S11：获取目标人脸的自然表情图像和变化表情图像；
S12：将目标人脸的变化表情图像输入预先构建的人脸表情捕获模型，获得目标人脸的 标准表情特征
Figure 44949DEST_PATH_IMAGE001
；
S13：将目标人脸的自然表情图像和变化表情图像输入预先构建的人脸关键点回归模 型获得两组目标人脸的关键点空间坐标；标准化两组关键点空间坐标；根据标准化后的两 组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键点空间坐标变化数 据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的表情变化特征
Figure 368614DEST_PATH_IMAGE002
；
S14：根据预设的敏感参数
Figure 882772DEST_PATH_IMAGE003
生成目标人脸的表情捕获数据：
Figure 74719DEST_PATH_IMAGE004
。
优选的，基于RGB图像的精细化人脸表情捕获方法还包括：
S15：将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。
优选的，所述人脸表情捕获模型的构建方法包括：
S21：采集目标人脸的差异表情图像，进行标准化的表情标注；
S22：构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型。
优选的，所述S21采集目标人脸的差异表情图像，进行标准化的表情标注的方法包括：
S211：构建多个不同角度的RGB摄像头对人脸表情图像进行采集，多个不同角度的RGB摄像头与被采集目标人脸的上下偏角不超过30°，左右偏角不超过45°，且采集的人脸表情图像为包括双眼、鼻、嘴巴和眉心的人脸表情图像；
S212：对采集的单帧人脸表情图像进行时序的同步；
S213：对采集的人脸表情图像中的人脸表情进行多人标注；
所述S22构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型的方法包括：
S221：构建选取卷积神经网络标准模型，在卷积神经网络标准模型的工程化性能及模型拟合能力中选择最优back-bone模型；
S222：通过标注后的人脸表情图像对卷积神经网络模型进行训练，采用随机梯度下降 法对卷积神经网络标准模型进行训练，损失函数为：
Figure 623512DEST_PATH_IMAGE005
，其中
Figure 104696DEST_PATH_IMAGE006
为采集人脸表情图像RGB数据集，
Figure 168467DEST_PATH_IMAGE007
为标注数据集，
Figure 101788DEST_PATH_IMAGE008
为目标优化模型；
S223：通过比对卷积神经网络标准模型的输出，构建表情特征维度的平滑变换曲线，优 化训练数据，其中，表情特征维度的平滑变换曲线通过
Figure 442771DEST_PATH_IMAGE009
来计算，其中
Figure 170555DEST_PATH_IMAGE010
为步骤S222中训练得出的卷积神经网络标准模型输出数据；
S224：将优化的训练数据作为卷积神经网络标准模型输入，迭代优化训练数据，迭代S222和S223步骤直到卷积神经网络标准模型达到预设效果，获得人脸表情捕获模型。
优选的，所述人脸关键点回归模型的构建方法包括：构建基于标准人脸关键点的回归模型，采用3D人脸标注数据的68个关键点作为模型训练数据集。
优选的，所述关键点表情变化关联函数的构建方法包括：
S31：通过人脸关键点中的脸颊关键点、眉头关键点及下巴关键点的空间坐标来对人脸进行空间大小标准化，通过预先构建的人脸关键点回归模型获取表情变化后的坐标点位置，分别记录不同表情对应的关键点位置变化；
S32：构建每一个表情的关联函数，根据采集的差异表情图像集构建求解方程，通过随机梯度下降来求解关联函数的参数，最终获得不同表情对应的关键点表情变化关联函数。
优选的，所述S15的方法包括：将前后帧表情捕获时序区间记为
Figure 456043DEST_PATH_IMAGE011
， 表情捕获数据记为
Figure 114426DEST_PATH_IMAGE012
，通过构建中间值插帧的方式，对表情变化特征进行时 序平滑，输出的目标人脸的表情捕获数据为：
Figure 372232DEST_PATH_IMAGE013
， 其中
Figure 598814DEST_PATH_IMAGE014
为实时输出时间帧位，
Figure 246965DEST_PATH_IMAGE015
为前一帧时间帧位，
Figure 256509DEST_PATH_IMAGE016
为后一帧时间帧位。
本发明还提供一种基于RGB图像的精细化人脸表情捕获装置，包括：
人脸表情图像获取模块，用于获取目标人脸的自然表情图像和变化表情图像；
标准表情特征获取模块，用于将目标人脸的变化表情图像输入预先构建的人脸表情捕 获模型，获得目标人脸的标准表情特征
Figure 696717DEST_PATH_IMAGE017
；
表情变化特征获取模块，用于将目标人脸的自然表情图像和变化表情图像输入预先构 建的人脸关键点回归模型，获得两组目标人脸的关键点空间坐标；标准化关键点空间坐标； 根据标准化后的两组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键 点空间坐标变化数据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的 表情变化特征
Figure 766305DEST_PATH_IMAGE002
；
表情捕获数据获取模块，用于根据预设的敏感参数
Figure 416598DEST_PATH_IMAGE003
生成目标人脸的表情捕获数据：
Figure 26571DEST_PATH_IMAGE004
。
优选的，基于RGB图像的精细化人脸表情捕获装置还包括：表情捕获数据平滑模块，用于将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。
本发明还提供一种基于RGB图像的精细化人脸表情捕获装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现上述基于RGB图像的精细化人脸表情捕获方法的步骤。
本申请与现有技术相比，其有益效果详细说明如下：本申请通过获取目标人脸的自然表情图像和变化表情图像，将变化表情图像输入人脸表情捕获模型获得标准表情特征，将自然表情图像和变化表情图像输入人脸关键点回归模型获得两组目标人脸的关键点空间坐标后进行坐标标准化处理，计算关键点空间坐标变化数据后代入关键点表情变化关联函数获得表情变化特征，最后根据敏感参数获得表情捕获数据的方法，降低了在人脸空间迁移变化的过程中对表情捕捉产生畸变的可能性，并且对表情特征的局部变化进行了效果增强，提高了表情捕获的稳定性和准确率。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于RGB图像的精细化人脸表情捕获方法流程示意图；
图2为本发明实施例提供的另一种基于RGB图像的精细化人脸表情捕获方法流程示意图；
图3为本发明实施例提供的一种人脸表情捕获模型的构建方法流程示意图；
图4为本发明实施例提供的一种构建的9个不同角度的RGB摄像头的位置正视图；
图5为本发明实施例提供的一种构建的9个不同角度的RGB摄像头的位置俯视图；
图6为本发明实施例提供的一种构建的9个不同角度的RGB摄像头的位置侧视图；
图7为本发明实施例提供的一种构建关键点表情变化关联函数的方法流程示意图；
图8为本发明实施例提供的一种基于RGB图像的精细化人脸表情捕获装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。
如图1所示，本发明实施例提供一种基于RGB图像的精细化人脸表情捕获方法，可以应用于基于RGB图像的精细化人脸表情捕获系统，该方法包括：
S11：获取目标人脸的自然表情图像和变化表情图像；
S12：将目标人脸的变化表情图像输入预先构建的人脸表情捕获模型，获得目标人脸的 标准表情特征
Figure 258969DEST_PATH_IMAGE001
；
S13：将目标人脸的自然表情图像和变化表情图像输入预先构建的人脸关键点回归模 型获得两组目标人脸的关键点空间坐标；标准化两组关键点空间坐标；根据标准化后的两 组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键点空间坐标变化数 据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的表情变化特征
Figure 702720DEST_PATH_IMAGE002
；
S14：根据预设的敏感参数
Figure 387779DEST_PATH_IMAGE003
生成目标人脸的表情捕获数据：
Figure 801443DEST_PATH_IMAGE004
。
需要说明的是，S11中自然表情图像定义为人脸两眼睁开、嘴巴闭上、眉毛自然放松状态的图像，变化表情图像定义为变化的表情状态的图像。获取目标人脸的自然表情图像和变化表情图像的方法可以包括：将获取的初始自然表情图像和变化表情图像进行人脸检测，获取图像中人脸的矩形框，并裁剪出人脸的RGB图像，获得目标人脸的自然表情图像和变化表情图像。
需要说明的是，S12中人脸表情捕获模型可以根据输入的人脸RGB数据的差异，输出51个维度的人脸表情特征数据。
需要说明的是，S13中将目标人脸的自然表情图像及变化人脸的RGB图像输入人脸 关键点回归模型中，获取两组目标人脸的关键点空间坐标；标准化两组关键点空间坐标， 即：记录人脸关键点回归模型检测出来的关键点空间坐标为
Figure 75298DEST_PATH_IMAGE018
，预估人脸的转角记为
Figure 752267DEST_PATH_IMAGE019
。构建旋旋转矩阵
Figure 986939DEST_PATH_IMAGE020
，标准关键点空间坐标记为
Figure 141977DEST_PATH_IMAGE021
。 将旋转后68个关键点的空间坐标通过公式
Figure 286651DEST_PATH_IMAGE022
对标准关键 点空间坐标进行归一化处理，其中
Figure 931259DEST_PATH_IMAGE023
表示为人脸关键点检测中鼻尖位置的点，
Figure 590910DEST_PATH_IMAGE024
表示为人脸在鼻梁处两个关键点。
具体的，根据标准化后的两组关键点空间坐标计算出目标人脸的关键点空间坐标 变化数据；将关键点空间坐标变化数据代入预先构建的关键点表情变化关联函数进行计 算，获得目标人脸的表情变化特征
Figure 739519DEST_PATH_IMAGE002
具体包括：将标准化后的两组目标人脸的关键点空 间坐标求差，计算出目标人脸的关键点空间坐标变化数据
Figure 535437DEST_PATH_IMAGE025
；同理求取人脸在
Figure 350946DEST_PATH_IMAGE026
时 刻的关键点空间坐标为
Figure 435577DEST_PATH_IMAGE027
，获取关键点空间坐标变化数据
Figure 197996DEST_PATH_IMAGE028
， 通过关键点表情变化关联函数，即51个融合变形值即blendshapes关键点表情变化关联函 数
Figure 176317DEST_PATH_IMAGE029
，输出表情变化特征
Figure 100410DEST_PATH_IMAGE002
。
需要说明的是，S14中结合具体应用场景，构建设置敏感参数
Figure 921605DEST_PATH_IMAGE003
来融合表情特征 输出目标人脸的表情捕获数据
Figure 18874DEST_PATH_IMAGE004
。其中
Figure 54963DEST_PATH_IMAGE030
表示为最终输 出的表情捕获数据，
Figure 87641DEST_PATH_IMAGE001
表示为人脸表情捕获模型输出的标准表情特征捕获数据，
Figure 209181DEST_PATH_IMAGE002
表示为通过人脸关键点回归模型和关键点表情变化关联函数获得的表情变化特征 数据，
Figure 110141DEST_PATH_IMAGE003
为敏感参数，具体的可以
Figure 922108DEST_PATH_IMAGE031
，通过敏感参数
Figure 453583DEST_PATH_IMAGE003
来调节控制表情的捕获变 化敏感度。
如图2所示，本发明还提供另一种基于RGB图像的精细化人脸表情捕获方法，在图1实施例所示的基于RGB图像的精细化人脸表情捕获方法基础上，还包括：
S15：将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。
需要说明的是，S15将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得 变化平滑的目标人脸的表情捕获数据的方法包括：将前后帧表情捕获时序区间记为
Figure 859157DEST_PATH_IMAGE011
，表情捕获数据记为
Figure 767070DEST_PATH_IMAGE012
，通过构建中间值插帧的方式，对表情变化特 征进行时序平滑，输出的目标人脸的表情捕获数据为：
Figure 449855DEST_PATH_IMAGE013
， 其中
Figure 948969DEST_PATH_IMAGE014
为实时输出时间帧位，
Figure 779522DEST_PATH_IMAGE015
为前一帧时间帧位，
Figure 412498DEST_PATH_IMAGE016
为后一帧时间帧位。
具体的，应用前后帧平滑策略。在该优选实施例中，通过异步化前后帧与输出帧， 来实现表情捕获的平滑变化。截取2个步骤S14中描述的输出帧作为前后帧，时序区间记为
Figure 12106DEST_PATH_IMAGE011
，表情捕获数据表示为
Figure 947701DEST_PATH_IMAGE012
，通过构建中间值插帧的方式，对表 情变化特征进行时序平滑，最终输出值为
Figure 265550DEST_PATH_IMAGE013
， 其中
Figure 921791DEST_PATH_IMAGE014
为实时输出时间帧位，
Figure 703802DEST_PATH_IMAGE015
为前一帧时间帧位，
Figure 747981DEST_PATH_IMAGE016
为后一帧时间帧位。
需要说明的是，如图3所示，S12中人脸表情捕获模型的构建方法包括：
S21：采集目标人脸的差异表情图像，进行标准化的表情标注；
S22：构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型。
需要说明的是，S21采集目标人脸的差异表情图像，进行标准化的表情标注的方法包括：
S211：构建多个不同角度的RGB摄像头对人脸表情图像进行采集，多个不同角度的RGB摄像头与被采集目标人脸的上下偏角不超过30°，左右偏角不超过45°，且采集的人脸表情图像为包括双眼、鼻、嘴巴和眉心的人脸表情图像；
优选的，如图4-图6所示分别为本发明实施例提供的一种构建的9个不同角度的RGB摄 像头的位置正视图、俯视图和侧视图，正视图中人脸遮挡位置的摄像头未画出。构建9个不 同角度的RGB摄像头对人脸图像数据进行采集作为抽象表情模型样本数据，9个不同角度的 RGB摄像头对同一时刻的人脸进行面部表情的图像采集记为
Figure 731288DEST_PATH_IMAGE032
，其中
Figure 519115DEST_PATH_IMAGE033
表示为人脸的RGB色彩通道的图像，下标表示为该图像对应的摄像头位置。
具体的，多角度RGB摄像头部署，保证人脸在采集过程中能够捕获包括双眼，鼻，嘴巴，眉毛，眉心的图像。在摄像头架设的环节，应充分考虑到全部摄像头能够采集到完整面部图像。具体的如图4所示，架设了9个不同角度的采集摄像头，其中与被采集目标人脸的上下偏角不超过30°，左右偏角不超过45°为最适合。
S212：对采集的单帧人脸表情图像进行时序的同步；
具体的，目标人脸表情图像的采集数据为视频数据，在获得人脸的帧数据时，会出现多相机的帧错位问题，因此需要对单帧数据进行时序同步。
S213：对采集的人脸表情图像中的人脸表情进行多人标注；
具体的，由于涉及到多个角度的图像数据，标注表情数据采用多人标注的方式对采集 到的人脸表情图像进行标注，标注结果示例为
Figure 890054DEST_PATH_IMAGE034
，其中
Figure 42817DEST_PATH_IMAGE035
为重复的标注人次，记录数据的表情特征向量，标记结果记为
Figure 69679DEST_PATH_IMAGE036
，其中i 表示一个采集到的人脸表情数据与
Figure 723515DEST_PATH_IMAGE037
对应。
具体的，通过多人对每帧人脸的正面人脸图像数据进行标注，表示表情的变化，浮动值区间为[0，1]。在该优选实施例中，人脸表情特征的变化，通过融合变形值即blendshapes的维度进行标准化，进行人工的维度标注。多人标注的具体方式是指：同一张正面表情图像，由多个人分别进行标注，获得标注结果后，进行均值化处理。
该实施例中，通过51个面部变化特征来表示表情的变化。分别为"eyeSquintLeft","eyeSquintRight","noseSneerRight","eyeWideRight","browInnerUp","eyeLookOutRight","mouthDimpleLeft","mouthClose","jawOpen","mouthRollLower","mouthShrugUpper","mouthFunnel","mouthUpperUpLeft","eyeLookDownRight","mouthRollUpper","browOuterUpLeft","mouthStretchLeft","noseSneerLeft","eyeLookDownLeft","mouthShrugLower","eyeLookUpLeft","browDownRight","cheekSquintRight","eyeLookInLeft","eyeLookInRight","mouthLeft","jawForward","mouthDimpleRight","browOuterUpRight","mouthStretchRight","browDownLeft","cheekSquintLeft","eyeLookUpRight","mouthSmileLeft","mouthPressLeft","mouthPucker","mouthLowerDownLeft","mouthSmileRight","jawRight","mouthPressRight","eyeLookOutLeft","mouthLowerDownRight","eyeWideLeft","jawLeft","cheekPuff","eyeBlinkLeft","mouthFrownLeft","mouthFrownRight","eyeBlinkRight","mouthRight","mouthUpperUpRight"。在该优选实施例中，将每个采集表情数据中的正面图像作为标注数据，记录为标准训练数据，并存储。
需要说明的是，S22构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型的方法包括：
S221：构建选取卷积神经网络标准模型，在模型的工程化性能及模型拟合能力中选择最优back-bone模型；
具体的，构建选取卷积神经网络标准模型，在模型在工程化性能及模型拟合能力中选择最优back-bone模型。在该优选实时案例中，通过对比，获标准resnet-18的模型基本架构，在工程化中不仅资源开销较小，同时模型能够有较好的泛化能力。
S222：通过标注后的人脸表情图像对卷积神经网络模型进行训练，采用随机梯度 下降法对模型进行训练，损失函数为：
Figure 152222DEST_PATH_IMAGE005
，其中
Figure 725155DEST_PATH_IMAGE037
为采集人脸表 情图像RGB数据集，
Figure 301629DEST_PATH_IMAGE038
为标注数据集，
Figure 431259DEST_PATH_IMAGE039
为目标优化模型；
具体的，通过标注后的人脸图像数据构建并训练卷积神经网络用于对人脸的表情变化 进行捕获，
Figure 652156DEST_PATH_IMAGE040
作为模型的训练输入数据。通过采集的 标注数据对模型进行训练，包含采用镜像图像，增强/减弱图像的对比度和光亮度，空间仿 射，视图变换等方式来增强模型的泛化能力。在该优选实施例中，训练图像有做±20°的随 机角度偏转，同时有0.5的概率进行仿射变换，对比度和光亮度在[0.5，1.5]幅度上进行变 化。
具体的，在该优选实施例中，通过随机梯度下降法来对模型进行训练，其损失函数 如下：
Figure 474619DEST_PATH_IMAGE005
，其中
Figure 538390DEST_PATH_IMAGE006
为采集图像RGB数据集，
Figure 393082DEST_PATH_IMAGE007
为标注数据集，
Figure 530802DEST_PATH_IMAGE008
为目标优化模型。
S223：通过比对模型的输出，构建表情特征维度的平滑变换曲线，优化训练数据， 其中，表情特征维度的平滑变换曲线通过
Figure 586483DEST_PATH_IMAGE009
来计 算，其中
Figure 75233DEST_PATH_IMAGE010
为步骤S222中训练得出的模型输出的人脸的标准表情特征；
具体的，通过比对卷积模型的输出，构建表情平滑函数，即人脸标准表情变化的平滑， 用于适配不同的人脸，并优化训练数据。具体的步骤S222训练获取的卷积神经网络模型输 出的人脸的标准表情特征记为
Figure 484349DEST_PATH_IMAGE010
，平滑曲线记为
Figure 538893DEST_PATH_IMAGE041
，则表情捕获的输出表情变化特征 即为
Figure 703158DEST_PATH_IMAGE042
，表情特征维度的平滑变换曲线通过
Figure 600576DEST_PATH_IMAGE009
来计算，即将卷积模型获得的数据输入到平滑函数中作为变量，获得因变量的数值。在该实 施例中，在每次迭代卷积模型后，通过人工校准的方式来微调表情变化曲线，进而对模型输 出的结果进行校准。
S224：将优化的训练数据作为模型输入，迭代优化训练数据，迭代S222和S223步骤直到模型达到预设效果，获得人脸表情捕获模型。
具体的，步骤S222中所述的训练卷积神经网络模型针对采集的人脸表情图像数据进行表情数据的捕获，并将模型输出数据进行记录，结合标注数据，进行训练样本数据的重新标注，并结合步骤S222中所述的训练方法，对模型进行迭代训练，直到模型表情捕获效果达到预期。在该过程中，将每次输出的数据进行保存，迭代步骤S222，S223直到模型达到预期效果。即：重复步骤S222，S223。一次训练模型作为一次迭代，新一步的迭代中，在S222中添加上一步迭代中S223步骤的模型输出数据作为优化数据，重新加入到新一步迭代的S223的模型训练过程中。重复该过程，通过人工校准平滑函数来达到数据的进一步优化迭代训练模型。
需要说明的是，S13中人脸关键点回归模型的构建方法包括：构建基于标准人脸关键点的回归模型，采用3D人脸标注数据的68个关键点作为模型训练数据集。
具体的，构建基于标准人脸关键点的回归模型，用于实时检测人脸的关键点。
需要说明的是，如图7所示，构建关键点表情变化关联函数的方法包括：
S31：通过人脸关键点中的脸颊关键点、眉头关键点及下巴关键点的空间坐标来对人脸进行空间大小标准化，通过预先构建的人脸关键点回归模型获取表情变化后的坐标点位置，分别记录不同表情对应的关键点位置变化；
S32：构建每一个表情的关联函数，根据采集的差异表情图像集构建求解方程，通过随机梯度下降来求解关联函数的参数，最终获得不同表情对应的关键点表情变化关联函数。
具体的，S31中结合微表情心理学模型，构建与人脸表情特征变化特征维度对应的 人脸标准关键点关联映射。该实施例中，通过表情变化带动面部肌肉变化，从而对68个关键 点产生相应的变化进行关联。通过在真实人脸进行描点标记来对人脸进行关键点的定位。 以
Figure 875699DEST_PATH_IMAGE043
表示为表示的51个表情变化中的某一个，记
Figure 315908DEST_PATH_IMAGE044
为变化的关联点。
具体的，S32中通过标准化人脸的其中表情（快乐，悲伤，恐惧，惊讶，轻蔑，厌恶，愤 怒）来构建人脸的关键点变化与表情细节的关联函数。该实施例中通过关键点中的脸颊关 键点和眉头及下巴关键点的空间坐标来对人脸进行空间大小的标准化。以两脸颊关键点空 间坐标计算人脸宽记为
Figure 385495DEST_PATH_IMAGE045
，眉头到下巴关键点空间距离记为
Figure 786520DEST_PATH_IMAGE046
，以鼻尖的关键点作为 坐标0点，对人脸的空间坐标进行平移，旋转空间坐标点的位置至正脸状态。分别记录7种不 同表情的关联点的位置变化，该实施例中只考虑关键点的x，y坐标轴的变化。通过上述人脸 关键点回归模型，获取变化后的坐标点位置，构建每一个表情的关联函数，以其中一个表情 为例：关联点
Figure 396493DEST_PATH_IMAGE047
的坐标变化记录为
Figure 628891DEST_PATH_IMAGE048
，面部变化的blendshapes参数记为
Figure 59260DEST_PATH_IMAGE049
， 关联函数记为：
Figure 9899DEST_PATH_IMAGE050
，该关联函数分布可自行设计，该实 施例中记为：
Figure 423563DEST_PATH_IMAGE051
，其中
Figure 448150DEST_PATH_IMAGE052
为目标拟合参数，
Figure 125119DEST_PATH_IMAGE053
为sigmoid 函数。构建求解方程：
Figure 359792DEST_PATH_IMAGE055
，其 中
Figure 514829DEST_PATH_IMAGE056
为采样数据集中，包含
Figure 908771DEST_PATH_IMAGE049
变化的样本数据集，通过随机梯度下降来求解关联函数 的参数。最终求解51个融合变形值即blendshapes关键点表情变化关联函数记为
Figure 491062DEST_PATH_IMAGE057
。
本发明的发明原理：本发明通过人脸表情捕获模型的数据采样的方法，即多角度进行数据采样，增强表情捕捉模型应对面部空间旋转的稳定性，降低了在人脸空间迁移变化的过程中对表情捕捉产生畸变的可能性，同时通过人脸关键点回归模型获取人脸关键点信息和关键点表情变化关联函数对表情特征的局部变化进行了效果增强，有较强的准确度提升，综合以上特征本申请提高了表情捕获的稳定性和准确率，有效提升了系统对于细节表情变化的捕获。
本发明方法通过图像捕捉人物细微表情，捕捉到的表情通过51个特征值进行表示，可在虚幻，MAYA，Unity等动画游戏制作平台进行3D人脸建模，即导入51个特征值可在3D人脸上重现被捕捉人物的人脸表情。
如图8所示，本发明实施例提供一种基于RGB图像的精细化人脸表情捕获装置，包括：
人脸表情图像获取模块41，用于获取目标人脸的自然表情图像和变化表情图像；
标准表情特征获取模块42，用于将目标人脸的变化表情图像输入预先构建的人脸表情 捕获模型，获得目标人脸的标准表情特征
Figure 947451DEST_PATH_IMAGE001
；
表情变化特征获取模块43，用于将目标人脸的自然表情图像和变化表情图像输入预先 构建的人脸关键点回归模型，获得两组目标人脸的关键点空间坐标；标准化两组关键点空 间坐标；根据标准化后的两组关键点空间坐标计算出目标人脸的关键点空间坐标变化数 据；将关键点空间坐标变化数据代入预先构建的关键点表情变化关联函数进行计算，获得 目标人脸的表情变化特征
Figure 843863DEST_PATH_IMAGE002
；
表情捕获数据获取模块44，用于根据预设的敏感参数
Figure 905359DEST_PATH_IMAGE003
生成目标人脸的表情捕获数 据：
Figure 986448DEST_PATH_IMAGE004
。
需要说明的是，基于RGB图像的精细化人脸表情捕获装置还包括：表情捕获数据平滑模块，用于将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。
本发明实施例还提供一种基于RGB图像的精细化人脸表情捕获装置，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序以实现上述基于RGB图像的精细化人脸表情捕获方法的步骤。
图8所对应实施例中特征的说明可以参见图1-图7所对应实施例的相关说明，这里不再一一赘述。
以上对本发明实施例所提供的一种基于RGB图像的精细化人脸表情捕获方法及装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (10)

1.一种基于RGB图像的精细化人脸表情捕获方法，其特征在于，包括：
S11：获取目标人脸的自然表情图像和变化表情图像；
S12：将目标人脸的变化表情图像输入预先构建的人脸表情捕获模型，获得目标人脸的 标准表情特征
Figure 142285DEST_PATH_IMAGE001
；
S13：将目标人脸的自然表情图像和变化表情图像输入预先构建的人脸关键点回归模 型获得两组目标人脸的关键点空间坐标；标准化两组关键点空间坐标；根据标准化后的两 组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键点空间坐标变化数 据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的表情变化特征
Figure 111378DEST_PATH_IMAGE002
；
S14：根据预设的敏感参数
Figure 938520DEST_PATH_IMAGE003
生成目标人脸的表情捕获数据：
Figure 145511DEST_PATH_IMAGE004
。
2.根据权利要求1所述的基于RGB图像的精细化人脸表情捕获方法，其特征在于，还包括：
S15：将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。
3.根据权利要求1所述的基于RGB图像的精细化人脸表情捕获方法，其特征在于，所述人脸表情捕获模型的构建方法包括：
S21：采集目标人脸的差异表情图像，进行标准化的表情标注；
S22：构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型。
4.根据权利要求3所述的基于RGB图像的精细化人脸表情捕获方法，其特征在于，所述S21采集目标人脸的差异表情图像，进行标准化的表情标注的方法包括：
S211：构建多个不同角度的RGB摄像头对人脸表情图像进行采集，多个不同角度的RGB摄像头与被采集目标人脸的上下偏角不超过30°，左右偏角不超过45°，且采集的人脸表情图像为包括双眼、鼻、嘴巴和眉心的人脸表情图像；
S212：对采集的单帧人脸表情图像进行时序的同步；
S213：对采集的人脸表情图像中的人脸表情进行多人标注；
所述S22构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型的方法包括：
S221：构建选取卷积神经网络标准模型，在卷积神经网络标准模型的工程化性能及模型拟合能力中选择最优back-bone模型；
S222：通过标注后的人脸表情图像对卷积神经网络模型进行训练，采用随机梯度下降 法对卷积神经网络标准模型进行训练，损失函数为：
Figure 790119DEST_PATH_IMAGE005
，其中
Figure 121874DEST_PATH_IMAGE006
为采集人脸表情图像RGB数据集，
Figure 80603DEST_PATH_IMAGE007
为标注数据集，
Figure 204416DEST_PATH_IMAGE008
为目标优化模型；
S223：通过比对卷积神经网络标准模型的输出，构建表情特征维度的平滑变换曲线，优 化训练数据，其中，表情特征维度的平滑变换曲线通过
Figure 223188DEST_PATH_IMAGE009
来计算，其中
Figure 39310DEST_PATH_IMAGE010
为步骤S222中训练得出的卷积神经网络标准模型输出数据；
S224：将优化的训练数据作为卷积神经网络标准模型输入，迭代优化训练数据，迭代S222和S223步骤直到卷积神经网络标准模型达到预设效果，获得人脸表情捕获模型。
5.根据权利要求1所述的基于RGB图像的精细化人脸表情捕获方法，其特征在于，所述人脸关键点回归模型的构建方法包括：构建基于标准人脸关键点的回归模型，采用3D人脸标注数据的68个关键点作为模型训练数据集。
6.根据权利要求1所述的基于RGB图像的精细化人脸表情捕获方法，其特征在于，所述关键点表情变化关联函数的构建方法包括：
S31：通过人脸关键点中的脸颊关键点、眉头关键点及下巴关键点的空间坐标来对人脸进行空间大小标准化，通过预先构建的人脸关键点回归模型获取表情变化后的坐标点位置，分别记录不同表情对应的关键点位置变化；
S32：构建每一个表情的关联函数，根据采集的差异表情图像集构建求解方程，通过随机梯度下降来求解关联函数的参数，最终获得不同表情对应的关键点表情变化关联函数。
7.根据权利要求2所述的基于RGB图像的精细化人脸表情捕获方法，其特征在于，所述 S15的方法包括：将前后帧表情捕获时序区间记为
Figure 598467DEST_PATH_IMAGE011
，表情捕获数据记为
Figure 514471DEST_PATH_IMAGE012
，通过构建中间值插帧的方式，对表情变化特征进行时序平滑，输出的目标 人脸的表情捕获数据为：
Figure 641827DEST_PATH_IMAGE013
，其中
Figure 72808DEST_PATH_IMAGE015
为实时输出时间帧位，
Figure DEST_PATH_IMAGE017
为前一帧时间帧位，
Figure DEST_PATH_IMAGE019
为后一帧时间帧位。
8.一种基于RGB图像的精细化人脸表情捕获装置，其特征在于，所述装置包括：
人脸表情图像获取模块，用于获取目标人脸的自然表情图像和变化表情图像；
标准表情特征获取模块，用于将目标人脸的变化表情图像输入预先构建的人脸表情捕 获模型，获得目标人脸的标准表情特征
Figure 779864DEST_PATH_IMAGE020
；
表情变化特征获取模块，用于将目标人脸的自然表情图像和变化表情图像输入预先构 建的人脸关键点回归模型，获得两组目标人脸的关键点空间坐标；标准化关键点空间坐标； 根据标准化后的两组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键 点空间坐标变化数据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的 表情变化特征
Figure 347111DEST_PATH_IMAGE002
；
表情捕获数据获取模块，用于根据预设的敏感参数
Figure 645369DEST_PATH_IMAGE003
生成目标人脸的表情捕获数据：
Figure 766908DEST_PATH_IMAGE004
。
9.根据权利要求8所述的基于RGB图像的精细化人脸表情捕获装置，其特征在于，所述装置还包括：表情捕获数据平滑模块，用于将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。
10.一种基于RGB图像的精细化人脸表情捕获装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7中任一项所述基于RGB图像的精细化人脸表情捕获方法的步骤。
CN202011246390.2A 2020-11-10 2020-11-10 基于rgb图像的精细化人脸表情捕获方法及装置 Active CN112101306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011246390.2A CN112101306B (zh) 2020-11-10 2020-11-10 基于rgb图像的精细化人脸表情捕获方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011246390.2A CN112101306B (zh) 2020-11-10 2020-11-10 基于rgb图像的精细化人脸表情捕获方法及装置

Publications (2)

Publication Number Publication Date
CN112101306A true CN112101306A (zh) 2020-12-18
CN112101306B CN112101306B (zh) 2021-02-09

Family

ID=73785017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011246390.2A Active CN112101306B (zh) 2020-11-10 2020-11-10 基于rgb图像的精细化人脸表情捕获方法及装置

Country Status (1)

Country Link
CN (1) CN112101306B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935465A (zh) * 2023-07-04 2023-10-24 南京理工大学 基于三维残差卷积神经网络与光流法的微表情识别方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521227A (zh) * 2011-10-18 2012-06-27 中国科学院自动化研究所 基于用户信息建模的图像标注增强方法
CN104217454A (zh) * 2014-08-21 2014-12-17 中国科学院计算技术研究所 一种视频驱动的人脸动画生成方法
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
CN104951743A (zh) * 2015-03-04 2015-09-30 苏州大学 基于主动形状模型算法分析人脸表情的方法
US20180033190A1 (en) * 2016-07-29 2018-02-01 Activision Publishing, Inc. Systems and Methods for Automating the Animation of Blendshape Rigs
CN108876879A (zh) * 2017-05-12 2018-11-23 腾讯科技（深圳）有限公司 人脸动画实现的方法、装置、计算机设备及存储介质
CN109272566A (zh) * 2018-08-15 2019-01-25 广州多益网络股份有限公司 虚拟角色的动作表情编辑方法、装置、设备、系统及介质
CN110163054A (zh) * 2018-08-03 2019-08-23 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法和装置
CN110765839A (zh) * 2019-09-02 2020-02-07 合肥工业大学 可见光面部图像的多路信息融合及人工智能情绪监测方法
CN111460945A (zh) * 2020-03-25 2020-07-28 亿匀智行(深圳)科技有限公司 一种基于人工智能获取rgb视频中3d表情的算法
CN111523559A (zh) * 2020-03-11 2020-08-11 浙江工业大学 一种基于多特征融合的异常行为检测方法
CN111639577A (zh) * 2020-05-25 2020-09-08 台州智必安科技有限责任公司 一种监控视频多人人脸检测和表情识别方法
CN111862277A (zh) * 2020-07-22 2020-10-30 北京百度网讯科技有限公司 用于生成动画的方法、装置、设备以及存储介质
CN111860101A (zh) * 2020-04-24 2020-10-30 北京嘀嘀无限科技发展有限公司 一种人脸关键点检测模型的训练方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521227A (zh) * 2011-10-18 2012-06-27 中国科学院自动化研究所 基于用户信息建模的图像标注增强方法
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
CN104217454A (zh) * 2014-08-21 2014-12-17 中国科学院计算技术研究所 一种视频驱动的人脸动画生成方法
CN104951743A (zh) * 2015-03-04 2015-09-30 苏州大学 基于主动形状模型算法分析人脸表情的方法
US20200226821A1 (en) * 2016-07-29 2020-07-16 Activision Publishing, Inc. Systems and Methods for Automating the Personalization of Blendshape Rigs Based on Performance Capture Data
US20180033190A1 (en) * 2016-07-29 2018-02-01 Activision Publishing, Inc. Systems and Methods for Automating the Animation of Blendshape Rigs
CN108876879A (zh) * 2017-05-12 2018-11-23 腾讯科技（深圳）有限公司 人脸动画实现的方法、装置、计算机设备及存储介质
CN110163054A (zh) * 2018-08-03 2019-08-23 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法和装置
CN109272566A (zh) * 2018-08-15 2019-01-25 广州多益网络股份有限公司 虚拟角色的动作表情编辑方法、装置、设备、系统及介质
CN110765839A (zh) * 2019-09-02 2020-02-07 合肥工业大学 可见光面部图像的多路信息融合及人工智能情绪监测方法
CN111523559A (zh) * 2020-03-11 2020-08-11 浙江工业大学 一种基于多特征融合的异常行为检测方法
CN111460945A (zh) * 2020-03-25 2020-07-28 亿匀智行(深圳)科技有限公司 一种基于人工智能获取rgb视频中3d表情的算法
CN111860101A (zh) * 2020-04-24 2020-10-30 北京嘀嘀无限科技发展有限公司 一种人脸关键点检测模型的训练方法及装置
CN111639577A (zh) * 2020-05-25 2020-09-08 台州智必安科技有限责任公司 一种监控视频多人人脸检测和表情识别方法
CN111862277A (zh) * 2020-07-22 2020-10-30 北京百度网讯科技有限公司 用于生成动画的方法、装置、设备以及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
_DAVIDWANG_: "ARFoundation之路－人脸检测增强之四", 《HTTPS://BLOG.CSDN.NET/YOLON3000/ARTICLE/DETAILS/101388015》 *
HEECHUL JUNG等: "Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
KAIHAO ZHANG等: "Facial Expression Recognition Based on Deep Evolutional Spatial-Temporal Networks", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935465A (zh) * 2023-07-04 2023-10-24 南京理工大学 基于三维残差卷积神经网络与光流法的微表情识别方法

Also Published As

Publication number Publication date
CN112101306B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
Tolosana et al. Deepfakes and beyond: A survey of face manipulation and fake detection
CN108229381B (zh) 人脸图像生成方法、装置、存储介质和计算机设备
CN112887698B (zh) 基于神经辐射场的高质量人脸语音驱动方法
CN111199531B (zh) 基于泊松图像融合及图像风格化的交互式数据扩展方法
CN110348387B (zh) 一种图像数据处理方法、装置以及计算机可读存储介质
WO2017219263A1 (zh) 基于双向递归卷积神经网络的图像超分辨率增强方法
JP4799104B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
CN108564641B (zh) 基于ue引擎的表情捕捉方法及装置
CN110889672A (zh) 一种基于深度学习的学生打卡及上课状态的检测系统
Wulff et al. Improving inversion and generation diversity in stylegan using a gaussianized latent space
WO2021184754A1 (zh) 视频对比方法、装置、计算机设备和存储介质
CN112288627B (zh) 一种面向识别的低分辨率人脸图像超分辨率方法
CN107423689B (zh) 智能交互式人脸关键点标注方法
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN112016454A (zh) 一种人脸对齐的检测方法
Huang et al. Temporally coherent video harmonization using adversarial networks
Xu et al. Learning self-supervised space-time CNN for fast video style transfer
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
Chen et al. Sound to visual: Hierarchical cross-modal talking face video generation
CN106778576A (zh) 一种基于sehm特征图序列的动作识别方法
CN107886568B (zh) 一种利用3D Avatar重建人脸表情的方法及系统
CN112101306B (zh) 基于rgb图像的精细化人脸表情捕获方法及装置
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
CN116681579A (zh) 一种实时视频人脸替换方法、介质及系统
CN113781611B (zh) 一种动画制作方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Lu Haofang

Inventor after: Tang Hao

Inventor before: Tang Hao

Inventor before: He Yulong

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211210

Address after: 610000 No. 04 and 05, 27th floor, building 1, No. 716, middle section of Jiannan Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan

Patentee after: Chengdu Tishi infinite Technology Co.,Ltd.

Address before: No.04 and No.05, 27th floor, building 1, No.716, middle section of Jiannan Avenue, Chengdu high tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan 610094

Patentee before: Chengdu Tishi Technology Co.,Ltd.