CN109087379B - 人脸表情的迁移方法和人脸表情的迁移装置 - Google Patents

人脸表情的迁移方法和人脸表情的迁移装置 Download PDF

Info

Publication number
CN109087379B
CN109087379B CN201810901216.3A CN201810901216A CN109087379B CN 109087379 B CN109087379 B CN 109087379B CN 201810901216 A CN201810901216 A CN 201810901216A CN 109087379 B CN109087379 B CN 109087379B
Authority
CN
China
Prior art keywords
expression
face
key points
color image
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810901216.3A
Other languages
English (en)
Other versions
CN109087379A (zh
Inventor
王行
盛赞
周晓军
李骊
杨淼
李朔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201810901216.3A priority Critical patent/CN109087379B/zh
Publication of CN109087379A publication Critical patent/CN109087379A/zh
Application granted granted Critical
Publication of CN109087379B publication Critical patent/CN109087379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了人脸表情的迁移方法和装置。包括获取当前帧彩色图像并对其进行人脸检测，计算该当前帧彩色图像的人脸若干个预设的关键点的位置；根据当前帧彩色图像的人脸若干个预设的关键点的位置以及预设的变形模型的若干个预设的关键点的位置计算投影矩阵，并利用投影矩阵，将变形模型的若干个预设的关键点的位置所对应的中性表情和表情基投影到二维空间，以获得投影结果；根据投影结果以及当前帧彩色图像的人脸若干个预设的关键点的位置，构造线性方程组，并计算得到表情基的权重系数，以拟合得到人脸的实时表情；根据拟合得到的人脸的实时表情驱动卡通模型，以完成人脸表情的迁移。可以在任意姿态下，形象逼真的迁移人们的各种表情。

Description

人脸表情的迁移方法和人脸表情的迁移装置
技术领域
本发明涉及人脸表情迁移技术领域，特别涉及一种人脸表情的迁移方法和一种人脸表情的迁移装置。
背景技术
AR技术的出现，给人类的智能扩展提供了强有力的手段，给人们的生活带来很大乐趣，偏娱乐的AR人脸技术能后更方便的触及到人们的日常生活，有着美妙的交互体验。
科学技术的发展，先进的技术，新设备的出现，不断地改变着人们的生活，近年来，AR技术开始进入人们的视野，扩大了人们认识世界的角度，丰富了人们的生活，AR技术是通过计算机技术，将现实世界与虚拟世界叠加到一起，能够被人们的感官所认知，达到超越现实的感官体验，并且能够实时交互，AR作为新型的人机接口和仿真工具，应用领域非常之广泛，能够用到的领域包括医疗、工业维修、军事、娱乐游戏、旅游展览等，AR技术在中国处于初级发展阶段，但随着输入和输出设备的价格不断下降，视频显示质量的提高以及各种软件的实用化，AR技术必定给中国的遥感、娱乐、人工智能、虚拟通讯等领域带来革命性的变化。
AR技术最早出现在1990年，它的出现一开始是为了使游戏获得更好的体验效果，在电子游戏进入人们的生活时，就受到了热烈的欢迎，1998年，世界上第一次成功的将AR技术应用于电视节目的实时直播，1999年，有了增强现实的开发工具，这个工具可以通过利用c++语言让编程人员实现增强现实应用库的快速编写，2005年，开发者通过与软件开发工具包相结合，实现了现实世界中信息的快速传输，从此，AR技术完全进入公众视野，受到公众的热情追捧，AR人脸是AR技术领域中的一个分支，AR人脸即人脸增强技术，将现实中的人脸与一些虚拟的物体集成在一起，给人们的日常生活带来很多乐趣，目前已经有一些AR人脸的应用，比如AR头套：相机拍摄中可以识别人脸的头部，并在头部套上一个卡通动物模型，当多个用户拍摄的时候，可以通过甩头动作将卡通动物模型甩给其他人，AR染发：头发作为人形象的重要部分，是每个人都重点关注的地方，AR染发提供一种功能，用户可以实时预览自己染发后的效果，随意选择不同的颜色，方便了解自己适合什么发色，AR口红：口红和染发的功能类似，但是应用场景更多，比较多的是在电商类商品展示中，如京东APP在口红商品展示中，都提供AR口红的功能，用户可以进入AR场景后，选择不同类型的口红，实时预览效果，AR人脸贴纸：在面部识别后，在脸上、眼角、头部叠加一些2D贴纸效果，包括各种主题、各种风格各种类型的小贴纸，通常会在小视频类软件、特效相机app中看到这个功能，抠背景AR:抠背景是将人像之外的背景扣除，然后填充完成全景式的背景图片，构造一种沉浸式的AR效果，除了这些，还有像AR面具、AR换脸、AR人脸隐形等娱乐应用，由此可见，AR在偏娱乐方面可以更快的触达用户，给人们带来别开生面的体验。
但是，关于人脸表情的迁移技术，国内做的还不够成熟，目前，能够体现这个技术的主要在一些特效APP上，从体验效果上来看，主要有以下缺点：(1)表情不够丰富，只能表现出4中表情左右，像生气、愤怒、惊讶等表情无法完美迁移；(2)表情迁移效果比较僵硬，现实中人们在做一个表情的时候，其余的肌肉也会有所牵扯，但已有的效果只迁移了局部肌肉，没有那么逼真形象；(3)较大姿态下，表情迁移效果不稳定，整个头部有抖动现象，影响体验效果。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种人脸表情的迁移方法和一种人脸表情的迁移装置。
为了实现上述目的，本发明的第一方面，提供了一种人脸表情的迁移方法，包括：
步骤S110、获取当前帧彩色图像；
步骤S120、对所述当前帧彩色图像进行人脸检测，并在检测到存在人脸时执行步骤S130，反之，执行步骤S110；
步骤S130、计算所述当前帧彩色图像的人脸若干个预设的关键点的位置；
步骤S140、根据所述当前帧彩色图像的人脸若干个预设的关键点的位置以及预设的变形模型的若干个预设的关键点的位置计算投影矩阵，并利用所述投影矩阵，将所述变形模型的所述若干个预设的关键点的位置所对应的中性表情和表情基投影到二维空间，以获得投影结果；
步骤S150、根据所述投影结果以及所述当前帧彩色图像的人脸若干个预设的关键点的位置，构造线性方程组，并计算得到表情基的权重系数，以拟合得到人脸的实时表情；
步骤S160、根据拟合得到的人脸的实时表情驱动卡通模型，以完成人脸表情的迁移。
可选地，预设的关键点的数量为68个，在步骤S140中，所述投影矩阵满足下述关系式：
Pη＝P(η1，η2，…，η68)＝(ξ1，ξ2，…，ξ68)＝ξ；
其中，P为投影矩阵，η为所述变形模型的68个关键点的坐标，ξ为所述当前帧彩色图像的人脸68个关键点的坐标。
可选地，在步骤S150中，所述线性方程组以及所述表情基的权重系数满足下述关系式：
Figure BDA0001759437280000031
其中，(f1,f2,…,f100)为投影后的表情基，
Figure BDA0001759437280000032
为投影后的中性表情，v为当前帧彩色图像的表情，(w1,w2,…,w100)为权重系数向量。
可选地，在所述步骤S150中，所述拟合得到的人脸的实时表情满足下述关系式：
Figure BDA0001759437280000041
其中，F为所述拟合得到的人脸的实时表情，
Figure BDA0001759437280000042
为所述变形模型中的中性表情，(s1,s2,…,s100)为所有的表情基。
可选地，所述步骤S160具体包括：
获取影响所述卡通模型中的每个表情的主要权重
Figure BDA0001759437280000043
对每个表情的主要权重作归一化处理，以得到主要权重的归一化系数
Figure BDA0001759437280000044
将主要权重的归一化系数与每个表情的主要权重点乘求和，以得到每个表情的总权重系数
Figure BDA0001759437280000045
根据每个表情的总权重系数驱动所述卡通模型，以完成人脸表情的迁移。
本发明的第二方面，提供了一种人脸表情的迁移装置，包括：
获取模块，用于获取当前帧彩色图像；
检测模块，用于对所述当前帧彩色图像进行人脸检测；
计算模块，用于计算所述当前帧彩色图像的人脸若干个预设的关键点的位置；
投影模块，用于根据所述当前帧彩色图像的人脸若干个预设的关键点的位置以及预设的变形模型的若干个预设的关键点的位置计算投影矩阵，并利用所述投影矩阵，将所述变形模型的所述若干个预设的关键点的位置所对应的中性表情和表情基投影到二维空间，以获得投影结果；
拟合模块，用于根据所述投影结果以及所述当前帧彩色图像的人脸若干个预设的关键点的位置，构造线性方程组，并计算得到表情基的权重系数，以拟合得到人脸的实时表情；
驱动模块，用于根据拟合得到的人脸的实时表情驱动卡通模型，以完成人脸表情的迁移。
可选地，预设的关键点的数量为68个，所述投影矩阵满足下述关系式：
Pη＝P(η1，η2，…，η68)＝(ξ1，ξ2，…，ξ68)＝ξ；
其中，P为投影矩阵，η为所述变形模型的68个关键点的坐标，ξ为所述当前帧彩色图像的人脸68个关键点的坐标。
可选地，所述线性方程组以及所述表情基的权重系数满足下述关系式：
Figure BDA0001759437280000051
其中，(f1,f2,…,f100)为投影后的表情基，为投影后的中性表情，v为当前帧彩色图像的表情，(w1,w2,…,w100)为权重系数向量。
可选地，所述拟合得到的人脸的实时表情满足下述关系式：
Figure BDA0001759437280000053
其中，F为所述拟合得到的人脸的实时表情，
Figure BDA0001759437280000057
为所述变形模型中的中性表情，(s1,s2,…,s100)为所有的表情基。
可选地，所述驱动模块，还用于：
获取影响所述卡通模型中的每个表情的主要权重
Figure BDA0001759437280000054
对每个表情的主要权重作归一化处理，以得到主要权重的归一化系数
Figure BDA0001759437280000055
将主要权重的归一化系数与每个表情的主要权重点乘求和，以得到每个表情的总权重系数
根据每个表情的总权重系数驱动所述卡通模型，以完成人脸表情的迁移。
本发明的人脸表情的迁移方法和人脸表情的迁移装置。首先，获取当前帧彩色图像，并检测人脸位置，计算人脸上若干(例如，68)个关键点的位置，其次，用上面得到的若干个关键点和变形模型BFM上若干个点的位置，计算投影矩阵，将BFM中的中性表情和表情基投影到二维空间，根据计算的结果构建线性方程组，采用QR分解等方法得到表情基的权重，拟合出人脸的实时表情，根据拟合出的人脸的实时表情驱动卡通模型，从而完成人脸表情的迁移。根据投影矩阵，将BFM中的中性表情和表情基投影到二维空间，也即将相应的三维点映射到二维空间，在二维空间上拟合人脸，能有效地提高运算效率。此外，还能够在任意姿态下，形象的，逼真的迁移人们的各种表情。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明一实施例中人脸表情的迁移方法的流程图；
图2为本发明一实施例中人脸表情的迁移装置的结构示意图。
附图标记说明
100：人脸表情的迁移装置；
110：获取模块；
120：预处理模块；
130：初始化模块；
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1所示，本发明的第一方面，涉及一种人脸表情的迁移方法S100，包括：
步骤S110、获取当前帧彩色图像。
具体地，在本步骤中，例如，可以利用彩色摄像头获取用户的当前帧彩色图像。
步骤S120、对所述当前帧彩色图像进行人脸检测，并在检测到存在人脸时执行步骤S130，反之，执行步骤S110。
具体地，在本步骤中，可以利用人脸检测器或者其他能够检测到人脸的器件对当前帧彩色图像进行人脸检测。
步骤S130、计算所述当前帧彩色图像的人脸若干个预设的关键点的位置。
具体地，在本步骤中，关键点的数量可以为68个，可以通过结合事先训练好的68个关键点对齐模型，计算人脸上68个关键点的位置。
步骤S140、根据所述当前帧彩色图像的人脸若干个预设的关键点的位置以及预设的变形模型的若干个预设的关键点的位置计算投影矩阵，并利用所述投影矩阵，将所述变形模型的所述若干个预设的关键点的位置所对应的中性表情和表情基投影到二维空间，以获得投影结果。
需要说明的是，在本步骤中，预设的变形模型可以是巴塞尔人脸模型(Basel FaceModel，BFM)，BFM是一个典型的变形模型，为了更好的表述本发明，后面都用BFM来说明。当然，除了BFM以外，还可以根据实际需要采用其他的一些变形模型等。
步骤S150、根据所述投影结果以及所述当前帧彩色图像的人脸若干个预设的关键点的位置，构造线性方程组，并计算得到表情基的权重系数，以拟合得到人脸的实时表情。
具体地，在本步骤中，在构建了线性方程组以后，可以利用采用QR分解得到表情基的权重系数等。
步骤S160、根据拟合得到的人脸的实时表情驱动卡通模型，以完成人脸表情的迁移。
本实施例的人脸表情的迁移方法S100，首先，获取当前帧彩色图像，并检测人脸位置，计算人脸上若干(例如，68)个关键点的位置，其次，用上面得到的若干个关键点和变形模型BFM上若干个点的位置，计算投影矩阵，将BFM中的中性表情和表情基投影到二维空间，根据计算的结果构建线性方程组，采用QR分解等方法得到表情基的权重，拟合出人脸的实时表情，根据拟合出的人脸的实时表情驱动卡通模型，从而完成人脸表情的迁移。本实施例的人脸表情的迁移方法S100，根据投影矩阵，将BFM中的中性表情和表情基投影到二维空间，也即将相应的三维点映射到二维空间，在二维空间上拟合人脸，能有有效地提高运算效率。此外，还能够在任意姿态下，形象的，逼真的迁移人们的各种表情。
具体地，预设的关键点的数量为68个，在步骤S140中，为了后面的计算表情权重系数，需要通过投影变换将BFM的中性表情和表情基映射到二维空间，所述投影矩阵满足下述关系式：
Pη＝P(η1，η2，…，η68)＝(ξ1，ξ2，…，ξ68)＝ξ；
其中，P为投影矩阵，η为所述变形模型的68个关键点的坐标，ξ为所述当前帧彩色图像的人脸68个关键点的坐标。
可选地，在步骤S150中，所述线性方程组以及所述表情基的权重系数满足下述关系式：
Figure BDA0001759437280000081
其中，(f1,f2,…,f100)为投影后的表情基，
Figure BDA0001759437280000082
为投影后的中性表情，v为当前帧彩色图像的表情，(w1,w2,…,w100)为权重系数向量。
具体地，在本步骤中，BFM包含了人脸的中性表情和不同的表情基，通过改变每个表情基的权重，并对中性表情和表情基加权求和，可以得到人脸的不同表情，因此，根据实时的检测人脸上的68个关键点和BFM上的68个关键点计算表情基的权重，可以拟合出实时的人脸表情，为此，通过下面的方法计算权重系数：
Figure BDA0001759437280000083
求解上面的等式也即等同于求解上述的线性方程组。采用QR分解或者LU分解求解上面的线性方程组，得到权重系数向量，利用下面的公式拟合出人脸的实时表情：
Figure BDA0001759437280000084
其中，F为所述拟合得到的人脸的实时表情，为所述变形模型中的中性表情，(s1,s2,…,s100)为所有的表情基。
可选地，所述步骤S160具体包括：
获取影响所述卡通模型中的每个表情的主要权重
具体地，本实施例是用BFM的拟合结果来驱动卡通模型的，卡通模型能够表现出来的表情主要有微笑、大笑、张嘴、抬眉、皱眉、眨眼、闭眼、睁大眼、惊讶等表情，表情驱动方法是这样的，对于卡通模型的每一个表情情，需要一些辅助人员分别去做这个表情，观察(w1,w2,…,w100)中主要变换的权重并记录下来，假设此种表情主要变化的权重是
Figure BDA0001759437280000092
那么对所有的表情，按照同样的方法，就可以得到影响每一个表情的主要权重，即
Figure BDA0001759437280000093
对每个表情的主要权重作归一化处理，以得到主要权重的归一化系数
Figure BDA0001759437280000094
具体地，在本步骤中，上面得到了每一个表情的主要权重
Figure BDA0001759437280000095
由于卡通模型表情基的权重只能在-1到1之间变化，但是如何将
Figure BDA0001759437280000096
的元素之和作为一个表情基的权重的话，会导致表情过拟合，因此需要对上面每个表情的权重做归一化，在辅助人员做不同的表情的时候，计算每个主要权重的平均权重
Figure BDA0001759437280000097
利用下面的公式是将权重归一化：
从而可以得到权重的归一化系数
Figure BDA0001759437280000099
将主要权重的归一化系数与每个表情的主要权重点乘求和，以得到每个表情的总权重系数
根据每个表情的总权重系数驱动所述卡通模型，以完成人脸表情的迁移。
实时情况下，当一个人做了一种表情的时候，BFM的一些表情权重会发生比较大的变化，根据这些变换的权重计算出卡通模型的表情权重，根据卡通模型的表情权重、中性表情以及表情基，拟合出驱动者的实时表情。
本实施例的人脸表情的迁移方法S100，在通过求解线性方程组得到BFM表情基的权重系数之后，通过一些辅助手段将BFM表情基的权重系数转化为卡通模型表情基的权重，以及之后的归一化处理，都是为了达到准确的、逼真的迁移效果。
本发明的人脸表情的迁移方法，将三维信息映射到二维空间上进行运算，有着较高的运算效率；本发明能够迁移的表情更丰富；本发明的人脸检测、关键点对齐比较精确，因此在较大姿态下也能正常迁移，有着很好的鲁棒性；本发明合理地分配计算权重系数，有着更形象、更逼真的迁移效果。
本发明的第二方面，如图2所示，提供了一种人脸表情的迁移装置100，包括：
获取模块110，用于获取当前帧彩色图像；
检测模块120，用于对所述当前帧彩色图像进行人脸检测；
计算模块130，用于计算所述当前帧彩色图像的人脸若干个预设的关键点的位置；
投影模块140，用于根据所述当前帧彩色图像的人脸若干个预设的关键点的位置以及预设的变形模型的若干个预设的关键点的位置计算投影矩阵，并利用所述投影矩阵，将所述变形模型的所述若干个预设的关键点的位置所对应的中性表情和表情基投影到二维空间，以获得投影结果；
拟合模块150，用于根据所述投影结果以及所述当前帧彩色图像的人脸若干个预设的关键点的位置，构造线性方程组，并计算得到表情基的权重系数，以拟合得到人脸的实时表情；
驱动模块160，用于根据拟合得到的人脸的实时表情驱动卡通模型，以完成人脸表情的迁移。
本实施例的人脸表情的迁移装置100，首先，获取当前帧彩色图像，并检测人脸位置，计算人脸上若干(例如，68)个关键点的位置，其次，用上面得到的若干个关键点和变形模型BFM上若干个点的位置，计算投影矩阵，将BFM中的中性表情和表情基投影到二维空间，根据计算的结果构建线性方程组，采用QR分解等方法得到表情基的权重，拟合出人脸的实时表情，根据拟合出的人脸的实时表情驱动卡通模型，从而完成人脸表情的迁移。本实施例的人脸表情的迁移装置100，根据投影矩阵，将BFM中的中性表情和表情基投影到二维空间，也即将相应的三维点映射到二维空间，在二维空间上拟合人脸，能有有效地提高运算效率。此外，还能够在任意姿态下，形象的，逼真的迁移人们的各种表情。
可选地，预设的关键点的数量为68个，所述投影矩阵满足下述关系式：
Pη＝P(η1，η2，…，η68)＝(ξ1，ξ2，…，ξ68)＝ξ；
其中，P为投影矩阵，η为所述变形模型的68个关键点的坐标，ξ为所述当前帧彩色图像的人脸68个关键点的坐标。
可选地，所述线性方程组以及所述表情基的权重系数满足下述关系式：
Figure BDA0001759437280000111
其中，(f1,f2,…,f100)为投影后的表情基，
Figure BDA0001759437280000112
为投影后的中性表情，v为当前帧彩色图像的表情，(w1,w2,…,w100)为权重系数向量。
可选地，所述拟合得到的人脸的实时表情满足下述关系式：
Figure BDA0001759437280000113
其中，F为所述拟合得到的人脸的实时表情，
Figure BDA0001759437280000114
为所述变形模型中的中性表情，(s1,s2,…,s100)为所有的表情基。
可选地，所述驱动模块，还用于：
获取影响所述卡通模型中的每个表情的主要权重
Figure BDA0001759437280000115
对每个表情的主要权重作归一化处理，以得到主要权重的归一化系数
将主要权重的归一化系数与每个表情的主要权重点乘求和，以得到每个表情的总权重系数
Figure BDA0001759437280000122
根据每个表情的总权重系数驱动所述卡通模型，以完成人脸表情的迁移。
本实施例中其余未记载的内容可以参考前文人脸表情的迁移方法的相关描述，在此不作赘述。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (6)

1.一种人脸表情的迁移方法，其特征在于，包括：
步骤S110、获取当前帧彩色图像；
步骤S120、对所述当前帧彩色图像进行人脸检测，并在检测到存在人脸时执行步骤S130，反之，执行步骤S110；
步骤S130、计算所述当前帧彩色图像的人脸若干个预设的关键点的位置；
步骤S140、根据所述当前帧彩色图像的人脸若干个预设的关键点的位置以及预设的变形模型的若干个预设的关键点的位置计算投影矩阵，并利用所述投影矩阵，将所述变形模型的所述若干个预设的关键点的位置所对应的中性表情和表情基投影到二维空间，以获得投影结果；
步骤S150、根据所述投影结果以及所述当前帧彩色图像的人脸若干个预设的关键点的位置，构造线性方程组，并计算得到表情基的权重系数，以拟合得到人脸的实时表情；
步骤S160、根据拟合得到的人脸的实时表情驱动卡通模型，以完成人脸表情的迁移；
在步骤S150中，所述线性方程组以及所述表情基的权重系数满足下述关系式：
Figure FDA0002240622290000011
其中，(f1,f2,…,f100)为投影后的表情基，
Figure FDA0002240622290000012
为投影后的中性表情，v为当前帧彩色图像的表情，(w1,w2,…,w100)为权重系数向量；
在所述步骤S150中，所述拟合得到的人脸的实时表情满足下述关系式：
Figure FDA0002240622290000013
其中，F为所述拟合得到的人脸的实时表情，
Figure FDA0002240622290000024
为所述变形模型中的中性表情，(s1,s2,…,s100)为所有的表情基。
2.根据权利要求1所述的迁移方法，其特征在于，预设的关键点的数量为68个，在步骤S140中，所述投影矩阵满足下述关系式：
Pη＝P(η1，η2，…，η68)＝(ξ1，ξ2，…，ξ68)＝ξ；
其中，P为投影矩阵，η为所述变形模型的68个关键点的坐标，ξ为所述当前帧彩色图像的人脸68个关键点的坐标。
3.根据权利要求1所述的迁移方法，其特征在于，所述步骤S160具体包括：
获取影响所述卡通模型中的每个表情的主要权重
Figure FDA0002240622290000021
对每个表情的主要权重作归一化处理，以得到主要权重的归一化系数
Figure FDA0002240622290000022
将主要权重的归一化系数与每个表情的主要权重点乘求和，以得到每个表情的总权重系数
根据每个表情的总权重系数驱动所述卡通模型，以完成人脸表情的迁移。
4.一种人脸表情的迁移装置，其特征在于，包括：
获取模块，用于获取当前帧彩色图像；
检测模块，用于对所述当前帧彩色图像进行人脸检测；
计算模块，用于计算所述当前帧彩色图像的人脸若干个预设的关键点的位置；
投影模块，用于根据所述当前帧彩色图像的人脸若干个预设的关键点的位置以及预设的变形模型的若干个预设的关键点的位置计算投影矩阵，并利用所述投影矩阵，将所述变形模型的所述若干个预设的关键点的位置所对应的中性表情和表情基投影到二维空间，以获得投影结果；
拟合模块，用于根据所述投影结果以及所述当前帧彩色图像的人脸若干个预设的关键点的位置，构造线性方程组，并计算得到表情基的权重系数，以拟合得到人脸的实时表情；
驱动模块，用于根据拟合得到的人脸的实时表情驱动卡通模型，以完成人脸表情的迁移；
所述线性方程组以及所述表情基的权重系数满足下述关系式：
Figure FDA0002240622290000031
其中，(f1,f2,…,f100)为投影后的表情基，
Figure FDA0002240622290000032
为投影后的中性表情，v为当前帧彩色图像的表情，(w1,w2,…,w100)为权重系数向量；
所述拟合得到的人脸的实时表情满足下述关系式：
Figure FDA0002240622290000033
其中，F为所述拟合得到的人脸的实时表情，
Figure FDA0002240622290000035
为所述变形模型中的中性表情，(s1,s2,…,s100)为所有的表情基。
5.根据权利要求4所述的迁移装置，其特征在于，预设的关键点的数量为68个，所述投影矩阵满足下述关系式：
Pη＝P(η1，η2，…，η68)＝(ξ1，ξ2，…，ξ68)＝ξ；
其中，P为投影矩阵，η为所述变形模型的68个关键点的坐标，ξ为所述当前帧彩色图像的人脸68个关键点的坐标。
6.根据权利要求4所述的迁移装置，其特征在于，所述驱动模块，还用于：
获取影响所述卡通模型中的每个表情的主要权重
Figure FDA0002240622290000034
对每个表情的主要权重作归一化处理，以得到主要权重的归一化系数
Figure FDA0002240622290000041
将主要权重的归一化系数与每个表情的主要权重点乘求和，以得到每个表情的总权重系数
Figure FDA0002240622290000042
根据每个表情的总权重系数驱动所述卡通模型，以完成人脸表情的迁移。
CN201810901216.3A 2018-08-09 2018-08-09 人脸表情的迁移方法和人脸表情的迁移装置 Active CN109087379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810901216.3A CN109087379B (zh) 2018-08-09 2018-08-09 人脸表情的迁移方法和人脸表情的迁移装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810901216.3A CN109087379B (zh) 2018-08-09 2018-08-09 人脸表情的迁移方法和人脸表情的迁移装置

Publications (2)

Publication Number Publication Date
CN109087379A CN109087379A (zh) 2018-12-25
CN109087379B true CN109087379B (zh) 2020-01-17

Family

ID=64833891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810901216.3A Active CN109087379B (zh) 2018-08-09 2018-08-09 人脸表情的迁移方法和人脸表情的迁移装置

Country Status (1)

Country Link
CN (1) CN109087379B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008873B (zh) * 2019-04-25 2021-06-22 北京华捷艾米科技有限公司 面部表情捕捉方法、系统及设备
CN111860044B (zh) * 2019-04-26 2024-10-18 北京陌陌信息技术有限公司 人脸换脸方法、装置、设备及计算机存储介质
CN110097644B (zh) * 2019-04-29 2023-07-14 北京华捷艾米科技有限公司 一种基于混合现实的表情迁移方法、装置、系统和处理器
CN110298917B (zh) * 2019-07-05 2023-07-25 北京华捷艾米科技有限公司 一种人脸重建方法及系统
CN110557625A (zh) * 2019-09-17 2019-12-10 北京达佳互联信息技术有限公司 虚拟形象直播方法、终端、计算机设备及存储介质
CN111461959B (zh) * 2020-02-17 2023-04-25 浙江大学 人脸情绪合成方法及装置
CN111311712B (zh) * 2020-02-24 2023-06-16 北京百度网讯科技有限公司 视频帧处理方法和装置
CN111583372B (zh) * 2020-05-09 2021-06-25 腾讯科技（深圳）有限公司 虚拟角色面部表情生成方法和装置、存储介质及电子设备
CN113095134B (zh) * 2021-03-08 2024-03-29 北京达佳互联信息技术有限公司 人脸表情提取模型生成、人脸图像生成方法及装置
CN113192164A (zh) * 2021-05-12 2021-07-30 广州虎牙科技有限公司 虚拟形象随动控制方法、装置、电子设备和可读存储介质
CN114693845A (zh) * 2022-04-08 2022-07-01 Oppo广东移动通信有限公司 风格化对象的驱动方法及装置、介质和电子设备
CN115601484B (zh) * 2022-11-07 2023-03-28 广州趣丸网络科技有限公司 虚拟人物面部驱动方法、装置、终端设备和可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339606A (zh) * 2008-08-14 2009-01-07 北京中星微电子有限公司 一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9865073B2 (en) * 2015-10-05 2018-01-09 Adobe Systems Incorporated Computer animation of artwork using fast 2-dimensional deformation solving
CN105528805A (zh) * 2015-12-25 2016-04-27 苏州丽多数字科技有限公司 一种虚拟人脸动画合成方法
CN105654537B (zh) * 2015-12-30 2018-09-21 中国科学院自动化研究所 一种实现与虚拟角色实时互动的表情克隆方法及装置
CN107025678A (zh) * 2016-01-29 2017-08-08 掌赢信息科技（上海）有限公司 一种3d虚拟模型的驱动方法及装置
CN107122705B (zh) * 2017-03-17 2020-05-19 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
US9996940B1 (en) * 2017-10-25 2018-06-12 Connectivity Labs Inc. Expression transfer across telecommunications networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339606A (zh) * 2008-08-14 2009-01-07 北京中星微电子有限公司 一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法

Also Published As

Publication number Publication date
CN109087379A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN109087379B (zh) 人脸表情的迁移方法和人脸表情的迁移装置
CN114327060B (zh) 一种基于ai助手的虚拟教学系统的工作方法
CN110599573B (zh) 一种基于单目相机的人脸实时交互动画的实现方法
KR101424942B1 (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
Alabbasi et al. Human motion tracking & evaluation using Kinect V2 sensor
CN108062796A (zh) 基于移动终端的手工制品与虚拟现实体验系统及方法
Chen et al. CreativeBioMan: a brain-and body-wearable, computing-based, creative gaming system
Zou et al. Intelligent fitness trainer system based on human pose estimation
CN114363689B (zh) 直播控制方法、装置、存储介质及电子设备
CN110110647A (zh) 基于ar设备进行信息显示的方法、装置及存储介质
US20220107681A1 (en) User interactions in virtual reality
Sénécal et al. Modelling life through time: cultural heritage case studies
CN110841266A (zh) 一种辅助训练系统及方法
Sun Research on dance motion capture technology for visualization requirements
CN104933278B (zh) 一种用于言语障碍康复训练的多通道交互方法和系统
Magdin Simple mocap system for home usage
CN110097644B (zh) 一种基于混合现实的表情迁移方法、装置、系统和处理器
Moosaei et al. Performing facial expression synthesis on robot faces: A real-time software system
Qiu Generating human images and ground truth using computer graphics
Jiawei et al. A special edutainment system based on somatosensory game
Zhu Dance basic training methods based on motion capture technology
Luo Elements and construction of sports visual image action recognition system based on visual attention analysis
Akinjala et al. Animating human movement & gestures on an agent using Microsoft kinect
Tian et al. Design and implementation of a traditional martial arts follow-up training system based on virtual reality technology
Li et al. A Method for Transmitting Real Human Skeletal Points to the Virtual Reality Character

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant