CN106663340A - 用于编辑面部图像的方法和设备 - Google Patents

用于编辑面部图像的方法和设备 Download PDF

Info

Publication number
CN106663340A
CN106663340A CN201580046187.1A CN201580046187A CN106663340A CN 106663340 A CN106663340 A CN 106663340A CN 201580046187 A CN201580046187 A CN 201580046187A CN 106663340 A CN106663340 A CN 106663340A
Authority
CN
China
Prior art keywords
face
image
facial
facial expression
models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201580046187.1A
Other languages
English (en)
Inventor
基兰·瓦拉纳西
普拉维尔·辛格
弗朗索瓦·勒·卡洛卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN106663340A publication Critical patent/CN106663340A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及用于对图像中的面部表情进行编辑的方法，该方法包括：编辑脸部的3D网格模型以修改面部表情，以及生成与经修改的模型相对应的新的图像，从而提供具有经修改的面部表情的图像。

Description

用于编辑面部图像的方法和设备
技术领域
本发明涉及用于编辑图像的方法和设备。具体地，本发明涉及用于编辑图像中的面部表情的方法和设备，但不完全如此。
背景技术
人脸是捕获到的图像和视频中的重要主题。可以在各种场景(例如，在室内派对场景中或旅游景点前面摆造型)中捕获到人脸。然而，通常没有适当地捕获适合实际情形的人脸表情。在这种情形中，需要图片编辑软件来对面部表情进行修改。可能需要额外的图像来合成例如使人张开嘴或微笑的新表情。然而，这种工作非常繁琐，并且需要使用者具有大量时间和技巧。同时，编辑面部表情是最常见的图片编辑需求之一。
在视频情形中，为使得编辑不产生时序伪迹和抖动，编辑面部表情甚至更难。通常，需要在每个时步对准确的3D模型进行注册，这需要专用的捕获设置或耗费大量计算时间的复杂算法。
考虑到以上情形设计了本发明。
发明内容
一般来说，本发明涉及用于编辑图像中的面部表情的方法，该方法包括：编辑脸部的3D网格模型以修改面部表情，以及生成与经修改的模型相对应的新的图像，从而提供具有经修改的面部表情的图像。
本发明的一方面提供了通过将公共网格模板模型注册到捕获的脸部视频来收集多个脸部区域的肌理数据库的方法。
本发明的另一方面提供了通过在不同的脸部区域中选择最适当的面部表情来产生复合图像的方法。
本发明的另一方面提供了应用局部变形来对所合成的复合图像中的投影变换进行校正的方法。
本发明的另一方面提供了对脸部肌理数据库进行组织和索引并选择与面部表情相对应的最接近的肌理的方法。
本发明的另一方面提供了通过将3D脸部模型操作为代理来执行RGB脸部图像编辑的方法。
本发明的另一方面提供了通过将3D脸部模型编辑为代理来同时使多个脸部图像形成同一面部姿态的方法。
本发明的另一方面涉及对图像中的面部表情进行编辑的方法，该方法包括：
使用融合变形模型来对脸部的变形空间进行参数化；
从与3D面部表情改变相对应的各个面部区域建立图像肌理的数据库；
通过对从数据库读取的、来自不同的面部区域的适当的图像肌理进行复合来生成新的面部图像。
本发明的另一方面提供了对描绘面部表情的图像进行编辑的方法，该方法包括：
提供不同的面部区域的图像块的数据库；
对注册到待编辑的图像的面部模型进行编辑；根据修改从数据库选择块，并从块生成复合图像。
本发明的另一方面提供了对图像中的面部表情进行编辑的设备，该设备包括存储器和与该存储器通信的至少一个处理器，存储器包括指令，当该指令被处理器执行时使得设备执行以下操作：编辑脸部的3D网格模型以修改面部表情；生成与经修改的模型相对应的新的图像，从而提供具有经修改的面部表情的图像。
本发明的另一方面提供用于对图像中的面部表情进行编辑的设备，该设备包括存储器和与存储器通信的至少一个处理器，存储器包括指令，当该指令被处理器执行时使得设备执行以下操作：
访问不同的面部区域的图像块的数据库；
对注册到待编辑的图像的面部模型进行编辑；根据修改从数据库选择块，以及
从块生成复合图像。
本发明的实施例提供了对采用简单的单眼摄像机捕获的脸部视频进行编辑的方法。在预处理阶段，假设对视频应用脸部跟踪算法并且随时间对面部表情注册3D网格模型。然后，在运行时，用户直接编辑脸部的3D网格模型并合成与3D面部表情相对应的新的视觉图像。通过使用线性化融合变形模型并从与3D表情改变相对应的各个面部区域收集图像肌理的数据库来对变形空间进行参数化。通过参考数据库从不同的脸部区域复合最适当的肌理来生成新的脸部图像。这样，提供了一种快速的方式来在给定的输入脸部图像中编辑并合成新的面部表情。
存在针对基于脸部模型的视频编辑的若干种应用。可以用快速且简单的方式对一般消费者拍录的家庭视频和照片进行编辑来显示新的面部表情。根据本发明的实施例的脸部合成技术也可以应用于编辑演员的表情来用于电影的后期制作。也作为通信代理应用于心理学研究以及创建虚拟人阿凡达。
由本发明的元件实施的一些处理可以由计算机来实现。因此，这种元件可以采用全硬件实施例、全软件实施例(包括固件、常驻软件、微代码、等)、或本文中一般称之为“电路”、“模块”、或“系统”的合并软件和硬件方面的实施例的形式。此外，这种元件可以采用在任何有形的表达介质中实施的计算机程序产品的形式，该有形的表达介质中具有在该介质中实施的计算机可用程序代码。
由于本发明的元件可以在软件中实现，本发明可以被实施为计算机可读代码，用于提供任何适当的承载介质上的可编程装置。有形承载介质可以包括存储介质，例如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储器设备以及类似物。暂态承载介质可以包括诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如，微波或RF信号)之类的信号。
附图说明
现在将仅通过示例的方式并参考以下附图来描述本发明的实施例，在附图中：
图1是示出根据本发明的实施例的编辑图像的方法的步骤的流程图；
图2示出根据本发明的实施例的、针对不同的面部区域并关于不同的表情的数据库中的一组肌理的示例；
图3示出根据本发明的实施例的通过拖动顶点来改变3D网格模型上的面部表情；
图4示出与用户编辑相对应的在不同区域中选择的块的示例；
图5示出根据本发明的实施例的合成新的面部表情的示例；
图6示出根据本发明的实施例的对不同参与者的新的面部表情的示例合成；
图7示出根据本发明的实施例的图像处理设备。
具体实施方式
图1是示出根据本发明的实施例的对描绘面部表情的图像进行编辑的方法的步骤的流程图。
在步骤S101中，通过使用预处理步骤S100中执行的面部模型图像注册方法来建立面部图像块的肌理数据库，其中面部图像块与各种面部表情中的不同面部区域相对应。
步骤S100中应用的面部模型图像注册方法包括输入捕获的脸部图像的单眼脸部视频序列并跟踪图像序列中人脸的面部特征点。捕获的图像序列描绘随时间变化的各种面部表情，例如，发怒、大笑、谈话、微笑、眨眼、挑眉的面部表情以及正常的面部表情。图2的列(A)中示出了图像序列的示例。
可以应用例如稀疏空间特征跟踪算法来跟踪图像序列中的面部特征点(例如，鼻尖、嘴角、眼睛等)。图2的列(B)中的图像指示面部特征点的示例。对面部特征点的跟踪产生视频序列的每个时步(帧)处的摄像机投影矩阵以及示出不同的面部特征点的一组稀疏的3D点。
该处理包括应用被参数化的人脸的3D网格融合变形模型，从而在不同的面部表情间进行融合。将这些面部表情中的每一个表情称之为融合变形目标。融合变形目标间加权的线性融合产生任意的面部表情。
在形式上，将脸部模型表示为含有所有的顶点坐标的列向量F，其中所有的顶点坐标具有任意但固定的如xyzxyz…xyz这样的顺序。
类似地，可以用bk来表示第k个融合变形目标，并且融合变形模型由以下等式给出：
任意权重wk基本上定义了融合变形目标bk的跨度并且当结合起来时它们定义了被建模的脸部F的表情范围。可以将所有的融合变形目标作为矩阵B的列并且将权重排列为单个向量w，这样得到由以下等式表示的融合变形模型：
F＝Bw
因此得到3D脸部模型F，其在经受一些刚性和非刚性变换之后，可以在先前获得的一组稀疏的3D面部特征点之上被注册。
然后应用将该3D脸部融合变形模型注册到先前的稀疏面部特征点的输出的方法，其中输入视频中的人与网格模板模型相比具有非常不同的生理特征。
在图2的列(C)中示出了所收集的肌理图像块的示例。这些肌理中的每一个被标注有由该时步(帧)处注册的面部融合变形模型的融合权重wc表示的准确的面部表情。其目标在于通过查找该肌理数据库并由不同的肌理图像块复合图像来合成与新的面部表情相对应的新的面部图像。针对每个面部区域，通过在数据库中选择相对于注册的面部表情最近的邻居来选择根据针对面部表情改变的面部模型修改的最适当的肌理图像块。这涉及通过其融合变形权重(仅针对影响邻居的融合变形权重的子集)与当前的融合变形权重最接近的特定的经修改的邻居的帧来选择图像块。可以注意到，所选择的用于挑选出肌理/面部图像块的时步可以随不同的面部区域而不同。
将解释如何针对视频中的每一帧建立该邻居块数据库。针对视频中的每一帧，非重叠邻居(例如，总共4个)中的每一者被投影到图像，并且然后被裁剪为矩形块。通过使用被投影邻居的末端来计算该矩形块的端点。因此通过使用针对视频的每一帧生成的这些邻居块，建立针对视频中所有可能的帧的每个非重叠区域/邻居(总共4个)的整个数据库(如图2中所示)。
因此，针对第i个邻居(其中，i＝1，2，3，4)和第K帧，由pKi给出相应的块。
作为下一步骤，应用最小二乘极小化技术来读取最相似的邻居块，其中最小二乘极小化技术提供其组件(对特定的邻居具有直接影响)权重与当前权重最接近的帧。但是在此之前，创建两组列表。第一列表指示哪个组件(融合变形目标)正影响哪个相对应的邻居。因此，如果第j个融合变形目标bj正影响第i个邻居Ui，则提供映射bj→Ui。与特定的第i个邻居相关联的一组融合变形目标由Ai给出。
第二列表提供针对视频中每个可能的帧的所有40个融合变形目标的相应的融合变形权重。换言之，提供有关每一帧中最受影响的组件的信息。可以用WjK来表示第K帧中第j个融合变形目标的融合变形权重。
利用该数据库和索引方法，通过查找由美术师编辑的几何模型的当前融合变形权重，可以推断哪些邻居被影响，其次，哪个是最接近的帧，我们可以从该最接近的帧获得针对特定的邻居最有代表性的块来建立合成图像。
在步骤S102中，进行编辑的美术师根据所需编辑对模型进行修改。在步骤103中，从数据库中选择与修改相对应的图像块。事实上，一旦美术师在3D融合变形模型中做出可信的修改，则来自数据库中不同帧中的块的、最好地表示任何经修改的邻居区域的块被选择并被固定。针对所有不同的邻居区域都这样做，并且因此得到被称之为复合图像的对象。采用这种技术是因为它不仅给出有效并且计算成本低的外观模型，并且也是更精细和更简单的方式，从而仅通过修改3D几何模型(其事实上与该外观模型直接相关)在相应的视频帧中获得期望的效果。
首先，美术师还可使用例如(“直接操纵融合变形(Direct ManipulationBlendshapes)”，J.P.Lewis，K.Anjyo，IEEE计算机图形学应用(Computer GraphicsApplications)30(4)42-50，2010年七月)中所描述的直接操纵技术来对图3中示出的3D融合模型进行一些期望的修改。美术师拖动一些顶点并且通过将它们当做约束条件来使得整个脸部变形。
根据本发明的实施例的算法计算所有可能受影响的融合变形目标bi以及它们的相对应的融合变形权重wj，其中j＝1，2，...，40。通过搜索数据库，识别已经通过对几何模型的编辑被影响的所有的邻居。
在下一步骤中，算法计算最近的帧，其基本上提供数据库中最典型的块，该最典型的块与我们在先前的步骤中获得的每个邻居相对应。因此，换言之，针对每个邻居提供了一些相关联的融合变形目标。对于这些相关联的融合变形目标，算法确定最接近的帧，其中来自数据库的相关联的融合权重是最接近的(与同一融合变形目标的当前融合权重的欧几里得(Euclidean)距离最小)。因此，对于任何特定的第i个邻居，假设将相关联的融合变形目标权重给定为wj，其中j表示第i个邻居的相关联的组件Ai的列表中存在的第j个组件。
对于第K个帧和第j个融合变形目标，将融合权重给定为wjK。因此，可以通过对视频中所有可能的帧执行最小二乘法来计算最接近的帧，如以下等式所给出的：
K* i＝MinK(∑j(wj-wjK)2)
其中K* i向我们给出第i个邻居的最接近的帧。接下来对每个第i个邻居，调用由PK*I给出的最接近的帧块。图4中可以看到针对受影响的邻居所产生的块。
在步骤S104中生成复合图像。这基本上通过应用适当的图像区域/邻居上的块来完成。但是在此之前，执行轻微的变形算法，以便通过对当前帧与在数据库中选择的帧之间的投影变换进行校正来对齐块与当前图像。该校正变形由以下等式给出：
qK*i＝PcPo+pK*i
其中，Pc是应用了块的当前帧的投影矩阵，Po +是从其中选出块pK*i的原始帧的投影矩阵的伪逆。
然后将最终的经变形的块qK*i放置在图像中适当的位置处。从多个块合成这些最终的复合图像。它们将所捕获的参与者的脸部显示为完全不同的经合成的面部表情。图5示出合成新的面部表情的结果的集合的示例。顶行显示输入图像，中间行显示对3D网格模型的美术编辑，底行显示与该经编辑的表情相对应的经合成的面部组合图像。
根据本发明的实施例的面部编辑方法也可以同时适用于不同的参与者的多个图像，产生所有参与者显示相同的面部表情的经合成的面部图像。这在图6中示出，其示出采用相同的面部表情的多个参与者。顶行示出输入图像。中间行示出在未经所提出的根据本发明的实施例的针对投影变换的校正的情况下的进行简单面部复合的结果。底行示出最终的复合图像，其是根据本发明的实施例的方法的结果。
与本发明的实施例兼容的装置可以完全由硬件来实现、完全由软件来实现、或者由硬件和软件的组合来实现。关于硬件，例如可以使用专用硬件，例如，ASIC(专用集成电路)、FPGA(现场可编程门阵列)或VLSI(超大规模集成电路)，或者通过使用嵌入在设备中或来自硬件和软件组件的混合的数个集成电子组件。
图7是表示图像处理设备30的示例的示意性框图，在图像处理设备30中可以实现本发明的一个或多个实施例。设备30包括由数据和地址总线31链接起来的以下模块：
-微处理器32(或CPU)，其例如是DSP(或数字信号处理器)；
-ROM(或只读存储器)33；
-RAM(或随机存取存储器)34；
-用于接收和发送来自设备的应用的数据的I/O接口35；以及
-电池36；
-用户界面37
根据替代实施例，电池36可以在设备的外部。图6的这些元件中的每一者是本领域技术人员公知的，并且因此不需要被进一步详细描述来理解本发明。寄存器可以对应于设备的任何存储器的小容量区域(一些位)或非常大的区域(例如，整个程序或大量接收到的或经解码的数据)。ROM 33至少包括程序和参数。根据本发明的实施例的方法的算法被存储在ROM 33中。当启动时，CPU 32加载RAM中的程序并且执行相应的指令以执行方法。
RAM 34包括寄存器中由CPU 32执行并且在启动设备30后加载的程序、寄存器中的输入数据、寄存器中方法的不同状态中的中间数据、以及寄存器中用于方法的执行的其它变量。
根据发明的实施例，用户界面37可操作以接收用于控制图像处理设备并且编辑图像中的面部表情的用户输入。
虽然本发明的实施例所提供的是产生密集的3D网格输出，但其计算速度快并且具有非常小的开销。此外，本发明的实施例不需要3D脸部数据库。相反，它可以使用3D面部模型，其显示作为参考人的单个人的表情变化，这更容易获得。
虽然上文参考具体实施例描述了本发明，本发明不限于具体实施例，并且落入本发明的范围的修改对本领域技术人员将是显而易见的。
例如，虽然相对于面部表情描述了以上示例，将理解的是，本发明可以应用于其它面部方面或图像中其它特征点的变化。
在参考仅通过示例的方式给出并且不旨在限制本发明的范围的以上示意性实施例时，将会使本领域技术人员想起许多进一步的修改和变化，其中本发明的范围仅由所附权利要求书确定。具体地，来自不同实施例的不同特征可以在适当处互换。

Claims (15)

1.一种编辑面部图像的方法，其中该面部图像描绘了具有面部表情的脸部的至少一部分，该方法包括：
编辑注册到所述面部图像的3D网格模型，以修改所述面部表情；
生成与经编辑的模型相对应的新的面部图像，从而提供具有经修改的面部表情的新的面部图像；
其中所述新的面部图像是通过对选择的面部图像块进行复合而生成的，所述面部图像块根据经编辑的3D网格模型被选择。
2.如权利要求1所述的方法，其中，所述面部图像块是从收集自所述脸部的捕获图像的序列的面部图像块的数据库中选择的，每个面部图像块与所述序列中给定时间处的所述脸部的一部分相对应。
3.如权利要求2所述的方法，其中，所述捕获图像的序列被注册到公共网格模板模型。
4.如任何在前的权利要求所述的方法，包括对所述3D网格模型应用局部变形，以对所述新的面部图像中的投影变换进行校正。
5.如任何在前的权利要求所述的方法，其中，所述3D网格模型是被参数化以在不同的面部表情间进行融合的融合变形模型。
6.如任何在前的权利要求所述的方法，包括通过将3D脸部模型操作为代理来执行RGB脸部图像编辑。
7.如任何在前的权利要求所述的方法，包括通过将3D脸部模型编辑为代理来同时使多个脸部图像形成同一面部姿态。
8.一种用于编辑脸部的至少一部分的面部图像中的面部表情的图像编辑设备，该设备包括被配置为执行以下操作的处理器：
对注册到所述面部图像的3D网格模型进行修改，以改变所述面部表情；
根据经修改的3D网格模型来选择多个面部图像块；以及
生成与经修改的模型相对应的面部图像，从而提供具有经修改的面部表情的新的面部图像；
其中所述新的面部图像是通过对所选择的面部图像块进行复合而生成的。
9.如权利要求8所述的图像编辑设备，其中，所述面部图像块是从收集自所述脸部的捕获图像的视频序列的面部图像块的数据库中选择的，每个面部图像块与所述脸部的一部分相对应。
10.如权利要求9所述的图像编辑设备，其中，所述图像的视频序列被注册到公共网格模板模型。
11.如权利要求8-10中任一项所述的图像编辑设备，其中，所述至少一个处理器被配置为应用局部变形，以对所述新的面部图像中的投影变换进行校正。
12.如权利要求8-11中任一项所述的图像编辑设备，其中，所述处理器被配置为通过将3D脸部模型操作为代理来执行RGB脸部图像编辑。
13.如权利要求8-12中任一项所述的图像编辑设备，其中，所述处理器被配置为通过将3D脸部模型编辑为代理来同时使多个脸部图像形成同一面部姿态。
14.如权利要求8-12中任一项所述的图像编辑设备，其中，所述3D网格模型是融合变形模型。
15.一种用于可编程装置的计算机程序产品，所述计算机程序产品包括指令序列，当所述指令序列被所述可编程装置加载并执行时实现根据权利要求1-7中任一者所述的方法。
CN201580046187.1A 2014-08-29 2015-08-24 用于编辑面部图像的方法和设备 Withdrawn CN106663340A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP14306336 2014-08-29
EP14306336.0 2014-08-29
EP15305883.9 2015-06-10
EP15305883 2015-06-10
PCT/EP2015/069306 WO2016030304A1 (en) 2014-08-29 2015-08-24 Method and device for editing a facial image

Publications (1)

Publication Number Publication Date
CN106663340A true CN106663340A (zh) 2017-05-10

Family

ID=53879531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580046187.1A Withdrawn CN106663340A (zh) 2014-08-29 2015-08-24 用于编辑面部图像的方法和设备

Country Status (6)

Country Link
US (1) US20180225882A1 (zh)
EP (1) EP3186788A1 (zh)
JP (1) JP2017531242A (zh)
KR (1) KR20170046140A (zh)
CN (1) CN106663340A (zh)
WO (1) WO2016030304A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488778A (zh) * 2019-05-29 2020-08-04 北京京东尚科信息技术有限公司 图像处理方法及装置、计算机系统和可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180446B (zh) * 2016-03-10 2020-06-16 腾讯科技（深圳）有限公司 人物面部模型的表情动画生成方法及装置
CN107180453B (zh) * 2016-03-10 2019-08-16 腾讯科技（深圳）有限公司 人物面部模型的编辑方法及装置
WO2019217177A1 (en) * 2018-05-07 2019-11-14 Google Llc Puppeteering a remote avatar by facial expressions
US10872451B2 (en) * 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
KR102128399B1 (ko) * 2019-06-04 2020-06-30 (주)자이언트스텝 Ai 기반의 얼굴 애니메이션 구현을 위한 학습데이터 생성 방법, ai 기반의 얼굴 애니메이션 구현 방법 및 컴퓨터 판독 가능한 저장매체
KR102111499B1 (ko) * 2019-09-19 2020-05-18 (주)자이언트스텝 얼굴 애니메이션을 위한 얼굴 형태 변화 전사 방법 및 컴퓨터 판독 가능한 저장매체
CN113763517B (zh) * 2020-06-05 2024-04-12 华为技术有限公司 人脸表情编辑方法及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072496A (en) * 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488778A (zh) * 2019-05-29 2020-08-04 北京京东尚科信息技术有限公司 图像处理方法及装置、计算机系统和可读存储介质

Also Published As

Publication number Publication date
WO2016030304A1 (en) 2016-03-03
JP2017531242A (ja) 2017-10-19
EP3186788A1 (en) 2017-07-05
KR20170046140A (ko) 2017-04-28
US20180225882A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
CN106663340A (zh) 用于编辑面部图像的方法和设备
US11410457B2 (en) Face reenactment
EP2043049B1 (en) Facial animation using motion capture data
US9734613B2 (en) Apparatus and method for generating facial composite image, recording medium for performing the method
Bao et al. High-fidelity 3d digital human head creation from rgb-d selfies
US8655152B2 (en) Method and system of presenting foreign films in a native language
JP5432714B2 (ja) 構図解析方法、構図解析機能を備えた画像装置、構図解析プログラム及びコンピュータ読み取り可能な記録媒体
CN103366400B (zh) 一种三维头像自动生成方法
US20170278302A1 (en) Method and device for registering an image to a model
CN111144491B (zh) 图像处理方法、装置及电子系统
CN108537881A (zh) 一种人脸模型处理方法及其设备、存储介质
CN110021000B (zh) 基于图层变形的发际线修复方法及装置
CN113302694A (zh) 用于基于模板生成个性化视频的系统和方法
EP2615583B1 (en) Method and arrangement for 3D model morphing
CN114730480A (zh) 基于体积捕获和网格跟踪的机器学习
CN114782596A (zh) 语音驱动的人脸动画生成方法、装置、设备及存储介质
CN113065506B (zh) 一种人体姿态识别方法及系统
Brooks et al. Deepfake and its enabling techniques: a review
CN114708636A (zh) 一种密集人脸网格表情驱动方法、装置及介质
CN114445427A (zh) 图像处理方法、装置、电子设备及存储介质
Lin et al. High resolution animated scenes from stills
US20240005581A1 (en) Generating 3d facial models & animations using computer vision architectures
Gao et al. Aesthetics Driven Autonomous Time-Lapse Photography Generation by Virtual and Real Robots
CN115240260A (zh) 图像处理方法及其装置
CN115100216A (zh) 人脸分割方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20170510

WW01 Invention patent application withdrawn after publication