CN111832372A - 产生模拟用户的三维脸部模型的方法及装置 - Google Patents

产生模拟用户的三维脸部模型的方法及装置 Download PDF

Info

Publication number
CN111832372A
CN111832372A CN201910429198.8A CN201910429198A CN111832372A CN 111832372 A CN111832372 A CN 111832372A CN 201910429198 A CN201910429198 A CN 201910429198A CN 111832372 A CN111832372 A CN 111832372A
Authority
CN
China
Prior art keywords
feature
facial
key points
dimensional
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910429198.8A
Other languages
English (en)
Inventor
林鼎傑
周世杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Future City Co ltd
XRspace Co Ltd
Original Assignee
Future City Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Future City Co ltd filed Critical Future City Co ltd
Publication of CN111832372A publication Critical patent/CN111832372A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

一种产生模拟用户的三维脸部模型的方法，用于一计算装置，所述方法包含有：取得一二维影像；对所述二维影像进行一关键点侦测操作，以通过复数个关键点，取得至少一脸部特征；根据所述复数个关键点之间的相对距离，决定对应所述脸部特征的复数个特征类别的复数个权重，其中所述复数个特征类别预设在所述计算装置中；以及根据一三维脸部样版、对应所述脸部特征的所述复数个特征类别的复数个三维参数及所述复数个权重，产生一三维脸部模型。

Description

产生模拟用户的三维脸部模型的方法及装置
技术领域
本发明涉及一种三维脸部几何重建，尤其指一种通过二维影像来产生模拟用户的三维脸部模型的方法及装置。
背景技术
使用2D影像重建3D脸部模型是游戏沉浸和模拟设计的持续挑战。举例来说，用户希望通过在屏幕上看到自己的模拟用户(avatar)，以此通过模拟用户感受到身历其境的体验。为此，在3D脸部重建的领域发展出许多技术，目的是将自己的肖像置入到游戏或模拟系统中。然而，现有的技术需要最少两个影像和复杂计算来产生3D脸部模型。
许多使用单张图像进行脸部重建的方法在过去已被提出。其中，基于实例的方法包含通过标准数据库，构建出以低维参数表示的3D人脸模型，然后将参数模型拟合到2D图像上。最著名的例子之一是应用卷积神经网络(convolutional neural network，CNN)的3D形变模型(3D morphablemodel，3DMM)。3DMM由于其简单性而成为一种普遍的参数化脸部模型，并且可作为更复杂的脸部重建的基础。然而，这些方法不能生成具有个性特征的脸部模型，并且只能用于特定条件下的脸部识别。此外，缺乏足够的训练数据是CNN技术的一个大问题，因此CNN技术仅能得到一个浅层残余网络。
单张图像重建3D人脸模型的另一种方法是通过阴影形状(shapefromshading，SFS)，其主要是利用阴影变化来恢复3D形状的传统计算机视觉技术。举例来说，Kemelmacher-Shlizerman和Basri通过使用参考脸部形状来估计其光照和反射参数，以此从输入脸部图像中获得深度数据。虽然这些现有方法能够通过单张图像产生高质量的3D人脸重建，但它们也具有局限性。
详细来说，虽然3DMM方法简单而有效，但是当目标脸部与数据库中的脸部模型有很大的不同时，会产生非预期的结果。此外，由于低维模型的自由度有限，所述方法通常无法重建出目标脸部上的精细几何细节(例如皱纹)。另一方面，虽然基于SFS的方法能够从输入图像的外观捕获精细的脸部细节。然而，SFS的方法需要几何或亮度的运算。以解决重建目标脸部的模糊性问题，并且当输入图像未满足预设情况时，目标脸部重建的结果可能会变得不精确。
发明内容
因此，本发明的主要目的即在于提供一种产生模拟用户的三维脸部模型的方法及装置，以解决上述问题。
本发明提供一种产生模拟用户的三维脸部模型的方法，用于一计算装置，所述方法包含有：取得一二维影像；对所述二维影像进行一关键点侦测操作，以通过复数个关键点，取得至少一脸部特征；根据所述复数个关键点之间的相对距离，计算出对应所述脸部特征的复数个特征类别的复数个权重，其中所述复数个特征类别预设在所述计算装置中；以及根据一三维脸部样版、对应所述脸部特征的所述复数个特征类别的复数个三维参数及所述复数个权重，产生一三维脸部模型。
本发明还提供一种用户模拟系统，包含有：一摄影机，用来取得一二维影像；一计算装置或一云端装置，用来产生一模拟用户的一三维脸部模型；其中所述计算装置或一云端装置包含有：一处理单元，用来执行一程序代码；一存储单元，连接所述处理单元，用来存储所述程序代码；其中所述程序代码指示所述处理单元执行以下步骤：接收一二维影像；对所述二维影像进行一关键点侦测操作，以通过复数个关键点，取得至少一脸部特征；根据所述复数个关键点之间的相对距离，决定对应所述脸部特征的复数个特征类别的复数个权重，其中所述复数个特征类别预设在所述计算装置中；以及根据一三维脸部样版、对应所述脸部特征的所述复数个特征类别的复数个三维参数及所述复数个权重，产生一三维脸部模型。
本发明还提供一种计算装置，用来产生模拟用户的三维脸部模型，所述计算装置包含有：一处理单元，用来执行一程序代码；一存储单元，连接所述处理单元，用来存储所述程序代码；其中所述程序代码指示所述处理单元执行以下步骤：接收一二维影像；对所述二维影像进行一关键点侦测操作，以通过复数个关键点，取得至少一脸部特征；根据所述复数个关键点之间的相对距离，决定对应所述脸部特征的复数个特征类别的复数个权重，其中所述复数个特征类别预设在所述计算装置中；以及根据一三维脸部样版、对应所述脸部特征的所述复数个特征类别的复数个三维参数及所述复数个权重，产生一三维脸部模型。
附图说明
图1为本发明实施例的一三维脸部模型产生装置的示意图。
图2为本发明实施例的一流程的示意图。
图3为本发明实施例的一脸型类别的示意图。
图4为本发明实施例的一二维影像的示意图。
图5为本发明实施例的一关键点侦测操作的示意图。
图6为本发明实施例的一三维脸部模型的示意图。
附图标记说明如下：
10 三维脸部模型产生装置
100 处理单元
110 存储单元
120 通讯接口单元
114 程序代码
20 流程
200～230 步骤
具体实施方式
请参考图1，图1为本发明实施例的一三维脸部模型产生装置10的示意图。三维脸部模型产生装置10可以为本地计算装置或云端装置，并包含有一处理单元100、一存储单元110以及一通讯接口单元120。处理单元100可为一微处理器或一特殊应用集成电路(application-specific integrated circuit，ASIC)。存储单元110可为任一数据存储装置，用来存储一程序代码214，并通过处理单元100读取及执行程序代码114。举例来说，存储单元110可为用户识别模块(subscriber identity module，SIM)、只读存储器(read-onlymemory，ROM)、随机存取存储器(random-access memory，RAM)、光盘只读存储器(CD-ROMs)、磁带(magnetic tapes)、软盘(floppy disks)、光学数据存储装置(optical data storagedevices)等等，而不限于此。通讯接口单元120可通过有线或无线通信方式，用来与其他装置(如摄影机及显示装置)交换讯号。换句话说，通讯接口单元120可从摄影机接收一二维影像，并将三维脸部模型产生装置10产生的三维脸部模型传送至显示装置。因此，显示装置能显示模拟用户的三维脸部模型，以增加虚拟现实(virtual reality，VR)游戏的沉浸感。在一实施例中，摄影机、显示装置及作为本地计算装置或云端装置的三维脸部模型产生装置10可形成一用户模拟系统。
请参考图2，其为本发明实施例的一流程20的示意图。流程20用于图1所示的三维脸部模型产生装置10，用来根据单一个二维影像，产生三维脸部模型(如VR游戏中的模拟用户的表情)。流程20可编译为程序代码114，并包含有以下步骤：
步骤200：取得二维影像。
步骤210：对二维影像进行一关键点侦测操作，以通过复数个关键点，取得至少一脸部特征。
步骤220：根据复数个关键点之间的相对距离，计算出对应脸部特征的复数个特征类别的复数个权重，其中复数个特征类别预设在三维脸部模型产生装置中。
步骤230：根据三维脸部样版、对应脸部特征的所述复数个特征类别的复数个三维参数及复数个权重，产生一三维脸部模型。
根据流程20，三维脸部模型产生装置10可通过通讯接口单元120，接收摄影机所撷取的2D影像、通过存储单元110预先存储的多张2D影像来取得2D影像，或从互联网/网站的数据库取得2D影像。接着，三维脸部模型产生装置10根据在2D影像上的关键点侦测操作，产生3D脸部模型。
详细来说，三维脸部模型产生装置10根据在2D影像上的关键点，撷取出脸部特征，如脸型、眼睛，鼻子，眉毛及嘴巴等，以此分辨出每个脸部特征所属的类别。
在一实施例中，脸部特征的类别可预设在应用程序或软件中。如图3所示，其为本发明实施例的一脸型类别的示意图。在图3中，脸型可归纳成圆脸，方脸，长脸，心脸，钻石脸或椭圆脸，但不限于此。值得注意的是，针对每个脸型类别/类型，设计人员配置3D参数来描述脸型的几何形状。换句话说，每个脸型类别/类型是通过3D参数来表示。3D参数在本文中可为关于下巴宽度和长度的曲线的一组参数，但不限于此。
同理，眼睛，鼻子，眉毛和嘴巴分为多种类别。例如，眼睛形状包含上扬的眼睛、下垂的眼睛、圆眼睛、近眼距眼睛、宽眼睛、杏仁眼睛、单眼皮眼睛、突出的眼睛和内双的眼睛等。嘴唇的类别包含有薄唇、大嘴唇、椭圆形嘴唇、嘴唇下垂、嘴唇锐利、小嘴唇等。鼻子的类别包括高鼻子、塌鼻子、指鼻、圆鼻、钩鼻。
根据脸部特征的类别，三维脸部模型产生装置10通过人工智能(ArtificialIntelligence，AI)/机器学习技术，计算出脸部特征的每个类别的权重。举例来说，有6种类别/类型的脸型，如圆形脸、方形脸、长形脸、心形脸、菱形脸或椭圆脸，并且这6种类别/类型的脸型可通过3D参数T1～T6来描述(如通过下方公式来表示)。通过应用人工智能/机器学习技术，三维脸部模型产生装置10可以计算出由关键点表示出的脸型分别属于六种脸部类别的概率，从而决定出权重W1～W6产生3D脸型的公式可表示为：
3D脸部模型＝S0+T1W1+T2W2…+T6W6，其中S0为预设的脸型样版。
在一实施例中，权重的运算可通过2D影像上的关键点之间的相对距离来获得。例如，基于六种脸型类别预设的长宽比，即通过关键点之间的相对距离来取得长宽比，三维脸部模型产生装置10可得知2D影像上的脸型属于六种脸型类别的个别概率。
通过上述方式，三维脸部模型产生装置10决定出眼睛、鼻子、嘴巴和眉毛的每种类别/类型的权重，并产生模拟用户的完整且准确的3D脸部模型。举例来说，眼睛有9种类别的型状，因此3D脸部模型可表示为：
3D脸部模型＝S0+T1W1+T2W2...+T9W9，其中S0是3D眼睛样板，T1～T9是与眼睛形状相关的3D参数，以及W1～W9是与眼睛形状相对应的权重。
在一实施例中，三维脸部模型产生装置10可先不决定脸部形状的类别/类型，而是根据类别概率先决定出每个脸型类别的权重。然而，在其他实施例中，三维脸部模型产生装置10也可先决定出脸型类别，如通过将预设的长宽比与2D影像上标记的脸型(即关键点)进行比较，然后计算出所属脸型类别的权重量。
在一个实施例中，三维脸部模型产生装置10采用Dlib脸部关键点侦测程序来对2D影像进行脸部特征检测，以实现脸部特征分类(如脸部形状预测)。详细地，Dlib脸部关键点侦测程序在图4所示的影像上，输出脸部关键点(即图5所示的68个关键点)。最后，如上所述，通过人工智能/机器学习技术来决定各个脸部类别的权重，进而产生3D脸部模型，如图6所示。
关键点侦测操作可为上述的Dlib脸部关键点侦测程序，但不限于此。关键点侦测操作的详细说明如下：
1.准备训练数据(带有标记的脸部影像)；
2.使用基于“级联回归”的dlib回归树训练脸部关键点模型；
2.1.10级联，每个级联有500个节点；
2.2.损失函数，如平方误差损失；
2.3.学习率：0.1；
3.建立脸部关键点模型。
上述所有步骤，包含所建议的步骤，可通过硬件、韧体(即硬件装置与计算机指令的组合，硬件装置中的数据为只读软件数据)或电子系统等方式实现。举例来说，硬件可包含模拟、数字及混合电路(即微电路、微芯片或硅芯片)。电子系统可包含系统单芯片(system on chip，SOC)、系统封装(system in package，Sip)、计算机模块(computer onmodule，COM)及三维脸部模型产生装置10。
综上所述，本发明提供采用关键点侦测操作的3D脸部重建技术。详细来说，通过关键点侦测操作的形状预测，可以准确地决定脸部特征的类别/类型的权重，以建立高质量、逼真的3D脸部模型。因此，本发明与传统方法相比，具有更高相似度的模拟用户。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求的范围所做的均等变化与修饰，都应属本发明的涵盖范围。

Claims (15)

1.一种产生模拟用户的三维脸部模型的方法，用于一计算装置，其特征在于，所述方法包含有：
取得一二维影像；
对所述二维影像进行一关键点侦测操作，以通过复数个关键点，取得至少一脸部特征；
根据所述复数个关键点之间的相对距离，计算出对应所述脸部特征的复数个特征类别的复数个权重，其中所述复数个特征类别预设在所述计算装置中；以及
根据一三维脸部样版、对应所述脸部特征的所述复数个特征类别的复数个三维参数及所述复数个权重，产生一三维脸部模型。
2.如权利要求1所述的方法，其特征在于，所述脸部特征包含有一脸形、一眼睛、一眉毛、一鼻子及一嘴巴。
3.如权利要求2所述的方法，其特征在于，还包含有：
根据所述复数个关键点之间的相对距离，决定所述复数个特征类别中的至少一特征类别。
4.如权利要求3所述的方法，其特征在于，根据所述复数个关键点之间的相对距离，决定所述复数个特征类别中的所述至少一特征类别的步骤包含有：
根据所述复数个关键点之间的相对距离，判断所述脸部特征的一宽度及一长度，以取得所述脸部特征的一比例；以及
根据所述比例，决定所述脸部特征的所述至少一特征类别。
5.如权利要求1所述的方法，其特征在于，根据所述复数个关键点之间的相对距离，计算出对应所述脸部特征的所述复数个特征类别的所述复数个权重的步骤包含有：
根据所述复数个关键点之间的相对距离，判断所述脸部特征的一宽度及一长度，以取得所述脸部特征的一比例；以及
根据所述比例，计算出对应所述脸部特征的所述复数个特征类别的所述复数个权重。
6.一种用户模拟系统，其特征在于，包含有：
一摄影机，用来取得一二维影像；
一计算装置或一云端装置，用来产生一模拟用户的一三维脸部模型；
其中所述计算装置或一云端装置包含有：
一处理单元，用来执行一程序代码；
一存储单元，连接所述处理单元，用来存储所述程序代码；
其中所述程序代码指示所述处理单元执行以下步骤：
接收一二维影像；
对所述二维影像进行一关键点侦测操作，以通过复数个关键点，取得至少一脸部特征；
根据所述复数个关键点之间的相对距离，决定对应所述脸部特征的复数个特征类别的复数个权重，其中所述复数个特征类别预设在所述计算装置中；以及
根据一三维脸部样版、对应所述脸部特征的所述复数个特征类别的复数个三维参数及所述复数个权重，产生一三维脸部模型。
7.如权利要求6所述的用户模拟系统，其特征在于，所述脸部特征包含有一脸型、一眼睛、一眉毛、一鼻子及一嘴巴。
8.如权利要求7所述的用户模拟系统，其特征在于，所述程序代码还指示所述处理单元执行以下步骤：
根据所述复数个关键点之间的相对距离，决定所述复数个特征类别中的至少一特征类别。
9.如权利要求8所述的用户模拟系统，其特征在于，所述程序代码还指示所述处理单元执行以下步骤：
根据所述复数个关键点之间的相对距离，判断所述脸部特征的一宽度及一长度，以取得所述脸部特征的一比例；以及
根据所述比例，决定所述脸部特征的所述至少一特征类别。
10.如权利要求6所述的用户模拟系统，其特征在于，所述程序代码还指示所述处理单元执行以下步骤：
根据所述复数个关键点之间的相对距离，判断所述脸部特征的一宽度及一长度，以取得所述脸部特征的一比例；以及
根据所述比例，计算出对应所述脸部特征的所述复数个特征类别的所述复数个权重。
11.一种计算装置，用来产生模拟用户的三维脸部模型，其特征在于，所述计算装置包含有：
一处理单元，用来执行一程序代码；
一存储单元，连接所述处理单元，用来存储所述程序代码；
其中所述程序代码指示所述处理单元执行以下步骤：
接收一二维影像；
对所述二维影像进行一关键点侦测操作，以通过复数个关键点，取得至少一脸部特征；
根据所述复数个关键点之间的相对距离，决定对应所述脸部特征的复数个特征类别的复数个权重，其中所述复数个特征类别预设在所述计算装置中；以及
根据一三维脸部样版、对应所述脸部特征的所述复数个特征类别的复数个三维参数及所述复数个权重，产生一三维脸部模型。
12.如权利要求11所述的计算装置，其特征在于，所述脸部特征包含有一脸型、一眼睛、一眉毛、一鼻子及一嘴巴。
13.如权利要求12所述的计算装置，其特征在于，所述程序代码还指示所述处理单元执行以下步骤：
根据所述复数个关键点之间的相对距离，决定所述复数个特征类别中的至少一特征类别。
14.如权利要求13所述的计算装置，其特征在于，所述程序代码还指示所述处理单元执行以下步骤：
根据所述复数个关键点之间的相对距离，判断所述脸部特征的一宽度及一长度，以取得所述脸部特征的一比例；以及
根据所述比例，决定所述脸部特征的所述至少一特征类别。
15.如权利要求11所述的计算装置，其特征在于，所述程序代码还指示所述处理单元执行以下步骤：
根据所述复数个关键点之间的相对距离，判断所述脸部特征的一宽度及一长度，以取得所述脸部特征的一比例；以及
根据所述比例，计算出对应所述脸部特征的所述复数个特征类别的所述复数个权重。
CN201910429198.8A 2019-04-15 2019-05-22 产生模拟用户的三维脸部模型的方法及装置 Withdrawn CN111832372A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/384,889 2019-04-15
US16/384,889 US20200327726A1 (en) 2019-04-15 2019-04-15 Method of Generating 3D Facial Model for an Avatar and Related Device

Publications (1)

Publication Number Publication Date
CN111832372A true CN111832372A (zh) 2020-10-27

Family

ID=72747526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910429198.8A Withdrawn CN111832372A (zh) 2019-04-15 2019-05-22 产生模拟用户的三维脸部模型的方法及装置

Country Status (4)

Country Link
US (1) US20200327726A1 (zh)
JP (1) JP2020177615A (zh)
CN (1) CN111832372A (zh)
TW (1) TW202040421A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos
CN113924603A (zh) * 2019-06-11 2022-01-11 Oppo广东移动通信有限公司 使用面部组分特定局部细化于面部界标检测的方法及系统
CN110288716B (zh) * 2019-06-14 2023-08-08 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
US20220222814A1 (en) * 2021-01-14 2022-07-14 Motahare Amiri Kamalabad System and method for facial and dental photography, landmark detection and mouth design generation
US11417053B1 (en) * 2021-03-15 2022-08-16 Tencent America LLC Methods and systems for forming personalized 3D head and facial models
US20230237840A1 (en) * 2022-01-26 2023-07-27 Didimo, Inc. Systems, Methods and Media for Deep Shape Prediction

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240962A (ja) * 1996-12-25 1998-09-11 Omron Corp 画像作成装置、画像作成方法及び画像作成プログラム記憶媒体
KR100608840B1 (ko) * 2005-03-11 2006-08-08 엘지전자 주식회사 휴대단말기의 3차원 아바타 합성방법
JP6008698B2 (ja) * 2012-11-06 2016-10-19 花王株式会社 顔画像分析装置及び顔画像分析方法
JP6152125B2 (ja) * 2015-01-23 2017-06-21 任天堂株式会社 プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法
US10796480B2 (en) * 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
US11026634B2 (en) * 2017-04-05 2021-06-08 doc.ai incorporated Image-based system and method for predicting physiological parameters

Also Published As

Publication number Publication date
US20200327726A1 (en) 2020-10-15
JP2020177615A (ja) 2020-10-29
TW202040421A (zh) 2020-11-01

Similar Documents

Publication Publication Date Title
CN111832372A (zh) 产生模拟用户的三维脸部模型的方法及装置
CN111833236B (zh) 产生模拟用户的三维脸部模型的方法及装置
WO2020228389A1 (zh) 一种创建脸部模型的方法、装置、电子设备及计算机可读存储介质
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
US11430169B2 (en) Animating virtual avatar facial movements
CN108510437B (zh) 一种虚拟形象生成方法、装置、设备以及可读存储介质
CN109815826B (zh) 人脸属性模型的生成方法及装置
US12039454B2 (en) Microexpression-based image recognition method and apparatus, and related device
US20220148333A1 (en) Method and system for estimating eye-related geometric parameters of a user
CN103208133A (zh) 一种图像中人脸胖瘦的调整方法
CN110555896B (zh) 一种图像生成方法、装置以及存储介质
CN107911643B (zh) 一种视频通信中展现场景特效的方法和装置
CN108629339A (zh) 图像处理方法及相关产品
TWI780919B (zh) 人臉影像的處理方法、裝置、電子設備及儲存媒體
CN108174141B (zh) 一种视频通信的方法和一种移动装置
JP2024506170A (ja) 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム
CN106326980A (zh) 机器人和机器人模拟人脸面部运动的方法
CN110598097B (zh) 一种基于cnn的发型推荐系统、方法、设备及存储介质
US20220277586A1 (en) Modeling method, device, and system for three-dimensional head model, and storage medium
KR102229056B1 (ko) 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
EP3731132A1 (en) Method of generating 3d facial model for an avatar and related device
KR100473593B1 (ko) 3차원 캐리커쳐 생성 장치 및 방법
EP3731189A1 (en) Method of generating 3d facial model for an avatar and related device
Agianpuye et al. Synthesizing neutral facial expression on 3D faces using Active Shape Models
US20240242430A1 (en) Model Reconstruction Method, Model Processing Method and Apparatus, Device, System, and Medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201027

WW01 Invention patent application withdrawn after publication