CN111833236B - 产生模拟用户的三维脸部模型的方法及装置 - Google Patents

产生模拟用户的三维脸部模型的方法及装置 Download PDF

Info

Publication number
CN111833236B
CN111833236B CN201910466467.8A CN201910466467A CN111833236B CN 111833236 B CN111833236 B CN 111833236B CN 201910466467 A CN201910466467 A CN 201910466467A CN 111833236 B CN111833236 B CN 111833236B
Authority
CN
China
Prior art keywords
feature
dimensional
facial
facial feature
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910466467.8A
Other languages
English (en)
Other versions
CN111833236A (zh
Inventor
林鼎杰
周世杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Future City Co ltd
Original Assignee
Future City Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Future City Co ltd filed Critical Future City Co ltd
Publication of CN111833236A publication Critical patent/CN111833236A/zh
Application granted granted Critical
Publication of CN111833236B publication Critical patent/CN111833236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

一种产生仿真用户的三维脸部模型的方法，包含：取得二维影像；对二维影像进行关键点侦测操作，以通过复数个关键点，取得第一脸部特征；根据复数个关键点之间的相对距离，计算第一脸部特征所属的复数个特征类别的复数个权重；对二维影像进行深度神经网络操作，以取得第二脸部特征所属的复数个纹理成份，以及对应复数个纹理成份的复数个概率，其中复数个纹理成份是由三维脸部网格表示；以及根据默认于计算装置的三维脸部样版、对应复数个特征类别的复数个三维参数、复数个权重及复数个概率中具有最高概率的纹理成份，产生三维脸部模型。

Description

产生模拟用户的三维脸部模型的方法及装置
【技术领域】
本发明涉及一种三维脸部几何重建，尤指一种通过二维影像来产生仿真用户的三维脸部模型的方法及装置。
【背景技术】
使用2D影像重建3D脸部模型是游戏沉浸和模拟设计的持续挑战。举例来说，用户希望通过在屏幕上看到自己的模拟用户(avatar)，藉以通过模拟用户感受到身历其境的体验。为此，在3D脸部重建的领域发展出许多技术，目的是将自己的肖像置入到游戏或仿真系统中。然而，现有的技术需要最少两个影像和复杂计算来产生3D脸部模型。
许多使用单张图像进行脸部重建的方法在过去已被提出。其中，基于实例的方法包含通过标准数据库，构建出以低维参数表示的3D人脸模型，然后将参数模型拟合到2D图像上。最著名的例子之一是应用卷积神经网络(convolutional neural network，CNN)的3D形变模型(3D morphable model，3DMM)。3DMM由于其简单性而成为一种普遍的参数化脸部模型，并且可作为更复杂的脸部重建的基础。然而，这些方法不能生成具有个性特征的脸部模型，并且只能用于特定条件下的脸部识别。此外，缺乏足够的训练数据是CNN技术的一个大问题，因此CNN技术仅能得到一个浅层残余网络。
单张图像重建3D人脸模型的另一种方法是通过阴影形状(shape from shading，SFS)，其主要是利用阴影变化来恢复3D形状的传统计算机视觉技术。举例来说，Kemelmacher-Shlizerman和Basri通过使用参考脸部形状来估计其光照和反射参数，藉以从输入脸部图像中获得深度数据。虽然这些现有方法能够通过单张图像产生高质量的3D人脸重建，但它们也具有局限性。
详细来说，虽然3DMM方法简单而有效，但是当目标脸部与数据库中的脸部模型有很大的不同时，会产生非预期的结果。此外，由于低维模型的自由度有限，该方法通常无法重建出目标脸部上的精细几何细节(例如皱纹)。另一方面，虽然基于SFS的方法能够从输入图像的外观捕获精细的脸部细节。然而，SFS的方法需要几何或亮度的运算。以解决重建目标脸部的模糊性问题，并且当输入图像未满足默认情况时，目标脸部重建的结果可能会变得不精确。
【发明内容】
因此，本发明的主要目的即在于提供一种产生模拟用户的三维脸部模型的方法及装置，以解决上述问题。
本发明揭露一种产生模拟用户的三维脸部模型的方法，用于一计算装置，该方法包含：取得一二维影像；对该二维影像进行一关键点侦测操作，以通过复数个关键点，取得一第一脸部特征；根据该复数个关键点之间的相对距离，计算对应该第一脸部特征所属的复数个特征类别的复数个权重，其中该复数个特征类别预先定义于该计算装置中；对该二维影像进行一深度神经网络操作，以取得一第二脸部特征所属的复数个纹理成份，以及对应该复数个纹理成份的复数个概率，其中该复数个纹理成份是由一三维脸部网格表示，并默认于该计算装置中；以及根据默认于该计算装置的一三维脸部样版、对应该复数个特征类别的复数个三维参数、该复数个权重及该复数个概率中具有最高概率的该纹理成份，产生一三维脸部模型。
本发明另揭露一用户仿真系统，包含：一摄影机，用来取得一二维影像；一计算装置或一云端装置，用来产生一模拟用户的一三维脸部模型；其中该计算装置或一云端装置包含：一处理单元，用来执行一程序代码；一存储单元，连接该处理单元，用来存储该程序代码；其中该程序代码指示该处理单元执行以下步骤：取得一二维影像；对该二维影像进行一关键点侦测操作，以通过复数个关键点，取得一第一脸部特征；根据该复数个关键点之间的相对距离，计算对应该第一脸部特征所属的复数个特征类别的复数个权重，其中该复数个特征类别预先定义于该计算装置中；对该二维影像进行一深度神经网络操作，以取得一第二脸部特征所属的复数个纹理成份，以及对应该复数个纹理成份的复数个概率，其中该复数个纹理成份是由一三维脸部网格表示，并默认于该计算装置中；以及根据默认于该计算装置的一三维脸部样版、对应该复数个特征类别的复数个三维参数、该复数个权重及该复数个概率中具有最高概率的该纹理成份，产生一三维脸部模型。
本发明另揭露一计算装置，用来产生仿真用户的三维脸部模型，该计算装置包含：一处理单元，用来执行一程序代码；一存储单元，连接该处理单元，用来存储该程序代码；其中该程序代码指示该处理单元执行以下步骤：取得一二维影像；对该二维影像进行一关键点侦测操作，以通过复数个关键点，取得一第一脸部特征；根据该复数个关键点之间的相对距离，计算对应该第一脸部特征所属的复数个特征类别的复数个权重，其中该复数个特征类别预先定义于该计算装置中；对该二维影像进行一深度神经网络操作，以取得一第二脸部特征所属的复数个纹理成份，以及对应该复数个纹理成份的复数个概率，其中该复数个纹理成份是由一三维脸部网格表示，并默认于该计算装置中；以及根据默认于该计算装置的一三维脸部样版、对应该复数个特征类别的复数个三维参数、该复数个权重及该复数个概率中具有最高概率的该纹理成份，产生一三维脸部模型。
【附图说明】
第1图为本发明实施例一三维脸部模型产生装置的示意图。
第2图为本发明实施例一流程的示意图。
第3～4图为本发明实施例一纹理成份的示意图。
第5图为本发明实施例一二维影像的示意图。
第6图为本发明实施例一三维脸部模型的示意图。
【具体实施方式】
请参考第1图，第1图为本发明实施例一三维脸部模型产生装置10的示意图。三维脸部模型产生装置10可为本地计算装置或云端装置，并包含一处理单元100、一存储单元110以及一通信接口单元120。处理单元100可为一微处理器或一特殊应用集成电路(application-specific integrated circuit，ASIC)。存储单元110可为任一数据存储装置，用来存储一程序代码214，并通过处理单元100读取及执行程序代码114。举例来说，存储单元110可为用户识别模块(subscriber identity module，SIM)、只读式内存(read-onlymemory，ROM)、随机存取内存(random-access memory，RAM)、光盘只读存储器(CD-ROMs)、磁带(magnetic tapes)、软盘(floppy disks)、光学数据存储装置(optical data storagedevices)等等，而不限于此。通信接口单元120可通过有线或无线通信方式，用来与其他装置(如摄影机及显示设备)交换信号。换句话说，通信接口单元120可从摄影机接收一二维影像，并将三维脸部模型产生装置10产生的三维脸部模型传送至显示设备。因此，显示设备能显示仿真用户的三维脸部模型，以增加虚拟现实(virtual reality，VR)游戏的沉浸感。在一实施例中，摄影机、显示设备及作为本地计算装置或云端装置的三维脸部模型产生装置10可形成一用户仿真系统。
请参考第2图，其为本发明实施例一流程20的示意图。流程20用于第1图所示的三维脸部模型产生装置10，用来根据单一个二维影像，产生三维脸部模型(如VR游戏中的模拟用户的表情)。流程20可编译为程序代码114，并包含以下步骤：
步骤200：取得二维影像。
步骤210：对二维影像进行一关键点侦测操作，以通过复数个关键点，取得一第一脸部特征。
步骤220：根据复数个关键点之间的相对距离，计算对应第一脸部特征所属的复数个特征类别的复数个权重，其中复数个特征类别预先定义于三维脸部模型产生装置10。
步骤230：对二维影像进行一深度神经网络(deep neural network，DNN)操作，以取得一第二脸部特征所属的复数个纹理成份，以及对应复数个纹理成份的复数个概率，其中复数个纹理成份是采用三维脸部网格来表示，并预设于三维脸部模型产生装置10。
步骤240：根据默认于三维脸部模型产生装置10的三维脸部样版、对应复数个特征类别的复数个三维参数、复数个权重及复数个概率中具有最高概率的纹理成份，产生一三维脸部模型。
根据流程20，三维脸部模型产生装置10通过通信接口单元120，接收摄影机所撷取的2D影像、通过存储单元110预先存储的多张2D影像来取得2D影像，或从互联网/网站的数据库取得2D影像。接着，三维脸部模型产生装置10根据在2D影像上的深度神经网络操作及关键点侦测操作，产生3D脸部模型。
详细来说，三维脸部模型产生装置10通过在2D影像上的关键点，撷取出脸部特征，如脸型、眼睛，鼻子，眉毛及嘴巴等，藉以分辨出每个脸部特征所属的形状类别(如脸型、眼型、鼻型、嘴型等)。在一实施例中，脸部特征的形状类别可预先定义在应用程序或软件中。举例来说，脸型可归纳成圆脸，方脸，长脸，心脸，钻石脸或椭圆脸，但不限于此。值得注意的是，针对每个脸型类别/类型，设计人员利用3D参数来描述脸型的几何形状。换句话说，每个脸型类别/类型是通过3D参数来表示。3D参数在本文中可为关于下巴宽度和长度的曲线的一组参数，但不限于此。同理，眼睛，鼻子，眉毛及嘴巴等脸部特征，也分别归纳为复数个类别/类型，并通过3D参数来描述。
举例来说，三维脸部模型产生装置10默认有六种类别的脸型，如圆形脸，方形脸，长形脸，心形脸，菱形脸或椭圆脸，并且这六种类别的脸型是通过3D参数T1～T6来描述。藉由人工智能(Artificial Intelligence，AI)/机器学习技术，三维脸部模型产生装置10可以计算出由关键点所标示的脸型属于六种类别脸型的概率，从而决定出权重W1～W6。三维脸部模型产生装置10产生3D脸型的公式可表示为：
3D脸部模型＝S0+T1W1+T2W2…+T6W6，其中S0为预设的脸型样版。
同理，经过上述方式，三维脸部模型产生装置10可决定眼睛，鼻子，嘴巴和眉毛所属每种类别的权重，以产生模拟用户的完整且精确的3D脸部模型。
此外，三维脸部模型产生装置10另使用深度神经网络操作，撷取出脸部特征，因此2D影像上的脸部特征除了通过形状来表现，亦可通过纹理成份来表现，如唇色、眼袋、眉毛纹理、脸部毛发纹理、头发颜色、发型及可变形的特征标的等。此外，深度神经网络操作可计算出脸部特征所属纹理成份的概率。换句话说，深度神经网络操作是用来判断脸部特征所属的纹理成份是否出现。
在一实施例中，纹理成份是预先定义在应用程序或软件中，并通过3D脸部网格来表示。简单来说，针对每个纹理成份，程序设计者通过3D脸部网格来呈现在3D脸部样板上的表面纹理，藉以根据纹理成份，产生模拟用户的3D脸部模型。请参见第3～4图，其为本发明实施例一纹理成份的示意图。如第3图所示，眉毛纹理是通过3D脸部网格来表示，并包含高拱眉毛、浓密眉毛、薄细眉毛、直软眉毛。如第4图所示，脸部毛发纹理包括山羊胡子、鬓角胡子、须茬、络腮胡、长方形胡须、山羊络腮胡、荷兰式胡和时髦型胡子，其中每种脸部毛发纹理皆对应至一种3D脸部网格。
此外，纹理成份亦可包含头发颜色，如黑色、棕色、金色及灰色；可变形目标包括尖鼻子、球根鼻子、翻鼻尖及鹰钩鼻；发型包含短、中、长及秃头。
另外，根据脸部特征所属纹理成份的概率，三维脸部模型产生装置10选择具有最高概率的纹理成份来产生3D脸部模型。举例来说，三维脸部模型产生装置10默认眉毛有5种纹理成份，例如高拱形、浓密，薄、直、柔软。经由深度神经网络操作，三维脸部模型产生装置10获得2D影像上的眉毛属于高拱形纹理的概率为0.1、属于浓密纹理为0.9，以及属其他纹理的概率为0。因此，三维脸部模型产生装置10会套用对应浓密纹理的3D脸部网格，在3D脸部样板上，生成3D脸部模型。
同理，三维脸部模型产生装置10可利用深度神经网络操作计算出的概率，来分别选择可变形标的、唇色、头发颜色、发型和胡须的纹理成份，以产生具有完整脸部特征的3D脸部模型(即包含脸部形状和脸部纹理)。
在一实施例中，将深度神经网络操作应用于第5图所示的2D影像上，以实现脸部纹理属性的预测，其中深度神经网络操作输出通过概率来指示纹理成份是否存在的标签。例如，标签label_1表示脸部纹理出现山羊胡须的概率为0.8，而标签label_2表示鬓角胡子出现的概率为0.1。因此，三维脸部模型产生装置10所产生的3D脸部模型上，会呈现山羊胡须的脸部纹理。简言之，如果有五种头发颜色，则深度神经网络操作会使用五种标签来指示出现这五种头发颜色的概率。本发明实施例可以将相同的概念应用于可变形标的，发型，唇色，眉毛，眼袋等，用来决定会在3D脸部模型上呈现的纹理成份。最后，三维脸部模型产生装置10利用具有最高概率的的标签所对应的纹理成份，产生如第6图所示的3D脸部模型。
深度神经网络操作的详细说明如下：
1.准备训练数据(标记有脸部特征的影像)；
2.定义损失函数(如二元交叉熵)；
3.将训练数据输入网络，并使用优化器调整网络参数，以最大限度地减少输出损失功能；
4.建立用于脸部纹理属性预测的网络模型。
上述所有步骤，包含所建议的步骤，可通过硬件、固件(即硬件装置与计算机指令的组合，硬件装置中的数据为只读软件数据)或电子系统等方式实现。举例来说，硬件可包含模拟、数字及混合电路(即微电路、微芯片或硅芯片)。电子系统可包含系统单芯片(system on chip，SOC)、系统封装(system in package，Sip)、计算机模块(computer onmodule，COM)及三维脸部模型产生装置10。
综上所述，本发明提供同时采用深度神经网络操作及关键点侦测操作的3D脸部重建技术。详细来说，通过深度神经网络操作来获得脸部纹理属性预测，可以准确地判断对应脸部特征所属的纹理成份的概率，从而建立高质量且逼真的3D脸部模型。因此，本发明与传统方法相比，具有更高相似度的模拟用户。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
【附图标记说明】
10 三维脸部模型产生装置
100 处理单元
110 存储单元
120 通信接口单元
114 程序代码
20 流程
200～240 步骤

Claims (12)

1.一种产生模拟用户的三维脸部模型的方法，用于一计算装置，其特征在于，该方法包含：
取得一二维影像；
对该二维影像进行一关键点侦测操作，以通过复数个关键点，取得一第一脸部特征；
根据该复数个关键点之间的相对距离，计算对应该第一脸部特征所属的复数个特征类别的复数个权重，其中该复数个特征类别预先定义于该计算装置中；
对该二维影像进行一深度神经网络(deep neural network，DNN)操作，以取得一第二脸部特征所属的复数个纹理成份，以及对应该复数个纹理成份的复数个概率，其中该复数个纹理成份是由一三维脸部网格表示，并默认于该计算装置中；以及
根据默认于该计算装置的一三维脸部样版、对应该复数个特征类别的复数个三维参数、该复数个权重及该复数个概率中具有最高概率的该纹理成份，产生一三维脸部模型。
2.如权利要求1所述的方法，其特征在于，还包含：
根据该复数个关键点之间的相对距离，决定该复数个特征类别中的至少一特征类别。
3.如权利要求2所述的方法，其特征在于，根据该复数个关键点之间的相对距离，决定该复数个特征类别中的该至少一特征类别的步骤包含：
根据该复数个关键点之间的相对距离，判断该脸部特征的一宽度及一长度，以取得该第一脸部特征的一比例；以及
根据该比例，决定该第一脸部特征所属的该至少一特征类别。
4.如权利要求1所述的方法，其特征在于，根据该复数个关键点之间的相对距离，计算对应该第一脸部特征所属的该复数个特征类别的该复数个权重的步骤包含：
根据该复数个关键点之间的相对距离，判断该第一脸部特征的一宽度及一长度，以取得该第一脸部特征的一比例；以及
根据该比例，计算对应该第一脸部特征所属的该复数个特征类别的该复数个权重。
5.一种用户仿真系统，其特征在于，包含：
一摄影机，用来取得一二维影像；
一计算装置或一云端装置，用来产生一模拟用户的一三维脸部模型；
其中该计算装置或一云端装置包含：
一处理单元，用来执行一程序代码；
一存储单元，连接该处理单元，用来存储该程序代码；
其中该程序代码指示该处理单元执行以下步骤：
取得一二维影像；
对该二维影像进行一关键点侦测操作，以通过复数个关键点，取得一第一脸部特征；
根据该复数个关键点之间的相对距离，计算对应该第一脸部特征所属的复数个特征类别的复数个权重，其中该复数个特征类别预先定义于该计算装置中；
对该二维影像进行一深度神经网络(deep neural network，DNN)操作，以取得一第二脸部特征所属的复数个纹理成份，以及对应该复数个纹理成份的复数个概率，其中该复数个纹理成份是由一三维脸部网格表示，并默认于该计算装置中；以及
根据默认于该计算装置的一三维脸部样版、对应该复数个特征类别的复数个三维参数、该复数个权重及该复数个概率中具有最高概率的该纹理成份，产生一三维脸部模型。
6.如权利要求5所述的用户仿真系统，其特征在于，该程序代码更指示该处理单元执行以下步骤：
根据该复数个关键点之间的相对距离，决定该复数个特征类别中的至少一特征类别。
7.如权利要求6所述的用户仿真系统，其特征在于，该程序代码更指示该处理单元执行以下步骤：
根据该复数个关键点之间的相对距离，判断该脸部特征的一宽度及一长度，以取得该第一脸部特征的一比例；以及
根据该比例，决定该第一脸部特征所属的该至少一特征类别。
8.如权利要求5所述的用户仿真系统，其特征在于，该程序代码更指示该处理单元执行以下步骤：
根据该复数个关键点之间的相对距离，判断该第一脸部特征的一宽度及一长度，以取得该第一脸部特征的一比例；以及
根据该比例，计算对应该第一脸部特征所属的该复数个特征类别的该复数个权重。
9.一种计算装置，用来产生仿真用户的三维脸部模型，其特征在于，该计算装置包含：
一处理单元，用来执行一程序代码；
一存储单元，连接该处理单元，用来存储该程序代码；
其中该程序代码指示该处理单元执行以下步骤：
取得一二维影像；
对该二维影像进行一关键点侦测操作，以通过复数个关键点，取得一第一脸部特征；
根据该复数个关键点之间的相对距离，计算对应该第一脸部特征所属的复数个特征类别的复数个权重，其中该复数个特征类别预先定义于该计算装置中；
对该二维影像进行一深度神经网络(deep neural network，DNN)操作，以取得一第二脸部特征所属的复数个纹理成份，以及对应该复数个纹理成份的复数个概率，其中该复数个纹理成份是由一三维脸部网格表示，并默认于该计算装置中；以及
根据默认于该计算装置的一三维脸部样版、对应该复数个特征类别的复数个三维参数、该复数个权重及该复数个概率中具有最高概率的该纹理成份，产生一三维脸部模型。
10.如权利要求9所述的计算装置，其特征在于，该程序代码还指示该处理单元执行以下步骤：
根据该复数个关键点之间的相对距离，决定该复数个特征类别中的至少一特征类别。
11.如权利要求10所述的计算装置，其特征在于，该程序代码还指示该处理单元执行以下步骤：
根据该复数个关键点之间的相对距离，判断该脸部特征的一宽度及一长度，以取得该第一脸部特征的一比例；以及
根据该比例，决定该第一脸部特征所属的该至少一特征类别。
12.如权利要求9所述的计算装置，其特征在于，该程序代码还指示该处理单元执行以下步骤：
根据该复数个关键点之间的相对距离，判断该第一脸部特征的一宽度及一长度，以取得该第一脸部特征的一比例；以及
根据该比例，计算对应该第一脸部特征所属的该复数个特征类别的该复数个权重。
CN201910466467.8A 2019-04-21 2019-05-31 产生模拟用户的三维脸部模型的方法及装置 Active CN111833236B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/389,984 2019-04-21
US16/389,984 US10650564B1 (en) 2019-04-21 2019-04-21 Method of generating 3D facial model for an avatar and related device

Publications (2)

Publication Number Publication Date
CN111833236A CN111833236A (zh) 2020-10-27
CN111833236B true CN111833236B (zh) 2023-07-07

Family

ID=70612957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910466467.8A Active CN111833236B (zh) 2019-04-21 2019-05-31 产生模拟用户的三维脸部模型的方法及装置

Country Status (4)

Country Link
US (1) US10650564B1 (zh)
JP (1) JP2020177620A (zh)
CN (1) CN111833236B (zh)
TW (1) TW202040517A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111385598A (zh) * 2018-12-29 2020-07-07 富泰华工业（深圳）有限公司 云端装置、终端装置及影像分类方法
CN110111246B (zh) * 2019-05-15 2022-02-25 北京市商汤科技开发有限公司 一种虚拟头像生成方法及装置、存储介质
US20240029345A1 (en) * 2019-11-18 2024-01-25 Wolfprint 3D Oü Methods and system for generating 3d virtual objects
US20210358144A1 (en) * 2020-05-15 2021-11-18 Koninklijke Philips N.V. Determining 3-d facial information of a patient from a 2-d frontal image of the patient
CN111968207B (zh) * 2020-09-25 2021-10-29 魔珐(上海)信息科技有限公司 动画生成方法、装置、系统及存储介质
CN112541963B (zh) * 2020-11-09 2023-12-26 北京百度网讯科技有限公司 三维虚拟形象生成方法、装置、电子设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200530943A (en) * 2004-03-08 2005-09-16 Avermedia Tech Inc Digital security system
CN1959736A (zh) * 2005-11-02 2007-05-09 绘展科技股份有限公司 撷取三维脸部影像的系统及方法
TW201023056A (en) * 2008-12-02 2010-06-16 Nat Univ Tsing Hua Face recognition method
CN101751689A (zh) * 2009-09-28 2010-06-23 中国科学院自动化研究所 一种三维人脸重建方法
CN101763636A (zh) * 2009-09-23 2010-06-30 中国科学院自动化研究所 视频序列中的三维人脸位置和姿态跟踪的方法
CN104715505A (zh) * 2015-03-19 2015-06-17 启云科技股份有限公司 三维头像产生系统及其装置、产生方法
CN105930497A (zh) * 2016-05-06 2016-09-07 浙江工业大学 基于图像边缘和线条特征的三维模型检索方法
CN106652025A (zh) * 2016-12-20 2017-05-10 五邑大学 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置
CN107274493A (zh) * 2017-06-28 2017-10-20 河海大学常州校区 一种基于移动平台的三维虚拟试发型人脸重建方法
TW201742003A (zh) * 2016-05-26 2017-12-01 華碩電腦股份有限公司 測量裝置及測量方法
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7424164B2 (en) * 2003-04-21 2008-09-09 Hewlett-Packard Development Company, L.P. Processing a detected eye of an image to provide visual enhancement
US20040208388A1 (en) * 2003-04-21 2004-10-21 Morgan Schramm Processing a facial region of an image differently than the remaining portion of the image
JP4121026B2 (ja) * 2004-01-21 2008-07-16 富士フイルム株式会社 撮像装置および方法並びにプログラム
WO2005071614A1 (ja) * 2004-01-27 2005-08-04 Seiko Epson Corporation 人物顔の検出位置ずれ補正方法及び補正システム並びに補正プログラム
US7436988B2 (en) * 2004-06-03 2008-10-14 Arizona Board Of Regents 3D face authentication and recognition based on bilateral symmetry analysis
KR100608840B1 (ko) * 2005-03-11 2006-08-08 엘지전자 주식회사 휴대단말기의 3차원 아바타 합성방법
US7869630B2 (en) * 2005-03-29 2011-01-11 Seiko Epson Corporation Apparatus and method for processing image
JP2009223419A (ja) * 2008-03-13 2009-10-01 Sannetto:Kk ネットワークチャットサービスにおけるアバターの作成編集方法、チャットサービスシステム、および画像データの作成編集方法
US11232290B2 (en) * 2010-06-07 2022-01-25 Affectiva, Inc. Image analysis using sub-sectional component evaluation to augment classifier usage
US9600711B2 (en) * 2012-08-29 2017-03-21 Conduent Business Services, Llc Method and system for automatically recognizing facial expressions via algorithmic periocular localization
JP6152125B2 (ja) * 2015-01-23 2017-06-21 任天堂株式会社 プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法
US10284816B2 (en) * 2015-03-23 2019-05-07 Intel Corporation Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes
WO2017000300A1 (en) * 2015-07-02 2017-01-05 Xiaoou Tang Methods and systems for social relation identification
CN105095881B (zh) * 2015-08-21 2023-04-07 小米科技有限责任公司 人脸识别方法、装置及终端
US10339365B2 (en) * 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US9886640B1 (en) * 2016-08-08 2018-02-06 International Business Machines Corporation Method and apparatus to identify a live face image using a thermal radiation sensor and a visual radiation sensor
JP6698216B2 (ja) * 2016-09-23 2020-05-27 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． アバターの作成及び編集に関する米国特許商標局への特許出願
US10535163B2 (en) * 2016-12-01 2020-01-14 Pinscreen, Inc. Avatar digitization from a single image for real-time rendering
WO2018102700A1 (en) * 2016-12-01 2018-06-07 Pinscreen, Inc. Photorealistic facial texture inference using deep neural networks
US20180190377A1 (en) * 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200530943A (en) * 2004-03-08 2005-09-16 Avermedia Tech Inc Digital security system
CN1959736A (zh) * 2005-11-02 2007-05-09 绘展科技股份有限公司 撷取三维脸部影像的系统及方法
TW201023056A (en) * 2008-12-02 2010-06-16 Nat Univ Tsing Hua Face recognition method
CN101763636A (zh) * 2009-09-23 2010-06-30 中国科学院自动化研究所 视频序列中的三维人脸位置和姿态跟踪的方法
CN101751689A (zh) * 2009-09-28 2010-06-23 中国科学院自动化研究所 一种三维人脸重建方法
CN104715505A (zh) * 2015-03-19 2015-06-17 启云科技股份有限公司 三维头像产生系统及其装置、产生方法
CN105930497A (zh) * 2016-05-06 2016-09-07 浙江工业大学 基于图像边缘和线条特征的三维模型检索方法
TW201742003A (zh) * 2016-05-26 2017-12-01 華碩電腦股份有限公司 測量裝置及測量方法
CN106652025A (zh) * 2016-12-20 2017-05-10 五邑大学 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置
CN107274493A (zh) * 2017-06-28 2017-10-20 河海大学常州校区 一种基于移动平台的三维虚拟试发型人脸重建方法
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和系统

Also Published As

Publication number Publication date
JP2020177620A (ja) 2020-10-29
US10650564B1 (en) 2020-05-12
TW202040517A (zh) 2020-11-01
CN111833236A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111833236B (zh) 产生模拟用户的三维脸部模型的方法及装置
CN114694221B (zh) 基于学习的面部重建方法
CN103208133B (zh) 一种图像中人脸胖瘦的调整方法
KR101635730B1 (ko) 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
CN111832372A (zh) 产生模拟用户的三维脸部模型的方法及装置
US11562536B2 (en) Methods and systems for personalized 3D head model deformation
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
US11587288B2 (en) Methods and systems for constructing facial position map
US11461970B1 (en) Methods and systems for extracting color from facial image
US11417053B1 (en) Methods and systems for forming personalized 3D head and facial models
CN112221145A (zh) 游戏脸模生成方法及装置、存储介质及电子设备
CN106326980A (zh) 机器人和机器人模拟人脸面部运动的方法
CN113762117A (zh) 一种图像处理模型的训练方法、图像处理模型及计算机设备
KR102229056B1 (ko) 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
JP2022505746A (ja) デジタルキャラクタブレンディング及び生成のシステム及び方法
US20220277586A1 (en) Modeling method, device, and system for three-dimensional head model, and storage medium
CN115023742A (zh) 具有详细褶皱的面部网格变形
EP3731189A1 (en) Method of generating 3d facial model for an avatar and related device
CN116542846B (zh) 用户账号图标生成方法、装置、计算机设备及存储介质
WO2009030636A1 (en) Method and system for synthesis of non-primary facial expressions
Agianpuye et al. Synthesizing neutral facial expression on 3D faces using Active Shape Models
EP3731132A1 (en) Method of generating 3d facial model for an avatar and related device
CN116778107A (zh) 表情模型的生成方法、装置、设备及介质
Lee et al. 3d face deformation using control points and vector muscles
CN114519761A (zh) 一种人脸纹理图的生成方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant