CN111223175A - 三维人脸重建方法 - Google Patents

三维人脸重建方法 Download PDF

Info

Publication number
CN111223175A
CN111223175A CN201910342345.8A CN201910342345A CN111223175A CN 111223175 A CN111223175 A CN 111223175A CN 201910342345 A CN201910342345 A CN 201910342345A CN 111223175 A CN111223175 A CN 111223175A
Authority
CN
China
Prior art keywords
dimensional
model
dimensional face
face
variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910342345.8A
Other languages
English (en)
Other versions
CN111223175B (zh
Inventor
吴炳飞
林俊贤
吴宜樵
吴秉璋
黄至正
钟孟良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spring Foundation of NCTU
Original Assignee
Spring Foundation of NCTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spring Foundation of NCTU filed Critical Spring Foundation of NCTU
Publication of CN111223175A publication Critical patent/CN111223175A/zh
Application granted granted Critical
Publication of CN111223175B publication Critical patent/CN111223175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明有关一种三维人脸重建方法，该方法包含，首先输入二维人脸影像，以神经网络模型对二维人脸影像进行处理，对二维人脸影像进行二维特征点定位，于二维人脸影像定位出多个二维特征点位置，转换该多个二维特征点为多个三维坐标：将该二维特征点依照相似计算，转换为对应之三维坐标，透过三维坐标微调平均三维人脸模型，对该第一个三维人脸模型之一个三维人脸形状进行重复多级运算，分别由低分辨率到高分辨率以得到第二个三维人脸模型，对第二个三维人脸模型进行脸部颜色补偿，以得到第三个三维人脸模型，最后根据第三个三维人脸模型，输出三维人脸影像。

Description

三维人脸重建方法
技术领域
本发明系有关一种三维人脸重建方法，特别是一种藉由输入二维人脸影像重建人脸影像之三维人脸模型，更特别的是，可透过旋转模型看到三维人脸之各种角度影像。
背景技术
近年来，三维人脸建模和重建技术在计算机视觉和计算机图形学领域受到越来越多的关注，在过去的相关技术发展中，绝大多数的技术发展，多半是提出如何由二维图像重建三维形状的演算方式，以模拟出三维人脸的建模和重建，也是该领域中，过去主要的技术发展方向。
惟在现有技术之演算方式中，皆都需要多张图像或者需要多张视频影像，以进行初始化三维人脸重建过程，而在很多应用场合下，往往只能得到一张二维图像可供使用。而有些计算模拟方法，虽然只用单张图片进行三维人脸重建，但得到的三维人脸无法产生逼真的效果，且所得到的三维人脸只能有一个特定角度(因只有提供一张二维图像)，更无法提供该三维人脸的各种角度之影像。
此外，过去又有一些研究，提出了较为精确的三维人脸算法，在该复数研究中，系先对人脸整体进行首先对人脸整体进行拟合，然后对特定区域进行拟合，如眼睛、嘴巴和鼻子。但由于需花费较长的计算时间，且无法产生精确的拟合结果，因此难以付诸实际应用，无法符合业界需求。
因此，业界需要一种能由单张二维影像输入而可重建三维人脸的三维人脸重建方法，且可以花费较少的时间，即以较快的时间与较精确的方式重建三维人脸。
发明内容
本发明目的之一系提出一种三维人脸重建方法，可透过输入一张二维人脸影像，而重建出一个三维人脸影像，该三维人脸模型更可以进行各种角度的旋转，而得到不同角度的三维人脸影像。
本发明目的之一系提出一种三维人脸重建方法，利用二为特征点转换三维坐标、人脸转向估测、形状微调以及颜色补偿方法，得到可旋转的三维人脸影像，即，藉由输入一张二维人脸影像，而重建具有可旋转各个角度之三维人脸影像。
本发明为了达到前述目的，特提出三维人脸重建方法，包含了，首先输入一个二维人脸影像，以神经网络模型对二维人脸影像进行处理，对二维人脸影像进行二维特征点定位，于该二维人脸影像定位出多个二维特征点位置；转换该多个二维特征点为多个三维坐标：将该多个二维特征点依照相似计算，转换为对应之该多个三维坐标，将该多个三维坐标组成第一个(即平均)三维人脸模型；对该第一个(即平均)三维人脸模型之三维人脸形状进行微调。亦即，进行重复多级运算，分别由低分辨率到高分辨率，以得到第二个三维人脸模型：对该第二个三维人脸模型进行脸部颜色补偿，以得到第三个三维人脸模型；根据该第三个三维人脸模型，输出一个三维人脸影像。
在本发明实施方式中，该第三个三维人脸模型为一个彩色三维人脸模型。特别值得注意的是，每一级的三维人脸模型皆为彩色的人脸模型。
在本发明实施方式中，第一个三维人脸可变模型以一个平均模型为基准，利用多个特征模板的线性组合，而形成不同之该第一个三维人脸模型，而该第二个三维人脸可变模型可以该第一个三维人脸模型为基准，利用该多个特征模板的线性组合，以形成不同的该第二个三维人脸模型。
在本发明实施方式中，第一个(即平均)三维人脸可变模型以及该第二个三维人脸模型，可分为一种多级分辨率三维人脸可变模型，依序由最低分辨率，运算到最高分辨率，以得到该第一个三维人脸可变模型，以及该第二个三维人脸模型。
在本发明实施方式中，在完成前述「2D特征点转换至3D特征点」的步骤后，以求得的3D特征点对平均模型进行形状的微调，而此处的平均模型系利用一个三维人脸数据库，经过成分提取后，形成平均三维人脸可变模型，而3D人脸模型的形状微调利用多个特征模板的线性组合，进行形状的仿真调整，会迭代多级，由低分辨率的人脸模型到高分辨率的人脸模型，以期达到降低运算量与时间。
在本发明实施方式中，对该第一个三维人脸模型之一个三维人脸形状进行微调步骤，系利用牛顿法或其他优化方法以求得第一级三维可变模型投影在二维平面上的点，与一个二维特征点位置最接近，以求得一个三维旋转矩阵、一个二维偏差量、一个焦距以及一个三维可变模型参数，以得到第一级之该第一个三维人脸模型。
在本发明实施方式中，对第一个三维人脸模型之三维人脸形状进行微调步骤，当分辨率为二级，系利用三维旋转矩阵、二维偏差量、焦距以及该三维可变模型参数，可套用于一个第二级三维可变模型，计算将第二级三维可变模型投影在二维平面上的点，与最接近的影像轮廓点之一个误差值，利用误差值调整三维可变模型参数。
在本发明实施方式中，对该第一三维人脸模型之一三维人脸形状进行微调步骤，包含当分辨率大于二级，系利用该三维旋转矩阵、该二维偏差量、该焦距、影像轮廓点之误差值、二维特征点位置、色彩投影之误差值，以及该三维可变模型参数套用于一第二级三维可变模型，计算将该第二级三维可变模型投影在二维平面上的点。
在本发明实施方式中，该对该第一个三维人脸模型之三维人脸形状进行微调步骤，当分辨率为N级，系利用三维旋转矩阵、二维偏差量、焦距以及三维可变模型参数，依序套用于第一级三维可变模型、于第二级三维可变模型，以及到第N-1级三维可变模型，循环计算将该第N-1级三维可变模型投影在二维平面上的点，与最接近的影像轮廓点之一误差值，利用该误差值调整该三维可变模型参数。而前述误差值需在预定误差值之下。故而当分辨率大于第二级，微调三维人脸型状的依据依前述除了「影像轮廓点之误差值」，亦有「二维特征点位置」与「色彩投影之误差值」。
为使本发明之上述目的、特征和优点能更明显易懂，下文特举较佳实施例并配合所附图式做详细说明。
附图说明
图1系本发明实施例之三维人脸重建方法；
图2系本发明实施例之三维人脸重建方法示意图；
图3系二维特征点定位说明图；以及
图4系本发明之多分辨率三维人脸可变模型五级分辨率示意图。
具体实施方式
兹配合图式说明本发明之较佳实施例，而有关本发明之前述及其他技术内容、特点与功效，在以下配合参考图式之一较佳实施例的详细说明中，将可清楚的呈现。
请参阅图1以及图2，图1为本发明一实施例之三维人脸重建方法，图2为本发明一实施例之三维人脸重建方法示意图。请参考图1，本发明之三维人脸重建方法具有以下步骤：
首先请参考图1之步骤S210，输入一个二维人脸影像。
再参照图1之步骤S220，对二维人脸影像进行二维特征点200定位。而如图2，透过人脸对齐方法，定位出二维脸部关键点位置(例如眼、鼻与嘴等等)。
请参阅图3，为二维特征点定位说明图。如图3中，输入一个二维人脸影像至一旋积神经网络模型中，以该旋积神经网络模型对二维人脸影像进行处理，于二维人脸影像定位并输出多个二维特征点200位置。
请参考图1之步骤S230，转换该多个二维特征点200为多个三维坐标：将该多个二维特征点200依照相似计算，转换为对应之该多个三维坐标，将该多个三维坐标组成第一个(平均)三维人脸模型。
于本发明实施例中，请参考以下计算第一个(平均)三维人脸模型方法的公式。其系以牛顿法或其他优化方法优化以下之价值函数(求得一个第一级三维可变模型投影在二维平面上的点，与一个二维特征点200位置最接近)，以求得三维旋转矩阵、二维偏差量、焦距以及三维可变模型参数，以得到第一级之该第一个(平均)三维人脸模型。
再请参考图1之步骤S240，对该第一个(平均)三维人脸模型之一个三维人脸形状进行微调，以得到第二个三维人脸模型。透过关键点与人脸影像信息调整三维人脸可变模型之参数与模型旋转、缩放与平移等参数，使三维人脸可变模型与二维人脸影像尽可能相符。
仍请参考图1之步骤S230，在转换该多个二维特征点为多个三维坐标步骤中，以及对该第一个三维人脸模型之三维人脸形状，进行微调步骤，于图1之步骤S240中，该第一个三维人脸模型系利用三维人脸数据库经过成分提取，形成第一个三维人脸可变模型。而第一个三维人脸可变模型以一平均模型为基准，利用多个特征模板的线性组合，以形成不同之该第一个三维人脸模型，该第二个三维人脸可变模型以该平均模型为基准，利用该多个特征模板的线性组合，以形成不同之该第二个三维人脸模型。故而在本发明实施方式中，对第一个三维人脸模型之三维人脸形状进行微调步骤，当分辨率为二级，系利用三维旋转矩阵、二维偏差量、焦距以及该三维可变模型参数，可套用于一个第二级三维可变模型，计算将第二级三维可变模型投影在二维平面上的点，与最接近的影像轮廓点之一个误差值，利用误差值调整三维可变模型参数。而于前述对该第一三维人脸模型之一三维人脸形状进行微调步骤，包含当分辨率大于二级，系利用该三维旋转矩阵、该二维偏差量、该焦距、影像轮廓点之误差值、二维特征点位置、色彩投影之误差值，以及该三维可变模型参数套用于一第二级三维可变模型，计算将该第二级三维可变模型投影在二维平面上的点。
请参阅图4，该第一个三维人脸可变模型以及该第二个三维人脸模型分为一多级分辨率三维人脸可变模型，依序由最低分辨率运算到最高分辨率，以得到该第一个三维人脸可变模型以及该第二个三维人脸模型。为求能加速运算处理，系将该多级分辨率三维人脸可变模型转为多级分辨率三维人脸可变模型(以N而定)，而由低分辨率至高分辨率进行运算分析。其中，低分辨率为该第一个三维人脸模型点数较少，而高分辨率为该第一个三维人脸模型点数较多。
请参阅图4，藉由以上循环，一直处理操作运算到最后一级的分辨率，就可以得到一个与二维人脸影像相似的三维人脸模型。
需说明的是，本实施例中，当分辨率为五级时，藉由前述循环一直处理操作运算到第五级的分辨率，就可以得到一个与二维人脸影像相似的三维人脸模型。亦即，其中该多级分辨率三维人脸可变模型系包括一级至五级以上之分辨率三维人脸可变模型。而其中，对该第一个三维人脸模型之一个三维人脸形状进行微调，系包含对该第一个三维人脸模型之一个三维人脸形状进行重复多级运算，分别由低分辨率到高分辨率步骤。
于本发明另一实施例中，当分辨率为N级时，系利用该三维旋转矩阵、该二维偏差量、该焦距以及该三维可变模型参数，依序套用该第一级三维可变模型、该第二级三维可变模型，到第N-1级三维可变模型，循环处理操作运算将该第N-1级三维可变模型投影在二维平面上的点，与最接近的影像轮廓点之一误差值，利用该误差值调整该三维可变模型参数。
请参考图1之步骤S260，根据该第三个三维人脸模型，输出一个三维人脸影像。
在本发明实施方式中，于完成前述「2D特征点转换至3D特征点」的步骤后，以求得的3D特征点对平均模型进行形状的微调，而此处的平均模型系利用一个三维人脸数据库，经过成分提取后，形成平均三维人脸可变模型，而3D人脸模型的形状微调利用多个特征模板的线性组合，进行形状的仿真调整，会迭代多级，由低分辨率的人脸模型到高分辨率的人脸模型，以期达到降低运算量与时间。
藉此，本发明所提供的三维人脸重建方法，可透过输入一张二维人脸影像重建一个三维人脸影像，该三维人脸像中之三维人脸模型，可进行旋转出各种角度，进而得到且显示不同角度的三维人脸影像。亦即藉由输入一张二维人脸影像，而重建具有可旋转各个角度的三维人脸影像。
以上所述仅为本发明较佳可行实施例而已，举凡应用本发明说明书及权利要求所为之等效方法变化，理应包含在本发明之专利范围内。

Claims (20)

1.一种三维人脸重建方法，其特征在于，至少包含：
输入一个二维人脸影像；
对该二维人脸影像进行二维特征点定位，于该二维人脸影像定位出多个二维特征点位置；
转换该复数二维特征点为多个三维坐标，依照相似计算该多个二维特征点，转换为对应之该多个三维坐标，将该多个三维坐标组成一第一个三维人脸模型；
对该第一个三维人脸模型之一三维人脸形状进行微调，以得到一第二三维人脸模型；
对该第二个三维人脸模型进行一脸部颜色补偿，以得到一第三三维人脸模型；以及
根据该第三个三维人脸模型，输出一三维人脸影像。
2.如权利要求1所述之三维人脸重建方法，其特征在于，其中该二维特征点定位方法包括一神经网络模型。
3.如权利要求1所述之三维人脸重建方法，其特征在于，其中该第三三维人脸模型为一彩色三维人脸模型。
4.如权利要求1所述之三维人脸重建方法，其特征在于，其中，在转换该多个二维特征点为多个三维坐标步骤以及对该第一个三维人脸模型之一个三维人脸形状进行微调步骤，该第一个三维人脸模型系利用一三维人脸数据库经过主成分分析后，以形成一第一个三维人脸可变模型，该第二个三维人脸模型系利用该三维人脸数据库经过主成分分析后，形成该第二个三维人脸可变模型。
5.如权利要求4所述之三维人脸重建方法，其特征在于，其中该第一个三维人脸可变模型以一平均模型为基准，利用多个特征模板的线性组合，以形成不同之该第一个三维人脸模型，该第二个三维人脸可变模型以该平均模型为基准，利用该多个特征模板的线性组合，以形成不同之该第二个三维人脸模型。
6.如权利要求5所述之三维人脸重建方法，其特征在于，其中该第一个三维人脸可变模型以及该第二个三维人脸模型系为一多级分辨率三维人脸可变模型，依序由最低分辨率运算到最高分辨率，以得到该第二个三维人脸可变模型以及该第三个三维人脸模型。
7.如权利要求6所述之三维人脸重建方法，其特征在于，其中该多级分辨率三维人脸可变模型系包括一级至五级以上之分辨率三维人脸可变模型。
8.如权利要求1所述之三维人脸重建方法，其特征在于，其中对该第二个三维人脸模型进行脸部颜色补偿时，将该第二个三维人脸模型上任意三个点为一个三角型之一面，计算每一个三角型的法向量是否朝外，而判定是否对该面填上颜色。
9.如权利要求8所述之三维人脸重建方法，其特征在于，当该三角形的法向量朝外时，则判断该三点没有被遮住具有可见性，则将该第二个三维人脸模型投影至二维平面，根据二维平面之坐标位置找出对应的颜色数值，将颜色数值贴回该第二个三维人脸模型。
10.如权利要求8所述之三维人脸重建方法，其特征在于，当三角形的法向量朝内时，则判断该三点被遮住具不可见性，该三点为背面。
11.如权利要求9所述之三维人脸重建方法，其特征在于，其中，填上颜色后，计算颜色平均值以及标准偏差，若距离平均值超过一预定值，则不以二维平面上对应的颜色视为该三点之颜色，而填上以周围颜色作内插所得之颜色。
12.如权利要求1所述之三维人脸重建方法，其特征在于，其中，对转换该多个二维特征点为多个三维坐标步骤，系利用牛顿法求得一第一级三维可变模型投影在二维平面上的点，与一二维特征点位置最接近，以求得一三维旋转矩阵、一二维偏差量、一焦距以及一三维可变模型参数，以得到第一级之该第一三维人脸模型。
13.如权利要求12所述之三维人脸重建方法，其特征在于，其中，对该第一三维人脸模型之一三维人脸形状进行微调步骤，包含当分辨率为二级，系利用该三维旋转矩阵、该二维偏差量、该焦距以及该三维可变模型参数套用于一第二级三维可变模型，计算将该第二级三维可变模型投影在二维平面上的点，与最接近的影像轮廓点之一误差值，利用该误差值调整该三维可变模型参数。
14.如权利要求12所述之三维人脸重建方法，其特征在于，其中，对该第一三维人脸模型之一三维人脸形状进行微调步骤，包含当分辨率大于二级，系利用该三维旋转矩阵、该二维偏差量、该焦距、影像轮廓点之误差值、二维特征点位置、色彩投影之误差值以及该三维可变模型参数套用于一第二级三维可变模型，计算将该第二级三维可变模型投影在二维平面上的点。
15.如权利要求12所述之三维人脸重建方法，其特征在于，其中，该对该第一个三维人脸模型之一个三维人脸形状进行微调步骤，当分辨率为N级，系利用该三维旋转矩阵、该二维偏差量、该焦距以及该三维可变模型参数，依序套用该第一级三维可变模型、该第二级三维可变模型，到一第N-1级三维可变模型，循环计算将该第N-1级三维可变模型投影在二维平面上的点，与最接近的影像轮廓点之一误差值，利用该误差值调整该三维可变模型参数。
16.如权利要求13或15所述之三维人脸重建方法，其特征在于，其中，该误差值需在一预定误差值之下。
17.如权利要求1所述之三维人脸重建方法，其特征在于，其中，对该第一个三维人脸模型之一个三维人脸形状进行微调，系包含对该第一个三维人脸模型之一个三维人脸形状进行重复多级运算，分别由低分辨率到高分辨率步骤。
18.如权利要求17所述之三维人脸重建方法，其特征在于，其中，低分辨率为该第一个三维人脸模型点数较少。
19.如权利要求17所述之三维人脸重建方法，其特征在于，其中，高分辨率为该第一个三维人脸模型点数较多。
20.如权利要求1所述之三维人脸重建方法，其特征在于，其中该第一个三维人脸模型为一平均人脸模型。
CN201910342345.8A 2018-11-27 2019-04-26 三维人脸重建方法 Active CN111223175B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107142148 2018-11-27
TW107142148A TWI712002B (zh) 2018-11-27 2018-11-27 三維人臉重建方法

Publications (2)

Publication Number Publication Date
CN111223175A true CN111223175A (zh) 2020-06-02
CN111223175B CN111223175B (zh) 2023-07-04

Family

ID=70770051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910342345.8A Active CN111223175B (zh) 2018-11-27 2019-04-26 三维人脸重建方法

Country Status (3)

Country Link
US (1) US10803654B2 (zh)
CN (1) CN111223175B (zh)
TW (1) TWI712002B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739168A (zh) * 2020-06-30 2020-10-02 华东交通大学 一种样本相似度抑制的大尺度三维人脸合成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
US8644596B1 (en) * 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database
TW201516375A (zh) * 2013-10-21 2015-05-01 Univ Nat Taiwan Science Tech 三維資料擷取方法及其系統
CN106780713A (zh) * 2016-11-11 2017-05-31 吴怀宇 一种基于单幅照片的三维人脸建模方法及系统
CN107316340A (zh) * 2017-06-28 2017-11-03 河海大学常州校区 一种基于单张照片的快速人脸建模方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956823B2 (en) * 2001-05-30 2011-06-07 Sharp Kabushiki Kaisha Color display device, color compensation method, color compensation program, and storage medium readable by computer
TWM364920U (en) * 2009-04-10 2009-09-11 Shen-Jwu Su 3D human face identification device with infrared light source
TWI419058B (zh) * 2009-10-23 2013-12-11 Univ Nat Chiao Tung Image recognition model and the image recognition method using the image recognition model
TWI553565B (zh) * 2014-09-22 2016-10-11 銘傳大學 利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法
CN104966316B (zh) * 2015-05-22 2019-03-15 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
JP6754619B2 (ja) * 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
US8644596B1 (en) * 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database
TW201516375A (zh) * 2013-10-21 2015-05-01 Univ Nat Taiwan Science Tech 三維資料擷取方法及其系統
CN106780713A (zh) * 2016-11-11 2017-05-31 吴怀宇 一种基于单幅照片的三维人脸建模方法及系统
CN107316340A (zh) * 2017-06-28 2017-11-03 河海大学常州校区 一种基于单张照片的快速人脸建模方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739168A (zh) * 2020-06-30 2020-10-02 华东交通大学 一种样本相似度抑制的大尺度三维人脸合成方法
CN111739168B (zh) * 2020-06-30 2021-01-29 华东交通大学 一种样本相似度抑制的大尺度三维人脸合成方法

Also Published As

Publication number Publication date
US20200167990A1 (en) 2020-05-28
TW202020813A (zh) 2020-06-01
TWI712002B (zh) 2020-12-01
CN111223175B (zh) 2023-07-04
US10803654B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
CN112215050A (zh) 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备
CN104157010A (zh) 一种3d人脸重建的方法及其装置
CN110060329B (zh) 一种基于彩色深度视频流数据的移动端人体模型重建方法
US11568601B2 (en) Real-time hand modeling and tracking using convolution models
CN113962858A (zh) 一种多视角深度获取方法
US20230267686A1 (en) Subdividing a three-dimensional mesh utilizing a neural network
US11403807B2 (en) Learning hybrid (surface-based and volume-based) shape representation
CN116109757A (zh) 基于内蕴坐标的哈希编码的动态三维人体渲染合成方法
CN116416376A (zh) 一种三维头发的重建方法、系统、电子设备及存储介质
Vyatkin Method of binary search for image elements of functionally defined objects using graphics processing units
CN111223175B (zh) 三维人脸重建方法
CN116912148B (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
CN113888694A (zh) 一种基于sdf场可微渲染的透明物体重建的方法及系统
KR20210147626A (ko) 경쟁적 학습을 이용한 3차원 얼굴 이미지 합성 장치 및 방법
US9665955B1 (en) Pose-space shape fitting
CN115082636B (zh) 基于混合高斯网络的单图像三维重建方法及设备
Schaurecker et al. Super-resolving Dark Matter Halos using Generative Deep Learning
US20230145498A1 (en) Image reprojection and multi-image inpainting based on geometric depth parameters
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及系统
CN115409949A (zh) 模型训练方法、视角图像生成方法、装置、设备及介质
Xiao et al. 3d face reconstruction via feature point depth estimation and shape deformation
US20220383573A1 (en) Frame interpolation for rendered content
CN117292041B (zh) 一种语义感知多视角三维人体重建方法、装置及介质
CN114219900B (zh) 基于混合现实眼镜的三维场景重建方法、重建系统和应用
US20220165029A1 (en) Computer Vision Systems and Methods for High-Fidelity Representation of Complex 3D Surfaces Using Deep Unsigned Distance Embeddings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant