CN107680158A - 一种基于卷积神经网络模型的三维人脸重建方法 - Google Patents

一种基于卷积神经网络模型的三维人脸重建方法 Download PDF

Info

Publication number
CN107680158A
CN107680158A CN201710793288.6A CN201710793288A CN107680158A CN 107680158 A CN107680158 A CN 107680158A CN 201710793288 A CN201710793288 A CN 201710793288A CN 107680158 A CN107680158 A CN 107680158A
Authority
CN
China
Prior art keywords
data set
picture
model
convolutional neural
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710793288.6A
Other languages
English (en)
Inventor
李方敏
彭小兵
刘新华
陈柯
栾悉道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University
Original Assignee
Changsha University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University filed Critical Changsha University
Priority to CN201710793288.6A priority Critical patent/CN107680158A/zh
Publication of CN107680158A publication Critical patent/CN107680158A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于卷积神经网络模型的三维人脸重建方法，包括：获取输入样本数据集，基于3D MM算法并结合卷积神经网络模型将输入样本数据集中的单张二维图片作为输入，输出该二维图片的3D模型参数，针对输入样本数据集中剩余的所有二维图片，重复上述步骤，以得到所有二维图片对应的3D模型参数，选取所有二位图片中同一个体的不同二维图片所对应的3D模型参数，按照其置信度进行聚合，以得到所有个体的3D模型参数，将输入样本数据集作为输入，将得到的所有个体的3D模型参数作为输出，对卷积神经网络模型进行训练，以得到最终的3D人脸重建模型。本发明能够解决现有三维人脸重建方法中存在的重建效果不佳、重建时间长、重建成本高的技术问题。

Description

一种基于卷积神经网络模型的三维人脸重建方法
技术领域
本发明属于图像处理和深度学习技术领域，更具体地，涉及一种基于卷积神经网络模型的三维人脸重建方法。
背景技术
三维人脸重建在医疗、教育、娱乐等领域目前已经得到了非常广泛的应用。然而，三维人脸重建目前应用在真实场景中主要存在两个技术问题：首先，三维人脸重建的效果不佳，主要体现在3D模拟不稳定，从而导致同一个个体的3D模拟差异较大；其次，三维人脸重建的时间长，成本高。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于卷积神经网络模型的三维人脸重建方法和系统，其目的在于，解决现有三维人脸重建方法中存在的重建效果不佳、重建时间长、重建成本高的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于卷积神经网络模型的三维人脸重建方法，包括以下步骤：
(1)获取输入样本数据集；
(2)基于3D MM算法并结合卷积神经网络模型将输入样本数据集中的单张二维图片作为输入，输出该二维图片的3D模型参数；
(3)针对输入样本数据集中剩余的所有二维图片，重复上述步骤(2)，以得到所有二维图片对应的3D模型参数，选取所有二位图片中同一个体的不同二维图片所对应的3D模型参数，按照其置信度进行聚合，以得到所有个体的3D模型参数。
(4)将步骤(1)中的输入样本数据集作为输入，将步骤(3)中得到的所有个体的3D模型参数作为输出，对卷积神经网络模型进行训练，以得到最终的3D人脸重建模型。
优选地，输入样本数据集是从互联网上直接下载的图片、以及人为拍摄的图片，其中人为拍摄的图片包括不同种族的人的图片、不同灯光效果的人的图片、以及不同角度的人的图片。
优选地，步骤(2)具体包括以下子步骤：
(2-1)利用摄像机获取原始人脸数据，采用PCA方法对原始人脸数据进行处理，以获取形状和纹理参数；
(2-2)利用获取的脸型和人脸参数在规格化三维人脸样本集上建立3D 形变模型；
(2-3)使用3DMM方法将步骤(2-2)中建立的3D形变模型与步骤 (2-1)中的原始人脸数据进行匹配，以得到调整后的输入数据集和输出数据集；
(2-4)将步骤(2-3)得到的调整后的输入数据集和输出数据集分别作为卷积神经网络模型的输入和输出，对卷积神经网络模型进行训练，以得到训练模型；
(2-5)利用步骤(2-4)中得到的训练模型得到步骤(1)中输入样本数据集中单张二维图片对应的3D模型参数。
优选地，步骤(2-1)是采用以下公式：
Si＝(X1,Y1,Z1,...Zn)T，Ti＝(R1,G1,B1,...Rn)T
其中i表示原始人脸数据中的图片中像素点的序号，S表示形状参数， T表示纹理参数，X表示像素点的X坐标，Y表示像素点的Y坐标，Z表示像素点的Z坐标，R、G和B分别表示红色、绿色和蓝色的颜色空间，n 表示图片中像素点的总数。
优选地，步骤(2-2)是采用以下公式：
其中，αi表示规格化三维人脸样本集中脸型向量的组合系数，βi表示规格化三维人脸样本集中纹理向量的组合系数，且
优选地，步骤(2-3)中得到输出数据集是采用以下公式：
其中，Smodel表示形状输出数据集，Tmodel表示纹理输出数据集，表示形状参数对应的平均形状向量，表示纹理参数对应的平均纹理向量； WS和WT分别表示形状和纹理参数组成的矩阵；和分别表示规格化三维人脸样本集中脸型和纹理对应的基向量的组合参数所组成的向量。
优选地，步骤(3)中的聚合操作是采用约束局部神经场算法。
优选地，所述方法进一步包括在步骤(4)之后，使用基本人脸模型方法将步骤(4)得到的3D人脸重建模型转换为网格文件，读取该网格文件，从而得到不同个体的3D人脸模型。
按照本发明的另一方面，提供了一种基于卷积神经网络模型的三维人脸重建系统，包括：
第一模块，用于获取输入样本数据集；
第二模块，用于基于3D MM算法并结合卷积神经网络模型将输入样本数据集中的单张二维图片作为输入，输出该二维图片的3D模型参数；
第三模块，用于针对输入样本数据集中剩余的所有二维图片，重复上述第二模块，以得到所有二维图片对应的3D模型参数，选取所有二位图片中同一个体的不同二维图片所对应的3D模型参数，按照其置信度进行聚合，以得到所有个体的3D模型参数。
第四模块，用于将第一模块中的输入样本数据集作为输入，将第三模块中得到的所有个体的3D模型参数作为输出，对卷积神经网络模型进行训练，以得到最终的3D人脸重建模型。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明由于采用了聚合的方法对每个个体对应的不同图片进行处理，从而使得针对同一个体的不同图片，重建的结果基本相同，重建效果相对稳定；
(2)由于本发明是基于已经训练好的卷积神经网络模型进行重建，因此重建的时间短；
(3)由于本发明是基于网络获取以及拍摄的样本数据集进行训练，而没有如同现有方法采用昂贵的激光扫描仪获取样本数据，因此重建成本较低。
附图说明
图1是本发明输入的样本数据集中种族为欧洲人的样本实例。
图2是本发明输入的样本数据集中不同灯光效果下的样本实例，其中图2(a)是白光效果，图2(b)是紫光效果，图2(c)是偏振光效果。
图3是本发明输入的样本数据集中不同角度下的样本实例，其中图3 (a)是正脸，图3(b)是左侧脸，图3(c)是右侧脸。
图4是本发明方法与传统的3DMM和3DDFA算法所分别得到的3D 人脸重建模型的性能比较示意图，其中图4(a)是3DMM算法得到的3D 人脸重建模型，图4(b)是3DDFA算法得到的3D人脸重建模型，图4(c) 是本发明方法得到的3D人脸重建模型。
图5是本发明基于卷积神经网络模型的三维人脸重建方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图5所示，本发明基于卷积神经网络模型的三维人脸重建方法包括以下步骤：
(1)获取输入样本数据集；
具体而言，本步骤中获取输入样本数据集的方式包括从互联网上直接下载图片作为输入样本数据集，以及人为拍摄图片作为输入样本数据集，其中人为拍摄的图片包括不同种族的人(如图1所示，比如亚洲人、欧洲人等)的图片、不同灯光效果的人(如图2(a)至(c)所示的白光、紫光、偏振光)的图片、以及不同角度(如图3(a)至(c)所示的正脸、左侧脸、右侧脸)的人的图片。
(2)基于3D形变模型(3D morphable models，简称3DMM)算法并结合卷积神经网络模型将输入样本数据集中的单张二维图片作为输入，输出该二维图片的3D模型参数；
本步骤具体包括以下子步骤：
(2-1)利用摄像机获取原始人脸数据，采用主成份分析方法(Primary componentanalysis，简称PCA)对原始人脸数据进行处理，以获取形状(即各个像素点对应的三维空间坐标)和纹理参数(RGB特征的纹理参数)；
本步骤中的原始人脸数据是二维数据。
具体而言，本步骤采用以下公式：
Si＝(X1,Y1,Z1,...Zn)T，Ti＝(R1,G1,B1,...Rn)T
其中i表示原始人脸数据中的图片中像素点的序号，S表示形状参数， T表示纹理参数，X表示像素点的X坐标，Y表示像素点的Y坐标，Z表示像素点的Z坐标，R、G和B分别表示红色、绿色和蓝色的颜色空间，n 表示图片中像素点的总数；
(2-2)利用获取的脸型和人脸参数在规格化三维人脸样本集上建立3D 形变模型；
具体而言，规格化三维人脸样本集是通过激光扫描仪获取到的。
本步骤是采用以下公式：
其中，αi表示规格化三维人脸样本集中脸型向量的组合系数，βi表示规格化三维人脸样本集中纹理向量的组合系数，且
(2-3)使用3DMM方法将步骤(2-2)中建立的3D形变模型与步骤 (2-1)中的原始人脸数据进行匹配，以得到调整后的输入数据集和输出数据集；
具体而言，二者的匹配是指，针对给定的二维原始人脸图像，将形变模型与之进行匹配，然后不断调整模型组合系数，从而得到更标准的输入数据集和输出数据集。
本步骤中得到输出数据集是采用以下公式：
其中，Smodel表示形状输出数据集，Tmodel表示纹理输出数据集，表示形状参数对应的平均形状向量，表示纹理参数对应的平均纹理向量； WS和WT分别表示形状和纹理参数组成的矩阵；和分别表示规格化三维人脸样本集中脸型和纹理对应的基向量的组合参数所组成的向量。
(2-4)将步骤(2-3)得到的调整后的输入数据集和输出数据集分别作为卷积神经网络模型的输入和输出，对卷积神经网络模型进行训练，以得到训练模型；
(2-5)利用步骤(2-4)中得到的训练模型得到步骤(1)中输入样本数据集中单张二维图片对应的3D模型参数；
(3)针对输入样本数据集中剩余的所有二维图片，重复上述步骤(2)，以得到所有二维图片对应的3D模型参数，选取所有二位图片中同一个体的不同二维图片所对应的3D模型参数，按照其置信度进行聚合，以得到所有个体的3D模型参数。
具体而言，本发明中的聚合操作是采用特征点检测方法，包括但不局限于约束局部模型(Constrained local model，简称CLM)算法、约束局部神经场(Constrained localneutral field，简称CLNF)算法等。
(4)将步骤(1)中的输入样本数据集作为输入，将步骤(3)中得到的所有个体的3D模型参数作为输出，对卷积神经网络模型进行训练，以得到最终的3D人脸重建模型；
如图4所示为最终得到的3D人脸重建模型，可以看出，与传统的3DMM 和3DDFA算法比较，本发明3D人脸的重建效果更好，鲁棒性更强。
(5)使用基本人脸模型方法(Base face model，简称BFM)将步骤(4) 得到的3D人脸重建模型转换为网格文件，读取该网格文件，从而得到不同个体的3D人脸模型。
在本步骤中，读取该网格文件是使用Meshlab软件实现。
实验结论
为了量化单幅输入图像的三维人脸重建时间，我们进行了多次试验，选取了不同个体不同角度以及不同大小的图片进行测试，取最后的平均值作为结果。
各算法重建时间：
通用 3DMM 3DDFA 本发明
- 120s 0.146s 0.088s
尽管神经网络模型的训练时间比较耗时，但是网络模型一旦生成，之后再利用训练好的模型进行3D人脸重建，得到重建结果的时间非常短暂，与其他传统方法相比，重建时间大大缩短。
总而言之，实验结果和对比分析表明，按照本发明提出的方法得到的 3D重建模型，针对无条件限制下的人脸图像，其重建效果优于传统的三维人脸重建模型方法，模型的鲁棒性强于现有的基于深度学习的3D重建方法。
本发明首先通过改进现有的图像3DMM生成方法，在数据集上以该方法生成训练数据集；然后，以该数据集作为神经网络的目标输出来训练深度卷积神经网络(Convolutional neutral network，简称CNN)，用于单图像3D 人脸重建。经过训练后，该神经网络可以接受单张人脸作为输入，输出对应的3D模型参数。通过深度神经网络进行3D人脸重建有以下几个优点：
一，该方法精确度高于现有方法，而且仅需要单张人脸图像作为输入，同时还充分利用了同一个体的多视图照片资源。
二，通过改进现有的图像3DMM生成方法，提出一种低成本、易操作的方式，不仅可以使训练的网络模型更加准确，同时可以生成大量标记样本。
三，以深度神经网络输出的3D模型参数作为特征，后期可以有效完成 3D面膜打印，人脸识别，人脸验证等任务。
四，该方法使用本地数据集对神经网络模型进行微调，与现有CNN重建方法相比，对于不同人群的三维重建效果有所提升，拟合适用范围也更加广泛。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于卷积神经网络模型的三维人脸重建方法，其特征在于，包括以下步骤：
(1)获取输入样本数据集；
(2)基于3D MM算法并结合卷积神经网络模型将输入样本数据集中的单张二维图片作为输入，输出该二维图片的3D模型参数；
(3)针对输入样本数据集中剩余的所有二维图片，重复上述步骤(2)，以得到所有二维图片对应的3D模型参数，选取所有二位图片中同一个体的不同二维图片所对应的3D模型参数，按照其置信度进行聚合，以得到所有个体的3D模型参数。
(4)将步骤(1)中的输入样本数据集作为输入，将步骤(3)中得到的所有个体的3D模型参数作为输出，对卷积神经网络模型进行训练，以得到最终的3D人脸重建模型。
2.根据权利要求1所述的三维人脸重建方法，其特征在于，输入样本数据集是从互联网上直接下载的图片、以及人为拍摄的图片，其中人为拍摄的图片包括不同种族的人的图片、不同灯光效果的人的图片、以及不同角度的人的图片。
3.根据权利要求1所述的三维人脸重建方法，其特征在于，步骤(2)具体包括以下子步骤：
(2-1)利用摄像机获取原始人脸数据，采用PCA方法对原始人脸数据进行处理，以获取形状和纹理参数；
(2-2)利用获取的脸型和人脸参数在规格化三维人脸样本集上建立3D形变模型；
(2-3)使用3DMM方法将步骤(2-2)中建立的3D形变模型与步骤(2-1)中的原始人脸数据进行匹配，以得到调整后的输入数据集和输出数据集；
(2-4)将步骤(2-3)得到的调整后的输入数据集和输出数据集分别作为卷积神经网络模型的输入和输出，对卷积神经网络模型进行训练，以得到训练模型；
(2-5)利用步骤(2-4)中得到的训练模型得到步骤(1)中输入样本数据集中单张二维图片对应的3D模型参数。
4.根据权利要求3所述的三维人脸重建方法，其特征在于，步骤(2-1)是采用以下公式：
Si＝(X1,Y1,Z1,...Zn)T，Ti＝(R1,G1,B1,...Rn)T
其中i表示原始人脸数据中的图片中像素点的序号，S表示形状参数，T表示纹理参数，X表示像素点的X坐标，Y表示像素点的Y坐标，Z表示像素点的Z坐标，R、G和B分别表示红色、绿色和蓝色的颜色空间，n表示图片中像素点的总数。
5.根据权利要求4所述的三维人脸重建方法，其特征在于，步骤(2-2)是采用以下公式：
其中，αi表示规格化三维人脸样本集中脸型向量的组合系数，βi表示规格化三维人脸样本集中纹理向量的组合系数，且
6.根据权利要求5所述的三维人脸重建方法，其特征在于，步骤(2-3)中得到输出数据集是采用以下公式：
<mrow> <msub> <mi>S</mi> <mrow> <mi>mod</mi> <mi>e</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mover> <mi>s</mi> <mo>&amp;OverBar;</mo> </mover> <mo>+</mo> <msub> <mi>W</mi> <mi>S</mi> </msub> <mover> <mi>&amp;alpha;</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>,</mo> <msub> <mi>T</mi> <mrow> <mi>mod</mi> <mi>e</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mover> <mi>t</mi> <mo>&amp;OverBar;</mo> </mover> <mo>+</mo> <msub> <mi>W</mi> <mi>T</mi> </msub> <mover> <mi>&amp;beta;</mi> <mo>&amp;RightArrow;</mo> </mover> </mrow>
其中，Smodel表示形状，输出数据集，Tmodel表示纹理输出数据集，表示形状参数对应的平均形状向量，表示纹理参数对应的平均纹理向量；WS和WT分别表示形状和纹理参数组成的矩阵；和分别表示规格化三维人脸样本集中脸型和纹理对应的基向量的组合参数所组成的向量。
7.根据权利要求1所述的三维人脸重建方法，其特征在于，步骤(3)中的聚合操作是采用约束局部神经场算法。
8.根据权利要求1所述的三维人脸重建方法，其特征在于，进一步包括在步骤(4)之后，使用基本人脸模型方法将步骤(4)得到的3D人脸重建模型转换为网格文件，读取该网格文件，从而得到不同个体的3D人脸模型。
9.一种基于卷积神经网络模型的三维人脸重建系统，其特征在于，包括：
第一模块，用于获取输入样本数据集；
第二模块，用于基于3D MM算法并结合卷积神经网络模型将输入样本数据集中的单张二维图片作为输入，输出该二维图片的3D模型参数；
第三模块，用于针对输入样本数据集中剩余的所有二维图片，重复上述第二模块，以得到所有二维图片对应的3D模型参数，选取所有二位图片中同一个体的不同二维图片所对应的3D模型参数，按照其置信度进行聚合，以得到所有个体的3D模型参数。
第四模块，用于将第一模块中的输入样本数据集作为输入，将第三模块中得到的所有个体的3D模型参数作为输出，对卷积神经网络模型进行训练，以得到最终的3D人脸重建模型。
CN201710793288.6A 2017-11-01 2017-11-01 一种基于卷积神经网络模型的三维人脸重建方法 Pending CN107680158A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710793288.6A CN107680158A (zh) 2017-11-01 2017-11-01 一种基于卷积神经网络模型的三维人脸重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710793288.6A CN107680158A (zh) 2017-11-01 2017-11-01 一种基于卷积神经网络模型的三维人脸重建方法

Publications (1)

Publication Number Publication Date
CN107680158A true CN107680158A (zh) 2018-02-09

Family

ID=61134494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710793288.6A Pending CN107680158A (zh) 2017-11-01 2017-11-01 一种基于卷积神经网络模型的三维人脸重建方法

Country Status (1)

Country Link
CN (1) CN107680158A (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510573A (zh) * 2018-04-03 2018-09-07 南京大学 一种基于深度学习的多视点人脸三维模型重建的方法
CN108665555A (zh) * 2018-05-15 2018-10-16 华中师范大学 一种融入真实人物形象的孤独症干预系统
CN108805977A (zh) * 2018-06-06 2018-11-13 浙江大学 一种基于端到端卷积神经网络的人脸三维重建方法
CN109035388A (zh) * 2018-06-28 2018-12-18 北京的卢深视科技有限公司 三维人脸模型重建方法及装置
CN109035391A (zh) * 2018-07-19 2018-12-18 四川高原之宝牦牛网络技术有限公司 三维模型处理方法及装置
CN109215126A (zh) * 2018-09-21 2019-01-15 广州图语信息科技有限公司 基于低质量三维人脸点云的重构方法、装置及处理终端
CN109271911A (zh) * 2018-08-24 2019-01-25 太平洋未来科技（深圳）有限公司 基于光线的三维人脸优化方法、装置及电子设备
CN109285216A (zh) * 2018-08-24 2019-01-29 太平洋未来科技（深圳）有限公司 基于遮挡图像生成三维人脸图像方法、装置及电子设备
CN109325994A (zh) * 2018-09-11 2019-02-12 合肥工业大学 一种基于三维人脸数据增强的方法
CN109508678A (zh) * 2018-11-16 2019-03-22 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
CN109636907A (zh) * 2018-12-13 2019-04-16 谷东科技有限公司 一种基于ar眼镜的地形重建方法及系统
CN109840941A (zh) * 2019-02-20 2019-06-04 尹大龙 一种内窥镜探测物体的表面重建方法及系统
CN110599585A (zh) * 2019-08-05 2019-12-20 清华大学 基于深度学习的单图像人体三维重建方法及装置
CN111382618A (zh) * 2018-12-28 2020-07-07 广州市百果园信息技术有限公司 一种人脸图像的光照检测方法、装置、设备和存储介质
WO2020156195A1 (zh) * 2019-01-30 2020-08-06 腾讯科技（深圳）有限公司 Ct图像的生成方法、装置、计算机设备及计算机可读存储介质
WO2020155522A1 (en) * 2019-01-31 2020-08-06 Huawei Technologies Co., Ltd. Three-dimension (3d) assisted personalized home object detection
CN111557022A (zh) * 2018-12-10 2020-08-18 三星电子株式会社 二维图像处理方法及执行所述方法的设备
WO2020173442A1 (zh) * 2019-02-26 2020-09-03 腾讯科技（深圳）有限公司 用于三维人脸模型生成的计算机应用方法、装置、计算机设备及存储介质
CN111833413A (zh) * 2020-07-22 2020-10-27 平安科技（深圳）有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112215050A (zh) * 2019-06-24 2021-01-12 北京眼神智能科技有限公司 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备
WO2021003964A1 (zh) * 2019-07-05 2021-01-14 深圳云天励飞技术有限公司 人脸脸型识别方法、装置、电子设备及存储介质
CN112489205A (zh) * 2020-12-16 2021-03-12 北京航星机器制造有限公司 一种仿真人脸制造方法
CN112882666A (zh) * 2021-03-15 2021-06-01 上海电力大学 一种基于三维建模与模型填补的3d打印系统及方法
CN112991174A (zh) * 2021-03-13 2021-06-18 长沙学院 一种提高单帧红外图像分辨率的方法与系统
CN113129425A (zh) * 2019-12-31 2021-07-16 Tcl集团股份有限公司 一种人脸图像三维重建方法、存储介质及终端设备
CN113393582A (zh) * 2021-05-24 2021-09-14 电子科技大学 一种基于深度学习的三维物体重建算法
CN113781613A (zh) * 2021-09-15 2021-12-10 广州虎牙科技有限公司 表情驱动方法、系统及计算机设备
CN114092673A (zh) * 2021-11-23 2022-02-25 北京百度网讯科技有限公司 图像处理的方法、装置、电子设备和存储介质
US11893681B2 (en) 2018-12-10 2024-02-06 Samsung Electronics Co., Ltd. Method for processing two-dimensional image and device for executing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751689A (zh) * 2009-09-28 2010-06-23 中国科学院自动化研究所 一种三维人脸重建方法
CN102999942A (zh) * 2012-12-13 2013-03-27 清华大学 三维人脸重建方法
CN105719326A (zh) * 2016-01-19 2016-06-29 华中师范大学 一种基于单张照片的真实感人脸生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751689A (zh) * 2009-09-28 2010-06-23 中国科学院自动化研究所 一种三维人脸重建方法
CN102999942A (zh) * 2012-12-13 2013-03-27 清华大学 三维人脸重建方法
CN105719326A (zh) * 2016-01-19 2016-06-29 华中师范大学 一种基于单张照片的真实感人脸生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TRAN A T.ETC: ""Regressing Robust and Discriminative 3D Morphable Models with a very Deep Neural Network"", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
VOLKER BLANZ. ETC: ""A Morphable Model For The Synthesis Of 3D Faces"", 《PROCEEDINGS OF THE 26TH ANNUAL CONFERENCE ON COMPUTER GRAPHICS AND INTERACTIVE TECHNIQUES》 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510573A (zh) * 2018-04-03 2018-09-07 南京大学 一种基于深度学习的多视点人脸三维模型重建的方法
CN108665555A (zh) * 2018-05-15 2018-10-16 华中师范大学 一种融入真实人物形象的孤独症干预系统
CN108805977A (zh) * 2018-06-06 2018-11-13 浙江大学 一种基于端到端卷积神经网络的人脸三维重建方法
CN109035388A (zh) * 2018-06-28 2018-12-18 北京的卢深视科技有限公司 三维人脸模型重建方法及装置
CN109035388B (zh) * 2018-06-28 2023-12-05 合肥的卢深视科技有限公司 三维人脸模型重建方法及装置
CN109035391B (zh) * 2018-07-19 2023-07-21 四川高原之宝牦牛网络技术有限公司 三维模型处理方法及装置
CN109035391A (zh) * 2018-07-19 2018-12-18 四川高原之宝牦牛网络技术有限公司 三维模型处理方法及装置
CN109285216B (zh) * 2018-08-24 2023-06-09 太平洋未来科技（深圳）有限公司 基于遮挡图像生成三维人脸图像方法、装置及电子设备
CN109285216A (zh) * 2018-08-24 2019-01-29 太平洋未来科技（深圳）有限公司 基于遮挡图像生成三维人脸图像方法、装置及电子设备
CN109271911A (zh) * 2018-08-24 2019-01-25 太平洋未来科技（深圳）有限公司 基于光线的三维人脸优化方法、装置及电子设备
CN109325994A (zh) * 2018-09-11 2019-02-12 合肥工业大学 一种基于三维人脸数据增强的方法
CN109325994B (zh) * 2018-09-11 2023-03-24 合肥工业大学 一种基于三维人脸数据增强的方法
CN109215126A (zh) * 2018-09-21 2019-01-15 广州图语信息科技有限公司 基于低质量三维人脸点云的重构方法、装置及处理终端
CN109508678A (zh) * 2018-11-16 2019-03-22 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
US11922707B2 (en) 2018-11-16 2024-03-05 Bigo Technology Pte. Ltd. Method and apparatus for training face detection model, and apparatus for detecting face key point
CN109508678B (zh) * 2018-11-16 2021-03-30 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
US11893681B2 (en) 2018-12-10 2024-02-06 Samsung Electronics Co., Ltd. Method for processing two-dimensional image and device for executing method
CN111557022A (zh) * 2018-12-10 2020-08-18 三星电子株式会社 二维图像处理方法及执行所述方法的设备
CN111557022B (zh) * 2018-12-10 2024-05-14 三星电子株式会社 二维图像处理方法及执行所述方法的设备
CN109636907A (zh) * 2018-12-13 2019-04-16 谷东科技有限公司 一种基于ar眼镜的地形重建方法及系统
CN111382618B (zh) * 2018-12-28 2021-02-05 广州市百果园信息技术有限公司 一种人脸图像的光照检测方法、装置、设备和存储介质
US11908236B2 (en) 2018-12-28 2024-02-20 Bigo Technology Pte. Ltd. Illumination detection method and apparatus for face image, and device and storage medium
CN111382618A (zh) * 2018-12-28 2020-07-07 广州市百果园信息技术有限公司 一种人脸图像的光照检测方法、装置、设备和存储介质
WO2020156195A1 (zh) * 2019-01-30 2020-08-06 腾讯科技（深圳）有限公司 Ct图像的生成方法、装置、计算机设备及计算机可读存储介质
US12016717B2 (en) 2019-01-30 2024-06-25 Tencent Technology (Shenzhen) Company Limited CT image generation method and apparatus, computer device, and computer-readable storage medium
US11436437B2 (en) 2019-01-31 2022-09-06 Huawei Technologies Co., Ltd. Three-dimension (3D) assisted personalized home object detection
WO2020155522A1 (en) * 2019-01-31 2020-08-06 Huawei Technologies Co., Ltd. Three-dimension (3d) assisted personalized home object detection
CN109840941A (zh) * 2019-02-20 2019-06-04 尹大龙 一种内窥镜探测物体的表面重建方法及系统
WO2020173442A1 (zh) * 2019-02-26 2020-09-03 腾讯科技（深圳）有限公司 用于三维人脸模型生成的计算机应用方法、装置、计算机设备及存储介质
US11636613B2 (en) 2019-02-26 2023-04-25 Tencent Technology (Shenzhen) Company Limited Computer application method and apparatus for generating three-dimensional face model, computer device, and storage medium
CN112215050A (zh) * 2019-06-24 2021-01-12 北京眼神智能科技有限公司 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备
WO2021003964A1 (zh) * 2019-07-05 2021-01-14 深圳云天励飞技术有限公司 人脸脸型识别方法、装置、电子设备及存储介质
CN110599585A (zh) * 2019-08-05 2019-12-20 清华大学 基于深度学习的单图像人体三维重建方法及装置
CN113129425A (zh) * 2019-12-31 2021-07-16 Tcl集团股份有限公司 一种人脸图像三维重建方法、存储介质及终端设备
CN111833413B (zh) * 2020-07-22 2022-08-26 平安科技（深圳）有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111833413A (zh) * 2020-07-22 2020-10-27 平安科技（深圳）有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112489205A (zh) * 2020-12-16 2021-03-12 北京航星机器制造有限公司 一种仿真人脸制造方法
CN112991174A (zh) * 2021-03-13 2021-06-18 长沙学院 一种提高单帧红外图像分辨率的方法与系统
CN112882666A (zh) * 2021-03-15 2021-06-01 上海电力大学 一种基于三维建模与模型填补的3d打印系统及方法
CN113393582A (zh) * 2021-05-24 2021-09-14 电子科技大学 一种基于深度学习的三维物体重建算法
CN113781613A (zh) * 2021-09-15 2021-12-10 广州虎牙科技有限公司 表情驱动方法、系统及计算机设备
CN114092673B (zh) * 2021-11-23 2022-11-04 北京百度网讯科技有限公司 图像处理的方法、装置、电子设备和存储介质
CN114092673A (zh) * 2021-11-23 2022-02-25 北京百度网讯科技有限公司 图像处理的方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN107680158A (zh) 一种基于卷积神经网络模型的三维人脸重建方法
CN108596024B (zh) 一种基于人脸结构信息的肖像生成方法
CN109255831B (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
US11055828B2 (en) Video inpainting with deep internal learning
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
Zollhöfer et al. Automatic reconstruction of personalized avatars from 3D face scans
Wang et al. Face relighting from a single image under arbitrary unknown lighting conditions
CN107844795B (zh) 基于主成分分析的卷积神经网络特征提取方法
CN107067429A (zh) 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法
CN109815893A (zh) 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法
CN105069746A (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN111833237B (zh) 基于卷积神经网络和局部单应性变换的图像配准方法
CN112580515B (zh) 一种基于高斯热图回归的轻量级人脸关键点检测方法
CN109325994B (zh) 一种基于三维人脸数据增强的方法
CN111832517A (zh) 基于门控卷积的低清人脸关键点检测方法
Pan et al. Establishing point correspondence of 3d faces via sparse facial deformable model
CN116416376A (zh) 一种三维头发的重建方法、系统、电子设备及存储介质
CN111445426A (zh) 一种基于生成对抗网络模型的目标服装图像处理方法
Zhang et al. Adaptive affine transformation: A simple and effective operation for spatial misaligned image generation
CN107909565A (zh) 基于卷积神经网络的立体图像舒适度评价方法
CN111882516A (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
Yu et al. A framework for automatic and perceptually valid facial expression generation
CN117036876A (zh) 一种基于三维视角对齐的可泛化目标重识别模型构建方法
CN116823647A (zh) 基于快速傅里叶变换和选择性注意力机制的图像补全方法
CN110176057A (zh) 三维户型模型生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180209

RJ01 Rejection of invention patent application after publication