CN111508069B - 一种基于单张手绘草图的三维人脸重建方法 - Google Patents

一种基于单张手绘草图的三维人脸重建方法 Download PDF

Info

Publication number
CN111508069B
CN111508069B CN202010444040.0A CN202010444040A CN111508069B CN 111508069 B CN111508069 B CN 111508069B CN 202010444040 A CN202010444040 A CN 202010444040A CN 111508069 B CN111508069 B CN 111508069B
Authority
CN
China
Prior art keywords
sketch
data set
dimensional face
photo
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010444040.0A
Other languages
English (en)
Other versions
CN111508069A (zh
Inventor
霍静
杨丽
高阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Nanjing University
Original Assignee
Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd, Nanjing University filed Critical Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Priority to CN202010444040.0A priority Critical patent/CN111508069B/zh
Publication of CN111508069A publication Critical patent/CN111508069A/zh
Application granted granted Critical
Publication of CN111508069B publication Critical patent/CN111508069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于单张手绘草图的三维人脸重建方法，属于计算机应用领域。其中一种基于单张手绘草图的三维人脸重建方法，包括利用深度学习进行手绘草图的三维人脸重建，以现有的“照片‑三维人脸”数据集、“照片‑草图”数据集为基础，引入图像转换、图像变形两种方法获得“草图‑三维人脸”数据集来辅助训练，进而得到能恢复出草图的三维人脸的模型。本发明的有益效果为：利用图像转换、图像变形两种方法，基于现存的“照片‑三维人脸”数据集和“照片‑草图”数据集构建了两种合成数据用于训练，巧妙地解决了草图三维人脸重建中数据集缺失的问题。

Description

一种基于单张手绘草图的三维人脸重建方法
技术领域
本发明涉及一种基于单张手绘草图的三维人脸重建方法，属于计算机应用领域。
背景技术
三维人脸重建是计算机视觉和计算机图形学中的一类经典问题，其恢复出的三维人脸数据有着广泛的应用范围，比如人脸识别辅助、人脸动画仿真、虚拟人物设计等等。目前有关三维人脸重建的研究工作大都从照片出发，而拍摄照片时容易受光影效果的影响，使人脸上的细节信息丢失。草图是一种常见的肖像图形式，如素描图可着重记录人脸重要的、区分度高的特征、线条图可通过简单线条勾勒出人脸的各种信息等。基于草图的三维人脸重建有许多的应用场景却很少被人关注到，可以在照片质量不佳或不存在照片时恢复三维人脸，如基于嫌犯草图的三维重建辅助人脸识别、基于画家草图的三维重建辅助设计等。
三维人脸重建有两种最主流的传统方法：一是构建可以结构化表征三维人脸的主成分基，使用不同的基系数重构出目标三维人脸；二是依据像素级别的阴影变化建模，基于图像的明暗程度恢复出三维人脸。近年来，深度学习迅猛发展，许多计算机视觉任务包括三维人脸重建依托于深度学习取得了巨大进步。而三维人脸数据的采集相比传统图像来讲困难得多，需要花费大量的人力、物力与财力。草图三维人脸数据集更加难以获得。
本发明利用深度学习进行手绘草图的三维人脸重建，无需耗费大量人力、物力构建新的“草图-三维人脸”数据集，而是以现有的“照片-三维人脸”数据集、“照片-草图”数据集为基础，引入图像转换、图像变形两种方法获得“草图-三维人脸”数据集来辅助训练，进而得到能恢复出草图的三维人脸的模型。
发明内容
本发明所要解决的技术问题在于，在没有可用“草图-三维人脸”数据集进行训练的情况下，设计一种基于深度学习的草图三维人脸重建技术，能够高质量地重建三维人脸。
为解决上述技术问题，本发明提供一种基于单张手绘草图的三维人脸重建方法，其中，所述草图可以为素描、线条图等肖像图形式。本发明包括如下步骤：
步骤(1)选取用于训练的“照片-三维人脸”数据集A、“照片-草图”数据集B；
步骤(2)利用“照片-三维人脸”数据集A中的照片和“照片-草图”数据集B中的草图训练图像转换模型；
步骤(3)利用训练好的图像转换模型，将“照片-三维人脸”数据集A中的照片转换为对应样式的草图，得到“伪草图-三维人脸”数据集C；
步骤(4)检测“照片-草图”数据集B中照片和草图的人脸关键点；
步骤(5)根据步骤(4)检测到的人脸关键点坐标对“照片-草图”数据集B的照片进行形变处理，使照片和草图的关键点对齐；
步骤(6)利用任意训练好的“照片三维人脸重建模型”，获得步骤(5)中形变处理后照片的三维人脸，将之作为“照片-草图”数据集B中真实草图的伪三维人脸标签，得到“草图-伪三维人脸”数据集D；
步骤(7)搭建神经网络；
步骤(8)利用“伪草图-三维人脸”数据集C和“草图-伪三维人脸”数据集
D训练模型，待模型收敛后保存模型参数；
步骤(9)利用训练好的神经网络模型，对输入的任意单张手绘草图进行处理，得到重建的三维人脸。
可选地，所述步骤(1)的选取用于训练的“照片-三维人脸”数据集A、“照片-草图”数据集B，这两个数据集的人物身份可不相同。
可选地，所述步骤(2)的利用“照片-三维人脸”数据集A中的照片和“照片-草图”数据集B中的草图训练图像转换模型，包括如下步骤：
(1)选取“照片-三维人脸”数据集A中的照片和“照片-草图”数据集B中的草图；
(2)检测选取到的照片、草图的人脸关键点，根据关键点坐标对照片和草图进行裁剪，使各图片保持相似的人脸占比；
(3)对裁剪后的照片、草图进行数据增广，如一定角度内的随机旋转、翻转；
(4)将处理后的照片、草图作为训练数据，训练并保存图像转换模型以备使用。
可选地，所述步骤(5)的对“照片-草图”数据集B的照片进行形变处理，以照片、草图上的密集人脸关键点为依据，对照片进行仿射变换，使变换后照片、草图的人脸关键点一一对应。
可选地，所述步骤(8)的利用“伪草图-三维人脸”数据集C和“草图-伪三维人脸”数据集D训练模型：引入图像转换方法，利用大规模的“照片-三维人脸”数据集获得同样大规模“伪草图-三维人脸”数据集，使得模型可以从海量数据中学到三维人脸重建规律；引入图像变形方法，依据“照片-草图”数据集及训练好的“基于照片的三维人脸重建模型”获得了“草图-伪三维人脸”数据集，将真实草图数据加入到模型训练之中。两种合成数据相互补充，共同辅助模型的训练。
本发明的有益效果为：
(1)现有的三维重建方法大多从照片出发，而照片拍摄时容易受光影效果的影响，可能并不能如实得记录被摄者的脸部特征。本发明关注到草图的三维人脸重建，且方法适用于各种不同形式的草图，如手绘素描、手绘线条图等。
(2)深度学习需要大量数据用于监督训练，但是目前不存在公开的“草图-三维人脸”数据集。本发明利用图像转换、图像变形两种方法，基于现存的“照片-三维人脸”数据集和“照片-草图”数据集构建了两种合成数据用于训练，巧妙地解决了草图三维人脸重建中数据集缺失的问题。
附图说明
图1为本发明的方法流程图。
图2为本发明的草图样例示意图，可以为手绘素描、手绘线条图等。
图3为本发明检测的人脸关键点示意图。
图4为本发明的“照片-草图”数据集对齐方法示意图。
图5为本发明的网络结构示意图。
图6为本发明的草图重建结果示意图。
具体实施方式
近年来，深度学习迅猛发展，许多计算机视觉任务包括三维人脸重建依托于深度学习取得了巨大进步。而三维人脸数据的采集相比传统图像来讲困难得多，需要花费大量的人力、物力与财力。草图三维人脸数据集更加难以获得，目前公开数据集中，我们可以找到“照片-三维人脸”数据集、“照片-草图”数据集，却无法找到“草图-三维人脸”数据集用于训练。
本发明实施例提供一种基于单张手绘草图的三维人脸重建方法，如图1方法流程图所示，其主要包括如下步骤：
选取“照片-三维人脸”数据集A，“照片-草图”数据集B，其中，所述“照片-三维人脸”数据集A应包括成对的照片和三维人脸，所述“照片-草图”数据集B应包括成对的照片和草图。划分好训练集、验证集和测试集。本发明中“照片-三维人脸”数据集和“照片-草图”数据集的人物身份可不相同。
本发明实施例中，三维人脸以深度图的形式表示，三维人脸数据集可采用现有的FineData数据集，可从github的Juyong/3DFace获得；草图人脸数据集中的草图可以为不同精细程度的素描图、线条图等形式，如图2的草图样例示意图所示，可以采用CUFSF或CUFS或ZJU-VIPALine Drawing Face Database，本发明实施例中选用CUFSF数据集。
本发明的网络结构示意图如图5所示，为编码器-解码器结构，其中编码器由下采样模块和残差块组成，解码器由残差块和上采样模块组成。为了使网络更加关注于人脸部分的重建，本发明对输入和输出的图片进行了掩码处理，即只保留了人脸区域，如图6的第二列所示。
利用FineData中的照片和CUFSF中的草图训练图像转换模型，利用训练好的模型将FineData中的照片转换为对应的草图，得到“伪草图-三维人脸”数据集，具体的：
(1)选取FineData中的900张照片，选取CUFSF中的900张草图。
(2)检测照片、草图的人脸关键点，根据检测到的关键点坐标对照片、草图进行裁剪，使得所有图像具有相似的人脸占比。
(3)以图片中心为原点，对照片、草图进行随机旋转、随机翻转的数据增广，其中随机旋转的角度限制在±45°。
(4)利用步骤(3)中获得的数据训练CycleGAN模型并保存。
(5)利用训练好的CycleGAN模型，将FineData数据集中的照片转换为对应的草图，获得成对的“伪草图-三维人脸”数据集。
对CUFSF数据集中成对的照片和草图进行人脸关键点对齐处理，具体的：
(1)检测CUFSF数据集中照片和草图的人脸关键点，本发明实施例中检测的关键点个数为106个，示意图如图3所示。
(2)针对CUFSF数据集中成对的照片和草图，以检测到的关键点为指导对照片进行仿射变换变形处理，使得照片与草图的106对关键点一一对应。变形处理可采用skimage的transform工具。
将CUFSF数据集中变形处理后的照片输入到任意“基于照片的三维人脸重建模型”中，得到照片所对应的三维人脸，将之作为CUFSF数据集中草图的伪三维人脸标签，得到“草图-伪三维人脸”数据集。本发明实施例中使用的“基于照片的三维人脸重建模型”，是基于FineData原始数据集训练得到的。
使用上述步骤中构建的“伪草图-三维人脸”数据集和“草图-伪三维人脸”数据集训练图5所示的神经网络，待模型收敛后保存模型参数，具体的：
(1)正向传播中：输入“伪草图-三维人脸”数据集中的合成草图sF，得到重建的深度图dF；输入“草图-伪三维人脸”数据集中的真实草图sC，得到重建的深度图dC。
(2)反向传播中：通过约束dF与目标深度图dF_GT，约束dC与目标深度图dC_GT之间的L2距离来训练神经网络模型，网络的损失函数为：
Loss＝α||dF,dF_GT||2+β||dC,dC_GT||2
其中α和β是用来平衡两个数据集的权重参数。
利用训练好的神经网络模型，对输入的任意单张手绘草图进行处理，得到重建的三维人脸。草图的三维人脸重建结果如图6所示，其中第一列为待恢复的草图，第二列为掩码处理后的草图，第三列为恢复的草图三维人脸。

Claims (5)

1.一种基于单张手绘草图的三维人脸重建方法，其特征在于：包括所述草图为手绘素描或手绘线条图的肖像图形式，所述方法包括以下步骤：
步骤（1）选取用于训练的“照片-三维人脸”数据集A、“照片-草图”数据集B；
步骤（2）利用“照片-三维人脸”数据集A中的照片和“照片-草图”数据集B中的草图训练图像转换模型；
步骤（3）利用训练好的图像转换模型，将“照片-三维人脸”数据集A中的照片转换为对应样式的草图，得到“伪草图-三维人脸”数据集C；
步骤（4）检测“照片-草图”数据集B中照片和草图的人脸关键点；
步骤（5）根据步骤（4）检测到的人脸关键点坐标对“照片-草图”数据集B的照片进行形变处理；
步骤（6）利用任意训练好的“照片三维人脸重建模型”，获得步骤（5）中形变处理后照片的三维人脸，将之作为“照片-草图”数据集B中真实草图的伪三维人脸标签，得到“草图-伪三维人脸”数据集D；
步骤（7）搭建神经网络；
步骤（8）利用“伪草图-三维人脸”数据集C和“草图-伪三维人脸”数据集D训练模型，待模型收敛后保存模型参数；
步骤（9）利用训练好的神经网络模型，对输入的任意单张手绘草图进行处理，得到重建的三维人脸。
2.根据权利要求1所述的一种基于单张手绘草图的三维人脸重建方法，其特征在于：所述步骤（1）的选取用于训练的“照片-三维人脸”数据集A、“照片-草图”数据集B，这两个数据集的人物身份不相同。
3.根据权利要求1所述的一种基于单张手绘草图的三维人脸重建方法，其特征在于：所述步骤（2）的利用“照片-三维人脸”数据集A中的照片和“照片-草图”数据集B中的草图训练图像转换模型，包括如下步骤：
选取“照片-三维人脸”数据集A中的照片和“照片-草图”数据集B中的草图；
检测选取到的照片、草图的人脸关键点，根据关键点坐标对照片和草图进行裁剪，使各图片保持相似的人脸占比；
对裁剪后的照片、草图进行数据增广；
将处理后的照片、草图作为训练数据，训练图像转换模型并保存以备使用。
4.根据权利要求1所述的一种基于单张手绘草图的三维人脸重建方法，其特征在于：所述步骤（5）的对“照片-草图”数据集B的照片进行形变处理，以照片、草图上的密集人脸关键点为依据，对照片进行仿射变换，使变换后照片、草图的人脸关键点一一对应。
5.根据权利要求1所述的一种基于单张手绘草图的三维人脸重建方法，其特征在于：所述步骤（8）的利用“伪草图-三维人脸”数据集C和“草图-伪三维人脸”数据集D训练模型：引入图像转换方法，利用大规模的“照片-三维人脸”数据集获得同样大规模“伪草图-三维人脸”数据集，使得模型从海量数据中学到三维人脸重建规律；引入图像变形方法，依据“照片-草图”数据集及训练好的“基于照片的三维人脸重建模型”获得了“草图-伪三维人脸”数据集，将真实草图数据加入到模型训练之中。
CN202010444040.0A 2020-05-22 2020-05-22 一种基于单张手绘草图的三维人脸重建方法 Active CN111508069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010444040.0A CN111508069B (zh) 2020-05-22 2020-05-22 一种基于单张手绘草图的三维人脸重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010444040.0A CN111508069B (zh) 2020-05-22 2020-05-22 一种基于单张手绘草图的三维人脸重建方法

Publications (2)

Publication Number Publication Date
CN111508069A CN111508069A (zh) 2020-08-07
CN111508069B true CN111508069B (zh) 2023-03-21

Family

ID=71878550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010444040.0A Active CN111508069B (zh) 2020-05-22 2020-05-22 一种基于单张手绘草图的三维人脸重建方法

Country Status (1)

Country Link
CN (1) CN111508069B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308957B (zh) * 2020-08-14 2022-04-26 浙江大学 一种基于深度学习的最佳胖瘦人脸肖像图像自动生成方法
CN112883826B (zh) * 2021-01-28 2024-04-09 南京大学 一种基于学习几何和纹理风格迁移的人脸漫画生成方法
CN116704128B (zh) * 2023-06-15 2023-12-12 北京元跃科技有限公司 一种基于深度学习的单张绘画生成3d模型的方法及系统
CN117830083B (zh) * 2024-03-05 2024-05-03 昆明理工大学 一种人脸素描到人脸照片的生成方法、装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853523A (zh) * 2010-05-18 2010-10-06 南京大学 一种采用草图创建三维人脸模型的方法
CN104157010A (zh) * 2014-08-29 2014-11-19 厦门幻世网络科技有限公司 一种3d人脸重建的方法及其装置
CN110659727A (zh) * 2019-09-24 2020-01-07 中国科学技术大学 一种基于草图的图像生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2998402B1 (fr) * 2012-11-20 2014-11-14 Morpho Procede de generation d'un modele de visage en trois dimensions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853523A (zh) * 2010-05-18 2010-10-06 南京大学 一种采用草图创建三维人脸模型的方法
CN104157010A (zh) * 2014-08-29 2014-11-19 厦门幻世网络科技有限公司 一种3d人脸重建的方法及其装置
CN110659727A (zh) * 2019-09-24 2020-01-07 中国科学技术大学 一种基于草图的图像生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊平 ; 卢烨 ; .基于单张照片的三维人脸重建优化算法.2013,(08),全文. *

Also Published As

Publication number Publication date
CN111508069A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111508069B (zh) 一种基于单张手绘草图的三维人脸重建方法
CN109544442B (zh) 基于双重对抗的生成式对抗网络的图像局部风格迁移方法
Sheng et al. Deep neural representation guided face sketch synthesis
CN112837210B (zh) 一种基于特征图分块的多形变风格人脸漫画自动生成方法
CN113362422B (zh) 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
CN110599411A (zh) 一种基于条件生成对抗网络的图像修复方法及系统
CN110766786A (zh) 基于生成对抗网络的草图到浅浮雕模型生成的方法
CN112184582B (zh) 一种基于注意力机制的图像补全方法及装置
CN107066979A (zh) 一种基于深度信息和多维度卷积神经网络的人体动作识别方法
CN112288645A (zh) 一种颅骨面貌复原模型构建方法及复原方法与系统
CN116310712A (zh) 一种基于循环生成对抗网络的图像水墨风格迁移方法及系统
CN116957866A (zh) 一种数字人教师个性化教学装置
CN114092354A (zh) 一种基于生成对抗网络的人脸图像修复方法
Sun et al. ESinGAN: Enhanced single-image GAN using pixel attention mechanism for image super-resolution
CN112163605A (zh) 一种基于生成注意力网络的多域图像翻译方法
CN111489405A (zh) 基于条件增强生成对抗网络的人脸草图合成系统
Meng et al. A Novel Steganography Algorithm Based on Instance Segmentation.
CN116977455A (zh) 基于深度双向学习的人脸素描图像生成系统及方法
Kuang et al. A Pixel image generation algorithm based on CycleGAN
Zhang et al. Calligraphy fonts generation based on generative adversarial networks
CN114399593B (zh) 基于深度学习的人脸眼镜移除和三维模型生成方法
Peng et al. HiFiSketch: High Fidelity Face Photo-Sketch Synthesis and Manipulation
CN117333778B (zh) 用于植物科普教育的基于知识图谱的零样本植物识别方法
CN115115537B (zh) 一种基于掩码训练的图像修复方法
CN117252892B (zh) 基于轻量化视觉自注意力网络的双分支人像自动抠图装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant