CN111583128A - 基于深度学习和真实感渲染的人脸图片高光去除方法 - Google Patents
基于深度学习和真实感渲染的人脸图片高光去除方法 Download PDFInfo
- Publication number
- CN111583128A CN111583128A CN202010275587.2A CN202010275587A CN111583128A CN 111583128 A CN111583128 A CN 111583128A CN 202010275587 A CN202010275587 A CN 202010275587A CN 111583128 A CN111583128 A CN 111583128A
- Authority
- CN
- China
- Prior art keywords
- face
- picture
- rendering
- highlight
- face picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 230000014509 gene expression Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000005286 illumination Methods 0.000 claims description 12
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习和真实感渲染的人脸图片高光去除方法，包括：通过人脸采集系统采集不同的人在不同表情下的高精度人脸三维模型；利用高精度人脸三维模型渲染逼真人脸图片，并在渲染时分别渲染得到图片中的高光分量和漫反射分量；利用渲染出的逼真人脸图片以及高光分量和漫反射分量作为训练的强监督数据训练生成对抗网络得到人脸图片高光去除网络；将待处理人脸图片输入人脸图片高光去除网络，通过人脸图片高光去除网络提取出待处理人脸图片中的漫反射分量，进而得到高光去除后的人脸图片。该方法可以对各种人脸图片进行处理，不受人脸表情，人脸朝向和环境光照的影响。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于深度学习和真实感渲染的人脸图片高光去除方法。
背景技术
深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
无高光在图片处理领域非常重要，一些人脸识别算法对图片中人脸是否有高光比较敏感，一些人脸图片处理的方法，比如人脸重光照，往往处理不好图片中包含高光的区域，人脸图片去高光技术能够解决这些问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于深度学习和真实感渲染的人脸图片高光去除方法，该方法仅需输入单张人脸图片，就可以生成其去除高光分量的结果，且不受输入人脸图片的表情、人脸朝向和光照的限制。
为达到上述目的，本发明一方面实施例提出了一种基于深度学习和真实感渲染的人脸图片高光去除方法，包括以下步骤：
通过人脸采集系统采集不同的人在不同表情下的高精度人脸三维模型；
利用所述高精度人脸三维模型渲染逼真人脸图片，并在渲染时分别渲染得到图片中的高光分量和漫反射分量；
利用渲染出的数据作为训练的强监督数据训练生成对抗网络得到人脸图片高光去除网络；
将待处理人脸图片输入所述人脸图片高光去除网络，通过所述人脸图片高光去除网络提取出所述待处理人脸图片中的漫反射分量，进而得到高光去除后的人脸图片。
本发明实施例的基于深度学习和真实感渲染的人脸图片高光去除方法，通过人脸采集系统采集到不同人在不同表情下的高精度人脸三维模型；利用基于光线追踪的渲染器，使用采集到的高精度人脸三维模型，渲染出在各种不同的相机参数、不同人脸模型位姿和不同光照下的逼真人脸图片，在渲染时分别渲染得到图片中的高光分量和漫反射分量；基于生成对抗网络，利用渲染出的数据作为训练的强监督数据，训练出一个可以将人脸图片中漫反射分量分离出来的神经网络。在应用时，输入一张人脸图片，训练好的生成网络可以将其中的漫反射分量提取出来。该方法可以对各种人脸图片进行处理，不受人脸表情，人脸朝向和环境光照的影响。
另外，根据本发明上述实施例的基于深度学习和真实感渲染的人脸图片高光去除方法还可以具有以下附加的技术特征：
在本发明的一个实施例中，所述人脸高精几何模型包括不同种族、不同年龄、不同性别的人的不同人脸模型。
在本发明的一个实施例中，所述通过人脸采集系统采集不同人在不同表情下的高精度人脸三维模型，包括：
利用多相机系统，在均匀光照下采集同一人脸在不同视角下的图片，并利用多视角重建方法对人脸进行重建，同一人脸采集其不同表情下的人脸几何，通过采集不同的人得到所述高精度人脸三维模型。
在本发明的一个实施例中，所述对所述高精度人脸三维模型进行渲染，分别渲染得到图片中的高光分量和漫反射分量，包括：
利用基于光线追踪的渲染器，使用采集到的高精度人脸三维模型，渲染出在不同的相机参数、不同人脸模型位姿和不同光照下的逼真人脸图片，在渲染时分别渲染得到图片中的高光分量和漫反射分量。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于深度学习和真实感渲染的人脸图片高光去除方法流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于深度学习和真实感渲染的人脸图片高光去除方法。
图1为根据本发明一个实施例的基于深度学习和真实感渲染的人脸图片高光去除方法流程图。
如图1所示，该基于深度学习和真实感渲染的人脸图片高光去除方法包括以下步骤：
步骤S1，通过人脸采集系统采集不同的人在不同表情下的高精度人脸三维模型。
具体地，采集的人脸高精几何模型包括不同种族、不同年龄、不同性别的人的不同人脸模型。
在本发明的实施例中，利用多相机系统，在均匀光照下采集同一人脸在不同视角下的图片，并利用多视角重建方法对人脸进行重建，同一人脸采集其不同表情下的人脸几何，通过采集不同的人得到高精度人脸三维模型。
作为一种具体的实施方式，采集了200个不同种族、性别和年龄的人，在均匀光照下的人脸不同表情的图片，每个表情使用27个相机同时拍摄，并用多视角重建技术重建了高精人脸几何。
步骤S2，利用高精度人脸三维模型渲染逼真人脸图片，并在渲染时分别渲染得到图片中的高光分量和漫反射分量。
具体地，利用基于光线追踪的渲染器，使用采集到的高精度人脸三维模型，渲染出在不同的相机参数、不同人脸模型位姿和不同光照下的逼真人脸图片，在渲染时分别渲染得到图片中的高光分量和漫反射分量。
在本发明的一个实施例中，将采集的人脸高精几何模型，在HDR光照下，使用基于光线追踪的渲染器进行高质量渲染，对于同一人脸模型，渲染了其在不同相机参数、人脸朝向和光照条件下的逼真人脸图片，并且同时渲染出了其高光分量和漫反射分量。
步骤S3，利用渲染出的数据作为训练的强监督数据训练生成对抗网络得到人脸图片高光去除网络。
基于生成对抗网络，将渲染出的逼真图片及其漫反射分量作为强监督训练数据，要求在输入某一个渲染图片时生成网络的输出与其渲染得到的漫反射分量尽量相等，从而训练出一个人脸图片高光去除网络。
步骤S4，将待处理人脸图片输入人脸图片高光去除网络，通过人脸图片高光去除网络提取出待处理人脸图片中的漫反射分量，进而得到高光去除后的人脸图片。
通过训练得到的高光去除网络对待处理的人脸图片进行处理，即可得到高光去除后的人脸图片。
根据本发明实施例提出的基于深度学习和真实感渲染的人脸图片高光去除方法，通过人脸采集系统采集到不同人在不同表情下的高精度人脸三维模型；利用基于光线追踪的渲染器，使用采集到的高精度人脸三维模型，渲染出在各种不同的相机参数、不同人脸模型位姿和不同光照下的逼真人脸图片，在渲染时分别渲染得到图片中的高光分量和漫反射分量；基于生成对抗网络，利用渲染出的数据作为训练的强监督数据，训练出一个可以将人脸图片中漫反射分量分离出来的神经网络。在应用时，输入一张人脸图片，训练好的生成网络可以将其中的漫反射分量提取出来。该方法可以对各种人脸图片进行处理，不受人脸表情，人脸朝向和环境光照的影响。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (4)
1.一种基于深度学习和真实感渲染的人脸图片高光去除方法，其特征在于，包括以下步骤：
通过人脸采集系统采集不同的人在不同表情下的高精度人脸三维模型；
利用所述高精度人脸三维模型渲染逼真人脸图片，并在渲染时分别渲染得到图片中的高光分量和漫反射分量；
利用渲染出的数据作为训练的强监督数据训练生成对抗网络得到人脸图片高光去除网络；
将待处理人脸图片输入所述人脸图片高光去除网络，通过所述人脸图片高光去除网络提取出所述待处理人脸图片中的漫反射分量，进而得到高光去除后的人脸图片。
2.根据权利要求1所述的基于深度学习和真实感渲染的人脸图片高光去除方法，其特征在于，所述人脸高精几何模型包括不同种族、不同年龄、不同性别的人的不同人脸模型。
3.根据权利要求1所述的基于深度学习和真实感渲染的人脸图片高光去除方法，其特征在于，所述通过人脸采集系统采集不同人在不同表情下的高精度人脸三维模型，包括：
利用多相机系统，在均匀光照下采集同一人脸在不同视角下的图片，并利用多视角重建方法对人脸进行重建，同一人脸采集其不同表情下的人脸几何，通过采集不同的人得到所述高精度人脸三维模型。
4.根据权利要求1所述的基于深度学习和真实感渲染的人脸图片高光去除方法，其特征在于，所述对所述高精度人脸三维模型进行渲染，分别渲染得到图片中的高光分量和漫反射分量，包括：
利用基于光线追踪的渲染器，使用采集到的高精度人脸三维模型，渲染出在不同的相机参数、不同人脸模型位姿和不同光照下的逼真人脸图片，在渲染时分别渲染得到图片中的高光分量和漫反射分量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010275587.2A CN111583128B (zh) | 2020-04-09 | 2020-04-09 | 基于深度学习和真实感渲染的人脸图片高光去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010275587.2A CN111583128B (zh) | 2020-04-09 | 2020-04-09 | 基于深度学习和真实感渲染的人脸图片高光去除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111583128A true CN111583128A (zh) | 2020-08-25 |
| CN111583128B CN111583128B (zh) | 2022-08-12 |
Family
ID=72120561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010275587.2A Active CN111583128B (zh) | 2020-04-09 | 2020-04-09 | 基于深度学习和真实感渲染的人脸图片高光去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583128B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686819A (zh) * | 2020-12-29 | 2021-04-20 | 东北大学 | 基于生成对抗网络的魔方图像高光去除方法及装置 |
| CN115082608A (zh) * | 2022-05-26 | 2022-09-20 | 网易（杭州）网络有限公司 | 虚拟角色服装渲染方法、装置、电子设备和存储介质 |
| CN116977535A (zh) * | 2023-09-25 | 2023-10-31 | 北京渲光科技有限公司 | 一种实时光线追踪的方法、装置、存储介质及电子设备 |
| WO2023219131A1 (ja) * | 2022-05-11 | 2023-11-16 | 花王株式会社 | 評価装置、評価システム、評価方法及びプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090310828A1 (en) * | 2007-10-12 | 2009-12-17 | The University Of Houston System | An automated method for human face modeling and relighting with application to face recognition |
| CN107506714A (zh) * | 2017-08-16 | 2017-12-22 | 成都品果科技有限公司 | 一种人脸图像重光照的方法 |
| CN108596062A (zh) * | 2018-04-12 | 2018-09-28 | 清华大学 | 基于深度学习的人脸图片实时高光去除方法及装置 |
| CN108665421A (zh) * | 2017-03-31 | 2018-10-16 | 北京旷视科技有限公司 | 人脸图像高光分量去除装置和方法、存储介质产品 |
| CN110428491A (zh) * | 2019-06-24 | 2019-11-08 | 北京大学 | 基于单帧图像的三维人脸重建方法、装置、设备及介质 |
-
2020
- 2020-04-09 CN CN202010275587.2A patent/CN111583128B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090310828A1 (en) * | 2007-10-12 | 2009-12-17 | The University Of Houston System | An automated method for human face modeling and relighting with application to face recognition |
| CN108665421A (zh) * | 2017-03-31 | 2018-10-16 | 北京旷视科技有限公司 | 人脸图像高光分量去除装置和方法、存储介质产品 |
| CN107506714A (zh) * | 2017-08-16 | 2017-12-22 | 成都品果科技有限公司 | 一种人脸图像重光照的方法 |
| CN108596062A (zh) * | 2018-04-12 | 2018-09-28 | 清华大学 | 基于深度学习的人脸图片实时高光去除方法及装置 |
| CN110428491A (zh) * | 2019-06-24 | 2019-11-08 | 北京大学 | 基于单帧图像的三维人脸重建方法、装置、设备及介质 |
Non-Patent Citations (3)
| Title |
|---|
| ZHAN-LI SUN 等: ""A SPECTRAL FEATURE BASED APPROACH FOR FACE RECOGNITION WITH ONE TRAINING SAMPLE"", 《IEEE》 * |
| 李明悦: ""基于稀疏表示的人脸图像高光检测和消除"", 《图形图像》 * |
| 杨恒 等: ""融合YCbCr肤色模型与区域标记的人脸检测算法研究"", 《软件导刊》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686819A (zh) * | 2020-12-29 | 2021-04-20 | 东北大学 | 基于生成对抗网络的魔方图像高光去除方法及装置 |
| WO2023219131A1 (ja) * | 2022-05-11 | 2023-11-16 | 花王株式会社 | 評価装置、評価システム、評価方法及びプログラム |
| CN115082608A (zh) * | 2022-05-26 | 2022-09-20 | 网易（杭州）网络有限公司 | 虚拟角色服装渲染方法、装置、电子设备和存储介质 |
| CN116977535A (zh) * | 2023-09-25 | 2023-10-31 | 北京渲光科技有限公司 | 一种实时光线追踪的方法、装置、存储介质及电子设备 |
| CN116977535B (zh) * | 2023-09-25 | 2024-01-12 | 北京渲光科技有限公司 | 一种实时光线追踪的方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111583128B (zh) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583128B (zh) | 基于深度学习和真实感渲染的人脸图片高光去除方法 | |
| Wu et al. | Learning shape priors for single-view 3d completion and reconstruction | |
| CN108961272B (zh) | 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法 | |
| CN110428493B (zh) | 基于网格形变的单图像人体三维重建方法及系统 | |
| CN111340944B (zh) | 基于隐式函数和人体模板的单图像人体三维重建方法 | |
| Li et al. | End-to-end learning of deep convolutional neural network for 3D human action recognition | |
| CN110197156B (zh) | 基于深度学习的单图像的人手动作与形状重建方法及装置 | |
| CN107580207A (zh) | 光场3d显示单元图像的生成方法及生成装置 | |
| CN111476884A (zh) | 基于单帧rgbd图像的实时三维人体重建方法及系统 | |
| CN110555527A (zh) | 延时摄影视频的生成方法及设备 | |
| CN110599585A (zh) | 基于深度学习的单图像人体三维重建方法及装置 | |
| KR101995411B1 (ko) | 신체 모델 생성 장치 및 방법 | |
| CN113033442A (zh) | 基于StyleGAN的高自由度人脸驱动方法和装置 | |
| Morgenstern et al. | Progressive non-rigid registration of temporal mesh sequences | |
| Wang et al. | Face aging on realistic photos by generative adversarial networks | |
| CN111597978A (zh) | 基于StarGAN网络模型实现行人重识别图片自动生成的方法 | |
| CN111223161B (zh) | 一种图像重建方法、装置及存储介质 | |
| KR102170445B1 (ko) | 딥 러닝 기술을 활용한 자동 캐릭터 얼굴 표정 모델링 방법 | |
| US20220157016A1 (en) | System and method for automatically reconstructing 3d model of an object using machine learning model | |
| CN115239857A (zh) | 图像生成方法以及电子设备 | |
| CN116977455A (zh) | 基于深度双向学习的人脸素描图像生成系统及方法 | |
| KR20040034221A (ko) | 3차원 형상 복원 시스템 및 방법 | |
| Farooq et al. | Generating Thermal Image Data Samples using 3D Facial Modelling Techniques and Deep Learning Methodologies | |
| CN112288861A (zh) | 一种基于单张照片的人脸三维模型自动构建方法及系统 | |
| Liu et al. | 3D ear reconstruction attempts: Using multi-view |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |