CN112150615A - 基于三维人脸模型的人脸图像生成方法、装置及存储介质 - Google Patents
基于三维人脸模型的人脸图像生成方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112150615A CN112150615A CN202011018429.5A CN202011018429A CN112150615A CN 112150615 A CN112150615 A CN 112150615A CN 202011018429 A CN202011018429 A CN 202011018429A CN 112150615 A CN112150615 A CN 112150615A
- Authority
- CN
- China
- Prior art keywords
- face
- face image
- texture
- model
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000005286 illumination Methods 0.000 claims abstract description 53
- 238000005070 sampling Methods 0.000 claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims 2
- 230000036544 posture Effects 0.000 description 12
- 238000009877 rendering Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010425 computer drawing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Abstract
本发明提供一种基于三维人脸模型的人脸图像生成方法、装置及存储介质，包括：在目标空间进行入射光方向采样，获取采样数据并根据确定的采样方向模拟真实场景中的光照分布；依次使用从所述采样方向入射的平行光源绘制人脸三维模型，获取模型基纹理；根据目标空间的新光照分布计算组合系数，并根据所述组合系数对所述模型基纹理进行线性组合，获得新光照条件下的人脸纹理；将所述人脸纹理映射到所述人脸三维模型，并根据给定的姿态投影生成新的人脸图像；通过上述方式，可以快速生成任意光照、姿态下对应的人脸图像，从而构建高质量人脸图像库。
Description
技术领域
本发明涉及人脸识别技术领域，具体而言，涉及一种基于三维人脸模型的人脸图像生成方法、装置及存储介质。
背景技术
随着传感技术的发展，采集高精度人脸三维模型已经成为现实，基于采集的三维人脸模型，根据计算机绘制技术生成新光照、新姿态下的人脸图像以构建大规模、高质量的人脸图像库，可为人脸识别深度神经网络的训练提供充足数据，是提高人脸识别准确率的有效手段。但是，真实应用中人脸姿态和场景光照变化多端，若要构建具有丰富光照、姿态种类的人脸图像库，需要极大的绘制计算量。
已有基于三维模型的人脸图像生成工作大多集中在人脸绘制方法的研究上，重点关注如何生成具有高度真实感的人脸绘制效果，如：专利CN201710172936.6提出一种层状机构人脸模型的真实渲染方法，可得到较为真实的绘制结果；专利CN201610940958.8提出了一种基于Hermite插值神经网络回归模型的人脸面部渲染方法，可以提高人脸图像绘制效率；但是，这类方法主要解决特定光照、姿态对应人脸图像的绘制问题，当生成大量光照、姿态多变的人脸图像时需要进行大量的绘制运算，效率较低。还有一类方法首先通过图像重建人脸三维模型，再基于模型生成新光照、姿态下的人脸图像，例如，专利CN201710769583.8利用单张人脸图像提出了一种快速生成大量复杂光源人脸图像的方法，该方法首先基于图像重建人脸三维模型，再通过人为设定光源分布和人脸姿态绘制生成新的人脸图像，但是，由于缺少人脸信息，使用单张人脸图像重建的人脸存在较大误差，生成的人脸图像难以保持人脸身份特征不变，另外，这些方法在场景光照发生变化时，需要重新绘制人脸以生成新光照下的人脸图像，因此在构建包含多种光照的人脸图像库时，仍面临需要进行大量绘制计算的问题。
发明内容
本发明的目的在于提供一种基于三维人脸模型的人脸图像生成方法、装置及存储介质，用以实现快速生成任意光照、姿态下对应的人脸图像，从而构建高质量人脸图像库的技术效果。
第一方面，本发明提供了一种基于三维人脸模型的人脸图像生成方法，包括在目标空间进行入射光方向采样，获取采样数据并根据确定的采样方向模拟真实场景中的光照分布；依次使用从所述采样方向入射的平行光源绘制人脸三维模型，获取模型基纹理；根据目标空间的新光照分布计算组合系数，并根据所述组合系数对所述模型基纹理进行线性组合，获得新光照条件下的人脸纹理；将所述人脸纹理映射到所述人脸三维模型，并根据给定的姿态投影生成新的人脸图像。
进一步地，所述人脸图像生成方式为：
其中，L表示光照分布；n表示光照分布L离散成的从目标空间不同角度入射的平行光源的数量；li表示第i个光源入射角度；Bi表示目标空间中仅存第i个光源且第i个光源为单位强度时对应的人脸图像；IL表示人脸图像。
进一步地，所述方法还包括：获取用户预设的姿态列表，根据所述姿态列表投影生成各个姿态下的人脸图像。
第二方面，本发明提供了一种基于三维人脸模型的人脸图像生成装置，包括：
模拟模块，用于获取采样数据并根据确定的采样方向模拟真实场景中的光照分布；其中，所述采样数据通过在目标空间进行入射光方向采样获得；
基纹理获取模块，用于依次使用从所述采样方向入射的平行光源绘制人脸三维模型，获取模型基纹理；
人脸纹理获取模块，用于根据目标空间的新光照分布计算组合系数，并根据所述组合系数对所述模型基纹理进行线性组合，获得新光照条件下的人脸纹理；
人脸图像获取模块，用于将所述人脸纹理映射到所述人脸三维模型，并根据给定的姿态投影生成新的人脸图像。
进一步地，所述人脸图像获取模块还用于获取用户预设的姿态列表，根据所述姿态列表投影生成各个姿态下的人脸图像。
第三方面，本发明提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明能够实现的有益效果是：本发明首先在目标空间进行入射光方向采样，确定使用哪些方向的入射光模拟真实场景中的光照分布；然后依次使用从采样的采样方向入射的平行光源绘制人脸三维模型，获取模型基纹理；接下来根据新光照分布计算组合系数，并使用这些系数线性组合基纹理以获得新光照条件下的人脸纹理；最后，将纹理赋予人脸三维模型，根据给定的姿态投影生成新的人脸图像；可以快速生成任意光照、姿态下对应的人脸图像，从而构建高质量人脸图像库。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还用于根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种基于三维人脸模型的人脸图像生成方法流程示意图；
图2为本发明实施例提供的一种基于三维人脸模型的人脸图像生成装置拓扑结构示意图。
图标：10-人脸图像生成装置；100-模拟模块；200-基纹理获取模块；300-人脸纹理获取模块；400-人脸图像获取模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参看图1，图1为本发明实施例提供的一种基于三维人脸模型的人脸图像生成方法流程示意图。
经申请人研究发现，传统人脸数据建库方法构建高多样性数据库的实际可操作性非常低，基于高精度三维人脸模型，根据计算机绘制技术生成新光照、新姿态下的人脸图像以构建大规模、高质量的人脸图像库，可为人脸识别深度神经网络的训练提供充足数据，是提高人脸识别准确率的有效手段。但是，真实应用中人脸姿态和场景光照变化多端，若要构建具有丰富光照、姿态种类的人脸图像库，需要极大的绘制计算量。所以，本发明提出了一种基于三维人脸模型的人脸图像生成方法，可基于三维人脸模型快速生成任意光照、姿态对应人脸图像，从而实现构建高质量人脸图像库的目的。其具体内容如下所述。
步骤S101，在目标空间进行入射光方向采样，获取采样数据并根据确定的采样方向模拟真实场景中的光照分布。
在一种实施方式中，用户可以先在目标空间进行入射光方向采样，获取采样数据并确定采样方向，然后通过计算机内部的处理程序模拟真实场景中的光照分布。
步骤S102，依次使用从所述采样方向入射的平行光源绘制人脸三维模型，获取模型基纹理。
在一种实施方式中，当确认采样方向后，就可以在模拟的场景中依次使用从对应的采样方向入射的平行光源绘制人脸三维模型，获取模型基纹理。
步骤S103，根据目标空间的新光照分布计算组合系数，并根据所述组合系数对所述模型基纹理进行线性组合，获得新光照条件下的人脸纹理。
在一种实施方式中，当获得模型基纹理后，就可以根据获取到的目标空间的新光照分布计算组合系数，然后根据该组合系数对模型基纹理进行线性组合，以获得新光照条件下的人脸纹理。通过基纹理的线性组合即可生成任意光照条件下的人脸纹理。由于线性组合操作仅涉及简单运算，又可并行执行，具有很高的运行效率。
步骤S104，将所述人脸纹理映射到所述人脸三维模型，并根据给定的姿态投影生成新的人脸图像。
在一种实施方式中，当获得新光照条件下的人脸纹理后，就可以进一步通过计算机将该人脸纹理映射到人脸三维模型中，同时根据用户给定的姿态投影生成新的人脸图像。
在一种实施方式中，为了提高生产人脸图像的效率，用户还可以预先设置一个姿态列表，然后计算机再根据该姿态列表自动生成各个姿态小的人脸图像；其中，姿态列表中包括了各个姿态的角度、距离等数据。
在生成人脸图像时，可以参照以下公式：
其中，L表示光照分布；n表示光照分布L离散成的从目标空间不同角度入射的平行光源的数量；li表示第i个光源入射角度；Bi表示目标空间中仅存第i个光源且第i个光源为单位强度时对应的人脸图像；IL表示人脸图像。
请参看图2，图2为本发明实施例提供的一种基于三维人脸模型的人脸图像生成装置拓扑结构示意图。
在一种实施方式中，本发明实施例还提供了一种基于三维人脸模型的人脸图像生成装置10，该装置包括多个软件功能模块，具体内容如下所述：
模拟模块100，用于获取采样数据并根据确定的入射光方向模拟真实场景中的光照分布；其中，采样数据通过在目标空间进行入射光方向采样获得；
基纹理获取模块200，用于依次使用从入射光方向入射的平行光源绘制人脸三维模型，获取模型基纹理；
人脸纹理获取模块300，用于根据目标空间的新光照分布计算组合系数，并根据组合系数对模型基纹理进行线性组合，获得新光照条件下的人脸纹理；
人脸图像获取模块400，用于将人脸纹理映射到人脸三维模型，并根据给定的姿态投影生成新的人脸图像。
进一步地，为了进一步提高人脸图像的生成效率，人脸图像获取模块400还可以获取用户预设的姿态列表，然后根据该姿态列表投影生成各个姿态下的人脸图像。
在一种实施方式中，本发明实施例还提供了一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时实现本发明实施例所阐述的上述方法。
综上所述，本发明实施例提供一种基于三维人脸模型的人脸图像生成方法、装置及存储介质，包括：在目标空间进行入射光方向采样，获取采样数据并根据确定的采样方向模拟真实场景中的光照分布；依次使用从所述采样方向入射的平行光源绘制人脸三维模型，获取模型基纹理；根据目标空间的新光照分布计算组合系数，并根据所述组合系数对所述模型基纹理进行线性组合，获得新光照条件下的人脸纹理；将所述人脸纹理映射到所述人脸三维模型，并根据给定的姿态投影生成新的人脸图像；通过上述方式，可以快速生成任意光照、姿态下对应的人脸图像，从而构建高质量人脸图像库。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (6)
1.一种基于三维人脸模型的人脸图像生成方法，其特征在于，包括：
在目标空间进行入射光方向采样，获取采样数据并根据确定的采样方向模拟真实场景中的光照分布；
依次使用从所述采样方向入射的平行光源绘制人脸三维模型，获取模型基纹理；
根据目标空间的新光照分布计算组合系数，并根据所述组合系数对所述模型基纹理进行线性组合，获得新光照条件下的人脸纹理；
将所述人脸纹理映射到所述人脸三维模型，并根据给定的姿态投影生成新的人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述人脸图像生成方式为：
其中，L表示光照分布；n表示光照分布L离散成的从目标空间不同角度入射的平行光源的数量；li表示第i个光源入射角度；Bi表示目标空间中仅存第i个光源且第i个光源为单位强度时对应的人脸图像；IL表示人脸图像。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取用户预设的姿态列表，根据所述姿态列表投影生成各个姿态下的人脸图像。
4.一种基于三维人脸模型的人脸图像生成装置，其特征在于，包括：
模拟模块，用于获取采样数据并根据确定的采样方向模拟真实场景中的光照分布；其中，所述采样数据通过在目标空间进行入射光方向采样获得；
基纹理获取模块，用于依次使用从所述采样方向入射的平行光源绘制人脸三维模型，获取模型基纹理；
人脸纹理获取模块，用于根据目标空间的新光照分布计算组合系数，并根据所述组合系数对所述模型基纹理进行线性组合，获得新光照条件下的人脸纹理；
人脸图像获取模块，用于将所述人脸纹理映射到所述人脸三维模型，并根据给定的姿态投影生成新的人脸图像。
5.根据权利要求4所述的人脸图像生成装置，其特征在于，所述人脸图像获取模块还用于获取用户预设的姿态列表，根据所述姿态列表投影生成各个姿态下的人脸图像。
6.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011018429.5A CN112150615A (zh) | 2020-09-24 | 2020-09-24 | 基于三维人脸模型的人脸图像生成方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011018429.5A CN112150615A (zh) | 2020-09-24 | 2020-09-24 | 基于三维人脸模型的人脸图像生成方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112150615A true CN112150615A (zh) | 2020-12-29 |
Family
ID=73896743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011018429.5A Pending CN112150615A (zh) | 2020-09-24 | 2020-09-24 | 基于三维人脸模型的人脸图像生成方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112150615A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216889A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 一种融合全局特征与局部细节信息的人脸图像超分辨率方法 |
| US20080205712A1 (en) * | 2007-02-28 | 2008-08-28 | Fotonation Vision Limited | Separating Directional Lighting Variability in Statistical Face Modelling Based on Texture Space Decomposition |
| CN106991364A (zh) * | 2016-01-21 | 2017-07-28 | 阿里巴巴集团控股有限公司 | 人脸识别处理方法、装置以及移动终端 |
| CN109377544A (zh) * | 2018-11-30 | 2019-02-22 | 腾讯科技（深圳）有限公司 | 一种人脸三维图像生成方法、装置和可读介质 |
| CN110647782A (zh) * | 2018-06-08 | 2020-01-03 | 北京信息科技大学 | 三维人脸重建与多姿态人脸识别方法及装置 |
| CN110751098A (zh) * | 2019-10-22 | 2020-02-04 | 中山大学 | 一种基于光照、姿态生成对抗网络的人脸识别方法 |
| CN111325823A (zh) * | 2020-02-05 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 人脸纹理图像的获取方法、装置、设备及存储介质 |
-
2020
- 2020-09-24 CN CN202011018429.5A patent/CN112150615A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080205712A1 (en) * | 2007-02-28 | 2008-08-28 | Fotonation Vision Limited | Separating Directional Lighting Variability in Statistical Face Modelling Based on Texture Space Decomposition |
| CN101216889A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 一种融合全局特征与局部细节信息的人脸图像超分辨率方法 |
| CN106991364A (zh) * | 2016-01-21 | 2017-07-28 | 阿里巴巴集团控股有限公司 | 人脸识别处理方法、装置以及移动终端 |
| CN110647782A (zh) * | 2018-06-08 | 2020-01-03 | 北京信息科技大学 | 三维人脸重建与多姿态人脸识别方法及装置 |
| CN109377544A (zh) * | 2018-11-30 | 2019-02-22 | 腾讯科技（深圳）有限公司 | 一种人脸三维图像生成方法、装置和可读介质 |
| CN110751098A (zh) * | 2019-10-22 | 2020-02-04 | 中山大学 | 一种基于光照、姿态生成对抗网络的人脸识别方法 |
| CN111325823A (zh) * | 2020-02-05 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 人脸纹理图像的获取方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| N. PATTABHI RAMAIAH 等: "Illumination invariant face recognition using convolutional neural networks", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE》 * |
| 张军 等: "基于样例学习的任意光照下的人脸3D重建方法", 《计算机工程与应用》 * |
| 李文 等: "深度人脸识别的光照分析", 《计算机辅助设计与图形学学报》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112002014B (zh) | 面向精细结构的三维人脸重建方法、系统、装置 | |
| CA3150045A1 (en) | Dynamically estimating light-source-specific parameters for digital images using a neural network | |
| CN109360262B (zh) | 基于cad图生成三维模型的室内定位系统及方法 | |
| CN112614213B (zh) | 人脸表情确定方法、表情参数确定模型、介质及设备 | |
| CN112819947A (zh) | 三维人脸的重建方法、装置、电子设备以及存储介质 | |
| CN110599577B (zh) | 一种虚拟角色的皮肤渲染的方法、装置、设备和介质 | |
| CN113538706B (zh) | 基于数字沙盘的房景展示方法、装置、设备及存储介质 | |
| CN112308910B (zh) | 一种数据生成方法、装置及存储介质 | |
| CN106293099A (zh) | 手势识别方法及系统 | |
| CN112950759B (zh) | 基于房屋全景图的三维房屋模型构建方法及装置 | |
| Zhang et al. | Illumination estimation for augmented reality based on a global illumination model | |
| CN112860839A (zh) | 一种基于Unity3D的水环境质量实时监测方法及装置 | |
| CN112150615A (zh) | 基于三维人脸模型的人脸图像生成方法、装置及存储介质 | |
| WO2023209563A1 (en) | Machine learning for generative geometric modelling | |
| Rohe | An Optical Test Simulator Based on the Open-Source Blender Software. | |
| CN114820968A (zh) | 三维可视化方法和装置、机器人、电子设备和存储介质 | |
| CN117406867B (zh) | 一种基于网页的增强现实交互方法及装置 | |
| Haitao et al. | Building computer graphics into an independent sub-discipline | |
| Guo et al. | The simulation of the half-dry stroke based on the force feedback technology | |
| Arora | Creative Visual Expression in Immersive 3D Environments | |
| Havemann et al. | The presentation of cultural heritage models in epoch | |
| Nishino et al. | Making 3D objects through bimanual actions | |
| Ji et al. | Elementary implementation of a parameter-based generative design system considering the user environment | |
| Du | Accurate, Detailed and Automatic Tree Modelling from Point Clouds | |
| Wu | Gesture Recognition in Virtual reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201229 |