CN112419334A - 基于深度学习的微表面材质重建方法及系统 - Google Patents

基于深度学习的微表面材质重建方法及系统 Download PDF

Info

Publication number
CN112419334A
CN112419334A CN202011297904.7A CN202011297904A CN112419334A CN 112419334 A CN112419334 A CN 112419334A CN 202011297904 A CN202011297904 A CN 202011297904A CN 112419334 A CN112419334 A CN 112419334A
Authority
CN
China
Prior art keywords
output
layer
network
mapping
linear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011297904.7A
Other languages
English (en)
Inventor
徐延宁
赵烨梓
王璐
曾峥
龚斌
孟祥旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202011297904.7A priority Critical patent/CN112419334A/zh
Publication of CN112419334A publication Critical patent/CN112419334A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了基于深度学习的微表面材质重建方法及系统，包括：获取真实世界材质的拍摄图像；将材质的拍摄图像输入到预训练生成器网络中，输出具有比拍摄图像更高分辨率的漫反射贴图、反射贴图、粗糙度贴图和法向贴图；将以上贴图绘制出一张渲染图像，该渲染图像所呈现的材质外观与拍摄图像相似。利用基于对抗生成网络框架，在神经网络中使用绘制模块将将漫反射贴图、反射贴图、粗糙度贴图和法向贴图绘制出一张渲染图像，并用判别器模块对该渲染图像与真实材质拍摄图进行判别，从而避免了传统利用机器学习的方法需要依赖大量材质贴图标签的缺陷，减少了材质采集的难度。

Description

基于深度学习的微表面材质重建方法及系统
技术领域
本申请涉及图像真实感渲染技术领域，特别是涉及基于深度学习的微表面材质重建方法及系统。
背景技术
本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。
材质模型主要描述了物体表面局部的光线反射属性，对材质的描述以及准确建模对渲染结果的真实感起着至关重要的作用。真实感材质模型通常表示为双向反射分布函数，而这些函数可以分为不同的模型，其中目前最为常用的模型为微表面材质模型。通常模型参数包括漫反射、反射、粗糙度、法向等。
传统的材质建模工作通过从各个角度、光照条件下拍摄、测量真实世界的材质以获得其近似的反射属性。近期，使用有监督的深度学习方法在真实感材质建模上取得了成功，大大简化了这个过程。大多数基于深度学习的微表面材质建模方法的重心在于从现实世界拍摄的材质图片中重建出各种材质贴图，包括漫反射贴图、反射贴图、粗糙度贴图和法向贴图。
发明人发现，有监督的深度学习方法依赖大型训练数据集，要得到如此庞大的数据集费时费力。另外由于网络参数固定或者受限于显存，材质贴图往往都是低分辨率，无法用于实际应用。
发明内容
为了解决现有技术的不足，本申请提供了基于深度学习的微表面材质重建方法及系统；能够避免使用大规模训练集，通过输入真实世界拍摄的单张图像，能够生成比输入图像更高分辨率微表面材质，该材质包括漫反射贴图、反射贴图、粗糙度贴图和法向贴图四个分量，可有效应用于高度真实感渲染中。
第一方面，本申请提供了基于深度学习的微表面材质重建方法；
基于深度学习的微表面材质重建方法，包括：
获取真实世界材质的拍摄图像；
将材质的拍摄图像输入到训练后的材质重建与合成的网络框架中，材质重建与合成的网络框架中的生成器网络输出漫反射贴图、反射贴图、粗糙度贴图和法向贴图；
将漫反射贴图、反射贴图、粗糙度贴图和法向贴图绘制出一张渲染图像。
第二方面，本申请提供了基于深度学习的微表面材质重建系统；
基于深度学习的微表面材质重建系统，包括：
数据生成模块，其被配置为：获取真实世界材质的拍摄图像；
材质重建模块，其被配置为：将材质的拍摄图像输入到训练后的材质重建与合成的网络框架中，材质重建与合成的网络框架中的生成器网络输出漫反射贴图、反射贴图、粗糙度贴图和法向贴图；
绘制模块，其被配置为：将漫反射贴图、反射贴图、粗糙度贴图和法向贴图绘制出一张渲染图像。
第三方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。
第四方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
第五方面，本申请还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。
与现有技术相比，本申请的有益效果是：
本公开利用基于对抗生成网络框架，在神经网络中使用绘制模块将将漫反射贴图、反射贴图、粗糙度贴图和法向贴图绘制出一张渲染图像，并用判别器模块对该渲染图像与真实材质拍摄图进行判别，从而避免了传统利用机器学习的方法需要依赖大量材质贴图标签的缺陷，减少了材质采集的难度。
本公开在神经网络中使用生成器模块，该模块能生成具有比真实材质拍摄图更高分辨率的材质贴图，即同时完成微表面材质重建与合成，解决了传统方法只能生成低分辨率结果的缺陷。使用本公开的方法能够重建准确的高分辨率材质贴图，从而保证渲染结果的质量。
本公开在网络训练过程中充分利用了材质外观本身各部分的相似性，利用生成器模块对每一部分分别进行重建和合成，利用绘制模块对每一部分进行绘制，利用判别器模块对每一部分的重建和合成结果进行判别。将高分辨率的整体分成相似的小部分，这样的做法缩短了的网络的训练时间，同时也减少了网络参数量。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本公开实施例一提供的一种基于深度学习的真实感材质建模方法的流程图；
图2是本公开实施例一提供的一种材质获取示意图；
图3是本公开实施例一提供的材质拍摄示例图；
图4是本公开实施例一提供的训练所述神经网络示意图；
图5是本公开实施例一提供的辅助漫反射贴图示意图；
图6是本公开实施例一提供的材质重建流程示意图；
图7(a)–图7(c)是本公开实施例一提供的生成器网络示意图；
图8(a)–图8(b)是本公开实施例一提供的判别器网络示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，为了便于清楚描述本申请实施例的技术方案，在本申请实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了基于深度学习的微表面材质重建方法；
基于深度学习的微表面材质重建方法，包括：
S101：获取真实世界材质的拍摄图像；
S102：将材质的拍摄图像输入到训练后的材质重建与合成的网络框架中，材质重建与合成的网络框架中的生成器网络输出漫反射贴图、反射贴图、粗糙度贴图和法向贴图；
S103：将漫反射贴图、反射贴图、粗糙度贴图和法向贴图绘制出一张渲染图像。
作为一个或多个实施例，在获取真实世界材质的拍摄图像之后，在将材质的拍摄图像输入到预训练生成器网络中步骤之前，还包括：对真实世界材质的拍摄图像进行伽马矫正和随机裁切。
应理解的，所述伽马矫正和随机裁切具体的目的和意义是：
伽马矫正是对拍摄设备输出的颜色进行非线性处理的过程，能够减少图像的光照不均和局部阴影。随即裁切是在真实世界材质的拍摄图像随机裁切出许多相同大小的一小部分用做网络输入，其意义在于利用了材质外观各部分的相似性，缩短训练时间，减少网络参数量。
作为一个或多个实施例，所述获取真实世界材质的拍摄图像是指：
使用手机等拍摄设备对真实世界的物体表面进行拍摄，要求打开手机闪光灯，且被拍摄物体表面近似于一个平面。
作为一个或多个实施例，所述材质重建与合成的网络框架，具体结构包括：
依次连接的生成器网络模块、绘制模块和判别器网络模块。
进一步地，所述生成器网络模块，包括编码器和解码器；
其中，如图7(a)所示，编码器包括：
依次连接的第一卷积层、第一实例归一化层、第一线性整流单元、第二卷积层、第二实例归一化层、第二线性整流单元、第三卷积层、第三实例归一化层、第三线性整流单元、第四卷积层、第四实例归一化层、第四线性整流单元；
其中，第一卷积层，用于提取图像的初级特征张量；
第一实例归一化层，用于接收第一卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第一线性整流单元，用于映射第一实例归一化层的输出，得到非线性输出结果；
第二卷积层，用于接收第一线性整流单元的输出，进一步提取特征张量；
第二实例归一化层，用于接收第二卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第二线性整流单元，用于映射第二实例归一化层的输出，得到非线性输出结果；
第三卷积层，用于接收第二线性整流单元的输出，进一步提取特征张量；
第三实例归一化层，用于接收第三卷积层的输出，并进行标准化处理，使
得网络的中间输出值更稳定；
第三线性整流单元，用于映射第三实例归一化层的输出，得到非线性输出结果；
第四卷积层，用于接收第三线性整流单元的输出，进一步提取特征张量；
第四实例归一化层，用于接收第四卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第四线性整流单元，用于映射第四实例归一化层的输出，得到非线性输出结果。
其中，解码器包括第一解码单元和第二解码单元：
如图7(b)所示，第一解码单元包括：
依次连接的第一反卷积层、第五实例归一化层、第五线性整流单元、第二反卷积层、第六实例归一化层、第六线性整流单元、第三反卷积层、第七实例归一化层、第七线性整流单元、第四反卷积层、第八实例归一化层、第八线性整流单元、第五反卷积层、第九线性整流单元；
其中，第一反卷积层，用于扩张特征张量维度；
第五实例归一化层，用于接收第一反卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第五线性整流单元，用于映射第五实例归一化层的输出，得到非线性输出结果；
第二反卷积层，用于接收第五线性整流单元的输出，进一步扩张特征张量维度；
第六实例归一化层，用于接收第二反卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第六线性整流单元，用于映射第六实例归一化层的输出，得到非线性输出结果；
第三反卷积层，用于接收第六线性整流单元的输出，进一步扩张特征张量维度；
第七实例归一化层，用于接收第三反卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第七线性整流单元，用于映射第七实例归一化层的输出，得到非线性输出结果；
第四反卷积层，用于接收第七线性整流单元的输出，进一步扩张特征张量维度；
第八实例归一化层，用于接收第四反卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第八线性整流单元，用于映射第八实例归一化层的输出，得到非线性输出结果。
第五反卷积层，用于接收第八线性整流单元的输出，进一步扩张特征张量维度；
第九线性整流单元，用于映射第五反卷积层的输出，得到非线性输出结果。
第二解码单元与第一解码单元结构一致。
进一步地，所述绘制模块，包括：光照模拟和材质模拟；
其中，光照模拟是将拍摄图片、手机相机、手机闪光灯用数学的方法建立三维坐标系并计算光照方向、视线方向的过程；
三维坐标系以拍摄图片的中心像素点为原点O，向右为+x轴，向上为+y轴，向图片外为+z轴，拍摄图片上的像素点都可以表示为xy平面上的点。同时假设相机与闪光灯都位于+z轴上，位置为点A。设拍摄图右上角的像素点为点B，依据手机相机的视角参数可知，∠OAB为33°，由此可得B点坐标。
拍摄图上的每一个像素点的光照方向、视线方向可由B点坐标减去像素坐标得到，因为假设了相机与闪光灯在相同的位置，所以每个像素点的光照方向和视线方向是一样的，分别表示为ωL，ωV。
其中，材质模拟是将第一解码单元和第二解码单元得到的结果作为微表面材质模型所需的参数并与模拟的光照一起参与材质模拟计算的过程；
微表面材质模型所需的参数包括漫反射贴图ρd、反射贴图ρs、粗糙度贴图α和法向贴图n，计算结果表示为fr，
Figure BDA0002785922750000091
Figure BDA0002785922750000092
h＝(ωL+ωV)/2，
Figure BDA0002785922750000093
Figure BDA0002785922750000094
Figure BDA0002785922750000095
其中·表示向量点积，z表示(0，0，1)。
进一步地，判别器网络模块包括真判别器网络和假判别器网络：
其中，所述真判别器网络的输入端为真实材质拍摄图，所述假判别器网络的输入端为绘制模块的输出端。
其中，真判别器网络包括：
依次连接的第五卷积层、第九实例归一化层、第十线性整流单元、第六卷积层、第十实例归一化层、第十一线性整流单元、第七卷积层、第十一实例归一化层、第十二线性整流单元、第八卷积层、第十二实例归一化层、第十三线性整流单元、第九卷积层、第十四线性整流单元；
其中，第五卷积层，用于提取图像的初级特征张量；
第九实例归一化层，用于接收第五卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第十线性整流单元，用于映射第九实例归一化层的输出，得到非线性输出结果；
第六卷积层，用于接收第十线性整流单元的输出，进一步提取特征张量；
第十实例归一化层，用于接收第六卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第十一线性整流单元，用于映射第十实例归一化层的输出，得到非线性输出结果；
第七卷积层，用于接收第十一线性整流单元的输出，进一步提取特征张量；
第十一实例归一化层，用于接收第七卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第十二线性整流单元，用于映射第十一实例归一化层的输出，得到非线性输出结果；
第八卷积层，用于接收第十二线性整流单元的输出，进一步提取特征张量；
第十二实例归一化层，用于接收第八卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第十三线性整流单元，用于映射第十二实例归一化层的输出，得到非线性输出结果。
第九卷积层，用于接收第十三线性整流单元的输出，进一步提取特征张量；
第十四线性整流单元，用于映射第九卷积层的输出，得到非线性输出结果。
假判别器网络与真判别器网络结构一致。
作为一个或多个实施例，如图1所示，所述材质重建与合成的网络框架的训练步骤包括：
构建训练集；所述训练集，是使用真实材质的拍摄图经过伽马矫正和随机裁切获得若干组训练数据；
将训练集输入到材质重建与合成的网络框架中，对材质重建与合成的网络框架进行训练，当判别器网络模块的判别正确率达到阈值时、或者损失函数达到最小值时或者迭代次数满足设定阈值时，停止训练，得到训练好的材质重建与合成的网络框架。
所述损失函数包括：真判别器网络和假判别器网络的损失函数，以及漫反射损失；
所述漫反射损失是生成器网络输出的漫反射贴图与辅助漫反射贴图之间的l1范数。
所述辅助漫反射贴图是将真实材质的拍摄图经过归一化处理得到的图像。
如图2所示，真实材质的拍摄图获取方法为：首先，手机打开闪光灯，平行于材质表面拍摄。对于所拍摄的材质表面要求，一是材质表面能够近似看作一个平面，二是它包含足够多的重复纹理特征。
如图3所示，本实施例中准备了一张真实材质的拍摄图片用以获取训练数据。
如图4所示，将所述训练集输入生成器网络，生成器网络会输出漫反射贴图、反射贴图、粗糙度贴图、法线贴图，将生成器网络输出端输入绘制模块，所得渲染结果与所述真实材质的拍摄图输入判别器模块，所得结果与所述辅助漫反射贴图与生成器网络输出的漫反射贴图输入损失函数，损失函数会使用这个信息来优化生成器网络和判别器网络模块。
如图5所示，将本实施例中的所述真实材质的拍摄图片经过归一化处理得到所述辅助漫反射贴图。
如图6所示，在实际使用时，将首先将使用所述真实材质的拍摄图片输入预训练的材质重建与合成网络中，神经网络会输出漫反射贴图、反射贴图、粗糙度贴图、法线贴图。
如图7(a)所示，编码器由若干卷积层、实例归一化层、线性整流单元组成，如图7(b)所示，第一解码单元由若干反卷积层、实例归一化层、线性整流单元组成，如图7(c)所示，第二解码单元与第一解码单元结构相同，第一解码单元和第二解码单元共同组成了解码器，编码器和解码器共同组成了生成器网络模块。
如图8(a)所示，真判别器由若干卷积层、实例归一化层、线性整流单元组成，如图8(b)所示，假判别器与真判别器结构相同，共同组成了判别器模块。
实施例二，本实施例提供了基于深度学习的微表面材质重建系统；
实施例二
本实施例提供了基于深度学习的微表面材质重建系统；
基于深度学习的微表面材质重建系统，包括：
数据生成模块，其被配置为：获取真实世界材质的拍摄图像；
材质重建模块，其被配置为：将材质的拍摄图像输入到预训练生成器网络中，输出漫反射贴图、反射贴图、粗糙度贴图和法向贴图；
绘制模块，其被配置为：将漫反射贴图、反射贴图、粗糙度贴图和法向贴图绘制出一张渲染图像。
此处需要说明的是，上述数据生成模块、材质重建模块和绘制模块对应于实施例一中的步骤S101至步骤S103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.基于深度学习的微表面材质重建方法，其特征是，包括：
获取真实世界材质的拍摄图像；
将材质的拍摄图像输入到训练后的材质重建与合成的网络框架中，材质重建与合成的网络框架中的生成器网络输出漫反射贴图、反射贴图、粗糙度贴图和法向贴图；
将漫反射贴图、反射贴图、粗糙度贴图和法向贴图绘制出一张渲染图像。
2.如权利要求1所述的方法，其特征是，在获取真实世界材质的拍摄图像之后，在将材质的拍摄图像输入到预训练生成器网络中步骤之前，还包括：对真实世界材质的拍摄图像进行伽马矫正和随机裁切。
3.如权利要求1所述的方法，其特征是，所述材质重建与合成的网络框架，具体结构包括：
依次连接的生成器网络模块、绘制模块和判别器网络模块。
4.如权利要求3所述的方法，其特征是，所述生成器网络模块，包括编码器和解码器；其中，编码器包括：
依次连接的第一卷积层、第一实例归一化层、第一线性整流单元、第二卷积层、第二实例归一化层、第二线性整流单元、第三卷积层、第三实例归一化层、第三线性整流单元、第四卷积层、第四实例归一化层、第四线性整流单元；
其中，第一卷积层，用于提取图像的初级特征张量；
第一实例归一化层，用于接收第一卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第一线性整流单元，用于映射第一实例归一化层的输出，得到非线性输出结果；
第二卷积层，用于接收第一线性整流单元的输出，进一步提取特征张量；
第二实例归一化层，用于接收第二卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第二线性整流单元，用于映射第二实例归一化层的输出，得到非线性输出结果；
第三卷积层，用于接收第二线性整流单元的输出，进一步提取特征张量；
第三实例归一化层，用于接收第三卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第三线性整流单元，用于映射第三实例归一化层的输出，得到非线性输出结果；
第四卷积层，用于接收第三线性整流单元的输出，进一步提取特征张量；
第四实例归一化层，用于接收第四卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第四线性整流单元，用于映射第四实例归一化层的输出，得到非线性输出结果。
5.如权利要求4所述的方法，其特征是，其中，解码器包括第一解码单元和第二解码单元：第一解码单元包括：
依次连接的第一反卷积层、第五实例归一化层、第五线性整流单元、第二反卷积层、第六实例归一化层、第六线性整流单元、第三反卷积层、第七实例归一化层、第七线性整流单元、第四反卷积层、第八实例归一化层、第八线性整流单元、第五反卷积层、第九线性整流单元；
其中，第一反卷积层，用于扩张特征张量维度；
第五实例归一化层，用于接收第一反卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第五线性整流单元，用于映射第五实例归一化层的输出，得到非线性输出结果；
第二反卷积层，用于接收第五线性整流单元的输出，进一步扩张特征张量维度；
第六实例归一化层，用于接收第二反卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第六线性整流单元，用于映射第六实例归一化层的输出，得到非线性输出结果；
第三反卷积层，用于接收第六线性整流单元的输出，进一步扩张特征张量维度；
第七实例归一化层，用于接收第三反卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第七线性整流单元，用于映射第七实例归一化层的输出，得到非线性输出结果；
第四反卷积层，用于接收第七线性整流单元的输出，进一步扩张特征张量维度；
第八实例归一化层，用于接收第四反卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第八线性整流单元，用于映射第八实例归一化层的输出，得到非线性输出结果；
第五反卷积层，用于接收第八线性整流单元的输出，进一步扩张特征张量维度；
第九线性整流单元，用于映射第五反卷积层的输出，得到非线性输出结果。
6.如权利要求3所述的方法，其特征是，所述绘制模块，包括：光照模拟和材质模拟；
其中，光照模拟是将拍摄图片、手机相机、手机闪光灯用数学的方法建立三维坐标系并计算光照方向、视线方向的过程；
其中，材质模拟是将第一解码单元和第二解码单元得到的结果作为微表面材质模型所需的参数并与模拟的光照一起参与材质模拟计算的过程。
7.如权利要求3所述的方法，其特征是，判别器网络模块包括真判别器网络和假判别器网络：
其中，所述真判别器网络的输入端为真实材质拍摄图，所述假判别器网络的输入端为绘制模块的输出端；
其中，真判别器网络包括：
依次连接的第五卷积层、第九实例归一化层、第十线性整流单元、第六卷积层、第十实例归一化层、第十一线性整流单元、第七卷积层、第十一实例归一化层、第十二线性整流单元、第八卷积层、第十二实例归一化层、第十三线性整流单元、第九卷积层、第十四线性整流单元；
其中，第五卷积层，用于提取图像的初级特征张量；
第九实例归一化层，用于接收第五卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第十线性整流单元，用于映射第九实例归一化层的输出，得到非线性输出结果；
第六卷积层，用于接收第十线性整流单元的输出，进一步提取特征张量；
第十实例归一化层，用于接收第六卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第十一线性整流单元，用于映射第十实例归一化层的输出，得到非线性输出结果；
第七卷积层，用于接收第十一线性整流单元的输出，进一步提取特征张量；
第十一实例归一化层，用于接收第七卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第十二线性整流单元，用于映射第十一实例归一化层的输出，得到非线性输出结果；
第八卷积层，用于接收第十二线性整流单元的输出，进一步提取特征张量；
第十二实例归一化层，用于接收第八卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；
第十三线性整流单元，用于映射第十二实例归一化层的输出，得到非线性输出结果；
第九卷积层，用于接收第十三线性整流单元的输出，进一步提取特征张量；
第十四线性整流单元，用于映射第九卷积层的输出，得到非线性输出结果；
或者，
所述材质重建与合成的网络框架的训练步骤包括：
构建训练集；所述训练集，是使用真实材质的拍摄图经过伽马矫正和随机裁切获得若干组训练数据；
将训练集输入到材质重建与合成的网络框架中，对材质重建与合成的网络框架进行训练，当判别器网络模块的判别正确率达到阈值时或者迭代次数满足设定阈值时，停止训练，得到训练好的材质重建与合成的网络框架。
8.基于深度学习的微表面材质重建系统，其特征是，包括：
数据生成模块，其被配置为：获取真实世界材质的拍摄图像；
材质重建模块，其被配置为：将材质的拍摄图像输入到训练后的材质重建与合成的网络框架中，材质重建与合成的网络框架中的生成器网络输出漫反射贴图、反射贴图、粗糙度贴图和法向贴图；
绘制模块，其被配置为：将漫反射贴图、反射贴图、粗糙度贴图和法向贴图绘制出一张渲染图像。
9.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。
CN202011297904.7A 2020-11-18 2020-11-18 基于深度学习的微表面材质重建方法及系统 Pending CN112419334A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011297904.7A CN112419334A (zh) 2020-11-18 2020-11-18 基于深度学习的微表面材质重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011297904.7A CN112419334A (zh) 2020-11-18 2020-11-18 基于深度学习的微表面材质重建方法及系统

Publications (1)

Publication Number Publication Date
CN112419334A true CN112419334A (zh) 2021-02-26

Family

ID=74773338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011297904.7A Pending CN112419334A (zh) 2020-11-18 2020-11-18 基于深度学习的微表面材质重建方法及系统

Country Status (1)

Country Link
CN (1) CN112419334A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596278A (zh) * 2021-08-03 2021-11-02 广东时谛智能科技有限公司 一种面料数字化快速扫描系统、方法、介质及设备
CN114842121A (zh) * 2022-06-30 2022-08-02 北京百度网讯科技有限公司 贴图生成模型训练和贴图生成方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103638A (zh) * 2017-05-27 2017-08-29 杭州万维镜像科技有限公司 一种虚拟场景与模型的快速渲染方法
CN109389671A (zh) * 2018-09-25 2019-02-26 南京大学 一种基于多阶段神经网络的单图像三维重建方法
CN110211192A (zh) * 2019-05-13 2019-09-06 南京邮电大学 一种基于深度学习的三维模型到二维图像的渲染方法
CN110570503A (zh) * 2019-09-03 2019-12-13 浙江大学 基于神经网络的三维物体法向量、几何及材质获取方法
CN110942060A (zh) * 2019-10-22 2020-03-31 清华大学 基于激光散斑和模态融合的材质识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103638A (zh) * 2017-05-27 2017-08-29 杭州万维镜像科技有限公司 一种虚拟场景与模型的快速渲染方法
CN109389671A (zh) * 2018-09-25 2019-02-26 南京大学 一种基于多阶段神经网络的单图像三维重建方法
CN110211192A (zh) * 2019-05-13 2019-09-06 南京邮电大学 一种基于深度学习的三维模型到二维图像的渲染方法
CN110570503A (zh) * 2019-09-03 2019-12-13 浙江大学 基于神经网络的三维物体法向量、几何及材质获取方法
CN110942060A (zh) * 2019-10-22 2020-03-31 清华大学 基于激光散斑和模态融合的材质识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KARIS B等: "Real Shading in Unreal Engine 4" *
YEZI ZHAO等: "Joint SVBRDF Recovery and Synthesis From a Single Image using an Unsupervised Generative Adversarial Network" *
YEZI ZHAO等: "Joint SVBRDF Recovery and Synthesis From a Single Image using an Unsupervised Generative Adversarial Network", 《EGSR(DL)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596278A (zh) * 2021-08-03 2021-11-02 广东时谛智能科技有限公司 一种面料数字化快速扫描系统、方法、介质及设备
CN113596278B (zh) * 2021-08-03 2024-01-09 广东时谛智能科技有限公司 一种面料数字化快速扫描系统、方法、介质及设备
CN114842121A (zh) * 2022-06-30 2022-08-02 北京百度网讯科技有限公司 贴图生成模型训练和贴图生成方法、装置、设备及介质
CN114842121B (zh) * 2022-06-30 2022-09-09 北京百度网讯科技有限公司 贴图生成模型训练和贴图生成方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US10748324B2 (en) Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
Jackson et al. Large pose 3D face reconstruction from a single image via direct volumetric CNN regression
CN110910486B (zh) 室内场景光照估计模型、方法、装置、存储介质以及渲染方法
CN108961303A (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN112819947A (zh) 三维人脸的重建方法、装置、电子设备以及存储介质
CN109815843A (zh) 目标检测方法及相关产品
WO2014110954A1 (en) Method, device and computer-readable storage medium for panoramic image completion
CN112651881B (zh) 图像合成方法、装置、设备、存储介质以及程序产品
CN113256778A (zh) 生成车辆外观部件识别样本的方法、装置、介质及服务器
US20200302579A1 (en) Environment map generation and hole filling
CN112509106A (zh) 文档图片展平方法、装置以及设备
CN108875903B (zh) 图像检测的方法、装置、系统及计算机存储介质
CN112419334A (zh) 基于深度学习的微表面材质重建方法及系统
US20170064284A1 (en) Producing three-dimensional representation based on images of a person
US10991154B1 (en) Method for generating model of sculpture of face with high meticulous, computing device, and non-transitory storage medium
WO2021063271A1 (zh) 人体模型重建方法、重建系统及存储介质
CN112669436A (zh) 一种基于3d点云的深度学习样本生成方法
CN116310046B (zh) 图像处理方法、装置、计算机及存储介质
CN113763231A (zh) 模型生成方法、图像透视图确定方法、装置、设备及介质
CN111382618A (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN110647859B (zh) 人脸图像分解方法和装置、电子设备及存储介质
CN114581577A (zh) 物体材质微表面模型重构方法及系统
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
CN109785429A (zh) 一种三维重建的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination