CN116051717A - 一种基于生成对抗网络的三维图形重光照生成方法 - Google Patents
一种基于生成对抗网络的三维图形重光照生成方法 Download PDFInfo
- Publication number
- CN116051717A CN116051717A CN202211501727.9A CN202211501727A CN116051717A CN 116051717 A CN116051717 A CN 116051717A CN 202211501727 A CN202211501727 A CN 202211501727A CN 116051717 A CN116051717 A CN 116051717A
- Authority
- CN
- China
- Prior art keywords
- module
- convolution layer
- shadow
- scene
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000005286 illumination Methods 0.000 claims abstract description 80
- 238000009877 rendering Methods 0.000 claims abstract description 50
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000007704 transition Effects 0.000 claims abstract description 18
- 238000005070 sampling Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 21
- 230000014509 gene expression Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 241000252067 Megalops atlanticus Species 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000000265 homogenisation Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 10
- 239000013604 expression vector Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络的三维图形重光照生成方法，属于深度学习和计算机视觉技术领域，包括如下步骤：基于光照参数得到带有光照值的训练数据集和测试数据集；构建场景转换生成对抗网络和阴影估计生成对抗网络；利用训练数据集分别迭代训练场景转换生成对抗网络和阴影估计生成对抗网络，并将测试数据集分别输入训练好的场景转换生成对抗网络和阴影估计生成对抗网络，得到无光照场景特征和阴影分布估计特征；构建重渲染网络；基于无光照场景特征、阴影分布估计特征和重渲染网络，得到重光照图像；本发明实现了三维场景在变换光源和视角之后快速生成新场景的高质量渲染图像。
Description
技术领域
本发明属于应变测量技术领域，尤其涉及一种基于生成对抗网络的三维图形重光照生成方法。
背景技术
生成对抗网络(Generative Adversarial Networks)是一种深度学习模型，通过构造生成器和判别器两种模型，并让其相互博弈学习生成结果，能够得到高质量的生成图像。
在三维场景中，三维模型外观往往需要生成不同光源、不同视角的光照渲染效果，传统的重光照方法是基于图像的重光照，需要采集不同光照条件下场景的图像，通过这些图像合成新光照下的结果，需要定制化的设备，还会消耗大量的财力、物力、人力；随着深度学习技术的发展，基于深度生成模型与图形学领域的光学物理知识，形成了神经渲染技术领域，神经渲染对重光照场景生成具有重大意义，通过神经渲染技术，系统可以从较少的图像中学习场景的光照方向和重光照函数，生成重光照图像，但通过现有方案得到的图像质量仍然欠佳。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于生成对抗网络的三维图形重光照生成方法，通过生成对抗网络和神经渲染技术，解决了由较少的图像生成重光照图像质量不足的问题。
为了达到上述发明目的，本发明采用的技术方案为：
本发明提供一种基于生成对抗网络的三维图形重光照生成方法，包括如下步骤：
S1、基于光照参数得到带有光照值的训练数据集和测试数据集；
S2、基于测试数据集、场景转换生成器和场景判别器，构建场景转换生成对抗网络；
S3、基于测试数据集、场景转换生成器和阴影判别器，构建阴影估计生成对抗网络；
S4、利用训练数据集分别迭代训练场景转换生成对抗网络和阴影估计生成对抗网络，并将测试数据集分别输入训练好的场景转换生成对抗网络和阴影估计生成对抗网络，得到无光照场景特征和阴影分布估计特征；
S5、构建重渲染网络；
S6、基于无光照场景特征、阴影分布估计特征和重渲染网络，得到重光照图像。
本发明的有益效果为：本发明提供的一种基于生成对抗网络的三维图形重光照生成方法，建立了由带有光照值图像组成的训练数据集和测试数据集，且分别场景转换生成对抗网络和阴影估计生成对抗网络，利用训练数据集将场景转换生成对抗网络和阴影估计生成对抗网络训练好后，使用带有光照值的测试数据集输入训练好的对抗网络，得到了无光照场景特征和阴影分布估计特征，并构建了重渲染网络，实现了基于无光照场景特征、阴影分布估计特征和重渲染网络，得到重光照图像，本方案能够实现三维场景在变换光源和视角之后快速生成新场景的高质量渲染图像。
进一步地，所述步骤S1包括如下步骤：
S11、通过随机法生成包括光伏强度、光照距离、光源方向和光源仰角的光照参数，其中，光伏强度和光照距离的变化范围为大于1且小于20，光源方位角θ的变化范围为大于0°小于360°，光源仰角γ的变化范围为大于-90°且小于90°；
S12、将光照参数加入三维场景中的渲染通道，得到带有光照标签的渲染数据集；
S13、对渲染数据集进行预处理，得到带有光照值的数据集；
S14、将数据集进行划分，得到带有光照值的训练数据集和测试数据集。
采用上述进一步方案的有益效果为：构建带有光照值的训练数据集和测试数据集，为场景转换生成对抗网络和阴影估计生成对抗网络的训练，以及通过训练好的场景转换生成对抗网络和阴影估计生成对抗网络得到无光照场景特征和阴影分布估计特征提供基础。
进一步地，所述场景转换生成器包括第一下采样模块，以及均与第一下采样模块连接的第一残差模块和第一上采样模块；所述第一残差模块与第一上采样模块连接；所述阴影估计生成器包括依次连接的第二下采样模块、第二残差模块和第二上采样模块；
所述第一下采样模块包括通过第一输出端依次连接的第一输入卷积层、第一下采样卷积层、第二下采样卷积层、第三下采样卷积层和第四下采样卷积层；所述第一输入卷积层的输入端作为第一下采样模块的输入端，输入测试数据集中的各图像；所述第四下采样卷积层的输出端作为第一下采样模块的输出端，并与第一残差模块的输入端连接；
所述第一残差模块包括9个依次连接的残差子模块，其中，第一个残差子模块的输入端作为第一残差模块的输入端，并与第一下采样模块的输出端连接，最后一个残差子模块的输出端作为第一残差模块的输出端，并与第一上采样模块的输入端连接；
所述第一上采样模块包括通过第一输入端依次连接的第一上采样转置卷积层、第二上采样转置卷积层、第三上采样转置卷积层、第四上采样转置卷积层和第一输出卷积层；所述第一上采样转置卷积层的输入端作为第一上采样模块的输入端，并与第一残差模块的输出端连接；所述第一输入卷积层的第二输出端、第一下采样卷积层的第二输出端、第二下采样卷积层的第二输出端和第三下采样卷积层的第二输出端一一对应与第一输出卷积层的第二输入端、第四上采样转置卷积层的第二输入端、第三上采样转置卷积层的第二输入端和第二上采样转置卷积层的第二输入端连接；所述第一输出卷积层的输出端作为第一上采样模块的输出端，输出无光照场景特征；
所述场景判别器采用马尔可夫判别器结构，由4个堆叠的跨步卷积层构成，其中，第一个跨步卷积层的输入端作为场景判别器的输入端，并与第一上采样模块的输出端连接，第四个跨步卷积层的输出端作为场景判别器的输出端，构成场景转换生成网络。
采用上述进一步方案的有益效果为：提供场景转换生成对抗网络的具体结构，为通过场景转换生成对抗网络得到无光照场景特征提供基础。
进一步地，所述阴影估计生成器包括依次连接的第二下采样模块、第二残差模块和第二上采样模块；
所述第二下采样模块包括依次连接的第二输入卷积层、第五下采样卷积层、第六下采样卷积层、第七下采样卷积层和第八下采样卷积层；所述第二输入卷积层的输入端作为第二下采样模块的输入端，输入测试数据集中的各图像；所述第八下采样卷积层的输出端作为第二下采样模块的输出端，并与第二残差模块的输入端连接；
所述第二残差模块包括9个依次连接的残差子模块，其中，第一个残差子模块的输入端作为第二残差模块的输入端，并与第二下采样模块的输出端连接，最后一个残差子模块的输出端作为第二残差模块的输出端，并与第二上采样模块的输入端连接；
所述第二上采样模块包括依次连接的第五上采样转置卷积层、第六上采样转置卷积层、第七上采样转置卷积层、第八上采样转置卷积层和第二输出卷积层；所述第五上采样转置卷积层的输入端作为第二上采样模块的输入端，并与第二残差模块的输出端连接；所述第二输出卷积层的输出端作为第一上采样模块的输出端，输出阴影分布估计特征；
所述阴影判别器采用马尔可夫判别器结构，由4个堆叠的跨步卷积层构成，其中，第一个跨步卷积层的输入端作为阴影判别器的输入端，并与第二上采样模块的输出端连接，第四个跨步卷积层的输出端作为阴影判别器的输出端，构成阴影估计生成网络。
采用上述进一步方案的有益效果为：提供阴影估计生成对抗网络的具体结构，为通过阴影估计生成对抗网络得到阴影分布估计特征提供基础。
进一步地，所述场景转换生成器和阴影估计生成器的计算表达式分别如下：
其中，GA表示场景转换生成结果，GB表示阴影估计生成结果，λ表示期望系数，X表示输入图像，Y表示目标光源下的图像，
表示符合输入图像和目标光源下的图像正态分布的数学期望，|| ||表示取向量模长，Ysf表示阴影目标图像，G(X)表示输入图像后的生成器输出结果，arg表示取定义域子集，
表示生成器G的下界，
表示判别器D的上界，
表示基于生成器G和判别器D的生成对抗网络损失函数，
表示阴影判别器Dshad的上界，
表示基于生成器G和阴影判别器Dshad的生成对抗网络损失函数。
采用上述进一步方案的有益效果为：提供场景转换生成器和阴影估计生成器的具体计算方法，为构建场景转换生成对抗网络和阴影估计生成对抗网络提供基础。
进一步地，所述场景判别器用于判别场景转换生成器的输出无光照场景特征与测试数据集中的无阴影图像；所述阴影判别器用于判别阴影估计生成器的输出阴影分布估计特征与测试数据集中的无阴影图像；所述场景判别器和阴影判别器均仅在patch级别上计算损失，对每个N×N大小的patch判断真假，在整张图像上应用判别器卷积，并将平均结果作为最终输出；
所述场景判别器和阴影判别器的损失函数的计算表达式均如下：
其中，
表示判别器的损失函数结果，X表示输入图像，Ysf表示无阴影的基准图像，
表示符合输入图像和无阴影的基准图像指定分布的数学期望值，D(X,Ysf)表示基于输入图像和无阴影的基准图像的判别器输出结果，
表示符合输入图像指定分布的数学期望值，G(X)表示基于输入图像的生成器输出结果，D(X,G(X))表示基于输入图像和生成器输出结果的判别器输出结果。
采用上述进一步方案的有益效果为：提供场景判别器和阴影判别器的损失函数的具体计算方法，为构建场景转换生成对抗网络和阴影估计生成对抗网络提供基础。
进一步地，所述重渲染网络包括依次连接的多尺度感知模块、通道重校准模块和渲染模块；
所述多尺度感知模块包括若干感知尺寸滤波器；各所述感知尺寸滤波器通过无光照场景特征和阴影分布估计特征获取全局信息特征和局部信息特征；
所述通道重校准模块采用压缩和激励网络SENet；通过压缩和激励网络SENet分别为全局信息特征和局部信息特征设置全局信息特征权重和局部特征信特征权重；
所述渲染模块采用滤波器大小为7×7，填充量为3，步幅为1的卷积层，其中，卷积层的激活函数为Tanh，用于通过特征空间与图像空间的映射处理重校准特征图，得到重光照图像。
采用上述进一步方案的有益效果为：提供重渲染网络的具体网络结构，为利用重渲染网络处理无光照场景特征和阴影分布估计特征，得到重光照图像提供基础。
进一步地，所述重渲染网络的损失函数的计算表达式如下：
其中，其中Y′表示重校准特征图，
表示重光照图像，λ′表示重光照平衡参数，feat(·)表示利用VGG19网络对图像提取的特征图谱。
采用上述进一步方案的有益效果为：提供重渲染网络的损失函数的具体计算方法，为通过渲染器渲染重校准特征图得到重光照图像提供基础。
进一步地，所述步骤S6包括如下步骤：
S61、将无光照场景特征和阴影分布估计特征输入多尺度感知模块，得到包括多尺度信息的全局信息特征和局部信息特征；
S62、将全局信息特征和局部信息特征输入通道重校准模块，依次对全局信息特征和局部信息特征进行特征均化、池化和全连接，以及与全局信息特征和局部信息特征做矩阵的元素相乘，得到重校准特征图；
S63、将重校准特征图输入渲染模块，通过特征空间与图像空间的映射，得到重光照图像。
采用上述进一步方案的有益效果为：提供基于无光照场景特征、阴影分布估计特征和重渲染网络，得到重光照图像的具体方法，通过多尺度特征感知融合和权重调整，得到具有关键值的多尺度融合特征，即重校准特征图，将得到的特征输入渲染器中，经过渲染得到目标图像。
附图说明
图1为本发明实施例中的一种基于生成对抗网络的三维图形重光照生成方法的步骤流程图。
图2为本发明实施例中的场景转换生成器的结构示意图。
图3为本发明实施例中的阴影估计生成器的结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
SENet(Squeeze-and-Excitation Networks)：压缩和激励网络，实现了显式地建模特征通道之间的相互依赖关系，通过特征重标定实现了对特征通道间的融合。
如图1所示，在本发明的一个实施例中，本发明提供一种基于生成对抗网络的三维图形重光照生成方法，包括如下步骤：
S1、基于光照参数得到带有光照值的训练数据集和测试数据集；
所述步骤S1包括如下步骤：
S11、通过随机法生成包括光伏强度、光照距离、光源方向和光源仰角的光照参数，其中，光伏强度和光照距离的变化范围为大于1且小于20，光源方位角θ的变化范围为大于0°小于360°，光源仰角γ的变化范围为大于-90°且小于90°；
S12、将光照参数加入三维场景中的渲染通道，得到带有光照标签的渲染数据集；
S13、对渲染数据集进行预处理，得到带有光照值的数据集；
S14、将数据集进行划分，得到带有光照值的训练数据集和测试数据集；
S2、基于测试数据集、场景转换生成器和场景判别器，构建场景转换生成对抗网络；
如图2所示，所述场景转换生成器包括第一下采样模块，以及均与第一下采样模块连接的第一残差模块和第一上采样模块；所述第一残差模块与第一上采样模块连接；
所述第一下采样模块包括通过第一输出端依次连接的第一输入卷积层、第一下采样卷积层、第二下采样卷积层、第三下采样卷积层和第四下采样卷积层；所述第一输入卷积层的输入端作为第一下采样模块的输入端，输入测试数据集中的各图像；所述第四下采样卷积层的输出端作为第一下采样模块的输出端，并与第一残差模块的输入端连接；
所述第一残差模块包括9个依次连接的残差子模块，其中，第一个残差子模块的输入端作为第一残差模块的输入端，并与第一下采样模块的输出端连接，最后一个残差子模块的输出端作为第一残差模块的输出端，并与第一上采样模块的输入端连接；
所述第一上采样模块包括通过第一输入端依次连接的第一上采样转置卷积层、第二上采样转置卷积层、第三上采样转置卷积层、第四上采样转置卷积层和第一输出卷积层；所述第一上采样转置卷积层的输入端作为第一上采样模块的输入端，并与第一残差模块的输出端连接；所述第一输入卷积层的第二输出端、第一下采样卷积层的第二输出端、第二下采样卷积层的第二输出端和第三下采样卷积层的第二输出端一一对应与第一输出卷积层的第二输入端、第四上采样转置卷积层的第二输入端、第三上采样转置卷积层的第二输入端和第二上采样转置卷积层的第二输入端连接；所述第一输出卷积层的输出端作为第一上采样模块的输出端，输出无光照场景特征；
所述场景判别器采用马尔可夫判别器结构，由4个堆叠的跨步卷积层构成，其中，第一个跨步卷积层的输入端作为场景判别器的输入端，并与第一上采样模块的输出端连接，第四个跨步卷积层的输出端作为场景判别器的输出端，构成场景转换生成网络；
S3、基于测试数据集、场景转换生成器和阴影判别器，构建阴影估计生成对抗网络；
如图3所示，所述阴影估计生成器包括依次连接的第二下采样模块、第二残差模块和第二上采样模块；
所述第二下采样模块包括依次连接的第二输入卷积层、第五下采样卷积层、第六下采样卷积层、第七下采样卷积层和第八下采样卷积层；所述第二输入卷积层的输入端作为第二下采样模块的输入端，输入测试数据集中的各图像；所述第八下采样卷积层的输出端作为第二下采样模块的输出端，并与第二残差模块的输入端连接；
所述第二残差模块包括9个依次连接的残差子模块，其中，第一个残差子模块的输入端作为第二残差模块的输入端，并与第二下采样模块的输出端连接，最后一个残差子模块的输出端作为第二残差模块的输出端，并与第二上采样模块的输入端连接；
所述第二上采样模块包括依次连接的第五上采样转置卷积层、第六上采样转置卷积层、第七上采样转置卷积层、第八上采样转置卷积层和第二输出卷积层；所述第五上采样转置卷积层的输入端作为第二上采样模块的输入端，并与第二残差模块的输出端连接；所述第二输出卷积层的输出端作为第一上采样模块的输出端，输出阴影分布估计特征；
所述阴影判别器采用马尔可夫判别器结构，由4个堆叠的跨步卷积层构成，其中，第一个跨步卷积层的输入端作为阴影判别器的输入端，并与第二上采样模块的输出端连接，第四个跨步卷积层的输出端作为阴影判别器的输出端，构成阴影估计生成网络；
所述场景转换生成器和阴影估计生成器的计算表达式分别如下：
其中，GA表示场景转换生成结果，GB表示阴影估计生成结果，λ表示期望系数，X表示输入图像，Y表示目标光源下的图像，
表示符合输入图像和目标光源下的图像正态分布的数学期望，|| ||表示取向量模长，Ysf表示阴影目标图像，G(X)表示输入图像后的生成器输出结果，arg表示取定义域子集，
表示生成器G的下界，
表示判别器D的上界，
表示基于生成器G和判别器D的生成对抗网络损失函数，
表示阴影判别器Dshad的上界，
表示基于生成器G和阴影判别器Dshad的生成对抗网络损失函数；
所述场景判别器用于判别场景转换生成器的输出无光照场景特征与测试数据集中的无阴影图像；所述阴影判别器用于判别阴影估计生成器的输出阴影分布估计特征与测试数据集中的无阴影图像；所述场景判别器和阴影判别器均仅在patch级别上计算损失，对每个N×N大小的patch判断真假，在整张图像上应用判别器卷积，并将平均结果作为最终输出；
所述场景判别器和阴影判别器的损失函数的计算表达式均如下：
其中，
表示判别器的损失函数结果，X表示输入图像，Ysf表示无阴影的基准图像，
表示符合输入图像和无阴影的基准图像指定分布的数学期望值，D(X,Ysf)表示基于输入图像和无阴影的基准图像的判别器输出结果，
表示符合输入图像指定分布的数学期望值，G(X)表示基于输入图像的生成器输出结果，D(X,G(X))表示基于输入图像和生成器输出结果的判别器输出结果；
S4、利用训练数据集分别迭代训练场景转换生成对抗网络和阴影估计生成对抗网络，并将测试数据集分别输入训练好的场景转换生成对抗网络和阴影估计生成对抗网络，得到无光照场景特征和阴影分布估计特征；
S5、构建重渲染网络；
所述重渲染网络包括依次连接的多尺度感知模块、通道重校准模块和渲染模块；
所述多尺度感知模块包括若干感知尺寸滤波器；各所述感知尺寸滤波器通过无光照场景特征和阴影分布估计特征获取全局信息特征和局部信息特征；
所述通道重校准模块采用压缩和激励网络SENet；通过压缩和激励网络SENet分别为全局信息特征和局部信息特征设置全局信息特征权重和局部特征信特征权重；
所述渲染模块采用滤波器大小为7×7，填充量为3，步幅为1的卷积层，其中，卷积层的激活函数为Tanh，用于通过特征空间与图像空间的映射处理重校准特征图，得到重光照图像；
所述重渲染网络的损失函数的计算表达式如下：
其中，其中Y′表示重校准特征图，
表示重光照图像，λ′表示重光照平衡参数，feat(·)表示利用VGG19网络对图像提取的特征图谱；
S6、基于无光照场景特征、阴影分布估计特征和重渲染网络，得到重光照图像；
所述步骤S6包括如下步骤：
S61、将无光照场景特征和阴影分布估计特征输入多尺度感知模块，得到包括多尺度信息的全局信息特征和局部信息特征；
S62、将全局信息特征和局部信息特征输入通道重校准模块，依次对全局信息特征和局部信息特征进行特征均化、池化和全连接，以及与全局信息特征和局部信息特征做矩阵的元素相乘，得到重校准特征图；
S63、将重校准特征图输入渲染模块，通过特征空间与图像空间的映射，得到重光照图像。
本发明的有益效果为：本发明提供的一种基于生成对抗网络的三维图形重光照生成方法，建立了由带有光照值图像组成的训练数据集和测试数据集，且分别场景转换生成对抗网络和阴影估计生成对抗网络，利用训练数据集将场景转换生成对抗网络和阴影估计生成对抗网络训练好后，使用带有光照值的测试数据集输入训练好的对抗网络，得到了无光照场景特征和阴影分布估计特征，并构建了重渲染网络，实现了基于无光照场景特征、阴影分布估计特征和重渲染网络，得到重光照图像，本方案能够实现三维场景在变换光源和视角之后快速生成新场景的高质量渲染图像。
Claims (10)
1.一种基于生成对抗网络的三维图形重光照生成方法，其特征在于，包括如下步骤：
S1、基于光照参数得到带有光照值的训练数据集和测试数据集；
S2、基于测试数据集、场景转换生成器和场景判别器，构建场景转换生成对抗网络；
S3、基于测试数据集、场景转换生成器和阴影判别器，构建阴影估计生成对抗网络；
S4、利用训练数据集分别迭代训练场景转换生成对抗网络和阴影估计生成对抗网络，并将测试数据集分别输入训练好的场景转换生成对抗网络和阴影估计生成对抗网络，得到无光照场景特征和阴影分布估计特征；
S5、构建重渲染网络；
S6、基于无光照场景特征、阴影分布估计特征和重渲染网络，得到重光照图像。
2.根据权利要求1所述的基于生成对抗网络的三维图形重光照生成方法，其特征在于，所述步骤S1包括如下步骤：
S11、通过随机法生成包括光伏强度、光照距离、光源方向和光源仰角的光照参数，其中，光伏强度和光照距离的变化范围为大于1且小于20，光源方位角θ的变化范围为大于0°小于360°，光源仰角γ的变化范围为大于-90°且小于90°；
S12、将光照参数加入三维场景中的渲染通道，得到带有光照标签的渲染数据集；
S13、对渲染数据集进行预处理，得到带有光照值的数据集；
S14、将数据集进行划分，得到带有光照值的训练数据集和测试数据集。
3.根据权利要求2所述的基于生成对抗网络的三维图形重光照生成方法，其特征在于，所述场景转换生成器包括第一下采样模块，以及均与第一下采样模块连接的第一残差模块和第一上采样模块；所述第一残差模块与第一上采样模块连接；
所述第一下采样模块包括通过第一输出端依次连接的第一输入卷积层、第一下采样卷积层、第二下采样卷积层、第三下采样卷积层和第四下采样卷积层；所述第一输入卷积层的输入端作为第一下采样模块的输入端，输入测试数据集中的各图像；所述第四下采样卷积层的输出端作为第一下采样模块的输出端，并与第一残差模块的输入端连接；
所述第一残差模块包括9个依次连接的残差子模块，其中，第一个残差子模块的输入端作为第一残差模块的输入端，并与第一下采样模块的输出端连接，最后一个残差子模块的输出端作为第一残差模块的输出端，并与第一上采样模块的输入端连接；
所述第一上采样模块包括通过第一输入端依次连接的第一上采样转置卷积层、第二上采样转置卷积层、第三上采样转置卷积层、第四上采样转置卷积层和第一输出卷积层；所述第一上采样转置卷积层的输入端作为第一上采样模块的输入端，并与第一残差模块的输出端连接；所述第一输入卷积层的第二输出端、第一下采样卷积层的第二输出端、第二下采样卷积层的第二输出端和第三下采样卷积层的第二输出端一一对应与第一输出卷积层的第二输入端、第四上采样转置卷积层的第二输入端、第三上采样转置卷积层的第二输入端和第二上采样转置卷积层的第二输入端连接；所述第一输出卷积层的输出端作为第一上采样模块的输出端，输出无光照场景特征；
所述场景判别器采用马尔可夫判别器结构，由4个堆叠的跨步卷积层构成，其中，第一个跨步卷积层的输入端作为场景判别器的输入端，并与第一上采样模块的输出端连接，第四个跨步卷积层的输出端作为场景判别器的输出端，构成场景转换生成网络。
4.根据权利要求3所述的基于生成对抗网络的三维图形重光照生成方法，其特征在于，所述阴影估计生成器包括依次连接的第二下采样模块、第二残差模块和第二上采样模块；
所述第二下采样模块包括依次连接的第二输入卷积层、第五下采样卷积层、第六下采样卷积层、第七下采样卷积层和第八下采样卷积层；所述第二输入卷积层的输入端作为第二下采样模块的输入端，输入测试数据集中的各图像；所述第八下采样卷积层的输出端作为第二下采样模块的输出端，并与第二残差模块的输入端连接；
所述第二残差模块包括9个依次连接的残差子模块，其中，第一个残差子模块的输入端作为第二残差模块的输入端，并与第二下采样模块的输出端连接，最后一个残差子模块的输出端作为第二残差模块的输出端，并与第二上采样模块的输入端连接；
所述第二上采样模块包括依次连接的第五上采样转置卷积层、第六上采样转置卷积层、第七上采样转置卷积层、第八上采样转置卷积层和第二输出卷积层；所述第五上采样转置卷积层的输入端作为第二上采样模块的输入端，并与第二残差模块的输出端连接；所述第二输出卷积层的输出端作为第一上采样模块的输出端，输出阴影分布估计特征；
所述阴影判别器采用马尔可夫判别器结构，由4个堆叠的跨步卷积层构成，其中，第一个跨步卷积层的输入端作为阴影判别器的输入端，并与第二上采样模块的输出端连接，第四个跨步卷积层的输出端作为阴影判别器的输出端，构成阴影估计生成网络。
5.根据权利要求4所述的基于生成对抗网络的三维图形重光照生成方法，其特征在于，所述场景转换生成器和阴影估计生成器的计算表达式分别如下：
其中，GA表示场景转换生成结果，GB表示阴影估计生成结果，λ表示期望系数，X表示输入图像，Y表示目标光源下的图像，
表示符合输入图像和目标光源下的图像正态分布的数学期望，|| ||表示取向量模长，Ysf表示阴影目标图像，G(X)表示输入图像后的生成器输出结果，arg表示取定义域子集，
表示生成器G的下界，
表示判别器D的上界，
表示基于生成器G和判别器D的生成对抗网络损失函数，
表示阴影判别器Dshad的上界，
表示基于生成器G和阴影判别器Dshad的生成对抗网络损失函数。
6.根据权利要求5所述的基于生成对抗网络的三维图形重光照生成方法，其特征在于，所述场景判别器用于判别场景转换生成器的输出无光照场景特征与测试数据集中的无阴影图像；所述阴影判别器用于判别阴影估计生成器的输出阴影分布估计特征与测试数据集中的无阴影图像；所述场景判别器和阴影判别器均仅在patch级别上计算损失，对每个N×N大小的patch判断真假，在整张图像上应用判别器卷积，并将平均结果作为最终输出。
7.根据权利要求6所述的基于生成对抗网络的三维图形重光照生成方法，其特征在于，所述场景判别器和阴影判别器的损失函数的计算表达式均如下：
其中，
表示判别器的损失函数结果，X表示输入图像，Ysf表示无阴影的基准图像，
表示符合输入图像和无阴影的基准图像指定分布的数学期望值，D(X,Ysf)表示基于输入图像和无阴影的基准图像的判别器输出结果，
表示符合输入图像指定分布的数学期望值，G(X)表示基于输入图像的生成器输出结果，D(X,G(X))表示基于输入图像和生成器输出结果的判别器输出结果。
8.根据权利要求7所述的基于生成对抗网络的三维图形重光照生成方法，其特征在于，所述重渲染网络包括依次连接的多尺度感知模块、通道重校准模块和渲染模块；
所述多尺度感知模块包括若干感知尺寸滤波器；各所述感知尺寸滤波器通过无光照场景特征和阴影分布估计特征获取全局信息特征和局部信息特征；
所述通道重校准模块采用压缩和激励网络SENet；通过压缩和激励网络SENet分别为全局信息特征和局部信息特征设置全局信息特征权重和局部特征信特征权重；
所述渲染模块采用滤波器大小为7×7，填充量为3，步幅为1的卷积层，其中，卷积层的激活函数为Tanh，用于通过特征空间与图像空间的映射处理重校准特征图，得到重光照图像。
9.根据权利要求8所述的基于生成对抗网络的三维图形重光照生成方法，其特征在于，所述重渲染网络的损失函数的计算表达式如下：
其中，其中Y′表示重校准特征图，
表示重光照图像，λ′表示重光照平衡参数，feat(·)表示利用VGG19网络对图像提取的特征图谱。
10.根据权利要求9所述的基于生成对抗网络的三维图形重光照生成方法，其特征在于，所述步骤S6包括如下步骤：
S61、将无光照场景特征和阴影分布估计特征输入多尺度感知模块，得到包括多尺度信息的全局信息特征和局部信息特征；
S62、将全局信息特征和局部信息特征输入通道重校准模块，依次对全局信息特征和局部信息特征进行特征均化、池化和全连接，以及与全局信息特征和局部信息特征做矩阵的元素相乘，得到重校准特征图；
S63、将重校准特征图输入渲染模块，通过特征空间与图像空间的映射，得到重光照图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211501727.9A CN116051717A (zh) | 2022-11-28 | 2022-11-28 | 一种基于生成对抗网络的三维图形重光照生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211501727.9A CN116051717A (zh) | 2022-11-28 | 2022-11-28 | 一种基于生成对抗网络的三维图形重光照生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116051717A true CN116051717A (zh) | 2023-05-02 |
Family
ID=86121032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211501727.9A Pending CN116051717A (zh) | 2022-11-28 | 2022-11-28 | 一种基于生成对抗网络的三维图形重光照生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116051717A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883578A (zh) * | 2023-09-06 | 2023-10-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及相关设备 |
-
2022
- 2022-11-28 CN CN202211501727.9A patent/CN116051717A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883578A (zh) * | 2023-09-06 | 2023-10-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及相关设备 |
| CN116883578B (zh) * | 2023-09-06 | 2023-12-19 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921926B (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
| CN110097609B (zh) | 一种基于样本域的精细化绣花纹理迁移方法 | |
| CN112132023A (zh) | 基于多尺度上下文增强网络的人群计数方法 | |
| CN108416805B (zh) | 一种基于深度学习的本征图像分解方法及装置 | |
| CN109544662B (zh) | 一种基于SRUnet的动漫风格线稿上色方法及系统 | |
| CN110570363A (zh) | 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法 | |
| CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| CN103325120A (zh) | 一种快速自适应支持权值双目视觉立体匹配方法 | |
| CN109389667A (zh) | 一种基于深度学习的高效全局光照明绘制方法 | |
| CN116051717A (zh) | 一种基于生成对抗网络的三维图形重光照生成方法 | |
| CN109447897B (zh) | 一种真实场景图像合成方法及系统 | |
| CN110852940A (zh) | 一种图像处理方法及相关设备 | |
| CN112242002B (zh) | 基于深度学习的物体识别和全景漫游方法 | |
| CN114581560A (zh) | 基于注意力机制的多尺度神经网络红外图像彩色化方法 | |
| CN113989100A (zh) | 一种基于样式生成对抗网络的红外纹理样本扩充方法 | |
| CN105184370B (zh) | 一种基于som分类技术的河口流域水环境质量评价方法 | |
| CN116580184A (zh) | 一种基于YOLOv7的轻量化模型 | |
| CN109658508A (zh) | 一种多尺度细节融合的地形合成方法 | |
| CN109598771A (zh) | 一种多地貌特征约束的地形合成方法 | |
| CN112017159A (zh) | 一种遥感场景下的地面目标真实感仿真方法 | |
| CN112634456A (zh) | 基于深度学习的复杂三维模型的实时高真实感绘制方法 | |
| CN109919990B (zh) | 利用深度感知网络和视差遥感影像进行森林高度预测方法 | |
| CN114972124B (zh) | 一种遥感图像亮度自适应均衡方法及系统 | |
| CN113628139B (zh) | 一种基于生成对抗网络的模糊图像复原方法及系统 | |
| CN115330601A (zh) | 一种多尺度文物点云超分辨率方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |