CN114881843A - 一种基于深度学习的流体艺术控制方法 - Google Patents
一种基于深度学习的流体艺术控制方法 Download PDFInfo
- Publication number
- CN114881843A CN114881843A CN202210484878.1A CN202210484878A CN114881843A CN 114881843 A CN114881843 A CN 114881843A CN 202210484878 A CN202210484878 A CN 202210484878A CN 114881843 A CN114881843 A CN 114881843A
- Authority
- CN
- China
- Prior art keywords
- image
- rendering
- density field
- network
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000012530 fluid Substances 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000009877 rendering Methods 0.000 claims abstract description 44
- 239000000779 smoke Substances 0.000 claims abstract description 31
- 239000002131 composite material Substances 0.000 claims abstract description 20
- 238000013508 migration Methods 0.000 claims abstract description 19
- 230000005012 migration Effects 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 3
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 12
- 238000005457 optimization Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/60—3D [Three Dimensional] animation of natural phenomena, e.g. rain, snow, water or plants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种一种基于深度学习的流体艺术控制方法，包括：生成阶段，将烟雾的原始密度场d经过具有跳跃连接的自编码器网络生成合成密度场
渲染阶段，将原始密度场d经过可微渲染器生成多角度的原始渲染图像Iθ，而合成密度场
经过可微渲染器生成多角度的合成渲染图像
特征提取阶段，原始渲染图像Iθ和用户定义的风格图像Is经过风格迁移网络SANet生成参考渲染图像Igt，作为合成渲染图像的真实值；通过预训练的VGG网络分别提取出参考渲染图像Igt、合成渲染图像
和风格图像Is对应的特征；最终，将提取出的特征参与损失函数的计算，通过调整合成渲染图像的特征，使合成渲染图像的特征分别匹配参考渲染图像和风格图像的特征，实现对流体艺术生成效果的控制。
Description
技术领域
本发明涉及计算机图形学和虚拟仿真领域，主要涉及流体模拟领域。具体来说，本发明提供了一种基于深度学习的流体艺术控制方法。
背景技术
流体艺术控制是流体形态引导和合成的重要应用之一，是流体模拟领域的一种重要数字信息生产形式。针对流体仿真场景，流体的艺术控制使流体不仅保留物理运动规律和流动特性，而且产生特定艺术风格的湍流细节和纹理特征。它对符合真实世界的流体进行艺术再加工，改变流体结构和整体视觉效果。流体的艺术控制在诸如电影特效制作、电子游戏生产等方面均有所应用，对从事数字信息生产和艺术加工的工作者有较大意义，方便相关从业者提高创作效率。
通常，流体的艺术控制分为两个任务：1)流体控制：在保留流体运动特性的同时，实现对局部湍流细节结构的改变；2)艺术编辑：湍流细节产生特定的艺术风格。流体艺术性控制的关键之一是计算效率较低。早期的流体控制方法主要研究如何根据关键帧或者通过流体形态引导和合成的方式生成具有艺术风格的流体。这些后处理方法要么需要手工绘制，要么需要进行累次迭代优化，消耗艺术工作者大量的精力和时间。在基于深度学习的方法中，流体艺术性控制的另一关键点是没有预训练三维物体分类网络提取流体特征来表征艺术风格。图像领域中通常用预训练VGG(Visual Geometry Group)网络提取图像的高级特征，表征图像艺术风格。因此，没有定性指标对流体艺术风格进行量化，造成深度学习在流体艺术控制任务上的应用困难。
目前大多数流体艺术性控制方法均采用累次迭代进行计算。在流体控制方面，TempoGAN[1]应用于流体的超分辨率任务，通过设计的具有时空判别器的GAN网络和相应的损失函数，改善低精度流体在对应高精度下的模拟效果，提高计算效率。具有循环链条结构的GAN(Generative Adversarial Networks)网络[2]则通过隐空间编码物理参数，用于流体密度场反推物理运动状态的任务中。基于数据驱动的三维流体特征提取方法[3]则通过卷积神经网络计算复能量矩阵特征。尽管这些方法均能够提高运行效率，同时生成相对详细的湍流细节，但它们仅能生成具有真实感的流体运动状态。而针对非真实感的艺术性流体生成，仍主要依赖传统小波湍流等迭代优化法进行控制，计算效率并没有显著提升。一些基于数据驱动的恢复流体表面的算法[4]虽然能够恢复流体表面之间的动作，获得更自然的流体表面，但也仅适用于表面的重建行为。
在艺术编辑方面，最近的一些研究也涉及到专门的艺术控制过程。基于风格化关键帧动画的算法[5]通过手绘流体艺术性关键帧，使烟雾在指定时间步内逐渐过渡到关键帧的流体形态，手绘过程耗费大量的时间和精力。基于传输的烟雾风格迁移算法[6]则利用预训练VGG网络提取风格图像的风格特征，指导欧拉网格下流体的速度场合成。拉格朗日流体风格迁移算法[7]则采用类似的技术在SPH(Smoothed Particle Hydrodynamics)粒子上实现风格化属性。然而，这些方法的特征提取方式回传梯度相对困难，仅适用于迭代优化计算，运行效率低。
此外，图像风格迁移领域与流体艺术控制密切相关。风格迁移将预训练VGG网络上的过滤响应作为目标提取图像内容，将图像分解为多个层级。一方面保留内容图像的语义结构，一方面将风格图像在卷积网络下的特征统计分布作为优化目标。最初，大量针对单一风格的前馈神经网络用于提高风格化效率。随着技术发展，针对多风格的网络模型被提出，如AdaIN[8]利用自适应归一化调整内容图像的均值和方差，WCT[9]利用协方差进行白化和着色过程，SANet[10]利用软注意力机制实现多风格迁移，一些保留更丰富的语义信息的技术[11]也被提出来提高风格化质量。
因此，现有的方法中仍然存在以下局限性：1)流体的艺术性控制仍主要依赖迭代优化，运行效率较低；2)流体的艺术编辑主要依赖十分耗费精力的手工绘制，或者预训练VGG网络空间提取风格特征的方法，梯度传播过程较为困难。针对以上问题，本发明在基于传输的烟雾风格迁移算法和图像风格迁移这两类方法的基础上，不仅大大增加了流体艺术控制的运行效率，同时新的风格特征提取方式为艺术生成质量提供了有效保障。
参考文献：
[1]Xie Y,Franz E,Chu M,et al.Tempogan:Atemporally coherent,volumetricGAN for super-resolution fluid flow.ACM Transactions on Graphics,2018,37(4):95:1-95:15.
[2]Chu M,Thuerey N,Seidel H P,et al.Learning meaningful controls forfluids.ACM Transactions on Graphics,2021,40(4):100:1-100:13.
[3]张锐.基于数据驱动的流体特征提取方法与应用[J].上海交通大学,2020.
[4]朱青,李琨,齐娜.一种基于数据驱动的流体模拟方法[P].北京市:CN111460741A,2020-07-28.
[5]Browning M,Barnes C,Ritter S,et al.Stylized keyframe animation offluid simulations.In Proceedings of the Workshop on Non-PhotorealisticAnimation and Rendering.2014:63-70.
[6]Kim B,Azevedo V C,Gross M,et al.Transport-based neural styletransfer for smoke simulations.arXiv preprint arXiv:1905.07442,2019.
[7]Kim B,Azevedo V C,Gross M,et al.Lagrangian neural style transferfor fluids.ACM Transactions on Graphics,2020,39(4):52:1-52:10.
[8]Huang X,Belongie S.Arbitrary style transfer in real-time withadaptive instance normalization.In Proceedings of the IEEE InternationalConference on Computer Vision.2017:1501-1510.
[9]Li Y,Fang C,Yang J,et al.Universal style transfer via featuretransforms.In Proceedings of the 31st International Conference on NeuralInformation Processing Systems,2017:385-395.
[10]Park D Y,Lee K H.Arbitrary style transfer with style-attentionalnetworks.In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2019:5880-5888.
[11]朱婷.注重风格化质量的图像及视频风格迁移技术研究[J].天津大学,2021.
发明内容
本发明的目的是为了克服现有技术中的不足，提供一种基于深度学习的流体艺术控制方法。本发明将深度学习的思想应用于流体模拟中，并结合图像风格迁移，不仅提高了艺术结果的生成效率，而且能有效提取流体的艺术风格特征。将流体风格化的迭代优化过程转移到深度神经网络的训练过程中，从而在运行阶段显著降低生成时间。同时，新的风格特征提取方式保证网络梯度传播的正确方向。
本发明的目的是通过以下技术方案实现的：
一种基于深度学习的流体艺术控制方法，包括：
生成阶段，将烟雾的原始密度场d经过具有跳跃连接的自编码器网络生成合成密度场
渲染阶段，将原始密度场d经过可微渲染器生成多角度的原始渲染图像Iθ，而合成密度场
经过可微渲染器生成多角度的合成渲染图像
特征提取阶段，原始渲染图像Iθ和用户定义的风格图像Is经过风格迁移网络SANet生成参考渲染图像Igt，作为合成渲染图像的真实值；通过预训练的VGG网络分别提取出参考渲染图像Igt、合成渲染图像
和风格图像Is对应的特征；最终，将提取出的特征参与损失函数的计算，通过调整合成渲染图像的特征，使合成渲染图像的特征分别匹配参考渲染图像和风格图像的特征，实现对流体艺术生成效果的控制。
进一步的，生成阶段中自编码器网络是通过编码器与解码器各自对应的特征层跳跃连接组成，编码器与解码器结构对称；具体的，原始密度场首先经过若干个卷积层和最大池化层进行3次下采样编码，然后经过一层Dropout层和3次上采样解码，从而将编码器提取的高级语义特征恢复到原始分辨率下，输出合成密度场。
进一步的，编码器与解码器仅采样到512×512×512的空间分辨率，编码器的上采样结构由三线性插值后接一层卷积层构成；烟雾的密度在[0,1]范围内取值，所有卷积层后的激活层均采用修正线性单元代替带泄露的修正线性单元，防止负密度值的产生。
进一步的，渲染阶段是通过若干个角度的正交相机进行渲染，通过固定轨迹上的泊松采样确定正交相机的位置，原始渲染图像Iθ和合成渲染图像
均为二维灰度图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至4任一项所述基于深度学习的流体艺术控制方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至4任一项所述基于深度学习的流体艺术控制方法的步骤。
与现有技术相比，本发明的技术方案所带来的有益效果是：
1)在运行时显著减少计算时间。本发明结合深度学习方法控制流体形态，通过网络训练过程的迭代优化，建立从原始密度场到合成密度场的映射模型，从而提高运行过程的生成效率。
2)增加图像领域研究在流体控制方面的运用。由于本发明中的可微渲染器能够将三维流体密度场映射到二维灰度图像上，流体的艺术控制问题被转化为图像的风格迁移问题，使成熟的图像领域研究能够充分应用于流体的艺术控制中。
3)建立了一个基于预训练图像风格迁移网络SANet的流体风格化控制框架，该框架对复杂的三维空间网络模型有较好的收敛性。本发明用SANet生成的合成渲染图像进行特征映射，代替用户定义的风格图像直接进行特征映射，并设计了相应的损失函数，使网络模型的参数能够向正确的方向传播，提升了网络模型的收敛速度。
附图说明
图1为流体艺术控制方法整体流程示意图。
图2为生成阶段的网络结构图。
图3a至图3d为渲染器的图像渲染结果，其中图3a为原始渲染图像补丁；图3b为合成渲染图像补丁；图3c为连续的烟枪原始渲染图像和合成渲染图像；图3d为连续的烟羽原始渲染图像和合成渲染图像；
图4a至图4f为Houdini引擎中三维动画生成结果；其中图4a为原始烟枪密度场；图4b为基于卷曲风格图像的烟枪合成密度场；图4c为原始烟羽密度场；图4d为基于卷曲风格图像的烟羽合成密度场；图4e为基于火焰风格图像的烟羽合成密度场；图4f中从左到右依次为原始烟枪密度场、本发明实施例生成的烟枪合成密度场、原始烟羽密度场、本发明实施例生成的烟羽合成密度场。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于深度学习的流体艺术控制方法，采用一个预训练的SANet作为图像风格迁移网络，将多角度的原始渲染图像转化为对应风格化的参考渲染图像。该网络通过学习相似性核，并采用可学习的软注意力机制，实现多种风格的迁移。在利用SANet网络对原始渲染图像进行风格迁移前，需要对该网络进行定制化的预训练。本发明对图像数据集进行灰度处理，然后重新迭代训练320,000次得到适用于灰度图像的SANet。该方法的整体流程总结如下：
为在三维流体上生成与风格图像类似的湍流细节，本发明提供了一个三阶段的系统，将艺术风格从图像迁移到流体的过程分为三个步骤，如图1所示。
1、第一阶段即生成阶段
本阶段包含一个网络模型，该网络模型输入烟雾的原始密度场，输出风格化的合成密度场。合成密度场在运行时直接作为生成的艺术性流体结果，在训练时则等待第二阶段的处理。针对网络模型，本实施例用编码器与解码器各自对应的特征层跳跃连接来组成自编码器结构，使该网络模型能够生成更多的艺术细节。在生成阶段中，针对网络模型的输出部分，本发明提出以密度场而非速度场作为输出的必要性；针对网络模型的结构设计部分，则提出利用跳跃连接提高风格化生成质量。
本发明仅以密度场作为全卷积网络模型的输出。将速度场作为优化目标遵循质量守恒，更符合物理直觉的客观运动规律。因此，为测试以速度场和以密度场作为优化目标的区别，分别将网络模型的输出层通道设置为3和1。当通道为1时，网络直接输出合成密度场；当通道为3时，网络输出的合成速度场首先通过卷曲操作确保无散度性质，然后在原始密度场上执行对流步，生成质量不变的合成密度场。在训练过程中，其他条件均相同的前提下，分别以密度场和速度场作为输出，在损失函数趋于最小值附近时，选取9个Poisson采样渲染方向的合成密度场补丁渲染图像。
本实施例的网络模型中，编码器与解码器结构对称，并在对称的特征层上增加跳跃连接，如图2所示。原始密度场首先经过多个卷积层和最大池化层进行3次下采样编码，然后经过一层Dropout层和3次上采样解码，从而将编码器提取的高级语义特征恢复到原始分辨率下，输出合成密度场。其中，编码器与解码器仅采样到512×512×512的空间分辨率，以避免过多的网络参数影响模型的收敛。编码器与解码器之间连接的Dropout层进一步防止网络模型过拟合。上采样操作采用三线性插值加卷积的方式，以防止棋盘格效应。最后，由于烟雾的密度在[0,1]范围内取值，所有卷积层后的激活层均采用修正线性单元代替带泄露的修正线性单元，防止负密度值的产生。
2、第二阶段即渲染阶段
该阶段采用一个轻量级的可微渲染器对三维烟雾密度场进行渲染。该渲染器分别接收第一阶段的原始密度场和合成密度场，渲染得到两种密度场的二维灰度图像，并等待第三阶段的处理。
本实施例引入一个轻量级的可微渲染器，即仅包含从相机到图像像素之间单方向的光线追踪。可微渲染器输出一张灰度图像，图像中每个像素的强弱代表从三维密度场映射到该像素位置的密度大小，光线通过不均匀的参与介质传输。此外，还从多个角度的正交相机进行渲染，相机位置的选取并不采用特定路径下的均匀采样，而选择固定轨迹上的泊松采样，避免相机视角引入的误差，同时多视角的泊松采样能够产生更积极的风格化效果。
3、第三阶段即特征提取阶段
本实施例引入两个图像领域的预训练网络用于流体的风格化生成。第一个是预训练的风格迁移网络，用于生成风格化的参考渲染图像。输入用户定义的任意风格图像和由原始动画渲染出的原始渲染图像，经过该预训练网络输出参考渲染图像，进行图像层面的风格迁移。第二个是预训练的VGG网络，用于图像的特征提取。输入多角度的合成渲染图像、参考渲染图像和风格图像，经过VGG网络提取出用户定义的特征层的映射；将提取出的特征参与损失函数的计算，通过调整合成渲染图像的特征，使合成渲染图像的特征分别匹配参考渲染图像和风格图像的特征，实现对流体艺术生成效果的控制。
4、损失函数
内容损失使合成渲染图像保留内容图像的语义结构，风格损失则使合成渲染图像匹配风格图像的艺术风格。它计算滤波器响应间的相关性，表征合成渲染图像和风格图像之间特征的统计分布差异。本实施例采用Gram矩阵表示其关联性，设
表示输入图像I在第l层滤波器下第k个通道的二维特征展平成的一维特征。该特征为尺寸是(Hl×Wl)×Cl的实数集R。Gram矩阵的m行n列元素表示为：
传统图像风格迁移通过预训练VGG网络的特征空间计算损失函数，而本实施例则提出利用预训练风格迁移网络的合成渲染图像进行损失函数的计算。与直接计算预训练VGG网络特征映射的欧氏距离相比，以预训练风格迁移网络作为中转能够带来更为明确的梯度传播方向。
本实施例设计了三个新的风格损失函数：
其中，Layer为用户定义的所有特征层。Ll2用于测量合成渲染图像
与参考渲染图像Igt间的欧式距离，Ls用于测量合成渲染图像
与风格图像Is经过预训练VGG网络编码后的特征图Gram矩阵间的差异，而Ls_gt用于测量合成渲染图像
与参考渲染图像Igt经过预训练VGG网络编码后的特征图Gram矩阵间的差异。总的损失函数为：
L＝λl2Ll2+λsLs+λs_gtLs_gt
其中，λl2、λs、λs_gt三项为权重系数。实验表明该损失函数具有最好的生成效果。在训练过程中，由于Ll2损失项的值相对较小，λl2、λs、λs_gt设置为20、1和1。
具体的，以下结合上述三个阶段对本实施例做进一步说明：
首先，通过传统流体求解器计算出多种物理参数下的两个烟雾场景，生成多帧烟雾密度场，并将每帧密度场保存到本地存储器，作为训练集和测试集。随后，在图形工作站上进行训练，并保存网络模型和中间渲染图像。在测试阶段，通过训练好的网络模型生成多帧合成密度场，并转化为vdb格式的体积云，在Houdini引擎中渲染，得到三维场景效果。
其次，在训练阶段，采用在固定轨迹上泊松采样的9个相机位置进行渲染，生成9个角度的渲染图像。网络结构采用具有跳跃连接的自编码器网络，网络输出仅有密度场，损失函数包含所有三个损失项。在测试阶段，对烟枪和烟羽场景分别经过训练好的网络，进行艺术化效果生成。
此外，本实施例经过多个实验验证了网络结构、网络输出、渲染器采样和损失函数的有效性。在网络结构方面，如果没有跳跃连接，简单的自编码器无法有效学习到图像的纹理细节特征，仅能生成大致轮廓。在渲染器采样方面，固定三视图采样与泊松采样相比生成的烟雾风格化特征并不明显，固定视角的渲染方式会引入未知的误差。在损失函数方面，当去掉Ls时，生成的烟雾可能导致局部位置烟雾体积的脱离，而添加内容损失项则对烟雾的湍流细节结构有抑制作用，生成结果中卷曲的纹理结构并不明显，反而趋向于原始烟雾的状态。
本发明分别从渲染图像和Houdini引擎中的三维烟雾动画两方面展示艺术控制的结果。图4a至图4f展示了训练过程中可微渲染器的烟雾渲染结果，所有的渲染图像均从具有卷曲结构的风格图像中学习到风格特征。其中，图3a为训练阶段裁切后的输入密度场补丁在9个方向上的渲染图像，图3b为输出密度场补丁的渲染图像，图3c和图3d是测试阶段完整流体密度场的渲染图像。图4a至图4f则展示了Houdini引擎中三维烟雾密度场对不同风格图像的艺术控制效果。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。
Claims (6)
1.一种基于深度学习的流体艺术控制方法，其特征在于，包括：
生成阶段，将烟雾的原始密度场d经过具有跳跃连接的自编码器网络生成合成密度场
渲染阶段，将原始密度场d经过可微渲染器生成多角度的原始渲染图像Iθ，而合成密度场
经过可微渲染器生成多角度的合成渲染图像
特征提取阶段，原始渲染图像Iθ和用户定义的风格图像Is经过风格迁移网络SANet生成参考渲染图像Igt，作为合成渲染图像的真实值；通过预训练的VGG网络分别提取出参考渲染图像Igt、合成渲染图像
和风格图像Is对应的特征；最终，将提取出的特征参与损失函数的计算，通过调整合成渲染图像的特征，使合成渲染图像的特征分别匹配参考渲染图像和风格图像的特征，实现对流体艺术生成效果的控制。
2.根据权利要求1所述一种基于深度学习的流体艺术控制方法，其特征在于，生成阶段中自编码器网络是通过编码器与解码器各自对应的特征层跳跃连接组成，编码器与解码器结构对称；具体的，原始密度场首先经过若干个卷积层和最大池化层进行3次下采样编码，然后经过一层Dropout层和3次上采样解码，从而将编码器提取的高级语义特征恢复到原始分辨率下，输出合成密度场。
3.根据权利要求2所述一种基于深度学习的流体艺术控制方法，其特征在于，编码器与解码器仅采样到512×512×512的空间分辨率，编码器的上采样结构由三线性插值后接一层卷积层构成；烟雾的密度在[0,1]范围内取值，所有卷积层后的激活层均采用修正线性单元代替带泄露的修正线性单元，防止负密度值的产生。
4.根据权利要求1所述一种基于深度学习的流体艺术控制方法，其特征在于，渲染阶段是通过若干个角度的正交相机进行渲染，通过固定轨迹上的泊松采样确定正交相机的位置，原始渲染图像Iθ和合成渲染图像
均为二维灰度图像。
5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述基于深度学习的流体艺术控制方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4任一项所述基于深度学习的流体艺术控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210484878.1A CN114881843B (zh) | 2022-05-06 | 2022-05-06 | 一种基于深度学习的流体艺术控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210484878.1A CN114881843B (zh) | 2022-05-06 | 2022-05-06 | 一种基于深度学习的流体艺术控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114881843A true CN114881843A (zh) | 2022-08-09 |
| CN114881843B CN114881843B (zh) | 2024-05-31 |
Family
ID=82672884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210484878.1A Active CN114881843B (zh) | 2022-05-06 | 2022-05-06 | 一种基于深度学习的流体艺术控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114881843B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108924528A (zh) * | 2018-06-06 | 2018-11-30 | 浙江大学 | 一种基于深度学习的双目风格化实时渲染方法 |
| CN109934791A (zh) * | 2019-04-02 | 2019-06-25 | 山东浪潮云信息技术有限公司 | 一种基于风格迁移网络的图像去雾方法及系统 |
| US20190228587A1 (en) * | 2018-01-24 | 2019-07-25 | Google Llc | Image Style Transfer for Three-Dimensional Models |
| US20190244060A1 (en) * | 2018-02-02 | 2019-08-08 | Nvidia Corporation | Domain Stylization Using a Neural Network Model |
| CN113112397A (zh) * | 2021-03-25 | 2021-07-13 | 北京工业大学 | 一种基于风格与内容解耦的图像风格迁移方法 |
-
2022
- 2022-05-06 CN CN202210484878.1A patent/CN114881843B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190228587A1 (en) * | 2018-01-24 | 2019-07-25 | Google Llc | Image Style Transfer for Three-Dimensional Models |
| US20190244060A1 (en) * | 2018-02-02 | 2019-08-08 | Nvidia Corporation | Domain Stylization Using a Neural Network Model |
| CN108924528A (zh) * | 2018-06-06 | 2018-11-30 | 浙江大学 | 一种基于深度学习的双目风格化实时渲染方法 |
| CN109934791A (zh) * | 2019-04-02 | 2019-06-25 | 山东浪潮云信息技术有限公司 | 一种基于风格迁移网络的图像去雾方法及系统 |
| CN113112397A (zh) * | 2021-03-25 | 2021-07-13 | 北京工业大学 | 一种基于风格与内容解耦的图像风格迁移方法 |
Non-Patent Citations (1)
| Title |
|---|
| 戴凤智等: "基于深度学习的视频跟踪研究进展综述", 《计算机工程与应用》, 7 March 2019 (2019-03-07) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114881843B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113673307B (zh) | 一种轻量型的视频动作识别方法 | |
| Gadelha et al. | 3d shape induction from 2d views of multiple objects | |
| Fan et al. | Unified implicit neural stylization | |
| CN108921926B (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
| CN108830913B (zh) | 基于用户颜色引导的语义级别线稿上色方法 | |
| CN110728219A (zh) | 基于多列多尺度图卷积神经网络的3d人脸生成方法 | |
| CN113255813B (zh) | 一种基于特征融合的多风格图像生成方法 | |
| Zhang et al. | 3d adversarial attacks beyond point cloud | |
| CN109035146A (zh) | 一种基于深度学习的低质量图像超分方法 | |
| US11989846B2 (en) | Mixture of volumetric primitives for efficient neural rendering | |
| CN114926553A (zh) | 基于神经辐射场的三维场景一致性风格化方法及系统 | |
| CN111612703A (zh) | 一种基于生成对抗网络的图像盲去模糊方法 | |
| CN117496072B (zh) | 一种三维数字人生成和交互方法及系统 | |
| Hu et al. | Image style transfer based on generative adversarial network | |
| Yan et al. | Plenvdb: Memory efficient vdb-based radiance fields for fast training and rendering | |
| CN116385667B (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
| Yu et al. | Single image super-resolution based on improved WGAN | |
| CN114881843B (zh) | 一种基于深度学习的流体艺术控制方法 | |
| CN115115860A (zh) | 一种基于深度学习的图像特征点检测匹配网络 | |
| Jiang et al. | Tcgan: Semantic-aware and structure-preserved gans with individual vision transformer for fast arbitrary one-shot image generation | |
| Hui et al. | Make-a-shape: a ten-million-scale 3d shape model | |
| CN114140317A (zh) | 一种基于级联生成对抗网络的图像动漫化方法 | |
| Li et al. | Neural style transfer based on deep feature synthesis | |
| CN112907456A (zh) | 基于全局平滑约束先验模型的深度神经网络图像去噪方法 | |
| Xiao et al. | Optimizing generative adversarial networks in Latent Space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |