CN112380764B - 一种在有限视图下的气体场景端到端快速重建方法 - Google Patents

Abstract

本发明公开了一种在有限视图下的气体场景端到端快速重建方法，其特点是气体场景端到端快速重建方法，具体包括：1）生成初步的估计密度场；2）重建速度场；3）优化密度场；4）根据气体场景的重建物理场，产生更吸引人的结果和更丰富的视觉细节效果。本发明与现有技术相比具有快速有效地通过输入前视图和侧视图序列重建气体场景，并进行细节增强方法或艺术性控制，大大提高了烟雾场景的重建性能，确保重建结果的有效性和鲁棒性。

Description

一种在有限视图下的气体场景端到端快速重建方法

技术领域

本发明涉及计算机图形技术领域，具体地说是一种借用大量训练数据以及人工神经网络进行有限视图下的气体场景端到端快速重建方法。

背景技术

随着刚体动画仿真技术日益成熟，近几十年来，动态物理现象的捕捉一直是图形学和视觉领域的一个活跃的研究课题。由于硬件和设置的限制以及对复杂的数值优化和离散化操作的依赖，动态物理现象的捕捉普遍存在着重建的过程经常需要大量的设备与计算成本。然而在许多应用中，数据捕获的速度与简易程度才是人们所需求的，实时的捕获动态物理现象能极大地促进流体仿真的发展，在应用层面有着不可替代的作用。

现有技术的动态物理现象的捕捉，如果从稀疏多视图图像重建流体，例如单视图输入或正面和侧面视图的成对输入，重建结果通常缺乏可靠的全局结构和有意义的物理属性。但在实践应用中，我们可以通过先验知识很清楚的知道这些重建结果并不是我们所需要的，我们想要的应当是符合我们认知的流体形态与分布，而不是似是而非的一个估测结果，因此这类方法通常并不奏效。为了改善这个问题，研究人员提出了许多综合考虑捕获信息和物理模型的折衷方法。Eckert等人在《Computer Graphics Forum》上发表的《Coupledfluid density and motion from single views》(2018年)一文中通过紧密耦合密度更新与速度更新，实现了从单个图像序列重建流体密度以及流体运动。然而，由于数值计算的原因，仍然需要复杂且耗时的优化和离散化操作。

发明内容

发明的目的是针对现有技术的不足而设计的一种在有限视图下的气体场景端到端快速重建方法，采用欧拉法生成并采集仿真流体的密度场，利用训练后的卷积神经网络重建物理场，通过添加细节增强方法或艺术性控制，产生更吸引人的结果和更丰富的视觉细节效果，能够在有限视图下实时地、端到端的重建气体场景的密度场和速度场，保障了多物理场之间的强耦合性质，大大的提高了烟雾场景的重建性能，确保重建结果可靠的全局结构和有意义的物理属性，计算高效，鲁棒性强，保证了效果的真实感，具有一定的实用价值。

本发明的目的是这样实现的：一种在有限视图下的气体场景端到端快速重建方法，其特点是气体场景端到端快速重建方法，具体包括以下步骤：

(一)、基于生成模型的密度场初步估计

a、设置随机的初始烟源、速度场，通过欧拉法生成并采集仿真流体的密度场，以及对应的前视图、侧视图作为训练样本并生成训练数据集；构建并训练条件生成网络；利用训练后的网络，通过输入流体动画的前视图、侧视图序列进行密度场生成，得到初步的密度场重建结果；

b、采用不可压缩纳维-斯托克斯方程描述流体运动，该方程为下述a式：

其中：u表示流体速度；t表示动画模拟时间；ρ表示流体密度；p表示流体压强；f表示流体所受外力。

c、基于欧拉法生成的流体动画序列，记录第t帧的前视图信息

以及侧视图信息

生成网络输入数据，仿真流体的密度场数据ρt作为生成器输出数据，输入数据与输出数据组成一组样本；记录第t帧的前视图信息

以及侧视图信息

和相邻3帧仿真流体的密度场数据ρ^t-1，ρ^t，ρ^t+1作为判别器的输入数据；收集若干组样本作为训练数据集。

d、构建并训练条件生成网络，其具体包括：密度生成器和判别器，所述密度生成器按下述步骤进行密度生成的：

1)输入层的节点数与输入数据维度相同，每组样本的输入数据中各个维度的值与输入层对应节点的值相同；

2)通过三次线性插值方法上采样输入数据，并将上采样结果作为下一层的输入；

3)前视图和侧视图分别连接6个残差块结构，提取各自特征；

4)连接前视图和侧视图的特征，并连接4个残差块结构，得到输出；

5)得到输出层误差后，利用反向传播算法，得到内部隐含层中的节点误差，并利用梯度下降算法调整节点间的权值，提高非线性拟合能力，所述输出层误差由下述b式计算：

其中：Gr代表格拉姆矩阵计算；F代表特征矩阵；L代表特征层数；IN_x代表判别器的输入，其构成为

其中，

代表平流得到的密度场结果。

所述判别器按下述步骤进行判别的：

1)输入层的节点数与输入数据维度相同，每组样本的输入数据中各个维度的值与输入层对应节点的值相同；

2)截面图和相邻帧密度场分别连接4个残差块结构，提取各自特征；

3)连接压平层与全连接层，输出层的节点数为1；

4)得到输出层误差后，利用反向传播算法，得到内部隐含层中的节点误差，并利用梯度下降算法调整节点间的权值，提高非线性拟合能力，所述输出层误差由下述c式计算：

-∑logD(IN_y)-∑log(1-D(IN_x))(c)；

其中：IN_y的构成为{(ρ^t-1，ρ^t，ρ^t+1)，(ρ^t-1，ρ^t，ρ^t+1)，

e、利用训练后的网络，通过输入流体动画的前视图、侧视图序列进行密度场生成，得到初步的密度场重建结果。

(二)、基于卷积神经网络的速度场重建

a、采集欧拉法生成的气体场景数据作为训练样本并生成训练数据集，主要包括相邻帧的速度场和密度场；基于长期机制，构建并训练速度估计神经网络；利用训练后的网络对(一)步骤中得到的密度场进行速度场估计，从而得到可用于欧拉平流的速度场；

b、生成流体动画仿真序列，记录第t，t+1帧的仿真流体的密度场数据ρ^t，ρ^t+1和相邻帧的速度场之差Δρ^t作为输入数据，仿真流体的速度场数据u^t作为输出数据，输入数据与输出数据组成一组样本；收集若干组样本作为训练数据集。

c、基于长期机制构建并训练速度估计神经网络

1)输入层的节点数与输入数据维度相同，每组样本的输入数据中各个维度的值与输入层对应节点的值相同；

2)ρ^t，ρ^t+1和Δρ^t分别连接二个残差块结构；

3)连接两者的特征矩阵并连接四个残差块结构；

4)得到输出层误差后，利用反向传播算法，得到内部隐含层中的节点误差，并利用梯度下降算法调整节点间的权值，提高非线性拟合能力，所述输出层误差由下述d式计算：

其中：

代表从s帧到t帧的速度估计平流结果。

(三)、对输入的前视图和侧视图序列，利用(一)、(二)步骤的网络预测速度场与初始密度场，进而通过高阶的MacCormack平流方法，在欧拉方法框架下利用预测速度场对初始密度场进行平流。

(四)、基于气体场景的重建物理场，添加细节增强方法或艺术性控制，产生更吸引人的结果和更丰富的视觉细节效果。

本发明与现有技术相比具有快速有效地通过输入前视图和侧视图序列重建气体场景，并进行细节增强方法或艺术性控制。基于条件生成网络与卷积神经网络的线下训练与运行时快速预测，避免了耗时的优化计算，提高了气体场景的重建速度与时空连贯性。计算高效，鲁棒性强。充分利用了数据驱动方法的计算优势，同时考虑了多种物理约束，保证了效果的真实感，尤其可以很好地结合其他的流体仿真算法中，显著提高计算的快捷性和鲁棒性。

附图说明

图1为有限视图下的气体场景端到端快速重建算法的框架图；

图2为密度生成器的网络结构示意图；

图3为判别器的网络结构示意图；

图4为训练数据集的采样示意图；

图5为速度估计神经网络的网络结构示意图；

图6为三种场景下，基于重建速度场和密度场重仿真得到的效果

图7为根据重建结果，应用细节增强方法的视觉效果；

图8为高分辨率场景的重建效果；

图9为对重建结果添加艺术控制的视觉效果。

具体实施方式

以下结合气体场景的重建效果实施例对本发明作进一步的详细描述。

实施例1

参阅附图1，本发明按下述步骤进行流体动画参数估计与细节增强：

(一)、基于生成模型的密度场初步估计

a、设置随机的初始烟源、速度场，通过欧拉法生成并采集仿真流体的密度场，以及对应的前视图、侧视图作为训练样本并生成训练数据集。

b、构建并训练条件生成网络；利用训练后的网络，通过输入流体动画的前视图、侧视图序列进行密度场生成，得到初步的密度场重建结果。

(二)、基于卷积神经网络的速度场重建

a、采集欧拉法生成的气体场景数据作为训练样本并生成训练数据集，主要包括相邻帧的速度场和密度场；

b、基于长期机制，构建并训练速度估计神经网络；利用训练后的网络对步骤(a)中得到的密度场进行速度场估计，从而得到可用于欧拉平流的速度场。

(三)、基于重建的速度场和前一帧的密度场，通过高阶的MacCormack平流方法优化当前帧的密度场结果。

(四)、基于气体场景的重建物理场，添加细节增强方法或艺术性控制，产生更吸引人的结果和更丰富的视觉细节效果。

本发明所述基于卷积神经网络的流体物理参数估计，其具体如下：

1)首先生成若干随机场景的烟雾仿真数据，设置随机的初始烟源、速度场，通过欧拉法生成并采集仿真流体的密度场，以及对应的前视图、侧视图作为训练样本并生成训练数据集。

2)建立密度估计条件生成网络，分为生成器G_ρ和判别器D，其具体为：

a)生成器G_ρ，其输入为第t帧的前视图信息

以及侧视图信息

参阅附图2，基于三次线性插值对输入进行上采样，然后通过六个残差块结构将

转换为特征矩阵，连接它们的特征映射，并添加权重系数添加用于控制视图对结果的影响。最后经过在四个残差块结构，就可以得到预估的密度场。为了结合更多的低层信息，提高生成密度场的准确性，使用短连接链接前两层和最后两层的特征映射。图中的每个方块代表特征图，每个特征图的维度标注于方块底部，a、b、c三个方块分别对应于前视图特征、侧视图特征和混合特征，箭头表示数据流的操作。

所述密度生成器的输出层误差由下述b式计算：

其中：Gr代表格拉姆矩阵计算；F代表特征矩阵；L代表特征层数；IN_x代表判别器的输入，其构成为

其中，

代表平流得到的密度场结果。

b)判别器D，其输入为第t帧的前视图信息

以及侧视图信息

以及相邻3帧仿真流体的密度场数据ρ^t-1，ρ^t，ρ^t+1。

参阅附图3，在判别器中连接

与

输入网络的一个分支，另一个分支的输入为

和

各自经过四个残差块结构之后，将两个分支合并，并通过完全连接层获得结果。这样，判别器将对抗性损失，即判别器的输出层误差由下述c式计算：

-∑logD(IN_y)-∑log(1-D(IN_x))(c)；

其中：IN_y的构成为{(ρ^t-1，ρ^t，ρ^t+1)，(ρ^t-1，ρ^t，ρ^t+1)，

同时，判别器也帮助生成的密度场尽量贴近真实的流体仿真结果。

3)网络中的权值和偏移量可以通过反向传播算法与随机梯度下降算法计算，来达到理想的损失函数的快速收敛。

本发明基于卷积神经网络的速度场重建，其具体步骤如下：

1)对三维仿真生成包含320个场景的数据集，每个场景仿真80帧。

参阅附图4，为了与实际场景相符，通过放置若干个烟源进行初始化，一部分训练数据如图所示，40％的训练数据设置为随机烟源和向上浮力，剩余的60％训练数据中我们设置1～6个的速度流。90％的数据用于培训，其余10％用于测试。

2)参阅附图5，G_u的输入为第t，t+1帧的仿真流体的密度场数据ρ^t，ρ^t+1和相邻帧的速度场之差Δρ^t。首先各自连接3个残差块结构，分别提取相邻帧密度场和速度场之差的特征矩阵，然后串联这两部分特征图，并连接三个残差块结构，最后得到最终的估计速度场。为了减小网络的参数与计算耗费，平衡了网络模型的大小和速度，另一方面通过使用残差块结构，有效地减少了网络中的参数数量，在训练更深的网络结构的同时降低了计算消耗与内存使用。

3)在该网络的损失函数设计中，采用下述e式欧拉方法中泊松方程求解：

投影计算保证了无粘欧拉方程的不可压缩性条件，其中u^*是平流之后的速度场，u是散度为零的速度场。上述方程可以视为在散度为零的约束条件下最小化u^*与u之间差异的优化问题，其损失函数项为下述f式：

在实际使用中需要重复调用G_u预测每帧的速度场，而在每次估计速度场时不可避免的会存在一定的数值误差，这些数值误差会累加并影响到到下一次的速度估计的准确度，长期的误差累加会使得最后的结果与真实数据的结果相差甚远，尤其是在细节上，会产生大量的细节丢失。因此，设计了一个由下述g式基于长期机制的损失函数：

其中：

是基于预测速度场通过MacCormack方法平流得到，将上述f式和g式组合，得到了一个在欧拉网格上需要最小化的目标函数，即输出层误差由下述d式计算：

其中：

代表从s帧到t帧的速度估计平流结果。

本发明基于数据驱动的流体动画参数估计与细节增强，其效果展示说明如下：

参阅附图6，图中展示了三种场景下，基于重建速度场和密度场，在时间t＝0、15、30、45、60、75、90时的重模拟结果。本发明的重建结果不仅在烟雾表面以及耦合边界重建了丰富的可视细节，同时保持了整体的运动趋势与全局结构特征与输入场景的前视图和侧视图一致，考虑物理模型的密度生成网络和速度估计卷积神经网络，在平滑区域和细节上都取得了不错的效果。

参阅附图7，根据重建结果，应用细节增强方法以达到更好的视觉效果，并获得高分辨率的密度以及速度场。细节增强方法的输入是重建的密度和速度场，分辨率为64×64×64，输出的结果分辨率为256×256×256。在图中的(a)、(b)分别给出t＝80时的正视图和侧视图的渲染结果。该结果和真实数据相比保证了拥有丰富的细节，同时与输入的运动趋势相同。附图6中的(e)、(f)也示出了细节增强结果，其拥有丰富的细节和更好的视觉效果。

参阅附图8，图中(a)是输入的模拟气体场景，右下角(b)是4×的下采样结果，以(b)为输入，重建了气态场景(c)并使用细节增强方法来产生具有更好视觉细节的高分辨率结果(d)。与低分辨率重建相比，应用了细节增强方法将增大速度场的偏差。尽管如此，这个实验已经证明本发明可以应用于高分辨率场景的重建。

参阅附图9，重建的物理场作为重新模拟的输入，并添加了一个红色球状固体作为艺术控制。结果(c)表明，添加艺术控制后，不仅保留了输入气体现象(a)的整体趋势，也创造了一个与固体碰撞的新场景。总而言之，气体重建框架可以与其他方法相结合，因此用户可以很容易地产生新的气体现象，而且效果可控，细节更丰富。

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (9)

1.一种在有限视图下的气体场景端到端快速重建方法，其特征在于气体场景端到端快速重建方法，具体包括以下步骤：

(一)、基于生成模型的密度场初步估计

a、设置随机的初始烟源、速度场，通过欧拉法生成并采集仿真流体的密度场，以及对应的前视图、侧视图作为训练样本并生成训练数据集；

b、构建并训练条件生成网络；

c、利用训练后的网络，通过输入流体动画的前视图、侧视图序列进行密度场生成，得到初步的密度场重建结果；

(二)、基于卷积神经网络的速度场重建

a、采集欧拉法生成的气体场景数据作为训练样本并生成训练数据集，所述气体场景数据主要包括相邻帧的速度场和密度场；

b、基于长期机制，构建并训练速度估计神经网络；

c、利用训练后的网络对(一)步骤重建的密度场进行速度场估计，从而得到可用于欧拉平流的速度场；

(三)、基于重建的速度场和前一帧的密度场，通过高阶的MacCormack平流方法优化当前帧的密度场结果；

(四)、输入重建的密度和速度场，应用细节增强方法获得高分辨率的密度场和速度场；

所述(一)步骤中的构建并训练条件生成网络包括：密度生成器和判别器，所述密度生成器按下述步骤进行密度生成的：

1)输入层的节点数与输入数据维度相同，每组样本的输入数据中各个维度的值与输入层对应节点的值相同；

2)通过三次线性插值方法上采样输入数据，并将上采样结果作为下一层的输入；

3)前视图和侧视图分别连接六个残差块结构，提取各自特征；

4)连接前视图和侧视图的特征，并连接四个残差块结构，得到输出；

5)得到输出层误差后，利用反向传播算法，得到内部隐含层中的节点误差，并利用梯度下降算法调整节点间的权值，提高非线性拟合能力；

所述判别器按下述步骤进行判别的：

1)输入层的节点数与输入数据维度相同，每组样本的输入数据中各个维度的值与输入层对应节点的值相同；

2)截面图和相邻帧密度场分别连接四个残差块结构，提取各自特征；

3)连接压平层与全连接层，输出层的节点数为1；

4)得到输出层误差后，利用反向传播算法，得到内部隐含层中的节点误差，并利用梯度下降算法调整节点间的权值，提高非线性拟合能力。

2.根据权利要求1所述在有限视图下的气体场景端到端快速重建方法，其特征在于所述欧拉法采用下述a式不可压缩纳维-斯托克斯方程描述的流体运动：

其中：u表示流体速度；t表示动画模拟时间；ρ表示流体密度；p表示流体压强；f表示流体所受外力。

3.根据权利要求1中所述在有限视图下的气体场景端到端快速重建方法，其特征在于所述(一)步骤中的生成训练数据集具体包括：

1)记录第t帧的前视图信息

以及侧视图信息

生成网络输入数据，仿真流体的密度场数据ρ^t作为生成器输出数据，输入数据与输出数据组成一组样本；

2)记录第t帧的前视图信息

以及侧视图信息

和相邻三帧仿真流体的密度场数据ρ^t-1,ρ^t,ρ^t+1作为判别器的输入数据；

3)收集若干组样本作为训练数据集。

4.根据权利要求1所述在有限视图下的气体场景端到端快速重建方法，其特征在于所述密度生成器的输出层误差由下述b式计算：

其中：Gr代表格拉姆矩阵计算；F代表特征矩阵；L代表特征层数；IN_x代表判别器的输入，其构成为

其中，

代表平流得到的密度场结果。

5.根据权利要求4所述在有限视图下的气体场景端到端快速重建方法，其特征在于所述判别器的输出层误差由下述c式计算：

-∑logD(IN_y)-∑log(1-D(IN_x)) (c)；

其中：IN_y的构成为

6.根据权利要求1所述在有限视图下的气体场景端到端快速重建方法，其特征在于所述(二)步骤(a)中的生成训练数据集具体包括：

1)记录第t,t+1帧的仿真流体的密度场数据ρ^t,ρ^t+1和相邻帧的速度场之差Δρ^t作为输入数据，仿真流体的速度场数据u^t作为输出数据，输入数据与输出数据组成一组样本；

2)收集若干组样本作为训练数据集。

7.根据权利要求1所述在有限视图下的气体场景端到端快速重建方法，其特征在于所述(二)步骤中的基于长期机制，构建并训练速度估计神经网络具体包括：

1)输入层的节点数与输入数据维度相同，每组样本的输入数据中各个维度的值与输入层对应节点的值相同；

2)第t,t+1帧的仿真流体的密度场数据ρ^t,ρ^t+1和相邻帧的速度场之差Δρ^t分别连接二个残差块结构；

3)连接2者的特征矩阵并连接四个残差块结构；

4)得到输出层误差后，利用反向传播算法，得到内部隐含层中的节点误差，并利用梯度下降算法调整节点间的权值，提高非线性拟合能力。

8.根据权利要求7所述在有限视图下的气体场景端到端快速重建方法，其特征在于所述输出层误差由下述d式计算：

其中：

代表从s帧到t帧的速度估计平流结果。

9.根据权利要求1中所述在有限视图下的气体场景端到端快速重建方法，其特征在于所述(三)步骤中的添加细节增强方法是对输入的前视图和侧视图序列，利用网络预测速度场与初始密度场，进而在欧拉方法框架下通过预测速度场对初始密度场进行平流，并在结果上添加细节增强。

Images