CN112381914A - 一种基于数据驱动的流体动画参数估计与细节增强方法 - Google Patents

Abstract

本发明公开了一种基于数据驱动的流体动画参数估计与细节增强方法，其特点是流体动画参数估计与细节增强具体包括：基于卷积神经网络的流体物理参数估计、基于欧拉法的重仿真或流体动画设计和基于卷积神经网络的流体动画细节增强等步骤，利用参数估计获取的物理参数组合，对输入场景或用户设计场景进行重新模拟，利用卷积神经网络快速重建高分辨速度场，指导在高分辨率网格上的快速重仿真，从而在不增加额外计算开销的情况下获得更丰富、更真实的细节。本发明与现有技术相比具有快速获取仿真场景的物理参数组合，并提供了高效可控的流体动画重仿真模式，具有一定的实用价值。

Description

一种基于数据驱动的流体动画参数估计与细节增强方法

技术领域

本发明涉及计算机图形学技术领域，具体地说是一种借用大量训练数据以及人工神经网络，进行流体动画物理参数估计与细节增强的方法。

背景技术

随着刚体动画仿真技术日益成熟，近年来烟雾固体耦合现象的动画仿真在娱乐与工程领域的应用中开始受到更多的关注。烟雾现象的仿真中普遍存在的一个问题是，由于物理模型和数值求解器的参数敏感性，参数设置的小幅变化常常会导致完全不同的烟雾仿真结果。因此对于烟雾动画的人工设计，基于物理的方法可能难以获得符合用户预期的结果。中国专利文献号CN201510751615.2，公开日期2016-03-09，提供了一种基于流体分析的流体参数估计方法，该方法利用经验模态分解与流体速度场降维的方法进行流体参数估计，分析优化复杂耗时。

基于物理的高分辨率烟雾-固体耦合仿真经常需要不菲的计算成本和内存消，然而在许多应用中，绝对的物理准确性通常不是首要目标。例如，动画设计人员倾向于首先使用实时的低分辨率仿真来设计与控制特定的烟雾场景，然后运行高分辨率仿真以获得更丰富的细节。但在实践应用中，受限于不同的分辨率会改变模拟的整体运动趋势，这种自然产生的想法通常并不奏效。

为了改善这个问题，研究人员提出了许多综合考虑指导信息和物理模型的折衷方法。You×ie等人在《ACM Transaction on Graphics》上发表的《tempoGAN：A TemporallyCoherent，Volumetric GAN for Super-resolution Fluid Flow》(2018年)一文中通过收集大量流体仿真数据进行生成对抗网络的训练，以快速合成高分辨率流体动画。但这种方法会较大的损失物理准确性与动画连贯性。

发明内容

发明的目的是针对现有技术的不足而设计的一种基于数据驱动的流体动画参数估计与细节增强方法，采用数据驱动方法和卷积神经网络的线下训练，采集不同流体物理参数组合下欧拉法生成的流体动画数据作为训练样本并生成训练数据集，构建并训练卷积神经网络对输入流体动画序列进行参数估计，获取物理参数组合，利用欧拉法进行重仿真或流体动画设计，利用卷积神经网络快速重建高分辨速度场，指导在高分辨率网格上的快速重仿真，从而在不增加额外计算开销的情况下获得更丰富、更真实的细节，流体动画细节增强，充分利用了数据驱动方法的计算优势，同时考虑了多种物理约束，大大提高了细节增强的物理准确性与时空连贯性，避免了耗时的迭代优化计算，计算高效，鲁棒性强，保证了效果的真实感，能够快速获取仿真场景的物理参数组合，并提供了高效可控的流体动画重仿真模式，具有一定的实用价值。

本发明的目的是这样实现的：一种基于数据驱动的流体动画参数估计与细节增强方法，其特征在于流体动画参数估计与细节增强具体包括以下步骤：

(一)、基于卷积神经网络的流体物理参数估计

步骤1-1：采集不同流体物理参数组合下欧拉法生成的流体动画数据作为训练样本并生成训练数据集。

所述欧拉法采用不可压缩纳维斯托克斯方程描述流体运动，该方程由下述a式表述：

其中：u表示流体速度；t表示动画模拟时间；ρ表示流体密度；p表示流体压强；

f＝f_buoy+f_conf，表示流体所受外力，其中：f_buoy表示浮力，f_conf表示桨轮力；

f_buoy＝-αρz+β(T-T_amb)z，其中：α，β表示浮力系数，z表示垂直方向上的单位矢量，T表示流体温度，T_amb表示环境温度；

f_conf＝εl(N×ω)，其中：ε表示涡度系数，l表示离散尺寸，

表示涡度，

表示归一化涡度位置矢量。

所述欧拉法生成的流体动画数据是基于欧拉法生成不同参数组合下的流体动画序列，选取相邻两帧的流体物理场ρ^t-1，u^t-1，T^t-1与ρ^t，u^t，T^t，记录两帧的物理场信息与仿真场景的几何场信息g作为输入数据，参数组合(K，α，β，ε)作为输出数据，输入数据与输出数据组成一组样本；收集若干组样本作为训练数据集。

步骤1-2：构建并训练卷积神经网络。

步骤1-3：利用训练后的网络对输入流体动画序列进行参数估计，获取物理参数组合，包括浮力系数α，β、传热系数K和涡度系数ε，并利用训练后的卷积神经网络拟合输入数据的物理参数组合(K，α，β，ε)。

(二)、基于欧拉法的重仿真或流体动画设计

使用(一)步骤中得到的参数组合进行流体的重仿真，或通过参数组合修改、动画场景调整进行流体动画设计。

(三)、基于卷积神经网络的流体动画细节增强

步骤3-1：采集不同分辨率下欧拉法生成的流体动画数据作为训练样本并生成训练数据集。

步骤3-2：构建并训练卷积神经网络。

步骤3-3：利用训练后的网络对(二)步骤中得到的流体动画数据进行高分辨率速度场合成，从而在高分辨率网络下进行快速欧拉平流，合成高分辨率的流体动画。针对输入的低分辨率流体动画序列，利用构建并训练卷积神经网络对速度场进行高分辨预测，进而在欧拉方法框架下利用预测速度场对上采样的初始密度场进行平流，得到高分辨下的真实感流体动画。

所述流体动画数据进行高分辨率速度场合成具体包括：

a)建立高分辨率流体动画仿真序列，选取速度场u_f作为输出数据；

b)对相应的密度场、速度场进行下采样得到低分辨率ρ_c，u_c，与仿真场景的几何场信息g作为输入数据，输入数据与输出数据组成一组样本；

c)收集若干组样本作为训练数据集。

所述构建并训练卷积神经网络的具体步骤包括：

i)输入层的节点数与输入数据维度相同，每组样本的输入数据中各个维度的值与输入层对应节点的值相同；

ii)连接上采样层，将输入采样至高分辨率；

iii)连接卷积层与平均池化层，获取多分辨率下的高低频信息，并进行累加；

iv)连接三个残差块结构合成高分辨率速度场；

v)得到输出层误差后，利用反向传播算法，得到内部隐含层中的节点误差，并利用梯度下降算法调整节点间的权值，提高非线性拟合能力。

所述输出层误差为参数真实值与模拟值之间的绝对百分比误差，其输出层误差由下述b式计算：

其中：

A表示平流操作，w_r，w_f，w_d，w_c表示权重参

数；r表示流体单元位置；u_p表示预测速度；h＝u·ω表示螺旋度；F表示低通滤波；u_upc表示上采样的u_c；n表示长效机制所采用的帧数。

本发明与现有技术相比具有利用数据驱动方法，基于卷积神经网络的线下训练与运行时快速预测，避免了耗时的迭代优化计算，提高了细节增强的物理准确性与时空连贯性，充分利用了数据驱动方法的计算优势，同时考虑了多种物理约束，保证了效果的真实感。本发明可以快速有效地获取输入场景的物理参数组合，并进行高分辨率动画的快速合成。在计算的快捷性和模拟结果的逼真性上都有显著提高，可以很好地适用于欧拉法的改进方法中，显著提高计算的快捷性和鲁棒性。

附图说明

图1为本发明流程示意图；

图2为参数估计卷积神经网络结构示意图；

图3为参数估计卷积神经网络残差块结构示意图；

图4为细节增强卷积神经网络结构示意图；

图5为长效机制示意图；

图6为重仿真效果对比和细节增强效果图；

图7为重仿真效果对比和细节增强效果图；

图8为烟雾固体耦合的细节增强效果图；

图9为烟雾固体耦合的细节增强效果图；

图10为烟雾混合的细节增强效果图。

具体实施方式

以下结合烟雾与流体动画设计的增强效果实施例对本发明作进一步的详细描述。

实施例1

参阅附图1，本发明按下述步骤进行流体动画参数估计与细节增强：

(一)、基于卷积神经网络的流体物理参数估计

步骤1-1：采集不同流体物理参数组合下欧拉法生成的流体动画数据作为训练样本并生成训练数据集。

步骤1-2：构建并训练卷积神经网络。

步骤1-3：利用训练后的网络对输入流体动画序列进行参数估计，获取物理参数组合，包括浮力系数α，β，传热系数K K，涡度系数ε；

(二)、基于欧拉法的重仿真或流体动画设计

使用(一)步骤中得到的参数组合进行流体的重仿真，或通过参数组合修改、动画场景调整进行流体动画设计。

(三)、基于卷积神经网络的流体动画细节增强，其具体包括下述步骤：

步骤31：采集不同分辨率下欧拉法生成的流体动画数据作为训练样本并生成训练数据集。

步骤32：构建并训练卷积神经网络。

步骤3-3：利用训练后的网络对(二)步骤中得到的流体动画数据进行高分辨率速度场合成，从而在高分辨率网络下进行快速欧拉平流，合成高分辨率的流体动画。

所述基于卷积神经网络的流体物理参数估计，其具体步骤如下：

(1)首先生成若干随机场景的烟雾仿真数据，每个场景采用随机的参数组合，包括浮力系数α，β、传热系数K和涡度系数ε。

(2)建立参数估计卷积神经网络f_conv1，其输入为毗邻两帧的密度场、速度场、温度场以及仿真场景的几何场g，即场景的边界信息和内部固体障碍物信息按下述a式描述：

(K，α，β，ε)＝f_conv1(ρ^t-1，ρ^t，u^t-1，u^t，T^t-1，T^t，ω^t-1，g) (a)。

参阅附图2，所述f_conv1的结构通过对第一个隐藏层下采样获得多分辨率的特征，并用平均池化层提取低分辨率特征以提高网络的能力，之后采用残差学习的思想，在网络中设置了五个通过平均池化层相连的残差块，来优化训练过程，提高正确率，最后在网络末端增加了一个全连接层用于参数估计。图中的每个方块代表特征图，每个特征图的维度标注于方块上部。其中，分别对应于三维卷积层、残差块、全连接层三个方块。

参阅附图3，每个残差块的结构描述包括两个修正线性单元激活的卷积层。

由于f_conv1中估算的几个物理参数相对独立地控制不同的物理影响作用，但它们又同时影响仿真的物理进程，很难采用一个简单的加权损失函数使得四个参数同时达到收敛。因此针对每个参数单独训练网络，以保证较快的收敛与较高的准确率。考虑到每个参数的合理设置范围，选择平均绝对百分误差作为损失函数。

(3)网络中的权值和偏移量可以通过反向传播算法与随机梯度下降算法计算，来达到理想的损失函数的快速收敛。

(4)为了处理任意分辨率的仿真数据，随机采样多个满足f_conv1输入尺寸的分块作为输入，并采用平均值作为最终结果。

所述欧拉法的重仿真或流体动画设计的具体步骤如下：

1)所述流体运动由下述b式进行纳维斯托克斯方程描述：

其中：u表示流体速度；t表示动画模拟时间；ρ表示流体密度；p表示流体压强；f表示流体所受外力。

所述流体所受外力按下述c式计算：

f＝f_buoy+f_conf (c)；

其中：f_buoy表示浮力且由下述d式计算：

f_buoy＝-αρz+β(T-T_amb)z (d)；

其中：α，β表示浮力系数；z表示垂直方向上的单位矢量；T表示流体温度；T_amb表示环境温度。

f_conf表示桨轮力，且由下述e式计算：

f_conf＝εl(N×ω) (e)；

其中：ε表示涡度系数；l表示离散尺寸；

表示涡度；

表示归一化涡度位置矢量。

2)基于估计的烟雾物理参数组合，在欧拉法框架下可以重现输入的仿真场景，或通过用户交互设计类似风格的烟雾仿真场景。但由于真实数据的限制和设计人员的效率要求，假设设计的重新仿真效果的分辨率较低，失去了许多真实感的细节。为了在低分辨率的物理仿真基础上快速地合成或恢复高分辨率仿真的细节，以减少真实感仿真的时间消耗，需要进行流体动画的细节增强。

所述卷积神经网络的流体动画细节增强，其具体步骤如下：

1)分别对二维和三维仿真生成包含320个场景的数据集，每个二维仿真包括640帧，三维仿真包括120帧，每隔四个时间步输出一次各种物理信息。在每个二维仿真中，场景通过随机的固体障碍物放置，初始密度场与全局浮力作用初始化。类似地，三维仿真为了与实际场景相符，通过放置若干个烟源进行初始化，采用NTD三维模型数据库作为固体障碍物数据库，并且在初始化时对其中的模型加以随机的缩放、旋转、平移操作。

2)采用f_conv2的网络结构，其输入为低分辨率的速度场，辅以对应的密度场和几何场信息。

参阅附图4，首先将输入信息上采样到希望得到的分辨率尺寸，并通过平均池化层提取多分辨率的全局信息与低频信息特征。接下来分别采用卷积层对它们进行处理，并在上采样后累加到一起。此后，同样采用了三个残差块来学习高分辨率速度场的合成，用于后续在高分辨率网格上烟雾的细节增强。该网络令残差块近似地从低频的速度场重建缺失的高频速度场细节。残差块的使用同样有效地减少了网络中的参数数量，在训练更深的网络结构的同时降低了计算消耗与内存使用。最后，可以将网络输出的高分辨率速度场用于指导在高分辨率网格上的快速重新仿真，实现计算快速、细节增强的真实感烟雾-固体耦合仿真效果。

3)由下述f式欧拉方法中泊松方程求解网络的损失函数：

投影计算保证了无粘欧拉方程的不可压缩性条件，其中：u^*是平流之后的速度场；u是散度为零的速度场；

上述泊松方程可以视为下述g式表示的在散度为零的约束条件下最小化u^*与u之间差异的优化问题：

其中：r是流体区域Ω范围内的位置向量。

另一方面，为了从指导的低分辨率速度场u_c重建细分网格上的高分辨率的速度场u_f，利用额外项来衡量两个速度场之间的差异。该额外项通过求解光滑版本的高分辨率速度场与上采样的低分辨率速度场之间的差别，作为两个不同分辨率速度场的差异指标，其形式可用下述h式表示为：

其中：F是一个低通滤波器；*代表卷积操作；u_upc代表上采样的u_c。

为了最小化预测的高分辨率速度场u_p与u_f之间的差异，同时保证u_p符合u_c的全局的运动趋势与散度为零的约束条件，将上述g式与h式组合，得到了一个由下述i式表示的在欧拉网格上需要最小化的目标函数f_obj：

其中：w_f，w_d，w_c分别代表公式里三项的相对权值调整参数，即预测的高分辨率速度场与真实数据的均方误差项，用于学习高频的速度分量；物理约束项，用于约束预测的速度场散度为零；输入数据指导项，用于保证网络预测与输入之间的相似度；w_r是另外一个考虑到仿真场景中固体边界的权值项，且由下述j式表示：

其中：k是用户定义参数，用于控制固体边界增强效应的范围；d_r是预计算的符号距离场函数，用作欧拉网格场景的几何描述。符号距离场函数可以为复杂的几何形状提供通用的简易表达，而且该表达方式适用于神经网格的输入。给定一个三维场景的离散欧拉表示，它的符号距离场在点r(i，j，k)

处的值d_r由下述k式定义为：

为了衡量r(i，j，k)与最近的固体边界的距离，水平集函数f在固体边界上取值为零，在固体内部的r(i，j，k)的f＜0，反之f＞0。

在复杂的烟雾固体耦合时，不可避免地会在耦合边界附近引入更多的计算与处理，因此在损失函数中增加其权重，以提高边界附近速度场的精度。相反地，内部流动空间的运动相对稳定，而且其对于视觉效果的影响是比较微弱的。

4)为了保存烟雾中的涡流结构，引入衡量湍流的螺旋度指标，其流体的螺旋度由下述1式计算：

h＝u·ω (1)：

通过惩罚相邻帧之间的差异来增强螺旋度连贯性。因此，f_obj可以通过改进物理约束项修改由下述n式表示为：

其中：

代表预测速度场的螺旋度，

为上一帧的真实螺旋度。另一方面，进一步引入由下述m式表示的连贯性惩罚项：

其中：ρ^t＝A(ρ^t-1，u^t-1)代表平流层操作。

参阅附图5，通过长效机制，连贯性惩罚项该项可以考虑多帧见的连贯性，从而可由下述o式表示为：

5)设计自适应的分块与融合策略，以处理任意分辨率的仿真场景。通过提取相互覆盖、符合网络要求尺度的分块作为输入，并将预测结果相应的融合到一起，该算法可以适应任意分辨率的仿真场景。

6)针对输入的低分辨率流体动画序列，所述网络对速度场进行高分辨预测，进而在欧拉方法框架下利用预测速度场对上采样的初始密度场进行平流，得到高分辨下的真实感流体动画。

参阅附图6，通过基于学习参数的重新仿真结果与原始输入场景的比较，在相同的初始条件与边界条件下，重新仿真气体的主要运动趋势会符合于输入数据，与此同时随着仿真的进行，也会出现相对的累积误差，导致不同的仿真局部细节。图中上一行为原始输入数据在40，60，80，100，120步时的仿真效果，下一行则为在同样的初始条件与边界条件下对应的基于学习参数的重新仿真的效果。参数相对误差的范围为0.45～2.02％。原始输入的分辨率为128×256×128，参数通过40帧与41帧输入的若干个随机的32×32大小的分块估计得到。

参阅附图7，首先重新仿真输入数据，并且用估计的参数设计了特定的仿真场景。用户可选的控制策略，包括固体耦合，热源，动态外力场等，都可以简单地加入到欧拉仿真框架中，同时可以对各种特效进行相应的修改。此后，采用f_conv2对上述各种烟雾仿真结果进行了细节增强，得到了图中下一行里的高分辨率仿真结果。

参阅附图8，左上角为对应的输入场景，右侧部分为增强效果(右)与输入场景(左)在方框区域的特写。本发明在烟雾表面以及耦合边界重建了丰富的可视细节，该烟雾与兔子模型耦合的细节增强效果，同时保持了输入场景的运动趋势与全局结构特征，考虑物理模型的卷积神经网络避免了在平滑区域产生不自然的人工细节。该场景输入分辨率为160×160×160，输出分辨率为640×640×640。

参阅附图9，该烟雾与龙模型的交互的场景，其中增加了人工控制的动态外力场。在处理超出训练集覆盖类型之外的场景(边界条件与用户控制)时，表现出了良好的鲁棒性。该场景输入分辨率为128×256×128，输出分辨率为512×1024×512。

参阅附图10，该兔子与龙形状烟雾混合上升的场景，在该场景中的算法保持了上部分区域的全局结构特征，同时在下部分产生了丰富的烟雾细节。该场景输入分辨率为160×160×160，输出分辨率为640×640×640。

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (8)

1.一种基于数据驱动的流体动画参数估计与细节增强方法，其特征在于流体动画参数估计与细节增强具体包括以下步骤：

(一)、基于卷积神经网络的流体物理参数估计

步骤1-1：采集不同流体物理参数组合下欧拉法生成的流体动画数据作为训练样本并生成训练数据集；

步骤1-2：构建并训练卷积神经网络；

步骤1-3：利用训练后的网络对输入流体动画序列进行参数估计，获取包括：浮力系数α，β、传热系数K以及涡度系数ε的参数组合；

(二)、基于欧拉法的重仿真或流体动画设计

利用步骤1-3得到的参数组合进行流体的重仿真，或通过参数组合修改、动画场景调整进行流体动画设计；

(三)、基于卷积神经网络的流体动画细节增强

步骤3-1：采集不同分辨率下欧拉法生成的流体动画数据作为训练样本并生成训练数据集；

步骤3-2：构建并训练卷积神经网络；

步骤3-3：利用训练后的网络对(二)步骤中得到的流体动画数据进行高分辨率速度场合成，在高分辨率网络下进行快速欧拉平流，合成高分辨率的流体动画。

2.根据权利要求1所述基于数据驱动的流体动画参数估计与细节增强方法，其特征在于：所述(一)步骤中欧拉法采用下述a式不可压缩纳维-斯托克斯方程描述的流体运动：

其中：u表示流体速度；t表示动画模拟时间；ρ表示流体密度；p表示流体压强；f表示流体所受外力。

3.根据权利要求1所述基于数据驱动的流体动画参数估计与细节增强方法，其特征在于：所述(一)步骤中生成训练数据集的具体步骤如下：

步骤4-1：第t-1帧中的流体物理场ρ^t-1，u^t-1，T^t-1经由欧拉方法求解，得到第t帧中的ρ^t，u^t，T^t，记录两帧的物理场信息与仿真场景的几何场信息g作为输入数据，参数组合(K，α，β，ε)作为输出数据，输入数据与输出数据组成一组样本；

步骤4-2：收集若干组样本作为训练数据集。

4.根据权利要求1所述基于数据驱动的流体动画参数估计与细节增强方法，其特征在于：所述(一)步骤中构建并训练卷积神经网络的具体步骤如下：

步骤5-1：输入层的节点数与输入数据维度相同，每组样本的输入数据中各个维度的值与输入层对应节点的值相同；

步骤5-2：连接下采样层和平均池化层提取输入数据的多分辨率特征；

步骤5-3：连接5个残差块结构和平均池化层；

步骤5-4：连接压平层与全连接层，输出层的节点数为1；

步骤5-5：得到输出层误差后，利用反向传播算法，得到内部隐含层中的节点误差，并利用梯度下降算法调整节点间的权值，提高非线性拟合能力，所述输出层误差为参数真实值与模拟值之间的绝对百分比误差。

5.根据权利要求1中所述基于数据驱动的流体动画参数估计与细节增强方法，其特征在于所述(三)步骤中生成训练数据集的具体步骤如下：

步骤6-1：建立高分辨率流体动画仿真序列，选取速度场u_f作为输出数据；

步骤6-2：对相应的密度场、速度场进行下采样得到低分辨率ρ_c，u_c，与仿真场景的几何场信息g作为输入数据，输入数据与输出数据组成一组样本；

步骤6-3：收集若干组样本作为训练数据集。

6.根据权利要求1中所述基于数据驱动的流体动画参数估计与细节增强方法，其特征在于所述(三)步骤中构建并训练卷积神经网络的具体步骤如下：

步骤7-1：输入层的节点数与输入数据维度相同，每组样本的输入数据中各个维度的值与输入层对应节点的值相同；

步骤7-2：连接上采样层，将输入采样至高分辨率；

步骤7-3：连接卷积层与平均池化层，获取多分辨率下的高低频信息，并进行累加；

步骤7-4：连接3个残差块结构合成高分辨率速度场；

步骤7-5：得到输出层误差后，利用反向传播算法，得到内部隐含层中的节点误差，并利用梯度下降算法调整节点间的权值，提高非线性拟合能力，所述输出层误差由下述b式计算：

其中：

A表示平流操作，w_r，w_f，w_d，w_c表示权重参数；r表示流体单元位置；u_p表示预测速度；h＝u·ω表示螺旋度；F表示低通滤波；u_upc表示上采样的u_c；n表示长效机制所采用的帧数。

7.根据权利要求1所述基于数据驱动的流体动画参数估计与细节增强方法，其特征在于所述(三)步骤中高分辨率的流体动画合成是针对输入的低分辨率流体动画序列，使用卷积神经网络对速度场进行高分辨预测，在欧拉方法框架下利用预测速度场对上采样的初始密度场进行平流，得到高分辨下的真实感流体动画。

8.根据权利要求2所述基于数据驱动的流体动画参数估计与细节增强方法，其特征在于所述流体所受外力f＝f_buoy+f_conf，其中：f_buoy表示浮力；f_buoy＝-αρz+β(T-T_amb)z表示桨轮力，α，β表示浮力系数，z表示垂直方向上的单位矢量，T表示流体温度，T_amb表示环境温度；f_conf＝εl(N×ω)，ε表示涡度系数；l表示离散尺寸；

表示涡度；

表示归一化涡度位置矢量。

Images