CN108983605A - 一种基于深度强化学习进行流体导向的刚体控制的方法 - Google Patents

Abstract

一种基于深度强化学习进行流体导向的刚体控制的方法。本方法通过仅在模拟区域边界施加控制作用力来改变流体‑刚体模拟器的行为，同时模拟区域内部通过Navier‑Stokes方程控制流体以及Newton‑Euler方程控制刚体。本方法的控制器是用深度强化学习训练的神经网络，经过预先训练便可用来在线生成控制动作。基于本方法的控制器接收流体与刚体的状态作为输入，控制流体喷口在边界移动并向模拟区域内部的刚体喷射流体，不仅可生成物理上真实的模拟效果，而且在很多2维流体‑刚体控制任务上都取得了很好的效果。本方法也可以扩展到3维流体‑刚体耦合系统，比如可以控制刚体准确运动到指定3维目标点。

Description

一种基于深度强化学习进行流体导向的刚体控制的方法

技术领域

本发明涉及计算机图形学流体模拟、最优控制、强化学习技术领域，尤其涉及一种控制流体-刚体耦合系统的方法。

背景技术

流体模拟在计算机图形学领域已经被广泛研究并且已经有很多不同的技术方法。流体模拟器可以根据离散化方法进行分类，包括Enright等人2002年在“Animation andRendering of Complex Water Surfaces”一文中使用的基于网格的方法，Becker和Teschner 2007年在“Weakly Compressible SPH for Free Surface Flows”一文中使用的基于粒子的方法，Losasso等人2008年在“Two-Way Coupled SPH and Particle Level SetFluid Simulation”一文中使用的混合式方法。流体模拟器还可以根据底层积分方法的不同进行分类，包括Becker和Teschner 2007年在“Weakly Compressible SPH for FreeSurface Flows”一文中使用的显式积分方法，Zhu和Bridson 2005年在“Animating SandAs a Fluid”一文中使用的时间分割积分方法，Mullen等人2009年在“Energy-preservingIntegrators for Fluid Animation”一文中使用的全隐式积分方法。以及，当前的流体模拟系统通常可以对包含多个物理模型的场景使用双向耦合方法进行建模。双向耦合方法已经在基于网格的模拟器与基于粒子的模拟器中得到广泛使用。

流体控制方法是基于流体模拟器设计的，并且提供了很多额外的功能，方便艺术家进行流体动画的创作。流体控制方法可以根据用户接口进行分类。例如McNamara等人2004年在“Fluid Control Using the Adjoint Method”一文中使用的基于关键帧的控制方法，其中用户提供一系列关键帧使得流体在这些特定的时间点形成相似的形状。其中有些方法依赖特定的流体模拟器，比如“Fluid Control Using the Adjoint Method”一文假设整个模拟过程是一个梯度信息可计算的方程，使得计算开销非常大。其他方法，像是Fattal和Lischinski 2004年在“Target-driven Smoke Animation”一文中的方法可以兼容任何流体模拟器。除了关键帧控制方法，还有其他方法通过插值已有模拟数据生成流体动画，比如Bonevet等人2017年在“Pre-computed Liquid Spaces with GenerativeNeural Networks”一文中使用的方法。这些方法不用基于物理的模拟器，在实际上它们计算快速，但是结果并不完全物理真实。这些所有的方法都只控制一个只有流体与固体边界的非耦合系统，而且不考虑其他在模拟区域内的动态物体。

基于机器学习的控制算法跟传统流体控制方法不同的是，控制器是参数化的而且参数是作为预处理的一部分计算出来的。这些参数的数值通常取决于在一系列典型控制任务上对控制器的优化。这样的技术曾被用在控制低自由度的动态系统，包括铰接式人物，如Wang等人2012年发表的“Optimizing Locomotion Controllers Using Biologically-based Actuators and Objectives”。还有一些早期工作局限于简单参数化与基于采样的优化方法的控制器，如Hansen和Ostermeier在2001年发表的“Completely DerandomizedSelf-Adaptation in Evolution Strategies”。然而，之前的基于采样的方法不能扩展到高自由度的动态系统，或者高自由度的控制器参数化，例如用深度神经网络表示的控制器。最近深度强化学习方法的发展带来了优化控制器的新方法，从而允许我们训练从高自由度的环境观察量(例如整个流体速度场)直接映射到控制器的输出的深度神经网络。深度强化学习方法已经在控制铰接式人物上取得应用，例如Liu和Hodgins在2017年发表的“Learning to Schedule Control Fragments for Physics-Based Characters UsingDeep Q-Learning”，这些发展也激励了我们的工作，即使用深度强化学习方法控制流体-刚体耦合系统。

发明内容

本发明目的是解决现有流体控制方法中存在的各类问题，包括无法物理准确地兼容所有流体模拟器、无法控制流体-刚体耦合模拟区域内动态刚体、难以完成较为复杂的控制任务，提供一种基于深度强化学习进行流体导向的刚体控制的方法。

本发明方法通过仅在模拟区域边界施加控制作用力来改变流体-刚体模拟器的行为，同时模拟区域内部通过Navier-Stokes方程控制流体以及Newton-Euler方程控制刚体。本方法的控制器是用深度强化学习训练的神经网络，经过预先训练便可用来在线生成控制动作。基于本方法的控制器接收流体与刚体的状态作为输入，控制流体喷口在边界移动并向模拟区域内部的刚体喷射流体，不仅可生成物理上真实的模拟效果，而且在很多2维流体-刚体控制任务上都取得了很好的效果，例如：让刚体在空中保持平衡，完成双人乒乓游戏，按顺序让刚体击中墙上的特定点。本方法也可以扩展到3维流体-刚体耦合系统，比如可以控制刚体准确运动到指定3维目标点。

本发明的技术方案：

一种基于深度强化学习进行流体导向的刚体控制的方法，所述方法的控制对象为遵循Navier-Stokes方程的流体和遵循Newton-Eular方程的刚体耦合系统；具体控制步骤包括：

第1：利用一种基于神经网络的自编码器，无监督地捕获流体速度场最重要的结构特征，并用该特征进行控制；所述的自编码器的构成如下：

第1.1：提供了一个以2维高自由度流体速度场为输入，以通过神经网络编码-解码过程还原后的等自由度速度场为输出的模型；

第1.2：主体为以卷积运算为编码过程，反卷积运算为解码过程的网络，利用无监督学习优化神经网络参数；网络结构由作为编码器的几层卷积层，与作为中间特征表示层的全连接层，与作为解码器的与编码器互为镜像的几层卷积层共同组成；

第1.3：该自编码器编码生成的中间结果自由度远远小于输入，中间结果作为从速度场抽象出的特征能够较好描述原速度场；

第1.4：作为控制器的深度强化学习神经网络以该自编码器编码生成的速度场特征为输入，加速训练过程；

第2：利用一种深度强化学习算法，优化神经网络控制参数，网络接收系统状态为输入，生成每一时间步在模拟边界的控制动作；所述的深度强化学习算法如下：

第2.1：以马尔可夫决策过程为原型，接收用于描述流体与刚体当前状态的观察量，通过神经网络控制器输出系统在下一时间步的控制量；

第2.2：包括用于量化当前动作对完成控制任务是否有价值的奖励函数；

第2.3：利用链式法则依据控制任务表现优化神经网络参数的模型；

第2.4：上述第2.3步训练优化过程使用多线程并行计算梯度以提升效率；

第3：通过足够长时间的训练，通常为数小时至数十小时，控制器能够完成多种复杂的流体导向的刚体运动控制任务。所述的复杂的流体导向的刚体运动控制任务包括：

第3.1：多种流体和刚体耦合的平衡任务：利用烟雾或液体使刚体球或十字形刚体平衡于某一位置；

第3.2：互动式控制任务：多喷口模拟协作式及对抗式球类游戏；

第3.3：多目标控制任务：控制刚体按照乐章连续打击特定位置以演奏音乐以及控制平衡任务的同时控制刚体旋转的角速度；

第3.4：定点移动任务：控制刚体移动到某一特定点。

本发明方法控制的耦合系统是一个能够依据物理定律真实模拟2维流体-刚体耦合运动的物理模拟系统，但该方法的实现与物理模拟系统的具体种类和实现方法无关，并兼容任何能够进行真实流体-刚体耦合模拟的系统，该类系统一般包含边界流体生成模块、流体速度和位置计算模块、流体速度和密度约束模块以及刚体速度和位置计算模块；所述流体-刚体耦合系统的功能有：该系统能够预先在边界处指定流体源的位置，控制外部加入流体的密度和速度，并通过在流体源上施加作用力使流体源平滑移动，改变喷射流体的位置；

所述耦合系统既能够进行多种流体模拟，也能够进行不同属性的刚体模拟，并物理正确地处理流体和刚体二者的耦合交互。

本发明的优点和有益效果：

采用本发明方法仅在模拟区域边界施加控制流体作用力来改变流体-刚体模拟器的行为，就可在很多2维甚至3维流体-刚体控制任务上取得很好的效果，且物理模拟真实。以及本控制方法可与任何模拟器兼容，在神经网络参数训练收敛后，通过少量计算即可在线生成控制动作。

附图说明

图1是本发明方法关键的流程图。

图2为流体-刚体耦合模拟器采用的适应性网格技术。

图3为自编码器与控制网络的详细层级结构。

图4为刚体平衡任务场景的关键参数标明。

图5为球类游戏任务场景的关键参数标明，(a)为协作式球类游戏，(b)为对抗式球类游戏。

图6为音符序列生成任务场景的关键参数标明，(a)为平铺场景，(b)为立体场景，是对同一模拟场景的不同视觉体现。

图7为一个基于Shallow Water Equation模拟的3维定点移动控制任务场景，(a)为初始场景，(b)为任务完成场景。

图8是刚体平衡任务中控制网络参数的收敛曲线，按照流体与刚体的种类分类，分别为液体-刚体球、液体-十字形刚体、烟雾-刚体球、烟雾-十字形刚体四种具体任务的收敛曲线。

图9是刚体平衡任务中控制网络参数的收敛曲线，按照刚体的物理性质分类，分别为重量与体积较小的刚体、重量与体积较大的刚体所在控制任务的收敛曲线。

图10是对抗式球类游戏中控制网络参数的收敛曲线。

图11是协作式球类游戏中控制网络参数的收敛曲线。

图12是音乐演奏任务中控制网络参数的收敛曲线。

图13为基于Shallow Water Equation模拟的3维定点移动控制任务中控制网络参数的收敛曲线。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本实施例中采用了2维流体固体共存的场景，根据深度强化学习算法控制流体喷口在边界处增加流体，最终完全通过基于物理定律的控制方法达到将固体平衡于画面正中央的效果，并由此场景生成生动有趣的动画效果。整体实施框架如图1所示，首先从物理模拟器的状态中提取刚体特征与编码降维后的流体特征，输入策略MLP网络中输出控制动作，供给模拟器执行动作并产生下一步状态。其中使用TRPO算法优化策略网络，网络结构如图3所示。在该实施例中，场景及关键参数如图4所示，图5-图7为其他实施例的场景与关键参数(球类游戏任务、音符序列生成任务、3维定点移动控制任务)。

步骤一，选择控制对象为遵循Navier-Stokes方程的流体和遵循Newton-Eular方程的刚体耦合系统，如下式所示：

其中Ω_f表示流体区域、Ω_r表示刚体区域。流体区域Ω_f内u表示速度场，p表示标量压力场，f为外部力，(在我们的场景设置里所有向量都是2维的)，ρ为液体的水平集(level-set)场或烟雾的密度场，其通过速度场u平流(advect)更新；刚体区域Ω_r内,M表示质量矩阵，v表示线速度，ω表示角速度，c表示刚体的质心，R表示刚体的全局朝向。

这里我们在流体与刚体间通过使u在流体与刚体区域中任意处连续(C⁰)来施加边界条件。在我们的实现中，流体模拟系统为采用了自适应网格方法的模拟器，如图2所示。

步骤二，设定控制对象的具体参数。

第一步，进行流体模拟器参数设置。这里我们将二维控制区域设置为长5m，宽3m的长方形区域，使用网格法进行流体模拟并设置网格为160*96维，重力加速度为9.8m/s²，并以0.02s为时间步长进行模拟器更新。流体喷口半径为0.12m，初始位置于屏幕最下部正中央，初始喷射方向为竖直向上，初始喷射速度为1m/s。

第二步，进行刚体模拟器参数设置。这里我们将刚体密度设置为流体的1.5倍，初始化其位置在屏幕正中央，选择控制物体为半径为0.12m的圆形刚体。

步骤三，使用一种基于神经网络的自编码器，无监督地捕获流体速度场最重要的结构特征，并用该特征进行控制。该自编码器的训练过程如下：

第一步，将原始流体速度场作为输入，进行五层卷积函数、下采样池化函数和非线性激活函数组成的编码器得到规模较小的特征场；

第二步，将该特征场平铺为一维向量，并依次为输入进行一层全连接函数和非线性激活函数组成的编码器得到规模远小于原速度场的最终编码，这里我们针对此问题设置；

第三步，将该最终编码作为输入，进行与编码器完全对称但不共享权重的反函数以由该编码还原出规模与原速度场相同的还原速度场；

第四步，将还原速度场与原速度场求MES损失并据此进行反向传播更新神经网络。

其中通过训练，上述第二步中得到的最终编码可作为系统的一个关键的观察量用于强化学习对控制器的优化。该自编码器可以单独进行训练，也可以与控制网络一起训练。

步骤四，将该控制问题转化为一个马尔可夫决策过程。流体-刚体耦合模拟器可以被状态转换函数表示，将系统当前状态S_i转换为下一个状态S_i+1。由两个子方程组成：

其中是对于状态量I的演变函数且是依赖具体控制任务的，例如用喷水器控制刚体球时，指出喷水器应该如何移动。整个动态系统接受动作a_i作为输入。控制动作是通过随机控制策略π(a|S，θ),即给定状态S下在动作集{a}上的概率分布生成的。控制器的水平可以通过优化其参数θ不断提高。本方法中π(a|S，θ)通过神经网络表示且θ为神经元的权重。最终为了量化控制目标，强化学习假设通过控制动作a_i达到状态S_i+1时，控制器收到一个奖励r(S_i，S_i+1，a_i)。我们的目标是最大化在所有时间步上奖励的加权和，即将控制问题转化成了如下的优化问题：

其中γ＜1是衰减系数。期望是在策略π下可能的状态-动作路径集上计算出的。

步骤五，通过一种深度强化学习基于策略梯度的算法对该马尔科夫决策过程进行迭代性近似。

第一步，建立以TRPO算法作为基础的深度强化学习神经网络，其输入为自编码器生成的流体编码，刚体距离屏幕中央的距离、当前速度和受力，流体喷口的位置、移动速度和喷射方向；其输出为下一时间步喷口的移动速度和喷射方向。

第二步，根据当前时间步观察到的流体-刚体耦合模拟器状态，提取神经网络所需输入并得到所对应的输出。

第三步，根据神经网络输出改变流体喷口的状态，并根据该状态更新流体-刚体耦合模拟器得到下一时间步的模拟器状态。

第四步，根据此状态与控制器根据当前策略网络选择的动作，依照奖励函数r＝w_cexp(||c-c^*||²)+w_vexp(||v||²)+w_e(1-δ_jet)量化当前策略的控制效果，并据此计算神经网络各节点梯度利用初始学习率0.00003的Adam更新算法对策略神经网络进行优化。我们将刚体质心(c)与屏幕中央(c^*)的相对误差(单位为米)、刚体的速率(v，单位为米每秒)和是否进行流体喷射(δ_jet，喷射为1，不喷射为0)作为其自变量，目的是使深度强化学习算法朝在尽可能少使用流体的条件下稳定地将刚体保持在屏幕最正中央的方向进行训练。实际训练过程中，通过参数搜索实验，为取得最佳的控制效果，我们选取w_c,w_v,w_e分别为10,2,1。

第五步，重复第二步致算法收敛。

步骤六，停止自编码器和深度强化学习神经网络的学习过程，仅利用其前传过程实时地控制流体模拟器生成将刚体球稳定保持于屏幕中央的动画效果。作为结果，如图8所示，对于烟雾控制球体平衡任务(Smoke-ball balancing)，随着迭代步数加大，该训练过程中激励函数的输出随着控制精度的提升而提升。自算法刚开始运行时激励函数输出几乎为0(意味着完全无法进行控制)，收敛至约为3500(意味着可以以极低误差和代价尽可能将刚提保持在屏幕中央)。经过3小时左右的神经网络训练，在实际测试使用过程中，在原有训练场景进行模拟。实际利用流体控制刚体于屏幕中央位置保持平衡其平均位置误差小于0.217米，其平衡状态时平均速率为0.189米每秒，相比于5米长3米宽的场景大小来说，误差已经控制的足够小，可以认为达到完成预设控制目标，即控制刚体于屏幕正中央几乎保持不动。在其他几个平衡任务上，如图8所示，也取得了相似水平的结果。在其他不同类型的任务上，如图11-13所示，奖励函数的值均随着训练过程逐渐增大至收敛，其中每个奖励函数都与该场景控制器的水平正相关，表明在这些任务上，通过我们的方法进行训练，都取得了足够好的结果。对于对抗式球类游戏的任务有些不同，图10的奖励函数一直维持在0左右，是因为它并不表示整体任务的训练水平高低。实际上，该场景由两个使用相同策略网络的控制器组成，图10奖励曲线来源于其中一个控制器的训练结果。每个控制器都按最大化自己奖励函数的方向更新策略网络，但两个控制器又共享一个策略网络，所以两个控制器水平一直是相似的，所以奖励函数的曲线应一直围绕0左右波动。在实际进行可视化模拟的时候，我们可以看出对抗式球类游戏确实表现出了很强的对抗性，每个控制器都在尝试使自己取得游戏胜利，让对方控制器输掉游戏，但目前缺乏有效的量化标准体现这一点。总之，在实际测试使用过程中，流体和刚体均可直接提供渲染所需素材，为游戏业、电影业和工业使用提供了便利。

Claims (5)

1.一种基于深度强化学习进行流体导向的刚体控制的方法，其特征在于：所述方法的控制对象为遵循Navier-Stokes方程的流体和遵循Newton-Eular方程的刚体耦合系统；具体控制步骤包括：

第1：利用一种基于神经网络的自编码器，无监督地捕获流体速度场最重要的结构特征，并用该特征进行控制；

第2：利用一种深度强化学习算法，优化神经网络控制参数，网络接收系统状态为输入，生成每一时间步在模拟边界的控制动作；

第3：通过训练，通常训练时间为数小时至数十小时，控制器能够完成多种复杂的流体导向的刚体运动控制任务。

2.根据权利要求1所述基于深度强化学习进行流体导向的刚体控制的方法，其特征在于：

所述方法控制的耦合系统是一个能够依据物理定律真实模拟2维流体-刚体耦合运动的物理模拟系统，但该方法的实现与物理模拟系统的具体种类和实现方法无关，并兼容任何能够进行真实流体-刚体耦合模拟的系统，该类系统一般包含边界流体生成模块、流体速度和位置计算模块、流体速度和密度约束模块以及刚体速度和位置计算模块；所述流体-刚体耦合系统的功能有：该系统能够预先在边界处指定流体源的位置，控制外部加入流体的密度和速度，并通过在流体源上施加作用力使流体源平滑移动，改变喷射流体的位置；

所述耦合系统既能够进行多种流体模拟，也能够进行不同属性的刚体模拟，并物理正确地处理流体和刚体二者的耦合交互。

3.根据权利要求1所述基于深度强化学习进行流体导向的刚体控制的方法，其特征在于：第1步中所述的自编码器的构成如下：

第1.1：提供了一个以2维高自由度流体速度场为输入，以通过神经网络编码-解码过程还原后的等自由度速度场为输出的模型；

第1.2：主体为以卷积运算为编码过程，反卷积运算为解码过程的网络，利用无监督学习优化神经网络参数；网络结构由作为编码器的几层卷积层，与作为中间特征表示层的全连接层，与作为解码器的与编码器互为镜像的几层卷积层共同组成；

第1.3：该自编码器编码生成的中间结果自由度远远小于输入，中间结果作为从速度场抽象出的特征能够较好描述原速度场；

第1.4：作为控制器的深度强化学习神经网络以该自编码器编码生成的速度场特征为输入，加速训练过程。

4.根据权利要求1所述基于深度强化学习进行流体导向的刚体控制的方法，其特征在于：第2步中所述的深度强化学习算法如下：

第2.1：以马尔可夫决策过程为原型，接收用于描述流体与刚体当前状态的观察量，通过神经网络控制器输出系统在下一时间步的控制量；

第2.2：包括用于量化当前动作对完成控制任务是否有价值的奖励函数；

第2.3：利用链式法则依据控制任务表现优化神经网络参数的模型；

第2.4：上述第2.3步训练优化过程使用多线程并行计算梯度以提升效率。

5.根据权利要求1所述基于深度强化学习进行流体导向的刚体控制的方法，其特征在于：第3步中所述的复杂的流体导向的刚体运动控制任务包括：

第3.1：多种流体和刚体耦合的平衡任务：利用烟雾或液体使刚体球或十字形刚体平衡于某一位置；

第3.2：互动式控制任务：多喷口模拟协作式及对抗式球类游戏；

第3.3：多目标控制任务：控制刚体按照乐章连续打击特定位置以演奏音乐以及控制平衡任务的同时控制刚体旋转的角速度；

第3.4：定点移动任务：控制刚体移动到某一特定点。