CN110163944A - 全景球面上基于水墨动力学模拟的绘制方法 - Google Patents

Abstract

本发明提供一种全景球面上基于水墨动力学模拟的交互式绘制方法，用于让用户能够在沉浸式环境的全景球面上通过虚拟笔刷对球面图像进行基于实时水墨动力学模拟的绘画，其特征在于，包括如下步骤：步骤S1，获取虚拟笔刷的笔刷位置、笔刷方向以及笔刷运动速度；步骤S2，将虚拟笔刷的素材图片投影在笔刷位置所在的球面切平面上并叠加在当前帧的球面图像上；步骤S3，将笔刷运动速度投影球面切平面上并叠加在全景球面的流体运动速度场上；步骤S4，对流体运动速度场进行流体动力学求解得到不可压缩流场；步骤S5，应用不可压缩流场对球面图像上的墨汁浓度进行更新，并渲染更新球面图像；步骤S6，重复步骤S1至S5对下一帧球面图像进行处理直至用户结束绘画。

Description

全景球面上基于水墨动力学模拟的绘制方法

技术领域

本发明属于计算机图形学以及计算流体动力学领域，具体涉及一种全景球面上基于水墨动力学模拟的交互式绘制方法。

背景技术

沉浸式系统能够为用户提供一种沉浸式的虚拟环境，通过高分辨率的立体投影技术、三维计算机图形技术或是音响技术等有机地结合在一起，使得用户能够交互式地在虚拟环境中体验从而得到一种身临其境的感觉。

在动画与特效影视的制作过程中，流体动力学计算方法被广泛的应用。然而，传统的流体动力学计算方法在解决三维立体空间的动力学模拟过程中需要在定义在三维格点上的近似求解偏微分方程。这需要大量的内存空间与运算量，很难实现实时模拟。因此在沉浸式环境提供实时的水墨动态效果和交互绘制是一个十分困难的问题。

另外，在二维空间中进行的动力学模拟虽然可以实现实时计算，但却无法产生沉浸式效果。

发明内容

为解决上述问题，提供一种能够将计算量降低至二维流体模拟的运算量从而实现实时模拟的动力学绘制方法，本发明采用了如下技术方案：

本发明提供了一种全景球面上基于水墨动力学模拟的交互式绘制方法，用于让用户能够在沉浸式环境的全景球面上通过虚拟笔刷对球面图像进行基于实时水墨动力学模拟的绘画，其特征在于，包括如下步骤：步骤S1，获取虚拟笔刷在全景球面上的投影位置作为虚拟笔刷的笔刷位置，并获取虚拟笔刷的笔刷方向以及笔刷运动速度；步骤S2，将虚拟笔刷的素材图片投影在笔刷位置所在的球面切平面上，进一步将该素材图片与笔刷方向对齐并叠加在当前帧的球面图像上；步骤S3，将笔刷运动速度投影球面切平面上，进一步将笔刷运动速度叠加在全景球面的流体运动速度场上；步骤S4，对流体运动速度场进行流体动力学求解得到新的球面不可压缩流场；步骤S5，应用球面不可压缩流场对球面图像上的墨汁浓度进行更新，并输出渲染从而更新球面图像；步骤S6，重复步骤S1至S5对下一帧的球面图像进行处理直至用户结束绘画。

本发明提供的全景球面上基于水墨动力学模拟的交互式绘制方法，还可以具有这样的技术特征，其中，步骤S2包括如下子步骤：步骤S2-1，建立球面坐标x_S＝(R,θ,φ)与笛卡尔坐标x_c＝(x,y,z)的对应关系得到与球面图像的各个像素点对应的参数网格，对应关系为：

式中，R是从球面到原点的径向距离，θ是极角，φ是方位角，x,y,z分别是对应笛卡尔坐标系中三轴的参数：步骤S2-2，在全景球面的表面的笔刷位置定义一个曲面坐标系，即：

式中，e_r轴为全景球面的径向方向，e_θ轴沿着全景球面的经线方向，e_φ轴沿着全景球面的纬线方向；步骤S2-3，将素材图片以及笔刷方向投影在球面切平面上，该球面切平面对应曲面坐标系中的e_θ轴以及e_φ轴；步骤S2-4，将素材图片与笔刷方向对齐，并根据该素材图片的各个像素点对应于曲面坐标系中的坐标换算至在全景球面上的坐标从而得到一个相应的曲面图片，进一步将该曲面图片与当前帧的球面图像相叠加。

本发明提供的全景球面上基于水墨动力学模拟的交互式绘制方法，还可以具有这样的技术特征，其中，步骤S4中进行流体动力学求解的方程为：

式中，u_θ、u_φ分别为速度在球极坐标的θ轴以及φ轴的分量，ρ为流体密度，P为流体压强，f_θ，f_φ分别为外力在θ轴以及φ轴的分量，表示在曲面参数下的随体导数。

发明作用与效果

根据本发明的全景球面上基于水墨动力学模拟的绘制方法，由于在虚拟空间中采用全景球面作为全景图像背景，并在全景球面上模拟求解不可压缩流体的动力学方程，从而利用求解得到的流体运动场驱动墨汁粒子在全景图像中的流动，因此能够在虚拟空间中模拟出水墨绘画的效果。本发明实现了仅通过二维复杂度就能够对图像进行动力学模拟，并最终根据墨汁粒子密度进行渲染，巧妙地解决了沉浸式环境中难以进行动力学模拟的问题，使得用户能够虚拟空间中进行交互式绘制，并感受沉浸式空间中360度全景球面的流体动力学模拟效果。本发明可以应用于头戴式虚拟现实应用和球幕投影等混合现实领域应用。

附图说明

图1是本发明实施例中动力学模拟绘制方法的流程图；

图2是本发明实施例中球面坐标以及参数空间的示意图；

图3是本发明实施例中虚拟笔刷在球面上的投影和切线平面上的映射示意图；

图4是本发明实施例中绘制方法在虚拟场景中实时更新过程的流程示意图；以及

图5是本发明实施例中水墨动力学模拟绘制的效果图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的全景球面上基于水墨动力学模拟的交互式绘制方法作具体阐述。

<实施例>

头戴式设备可以通过在用户眼前呈现虚拟图像来使之产生深度沉浸感。本实施例采用Oculus Rift CV1来实现这一构想，还通过Unity3D软件搭建了绘画系统的原型，它能够很好地满足并支持交互设计和Oculus的功能。在这一系统中，用户可以直接地在观测球(viewing-sphere)上绘制全景图像(panoramic image)，其中的场景是由一个用于动态绘制的全景图像映射纹理的观测球、一个虚拟控制面板和一个虚拟笔刷组成。由于OculusTouch的6自由度(6DOF：前、后/左、右/上、下)被变换映射到虚拟笔刷中，因此用户可以通过使用Oculus Touch控制虚拟笔刷在观测球上进行绘画。另外，用户可以自然地使用浮点值触发器来创建虚拟笔刷或操纵控制面板上的虚拟按钮，用Oculus Touch上的摇杆来调整参数值，和用两个按钮分别调出控制面板或是清除屏幕。

图1是本发明实施例中水墨模拟绘制方法的流程图。

如图1所示，在全景球面(即上述观测球的球面)上基于水墨动力学模拟的交互式绘制方法包括如下步骤：

步骤S1，获取虚拟笔刷在全景球面上的投影位置作为虚拟笔刷的笔刷位置，并获取虚拟笔刷的笔刷方向以及笔刷运动速度，然后进入步骤S2。

本实施例的步骤S1中，笔刷位置、笔刷方向以及笔刷运动速度的获取都是通过系统参数获得。

步骤S2，将虚拟笔刷的素材图片投影在笔刷位置所在的球面切平面上，进一步将该素材图片与笔刷方向对齐并叠加在当前帧的球面图像上，具体步骤见步骤S2-1至步骤S2-4。

步骤S2-1，建立球面坐标与笛卡尔坐标的对应关系得到与球面图像的各个像素点对应的参数网格。

为了实现让用户在全景球面上进行水墨绘画，因此在系统的球面坐标网格上定义了全景图像和模拟场，即在球面的每一个像素点上都具有墨汁浓度参数(ρ_ink)以及对应模拟场的速度参数(u)和压强参数(P)。同时，由于动态液体的运动在球体表面会受限，因此采用了球面坐标系，从而自然地消除了未知约束力。

图2是本发明实施例中球面坐标以及参数空间的示意图；

如图2所示，在以球面坐标系为基准的3D空间中的每个点由(r,θ,φ)来表示，其中r≥0,0≤θ≤π,0≤φ≤2π。这里，r是指到原点的径向距离(图中未示出)，θ是极角，φ代表方位角。

对于球面上的任何一点x_S＝(R,θ,φ)，和笛卡尔坐标x_c＝(x,y,z)的对应关系如下：

式中，R是从球面到原点的径向距离(即球体的半径)，x,y,z分别是对应笛卡尔坐标系中三轴的参数(如图2(a)所示)。

根据上述对应关系，就得到了覆盖整个全景球面的表面的自然参数设置，因此就能够建立对应的参数空间(如图2(d)所示)。参数空间中的每个网格点x＝(θ，φ)＝(iΔθ；iΔφ)都能够对应于球体上的一个点。尤其是，本实施例选择的一个网格大小是Δθ＝Δφ，并定义了一个分辨率为2：1的参数网格。这样一来，在虚拟球体上的每个数学操作都等同于此参数网格上的操作(参数空间以及球面图像的对应效果如图2(b)及(c)所示)。

本实施例中，有效的视觉分辨率取决于每个立体角的像素。假设观测球球体空间足够大的话，那么视点移动与球体半径相比可以忽略不计，也就是说，实际半径将不会影响有效分辨率。因此，本实施例设定R＝50米。

步骤S2-2，在全景球面的表面的笔刷位置定义一个曲面坐标系，该曲面坐标系的为一个局部的正交坐标系(如图2(a)所示)：

式中，e_r轴为全景球面的径向方向，e_θ轴为全景球面的经线方向，e_φ轴为全景球面的纬线方向。

本实施例中，全景球面的表面各个像素点都具有各自的曲面坐标系，e_θ轴以及e_φ轴组成的平面为对应的像素点在全景球面表面的球面切平面。

步骤S2-3，将素材图片以及笔刷方向投影在球面切平面上。

步骤S2-4，将素材图片与笔刷方向对齐，并根据该素材图片的各个像素点对应于曲面坐标系中的坐标换算至在全景球面上的坐标从而得到一个相应的曲面图片，进一步将该曲面图片与当前帧的球面图像相叠加。

本实施例的步骤S2-3及S2-4中，素材图片是用户为虚拟笔刷选择的笔刷颜色以及纹理图像，在用户进行绘制时传输至球面图像从而提供不同的笔刷素材类别。

图3是本发明实施例中虚拟笔刷在球面上的投影和切线平面上的映射示意图。

如图3所示，用户从视点O(即球面坐标系的原点)观察全景球面上的球面图像，并通过手中的触摸设备对虚拟笔刷A1进行操控。该虚拟笔刷A1的笔刷尖端T₀被投影到球面上形成笔尖T。

投影的笔尖T用于在画布上应用笔画，用户选择的笔刷颜色会转移到距离在笔尖T到笔刷半径r_b内的图像像素上。与线性参数空间不同的是，参数空间中(θ₁，φ₁)和(θ₂，φ₂)两点之间的球面距离是通过球体上的测地线距离来评估计算的，或者等效地，是对应的径向轴之间的角度，即：

d(θ₁,φ₁；θ₂,φ₂)＝arccos{e_r(θ₁,φ₁),e_r(θ₂,φ₂)} (3)

本实施例通过平滑内核对转移的笔刷颜色进行加权，从而避免锐边，然后使用Alpha混合将其与画布颜色混合。在进行混合时，权重函数采用w(θ₁,φ₁；θ₂,φ₂)＝1-d/r_b或w＝smoothstep(0,1,d/r_b)。

对于纹理图像，需要先进行排列，如图3所示，使黑白方格纹理(即纹理图像)的Y轴与切平面上的笔尖T对齐。然后将纹理图像上的每个点投影到球体上，生成一个曲线纹理。

步骤S3，将笔刷运动速度投影球面切平面上，进一步将笔刷运动速度叠加在全景球面的流体运动速度场上。

与步骤S2类似地，当传递速度时，虚拟画笔的笔尖的3D速度u_c(即笔刷运动速度)首先投影在T处的切平面上。然后将该速度转换为球面坐标。给定笛卡尔网格中的任何速度为u_c＝(u_x,u_y,u_z)，相应的球面速度u_s＝(u_r,u_θ,u_φ)，则两者的关系为u_r＝u_ce_r,u_θ＝u_ce_θ,u_φ＝u_ce_φ。其中，预设速度u_r＝0。

映射在球面上的球面速度u_s＝(u_r,u_θ,u_φ)在r_v的距离内累积在画布速度之上(即叠加在全景球面的流体运动速度场上，该速度场由全景球面上各个像素点的速度参数构成)。为了平滑速度并避免锐边，在颜色转移中使用相同的权重函数来缩放累积的速度。因此，用户的操作就被导入到流体动力学模拟系统中。

步骤S4，对流体运动速度场进行流体动力学求解得到新的球面不可压缩流场。其中，用于进行流体动力学求解的方程为：

式中，u_θ、u_φ分别为速度在球极坐标的θ轴以及φ轴的分量，ρ为流体密度，P为流体压强，f_θ，f_φ分别为外力(例如重力)在θ轴以及φ轴的分量，表示在曲面参数下的随体导数。

通过式(4)结合步骤S3得到的流体运动速度场，应用有限差分方法建立模型并通过GPU并行Jacobi迭代法求解，就能得到满足流体运动方程的球面不可压缩流场流场和流体压强P。进一步，将应用得到的流场控制墨汁浓度的演化。

步骤S5，应用球面不可压缩流场对球面图像上的墨汁浓度进行更新，并输出渲染从而更新球面图像。

油墨和油漆是有色颜料、胶水和其他添加剂的混合物，是在流体介质中移动的颜料颗粒，因此模拟水墨绘画可以通过粒子系统进行模拟。本实施例采用更具内存效率的基于网格的密度场，通过近似每个网格单元的粒子密度来进行渲染，墨水粒子密度(即墨汁浓度)定义为一个标量函数ρ_ink＝ρ_ink(θ,φ)。

进一步，考虑到墨汁浓度随流场的输运，浓度函数满足：

对于式(5)，可以采用半拉格朗日方法来解这个函数，即：对于参数空间上的每个网格点x，沿着线性轨迹追溯估计其先前位置x₀，其中x处的当前颜色颜料是处在前一时间步长(即前一帧)的位置。考虑到度规张量，x₀＝x-(u_θ,u_φ/sinθ)Δt，在x₀处插入的前一种颜色将在当前步骤中传输到x。通过在所有像素上应用该方案并更新各自的墨汁浓度，就能够使整个图像完成演化。

步骤S6，重复步骤S1至S5对下一帧的球面图像进行处理直至用户结束绘画。

本实施例中，上述步骤S1至S5都为对当前帧的球面图像进行处理的步骤，步骤S1获取的笔刷位置、笔刷方向以及笔刷运动速度都是对应当前帧时刻的相关参数，进一步，步骤S2至S5根据上一帧中相关参数对当前帧的参数进行更新从而完成当前帧图像的处理。

本实施例中，用户可以通过头戴式设备使用基于上述方法的绘制系统，从而在虚拟空间中进行流体图像的绘制。

图4是本发明实施例中绘制方法在虚拟场景中实时更新过程的流程示意图。

如图4所示，用户在进入虚拟空间后，绘制系统需要对全景球面的流场进行初始化，即，将球面上对应每一个像素点的墨汁浓度参数、速度参数以及压强参数进行初始化。

然后，绘制系统就依次对各个时间步长(即各帧)的图像结合用户的绘制动作进行处理。通过对应步骤S1至步骤S5的捕捉笔刷位置与方向、当前笔刷速度合成、当前笔刷图像合成、流体动力学模拟以及色彩输运过程，绘制系统实现全景图像和流体速度的计算，进一步，由于通过不断的对下一时间步长的图像进行迭代计算，因此能够不断地对流体输送颜色颜料进行模拟从而更新图像以在球体上渲染，实现流体图像的演变。最终，用户通过系统进行一段时间绘画后，其绘制图像在参数空间中的对应图像如图5所示。

实施例作用与效果

根据本实施例提供的全景球面上基于水墨动力学模拟的绘制方法，由于在虚拟空间中采用全景球面作为全景图像背景，并在全景球面上模拟求解不可压缩流体的动力学方程，从而利用求解得到的流体运动场驱动墨汁粒子在全景图像中的流动，因此能够在虚拟空间中模拟出水墨绘画的效果。本发明实现了仅通过二维复杂度就能够对图像进行动力学模拟，并最终根据墨汁粒子密度进行渲染，巧妙地解决了沉浸式环境中难以进行动力学模拟的问题，使得用户能够虚拟空间中进行交互式绘制，并感受沉浸式空间中360度全景球面的流体动力学模拟效果。本发明可以应用于头戴式虚拟现实应用和球幕投影等混合现实领域应用。

实施例中，由于在全景球面上建立了球面坐标系，并在球体表面对应各个像素点的曲面坐标系，因此能够简单地将投影到球面切平面的素材图片换算至球面形成曲面图片，提高了笔刷在虚拟空间中绘画的处理效率。

实施例中，由于通过进行流体动力学求解球面不可压缩流场，因此能够根据之前各帧的情况对所述球面图像上的墨汁浓度进行更新，使得每一帧的图像计算能够形成迭代，从而不断地对流体进行模拟实现流体图像的演变。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

例如，上述实施例中，全景球面上基于水墨动力学模拟的交互式绘制方法被用在基于头戴式设备的虚拟现实中。在本发明的其他实施例中，交互式绘制方法还可以应用于混合现实、球幕投影等其他沉浸式环境中。

Claims (3)

1.一种全景球面上基于水墨动力学模拟的交互式绘制方法，用于让用户能够在虚拟现实或是球幕投影的全景球面上通过虚拟笔刷对球面图像进行基于实时水墨动力学模拟的绘画，其特征在于，包括如下步骤：

步骤S1，获取所述虚拟笔刷在所述全景球面上的投影位置作为所述虚拟笔刷的笔刷位置，并获取所述虚拟笔刷的笔刷方向以及笔刷运动速度；

步骤S2，将所述虚拟笔刷的素材图片投影在所述笔刷位置所在的球面切平面上，进一步将该素材图片与所述笔刷方向对齐并叠加在当前帧的所述球面图像上；

步骤S3，将所述笔刷运动速度投影所述球面切平面上，进一步将所述笔刷运动速度叠加在所述全景球面的流体运动速度场上；

步骤S4，对所述流体运动速度场进行流体动力学求解得到新的球面不可压缩流场；

步骤S5，应用所述球面不可压缩流场对所述球面图像上的墨汁浓度进行更新，并输出渲染从而更新所述球面图像；

步骤S6，重复步骤S1至S5对下一帧的所述球面图像进行处理直至所述用户结束绘画。

2.根据权利要求1所述的全景球面上基于水墨动力学模拟的交互式绘制方法，其特征在于：

其中，所述步骤S2包括如下子步骤：

步骤S2-1，建立球面坐标x_S＝(R,θ,φ)与笛卡尔坐标x_c＝(x,y,z)的对应关系得到与所述球面图像的各个像素点对应的参数网格，所述对应关系为：

式中，R是从球面到原点的径向距离，θ是极角，φ是方位角，x,y,z分别是对应笛卡尔坐标系中三轴的参数：

步骤S2-2，在所述全景球面的表面的所述笔刷位置定义一个曲面坐标系，即：

式中，e_r轴为所述全景球面的径向方向，e_θ轴为所述全景球面的经线方向，e_φ轴为所述全景球面的纬线方向；

步骤S2-3，将所述素材图片以及所述笔刷方向投影在所述球面切平面上，该球面切平面对应所述曲面坐标系中的e_θ轴以及e_φ轴；

步骤S2-4，将所述素材图片与所述笔刷方向对齐，并根据该素材图片的各个像素点对应于所述曲面坐标系中的坐标换算至在所述全景球面上的坐标从而得到一个相应的曲面图片，进一步将该曲面图片与当前帧的所述球面图像相叠加。

3.根据权利要求2所述的全景球面上基于水墨动力学模拟的交互式绘制方法，其特征在于：

其中，所述步骤S4中进行流体动力学求解的方程为：

式中，u_θ、u_φ分别为速度在球极坐标的θ轴以及φ轴的分量，ρ为流体密度，P为流体压强，f_θ，f_φ分别为外力在θ轴以及φ轴的分量，表示在曲面参数下的随体导数。