CN103413346B - 一种真实感流体实时重建方法及其系统 - Google Patents

Abstract

本发明公开了一种真实感流体实时重建方法，以单幅二维流体图像为基础，通过镜面反射模型计算流体表面的法向量的分量，使用斯托克斯模型和流体图像骨架计算二维流体图像的平稳度和极限波高，根据平稳度和极限波高实时计算流体表面高度，并根据法向量的分量与流体表面高度进行纹理映射，获得三维流体表面；确定二维流体图像中水花的区域并计算水花的方差，生成水花的流体高度与纹理，结合三维流体表面与水花的高度与纹理，实现对流体进行真实感的实时重建。本发明能够利用单幅二维流体图像实现三维真实感流体的实时重建，简化了重建的复杂度。本发明还公开了一种真实感流体实时重建系统。

Description

一种真实感流体实时重建方法及其系统

技术领域

本发明属于流体自然景观重建技术领域，尤其涉及一种真实感流体实施重建方法及其系统。

背景技术

流体自然景观重建技术的研究在虚拟现实、军事仿真、三维动画等领域的应用中占有举足轻重的地位。为了能够实时、逼真地构建虚拟场景，目前出现了一种基于视频的虚拟场景构建方法，它是利用视频中自然景观的三维重建技术进行研究，与其他方法相比，这种方法具有制作周期短、操作方便的优点，所构建的场景具有真实感强的特点。自然景观流体重建的技术研究不仅在构建虚拟场景中有着重要的作用，而且它的研究成果还可以应用于其他的工程领域中。例如，在洪涝灾害的分析中，利用该技术的研究可以对即将发生的灾难作出分析和预测，并预先制定相应的预防措施。

随着计算机图形学与视觉技术的发展，人们对于三维重建技术进行了研究并取得了一系列令人满意的成果，例如，人体的重建、头发的重建和树的重建。虽然人们在这个领域中取得了这些成果，但是由于流体自然景观运动过程中，粒子会出现遮挡以及重现的现象，这使得现有的重建方法难以解决流体的重建问题，因此，有必要进一步探讨流体的重建技术。

当然，对于流体的重建技术，人们曾进行了系统地探索。这方面研究的典型成果就是基于明暗度恢复形状(shapefromshading，SFS)的方法。该方法是利用不同照明条件下的物体表面强度变化来估算物体表面的法线方向，从而达到重建的目的。近年来，为了提高重建的准确性和真实感，人们进行了一些研究。Kovesi首先将图像分解成一系列shapelets基函数，并利用SFS方法重建物体表面，得到了较为准确的结果；Zeng等提出了基于交互的重建方法，进一步提高重建的准确度；Wu等提出一种利用形状调色板进行重建的方法，该方法可以利用图像中较少的特征来计算得到较为精确的法向量信息。这些方法都局限于理想条件下朗伯体表面的要求。在自然景观流体重建的研究中，Atcheson等使用多个CCD摄像机分别从不同角度拍摄流体，计算出流体的运动矢量，再进一步对流体进行三维重建；Pickup等利用流体运动矢量计算与SFS结合的方法进行研究，较为准确地恢复了自然场景中的流体表面的高度。然而，在这一方法的研究中，仅仅重建了流体表面的单位高度，且它对于流体运动矢量的计算精度要求较高，因此很难用于解决实际的问题。上述现有技术计算的精度要求较高，计算时间较长无法满足实施重建真实感流体，而且其中需要采用多个方向的流体图像或计算流体的运动矢量进行模型重建，相关的计算较为繁琐且不适合在计算机图形学上应用。

发明内容

本发明克服了现有技术中计算复杂、无法实时重建真实感流体等缺陷，提出了一种真实感流体实时重建方法及其系统。

本发明提出了一种真实感流体实时重建方法，以单幅二维流体图像为基础，通过镜面反射模型计算流体表面的法向量的分量，使用斯托克斯模型和流体图像骨架计算所述二维流体图像的平稳度和极限波高，根据所述平稳度和极限波高实时计算流体表面高度，并根据所述法向量的分量与所述流体表面的高度获得三维流体表面，并进行纹理映射；确定所述二维流体图像中水花的区域并计算所述水花的方差，生成所述水花的流体高度与纹理，结合所述三维流体表面与所述水花的高度与纹理，实现对三维真实感流体的实时重建。

其中，对于重建三维流体表面，包括如下步骤：

法向量计算步骤，根据镜面反射模型计算所述流体表面每个像素点的法向量及其z分量；

骨架化处理步骤，通过对所述二维流体图像的图像边界的近似多边形进行三角剖分生成具有拓扑关系的三角形，根据所述三角形生成局部骨架，将所述局部骨架进行拼接生成所述二维流体图像的骨架图像；

邻接图计算步骤，从所述骨架图像中的一个骨架点开始执行区域生长算法，将所述骨架点与区域内其他骨架点两两相连，直至遍历所述骨架图像中的所有骨架点后生成邻接图；

平稳度计算步骤，当且仅当所述邻接图中骨架连通分量大于0.1-0.15％时，记为有效骨架连通分量，根据所述有效骨架连通分量数与所述邻接图中连通分量总数，生成流体表面的平稳度；

极限波高计算步骤，根据所述二维流体图像的高亮度区域的平均宽度计算流体表面的波长，采用斯托克斯波模型计算所述波长生成流体表面的极限波高；

波高修正步骤，根据所述平稳度与所述极限波高，计算流体表面高度；

流体表面纹理映射步骤，根据所述法向量的分量和流体表面高度对流体表面进行纹理映射，获得三维流体表面。

其中，所述法向量计算步骤中镜面反射模型如下式表示：

I_s＝k_sI_pscosⁿ(N^T·H)；

式中，I_s表示镜面反射的光强；I_ps表示入射光强；k_s表示物体表面的镜面反射系数；n为常数，其与物体表面光滑度有关；N表示入射方向的单位法向量；H表示观察方向的法向量。

其中，所述平稳度计算步骤中，所述平稳度的计算公式如下式表示：

$S=\frac{C_e}{C_s};$

式中，C_e表示有效连通分量；C_s表示连通分量总数；S表示平稳度。

其中，所述波高修正步骤中，所述流体表面高度的计算公式如下式表示：

$L_i=\left\{\begin{array}{cc}\frac{h_i\·0.13\mathrm{\λ}}{S}& S\≠0\\ L_m& S=0\end{array}\right.$

式中，L_i表示流体表面高度；h_i表示像素粒子i的法向量的z分量；λ为波长；S表示平稳度；L_m表示高度的最大值。

其中，计算所述水花的高度与纹理包括如下步骤：

水花候选点确定步骤，采用直方图对所述流体表面高度进行统计，选取高度值大于最大高度值90-95％的像素点，对所述像素点求取方向导数，根据方向导数选取像素点作为水花候选点；

水花位置确定步骤，采用区域生长方法将表示同一水花的水花候选点关联起来，所述水花候选点的几何中心表示所述水花的位置；

方差估计步骤，选取一个水花中距离最远的两个水花候选点之间距离的一半作为方差的初始值，并使用极大似然估计方法估算水花局部区域内方差的估计值；

方差修正步骤，根据所述方差的初始值与估计值进行迭代修正，直至所述初始值与所述估计值之间的误差小于1-2个像素时迭代终止，获得修正后的方差结果；

水花高度计算步骤，根据所述方差结果与所述水花的位置计算所述水花的高度；

水花纹理生成步骤，将所述二维流体图像中水花所在位置的纹理映射到所述水花的表面，并将所述水花所在位置周围的圆环区域的纹理映射到所述水花的底部，获得所述水花的纹理。

其中，所述方差的估计值的计算公式如下式表示：

$\widehat{\mathrm{\σ}}=\frac{\underset{k\∈A}{\mathrm{\Σ}}(L_k-L_a)}{n_a};$

式中，表示方差的估计值；n_a表示水花局部区域A内候选点的数量，L_k表示第k个候选点的重建高度；L_a表示水花局部区域A内所有候选点的高度的均值。

其中，所述方差修正步骤中以如下公式进行迭代，获取修正后的方差结果：

σ_i＝σ_i-1+Δσ_i-1， $\mathrm{\Δ}{\mathrm{\σ}}_i=\mathrm{\η}({\widehat{\mathrm{\σ}}}_i-{\mathrm{\σ}}_i)(\mathrm{\η}\∈\left(\mathrm{0,1}\right]);$

式中，Δσ_i-1表示估计值与初始值的误差；η表示松弛量。

其中，所述水花高度计算步骤中，所述水花的高度以如下公式计算获得：

$h_z=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{{(x-{\mathrm{\μ}}_x)}^2+{(y-{\mathrm{\μ}}_y)}^2}{2{\mathrm{\σ}}^2}),(x,y\∈({\mathrm{\μ}}_{x,y}-3\mathrm{\σ},{\mathrm{\μ}}_{x,y}+3\mathrm{\σ}));$

式中，μ_x表示水花所在位置点的x轴坐标值；μ_y表示水花所在位置点的y轴坐标值；σ表示方差结果；x表示x轴方向的数值；y表示y轴方向的数值。

其中，所述水花纹理生成步骤中采用直径为的球体生成水花，将水花所在位置的纹理映射到所述球体的上表面生成水花的表面，通过将所述水花所在位置周围的圆环区域的纹理映射到所述球体的下表面生成所述水花的底部。

本发明还提出了一种真实感流体实时重建系统，包括流体表面重建装置与水花重建装置；所述流体表面重建装置根据单幅二维流体图像生成三维流体表面，所述水花重建装置根据单幅二维流体图像生成水花的高度与纹理，利用所述水花的高度与纹理修正所述三维流体表面，实时重建真实感流体。

其中，所述流体表面重建装置包括：

法向量计算单元，其以镜面反射模型计算流体表面每个像素点的法向量以及法向量及其z分量；

骨架化单元，其根据图形边界的近似多边形进行三角剖分生成具有拓扑关系的三角形，生成局部骨架后进行拼接生成整体的骨架图像；

平稳度计算单元，其与所述骨架化单元连接，根据骨架图像中骨架点进行区域生长生成邻接图，并根据邻接图中的连通分量计算流体表面的平稳度；

极限波高计算单元，其根据所述二维流体图像的高亮度区域的平均宽度计算流体表面的波长，采用斯托克斯波模型计算所述波长生成流体表面的极限波高；

波高修正单元，其与所述平稳度计算单元和极限波高计算单元连接，根据所述平稳度与所述极限波高，计算流体表面高度；

流体表面纹理映射单元，其与所述法向量计算单元和所述波高修正单元连接，根据所述法向量的分量与所述流体表面高度实现流体表面纹理映射，获得三维流体表面。

其中，所述水花重建装置包括：

水花位置获取单元，其根据方向导数选择水花候选点，关联所述水花候选点获得水花的位置；

方差计算单元，其与所述水花位置获取单元连接，根据水花中的水花候选点计算方差的初始值，利用极大似然估计方法估算方差的估计值，并通过初始值与估计值进行方差修正获得修正后的方差结果；

水花高度计算单元，其与所述方差计算单元连接，根据方差结果与水花的位置计算水花的高度；

水花纹理映射单元，其根据所述二维流体图像中的水花纹理应设置水花的上表面与底部，获得水花的纹理；

水花修正单元，其与所述水花高度计算单元和所述水花纹理映射单元连接，根据所述水花的高度与纹理修正所述三维流体表面。

本发明不需要预先计算流体的运动矢量，仅仅利用流体视频中的单幅二维的流体图像就能够实现对三维真实感流体的实时重建。

为了提高重建算法的时间性能，本发明利用自然场景中流体的特点对现有SFS方法进行简化，能够满足流体重建的实时性的要求。

附图说明

图1表示真实感流体实时重建方法的流程图；

图2表示计算流体表面高度的流程图；

图3表示计算水花高度与纹理的流程图；

图4表示计算方向导数的示意图；

图5表示真实感流体实时重建系统的结构图；

图6表示生成三维流体表面的示意图；其中，图6(a)表示原二维流体图像；图6(b)表示法向量的分量的示意图；图6(c)表示三维流体表面的示意图；

图7表示本发明与现有技术重建结果的对比图；其中，图7(a)表示原二维流体图像；图7(b)表示一种现有技术的重建结果的示意图；图7(c)表示另一种现有技术的重建结果的示意图；图7(d)表示本发明重建结果的示意图；

图8表示水花位置的示意图；

图9表示经水花位置与纹理修正后的真实感流体的示意图；

图10表示本发明重建时间的条形图与各时间比例饼图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

图1显示的是真实感流体实时重建方法的流程图，本发明真实感流体实时重建方法以单幅二维流体图像为基础，通过镜面反射模型计算流体表面的法向量的分量，使用斯托克斯模型和流体图像骨架及轮廓计算二维流体图像的平稳度和极限波高，根据法向量的分量、平稳度和极限波高实时计算流体表面高度；确定二维流体图像中水花的区域并计算水花的方差，生成水花的流体高度与纹理，结合三维流体表面的高度与水花的高度与纹理，实现实时重建三维的真实感流体。

图2显示的是计算流体表面高度的流程图。目前现有的真实感流体重建方法大多采用朗伯体反射模型对流体表面进行重建研究。这要求待重建的图像必须是正交投影，并且要求其表面的反射规律符合漫反射的规律。而视频中流体的图像很难保证是正交投影，并且流体表面也并不完全符合朗伯体反射。因此，根据运动流体表面所体现的镜面反射效果，采用Phong镜面反射模型进行研究，这样更合理。

步骤S11，法向量计算步骤，先恢复流体表面的法向量。1973年，Phong提出一个计算镜面反射光强的经典模型，即Phong光照模型。该模型表明，镜面反射的光强与镜面反射方向R、视线方向V及它们的夹角相关，镜面反射模型为：I_s＝k_sI_pscosⁿ(R^T·V)；其中I_s为镜面反射的光强；I_ps为入射光强，k_s为物体表面的镜面反射系数，n为常数，它与物体表面光滑度有关。在本发明中，为了减少计算量，利用N^TH代替R^TV来计算夹角^[13]。N为入射方向的单位法向量，H为在理想镜面情况下，观察者方向的法向量。所以本发明中镜面反射模型可以简化为式(I)：

I_s＝k_sI_pscosⁿ(N^T·H)(I)

式(I)中，I_s表示镜面反射的光强；I_ps表示入射光强；k_s表示物体表面的镜面反射系数；n为常数，其与物体表面光滑度有关；N表示入射方向的单位法向量；H表示观察方向的法向量。

由于流体表面法向量H存在三个变量，而图像的强度只提供一个灰度值，所以无法直接采用现有的SFS方法。本发明利用流体的运动特征进行研究，采用一种新的线性求解法向量的方法。在流体景观中水面的反射系数较大，且通常会映射出周围景物，因此本发明将光源设定为天空光，它是由大气中的颗粒对太阳光进行散射及本身的热辐射而形成的天空中的光，即定义光源的方向为Z轴方向，即光源的方向为N＝(0，0，1)^T，由于H是一个单位向量，式(1)中的N^TH就为h_z，即H在Z轴方向的分量。这样可以有效地降低计算量达到简化SFS方法的效果，本发明通过式(I)计算得到h_z。

在步骤S11得到了流体表面法向量后，进一步计算流体表面的高度。在现有方法中，Wu等人使用密切圆来计算流体高度得到了较满意的结果。然而为了加快重建的速度，本发明充分利用自然景观流体的运动特点，并结合流体运动的物理模型来计算其表面的高度。由于自然景观中平稳和湍急两种不同水流的物理特性不同，流体表面高度也不同。在物理学中，人们使用雷诺数来描述流体的平稳状态，但雷诺数是物理学意义上的概念，相关的计算较为繁琐且不适合在计算机图形学上应用。因此，在本发明中引入了平稳度的概念来代替雷诺数。所谓平稳度描述的是自然场景中流体的湍急程度，流体越湍急，平稳度越低，相反流体越平缓，平稳度越高，记为S。

步骤S12，骨架化处理步骤，通过对二维流体图像的图像边界的近似多边形进行三角剖分生成具有拓扑关系的三角形，根据三角形生成局部骨架，将局部骨架进行拼接生成二维流体图像的骨架图像。

步骤S13，邻接图计算步骤，利用步骤S12得到的骨架图像，从图像中一个骨架点出发执行区域生长算法来计算得到图像骨架的邻接图。使用5×5的窗口扫描整个骨架图，如果扫描窗口中只有一个骨架点，不进行任何操作；如果扫描窗口中有多个骨架点，使用边将这些点两两相连，这样就生成了邻接图。

步骤S14，平稳度计算步骤，利用步骤S13得到的邻接图计算流体的平稳度S。在邻接图中，定义有效骨架连通分量，记为Ce，当且仅当邻接图中骨架连通分量大于0.1-0.15％时，则认为是有效连通分量，流体的平稳度S可以用有效连通分量占所有连通分量的比值来表达，即如下式(II)表示：

$S=\frac{C_e}{C_s}---\left(\mathrm{II}\right)$

式(II)中，C_e表示有效连通分量；C_s表示连通分量总数；S表示平稳度。结果表明，对于不同分辨率的图像，使用图像中像素总数的千分之一作为骨架连通分量的深度阈值时得到了较满意的结果。例如图像分辨率为100×100时，使用阈值10，即骨架连通分量的总数大于10时，认为是有效骨架连通分量，否则为无效的骨架连通分量。

步骤S15，极限波高计算步骤，为了得到准确的流体表面高度信息，本发明采用Stokes模型计算流体的极限波高。Stokes在1847年提出了深水中非线性周期波的相关理论，这种波被称为Stokes波。本发明中，为了对于流体表面的高度信息进行修正，利用Stokes模型可以求取极限波高。Gwyther在经过复杂的数值计算之后，得到了波高E_w与波长λ之间的关系如式(III)表示：

Ew＝0.13λ(III)

式(III)中，λ表示波长，本发明利用式(III)对于极限波高进行计算。由于流体轮廓区域是由反射周围环境的亮度而显现的镜面反射结果，而且水面上光强度较大的部分仅仅是波的半个周期的图像，因此利用平均宽度W_a的2倍来估计流体的波长，即λ＝2W_a。获得波长之后利用式(III)计算极限波高。

步骤S16，波高修正步骤，在计算得到了极限波高后，再对流体表面的高度值进行修正。本发明中根据采用Stokes波的物理模型，采用式(IV))对流体表面的高度信息进行修正。

$L_i=\left\{\begin{array}{cc}\frac{h_i\·0.13\mathrm{\λ}}{S}& S\≠0\\ L_m& S=0\end{array}---\left(\mathrm{IV}\right)\right.$

式(IV)中，L_i表示流体表面高度；h_i表示像素粒子i的法向量的z分量；λ为波长；S表示平稳度；L_m表示在高度的最大值。极少情况下存在S＝0的情况，这时图像骨架表现为稀疏点的情况，即水流非常湍急的情况。对这种情况，本发明中设置一个最大值L_m，这样可以使L_i在S＝0时有数值解。在本发明中采用二维流体图像中像素总个数的万分之五作为L_m的值。

步骤S17，流体表面纹理映射步骤，根据法向量的分量与流体表面高度对流体表面纹理进行映射，即将原二维流体图像中的像素点根据流体表面高度映射至流体表面，从而生成三维流体表面。

图3显示的计算水花高度与纹理的流程图。为了使重建出的流体表面具有微观细节特征，并且为了达到实时性和高仿真度的要求，使用二维正态分布的曲面图形来拟合流体重建的水花细节，这样重建的速度更快，重建结果也具有细节特征。本发明首先在原图像中找到这些水花。再根据所得到的水花重建结果，使用二维正态分布的曲面拟合方法计算出曲面的参数，最后重建生成具有细节真实感流体。

步骤S21，水花候选点确定步骤中，由于二维流体图像中湍急流体表面的水花具有如下特点：初始化的高度值较大，且与邻域的其他粒子相比，水花所在的位置处的高度值，呈现较大的变化量。本发明根据这些特点，采用直方图对于步骤S16计算的流体表面高度进行统计，并将其流体表面高度大于最大值的90％的粒子作为候选的像素点，再对候选的像素点分别按0度、45度、90度、135度、180度、225度、270度和315度八个方向求方向导数。选取方向导数为周围像素点中的局部极大值的点作为水花候选点，即如果一个像素点是水花点的候选点，那么它的重建高度应当接近周围区域点的重建高度的局部极大值。如图4所示，在求方向导数时使用7×7的窗口，这样可以只对一定区域外的点求导，避免了水花候选点之间的差分而造成错误判断的情况出现。

步骤S22，水花位置确定步骤，确定水花的位置，对于同一个水花通常对应多个候选点，而这些候选点的分布位置在水花半径的选取上起着重要的作用，因此对于正确选取水花点的候选点应保留。本发明使用区域生长算法将同一水花的候选点关联起来，并用它们的重心(即，几何中心)表示水花的位置点。

步骤S23，方差估计步骤中，由于Stokes波的波形是由多个周期波叠加的结果，并且重建的实时性难以保证。因此本发明进一步简化该模型，假设在x和y轴方向上的方差相等，即σ_x＝σ_y，记为σ。在正态分布图像中，曲线的拐点在μ±σ处。本发明使用迭代的方法计算出有效区域的σ的大小，为了减少计算σ的迭代次数，对同一个水花多个候选点中最远两点距离的一半作为σ的初始值，如式(V)所示：

$\mathrm{\σ}=\frac{\max \left\{D_{\mathrm{ab}}\right\}}{2}---\left(V\right)$

式(V)中，D_ab表示同一水花中两不同点a，b之间的距离，σ表示方差。根据统计学理论，本发明使用极大似然估计法来估计参数σ，并且使用水花点的重心作为μ_x和μ_y的估计量，如式(VI)表示：

$\widehat{\mathrm{\σ}}=\frac{\underset{k\∈A}{\mathrm{\Σ}}(L_k-L_a)}{n_a}---\left(\mathrm{VI}\right)$

式(VI)中，表示方差的估计值；n_a表示水花局部区域A内候选点的数量，L_k表示第k个候选点的重建高度；L_a表示水花局部区域A内所有候选点的高度的均值。根据“3σ法则”，即正态变量的取值范围在(-∞，∞)时，它的值几乎都落在(μ-3σ，μ+3σ)的区间内，因此取水花局部区域A的范围为(μ_x，y-3σ，μ_x，y+3σ)的区间。

步骤S24，方差修正步骤，在本发明中，为了精确恢复水花点的大小，利用下式(VII)迭代求得最终的σ值：

σ_i＝σ_i-1+Δσ_i-1， ${\mathrm{\Δ\σ}}_i=\mathrm{\η}({\widehat{\mathrm{\σ}}}_i-{\mathrm{\σ}}_i),(\mathrm{\η}\∈(\mathrm{0,1}])---\left(\mathrm{VII}\right)$

式(VII)中，Δσ_i-1表示估计值与初始值的误差；η表示松弛量。由于本发明的精确度是在像素级的，可以允许的误差范围在亚像素级，因此迭代的终止条件为Δσ＜1。

步骤S25，水花高度计算步骤，为了能够在准确位置生成水花细节，首先要将原来的水花处高度降低。本发明可以通过修改参数σ的值达到改变流体表面的目的。本发明修改σ的值来计算水花处的高度，水花点处的高度如示(VIII)计算得到：

$h_z=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{{(x-{\mathrm{\μ}}_x)}^2+{(y-{\mathrm{\μ}}_y)}^2}{{2\mathrm{\σ}}^2}),(x,y\∈({\mathrm{\μ}}_{x,y}-3\mathrm{\σ},{\mathrm{\μ}}_{x,y}+3\mathrm{\σ}))---\left(\mathrm{VIII}\right)$

式(VIII)中，μ_x表示水花所在位置点的x轴坐标值；μ_y表示水花所在位置点的y轴坐标值；σ表示方差结果；x表示笛卡尔坐标系中x轴方向的数值；y表示笛卡尔坐标系中y轴方向的数值。

步骤S26，水花纹理生成步骤，在水花所在的位置点处生成水花纹理。在本发明中，使用直径为的球体生成水花。由于水花的表面有镜面反射的特性，本发明对水花表面使用原水花处的纹理进行映射。对于水花的下半部分，由于水花的直径为既下半部分水花的表面积为而原先水花处的纹理已经映射到水花表面了，为了不使重建出来的水花成为一个上下相同颜色的球体。考虑从水花周围选取一定的圆环区间使其大小刚好等于水花下半部分的表面积。因此，将水花点处周围半径为圆环区域的纹理并通过二维射影变换映射到生成水花的底部。

如图5所示，本发明的真实感流体实时重建系统包括流体表面重建装置和水花重建装置；流体表面重建装置根据单幅二维流体图像生成三维流体表面，水花重建装置根据单幅二维流体图像生成水花的高度与纹理，利用水花的高度与纹理修正三维流体表面，实时重建三维的真实感流体。

流体表面重建装置包括：法向量计算单元，其以镜面反射模型计算流体表面每个像素点的法向量以及法向量在高度方向上的z分量。骨架化单元根据图形边界的近似多边形进行三角剖分生成具有拓扑关系的三角形，生成局部骨架后进行拼接生成整体的骨架图像。平稳度计算单元与骨架化单元连接，其根据骨架图像中骨架点进行区域生长生成邻接图，并根据邻接图中的连通分量计算流体表面的平稳度。极限波高计算单元根据二维流体图像的高亮度区域的平均宽度计算流体表面的波长，采用斯托克斯波模型计算波长生成流体表面的极限波高。波高修正单元与平稳度计算单元和极限波高计算单元连接，其根据平稳度与极限波高计算流体表面高度。流体表面纹理映射单元与法向量计算单元和波高修正单元连接，其根据法向量的分量与流体表面高度实现流体表面纹理映射，获得三维流体表面。

水花重建装置包括：水花位置获取单元，其根据方向导数选择水花候选点，关联水花候选点获得水花的位置。方差计算单元与水花位置获取单元连接，其根据水花中的水花候选点计算方差的初始值，利用极大似然估计方法估算方差的估计值，并通过初始值与估计值进行方差修正获得修正后的方差结果。水花高度计算单元与方差计算单元连接，其根据方差结果与水花的位置计算水花的高度。水花纹理映射单元根据二维流体图像中的水花纹理应设置水花的上表面与底部，获得水花的纹理。水花修正单元与水花高度计算单元和水花纹理映射单元连接，其根据水花的高度与纹理修正三维流体表面。

本实施例中以图6(a)的二维流体图像为例，先执行步骤S11法向量计算步骤计算该二维流体图像中每一个像素点的法向量沿Z轴方向的分量h_z。运用式(I)计算后h_z的结果如图6(b)所示，右侧刻度条为颜色的取值范围，即颜色越浅，h_z的值越大。从图中可以看出h_z的大小与自然景观中流体表面的强度密切相关。再对图6(a)的二维流体图像依次执行步骤S12至S16计算邻接图与流体表面高度，最后执行步骤S17对流体表面进行纹理映射生成流体表面，流体表面的示意图如图6(c)所示。

现有技术中，Pickup等人详细地比较了使用传统视觉方法与SFS方法重建的自然景观中流体表面的结果，有效的验证了SFS方法在流体表面三维重建中的优点。Li等人提出将流体运动矢量与SFS的方法结合，较为准确地恢复了自然场景中的流体表面。本实施例中采用上述现有技术对图7(a)中的二维流体图像进行计算，其结果分别如图7(b)和图7(c)所示。在图7中，右侧的刻度条为颜色的取值范围，即颜色越浅，流体表面粒子的高度值越高。从对比结果可以看出，图7(b)的方法在高度值较大之处容易形成突变区域，在水流较湍急的情况下，重建结果缺乏真实感，不能很好的体现出流体湍急的状况。图7(c)对于平缓水流的运动能够取得较满意的结果，并且需要对流体运动矢量进行初始化，这使得该方法对运动矢量的误差非常敏感。对于湍急的流体的情况，本发明的计算得到的h_z的方差较大且流体高度的分布更均匀，本发明生成的结果如图7(d)所示，与原图像更匹配。

为了实现湍急流体所形成的水花飞溅的效果。本发明对重建出的流体表面细节做进一步处理。根据平稳度S的值来判断是否需要进行优化。首先定位水花点的位置，图8框中的白色点所示为流体表面水花定位的结果，即高度值大于最大h_z高度90％的点。

本发明通过迭代的方法计算σ的值，并直接在水花重心处生成水花。水花表面的纹理使用原先水花处的纹理进行映射，水花底部的纹理使用水花局部区域的纹理进行映射。最终生成的真实感流体结果如图9所示。

本实施例采用五副不同的二维流体图像对真实感流体实时重建方法进行时间特性检测，其检测结果如图10所示。从图10中可以明显看出，使用SFS计算法向量h_z分量的时间最长，通常占所有运行时间的67％-82％之间。根据流体的平稳度的不同，平稳度低的流体对于细节优化处理需要一定的时间，而平稳度高的流体则不用。优化所需的时间与需要增加水花点的数量有关，这是由于细节的处理所需的时间主要用在水花周围流体表面的拟合上。本发明对σ初始值的估计较为合理，这使得迭代次数一般在5至10次，减少部分运行时间，从而能够实时重建真实感流体。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (13)

1.一种真实感流体实时重建方法，其特征在于，以单幅二维流体图像为基础，通过镜面反射模型计算流体表面的法向量的分量，使用斯托克斯模型和流体图像骨架计算所述二维流体图像的平稳度和极限波高，根据所述平稳度和极限波高实时计算流体表面高度，并根据所述法向量的分量与所述流体表面的高度获得三维流体表面，并进行纹理映射；确定所述二维流体图像中水花的区域并计算所述水花的方差，生成所述水花的流体高度与纹理，结合所述三维流体表面与所述水花的流体高度与纹理，实现对三维真实感流体的实时重建。

2.如权利要求1所述的真实感流体实时重建方法，其特征在于，对于重建三维流体表面，包括如下步骤：

法向量计算步骤，根据镜面反射模型计算所述流体表面每个像素点的法向量及其z分量；

骨架化处理步骤，通过对所述二维流体图像的图像边界的近似多边形进行三角剖分生成具有拓扑关系的三角形，根据所述三角形生成局部骨架，将所述局部骨架进行拼接生成所述二维流体图像的骨架图像；

邻接图计算步骤，从所述骨架图像中的一个骨架点开始执行区域生长算法，将所述骨架点与区域内其他骨架点两两相连，直至遍历所述骨架图像中的所有骨架点后生成邻接图；

平稳度计算步骤，当且仅当所述邻接图中骨架连通分量大于0.1-0.15％时，记为有效骨架连通分量，根据所述有效骨架连通分量数与所述邻接图中连通分量总数，生成流体表面的平稳度；

极限波高计算步骤，根据所述二维流体图像的高亮度区域的平均宽度计算流体表面的波长，采用斯托克斯波模型根据所述波长计算流体表面的极限波高；

波高修正步骤，根据所述平稳度与所述极限波高，计算流体表面高度；

流体表面纹理映射步骤，根据所述法向量的分量和流体表面高度对流体表面进行纹理映射，获得三维流体表面。

3.如权利要求2所述的真实感流体实时重建方法，其特征在于，所述法向量计算步骤中镜面反射模型如下式表示：

I_s＝k_sI_pscosⁿ(N^T·H)；

式中，I_s表示镜面反射的光强；I_ps表示入射光强；k_s表示物体表面的镜面反射系数；n为常数，其与物体表面光滑度有关；N表示入射方向的单位法向量；H表示观察方向的法向量。

4.如权利要求2所述的真实感流体实时重建方法，其特征在于，所述平稳度计算步骤中，所述平稳度的计算公式如下式表示：

$S=\frac{C_e}{C_s};$

式中，C_e表示有效连通分量；C_s表示连通分量总数；S表示平稳度。

5.如权利要求2所述的真实感流体实时重建方法，其特征在于，所述波高修正步骤中，所述流体表面高度的计算公式如下式表示：

$L_i=\left\{\begin{array}{cc}\frac{h_i\·0.13\mathrm{\λ}}{S}& S\≠0\\ L_m& S=0\end{array}\right.$

式中，L_i表示流体表面高度；h_i表示像素粒子i的法向量的z分量；λ为波长；S表示平稳度；L_m表示高度的最大值。

6.如权利要求1所述的真实感流体实时重建方法，其特征在于，计算所述水花的流体高度与纹理包括如下步骤：

水花候选点确定步骤，采用直方图对所述流体表面高度进行统计，选取高度值大于最大高度值90％的像素点，对所述像素点求取方向导数，根据方向导数选取像素点作为水花候选点；

水花位置确定步骤，采用区域生长方法将表示同一水花的水花候选点关联起来，所述水花候选点的几何中心表示所述水花的位置；

方差估计步骤，选取一个水花中距离最远的两个水花候选点之间距离的一半作为方差的初始值，并使用极大似然估计方法估算水花局部区域内方差的估计值；

方差修正步骤，根据所述方差的初始值与估计值进行迭代修正，直至所述初始值与所述估计值之间的误差小于2个像素时迭代终止，获得修正后的方差结果；

水花高度计算步骤，根据所述方差结果与所述水花的位置计算所述水花的流体高度；

水花纹理生成步骤，将所述二维流体图像中水花所在位置的纹理映射到所述水花的表面，并将所述水花所在位置周围的圆环区域的纹理映射到所述水花的底部，获得所述水花的纹理。

7.如权利要求6所述的真实感流体实时重建方法，其特征在于，所述方差的估计值的计算公式如下式表示：

$\widehat{\mathrm{\σ}}=\frac{\underset{k\∈A}{\Σ}(L_k-L_a)}{n_a};$

式中，表示方差的估计值；n_a表示水花局部区域A内候选点的数量，L_k表示第k个候选点的重建高度；L_a表示水花局部区域A内所有候选点的高度的均值。

8.如权利要求6所述的真实感流体实时重建方法，其特征在于，所述方差修正步骤中以如下公式进行迭代，获取修正后的方差结果：

σ_i＝σ_i-1+Δσ_i-1， ${\mathrm{\Δ\σ}}_i=\mathrm{\η}({\widehat{\mathrm{\σ}}}_i-{\mathrm{\σ}}_i)(\mathrm{\η}\∈(0,1\]);$

式中，Δσ_i-1表示估计值与初始值的误差；η表示松弛量。

9.如权利要求6所述的真实感流体实时重建方法，其特征在于，所述水花的流体高度计算步骤中，所述水花的流体高度以如下公式计算获得：

$h_z=\frac{1}{2{\mathrm{\π\σ}}^2}\exp (-\frac{{(x-{\mathrm{\μ}}_x)}^2+{(y-{\mathrm{\μ}}_y)}^2}{2{\mathrm{\σ}}^2}),$ (x,y∈(μ_x,y-3σ,μ_x,y+3σ))；

式中，μ_x表示水花所在位置点的x轴坐标值；μ_y表示水花所在位置点的y轴坐标值；σ表示方差结果；x表示x轴方向的数值；y表示y轴方向的数值。

10.如权利要求6所述的真实感流体实时重建方法，其特征在于，所述水花纹理生成步骤中采用直径为的球体生成水花，将水花所在位置的纹理映射到所述球体的上表面生成水花的表面，通过将所述水花所在位置周围的圆环区域的纹理映射到所述球体的下表面生成所述水花的底部。

11.一种真实感流体实时重建系统，其特征在于，包括流体表面重建装置与水花重建装置；所述流体表面重建装置根据单幅二维流体图像生成三维流体表面，所述水花重建装置根据单幅二维流体图像生成水花的流体高度与纹理，利用所述水花的流体高度与纹理修正所述三维流体表面，实时重建真实感流体。

12.如权利要求11所述的真实感流体实时重建系统，其特征在于，所述流体表面重建装置包括：

法向量计算单元，其以镜面反射模型计算流体表面每个像素点的法向量以及法向量及其z分量；

骨架化单元，其根据图形边界的近似多边形进行三角剖分生成具有拓扑关系的三角形，生成局部骨架后进行拼接生成整体的骨架图像；

平稳度计算单元，其与所述骨架化单元连接，根据骨架图像中骨架点进行区域生长生成邻接图，并根据邻接图中的连通分量计算流体表面的平稳度；

极限波高计算单元，其根据所述二维流体图像的高亮度区域的平均宽度计算流体表面的波长，采用斯托克斯波模型根据所述波长计算流体表面的极限波高；

波高修正单元，其与所述平稳度计算单元和极限波高计算单元连接，根据所述平稳度与所述极限波高，计算流体表面高度；

流体表面纹理映射单元，其与所述法向量计算单元和所述波高修正单元连接，根据所述法向量的分量与所述流体表面高度实现流体表面纹理映射，获得三维流体表面。

13.如权利要求11所述的真实感流体实时重建系统，其特征在于，所述水花重建装置包括：

水花位置获取单元，其根据方向导数选择水花候选点，关联所述水花候选点获得水花的位置；

方差计算单元，其与所述水花位置获取单元连接，根据水花中的水花候选点计算方差的初始值，利用极大似然估计方法估算方差的估计值，并通过初始值与估计值进行方差修正获得修正后的方差结果；

水花高度计算单元，其与所述方差计算单元连接，根据方差结果与水花的位置计算水花的流体高度；

水花纹理映射单元，其根据所述二维流体图像中的水花纹理应设置水花的上表面与底部，获得水花的纹理；

水花修正单元，其与所述水花高度计算单元和所述水花纹理映射单元连接，根据所述水花的流体高度与纹理修正所述三维流体表面。