CN103632392B - 一种基于视频的海浪场景生成方法 - Google Patents

Abstract

本发明公开了一种基于视频的海浪场景生成方法，该方法首先根据视频流体纹理特征，计算流体表面的高度场；其次，根据流体表面高度场的结果，利用高度分层的方法定位得到海浪的位置；为了进一步分析海浪的每一个浪峰，使用二维正态分布函数对海浪高度进行拟合；然后，对拟合出的浪峰使用kmeans方法进行聚类，接着，利用聚类的结果将视频流体区域最后利用聚类结果，使用图论方法选取类区域生成海浪场景。本发明具有简单、快速、方便的特点，并且能够根据需求改变生成场景的大小，所生成的场景符合真实感和实时性的需求。

Description

一种基于视频的海浪场景生成方法

技术领域

本发明涉及海浪场景生成方法，尤其是一种基于视频的海浪场景生成方法。

背景技术

目前，在虚拟现实研究中，对于基于视频的流体三维重建已经取得了初步的结果，然而对于上述重建结果的场景规模，现今的技术仍然受限于输入场景的大小。由于流体场景存在遮挡和重现的特点，并且由于流体属于强纹理，这导致对于任意规模的流体场景输入来说，创建出一个具有真实感，同时兼顾时间性能的方法仍旧存在着一定的挑战性，在这一方面研究中取得的成果还不够显著。任意规模海浪场景研究中的关键问题，是如何快速、高效的生成具有真实感的流体场景，建立根据用户意愿和具有交互性的流体海浪场景的技术，仍旧是该领域中极具挑战性的课题，其研究具有重要的现实意义和应用价值。

随着图像处理技术及计算机视觉技术的发展，对于基于海浪场景的任意规模场景生成的研究出现了一些技术和方法。人们利用图像中的颜色、纹理、形状等特征进行研究，取得了一些成果、现有方法从图像纹理的特征入手，通过将输入图像分成小部分，再根据小区域的边缘匹配性，将各个小区域重组，最终生成大的场景。

由于海浪流体属于强纹理，在运动过程中不能保持纹理不变的属性，并且其没有特定的纹理规律性，通过对比局部区域的强度相关性无法准确生成具有较强真实感的大场景；现有的研究中一些研究致力于寻找合适的区域大小以得到最佳的生成效果，另一些研究通过使用流体图像纹理中的连续性特征，利用马尔科夫链的方法，再结合局部拼接区域颜色优化计算出较大规模的流体场景。基于马尔科夫链方法生成大规模流体场景方法中存在的主要问题是：生成的大规模场景具有纹理重叠性；生成的场景不具有物理真实性，既流体部分不符合流体动力学；在区域拼接位置存在明显的拼接线，即不连续区域。不仅如此，传统的方法存在复杂度高、计算量大的问题，很难利用在线方法完成，因此不能满足实时性需求。

对于基于视频的海浪场景技术人们曾经进行过系统的探讨，这方面研究的典型成果主要是基于高度场重新划分场景区域的方法。它是分析高度场的分布规则，在三维场景中，将场景分成若干部分再进行拼接的方法。

近年来，为了提高重建的准确性和真实感，人们进行了一些研究。现有研究包括利用三次样条与马儿科夫随机场结合的方法生成海浪场景，得到了较好的重建结果。

也有一些人员利用SFS研究场景生成方法，基于流体表面明暗度方法计算流体的高度，这种方法对于非透明水域能够取得较满意的高度计算结果，但强光照射的情况下，例如含有倒影或强亮度的水面，高度计算结果的准确性就会受到影响。

发明内容

本发明的目的是针对现有技术中存在的问题而提供的一种基于视频的海浪场景生成方法，该方法具有简单、快速、方便的特点，并且能够根据需求改变生成场景的大小，所生成的场景符合真实感和实时性的需求。

本发明的目的是这样实现的：

一种基于视频的海浪场景生成方法，它包括：

1)流体表面高度场的计算；

2)海浪区域的识别；

3)海浪区域中浪峰的拟合；

4)浪峰拟合结果的kmeans聚类；

5)浪峰类区域的选取过程。

经过以上步骤将选取的类拼接到设定大小的场景中去，计算得到生成后的大场景。选取的类的个数，根据场景的规模而定。

本发明中具体的技术细节如下：

(ⅰ)流体表面高度场的计算

先利用明暗度恢复形状方法计算流体表面的法向量，再使用Stokes模型计算流体表面高度；

首先，使用下述公式进行计算流体表面粒子法向量：

I_s＝k_sI_pscosⁿ(N^T·H)(1)

其中I_s为镜面反射的光强；I_ps为入射光强，k_s为物体表面的镜面反射系数，n为常数，它与物体表面光滑度有关。N为入射方向的单位法向量，H为在理想镜面情况下，观察者方向的法向量。

利用光的反射定律，定义光源的方向为N＝(0,0,1)^T，由于H是一个单位向量，式(1)中的N^TH就为hz，即H在Z轴方向的分量，这样可以有效地降低计算量达到简化SFS方法的效果；使用式(1)计算得到hz。最后可以根据计算得到的hz，利用光源调色板的方法计算出流体表面的高度场。

(2)海浪区域识别的方法

首先将流体表面粒子按高度分层，再判断连通分量最多的那一层，使用直线的最小二乘法进行拟合。最后得到海浪的区域。

其中：判断连通分量的方法为区域生长算法，首先选取分层中的某一个粒子点，判断其邻近的位置有无存在的粒子，如果有，则将其视为第一个粒子点的邻近粒子。连通分量定义为，在一个特定连通分量包含的区域中，所有的粒子点都互为邻近粒子。

(3)海浪区域中浪峰的拟合方法

首先在一个海浪区域内，选取高度最高的粒子点并标记其为已选取粒子点。已该粒子点为中心，利用二维正态分布函数迭代计算并拟合它的周围区域，其中分布函数表示为：

$h_z=\frac{1}{2{\mathrm{\π\σ}}^2}\exp (-\frac{{(x-{\mathrm{\μ}}_x)}^2+{(y-{\mathrm{\μ}}_y)}^2}{2{\mathrm{\σ}}^2})---\left(2\right)$

式中μ_x,μ_y分别为粒子点所在位置点的坐标值，x,y的取值范围为S，即x,y∈(μ_x,y-3σ,μ_x,y+3σ)。σ为区域S中包含粒子点的方差。

使用迭代的方法计算出有效区域的σ的大小，为了减少计算σ的迭代次数，对S中最远两点距离的一半作为σ的初始值，即

$\mathrm{\σ}=\frac{max\left\{D_{ab}\right\}}{2}---\left(3\right)$

式中D_ab表示S中两不同点a，b之间的距离。

根据统计学理论，使用极大似然估计法来估计参数σ，并且使用水花点的重心作为μ_x和μ_y的估计量，即

$\widehat{\mathrm{\σ}}=\frac{\underset{k\∈A}{\Σ}(L_k-L_a)}{n_a}---\left(4\right)$

式中，n_a表示区域S内点的数量，L_k表示第k个点的重建高度；L_a表示n_a个点的高度的均值。根据“3σ法则”，即正态变量的取值范围在(-∞,∞)时，它的值几乎都落在(μ-3σ,μ+3σ)的区间内，因此，取A的范围为(μ_x,y-3σ,μ_x,y+3σ)的区间。

为了精确恢复浪峰的大小，利用下式迭代求得最终的σ值。

σ_i＝σ_i-1+△σ_i-1(5)

式中△σ_i-1为与σ的误差，表示为

${\mathrm{\Δ\σ}}_i=\mathrm{\η}({\widehat{\mathrm{\σ}}}_i-{\mathrm{\σ}}_i)---\left(6\right)$

式中η为松弛量，η∈(0,1]。由于研究的精确度是在像素级的，可以允许的误差范围在亚像素级，因此迭代的终止条件为△σ<1。

接着标记迭代完成区域中的粒子点为已选取，循环选取未被选取粒子点中高度最大值点，并执行上述操作，直到区域中所有粒子点都被选取过。

浪峰的拟合过程如下：

ⅰ)利用表面高度确定浪峰中心点粒子；

ⅱ)使用极大似然估计的方法估计水花局部区域的σ；

ⅲ)使用迭代的方法修正σ的值；

ⅳ)循环执行步骤ⅰ)直到区域中粒子全被选取过。

(4)浪峰拟合结果的kmeans聚类

以浪峰拟合的结果为元素，使用kmeans方法聚类。首先，定义聚类数k为其中n为浪峰的数量。接着，计算距离代价函数，距离代价函数由F(k)表示，由下式计算

$F\left(k\right)=\underset{i=1}{\overset{k}{\&Sigma;}}\left|\right|m_i-m_a\left|\right|+\underset{i=1}{\overset{k}{\&Sigma;}}\underset{x\&Element;C_i}{\&Sigma;}\left|\right|x-m_i\left|\right|-\mathrm{\&psi;}\underset{i=1}{\overset{k}{\&Sigma;}}|h_i-h_a|---\left(7\right)$

其中，m_a和m_i是输入样本和类数的均值，x是类C_i的基本元素；h_a和h是同一个类i中，高度场样本的均值；ψ是附加项的权重；最后使用

$\mathrm{\&psi;}=\frac{max(L,W)}{h_a}---\left(8\right)$

计算ψ，其中L和W是输入图像的长和宽。通过迭代以上步骤就可以计算出适合的浪峰聚类数。

(5)浪峰类区域的选取过程

浪峰类区域的选取过程可以描述为：使用类内高度差σ作为类的固有属性，而不同类的σ差异可以视为类间的距离，因此可以使用最小生成树算法将各个类生成一个树的结构，并且使用如下步骤选取类；

ⅰ)随机选取树中的节点作为初始类。

ⅱ)随机选取初始类连接的节点类。

ⅲ)如果步骤ⅱ)选取的节点不是一个叶子节点，迭代执行步骤ⅱ)；否则选取离该节点类间距离第二近的节点。

ⅳ)判断选取的节点是否是叶子节点，如果是，随机选取节点，满足其不是步骤ⅲ)选取节点的相连的节点，如果不是，则执行步骤ⅱ)。

附图说明

图1是流体三维粒子层次说明图示；

图2是连通分量示意图；

图3是二次拟合过程说明图；

图4是海浪场景生成结果图。

具体实施方式

下面结合附图对本发明进一步说明。

实施例

本实施例采用DynTex动态纹理库中的“6482810”的第61帧进行流体的高度进行计算。在PC机上WindowsXP操作系统下进行，其硬件配置是3.4GHzIntelCore(TM)2DuoCPU、4GB内存。

(1)流体表面高度场的计算

首先利用“6482810”的第61帧图像采用明暗度恢复形状方法计算流体表面的法向量，再使用Stokes模型计算流体表面高度。

其中，海浪表面粒子高度法向量使用下述公式进行计算：

I_s＝k_sI_pscosⁿ(N^T·H)(1)

其中I_s为镜面反射的光强；I_ps为入射光强，k_s为物体表面的镜面反射系数，n为常数，它与物体表面光滑度有关。N为入射方向的单位法向量，H为在理想镜面情况下，观察者方向的法向量。

利用光的反射定律，定义光源的方向为N＝(0,0,1)^T，由于H是一个单位向量，式(1)中的N^TH就为hz，即H在Z轴方向的分量，这样可以有效地降低计算量达到简化SFS方法的效果；使用式(1)计算得到hz；最后可以根据计算得到的hz，利用光源调色板的方法计算出流体表面的高度场。

(2)海浪区域识别的方法

首先将流体表面粒子按高度分层，如图1所示。再判断连通分量最多的那一层，使用直线的最小二乘法进行拟合。最后得到海浪的区域。

其中：判断连通分量的方法为区域生长算法，首先选取分层中的某一个粒子点，判断其邻近的位置有无存在的粒子，如果有，则将其视为第一个粒子点的邻近粒子。连通分量定义为，在一个特定连通分量包含的区域中，所有的粒子点都互为邻近粒子。海浪区域中粒子的连通分量如图2中方框所示。

(3)海浪区域中浪峰的拟合方法

首先在一个海浪区域内，选取高度最高的粒子点并标记其为已选取粒子点。已该粒子点为中心，利用二维正态分布函数迭代计算并拟合它的周围区域，其中分布函数表示为：

$h_z=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}\exp (-\frac{{(x-{\mathrm{\&mu;}}_x)}^2+{(y-{\mathrm{\&mu;}}_y)}^2}{2{\mathrm{\&sigma;}}^2})---\left(2\right)$

式中μ_x,μ_y分别为粒子点所在位置点的坐标值，x,y的取值范围为S，即x,y∈(μ_x,y-3σ,μ_x,y+3σ)。σ为区域S中包含粒子点的方差。

使用迭代的方法计算出有效区域的σ的大小，为了减少计算σ的迭代次数，对S中最远两点距离的一半作为σ的初始值，即

$\mathrm{\&sigma;}=\frac{max\left\{D_{ab}\right\}}{2}---\left(3\right)$

式中D_ab表示S中两不同点a，b之间的距离。

根据统计学理论，使用极大似然估计法来估计参数σ，并且使用水花点的重心作为μ_x和μ_y的估计量，即

$\widehat{\mathrm{\&sigma;}}=\frac{\underset{k\&Element;A}{\&Sigma;}(L_k-L_a)}{n_a}---\left(4\right)$

式中，n_a表示区域S内点的数量，L_k表示第k个点的重建高度；L_a表示n_a个点的高度的均值。根据“3σ法则”，即正态变量的取值范围在(-∞,∞)时，它的值几乎都落在(μ-3σ,μ+3σ)的区间内，因此，取A的范围为(μ_x,y-3σ,μ_x,y+3σ)的区间。

为了精确恢复浪峰的大小，利用下式迭代求得最终的σ值。

σ_i＝σ_i-1+△σ_i-1(5)

式中△σ_i-1为与σ的误差，表示为

${\mathrm{\&Delta;\&sigma;}}_i=\mathrm{\&eta;}({\widehat{\mathrm{\&sigma;}}}_i-{\mathrm{\&sigma;}}_i)---\left(6\right)$

式中η为松弛量，η∈(0,1]。由于研究的精确度是在像素级的，可以允许的误差范围在亚像素级，因此迭代的终止条件为△σ<1。

接着标记迭代完成区域中的粒子点为已选取，循环选取未被选取粒子点中高度最大值点，并执行上述操作，直到区域中所有粒子点都被选取过。浪峰对应的拟合结果如图3所示。

浪峰的拟合过程如下：

ⅰ)利用表面高度确定浪峰中心点粒子。

ⅱ)使用极大似然估计的方法估计水花局部区域的σ。

ⅲ)使用迭代的方法修正σ的值。

ⅳ)循环执行步骤ⅰ)直到区域中粒子全被选取过。

(4)浪峰拟合结果的kmeans聚类

以浪峰拟合的结果为元素，使用kmeans方法聚类。首先，定义聚类数k为其中n为浪峰的数量。接着，计算距离代价函数，距离代价函数由F(k)表示，由下式计算

$F\left(k\right)=\underset{i=1}{\overset{k}{\&Sigma;}}\left|\right|m_i-m_a\left|\right|+\underset{i=1}{\overset{k}{\&Sigma;}}\underset{x\&Element;C_i}{\&Sigma;}\left|\right|x-m_i\left|\right|-\mathrm{\&psi;}\underset{i=1}{\overset{k}{\&Sigma;}}|h_i-h_a|---\left(7\right)$

其中，m_a和m_i是输入样本和类数的均值，x是类C_i的基本元素；h_a和h是同一个类i中，高度场样本的均值；ψ是附加项的权重；最后使用

$\mathrm{\&psi;}=\frac{max(L,W)}{h_a}---\left(8\right)$

计算ψ，其中L和W是输入图像的长和宽。通过迭代以上步骤就可以计算出适合的浪峰聚类数。

(5)浪峰类区域的选取过程

浪峰类区域的选取过程可以描述为：使用类内高度差σ作为类的固有属性，而不同类的σ差异可以视为类间的距离，因此可以使用最小生成树算法将各个类生成一个树的结构，并且使用如下步骤选取类；

ⅰ)随机选取树中的节点作为初始类。

ⅱ)随机选取初始类连接的节点类。

ⅲ)如果步骤ⅱ)选取的节点不是一个叶子节点，迭代执行步骤ⅱ)；否则选取离该节点类间距离第二近的节点。

ⅳ)判断选取的节点是否是叶子节点，如果是，随机选取节点，满足其不是步骤ⅲ)选取节点的相连的节点，如果不是，则执行步骤ⅱ)。

经过以上步骤将选取的类拼接到一定大小的场景中去，计算得到生成后的大场景。选取的类的个数，根据场景的规模而定。

海浪场景的结果，如图4所示，可以证明利用本发明的方法对海洋区域生成时，生成的结果可以在很大程度上保留海浪的原有特性；对汹涌的海浪场景生成时，拼接模块之间的接缝很难辨识，场景的生成结果仍保留了海浪的物理特性，结果仍保留了波浪的细节，能够区分波峰和波谷。

将本发明与现有的方法进行比较。利用马儿科夫随机场的结果与本发明的生成结果进行对比并利用LBM方法分析其结果的水流物理分布的合理性。

本发明的时间性能分析。为了说明本发明高度计算的时间性能，采用连续50帧的平均运行时间来测试本发明的时间性能，时间性能的分步骤计算结果见表1所示。从表1的结果可以看出，本发明具有较低的运行时间。对所有视频的运行时间进行平均统计，得到普通帧场景生成需要的时间约0.2秒，关键帧的处理约为2秒，从这些运行时间的结果可以看出，本发明运行需要较少的时间，能够满足流体三维重建的实际需要。

表1每50帧的平均时间(单位：毫秒)

Claims (1)

1.一种基于视频的海浪场景生成方法，其特征在于该方法包括：

(1)流体表面高度场的计算；

(2)海浪区域的识别；

(3)海浪区域中浪峰的拟合；

(4)浪峰拟合结果的kmeans聚类；

(5)浪峰类区域的选取过程；

经过以上步骤将选取的类拼接到设定大小的场景中去，计算得到生成后的大场景；选取的类的个数，根据场景的规模而定；其中：

所述海浪区域中浪峰的拟合和浪峰类区域的选取过程，利用流体运动的物理规律生成具有真实感的海浪场景；

所述流体表面高度场的计算：

先利用明暗度恢复形状方法计算流体表面的法向量，再使用Stokes模型计算流体表面高度；

首先，使用下述公式进行计算流体表面粒子法向量：

I_s＝k_sI_pscosⁿ(N^T·H)(1)

式中I_s为镜面反射的光强；I_ps为入射光强，k_s为物体表面的镜面反射系数，n为常数，与物体表面光滑度有关；N为入射方向的单位法向量，H为在理想镜面情况下，观察者方向的法向量；

利用光的反射定律，定义光源的方向为N＝(0,0,1)^T，由于H是一个单位向量，式(1)中的N^TH就为hz，即H在Z轴方向的分量，使用式(1)计算得到hz；最后根据计算得到的hz，利用光源调色板的方法计算出流体表面的高度场；

所述海浪区域的识别：

首先将流体表面粒子按高度分层，再判断连通分量最多的那一层，使用直线的最小二乘法进行拟合，最后得到海浪的区域；

其中：判断连通分量为区域生长算法，首先选取分层中的某一个粒子点，判断其邻近的位置有无存在的粒子，如果有，则将其视为第一个粒子点的邻近粒子；连通分量定义为，在一个特定连通分量包含的区域中，所有的粒子点都互为邻近粒子；

所述海浪区域中浪峰的拟合：

首先在一个海浪区域内，选取高度最高的粒子点并标记其为已选取粒子点，以该粒子点为中心，利用二维正态分布函数迭代计算并拟合它的周围区域，其中分布函数表示为：

$h_z=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}\exp (-\frac{{(x-{\mathrm{\&mu;}}_x)}^2+{(y-{\mathrm{\&mu;}}_y)}^2}{2{\mathrm{\&sigma;}}^2})---\left(2\right)$

式中μ_x,μ_y分别为粒子点所在位置点的坐标值，x,y的取值范围为S，即x,y∈(μ_x,y-3σ,μ_x,y+3σ)；σ为区域S中包含粒子点的方差；

使用迭代的方法计算出有效区域的σ的大小，为了减少计算σ的迭代次数，对S中最远两点距离的一半作为σ的初始值，即

$\mathrm{\&sigma;}=\frac{max\left\{D_{ab}\right\}}{2}---\left(3\right)$

式中D_ab表示S中两不同点a，b之间的距离；

根据统计学理论，使用极大似然估计法来估计参数σ，并且使用水花点的重心作为μ_x和μ_y的估计量，即

$\widehat{\mathrm{\&sigma;}}=\frac{\underset{k\&Element;A}{\&Sigma;}(L_k-L_a)}{n_a}---\left(4\right)$

式中，n_a表示区域S内点的数量，L_k表示第k个点的重建高度；L_a表示n_a个点的高度的均值；根据“3σ法则”，即正态变量的取值范围在(-∞,∞)时，其值几乎都落在(μ-3σ,μ+3σ)的区间内，因此，取A的范围为(μ_x,y-3σ,μ_x,y+3σ)的区间；

为了精确恢复浪峰的大小，利用下式迭代求得最终的σ值；

σ_i＝σ_i-1+△σ_i-1(5)

式中△σ_i-1为与σ的误差，表示为

${\mathrm{\&Delta;\&sigma;}}_i=\mathrm{\&eta;}({\widehat{\mathrm{\&sigma;}}}_i-{\mathrm{\&sigma;}}_i)---\left(6\right)$

式中η为松弛量，η∈(0,1]；

接着标记完成区域中的粒子点为已选取，循环选取未被选取粒子点中高度最大值点，直到区域中所有粒子点都被选取过；

浪峰的拟合过程如下：

a)利用表面高度确定浪峰中心点粒子；

b)使用极大似然估计的方法估计水花局部区域的σ；

c)使用迭代的方法修正σ的值；

d)循环执行步骤a)直到区域中粒子全被选取过；

所述浪峰拟合结果的kmeans聚类为：

以浪峰拟合的结果为元素，使用kmeans方法聚类；首先，定义聚类数k为其中n为浪峰的数量；接着，计算距离代价函数，距离代价函数由F(k)表示，由下式计算

$F\left(k\right)=\underset{i=1}{\overset{k}{\&Sigma;}}\left|\right|m_i-m_a\left|\right|+\underset{i=1}{\overset{k}{\&Sigma;}}\underset{x\&Element;C_i}{\&Sigma;}\left|\right|x-m_i\left|\right|-\mathrm{\&psi;}\underset{i=1}{\overset{k}{\&Sigma;}}|h_i-h_a|---\left(7\right)$

其中，m_a和m_i是输入样本和类数的均值，x是类C_i的基本元素；h_a和h是同一个类i中，高度场样本的均值；ψ是附加项的权重；最后使用

$\mathrm{\&psi;}=\frac{max(L,W)}{h_a}---\left(8\right)$

计算ψ，其中L和W是输入图像的长和宽，通过计算F(k)的最小值得出浪峰聚类数k；

所述浪峰类区域的选取过程：

使用类内高度差σ作为类的固有属性，而不同类的σ差异视为类间的距离，使用最小生成树算法将各个类生成一个树的结构，并且使用如下步骤选取类；

a)随机选取树中的节点作为初始类；

b)随机选取初始类连接的节点类；

c)如果步骤b)选取的节点不是一个叶子节点，执行步骤b)；否则选取离该节点类间距离最近的节点；

d)判断选取的节点是否是叶子节点，如果是，随机选取节点，执行步骤c)选取节点的相连的节点，如果不是执行步骤b)。