CN103871096B - 三维空间中真实感流体场景合成方法 - Google Patents

Abstract

本发明公开了一种三维空间中真实感流体场景合成方法，该方法包括基于MRF的随机块采样、三维空间中对重叠区域的缝合以及缝合区域粒子的颜色重映射步骤。首先采用MRF对原流体场景进行随机的块采样；然后用高度信息在块间进行相似性度量并选取匹配的块，再利用B样条曲线拟合缝合重叠区域中粒子的高度；最后，建立该帧视频的高度与灰度、灰度与颜色之间的哈希映射，根据缝合区域粒子的高度结果，对其颜色进行重新映射。本发明能够有效的合成流体场景，且合成的流体不仅满足了流体仿真的真实感和实时性的要求，并保证了合成的流体场景能够保持运动的随机性。

Description

三维空间中真实感流体场景合成方法

技术领域

本发明涉及流体场景的合成，尤其是一种三维空间中真实感流体场景合成方法。

背景技术

流体自然景观在客观世界中随处可见，流体场景合成的研究是增强现实技术研究与发展的需要。流体的仿真技术在计算机动画、电脑游戏、影视特技、军事管理等领域都有非常广泛的应用。目前流体自然景观的生成方法主要有两类：图形学中基于流体物理运动规律的仿真绘制方法和基于视频的流体场景的构建。最初，对于流体场景主要采用参数建模的方法，其无法表现真正的流动效果；随着仿真技术的发展，出现了基于物理的建模方法，常见的两种包括：欧拉法和拉格朗日法。利用这些方法进行水面场景仿真时，主要的问题就是：对流体绘制中涉及的几何、力学、光照等复杂物理属性的计算，难以满足流体场景绘制的真实感和实时性要求。随着仿真技术的进一步发展，出现了一些海浪场景的建模方法：基于FFT(FastFourier Transform)的方法、基于Perlin噪声的方法、基于Gerstner模型的方法和基于分形的仿真方法。利用这些方法构建场景时,虽然可以准确得到某一时刻流体的运动状态，由于巨大的运算量和较高的算法复杂度，难以在普通微型计算机上实现大规模流体场景的实时仿真。

目前，在基于视频的流体自然景观绘制的研究中，缺乏与视频媒体真实感一致的流体建模和仿真。另外，随着仿真技术的发展，流体仿真需要大规模场景，视频能够提供流体场景的规模是有限的，因此，在实际仿真的应用中，如何充分利用流体视频的真实感外观及流体运动信息合成所需规模的流体场景，其研究具有一定的现实意义和实用价值。

发明内容

本发明的目的是针对现有技术中存在的真实感差、实时性不强等问题而提供的一种三维空间中真实感流体场景合成方法，利用该方法能在三维空间中实时合成具有真实感的流体场景。

本发明的目的是这样实现的：

一种三维空间中真实感流体场景合成方法，特点是该方法包括以下具体步骤：

a）基于MRF（马尔科夫随机场，Markov Random Field）的随机块采样

采用MRF模型对流体视频的一帧进行块的随机采样，将该帧分成若干纹理块；

b）三维空间中对重叠区域的缝合

根据待合成的目标场景边缘与选取块的边缘的相似性，选取最优的匹配块；利用B样条曲线对缝合区域高度场进行拟合；

Ⅰ）选取最优的匹配块，具体步骤：

ⅰ）使用基于SFS（Shape From Shading）的三维重建方法获取流体该帧的高度信息；

ⅱ）利用式（1）计算目标场景边缘与选取块的边缘的相似性，然后，选取具有最小D的纹理块；

$D(T_k,B_k)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}|H_T^i-H_B^i|---\left(1\right)$

其中T_k表示已经合成的场景部分，B_k表示选取的纹理块，表示T_k右边缘区域的第i个像素粒子的高度，表示B_k左边缘区域对应位置像素粒子的高度，n表示重叠区中像素粒子的数目；

Ⅱ）利用两条B样条曲线对缝合区域高度场进行拟合，具体步骤：

ⅰ）找出缝合区域的像素点对应的位置，称这些像素点为控制点，获取这些控制点对应的高度值；

ⅱ）将上述控制点的坐标在XOY平面上归一化操作，利用归一化后的控制点拟合得到两条B样条曲线；

ⅲ）根据拟合的曲线在相接的控制点处一阶导连续，求得B样条曲线的系数，得到两条平滑连接的拟合B样条曲线；

ⅳ）利用控制点的坐标，根据得到的B样条曲线重新计算，得到拟合的高度值；

c）缝合区域粒子的颜色重映射

将像素粒子的灰度值用YUV空间中亮度表示，根据YUV空间中亮度与RGB（RGB：红、蓝、绿）空间的R、G、B三个分量的对应关系，建立该帧视频的高度与灰度、灰度与颜色之间的哈希映射，根据缝合区域粒子的高度结果，对其颜色进行重新映射；具体步骤：

ⅰ）建立原场景中高度与灰度值之间的对应关系，得到哈希表T₁；

ⅱ）建立灰度值与RGB颜色之间的映射关系，得到哈希表T₂；

ⅲ）对于合成场景的缝合区域，利用哈希表T₁和T₂，以及散列碰撞的处理方法，进行颜色重映射。

本发明根据基于SFS的方法提取视频中一帧的高度信息合成三维流体场景，使用了MRF和块匹配缝合以及颜色映射，提高了流体仿真的真实性。同时，由于加速算法的加入，合成速度远远快于传统方法。传统3D流体场景的合成方法使用多带融合技术，需要将需要缝合的区域先转换到频域空间，然后进行合成，合成结果再转换到时域空间。本发明直接使用B样条曲线对需要缝合的区域进行缝合，减少了转换的时间，故效率更好。

附图说明

图1为本发明边缘匹配示意图；

图2为图1局部放大图，图中E表示对应位置像素；

图3为本发明流体场景合成示意图；

图4为本发明流体场景合成示意图，图中R表示缝合区域；

图5为本发明实施例单帧合成结果展示图；

图6为本发明实施例连续四帧的合成结果示意图；

图7为本发明与其它方法的对比图。

具体实施方式

下面详细叙述本发明：

（1）基于MRF的块采样

为了使合成流体场景具有随机性，采用MRF（马尔科夫随机场，Markov Random Field）模型对流体视频的一帧进行块的随机采样。

①由于似然函数具有独立性，不依赖于场景中其它部分的纹理，使用似然函数对输入场景中的一帧进行预处理。

②对处理后的帧采用MRF模型进行块的随机采样

这样不仅保持流体运动的随机性，同时也使算法具有较好的时间性能。

（2）三维空间中场景的合成

利用块的随即采样结果，通过交替执行选取匹配的块和缝合重叠区这两个主要的步骤实现三维空间中流体场景的缝合。如果预合成的场景的尺度为D_x×D_y，将已经合成的场景部分记为T_k，当前所选取的匹配块为B_k，其场景合成的具体步骤如下：

①利用MRF模型将输入流体场景分成若干纹理块，这些纹理块的集合记为S。从S中随机选取一个纹理块B₀，用B₀初始化T_k。

②如果T_k的尺度还小于D_x×D_y，进行下一步；否则，如果T_k的尺度达到了D_x×D_y，执行步骤⑤。其中，D_x×D_y表示预合成的场景的尺度。

③从S中，利用式（1）计算目标场景边缘与选取块的边缘的相似性，选取合适的纹理块作为匹配块B_k，如果当前合成行已到达行末尾，从新的一行继续进行合成，执行步骤④；否则，从当前T_k位置继续合成，执行步骤④。

利用式（1）计算目标场景边缘与选取块的边缘的相似性，然后，选取具有最小D的纹理块；

$D(T_k,B_k)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}|H_T^i-H_B^i|---\left(1\right)$

其中T_k表示已经合成的场景部分，B_k表示选取的纹理块，表示T_k右边缘区域的第i个像素粒子的高度，表示B_k左边缘区域对应位置像素粒子的高度，n表示重叠区中像素粒子的数目。

④利用缝合区域中粒子高度信息进行B样条曲线拟合，得到缝合区域部分粒子的拟合高度

由于在合成过程中将不同的水流块进行拼接，这就无法避免边缘不匹配的现象，因此需要进行平滑，采用B样条曲线对高度场进行拟合优化，实现缝合区域的平滑，具体步骤如下：

以获取缝合区域中的六个控制点A～F为例，首先计算A～F六个控制点在XOY平面上的归一化坐标，得到的六个控制点的坐标为V_A(x_A,h_A)、V_B(x_B,h_B)、V_C(x_C,h_C)、V_D(x_D,h_D)、V_E(x_E,h_E)和V_F(x_F,h_F)。

利用前三个点A、B、C作为控制点，拟合得到的B样条曲线表示为：

P₁(t)=C₁₁(1-t)²+2C₁₂(1-t)+C₁₃t²,(0≤t≤1) （2）

利用后三个点D、E、F作为控制点，拟合得到的B样条曲线表示为：

P₂(t)=C₂₁(1-t)²+2C₂₂(1-t)+C₂₃t²,(0≤t≤1) （3）

t为参数方程的自变量。

为了实现缝合的平滑性，就要满足拟合的曲线在相接的控制点处一阶导连续，这样可以求得B样条曲线的系数：

C₁₁=V_b，C₁₂=V_B+S₁， $C_{13}=\frac{(V_B+V_C+S_1-S_2)}{2}---\left(4\right)$

$C_{21}=\frac{(V_E+V_F+S_1-S_2)}{2},$ C₂₂=V_E+S₂，C₂₃=V_F （5）

其中S₁,S₂分别为目标曲线在点B和点E处的一阶导矢量，可以计算为：

$S_1=\mathrm{\η}\frac{V_C-V_A}{{\left|\right|V_C-C_A\left|\right|}_2}\·\min \{{\left|\right|V_B-V_A\left|\right|}_2,{\left|\right|V_C-V_B\left|\right|}_2\}---\left(6\right)$

$S_2=\mathrm{\η}\frac{V_F-V_D}{{\left|\right|V_F-C_D\left|\right|}_2}\·\min \{{\left|\right|V_E-V_D\left|\right|}_2,{\left|\right|V_F-V_E\left|\right|}_2\}---\left(7\right)$

η为缩放系数，利用缩放系数调整，为了防止在拟合中曲线打圈的情况发生，其取值范围在(0,0.5)之间。这里选取η=0.293得到了较为满意的结果。

在得到了两条平滑连接的拟合B样条曲线后，根据A～F六个控制的坐标，利用B样条曲线拟合，得到缝合区域的拟合高度。

⑤合成过程结束。

（3）颜色重映射

为了使合成的流体具有真实感的外观，采用流体表面粒子高度和颜色之间映射；具体步骤如下：

①利用原场景中粒子的高度与灰度之间的对应关系，建立哈希表T₁。具体步骤如下：

a.根据原流体场景中所有粒子的高度信息，求其最大高度H_x和最小高度H_n。

b.判断原场景中是否每个3D像素粒子都处理过，如果是，转步骤ｅ；否则，进行下一步。

c.选取一个未经处理的粒子p，建立p的高度与灰度值之间的映射，将最大的高度H_x映射为255，最小的高度H_n映射为0。根据粒子p的高度，利用式(8)计算其对应的灰度值G_p：

d.将步骤ｃ中得到的高度与灰度值之间的对应，按照高度从小到大的顺序，插入到哈希表T₁中，如果表中对应该高度已经有了对应的灰度影像，则放弃插入，并转步骤ｂ。

e.哈希表T₁建立结束。

②利用灰度值与RGB值之间对应关系，建立哈希表T₂；具体步骤如下：

a.判断原场景中是否每个像素粒子都处理过，如果是，转步骤d；否则，进行下一步。

b.选取一个未经处理的粒子p，利用公式（9）建立p的灰度值与颜色之间的映射：

Y=0.3*R+0.59*G+0.11*B （9）

c.将步骤b中得到的灰度值与颜色之间的对应，按照灰度值从小到大的顺序，插入到哈希表T₂中，如果表中对应该灰度已经有了对应的颜色影像，则插在其后面，并转步骤b。

d.哈希表T₂建立结束。

③利用哈希表T₁和T₂，进行颜色重映射；具体步骤如下：

a.判断缝合区域是否每个粒子都经过了颜色重映射，如果是，转步骤g；否则，选取一个缝合区域的粒子q，转下一步。

b.根据粒子q拟合的高度，查找哈希表T₁，如果查找成功，则得到q对应的灰度值；如果查找失败，即在哈希表T₁中不存在q的高度，那么，在哈希表T₁中查找满足以下条件的两个相邻的高度h_H和h_L，使其满足：

h_L<h_q<h_H （10）

其中h_q表示粒子q的高度。

c.根据h_H和h_L，用公式（11）确定粒子q的灰度值：

$\begin{array}{cc}|h_q-h_H|<|h_q-h_L|& g_q=g_H\\ |h_q-h_H|>|h_q-h_L|& g_q=g_L\end{array}---\left(11\right)$

其中，g_H和g_L分别是哈希表T₁中h_H和h_L所对应的灰度值，g_q表示粒子q的灰度值。

d.利用得到的粒子q灰度值g_q，查找哈希表T₂，如果在哈希表T₂查找成功，则将得到的颜色值映射到粒子q，转步骤a；否则，如果查找失败，在哈希表T₂中查找满足以下条件的两个连续的灰度值g_h和g_l，使它们满足：

g_l<g_q<g_h （12）

e.根据g_h和g_l，用公式（13）确定粒子q的彩色值：

$\begin{array}{cc}|g_q-g_h|<|g_q-g_l|& C_q=C_h\\ |g_q-g_h|>|g_q-g_l|& C_q=C_l\end{array}---\left(13\right)$

C_h和C_l分别是哈希表T₂中g_h和g_l所对应的颜色值，C_q表示粒子q的颜色值。

f.转步骤a。

g.颜色重映射结束。

实施例

本实施例采用DynTex动态纹理库中的649cj10、645c31、54pf110和54ab110进行实验。在PC机上Windows XP操作系统下进行了计算，其硬件配置是2.66GHz Intel Core（TM）2DuoCPU、4GB RAM。

1）利用现有的基于SFS(Shape From Shading)的流体重建方法恢复流体一帧的表面高度信息。

2）利用步骤1）得到的高度信息以及灰度信息，建立高度与灰度的哈希映射表T₁。

3）将像素粒子的灰度值用YUV空间中亮度表示，用YUV空间中亮度与RGB空间的R、G、B三个分量的对应关系，建立灰度值Y与RGB颜色之间的哈希映射表T₂。

4）利用MRF模型将该帧分成若干纹理块，这些纹理块的集合记为S。从S中随机选取一个纹理块B₀，用B₀初始化已经合成的场景部分T_k。

5）将合成的场景部分的边缘点的高度信息与S中的一个匹配块的边缘点的高度信息带入到公式（1）中计算出合成的场景部分的边缘点与S中的一个匹配块中对应的边缘点的高度差和。

6）重复步骤5），直到S中所有的纹理块都进行了公式（1）的操作。

7）选取步骤5）、6）计算结果中的最小值，确定该值对应的纹理块为当前要找的最优的匹配块B_k。

8）为了提高合成的速度，这里采用KD-tree的加速策略提高块的查找速度，同时，根据实验的结果，取块的大小为50×50时，得到较为满意的结果。

9）找出缝合区域的像素点对应的位置，称这些像素点为控制点，获取这些控制点对应的高度值。

10）将步骤9）得到的高度值在XOY平面进行归一化操作。

11）根据步骤10）得到的值，在2D空间中，拟合出B样条曲线。

12）用拟合得到的B样条曲线，重新计算控制点的拟合高度。

13）根据步骤2）得到的高度与灰度的映射表T₁以及步骤12）拟合的高度值，算出拟合出的每个高度值映射的灰度值。

14）根据步骤3）得到的灰度与RGB颜色的映射表T₂以及步骤13）计算的控制点的灰度，计算出每个控制点对应的RGB的值，如果灰度值与RGB颜色之间是一对多的关系，执行步骤15），否则，执行步骤16）。

15）确定公式14）的最小值，确定该灰度值对应的最优的RGB值。

$E_c=\underset{i=0}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{7}{\mathrm{\&Sigma;}}}[{(C_{\mathrm{iR}}-C_{\mathrm{jR}})}^2+{(C_{\mathrm{iG}}-C_{\mathrm{jG}})}^2+{(C_{\mathrm{iB}}-C_{\mathrm{jB}})}^2]---\left(14\right)$

其中C_iR、C_iG和C_iR分别是颜色C_i的RGB分量，C_i是哈希表中灰度值G_k的粒子i对应的颜色；C_jR、C_jG和C_jR分别是像素粒子j颜色的RGB分量，像素粒子j是像素粒子i的八邻域像素之一。

16）如果T_k的尺度小于欲合成场景的尺度，转到步骤17），否则，如果T_k的尺度达到了欲合成场景的尺度，执行结束。

17）如果当前合成行已到达行末尾，从新的一行继续进行合成；否则，从当前位置开始，继续进行合成。

18）重复执行步骤5）-17）。

合成结果参照图5及图6。从图5可以看出合成结果让人满意，合成的3D流体场景能够保持原视频流体的运动特征，并且具有流体的高度信息，保持了流体运动及外观的随机特征。图6中可以看到连续四帧的连续性较好，具有一定真实感，能反映流体连续运动的特征。

为了和现有的一些方法进行对比，采用基于块的合成方法(使用图割优化)。由于该方法都是在二维空间下合成的，也将合成的结果投到二维空间与其对比。从图7中可以清晰地看到本发明的缝合区域更具有平滑性，并且所合成的流体场景的高度及外观更具有随机性。

从图5、图6及图7中外观上看出本发明取得的良好效果。为了更进一步验证此方法的有效性，从差异值出发，以量化的方法衡量此方法的合成结果。

由于在3D水域中水流的平稳度取决与水体粒子的高度，使用公式(15)、(16)、(17)来衡量合成场景与原场景的相似程度。

$\mathrm{\&sigma;}=\underset{i=0}{\overset{N}{\mathrm{\&Sigma;}}}{(H_i-\stackrel{\&OverBar;}{H})}^2---\left(15\right)$

${\mathrm{score}}_i=1-\left|\frac{\frac{{\mathrm{\&sigma;}}_L^i+{\mathrm{\&sigma;}}_R^i}{2}-{\mathrm{\&sigma;}}_s^i}{\frac{{\mathrm{\&sigma;}}_L^i+{\mathrm{\&sigma;}}_R^i}{2}}\right|---\left(16\right)$

$R_k=\frac{N_k}{N},k\&Element;[1,n]---\left(17\right)$

其中H_i表示该区域粒子i的高度，表示该区域粒子高度的平均值，N表示3D合成场景中缝合区域粒子的数量。是合成前左侧区域的V值，是合成前右侧区域的V值，是合成后区域的V值，n表示统计区间的数量，Nk表示第k个区域的粒子数，N表示所有的粒子数。

从公式16中可以看出score_i代表了合成区域与原区域的相似程度。对于一次合成中所有重叠区域计算score_i值，并统计score_i值的分布情况。计算得到所有缝合区域的分值score_i,i∈[0,N-1]。再使用公式17对不同分值进行统计，计算出每个统计范围中的缝合区域数量的比例。表1是缝合区域与左右区域相似性的统计。

表1

从表1中可以看到大部分区域的Score值在0.95到1之间，说明与原图有很好的相似度，并且合成结果比较平滑，说明本发明可以取得很好的效果。

Claims (1)

1.一种三维空间中真实感流体场景合成方法，其特征在于该方法包括以下具体步骤：

步骤1基于马尔科夫随机场的随机块采样

采用马尔科夫随机场模型对流体视频的一帧进行块的随机采样，将该帧分成若干纹理块；

步骤2三维空间中对重叠区域的缝合

根据待合成的目标场景边缘与选取块的边缘的相似性，选取最优的匹配块；利用B样条曲线对缝合区域高度场进行拟合；

2.1选取最优的匹配块，具体步骤：

2.1.1使用基于明暗恢复形状的三维重建方法获取流体该帧的高度信息；

2.1.2利用式(1)计算目标场景边缘与选取块的边缘的相似性，然后，选取具有最小D的纹理块；

$D(T_k,B_k)=\underset{i=0}{\overset{n}{\&Sigma;}}|H_T^i-H_B^i|---\left(1\right)$

其中T_k表示已经合成的场景部分，B_k表示选取的纹理块，表示T_k右边缘区域的第i个像素粒子的高度，表示B_k左边缘区域对应位置像素粒子的高度，n表示重叠区中像素粒子的数目；

2.2利用两条B样条曲线对缝合区域高度场进行拟合，具体步骤：

2.2.1找出缝合区域的像素点对应的位置，称这些像素点为控制点，获取这些控制点对应的高度值；

2.2.2将上述控制点的坐标在XOY平面上归一化操作，利用归一化后的控制点拟合得到两条B样条曲线；

2.2.3根据拟合的曲线在相接的控制点处一阶导连续，求得B样条曲线的系数，得到两条平滑连接的拟合B样条曲线；

2.2.4利用控制点的坐标，根据得到的B样条曲线重新计算，得到拟合的高度值；

步骤3缝合区域粒子的颜色重映射

建立该帧视频的高度与灰度、灰度与颜色之间的哈希映射，根据缝合区域粒子的高度结果，对其颜色进行重新映射；具体步骤：

3.1建立原场景中高度与灰度值之间的对应关系，得到哈希表T₁；

3.2建立灰度值与RGB颜色之间的映射关系，得到哈希表T₂；

3.3对于合成场景的缝合区域，利用哈希表T₁和T₂，以及散列碰撞的处理方法，进行颜色重映射。