CN103632392A - 一种基于视频的海浪场景生成方法 - Google Patents
一种基于视频的海浪场景生成方法 Download PDFInfo
- Publication number
- CN103632392A CN103632392A CN201310594347.9A CN201310594347A CN103632392A CN 103632392 A CN103632392 A CN 103632392A CN 201310594347 A CN201310594347 A CN 201310594347A CN 103632392 A CN103632392 A CN 103632392A
- Authority
- CN
- China
- Prior art keywords
- particle
- region
- sigma
- class
- wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于视频的海浪场景生成方法,该方法首先根据视频流体纹理特征,计算流体表面的高度场;其次,根据流体表面高度场的结果,利用高度分层的方法定位得到海浪的位置;为了进一步分析海浪的每一个浪峰,使用二维正态分布函数对海浪高度进行拟合;然后,对拟合出的浪峰使用kmeans方法进行聚类,接着,利用聚类的结果将视频流体区域最后利用聚类结果,使用图论方法选取类区域生成海浪场景。本发明具有简单、快速、方便的特点,并且能够根据需求改变生成场景的大小,所生成的场景符合真实感和实时性的需求。
Description
技术领域
本发明涉及海浪场景生成方法,尤其是一种基于视频的海浪场景生成方法。
背景技术
目前,在虚拟现实研究中,对于基于视频的流体三维重建已经取得了初步的结果,然而对于上述重建结果的场景规模,现今的技术仍然受限于输入场景的大小。由于流体场景存在遮挡和重现的特点,并且由于流体属于强纹理,这导致对于任意规模的流体场景输入来说,创建出一个具有真实感,同时兼顾时间性能的方法仍旧存在着一定的挑战性,在这一方面研究中取得的成果还不够显著。任意规模海浪场景研究中的关键问题,是如何快速、高效的生成具有真实感的流体场景,建立根据用户意愿和具有交互性的流体海浪场景的技术,仍旧是该领域中极具挑战性的课题,其研究具有重要的现实意义和应用价值。
随着图像处理技术及计算机视觉技术的发展,对于基于海浪场景的任意规模场景生成的研究出现了一些技术和方法。人们利用图像中的颜色、纹理、形状等特征进行研究,取得了一些成果、现有方法从图像纹理的特征入手,通过将输入图像分成小部分,再根据小区域的边缘匹配性,将各个小区域重组,最终生成大的场景。
由于海浪流体属于强纹理,在运动过程中不能保持纹理不变的属性,并且其没有特定的纹理规律性,通过对比局部区域的强度相关性无法准确生成具有较强真实感的大场景;现有的研究中一些研究致力于寻找合适的区域大小以得到最佳的生成效果,另一些研究通过使用流体图像纹理中的连续性特征,利用马尔科夫链的方法,再结合局部拼接区域颜色优化计算出较大规模的流体场景。基于马尔科夫链方法生成大规模流体场景方法中存在的主要问题是:生成的大规模场景具有纹理重叠性;生成的场景不具有物理真实性,既流体部分不符合流体动力学;在区域拼接位置存在明显的拼接线,即不连续区域。不仅如此,传统的方法存在复杂度高、计算量大的问题,很难利用在线方法完成,因此不能满足实时性需求。
对于基于视频的海浪场景技术人们曾经进行过系统的探讨,这方面研究的典型成果主要是基于高度场重新划分场景区域的方法。它是分析高度场的分布规则,在三维场景中,将场景分成若干部分再进行拼接的方法。
近年来,为了提高重建的准确性和真实感,人们进行了一些研究。现有研究包括利用三次样条与马儿科夫随机场结合的方法生成海浪场景,得到了较好的重建结果。
也有一些人员利用SFS研究场景生成方法,基于流体表面明暗度方法计算流体的高度,这种方法对于非透明水域能够取得较满意的高度计算结果,但强光照射的情况下,例如含有倒影或强亮度的水面,高度计算结果的准确性就会受到影响。
发明内容
本发明的目的是针对现有技术中存在的问题而提供的一种基于视频的海浪场景生成方法,该方法具有简单、快速、方便的特点,并且能够根据需求改变生成场景的大小,所生成的场景符合真实感和实时性的需求。
本发明的目的是这样实现的:
一种基于视频的海浪场景生成方法,它包括:
1)流体表面高度场的计算;
2)海浪区域的识别;
3)海浪区域中浪峰的拟合;
4)浪峰拟合结果的kmeans聚类;
5)浪峰类区域的选取过程。
经过以上步骤将选取的类拼接到一定大小的场景中去,计算得到生成后的大场景。选取的类的个数,根据场景的规模而定。
本发明中具体的技术细节如下:
(ⅰ)流体表面高度场的计算
先利用明暗度恢复形状方法计算流体表面的法向量,再使用Stokes模型计算流体表面高度;
首先,使用下述公式进行计算流体表面粒子法向量:
其中Is为镜面反射的光强;Ips为入射光强,ks为物体表面的镜面反射系数,n为常数,它与物体表面光滑度有关。N为入射方向的单位法向量,H为在理想镜面情况下,观察者方向的法向量。
利用光的反射定律,定义光源的方向为N=(0,0,1)T,由于H是一个单位向量,式(1)中的NTH就为hz,即H在Z轴方向的分量,这样可以有效地降低计算量达到简化SFS方法的效果;使用式(1)计算得到hz。最后可以根据计算得到的hz,利用光源调色板的方法计算出流体表面的高度场。
(2)海浪区域识别的方法
首先将流体表面粒子按高度分层,再判断连通分量最多的那一层,使用直线的最小二乘法进行拟合。最后得到海浪的区域。
其中:判断连通分量的方法为区域生长算法,首先选取分层中的某一个粒子点,判断其邻近的位置有无存在的粒子,如果有,则将其视为第一个粒子点的邻近粒子。连通分量定义为,在一个特定连通分量包含的区域中,所有的粒子点都互为邻近粒子。
(3)海浪区域中浪峰的拟合方法
首先在一个海浪区域内,选取高度最高的粒子点并标记其为已选取粒子点。已该粒子点为中心,利用二维正态分布函数迭代计算并拟合它的周围区域,其中分布函数表示为:
式中μx,μy分别为粒子点所在位置点的坐标值,x,y的取值范围为S,即x,y∈(μx,y-3σ,μx,y+3σ)。σ为区域S中包含粒子点的方差。
使用迭代的方法计算出有效区域的σ的大小,为了减少计算σ的迭代次数,对S中最远两点距离的一半作为σ的初始值,即
式中Dab表示S中两不同点a,b之间的距离。
根据统计学理论,使用极大似然估计法来估计参数σ,并且使用水花点的重心作为μx和μy的估计量,即
式中,na表示区域S内点的数量,Lk表示第k个点的重建高度;La表示na个点的高度的均值。根据“3σ法则”,即正态变量的取值范围在(-∞,∞)时,它的值几乎都落在(μ-3σ,μ+3σ)的区间内,因此,取A的范围为(μx,y-3σ,μx,y+3σ)的区间。
为了精确恢复浪峰的大小,利用下式迭代求得最终的σ值。
式中η为松弛量,η∈(0,1]。由于研究的精确度是在像素级的,可以允许的误差范围在亚像素级,因此迭代的终止条件为Δσ<1。
接着标记迭代完成区域中的粒子点为已选取,循环选取未被选取粒子点中高度最大值点,并执行上述操作,直到区域中所有粒子点都被选取过。
浪峰的拟合过程如下:
ⅰ)利用表面高度确定浪峰中心点粒子;
ⅱ)使用极大似然估计的方法估计水花局部区域的σ;
ⅲ)使用迭代的方法修正σ的值;
ⅳ)循环执行步骤ⅰ)直到区域中粒子全被选取过。
(4)浪峰拟合结果的kmeans聚类
其中,ma和mi是输入样本和类数的均值,x是类Ci的基本元素。ha和h是同一个类i中,高度场样本的均值。η是附加项的权重。最后使用
计算η,其中L和W是输入图像的长和宽。通过迭代以上步骤就可以计算出适合的浪峰聚类数。
(5)浪峰类区域的选取过程
浪峰类区域的选取过程可以描述为:使用类内高度差σ作为类的固有属性,而不同类的σ差异可以视为类间的距离,因此可以使用最小生成树算法将各个类生成一个树的结构,并且使用如下步骤选取类;
ⅰ)随机选取树中的节点作为初始类。
ⅱ)随机选取初始类连接的节点类。
ⅲ)如果步骤ⅱ)选取的节点不是一个叶子节点,迭代执行步骤ⅱ);否则选取离该节点类间距离第二近的节点。
ⅳ)判断选取的节点是否是叶子节点,如果是,随机选取节点,满足其不是步骤ⅲ)选取节点的相连的节点,如果不是,则执行步骤ⅱ)。
附图说明
图1是流体三维粒子层次说明图示;
图2是连通分量示意图;
图3是二次拟合过程说明图;
图4是海浪场景生成结果图。
具体实施方式
下面结合附图对本发明进一步说明。
实施例
本实施例采用DynTex动态纹理库中的“6482810”的第61帧进行流体的高度进行计算。在PC机上Windows XP操作系统下进行,其硬件配置是3.4GHz Intel Core(TM)2Duo CPU、4GB内存。
(1)流体表面高度场的计算
首先利用“6482810”的第61帧图像采用明暗度恢复形状方法计算流体表面的法向量,再使用Stokes模型计算流体表面高度。
其中,海浪表面粒子高度法向量使用下述公式进行计算:
其中Is为镜面反射的光强;Ips为入射光强,ks为物体表面的镜面反射系数,n为常数,它与物体表面光滑度有关。N为入射方向的单位法向量,H为在理想镜面情况下,观察者方向的法向量。
利用光的反射定律,定义光源的方向为N=(0,0,1)T,由于H是一个单位向量,式(1)中的NTH就为hz,即H在Z轴方向的分量,这样可以有效地降低计算量达到简化SFS方法的效果;使用式(1)计算得到hz;最后可以根据计算得到的hz,利用光源调色板的方法计算出流体表面的高度场。
(2)海浪区域识别的方法
首先将流体表面粒子按高度分层,如图1所示。再判断连通分量最多的那一层,使用直线的最小二乘法进行拟合。最后得到海浪的区域。
其中:判断连通分量的方法为区域生长算法,首先选取分层中的某一个粒子点,判断其邻近的位置有无存在的粒子,如果有,则将其视为第一个粒子点的邻近粒子。连通分量定义为,在一个特定连通分量包含的区域中,所有的粒子点都互为邻近粒子。海浪区域中粒子的连通分量如图2中方框所示。
(3)海浪区域中浪峰的拟合方法
首先在一个海浪区域内,选取高度最高的粒子点并标记其为已选取粒子点。已该粒子点为中心,利用二维正态分布函数迭代计算并拟合它的周围区域,其中分布函数表示为:
式中μx,μy分别为粒子点所在位置点的坐标值,x,y的取值范围为S,即x,y∈(μx,y-3σ,μx,y+3σ)。σ为区域S中包含粒子点的方差。
使用迭代的方法计算出有效区域的σ的大小,为了减少计算σ的迭代次数,对S中最远两点距离的一半作为σ的初始值,即
式中Dab表示S中两不同点a,b之间的距离。
根据统计学理论,使用极大似然估计法来估计参数σ,并且使用水花点的重心作为μx和μy的估计量,即
式中,na表示区域S内点的数量,Lk表示第k个点的重建高度;La表示na个点的高度的均值。根据“3σ法则”,即正态变量的取值范围在(-∞,∞)时,它的值几乎都落在(μ-3σ,μ+3σ)的区间内,因此,取A的范围为(μx,y-3σ,μx,y+3σ)的区间。
为了精确恢复浪峰的大小,利用下式迭代求得最终的σ值。
式中η为松弛量,η∈(0,1]。由于研究的精确度是在像素级的,可以允许的误差范围在亚像素级,因此迭代的终止条件为Δσ<1。
接着标记迭代完成区域中的粒子点为已选取,循环选取未被选取粒子点中高度最大值点,并执行上述操作,直到区域中所有粒子点都被选取过。浪峰对应的拟合结果如图3所示。
浪峰的拟合过程如下:
ⅰ)利用表面高度确定浪峰中心点粒子。
ⅱ)使用极大似然估计的方法估计水花局部区域的σ。
ⅲ)使用迭代的方法修正σ的值。
ⅳ)循环执行步骤ⅰ)直到区域中粒子全被选取过。
(4)浪峰拟合结果的kmeans聚类
其中,ma和mi是输入样本和类数的均值,x是类Ci的基本元素。ha和h是同一个类i中,高度场样本的均值。η是附加项的权重。最后使用
计算η,其中L和W是输入图像的长和宽。通过迭代以上步骤就可以计算出适合的浪峰聚类数。
(5)浪峰类区域的选取过程
浪峰类区域的选取过程可以描述为:使用类内高度差σ作为类的固有属性,而不同类的σ差异可以视为类间的距离,因此可以使用最小生成树算法将各个类生成一个树的结构,并且使用如下步骤选取类;
ⅰ)随机选取树中的节点作为初始类。
ⅱ)随机选取初始类连接的节点类。
ⅲ)如果步骤ⅱ)选取的节点不是一个叶子节点,迭代执行步骤ⅱ);否则选取离该节点类间距离第二近的节点。
ⅳ)判断选取的节点是否是叶子节点,如果是,随机选取节点,满足其不是步骤ⅲ)选取节点的相连的节点,如果不是,则执行步骤ⅱ)。
经过以上步骤将选取的类拼接到一定大小的场景中去,计算得到生成后的大场景。选取的类的个数,根据场景的规模而定。
海浪场景的结果,如图4所示,可以证明利用本发明的方法对海洋区域生成时,生成的结果可以在很大程度上保留海浪的原有特性;对汹涌的海浪场景生成时,拼接模块之间的接缝很难辨识,场景的生成结果仍保留了海浪的物理特性,结果仍保留了波浪的细节,能够区分波峰和波谷。
将本发明与现有的方法进行比较。利用马儿科夫随机场的结果与本发明的生成结果进行对比并利用LBM方法分析其结果的水流物理分布的合理性。
本发明的时间性能分析。为了说明本发明高度计算的时间性能,采用连续50帧的平均运行时间来测试本发明的时间性能,时间性能的分步骤计算结果见表1所示。从表1的结果可以看出,本发明具有较低的运行时间。对所有视频的运行时间进行平均统计,得到普通帧场景生成需要的时间约0.2秒,关键帧的处理约为2秒,从这些运行时间的结果可以看出,本发明运行需要较少的时间,能够满足流体三维重建的实际需要。
表1每50帧的平均时间(单位:毫秒)
Claims (1)
1.一种基于视频的海浪场景生成方法,其特征在于该方法包括:
(1)流体表面高度场的计算;
(2)海浪区域的识别;
(3)海浪区域中浪峰的拟合;
(4)浪峰拟合结果的kmeans聚类;
(5)浪峰类区域的选取过程;
经过以上步骤将选取的类拼接到一定大小的场景中去,计算得到生成后的大场景;选取的类的个数,根据场景的规模而定;其中:
所述海浪区域中浪峰的拟合和浪峰类区域的选取过程,利用流体运动的物理规律生成具有真实感的海浪场景;
所述流体表面高度场的计算:
先利用明暗度恢复形状方法计算流体表面的法向量,再使用Stokes模型计算流体表面高度;
首先,使用下述公式进行计算流体表面粒子法向量:
式中Is为镜面反射的光强;Ips为入射光强,ks为物体表面的镜面反射系数,n为常数,与物体表面光滑度有关;N为入射方向的单位法向量,H为在理想镜面情况下,观察者方向的法向量;
利用光的反射定律,定义光源的方向为N=(0,0,1)T,由于H是一个单位向量,式(1)中的NTH就为hz,即H在Z轴方向的分量,使用式(1)计算得到hz;最后根据计算得到的hz,利用光源调色板的方法计算出流体表面的高度场;
所述海浪区域的识别:
首先将流体表面粒子按高度分层,再判断连通分量最多的那一层,使用直线的最小二乘法进行拟合,最后得到海浪的区域;
其中:判断连通分量为区域生长算法,首先选取分层中的某一个粒子点,判断其邻近的位置有无存在的粒子,如果有,则将其视为第一个粒子点的邻近粒子;连通分量定义为,在一个特定连通分量包含的区域中,所有的粒子点都互为邻近粒子;
所述海浪区域中浪峰的拟合:
首先在一个海浪区域内,选取高度最高的粒子点并标记其为已选取粒子点,以该粒子点为中心,利用二维正态分布函数迭代计算并拟合它的周围区域,其中分布函数表示为:
式中μx,μy分别为粒子点所在位置点的坐标值,x,y的取值范围为S,即x,y∈(μx,y-3σ,μx,y+3σ);σ为区域S中包含粒子点的方差;
使用迭代的方法计算出有效区域的σ的大小,为了减少计算σ的迭代次数,对S中最远两点距离的一半作为σ的初始值,即
根据统计学理论,使用极大似然估计法来估计参数σ,并且使用水花点的重心作为μx和μy的估计量,即
为了精确恢复浪峰的大小,利用下式迭代求得最终的σ值;
接着标记完成区域中的粒子点为已选取,循环选取未被选取粒子点中高度最大值点,直到区域中所有粒子点都被选取过;
浪峰的拟合过程如下:
a)利用表面高度确定浪峰中心点粒子;
b)使用极大似然估计的方法估计水花局部区域的σ;
c)使用迭代的方法修正σ的值;
d)循环执行步骤a)直到区域中粒子全被选取过;
所述浪峰拟合结果的kmeans聚类为:
以浪峰拟合的结果为元素,使用kmeans方法聚类;首先,定义聚类数k为k≤其中n为浪峰的数量;接着,计算距离代价函数,距离代价函数由F(k)表示,由下式计算
所述浪峰类区域的选取过程:
使用类内高度差σ作为类的固有属性,而不同类的σ差异视为类间的距离,使用最小生成树算法将各个类生成一个树的结构,并且使用如下步骤选取类;
a)随机选取树中的节点作为初始类;
b)随机选取初始类连接的节点类;
c)如果步骤b)选取的节点不是一个叶子节点,执行步骤b);否则选取离该节点类间距离最近的节点;
d)判断选取的节点是否是叶子节点,如果是,随机选取节点,执行步骤c)选取节点的相连的节点,如果不是执行步骤b)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310594347.9A CN103632392B (zh) | 2013-11-21 | 2013-11-21 | 一种基于视频的海浪场景生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310594347.9A CN103632392B (zh) | 2013-11-21 | 2013-11-21 | 一种基于视频的海浪场景生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103632392A true CN103632392A (zh) | 2014-03-12 |
CN103632392B CN103632392B (zh) | 2016-06-29 |
Family
ID=50213406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310594347.9A Expired - Fee Related CN103632392B (zh) | 2013-11-21 | 2013-11-21 | 一种基于视频的海浪场景生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103632392B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982239A (zh) * | 2012-11-15 | 2013-03-20 | 上海交通大学 | 基于海浪谱的三维海浪模拟方法 |
CN103021010A (zh) * | 2012-12-01 | 2013-04-03 | 王爽 | 基于gpu的海浪特效实时渲染 |
KR20130096432A (ko) * | 2012-02-22 | 2013-08-30 | (주)지오투정보기술 | 해저면데이터의 경사도를 이용하여 해저지형정보를 생성하는 시스템 및 그 방법 |
CN103377483A (zh) * | 2012-04-28 | 2013-10-30 | 上海明器多媒体科技有限公司 | 用于海浪效果处理的三维动画插件系统及其应用 |
-
2013
- 2013-11-21 CN CN201310594347.9A patent/CN103632392B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130096432A (ko) * | 2012-02-22 | 2013-08-30 | (주)지오투정보기술 | 해저면데이터의 경사도를 이용하여 해저지형정보를 생성하는 시스템 및 그 방법 |
CN103377483A (zh) * | 2012-04-28 | 2013-10-30 | 上海明器多媒体科技有限公司 | 用于海浪效果处理的三维动画插件系统及其应用 |
CN102982239A (zh) * | 2012-11-15 | 2013-03-20 | 上海交通大学 | 基于海浪谱的三维海浪模拟方法 |
CN103021010A (zh) * | 2012-12-01 | 2013-04-03 | 王爽 | 基于gpu的海浪特效实时渲染 |
Non-Patent Citations (1)
Title |
---|
李刚 等: "一种基于图像纹理特征的波浪检测方法", 《计算机应用研究》, vol. 30, no. 4, 28 November 2012 (2012-11-28), pages 1226 - 1229 * |
Also Published As
Publication number | Publication date |
---|---|
CN103632392B (zh) | 2016-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI709106B (zh) | 基於深度學習網路的室內場景結構估測系統及其估測方法 | |
Pfaff et al. | Lagrangian vortex sheets for animating fluids | |
Oxholm et al. | Shape and reflectance estimation in the wild | |
CN106384383A (zh) | 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法 | |
Li et al. | ADR-MVSNet: A cascade network for 3D point cloud reconstruction with pixel occlusion | |
CN103413346B (zh) | 一种真实感流体实时重建方法及其系统 | |
CN108629809B (zh) | 一种精确高效的立体匹配方法 | |
Johnson et al. | Volumetric velocity measurements in the wake of a hemispherical roughness element | |
CN103530907A (zh) | 基于图像的复杂三维模型绘制方法 | |
Liu et al. | A deep-shallow and global–local multi-feature fusion network for photometric stereo | |
CN103700117A (zh) | 一种基于tv-l1变分模型的鲁棒光流场估计方法 | |
Wang et al. | A variational model for normal computation of point clouds | |
CN111709997B (zh) | 一种基于点与平面特征的slam实现方法及系统 | |
Chen et al. | I2D-Loc: Camera localization via image to lidar depth flow | |
Wang et al. | Video-based fluid reconstruction and its coupling with SPH simulation | |
Xia et al. | A Scale-Aware Monocular Odometry for Fishnet Inspection with Both Repeated and Weak Features | |
Zhang et al. | When 3d reconstruction meets ubiquitous rgb-d images | |
Zhu et al. | Variational building modeling from urban MVS meshes | |
Quan et al. | Fluid re-simulation based on physically driven model from video | |
Wang et al. | Implementing and parallelizing real-time lane detection on heterogeneous platforms | |
CN103632392A (zh) | 一种基于视频的海浪场景生成方法 | |
Ritter et al. | Visual data mining using the point distribution tensor | |
CN105761295B (zh) | 一种数据驱动的水表面重建方法及系统 | |
CN103549960B (zh) | 一种足迹采集与提取设备以及足迹采集与提取的方法 | |
Chen et al. | G2IFu: Graph-based implicit function for single-view 3D reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160629 Termination date: 20191121 |