CN103578106B - 一种基于真实数据的乱序水面编辑方法 - Google Patents

Abstract

本发明是一种基于真实数据的乱序水面编辑方法。步骤如下:（1）利用搭建的多相机采集系统拍摄乱序水面运动图像，利用基于水面折射原理的算法重建真实水面高度场。（2）利用二维FFT方法将单帧二维高度场数据转换为二维频域数据，逐帧进行FFT计算，得到逐帧变化的二维频域数据。（3）利用三角函数拟合每一组随时间变化的频域值。设定误差阈值，利用L-M方法求解拟合参数。若超出误差阈值，则继续精细拟合或者保持周期性变化。（4）编辑利用真实数据求解得到的频域数据。（5）对于采集水面的后续运动，利用二维IFFT方法逐帧计算高度场。（6）对于编辑得到的水面高度场，利用随机振动统计理论进行分析。

Description

一种基于真实数据的乱序水面编辑方法

技术领域

本发明属于计算机虚拟现实技术领域，具体地说是一种基于真实数据的乱序水面编辑方法，涉及真实数据的频域转换，频域值编辑，高度值编辑，编辑数据与真实数据的统计分析等求解方法，该方法可用于乱序水面真实数据的编辑。

背景技术

自然现象的建模与绘制一直是虚拟现实、计算机图形学和计算机视觉领域的重要研究内容，也是计算机图形学研究的重点和难点。水作为自然现象的一部分，其逼真建模与真实感绘制的研究有着重要意义。在三维游戏、电影特效、虚拟现实、地理信息系统等许多领域，都有着重要的应用，需要绘制具有不同程度真实感的水面运动场景，且需要不同程度的可交互性。

一直以来，常用的水面建模方法，主要是基于物理模型的数值模拟方法。该方法基于流体力学和海洋学等学科的物理规律，用数值计算的方法求解物理方程，得到每一时刻水的物理量。该方法基于特定物理规律或数学模型，能够反映水面静态和动态规律。但是，该方法计算量大，每一帧的计算都需要求解大量的偏微分方程；为了达到可计算性、实时性等要求，不同模型都进行了一定程度的简化，简化模型对参数很敏感，有些非简化的数学模型又涉及大量参数，这些参数的精确指定很困难。因此，该方法参数精确调整和指定比较困难，建模得到的视觉效果往往与真实的自然现象有差别，而且对于运动的水的复杂细节特征，不能很好的表现。随着相机技术的发展，基于相机采集图像的建模方法成为另一种重要的建模方法。利用多相机系统采集得到的水面信息来自于真实世界，可以完整的保留真实现象，并且可以表现更丰富的细节特征。此外，多相机系统具有成本相对低廉，计算效率较高，对环境要求较低的优点。但是，基于相机图像数据的建模方法只能计算得到特定的物理量（水面高度场），并不能直接反映物理规律，不能得到描述该现象的物理或数学模型。

对于小范围乱序水面运动，利用基于采集图像的方法可以得到真实数据。因此，对于该现象，本发明提出一种基于真实数据的编辑方法，将两种方法相结合，综合利用二者的优点，利用采集设备得到真实数据，求解真实数据的模型参数，通过编辑模型参数，得到编辑后的后续帧乱序水面波动，它相比真实数据时间更长但总体满足相同的运动规律。

发明内容

本发明的技术解决问题：克服现有技术的一些局限性，提出一种基于真实数据的乱序水面编辑方法，该方法可以得到相比真实数据时间更长，但总体满足相同运动规律的乱序水面波动。

本发明的技术解决方案：利用多相机采集系统获取真实的乱序水面数据，通过二维FFT计算得到频域值，通过三角函数拟合频域值随时间的变化，并且设定误差阈，判断拟合效果。根据不同的拟合效果进行不同的频域数据编辑，利用编辑后的频域数据通过二维IFFT计算得到后续帧的高度场，通过比较真实数据与编辑数据的统计规律，判断编辑效果。若编辑效果不理想，则不再编辑高度值，认为其作周期性变化。具体为：

一种基于真实数据的乱序水面编辑方法，其特征在于具体步骤如下：

（1）利用搭建的多相机采集系统得到真实的乱序水面运动数据;在采集系统的水缸水下放置黑白棋盘格，利用变化的风吹或喷洒生成乱序水面运动现象，水面满足无规律的随机振动，利用标定过的多台高速相机拍摄一组水面运动图像，得到各相机图像特征点的映射关系，利用基于折射原理的水面重建算法及重采样插值算法，得到采样点有序的水面高度场，该高度场即为采集得到的真实数据;

（2）用FFT方法求解变化的频域数据;具体为使用步骤（1）中的水面高度场，逐帧进行二维FFT计算，得到变化的二维频域数据;对于单帧高度场，通过二维FFT计算，得到该帧的二维频域值;逐帧计算得到二维频域数据中每组频域值随时间的变化,具体为：若高度场采样点密度为M*N，对于单帧二维FFT计算得到的M*N个频域数据，逐帧计算可以得到M*N组频域值随时间的变化规律;

（3）利用三角函数对每组频域值随时间的变化规律进行三角函数拟合;使用步骤（2）中的二维频域数据，利用三角函数拟合每一组随时间变化的频域值;首先利用单个三角函数拟合，设定误差阈值，利用L-M(Levenberg-Marquardt）方法求解最小二乘拟合问题，得到三角函数的参数;若超出误差阈值，用叠加的三角函数再次进行最小二乘拟合求解;再次与误差阈值进行比较，若仍然大于设定阈值，即函数拟合不合理，则后续过程不编辑频域数据值，保持周期变化；若小于设定阈值，则函数拟合合理，后续过程利用三角函数自动编辑频域数据值;

（4）利用步骤（3）计算得到的三角函数参数，利用拟合三角函数自动编辑二维频域值;具体为以采集帧数作为一个周期，利用步骤（3）计算得到的三角函数参数，利用拟合三角函数自动编辑步骤（2）中得到的频域数据;若三角函数拟合效果满足误差阈值限制，则利用拟合函数自动编辑频域值，计算后续帧的频域值。否则，不编辑该频域值，频域值以采集帧数为一个周期作周期性变化;

（5）利用编辑后的频域数据通过IFFT计算得到后续帧水面高度场；具体为使用步骤（4）中编辑得到的频域值，对于采集乱序水面后续的运动，对于单帧的编辑后的频域数据，利用二维IFFT方法求解得到该帧的水面高度场,通过逐帧计算从而得到后续水面的运动;

（6）对于编辑得到的后续水面高度场，以采集帧数为一个周期，利用随机振动的统计理论进行分析。若该点高度值在不同周期内符合相同的统计规律，编辑效果较好;若不符合，则编辑效果较差，不再编辑该点高度值，认为高度值以采集帧数作为一个周期作周期性变化。本发明与现有技术相比的优点在于：

（1）本发明所提出的编辑方法，可以得到相比采集过程更多的乱序水面数据，从而只用采集少量帧的乱序水面运动，即可得到更长时间的乱序水面运动现象。

（2）本发明所提出的编辑方法，相比一般的乱序水面构造方法，其来源于真实数据，得到的水面运动结果更符合真实世界的水面运动规律，且省去了复杂的参数调整过程。

附图说明

图1为本发明方法的流程图；

图2为本发明方法的采集设备；

图3为本发明中得到的真实数据；

图4为本发明中得到的编辑数据。

具体实施方式

如图1所示，本发明包括乱序水面真实数据获取，二维高度场域数据到二维频域数据的转换，频域数据的三角函数拟合与编辑，编辑后的二维高度场的计算，真实数据与编辑数据的统计分析比较的过程。

1、乱序水面真实数据的获取，其步骤为：在采集系统的水缸水下放置黑白棋盘格，利用变化的风吹或喷洒生成乱序水面运动现象，水面满足无规律的随机振动，利用标定过的多台高速相机拍摄一组水面运动图像，得到各相机图像特征点的映射关系，利用基于折射原理的水面重建算法，得到水面高度场，即为采集得到的真实数据。

2、高度场域数据到频域数据的转换，其步骤为：使用步骤（1）中的真实高度场，逐帧进行二维FFT计算，得到变化的二维频域数据。对于单帧高度场，通过二维FFT计算，得到该帧的二维频域值，逐帧计算得到其变化特征。设A(u,v)表示二维频域值，h(x,y)表示二维高度值，N₁，N₂表示二维采样密度，具体的FFT计算公式如下：

$\begin{array}{c}A(u,v)=\underset{x=0}{\overset{N_1-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N_2-1}{\mathrm{\Σ}}}h(x,y)e^{-i\frac{2\mathrm{\π}(\mathrm{ux}+\mathrm{vy})}{N_1\×N_2}}\\ u=\mathrm{0,1}...,N_1-1;v=\mathrm{0,1}...,N_2-1\end{array}$

3、频域数据的三角函数拟合，其步骤为：使用（2）中得到的连续帧变化的二维频域值，利用三角函数拟合每一组随时间变化的频域值。首先利用单个三角函数拟合，设定误差阈值，利用L-M方法求解最小二乘拟合问题，得到三角函数的参数。最优化求解问题可以表示如下：

f(t_i)=Acos(ωt_i+θ)+C $(A,\mathrm{\ω},\mathrm{\θ},C)\min \underset{i}{\mathrm{\Σ}}{|f\left(t_i\right)-f_i|}^2$

其中，参数A表示振幅，ω表示角频率，θ表示相位，C表示常数参数。求解出的参数表示的三角函数即可近似的表示该组频域数据的变化规律。若超出误差阈值，用叠加的三角函数再次进行最小二乘拟合求解，给定最大叠加函数个数，迭代优化，直到满足误差阈值。若仍然误差较大，则后续过程不编辑频域数据值，保持周期变化。

4、后续帧频域数据的编辑，其步骤为：使用（2）和（3）中的频域数据和拟合三角函数，编辑利用真实数据求解得到的频域数据。若三角函数拟合效果较好，则利用拟合函数自动编辑频域值，计算后续帧的频域值。否则，不编辑该频域值，频域值以采集帧数为一个周期作周期性变化。

5、后续帧高度场的计算，其步骤为：使用（4）中的编辑频域值，对于采集乱序水面后续的运动，对于单帧的编辑后的频域数据，利用二维IFFT方法求解得到该帧的水面高度场。通过逐帧计算从而得到运动的后续水面。设A(u,v)表示二维频域值，h(x,y)表示二维高度场，N₁，N₂表示采样密度，则二维IFFT计算公式如下所示：

$\begin{array}{c}h(x,y)=\underset{u=0}{\overset{N_1-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N_2-1}{\mathrm{\Σ}}}A(u,v)e^{i\frac{2\mathrm{\π}(\mathrm{ux}+\mathrm{vy})}{N_1\×N_2}}\\ x=\mathrm{0,1}...,N_1-1;y=\mathrm{0,1}...,N_2-1\end{array}$

6、真实高度场与编辑高度场的统计分析，其步骤为：对于编辑得到的后续水面高度值，以采集帧数为一个周期，利用随机振动的统计理论进行分析。对于全部的高度场数据，对于采集时间周期与后续编辑时间周期，计算每个点全部帧高度值的均方根值，比较二者均方根值，设置误差阈，若满足误差限制则认为二者符合相同的统计规律，具有相似的运动规律，编辑效果较好。否则，编辑效果不理想，以采集帧数为一个周期作周期性变化。对于特定区域的小范围高度场数据，对于采集时间周期与后续编辑时间周期，计算每个点的PSD频谱曲线，分析比较两段周期的PSD频谱规律，若相似则认为二者符合相同的统计规律，具有相似的运动规律，编辑效果较好。若经过统计分析后，二者不具有相似的运动规律，则高度场编辑效果较差，则认为该点高度值以采集帧数作为一个周期作周期性变化，不再进行编辑。均方根值与PSD频谱曲线只是统计特征之一，实际进行统计分析的时候可以采用其他统计量。

总之，本发明可以对用多相机采集系统得到的真实乱序水面运动数据进行编辑，从而得到更长时间序列的与真实数据具有相同运动规律的乱序水面。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于真实数据的乱序水面编辑方法，其特征在于具体步骤如下：

(1)利用搭建的多相机采集系统得到真实的乱序水面运动数据；在采集系统的水缸水下放置黑白棋盘格，利用变化的风吹或喷洒生成乱序水面运动现象，水面满足无规律的随机振动，利用标定过的多台高速相机拍摄一组水面运动图像，得到各相机图像特征点的映射关系，利用基于折射原理的水面重建算法及重采样插值算法，得到采样点有序的水面高度场，该高度场即为采集得到的真实数据；

(2)用FFT方法求解变化的频域数据；具体为使用步骤(1)中的水面高度场，逐帧进行二维FFT计算，得到变化的二维频域数据；对于单帧高度场，通过二维FFT计算，得到该帧的二维频域值；逐帧计算得到二维频域数据中每组频域值随时间的变化,具体为：若高度场采样点密度为M*N，对于单帧二维FFT计算得到的M*N个频域数据，逐帧计算可以得到M*N组频域值随时间的变化规律；

(3)利用三角函数对每组频域值随时间的变化规律进行三角函数拟合；使用步骤(2)中的二维频域数据，利用三角函数拟合每一组随时间变化的频域值；首先利用单个三角函数拟合，设定误差阈值，利用L-M(Levenberg-Marquardt)方法求解最小二乘拟合问题，得到三角函数的参数；若超出误差阈值，用叠加的三角函数再次进行最小二乘拟合求解；再次与误差阈值进行比较，若仍然大于设定阈值，即函数拟合不合理，则后续过程不编辑频域数据值，保持周期变化；若小于设定阈值，则函数拟合合理，后续过程利用三角函数自动编辑频域数据值；

(4)利用步骤(3)计算得到的三角函数参数，利用拟合三角函数自动编辑二维频域值；具体为以采集帧数作为一个周期，利用步骤(3)计算得到的三角函数参数，利用拟合三角函数自动编辑步骤(2)中得到的频域数据；若三角 函数拟合效果满足误差阈值限制，则利用拟合函数自动编辑频域值，计算后续帧的频域值；否则，不编辑该频域值，频域值以采集帧数为一个周期作周期性变化；

(5)利用编辑后的频域数据通过IFFT计算得到后续帧水面高度场；具体为使用步骤(4)中编辑得到的频域值，对于采集乱序水面后续的运动，对于单帧的编辑后的频域数据，利用二维IFFT方法求解得到该帧的水面高度场,通过逐帧计算从而得到后续水面的运动；

(6)对于编辑得到的后续水面高度场，以采集帧数为一个周期，利用随机振动的统计理论进行分析；对于二维高度场中的单个点随时间的变化，若该点高度值在不同周期内符合相同的统计规律，编辑效果较好；若不符合，则编辑效果较差，不再编辑该点高度值，认为高度值以采集帧数作为一个周期作周期性变化。

2.根据权利要求1所述一种基于真实数据的乱序水面编辑方法，其特征在于：所述步骤(1)中多相机采集系统真实数据获取，其步骤为：利用4台相机搭建多相机采集系统，在相机下方放置水缸，水缸底部贴上黑白棋盘格marker板，水缸盛水1～2cm，相机拍摄图像保证覆盖整个marker板，水面运动过程中marker板变化小于一定的阈值；图像特征点检测基于Harris特征点检测算法，水面高度场重建算法基于折射原理。

3.根据权利要求1所述一种基于真实数据的乱序水面编辑方法，其特征在于：所述步骤(2)中二维频域数据的计算，其步骤为：对单帧二维高度场，进行二维FFT计算，得到该帧的频域数据；高度场域数据与频域数据具有对应关系，对于逐帧变化的高度场，得到对应的逐帧变化的频域值。

4.根据权利要求1所述一种基于真实数据的乱序水面编辑方法，其特征在于：所述步骤(3)中频域数据的三角函数拟合，其步骤为：首先利用单个三角函数拟合，设定误差阈值，利用L-M方法求解最小二乘拟合问题，得到三角函数的参数；若超出误差阈值，用叠加的三角函数再次进行最小二乘拟合求解； 若仍不满足误差阈值限制，则后续过程不编辑频域数据值，保持周期变化。

5.根据权利要求1所述一种基于真实数据的乱序水面编辑方法，其特征在于：所述步骤(4)中频域数据的编辑，其步骤为：若三角函数拟合效果满足误差阈值限制，则利用得到求解参数后的拟合三角函数自动编辑后续帧的频域值；否则，不编辑该频域值，频域值以采集帧数为一个周期作周期性变化。

6.根据权利要求1所述一种基于真实数据的乱序水面编辑方法，其特征在于：所述步骤(5)中后续水面高度场的计算，其步骤为：对于采集后续帧的高度场，利用编辑得到的单帧二维频域值，通过IFFT计算得到该帧对应的二维高度场；通过逐帧的IFFT计算，得到动态变化的乱序水面高度场。

7.根据权利要求1所述一种基于真实数据的乱序水面编辑方法，其特征在于：所述步骤(6)中水面高度场的统计分析，其步骤为：以采集帧数为一个周期，对真实高度场与编辑得到的高度场进行分析；对于二维高度场中的单个点随时间的变化，若该点高度值变化在不同周期内符合相同的统计规律，编辑效果较好；对于二维高度场中全部点的高度值，对于采集时间周期与后续编辑时间周期，计算每个点全部帧高度值的均方根值，设置误差阈，若小于阈值，则编辑较好；若大于误差阈值，则编辑效果不理想，认为该点高度值以采集帧数为一个周期作周期性变化；对于特定区域的小范围高度场数据，对于采集时间周期与后续编辑时间周期，计算每个点的PSD频谱曲线，分析比较两段时间的PSD频谱规律，若相似则编辑效果较好；若编辑效果较差，不再编辑该点高度值，认为高度值以采集帧数作为一个周期作周期性变化。