CN113808273B - 一种船行波数值模拟的无序式增量稀疏点云重构方法 - Google Patents

Abstract

本发明提供一种船行波数值模拟的无序式增量稀疏点云重构方法，涉及船舶与海洋工程领域，包括如下步骤：S1、通过粘流CFD数值模拟方法，得到目标船体在规则波环境下引起的船行波自由表面数据；S2、针对所述船行波自由表面数据，在物理引擎中进行三维建模，得到船行波模型；S3、采用立体视觉无序式增量稀疏点云重构算法，得到位于船行波自由表面上的三维点云；S4、对比所述三维点云以及粘流CFD数值模拟的船行波自由表面数据，验证船行波三维重构结果的准确性。本发明利用物理引擎搭建立体视觉仿真环境，利用无序式增量稀疏点云重构方法得到三维坐标点。使得船行波自由表面三维重构的准确性得以验证，并使对海洋波浪的观测更加精细。

Description

一种船行波数值模拟的无序式增量稀疏点云重构方法

技术领域

本发明涉及船舶与海洋工程领域，尤其涉及一种船行波数值模拟的无序式增量稀疏点云重构方法。

背景技术

海洋波浪的观测近年来获得了越来越多的关注，它对科学研究或工作应用的很多问题都能起到重要的帮助。针对这一问题，偏振图像、X波段雷达、遥感卫星、立体视觉等技术都起到了一定作用。

船行波的研究离不开对海洋波浪的观测，而立体视觉三维重构是相对准确的无接触式测量手段，将其应用于船行波的研究非常具有实用性。

为了采用立体视觉技术对海洋波浪进行观测，现有技术使用荧光化学试剂对记录的水进行染色，得到基于沿观察光线的积分发射率的图像重构模型；也有现有技术采用纳米气泡机将水面变成乳白色，采用投影仪将黑白多边形网格图案投影于水面上，最终完成对自由表面的三维重构。

现有技术缺少自由表面三维重构的准确性验证，并且染色、投影等三维重构的辅助手段存在局限性。因此，有待发明一种能验证三维重构结果的准确性，并且有助于海洋波浪准确测量的方法。

发明内容

本专利发明了一种针对船行波数值模拟的立体视觉三维重构方法。通过将三维重构的结果与数值模拟的数据进行对比，验证了三维重构的准确性，解决了现有技术仅进行三维重构而难以进行数据对比的局限性；通过物理引擎立体视觉仿真，实现了粘流CFD数值模拟与立体视觉三维重构算法的结合，有助于对海洋波浪进行更加准确精细的观测。

为达到以上目的，本发明采取的技术方案是：

一种船行波数值模拟的无序式增量稀疏点云重构方法，包括如下步骤：

S1、通过粘流CFD数值模拟方法，得到目标船体在规则波环境下引起的船行波自由表面数据；

S2、针对所述船行波自由表面数据，在物理引擎中进行三维建模，得到船行波模型；架设虚拟相机，对船行波模型进行图像采集，得到三维重构输入图像；

S3、采用立体视觉无序式增量稀疏点云重构算法，对所述三维重构输入图像进行三维重构，得到位于船行波自由表面上的三维点云；

S4、对比所述三维点云以及粘流CFD数值模拟的船行波自由表面数据，验证船行波三维重构结果的准确性。

优选地，S2包括以下步骤：

分析CFD数值模拟得到的自由表面数据；

提取每个三角单元的节点坐标值；

选用物理引擎的网格对象，对自由表面模型中的每个三角网格进行节点赋值；

虚拟相机图像采集过程中，以方阵形式架设多架相机，视角从不同方向聚焦于船行波三维模型，并且对相机的参数进行统一定义。

优选地，S3所述立体视觉无序式增量稀疏点云重构算法包括以下步骤：

针对采集得到的图像进行特征检测与特征匹配，并从所有视角中挑选出质量最优的视角对作为基础视角对；

针对基础视角对进行基于RANSAC与直接线性变换法的基础矩阵求解，恢复相机的姿态，并采用三角测量算法求解三维空间点坐标；

循环增补剩余的视角，并采用LM算法进行误差优化。

优选地，S4所述验证船行波三维重构结果的准确性包括以下步骤：

针对粘流CFD数值模拟得到的船行波自由表面，提取波切面数据；

针对三维重构得到的稀疏点云，提取对应截面位置的数据点，并与波切面数据对比波形趋势是否吻合。

本发明的有益效果在于：

本发明提供了一种船行波数值模拟的无序式增量稀疏点云重构的方法，采用物理引擎搭建立体视觉仿真环境，对CFD数值模拟得到的船行波自由表面进行自动化建模与图像采集，采用无序式增量稀疏点云重构方法得到三维坐标点。使得船行波自由表面三维重构的准确性得以验证，并且有助于海洋波浪的观测更加精细。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程图。

图2为本发明t₀时刻船行波自由表面图。

图3为本发明CFD数值模拟得到的t₀时刻船行波等高线图。

图4为本发明不进行数值缩放时t₀时刻船行波物理引擎建模效果图。

图5为本发明高度方向放大系数f_z＝10.0时t₀时刻船行波物理引擎建模效果图。

图6为本发明基于物理引擎的多目立体视觉仿真环境图。

图7为本发明不进行数值缩放时t₀时刻船行波的特征检测图。

图8为本发明高度方向放大系数f_z＝10.0时t₀时刻船行波的特征检测结果图。

图9为本发明相机5与相机6的特征匹配结果图。

图10为本发明无序式增量稀疏点云重构算法流程图。

图11为本发明重构得到的稀疏点云图。

图12为本发明0.75B处三维点云抽样截面位置图。

图13为本发明0.75B处数据对比图。

图14为本发明1.0B处三维点云抽样截面位置图。

图15为本发明1.0B处数据对比图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明提供一种技术方案：一种船行波数值模拟的无序式增量稀疏点云重构方法，方法流程如图1所示，主要包括以下六个部分：

(1)CFD数值模拟

采用CFD数值模拟得到船行波自由表面数据。本发明以某救助船为例，该救助船的主尺度信息如表1所示。本发明计算规则波迎浪状态的拖曳直航工况，船模航速为1.8m/s，波长为船长的2倍。

表1救助船主尺度参数

在整个计算域中，对于不受外力且不可压缩的流体，控制方程为连续性方程和Navier-Stokes方程；本发明解决速度与压力耦合的方法是压力耦合方程组的半隐式方法；选取的湍流模型为k-ε模型；对空间离散与自由液面处理的方法是有限体积法与流体体积法；模拟船模运动采用DFBI打开纵摇与垂荡2个自由度。采用Star-CCM+进行CFD数值模拟，得到的某一瞬间(t₀时刻)的自由表面如图2所示。

(2)基于物理引擎的立体视觉仿真

为了对CFD数值模拟得到的船行波自由表面数据进行图像采集并进行三维重建，必须让图像采集的过程符合相机成像模型。因此本发明基于物理引擎进行立体视觉仿真，采用物理引擎中的相机模块进行图像采集。

三维点投影到二维成像平面的针孔相机模型是：

其中，z_c为物体在相机坐标系中的z坐标；为相机内参矩阵；u₀，v₀为透镜主点相对于成像平面的偏移量；f_α，f_β为透镜的物理焦距与成像装置每个单元尺寸的乘积，是一个组合量；R，t为相机坐标系相对于世界坐标系的旋转矩阵与平移向量；/>为齐次坐标形式的三维点坐标；

本发明不考虑透镜的切向畸变，径向畸变取2个畸变系数：

其中：k₁，k₂为径向畸变系数；为畸变前的坐标值；/>是发生畸变后的坐标值。

为了对粘流CFD数值模拟得到的t₀时刻船行波自由表面数据进行加载与建模。首先分析CFD数值模拟得到的自由表面三角网格模型，提取每个三角单元的节点坐标值；然后采用物理引擎的网格对象，对自由表面模型中的每个三角网格进行节点赋值与渲染。

为了更有效地对船行波进行图像特征检测与匹配，本发明对原始的CFD数值模拟结果的数据进行了数值缩放，对船行波高度方向(z轴方向)的数值乘以缩放系数f_z＝10.0。

船行波自动化建模得到的结果如图3、图4、图5所示。

本发明通过架设多架物理相机，以阵列的形式俯视拍摄船行波，来模拟相机方阵对船行波航拍的过程。为了使相机之间的相对旋转与相对平移固定，并且视角从不同方向聚集于船行波，在物理引擎中的表现效果如图6所示。

相机参数包括相机内部参数与外部姿态参数，内部参数包括相机焦距、主点光心位置、相机畸变系数，外部参数则为相机相对于世界坐标系的旋转量与平移量。

主点光心位置在理想情况下与相机坐标系原点重合。

相机畸变系数的初始值可以取0，并在后续的捆绑调整过程中进行优化。

双目相机的外部参数可以通过对本征矩阵进行SVD分解并结合三角测量检测得到，而多目相机则需要额外结合PnP算法进行求解。

因此在图像采集过程中，相机焦距是需要关注的重要参数。

通常可以从图像的Exif信息获取初始焦距，而物理引擎中借用虚拟相机进行图像采集后，由于缺少Exif信息，因此需要进行35mm等效焦距换算。等效焦距以实际焦距乘以焦距转换率得到，计算公式为：

f₃₅＝43.3/d

其中：f₃₅为焦距转换系数；d为传感器对角线长度。

F₃₅＝F_w×f₃₅

其中：F₃₅为35mm等效焦距；F_w为相机镜头的物理焦距。

本发明对25个虚拟相机的焦距统一定义为如表2所示：

表2虚拟相机的参数及35mm等效焦距换算

	相机参数
		物理焦距	50(mm)
传感器宽度	36(mm)
		传感器高度	24(mm)
35mm等效焦距	50.0039(mm)

相机方阵与局部坐标系的相对姿态保持固定，通过调整局部坐标系，使相机方阵在船行波自由表面三维模型的上方进行俯视拍摄，得到的效果如图6所示。

(3)特征检测与特征匹配

本发明采用的特征检测算法是SIFT，具体的实现步骤是：1、采用一组不同的高斯滤波核对同一张图像进行矩阵卷积，得到高斯空间，并基于图像金字塔构造高斯差分空间；2、进行27邻域极值搜索，并且采用海森矩阵进行亚像素特征点定位；3、基于特征点的位置构造具有光度不变性与旋转不变性的特征描述子。如此得到的特征点具有较强的鲁棒性。

在物理引擎自动化建模过程中，对船行波三维模型进行数值缩放对于特征检测的结果是有利的，船行波三维模型在高度方向放大系数f_z＝10.0时，SIFT特征检测得到的特征点更密集，如图7、图8所示。

25架虚拟相机从25个不同的视角对同一目标进行图像采集，对每个视角进行特征检测都能得到一个特征点集合。本发明对特征匹配的实现思路是：1、从25个视角中抽取2个视角进行特征匹配，一共得到300组视角对；2、对每一对视角的2个特征点集合进行穷举匹配，即每个特征点集合中的每个特征点均与另一个集合中的所有特征点分别求取描述子距离，距离最小的匹配点为最近邻，距离次小的匹配点为次近邻；3、进行比率约束，最近邻与次近邻之间的距离比值应小于0.7，否则淘汰该匹配点。

为了从300组视角对中挑选出一组合格的视角对作为三维重构的基础视角对，本发明采用四个标准进行质量评估：1、两个视角对中至少存在50对匹配点；2、匹配点中单应矩阵的内点的比例小于0.8；3、采用三角测量计算得到的视差角大于5°；4、三角测量的求解成功的比例大于50％。

经过质量评估，相机5与相机6的特征匹配质量较好，具有105对匹配点，单应矩阵的内点比例为63％，三角测量求解的视角角为7.70°，本发明选取其作为基础视角对，如图9所示。

(4)无序式增量稀疏点云重构

无序式增量稀疏点云重构是一种多目三维重构算法。从图像像素矩阵中求取特征点进行三维重构，因此具有稀疏的性质；从多视角中抽取合格的两个视角作为基础视角对进行三维重构，继而对剩余的视角进行逐次增补，因此具有增量的性质；对多视角进行两两特征匹配，采用质量评估挑选基础视角对，而非依据图像的顺序进行逐次重构，因此具有无序的性质。

算法的总体流程如图10所示。

使用基于直接线性变换法的三角测量算法的目的：1、在相机姿态恢复的过程中淘汰错误的相机姿态；2、采用图像特征匹配的结果重构出三维空间点。

三角测量的原理是采用图像中的二维投影点与投影矩阵求解出三维空间点。

其中：(x_i，y_i)为三维点X在第i个视角的二维观察点的坐标值；P_i为第i个视角的投影矩阵，投影矩阵由相机内参矩阵、旋转矩阵、平移向量计算得到并且反映了三维点与观察点之间的关系x_i＝P_iX；P_i1，P_i2，P_i3为第i个投影矩阵的行向量。

基于RANSAC与直接线性变换法的基础矩阵求解的目的是计算对极几何约束。

对于三维空间中的同一个点，分别投影到两个不同的成像平面上，所得的两个观察点满足对极约束：

其中：为基础矩阵；(u₁,v₁)，(u₂,v₂)分别为两个观察点的坐标。

直接线性变换法求解基础矩阵的方程是：

其中：：f＝[F₁₁ F₁₂ F₁₃ F₂₁ F₂₂ F₂₃ F₃₁ F₃₂ F₃₃]^T为需要求解的未知向量；(u₁ ⁽ⁱ⁾,v₁ ⁽ⁱ⁾)与(u₂ ⁽ⁱ⁾,v₂ ⁽ⁱ⁾)为第i对相互匹配的观察点坐标。

少需要8对匹配的二维投影点，方程才具有唯一解；若存在大于8对匹配的二维投影点，则用最小二乘法求解冗余矩阵。

采用RANSAC求解基础矩阵的原因是图像特征匹配的结果中可能存在误匹配，而随机抽样一致性算法有利于排除误匹配点。

采用RANSAC求解基础矩阵的步骤是：1、计算抽样次数M；2、每次抽样从特征匹配集合中随机抽取8对匹配点求解基础矩阵；3、采用求解出的基础矩阵计算内点个数；4、对每次抽样得到的内点个数进行排序，采用内点数最多的基础矩阵淘汰误匹配点；5、采用剩余的所有优质特征匹配点求解出最优的基础矩阵。

抽样次数可用下式得到。

其中：K为求解模型需要最少的点的个数，在基础矩阵求解时取8；p表示内点的概率；z为采样至少成功一次的概率；M为随机抽样的循环次数。

相机姿态恢复的目的是采用基础矩阵、相机内参矩阵、SVD分解算法与三角测量算法恢复相机的位姿信息。

相机姿态恢复的步骤是：1、采用基础矩阵与相机内参矩阵得到本征矩阵；2、对本征矩阵进行SVD分解，得到4组相机姿态；3、4组相机姿态中采用三角测量算法求三维空间点并得到点的深度值，若深度值为负则淘汰，最终只有一组相机姿态是最终的正确解。

本征矩阵可用下式计算得到：

本发明采用LM算法的目的是最优化重投影误差，原理是将三角测量得到的三维点反向投影到成像平面得到重投影点，计算投影点与重投影点之间的误差，并采用LM算法进行优化。

其中：u_ij，分别为第i个三维点在第j个视角中的观测点与重投影点；X_i为第i个三维点；C_j为第j个视角具有的相机参数，包括焦距、旋转向量、平移向量、畸变系数；χ_ij＝1表示第i个三维点在第j个视角中可见。

LM算法的步骤是：1、构造雅克比矩阵；2、构造增量正规方程；3、采用共轭梯度法求解，并调整信赖阈；4、得到重投影误差最小时的相机参数与三维点云。

(5)三维点云与粘流CFD数值模拟对比

得到的三维稀疏点云如图11所示。

将点云与粘流CFD数值模拟得到的数据进行对比验证时，需要注意船行波建模过程中，对船行波数据z轴方向乘以缩放系数f_z＝10.0，在进行点云数据对比时需要还原。

针对粘流CFD数值模拟的船行波自由表面提取波切面轮廓曲线，本发明提取距离船中纵剖面0.75B＝0.801m与1.0B的波切面轮廓曲线。

针对三维点云，本发明取y＝y₀(y₀为三维点云在y轴方向坐标值最小值)的平面截面为基平面，从三维点云中取位于y＝y₀+0.75B+b与y＝y₀+0.75B-b两个平面截面之间的点近似认为处于同一平面内并制成抽样连接线，其中b为两个平面截面之间距离的一半。

得到的结果如图12-图15所示。无序式增量稀疏点云重构得到的结果与粘流CFD数值模拟的结果在变化趋势上相对吻合。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种船行波数值模拟的无序式增量稀疏点云重构方法，其特征在于，包括如下步骤：

S1、通过粘流CFD数值模拟方法，得到目标船体在规则波环境下引起的船行波自由表面数据；

S2、针对所述船行波自由表面数据，在物理引擎中进行三维建模，得到船行波模型；架设虚拟相机，对船行波模型进行图像采集，得到三维重构输入图像；

S3、采用立体视觉无序式增量稀疏点云重构算法，对所述三维重构输入图像进行三维重构，得到位于船行波自由表面上的三维点云；

S3具体包括以下步骤：

针对采集得到的图像进行特征检测与特征匹配，并从所有视角中挑选出质量最优的视角对作为基础视角对；

针对基础视角对进行基于RANSAC与直接线性变换法的基础矩阵求解，恢复相机的姿态，并采用三角测量算法求解三维空间点坐标；

求解三维空间点坐标的具体方法如下：

基于RANSAC与直接线性变换法的基础矩阵求解，计算对极几何约束；

对于三维空间中的同一个点，分别投影到两个不同的成像平面上，所得的两个观察点满足对极约束：

其中：为基础矩阵；/>，/>分别为两个观察点的坐标；

直接线性变换法求解基础矩阵的方程为：

其中：为需要求解的未知向量；与/>为第/>对相互匹配的观察点坐标；

循环增补剩余的视角，将三角测量得到的三维点反向投影到成像平面得到重投影点，计算投影点与重投影点之间的误差，并采用LM算法进行优化；

所述LM算法的步骤如下：构造雅克比矩阵；构造增量正规方程；采用共轭梯度法求解，并调整信赖阈；得到重投影误差最小时的相机参数与三维点云；

所述LM算法的公式如下：

其中：，/>分别为第/>个三维点在第/>个视角中的观测点与重投影点；/>为第/>个三维点；/>为第/>个视角具有的相机参数，包括焦距、旋转向量、平移向量、畸变系数；/>表示第/>个三维点在第/>个视角中可见；

S4、对比所述三维点云以及船行波自由表面数据，验证船行波三维重构结果的准确性；

S4具体包括以下步骤：

针对粘流CFD数值模拟得到的船行波自由表面，提取波切面数据；

针对三维重构得到的稀疏点云，提取对应截面位置的数据点，并与波切面数据对比波形趋势是否吻合。

2.根据权利要求1所述的船行波数值模拟的无序式增量稀疏点云重构方法，其特征在于，S2包括以下步骤：

分析CFD数值模拟得到的自由表面数据；

提取每个三角单元的节点坐标值；

选用物理引擎的网格对象，对自由表面模型中的每个三角网格进行节点赋值；

虚拟相机图像采集过程中，以方阵形式架设多架相机，视角从不同方向聚焦于船行波三维模型，并且对相机的参数进行统一定义。