CN106952341A - 一种基于视觉的水下场景三维点云重建方法及其系统 - Google Patents

Abstract

本发明公开了一种基于视觉的水下场景三维点云重建方法及其系统。该方法包括以下步骤：首先，架设基于视觉的水下场景三维点云重建系统；其次，采集图像数据并进行预处理；再次，确定旋转四元数适应度计算方法；然后，采用改进差分进化算法计算最佳旋转四元数；最后，进行场景重建和优化。本发明基于视觉的水下场景三维点云重建系统主要包括两个水下照相机、水下LED光源、电源线和数据线、计算机系统构成、固定装置等部分。本发明提出的基于视觉的水下三维重建方法和系统无需在水下设置任何辅助标定部件，与已有基于外部定标物的水下三维重建系统相比操作更加便捷，与已有不采用外部定标物的方法相比具有速度快、收敛性好的优势。

Description

一种基于视觉的水下场景三维点云重建方法及其系统

技术领域

本发明属于电子信息学科学领域，特指一种基于视觉的水下场景三维点云重建方法及其系统。

背景技术

水下可见光成像和三维重建在生物观察、机器人导航、海底可视化等领域具有广泛的应用。典型的水下成像系统中相机通常被放置在具有透明平面玻璃窗口的防水外壳中。由于光线在不同介质中的传播速度不同，因此水下成像过程中光线会在玻璃窗口上发生折射弯曲现象，导致水下图像产生明显的折射变形。研究表明水下折射变形呈现高度非线性且变形大小依赖于场景点的深度，因此水下图像成像过程不能采用传统的透视相机模型来描述。

早期的水下三维重建方法直接忽略折射变形，或者采用焦距调节、镜头径向畸变近似方法来补偿折射变形。这类方法本质上采用透视相机模型模型来描述水下成像过程，T.Treibitz等在其论文(T.Treibitz，Y.Y.Schechner，H.Singh，Flat refractivegeometry，in：CVPR，2008)中指出这种单视点(single viewpoint，SVP)相机模型会导致较大的相机标定误差。为了更好的补偿折射变形，近年来学者提出采用折射相机模型对折射现象进行显式建模，目前折射相机模型标定和基于折射相机的三维重建方法仍然备受关注，基于图像的三维重建中的许多关键方法仍然并不成熟。

大多数已有基于折射相机模型的三维重建方法的局限性在于，这些方法需要采用标定板或者需要辅助硬件设备实现水下成像系统标定。比如：A.Agrawal等在其论文(A.Agrawal，S.Ramalingam，Y.Taguchi，V.Chari，A theory of multi-layer flatrefractive geometry，in：CVPR，2012)中提出的水下标定方法需要借助维度已知的平面棋盘格水下标定板实现相机和折射交界面的估计。Y.Chang等在其论文(Y.Chang，T.Chen，Multi-view 3d reconstruction for scenes under the refractive plane with knownvertical direction，in：ICCV，2011)中提出的水下相机标定方法需要借助惯性测量单元(inertial measurement unit，IMU)提供相机的旋转角数据。T.Yau等提出的方法(T.Yau，M.Gong，Y.-H.Yang，Underwater camera calibration using wavelengthtriangulation，in：CVPR，2013)则需要采用一种包含122个LED灯的特殊定制标定设备实现水下相机标定。

另一类更加灵活的基于折射相机模型的水下三维标定和重建方法是不需要附加标定物的方法。比如：A.Sedlazeck等在其论文(A.Sedlazeck，R.Koch，Calibration ofhousing parameters for underwater stereo-camera rigs，in：BMVC，2011)中提出的方法采用集束优化标定包含两个相机的水下成像系统，该方法的局限性在于其运行效率较低，运行时间通常需要达到小时级别。康来等提出的方法(L.Kang，L.Wu，Y.-H.Yang，Two-view underwater structure and motion for cameras under flat refractiveinterfaces，in：ECCV，2012)采用全局优化方法实现水下相机标定，其缺点在于需要手动选取稀疏匹配特征点集，因此降低了方法执行的自动化程度。

综上所述，已有基于视觉的水下三维重建方法分为三类。第一类是简单的忽略折射变形或采用近似模型进行补偿，这类方法容易导致较大的标定误差；第二类是需要借助水下标定板或特殊标定设备实现水下相机标定，这类方法增加人工操作难度；第三类方法依靠集束优化或全局优化实现标定，其缺点在于运行效率低或自动化程度低。

发明内容：

针对上述现有技术存在的问题，本发明提出一种基于视觉的水下场景三维点云重建方法及其系统。本发明方法基于简化的折射相机模型，采用局部优化和全局优化相结合的方式实现自动化相机标定和水下场景三维点云重建，且本发明方法无需水下标定板和其他标定设备。

为解决上述技术问题，本发明的技术方案是：

本发明提供了一种基于视觉的水下场景三维点云重建系统，包括至于水中的待重建物体、两个水下照相机、水下LED光源、计算机系统以及固定装置构成，所述两个水下照相的内部参数均已知，两个水下照相机均由固定装置固定支撑且两个水下照相机均朝向待重建物体安装以确保两个水下照相机能够同时拍摄到待重建物体，两个水下照相机的主光轴之间的夹角介于0°～30°之间，所述待重建物体的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源，两个水下照相机与计算机系统连接，计算机系统用于控制两个水下照相机同步对待重建物体拍摄，完成图像数据同步采集、图像重建和重建结果展示。

本发明所采用的水下照相机由一个内部参数已知的照相机以及一个防水外壳构成，照相机设置在防水外壳内部。具体地，照相机通过其相机基座固定在防水外壳内部空间的底端，防水外壳的前端面上安装有平面透明玻璃窗口，照相机主光轴方向与平面透明玻璃窗口所在平面垂直，照相机透过平面透明玻璃窗口对待重建物体拍摄。

本发明中所采用的水下LED光源有两个以上，其中至少有两个水下LED光源分布在待重建物体的左右两侧。

本发明还提供了一种基于视觉的水下场景三维点云重建方法，包括以下步骤：

S1、构建基于视觉的水下场景三维点云重建系统；

基于视觉的水下场景三维点云重建系统，包括至于水中的待重建物体、两个水下照相机、水下LED光源、计算机系统以及固定装置构成。所述两个水下照相的内部参数均已知，两个水下照相机均由固定装置固定支撑且两个水下照相机均朝向待重建物体安装以确保两个水下照相机能够同时拍摄到待重建物体。两个水下照相机的主光轴之间的夹角介于0°～30°之间。所述待重建物体的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源。两个水下照相机与计算机系统连接，计算机系统用于控制两个水下照相机同步对待重建物体拍摄，完成图像数据同步采集、图像重建和重建结果展示。其中，水下照相机由一个内部参数已知的照相机以及一个防水外壳构成，照相机通过其相机基座固定在防水外壳内部空间的底端，防水外壳的前端面上安装有平面透明玻璃窗口，照相机主光轴方向与平面透明玻璃窗口所在平面垂直，照相机透过平面透明玻璃窗口对待重建物体拍摄。

S2、图像数据采集和预处理

S2.1采用S1中构建的基于视觉的水下场景三维点云重建系统拍摄获取包括待重建物体的水下场景的两幅图像。

S2.2已知两水下照相机的内部参数，根据水下照相机的内部参数对S2.1中获取的两幅图像进行变形矫正移除图像径向变形，记径向矫正后的图像为

S2.3利用仿射不变性图像局部特征提取和匹配方法(该方法可以参见文献DavidG.Lowe，″Distinctive image features from scale-invariant keypoints，″International Journal of Computer Vision，60，2(2004)，pp.91-110.)计算和的特征点匹配结果，然后根据距离比测试值按照由小到大的顺序对匹配结果排序，选取排名靠前N位的图像特征点匹配对(j＝{1，2，…，N})。其中，u^1(j)＝(u^1(j)，v^1(j))^T为图像中的特征点坐标，u^2(j)＝(u^2(j)，v^2(j))^T为图像中与u^1(j)对应的特征点坐标，N为不小于64的整数，N越大后续标定过程耗时越长、标定结果也越精确。

S2.4构建水下图像采集系统标定参数集合

S＝{{P₁}，{P₂}，{n₁}，{n₂}，{D₁}，{D₂}}。其中，P₁＝K₁[I|0]为第一个水下照相机的3×4维投影矩阵，P₂＝K₂[R|(t；1)]为第二个水下照相机的3×4维投影矩阵；n₁＝(0；0；1)为第一个水下照相机的平面透明玻璃窗口所在平面的法向量，n₂＝R^-1(0；0；1)为第二个水下照相机的平面透明玻璃窗口所在平面的法向量，两个水下照相机其平面透明玻璃窗口所在平面的点法式平面方程分别为n₁U+D₁＝0和n₂U+D₂＝0，其中：U表示三维空间点坐标；R为两个相机的3×3维相对旋转矩阵，t为第二个相机与第一个相机的3维相对平移列向量，K₁和K₂分别为第一个相机和第二个相机的3×3维内部标定矩阵，D₁和D₂为平面方程中的参数，由平面与原点之间的距离以及平面的法向量共同确定。

S3、确定旋转四元数适应度计算方法

对于任意给定的单位四元数q＝(w，x，y，z)^T且||q||₂＝1，按照如下步骤计算其适应度：

S3.1根据单位四元数与旋转矩阵的转换关系，计算q对应的旋转矩阵R_m(q)；计算公式如下：

S3.2构建如下全局优化问题Q：

其中，P₁＝K₁[I|0]，P₂＝K₂[R_m(q)|(t；1)]，n₁＝(0；0；1)，U_j和均为3维未知列向量，指的是三维点在相机投影矩阵为P_i的相机中的投影的齐次坐标的第三个分量，ε_j为松弛变量，[P_i]₃表示相机投影矩阵P_i的第三行行向量；符号“·”表示向量点积，常系数λ的取值范围是1.5～3.0。r^i(j)中j＝{1，2，…，N}，r^i(j)的定义如下：

其中，κ为水的折射系数，且

d(P，U，u)的定义如下：

其中：符号[·]_k表示矩阵的第k行向量；d(P，U，u)是三个自变量的函数，P，U，u分别为三个自变量的类型，即第一个自变量为相机矩阵，第二个自变量为三维点坐标，第三个自变量为二维图像点坐标，P_i，u^i(j)为三个自变量取值。采用凸优化算法(convexoptimization)求解上述优化问题计算未知向量

的最优解。

S3.3构建如下局部非线性优化问题：

其中，E为目标函数的代号，

d′(P_i，n_i，D_i，U_j，u^i(j))取值按如下方式确定：如果ε_j＞0，则d′(P_i，n_i，D_i，U_j，u^i(j))＝λ。否则，根据现有折射相机模型中的前向投影计算方法(参见文献：A.Agrawal，S.Ramalingam，Y.Taguchi，V.Chari，A theory of multi-layer flat refractivegeometry，in：CVPR，2012)计算前向投影误差d′(P_i，n_i，D_i，U_j，u^i(j))。然后，根据S3.2中凸优化问题Q的解X对参数集合Y＝{S，{U₁}，{U₂}，…，{U_N}}进行初始化，并采用LM算法求解上述局部非线性优化问题对Y进行优化求精；记优化后的成像系统标定参数集合并输出单位四元数q的适应度值f(q)＝minE。

S4采用改进的差分进化算法计算最佳旋转四元数，算法中各参数的设置准则如下：种群个数N_p不小于30，最大进化代数G_max不小于50。每个个体的变量个数为4，对应于1个单位四元数。变异尺度FW∈[0，1]，交叉率CR∈[0，1]；进化终止条件为达到最大进化代数或者最佳适应度收敛。

本发明采用的差分进化算法中，每个个体对应一个单位四元数。个体的适应度值采用步骤三中所述方法计算，适应度值越小表示适应度更优。

S4.1初始化；每个个体对应的四元数q＝(w，x，y，z)^T进行随机初始化。

S4.2变异操作

给定三个被选中的个体编号r₀，r₁，r₂，其中r₀≠r₁≠r₂且1≤r₀，r₁，r₂≤N_p，N_p为种群个体数量，变异单位四元数按如下公式计算：

其中，表示的共轭四元数，FW为变异尺度，η根据等式确定，“*”表示四元数乘法。

S4.3交叉操作

为了确保个体对应的4个变量构成单位四元数，对交叉后的试验向量即四元数进行归一化处理(即将四元数的每个分量都乘以一个相同的尺度因子，确保各分量的平方和为1)。

S4.4适应度计算

采用S3.3中的局部非线性优化方法获得邻域范围内所有单位四元数的最佳适应度值，适应度值越小表示适应度更优，最佳适应度值指的是当前群体中所有个体适应度的最小值。

算法执行完毕后，记最优个体对应的旋转四元数为q^*，最终成像系统标定参数集合为

S5场景重建及其优化

S5.1利用已有的图像稠密匹配方法(参见文献C.Liu.Beyond Pixels：ExploringNew Representations and Applications for Motion Analysis.DoctoralThesis.Massachusetts Institute of Technology.May 2009.)计算图像与图像之间的像素对应关系。

S5.2对于每个像素对应其中u为图像中的图像点，v为图像中的图像点，利用折射相机的后向投影计算方法(参见文献：Chang，Y.，Chen，T.：Multi-view 3dreconstruction for scenes under the refractive plane with known verticaldirection.In：ICCV(2011))，结合成像系统标定参数集合S^*分别计算u和v对应的三维场景光线；然后，计算上述两条光线的公共垂直线段的中点，并将该中点的三维坐标作为对应的场景点三维坐标初始值U。

S5.3对于每个场景点三维坐标初始值U，利用局部非线性优化方法对其初始三维坐标求精，优化过程的目标函数为：

其中，表示图像中以U在该图像上的投影为中心、大小为m×m个像素的图像窗口，与图像中以U在该图像上的投影为中心、大小为m×m个像素的图像窗口的归一化互相关系数；其中，m的取值范围是5～10个像素，U在各图像上的投影点的计算基于前向投影方法(参见文献Chang，Y.，Chen，T.：Multi-view 3d reconstruction for scenesunder the refractive plane with known vertical direction.In：ICCV(2011))，其中成像系统标定参数集合为S^*。

S5.4将所有经过优化的三维点融合为三维点云，并利用点云处理工具过滤孤立点和剔除细小点云片段，获得最终稠密三维重建结果。

已有水下场景三维重建方法要么需要借助水下标定板、方向感知设备或者特殊标定装置，要么需要通过耗时的局部优化实现水下相机和防水外壳玻璃窗口的标定，要么需要手动挑选图像稀疏特征点匹配集进行全局优化。

本发明提出的基于视觉的水下三维重建方法和系统采用局部优化和全局优化相结合的方式实现水下成像系统标定。本发明基于简化的折射相机模型，在无需任何附加水下标识物或特殊标定设备的条件下，利用计算机视觉方法根据两幅水下图像对水下照相机及其防水外壳的玻璃窗口自动进行标定，显式的补偿光线折射对图像三维重建的不利影响，在此基础上计算水下场景的三维点云结构。与已有基于外部定标物的水下三维重建系统相比操作更加便捷，与已有不采用外部定标物的方法相比具有速度快、收敛性好的优势。

附图说明：

图1是本发明一种基于视觉的水下场景三维点云重建方法的流程图；

图2是本发明一种基于视觉的水下场景三维点云重建系统的结构示意图；

图3是本发明一种水下照相机的结构示意图；

图4是本发明三维点云重建系统成像原理示意图；

图5是本发明采用非线性局部优化方法搜索最佳旋转四元数的过程图；

图6是本发明采用非线性局部优化方法搜索最佳旋转四元数的收敛图

图7是本发明实施例部分测试水下图像样张。其中图7(a)对应的照相机主光轴方向与玻璃窗口所在平面近似垂直，图7(b)对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为20°，图7(c)为图7(a)和图7(b)叠加的结果。

图8为采用不同方法的水下点云重建结果示例；其中图8(a)、8(b)、8(c)、8(d)为不进行折射补偿的重建模型从不同角度观察的结果，图8(e)、8(f)、8(g)、8(h)为本发明方法的测试结果。

图9为采用本发明方法在不同测试数据上的测试结果示例。其中，图9(a)、9(b)采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为5°，图9(c)、9(d)采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为10°，图9(e)、9(f)采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为20°。

具体实施方式：

结合附图对本发明做进一步详细说明。

本发明提供了一种基于视觉的水下场景三维点云重建方法及其系统。

如图1所示，本发明一种基于视觉的水下场景三维点云重建方法包含如下五个步骤：架设基于视觉的水下场景三维点云重建系统；采集图像数据并进行预处理；确定旋转四元数适应度计算方法；采用改进差分进化算法计算最佳旋转四元数；以及场景重建和优化。

第一步，架设基于视觉的水下场景三维点云重建系统。

本发明基于视觉的水下场景三维点云重建系统结构示意图如图2所示。系统由两个水下照相机(即1#水下照相机1和2#水下照相机2)、两个水下LED光源(1#水下LED光源3和2#水下LED光源4)、计算机系统(包括计算机5和显示器6)、固定装置7构成。水下照相机(1和2)和待重建物体8均置于水面9以下。所述两个水下照相的内部参数均已知，两个水下照相机均由固定装置7固定支撑且两个水下照相机均朝向待重建物体8安装以确保两个水下照相机能够同时拍摄到待重建物体8，两个水下照相机的主光轴之间的夹角介于0°～30°之间。所述待重建物体8的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源，本实施例中两个水下LED光源分布在待重建物体的左右两侧。两个水下照相机与计算机系统连接，计算机系统用于控制两个水下照相机同步对待重建物体拍摄，完成图像数据同步采集、图像重建和重建结果展示。

参照图3，本实施例中的水下照相机由一个内部参数已知的照相机10以及一个防水外壳12构成，照相机10通过其相机基座13固定在防水外壳12内部空间的底端，防水外壳12的前端面上安装有平面透明玻璃窗口11，照相机主光轴方向与平面透明玻璃窗口11所在平面垂直，照相机10透过平面透明玻璃窗口11对待重建物体拍摄。平面透明玻璃窗口在确保防水外壳在水下不至破损的条件下尽可能减少其玻璃厚度。两个水下照相机均朝向待重建水下场景安装，两个相机的主光轴之间的夹角介于0°～30°。

第二步，图像数据采集和预处理

1)数据采集需要采用上述系统拍摄获取待重建水下场景两幅图像，然后进行后续的数据预处理操作。

2)已知两水下照相机的内部参数，根据相机的内部参数对获取的两幅图像进行变形矫正移除图像径向变形，记径向矫正后的图像为图像径向变形矫正采用HartleyR和Zisserman A(参考文献：Hartley R，Zisserman A.Multiple view geometry incomputer vision[M].2nd ed.Cambridge University Press，2004：189-193)提出的方法；

3)利用仿射不变性图像局部特征提取和匹配方法(该方法可以参见文献DavidG.Lowe，″Distinctive image features from scale-invariant keypoints，″International Journal of Computer Vision，60，2(2004)，pp.91-110.)计算和的特征点匹配结果，然后根据距离比测试值按照由小到大的顺序对匹配结果排序，选取排名靠前N位的图像特征点匹配对(j＝{1，2，…，N})。其中，u^1(j)＝(u^1(j)，v^1(j))^T为图像中的特征点坐标，u^2(j)＝(u^2(j)，v^2(j))^T为图像中与u^l(j)对应的特征点坐标。N为不小于64的整数，N越大后续标定过程耗时越长、标定结果也越精确。本实施例中，N取64。

4)构建水下图像采集系统标定参数集合S＝{{P₁}，{P₂}，{n₁}，{n₂}，{D₁}，{D₂}}。其中，其中，P₁＝K₁[I|0]为第一个相机的3×4维投影矩阵，P₂＝K₂[R|(t；1)]为第二个相机的3×4维投影矩阵；n₁＝(0；0；1)为第一个水下相机玻璃窗口所在平面的法向量，n₂＝R^-1(0；0；1)为第二个水下相机玻璃窗口所在平面的法向量，两个水下相机玻璃窗口所在平面的点法式平面方程分别为n₁U+D₁＝0和n₂U+D₂＝0(U表示三维空间点坐标)；R为两个相机的3×3维相对旋转矩阵，t为第二个相机与第一个相机的3维相对平移列向量，K₁和K₂分别为第一个相机和第二个相机的3×3维内部标定矩阵。水下图像采集系统成像过程几何模型示意图如图4所示。

第三步，确定旋转四元数适应度计算方法

对于任意给定单位四元数q＝(w，x，y，z)^T(||q||₂＝1)，适应度值的计算方法包含如下四步：

1)根据单位四元数与旋转矩阵的转换关系，按照如下公式计算q对应的旋转矩阵：

2)构建如下全局优化问题Q：

其中，P₁＝K₁[I|0]，P₂＝K₂[R_m(q)|(t；1)]，n₁＝(0；0；1)，U_j和均为3维未知列向量。符号“·”表示向量点积，常系数λ的取值范围是1.5～3.0。r^i(j)(j＝{1，2，…，N})的定义如下：

其中，κ为水(或者其他透明液体)的折射系数，且

d(P，U，u)的定义如下：

符号[·]_k表示矩阵的第k行向量。采用凸优化(convex optimization)算法求解上述优化问题计算未知向量

的最优解。

3)构建如下局部非线性优化问题：

其中，d′(P_i，n_i，D_i，U_j，u^i(j))取值按如下方式确定：如果ε_j＞0，则d′(P_i，n_i，D_i，U_j，u^{i (j)})＝λ；否则，根据现有折射相机模型中的前向投影(forward projection)计算方法(参见A.Agrawal，S.Ramalingam，Y.Taguchi，V.Chari，A theory of multi-layer flatrefractive geometry，in：CVPR，2012)计算前向投影误差d′(P_i，n_i，D_i，U_j，u^i(j))。然后，根据凸优化问题Q的解X对参数集合Y＝{S，{U₁}，{U₂}，…，{U_N}}进行初始化，并采用LM算法求解上述局部非线性优化问题对Y进行优化求精。记优化后的成像系统标定参数集合并输出单位四元数q的适应度值f(q)＝min E。

第四步，采用改进差分进化算法计算最佳旋转四元数

本发明采用的差分进化算法中，每个个体对应一个单位四元数。个体的适应度值采用步骤三中所述方法计算，适应度值越小表示适应度更优。

1)初始化。每个个体对应的四元数q＝(w，x，y，z)^T均按照如下方式初始化：

其中，参数α、β、γ为取值范围介于0～2π之间的随机数；

2)变异操作。给定三个被选中的个体编号r₀，r₁，r₂(r₀≠r₁≠r₂且1≤r₀，r₁，r₂≤N_p，N_p为种群个体数量)，变异单位四元数按如下公式计算：

其中，表示的共轭四元数，FW为变异尺度，η根据等式确定，“*”表示四元数乘法；

3)交叉操作。为了确保个体对应的4个变量构成单位四元数，对交叉后的试验向量进行归一化处理；

4)适应度计算。采用S3.3中的局部非线性优化方法获得邻域范围内所有单位四元数的最佳适应度值。适应度值越小表示适应度更优，最佳适应度值指的是当前群体中所有个体适应度的最小值。

上述改进差分进化算法各参数的设置准则如下：种群个数N_p取30，最大进化代数G_max取40，每个个体的变量个数为4，对应于1个单位四元数。变异尺度FW∈[0，1]，交叉率CR∈[0，1]。进化终止条件为达到最大进化代数或者最佳适应度收敛。

改进差分进化算法执行完毕后，记最优个体对应的旋转四元数为q^*，最终成像系统标定参数集合为

根据上述改进进化优化方法搜索最佳旋转四元数的一个示例过程如图5所示，该图对适应度值与四元数y、w切面的关系进行了可视化。从图中可以看出，上述搜索过程通过结合非线性局部数值优化和全局进化迭代优化，将最佳四元数搜索问题转换为了在离散极值点之间的比较和搜索过程。图6为本发明改进化优化方法搜索最佳旋转四元数的收敛图示例，统计数据基于50次独立运行，所有运行实例均在20次迭代左右开始逐渐收敛。

第五步，场景重建及其优化

场景三维稠密点云重建和优化包含如下四个步骤。

1)利用已有图像稠密匹配方法计算图像与图像之间的像素对应关系；

2)对于每个像素对应(其中u为中的图像点，v为中的图像点)，利用折射相机的后向投影(back projection)计算方法(参见Chang，Y.，Chen.T.：Multi-view 3dreconstruction for scenes under the refractive plane with known verticaldirection.In：ICCV(2011))，结合成像系统标定参数集合S^*分别计算u和v对应的三维场景光线。然后，计算上述两条光线的公共垂直线段的中点，并将该点的三维坐标作为对应的场景点三维坐标初始值U；

3)对于每个场景点三维坐标初始值U，利用局部非线性优化方法对其初始三维坐标求精，优化过程的目标函数为：

其中，表示图像中以U在该图像上的投影为中心、大小为m×m个像素的图像窗口，与图像中以U在该图像上的投影为中心、大小为m×m个像素的图像窗口的归一化互相关系数(normalized cross correlation，NCC)。其中，m的取值范围是5～10个像素，U在各图像上的投影点的计算基于前向投影(forward projection)方法(参见A.Agrawal，S.Ramalingam，Y.Taguchi，V.Chari，A theory of multi-layer flatrefractive geometry，in：CVPR，2012)，其中成像系统标定参数集合为S^*；

4)将所有经过优化的三维点融合为三维点云，并利用MeshLab等点云处理工具过滤孤立点和剔除细小点云片段，获得最终稠密三维重建结果。

图7展示了部分测试水下图像样张。其中图7(a)对应的照相机主光轴方向与玻璃窗口所在平面近似垂直，图7(b)对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为20°，图7(c)为图7(a)和图7(b)叠加的结果。从图中可以清楚的观察到折射变形现象。

图8为采用不同方法的水下点云重建结果示例。该示例采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面近似垂直。其中，图8(a)、8(b)、8(c)、8(d)为不进行折射补偿的重建模型从不同角度观察的结果，图8(e)、8(f)、8(g)、8(h)为本发明方法的测试结果。通过将重建模型与参考模型对齐比较可以看出，若不进行折射补偿折射变形，基于图像的三维重建会产生明显变形，而本发明方法能有效提升水下三维重建质量。

图9为采用本发明方法在不同测试数据上的测试结果示例。其中，图9(a)、9(b)采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为5°，图9(c)、9(d)采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为10°，图9(e)、9(f)采用的水下图像对应的照相机主光轴方向与玻璃窗口所在平面法向量夹角约为20°。从图中可以看出(比如：线框标识的部位)，随着主光轴与玻璃窗口所在平面法向量夹角增加，本发明重建质量略有下降。因此，实际使用过程中，应尽量相机主光轴与玻璃窗口所在平面应尽可能保持垂直。

以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (6)

1.一种基于视觉的水下场景三维点云重建系统，其特征在于：包括置于水中的待重建物体、两个水下照相机、水下LED光源、计算机系统以及固定装置构成，所述两个水下照相的内部参数均已知，两个水下照相机均由固定装置固定支撑且两个水下照相机均朝向待重建物体安装以确保两个水下照相机能够同时拍摄到待重建物体，两个水下照相机的主光轴之间的夹角介于0°～30°之间，所述待重建物体的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源，两个水下照相机与计算机系统连接，计算机系统用于控制两个水下照相机同步对待重建物体拍摄，完成图像数据同步采集、图像重建和重建结果展示。

2.根据权利要求1所述的一种基于视觉的水下场景三维点云重建系统，其特征在于：水下照相机由一个内部参数已知的照相机以及一个防水外壳构成，照相机设置在防水外壳内部。

3.根据权利要求2所述的一种基于视觉的水下场景三维点云重建系统，其特征在于：照相机通过其相机基座固定在防水外壳内部空间的底端，防水外壳的前端面上安装有平面透明玻璃窗口，照相机主光轴方向与平面透明玻璃窗口所在平面垂直，照相机透过平面透明玻璃窗口对待重建物体拍摄。

4.根据权利要求1所述的一种基于视觉的水下场景三维点云重建系统，其特征在于：水下LED光源有两个以上，其中至少有两个水下LED光源分布在待重建物体的左右两侧。

5.一种基于视觉的水下场景三维点云重建方法，其特征在于，包括以下步骤：

S1、构建基于视觉的水下场景三维点云重建系统；

基于视觉的水下场景三维点云重建系统，包括至于水中的待重建物体、两个水下照相机、水下LED光源、计算机系统以及固定装置构成，所述两个水下照相的内部参数均已知，两个水下照相机均由固定装置固定支撑且两个水下照相机均朝向待重建物体安装以确保两个水下照相机能够同时拍摄到待重建物体，两个水下照相机的主光轴之间的夹角介于0°～30°之间，所述待重建物体的外侧设置有用于改善水下场景的光照条件、提高图像的亮度的水下LED光源，两个水下照相机与计算机系统连接，计算机系统用于控制两个水下照相机同步对待重建物体拍摄，完成图像数据同步采集、图像重建和重建结果展示；其中，水下照相机由一个内部参数已知的照相机以及一个防水外壳构成，照相机通过其相机基座固定在防水外壳内部空间的底端，防水外壳的前端面上安装有平面透明玻璃窗口，照相机主光轴方向与平面透明玻璃窗口所在平面垂直，照相机透过平面透明玻璃窗口对待重建物体拍摄；

S2、图像数据采集和预处理

S2.1采用S1中构建的基于视觉的水下场景三维点云重建系统拍摄获取包括待重建物体的水下场景的两幅图像；

S2.2已知两水下照相机的内部参数，根据水下照相机的内部参数对S2.1中获取的两幅图像进行变形矫正移除图像径向变形，记径向矫正后的图像为

S2.3利用仿射不变性图像局部特征提取和匹配方法计算和的特征点匹配结果，然后根据距离比测试值按照由小到大的顺序对匹配结果排序，选取排名靠前N位的图像特征点匹配对其中，u^1(j)＝(u^1(j)，v^1(j))^T为图像中的特征点坐标，u^2(j)＝(u^2(j)，v^2(j))^T为图像I₂中与u^1(j)对应的特征点坐标，N为不小于64的整数，N越大后续标定过程耗时越长、标定结果也越精确；

S2.4构建水下图像采集系统标定参数集合S＝{{P₁}，{P₂}，{n₁}，{n₂}，{D₁}，{D₂}}；其中，P₁＝K₁[I|0]为第一个水下照相机的3×4维投影矩阵，P₂＝K₂[R|(t；1)]为第二个水下照相机的3×4维投影矩阵；n1＝(0；0；1)为第一个水下照相机的平面透明玻璃窗口所在平面的法向量，n₂＝R^-1(0；0；1)为第二个水下照相机的平面透明玻璃窗口所在平面的法向量，两个水下照相机其平面透明玻璃窗口所在平面的点法式平面方程分别为n₁U+D₁＝0和n₂U+D₂＝0，其中：U表示三维空间点坐标；R为两个相机的3×3维相对旋转矩阵，t为第二个相机与第一个相机的3维相对平移列向量，K₁和K₂分别为第一个相机和第二个相机的3×3维内部标定矩阵，D₁和D₂为平面方程中的参数，由平面与原点之间的距离以及平面的法向量共同确定；

S3、确定旋转四元数适应度计算方法

对于任意给定的单位四元数q＝(w，x，y，z)^T且||q||₂＝1，按照如下步骤计算其适应度：

S3.1根据单位四元数与旋转矩阵的转换关系，计算q对应的旋转矩阵R_m(q)；计算公式如下：

$R_m\left(q\right)=\left(\begin{array}{ccc}1-2y^2-2z^2& 2xy-2wz& 2xz+2wy\\ 2xy+2wz& 1-2x^2-2z^2& 2yz-2wx\\ 2xz-2wy& 2yz+2wx& 1-2x^2-2y^2\end{array}\right)$

S3.2构建如下全局优化问题Q：

$min\underset{j=1}{\overset{N}{\Σ}}{\mathrm{\ϵ}}_j$

$\begin{array}{cc}s.t.& d(P_i,U_{\mathrm{\π}}^{i\left(j\right)},u^{i\left(j\right)}){\[P_i\]}_3(U_{\mathrm{\π}}^{i\left(j\right)};1)\≤\mathrm{\λ}{\[P_i\]}_3(U_{\mathrm{\π}}^{i\left(j\right)};1)+{\mathrm{\ϵ}}_j,\end{array}$

$n_i\·U_{\mathrm{\π}}^{i\left(j\right)}+D_i=0,$

$U_j=U_{\mathrm{\π}}^{i\left(j\right)}+w^{i\left(j\right)}{r}^{i\left(j\right)},$

${\[P_i\]}_3(U_{\mathrm{\π}}^{i\left(j\right)};1)>0,$

$\∀i=1,2;\∀j=1,2,...,N.$

其中，P₁＝K₁[I|0]，P₂＝K₂[R_m(q)|(t；1)]，n₁＝(0；0；1)，U_j和均为3维未知列向量，指的是三维点在相机投影矩阵为P的相机中的投影的齐次坐标的第三个分量，ε_j为松弛变量，[P_i]₃表示相机投影矩阵P_i的第三行行向量；符号“·”表示向量点积，常系数λ的取值范围是1.5～3.0；r^i(j)中j＝{1，2，…，N}r^i(j)的定义如下：

$r^{i\left(j\right)}=\frac{s^{i\left(j\right)}}{\mathrm{\κ}\left|\right|s^{i\left(j\right)}|{|}_2}-(\frac{n_i}{\mathrm{\κ}}\·\frac{s^{i\left(j\right)}}{\left|\right|s^{i\left(j\right)}|{|}_2}-\sqrt{1-\frac{1}{{\mathrm{\κ}}^2}+{\left(\frac{n_i}{\mathrm{\κ}}\·\frac{s^{i\left(j\right)}}{\left|\right|s^{i\left(j\right)}|{|}_2}\right)}^2})n_i$

其中，κ为水的折射系数，且

$\left\{\begin{array}{c}{s}^{1\left(j\right)}={K_1}^{-1}(u^{1\left(j\right)};1)\\ s^{2\left(j\right)}={K_2}^{-1}{R}_m^{-1}\left(q\right)(u^{2\left(j\right)};1)\end{array}\right.$

d(P，U，u)的定义如下：

$d(P,U,u)=\left|\right|{(\frac{{\[PU\]}_1}{{\[PU\]}_3},\frac{{\[PU\]}_2}{{\[PU\]}_3})}^T-u|{|}_2$

其中：符号[·]_k表示矩阵的第k行向量；d(P，U，u)是三个自变量的函数，P，U，u分别为三个自变量的类型，即第一个自变量为相机矩阵，第二个自变量为三维点坐标，第三个自变量为二维图像点坐标，为三个自变量取值；

采用凸优化算法求解上述优化问题计算未知向量

$X=(U_1;U_2;...;U_N,U_{\mathrm{\π}}^{1\left(1\right)},U_{\mathrm{\π}}^{1\left(2\right)};...;U_{\mathrm{\π}}^{2\left(N\right)};t;w^{1\left(1\right)};w^{1\left(2\right)};\mathrm{...};w^{2\left(N\right)};D_1;D_2;{\mathrm{\ϵ}}_1;{\mathrm{\ϵ}}_2;\mathrm{...};{\mathrm{\ϵ}}_N)$

的最优解；

S3.3构建如下局部非线性优化问题：

$\underset{Y}{\mathrm{argmin}}E=\underset{Y}{\mathrm{argmin}}\underset{i=1}{\overset{2}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{\[d^{\′}(P_i,n_i,D_i,U_j,u^{i\left(j\right)})\]}^2$

其中，d′(P_i，n_i，D_i，U_j，u^i(j))取值按如下方式确定：如果ε_j＞0，则d′(P_i，n_i，D_i，U_j，u^i(j))＝λ；否则，根据折射相机模型中的前向投影计算方法计算前向投影误差d′(P_i，n_i，D_i，U_j，u^{i (j)})；然后，根据S3.2中凸优化问题Q的解X对参数集合Y＝{S，{U₁}，{U₂}，…，{U_N}}进行初始化，并采用LM算法求解上述局部非线性优化问题对Y进行优化求精；记优化后的成像系统标定参数集合并输出单位四元数q的适应度值f(q)＝min E；

S4采用改进的差分进化算法计算最佳旋转四元数，算法中各参数的设置准则如下：种群个数N_p不小于30，最大进化代数G_max不小于50；每个个体的变量个数为4，对应于1个单位四元数；变异尺度FW∈[0，1]，交叉率CR∈[0，1]；进化终止条件为达到最大进化代数或者最佳适应度收敛；

S4.1初始化；每个个体对应的四元数q＝(w，x，y，z)^T进行随机初始化；

S4.2变异操作

给定三个被选中的个体编号r₀，r₁，r₂，其中r₀≠r₁≠r₂且1≤r₀，r₁，r₂≤N_p，N_p为种群个体数量，变异单位四元数按如下公式计算：

$\frac{sin\[(1-FW)\mathrm{\η}\]q_{r_0}+sin(FW\·\mathrm{\η})(q_{r_0}*{\stackrel{\‾}{q}}_{r_2}*q_{r_1})}{sin\mathrm{\η}}$

其中，表示的共轭四元数，FW为变异尺度，η根据等式确定，“*”表示四元数乘法；

S4.3交叉操作

为了确保个体对应的4个变量构成单位四元数，对交叉后的试验向量即四元数进行归一化处理；

S4.4适应度计算

采用S3.3中的局部非线性优化方法获得邻域范围内所有单位四元数的最佳适应度值，适应度值越小表示适应度更优，最佳适应度值指的是当前群体中所有个体适应度的最小值；

算法执行完毕后，记最优个体对应的旋转四元数为q^*，最终成像系统标定参数集合为

S5场景重建及其优化

S5.1利用图像稠密匹配方法计算图像与图像之间的像素对应关系；

S5.2对于每个像素对应其中u为图像中的图像点，v为图像中的图像点，利用折射相机的后向投影计算方法，结合成像系统标定参数集合s^*分别计算u和v对应的三维场景光线；然后，计算上述两条光线的公共垂直线段的中点，并将该中点的三维坐标作为对应的场景点三维坐标初始值U；

S5.3对于每个场景点三维坐标初始值U，利用局部非线性优化方法对其初始三维坐标求精，优化过程的目标函数为：

其中，表示图像中以U在该图像上的投影为中心、大小为m×m个像素的图像窗口，与图像中以U在该图像上的投影为中心、大小为m×m个像素的图像窗口的归一化互相关系数；其中，m的取值范围是5～10个像素，U在各图像上的投影点的计算基于前向投影方法，其中成像系统标定参数集合为S^*；

S5.4将所有经过优化的三维点融合为三维点云，并利用点云处理工具过滤孤立点和剔除细小点云片段，获得最终稠密三维重建结果。

6.根据权利要求5所述的基于视觉的水下场景三维点云重建方法，其特征在于，S4.1中，每个个体对应的四元数q＝(w，x，y，z)^T均按照如下方式初始化：

$\left\{\begin{array}{c}w=cos\mathrm{\α}\\ x=sin\mathrm{\α}sin\mathrm{\β}cos\mathrm{\γ}\\ y=sin\mathrm{\α}sin\mathrm{\β}sin\mathrm{\γ}\\ z=sin\mathrm{\α}cos\mathrm{\β}\end{array}\right.$

其中，参数α、β、γ为取值范围介于0～2π之间的随机数。