CN105698767B - 一种基于视觉的水下测量方法 - Google Patents

Abstract

本发明提供了一种基于视觉的水下测量方法，步骤1.1：空气中预标定：将两个相机固定在密封设备内，拍摄多幅平面标定图像，分别标定出两个相机的内部参数矩阵；通过拍摄的平面标定板的两幅图像标定出两个相机之间的基本矩阵；步骤1.2：水下相机标定：拍摄水下立体标定板图像，标定出每个相机的外部参数矩阵和相机中心距离折射平面的距离参数d。本申请公开了一种水下尺寸测量方法，利用建立的较为准确的水下成像模型实现相机的精确标定。利用相机标定参数实现了水下的二维测量和双目的三维测量，通过实验验证了本申请的方法对于水下二维和三维测量的精度在之间。本申请公开的技术可以广泛应用于水下精确测量和精密探测。

Description

一种基于视觉的水下测量方法

技术领域

本发明涉及水下测量领域，尤其涉及一种基于视觉的水下测量方法。

背景技术

随着陆地油气资源的逐渐枯竭，占地球面积71％的海洋开发已成为世界各国最重要的能源战略之一。目前全球有100多个国家、地区从事海洋油气勘探与开发工作，每年投入研发经费达数百亿美元。在海洋及深海作业环境中，海底管线、系泊系统、海洋石油钻井设备等受海水腐蚀、自身磨蚀、流沙波浪冲击、油气载荷等侵袭容易出现损坏，由于海洋尤其是深海环境中人员的不易达性，设备的检测和维修极其困难，一旦发生事故，损失是极为严重的。本发明公开的技术能够实现水下物体的尺寸准确测量，为海洋安全生产提了一种非接触式三维测量技术，还可以广泛应用于海洋科研及水下工程作业、设备修复、水下考古和救援等领域，为水下危险环境中的作业提供先进的技术保障措施。

目前对水下设备的检测和测量方法主要有：声纳法、电磁波传感检测、光线传感器、水下激光成像检测等。基于视觉的水下测量技术由于灵活方便成本低的优点，得到了广泛的研究。但在水下由于折射的存在，使得直接利用空气中的视觉测量技术会造成较大的误差。目前几乎所有的水下视觉测量技术都使用主动视觉，例如激光或其他结构光。李擎等提出利用三维结构光的方法进行水下测量，深度测量的精度可以达到0.5mm。(李擎等,基于水下三维结构光的视觉测量方法研究,大连海洋大学学报,2013,27(6):583-586)。王宗义提出基于线线结构光视觉传感器、结构光视觉系统结构及模型的水下三维测量系统。对水下光成像的方法进行了分析,并提出了应用线结构光视觉传感器直接对水下目标进行三维探测的新方法(王宗义，线结构光视觉传感器与水下三维探测，哈尔滨工程大学博士学位论文，2005)。解则晓等提出了一种水下线结构光自扫描三维测量技术，采用振镜将激光面反射到被测空间,激光面与被测物体相交形成光条并被摄像机拍摄,根据像面上光条中每一点的位置计算出该点由于折射产生的偏移大小并加以补偿。再利用考虑折射后的光平面水中部分在振镜坐标系下的方程,求出物体表面的三维坐标.(解则晓，李绪勇，辛少辉等,水下线结构光自扫描三维测量技术,中国激光,2010(08):2010-2014)。张丽研究了采用激光和单目相机进行水下三维定位的方法，对水下折射的影响进行修正减小深度信息的失真提高定位精度(张丽,基于单目视觉的水下目标识别与三维定位技术研究，哈尔滨工程大学，硕士学位论文，2010)。丁万山等提出了一种基于激光的水下物体三维形貌测量方法，具有较高的测量精度(丁万山，刘艳.水中物体的光学三维形貌测量的研究,光学学报,2007).专利CN104567822A公开了一种水下结构光立体视觉测程及装置获得水下视场结构及特征。

上述已有技术中的基于主动视觉的水下三维测量技术具有如下的不足：1)激光三角法测量存在探测盲区；2)系统体积大、重量大，缺乏灵活性；3)扫描过程中激光器需按预定的轨迹运动才能完成一个面的测量，操作难度大；4)水介质及杂质对准直激光光束产生严重的散射，使得理想光束成像后形成发散的光斑，严重影响了系统的测量精度。

发明内容

水下测量分为二维测量和三维测量，二维测量是指相机像平面与被测平面平行，如图1所示；三维测量是指利用双目相机测量水下物体的尺寸参数。相机标定是进行水下测量的关键一步，其标定精度决定了测量的精度。本申请中使用的水下相机标定方法已经在申请另外公开的专利中描述。

为了解决现有技术中问题，本发明提供了一种基于视觉的水下测量方法，包括如下步骤：

步骤1：相机标定：

步骤1.1：空气中预标定：

步骤1.1.1：将两个相机固定在密封设备内，拍摄多幅平面标定图像，分别标定出两个相机的内部参数矩阵；

步骤1.1.2：通过拍摄的平面标定板的两幅图像标定出两个相机之间的基本矩阵；

步骤1.2：水下相机标定：

拍摄水下立体标定板图像，标定出每个相机的外部参数矩阵和相机中心距离折射平面的距离参数d；

步骤2：二维测量：

步骤2.1：将平面标定板放置在水中，并使其与相机成像平面平行，拍摄标定板照片；

步骤2.2：通过拍摄的标定板图片，检测每个角点的图像坐标，通过内参矩阵将其转换成二维物理坐标(x_i，y_i)；

步骤2.3：使用公式(8)计算出每个端点距离摄像机光轴的距离，最后使用公式(9)计算出物体的实际长度：

其中：

其中：

一种基于视觉的水下测量方法，包括如下步骤：

步骤1：相机标定：

步骤1.1：空气中预标定：

步骤1.1.1：将两个相机固定在密封设备内，拍摄多幅平面标定图像，分别标定出两个相机的内部参数矩阵；

步骤1.1.2：通过拍摄的平面标定板的两幅图像标定出两个相机之间的基本矩阵；

步骤1.2：水下相机标定：

拍摄水下立体标定板图像，标定出每个相机的外部参数矩阵和相机中心距离折射平面的距离参数d；

步骤2：三维测量：

使用标定后的水下双目视觉设备拍摄水下标定板图像；

通过公式(18)计算水下图像坐标对应的空气中的图像坐标，然后使用前向映射的双线性插值的方法将水下图像恢复成空气中的图像；

借助于空气中的双目测距方法，使用恢复后的空气中的图像还原三维信息，利用公式(19)计算物体的实际距离；

作为本发明的进一步改进，所述步骤1.1.1中，通过张氏标定法分别标定出两个相机的内部参数矩阵。

作为本发明的进一步改进，步骤1.2：水下相机标定：所述使用水下双目视觉系统拍摄水下立体标定板图像。

作为本发明的进一步改进，步骤1.2：水下相机标定：通过Tsai标定法标定出每个相机的外部参数矩阵和相机中心距离折射平面的距离参数d。

本发明的有益效果是：

本申请公开了一种水下尺寸测量方法，利用建立的较为准确的水下成像模型实现相机的精确标定。利用相机标定参数实现了水下的二维测量和双目的三维测量，通过实验验证了本申请的方法对于水下二维和三维测量的精度在±0.2mm之间。本申请公开的技术可以广泛应用于水下精确测量和精密探测。

附图说明

图1是本发明二维测量原理；

图2是本发明水下二维测量简化图；

图3是本发明水中长度计算方式；

图4是本发明极线约束示意图；

图5是本发明水下成像与空气中成像模型示意图；

图6是本发明双目测量示意图；

图7是本发明水下测量用的标定板；

图8a)至图8d)是水下二维测量误差，其中，图8a)是空气中的测量结果，图8b)是水下测量结果(d＝35.7mm)，图8c)是水下测量结果(d＝42.5mm)，图8d)是水下测量结果(d＝68.7mm)；

图9是本发明重建标定板部分；

图10a)至图10d)是水下三维测量及误差分析，其中，图10a)是角点三维信息，图10b)是拟合的标定板平面，图10c)是角点三维信息侧视图，图10d)是角点之间的距离误差。

具体实施方式

下面结合附图对本发明做进一步说明。

实施方式1.水下二维测量方法

假设相机已经经过标定，相机的焦距为f，相机距离物体的距离为Z，(u₀,v₀)为相机中心，通过透视成像模型可以求得图像中一点p(u,v)对应相机坐标系下的坐标(X_c，Y_c，Z_c)为：

然后将相机坐标系下的坐标转换世界坐标系下的坐标，令相机的旋转矩阵平移矩阵由相机的坐标到世界坐标变换关系可得：

由公式(2)可以推导出物体的三维坐标为：

求得物体的三维坐标后就可以对物体尺寸进行测量。如图2所示，图像中一点(u,v)对应于世界坐标系中的一点(x_w,y_w,z_w)，入射光线在折射平面发生折射，水和空气的折射率分别为n_air,n_water，光线在经过折射平面前后与相机光轴的夹角分别为θ_water,θ_air，像素坐标距离图像中心的实际物理距离为d_i，物体三维点距离光轴的距离为d_w，入射光线与折射平面的交点距离光轴的距离为d₀，假设相机已经经过标定，即相机内部参数已知，可以求取图像中像素点距离图像中心的物理距离

其中：fx,fy——相机两个方向的像素尺度；

(u₀,v₀)———图像中心的像素坐标。

由图2可知d_i、d_w与d₀之间存在如下对应关系：

由Snell定律可知：

n_airsinθ_air＝n_watersinθ_water (6)

通过公式(5)与公式(6)可以求得图像中像素点距离图像中心的物理距离与物体三维点距离光轴的距离的对应关系为：

最后可以得到物体三维点距离相机光轴的距离为：

其中：

由于折射的影响导致物体尺寸测量存在误差，采用余弦定理的方法来求取物体的准确尺寸，假设待测物体两端的端点在图像上成像点坐标分别为A(x_i,1,y_i,1)，B(x_i,2,y_i,2)，如图3所示。根据公式(8)可以求得图像点对应的物体三维点距离相机光轴的距离d_a,d_b以及射线OA,OB之间的夹角φ。

根据余弦定理可得，物体的实际长度为：

其中：

实施方式2.水下双目立体视觉三维测量方法

水下图像校正及极线约束是进行水下测量的关键步骤，如图4所示，已知双目视觉所成的两幅图像分别为I_l、I_r，在图像I_l中一点p_l在另一幅图像中的对应点为p_r，极线约束是指通过点p_l的位置可以计算出其在另一幅图像上对应的极线，且其对应点必定经过该直线。

水下极线的求取方法如下，建立水下的成像模型如式(10)：

两个相机对应的投影矩阵分别为M_l＝(R_l T_l)，M_r＝(R_r T_r)，图像I_l中一点p_l在另一个相机拍摄的图像I_r中对应的极线方程为：

其中为旋转对称矩阵，和空气中的成像模型不同，水下成像模型不再是透视成像模型，如果已知左右相机的内部参数矩阵分别为A_l，A_r，公式(11)可以记为：

从公式(12)可以看出极线约束与视觉系统的参数(相机内部参数和两相机结构参数)有关。如果将相机放置在空气中，由于空气中的模型为线性模型，即内部参数矩阵A_l，A_r为线性的，因此求取的极线为一条直线。水下环境中相机的内参数矩阵不只和相机的内部参数有关，还和拍照设备的参数相关，即：

在公式(13)中，相机的内部参数矩阵不再是线性的，因此根据该矩阵求取的极线为一条曲线。因此在水下环境中进行极线配准时，需要首先使用非线性的方法拟合出另一幅图像中对应的曲线方程，然后在该曲线上寻找匹配点。由于水下环境中求取的曲线方程十分复杂，因此对图像匹配造成了难度。因此在对双目相机拍摄的图像对进行极线配准之前需要将水下图像经过校正使之转换成对应的空气中的图像。

由于折射的作用导致水下成像不再是透视成像模型，所以导致极线不再是一条直线所以对双目重建中的极线校正造成了困难，通过水下相机标定方法获得相机参数，然后对图像进行校正，使水下的拍摄的图像映射到空气中，然后再对图像对进行双目校正。

如图5所示，AB为水中一条入射光线，在该射线上的所有点都在成像平面上映射为同一像素点P_i,射线AB在无穷远处在成像平面上映射为点P_b，射线CD为经过焦点C，并且与入射光线AB平行的射线，其在成像平面上映射为点P_b，P_a为物体坐标在空气环境下在成像平面映射的像素点，当物体坐标的景深也就是Z发生变化时，其成像点在点P_a P_b之间变化。将P_w在空气中的成像点P_a与射线CD的成像点进行比较，可以得到：

因此得出了点P_a与P_b之间的关系如公式(15)

通过式(15)可以得到

因此水下物体点在空气中实际的成像点坐标为

转换成像素坐标为

在实际情况中z＞＞f，z＞＞d，所以不同该物体点的景深的变化及z对水下图像的校正影响很小，可以忽略不计，因此可以通过预先标定的方式确定一个固定的景深值，然后就可以对水下图像进行校正。在校正后的两幅图像中检测特征点及匹配关系，利用公式(19)可以计算出特征点的三维坐标。

其中分别为左右两个相机坐标系之间的旋转与平移矩阵。

测量实验实例

水下二维测量实验

为了验证本发明公开的水下测量技术，分别对水下物体进行二维测量和三维测量式样。由于已知标定板上的棋盘格具有精确的长度，以标定板为例进行二维测量，图7左图标定板大小为12×9的棋盘格，每个棋盘格大小已知，为30mm×30mm，图7右图为检测到的角点。实验结果如图8a)至8d)所示，横轴为角点编号，纵轴为棋盘格角点间的距离，由于采用高精度的棋盘格，可以认为棋盘格间的距离为标准长度，通过水下测量后的距离与该值的差可作为测量误差，图8a)为在空气中进行二维测量实验的误差，平均误差为0.0612mm，图8b)，图8c)，图8d)为水下测量结果的误差，每组的测量平均误差分别为0.0745mm，0.0732mm，0.0623mm，达到了与空气中测量相当的精度。

水下三维测量实验

三维测量实验如图9所示，图9为水下放置的标定板，利用在其它专利中水下相机标定方法获得相机参数。由于两幅图像中的棋盘格角点具有结构化特征，检测出图像中的亚像素角点坐标后可以自然地获得匹配关系，利用标定出的双目视觉系统外参直接计算角点的三维坐标，图10a)至图10d为实验结果，其中图10a)，图10b)，图10c)分别为计算的角点三维坐标的不同视图，可以很容易的看出计算出的三维点在同一平面上。计算出棋盘格三维角点坐标后可以计算相邻两个角点间的距离l_w，而棋盘格的物理距离l_f是已知的，这可以用两个距离间的差|l_w-l_f|判断水下测量的误差，误差分布如图10d)所示，从图中可以看出测量误差小于0.2mm。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种基于视觉的水下测量方法，其特征在于，包括如下步骤：

步骤1：相机标定：

步骤1.1：空气中预标定：

步骤1.1.1：将两个相机固定在密封设备内，拍摄多幅平面标定图像，分别标定出两个相机的内部参数矩阵；

步骤1.1.2：通过拍摄的平面标定板的两幅图像标定出两个相机之间的基本矩阵；

步骤1.2：水下相机标定：

拍摄水下立体标定板图像，标定出每个相机的外部参数矩阵和相机中心距离折射平面的距离参数d；

步骤2：三维测量：

AB为水中一条入射光线，在该入射光线上的所有点都在成像平面上映射为同一像素点P_i,入射光线AB在无穷远处在成像平面上映射为点P_b，入射光线CD为经过焦点C，并且与入射光线AB平行的入射光线，其在成像平面上映射为点P_b，P_a为物体坐标在空气环境下在成像平面映射的像素点，当物体坐标的景深也就是Z发生变化时，其成像点在点P_a P_b之间变化；将P_w在空气中的成像点P_a与入射光线CD的成像点进行比较，得到：

因此得出了点P_a与P_b之间的关系如公式(15)

通过式(15)得到

因此水下物体点在空气中实际的成像点坐标为

转换成像素坐标为

在实际情况中z＞＞f，z＞＞d，所以不同该物体点的景深的变化及z对水下图像的校正影响忽略不计，因此通过预先标定的方式确定一个固定的景深值，然后对水下图像进行校正；在校正后的两幅图像中检测特征点及匹配关系，利用公式(19)计算出特征点的三维坐标

其中分别为左右两个相机坐标系之间的旋转与平移矩阵。

2.根据权利要求1所述的一种基于视觉的水下测量方法，其特征在于：所述步骤1.1.1中，通过张氏标定法分别标定出两个相机的内部参数矩阵。

3.根据权利要求1所述的一种基于视觉的水下测量方法，其特征在于：步骤1.2：水下相机标定：使用水下双目视觉系统拍摄水下立体标定板图像。

4.根据权利要求1所述的一种基于视觉的水下测量方法，其特征在于：步骤1.2：水下相机标定：通过Tsai标定法标定出每个相机的外部参数矩阵和相机中心距离折射平面的距离参数d。