CN113744351A

CN113744351A - 基于多介质折射成像的水下结构光测量标定方法及系统

Info

Publication number: CN113744351A
Application number: CN202111030950.5A
Authority: CN
Inventors: 王玉坤; 陈晓波; 张洪辉; 习俊通; 盛莹; 董言真
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2021-09-03
Filing date: 2021-09-03
Publication date: 2021-12-03
Anticipated expiration: 2041-09-03
Also published as: CN113744351B

Abstract

本发明提供一种基于多介质折射成像的水下结构光测量标定方法及系统，包括：在空气中，对结构光测量单元进行多姿态标定，采集多张不同视角的标定板图像，辨识求解相机内参；然后，在水下，对结构光测量单元进行多姿态标定，采集多张不同视角的标定板图像，辨识求解相机旋转矩阵和平移矩阵初值；之后，基于水下多介质折射成像模型，对相机旋转矩阵和平移矩阵初值进行迭代优化，计算相机旋转矩阵和平移矩阵终值；最后，在水下，通过对标定板设定距离的多次移动，进行光平面标定，基于共面标靶的标定原理进行线面求交，计算求解光平面方程。本发明标定过程简单，标定效率高，标定耗时短，标定重投影误差小，标定辨识参数准确。

Description

基于多介质折射成像的水下结构光测量标定方法及系统

技术领域

本发明涉及水下测量领域，具体地，涉及的是基于多介质折射成像的水下结构光测量标定方法及系统。

背景技术

结构光测量技术是基于光学三角法测量原理形成的，由投射器将特定的结构光投射至物体表面，后由摄像机获取所形成的特征点的图像，利用三角法测量原理可求得特征点与摄像机镜头主点之间的距离。相较于其他的视觉测量方法，结构光视觉测量以其视场大、量程广、光条图像信息易于提取、精度较高、实时性较强及主动受控等特点，近年来广泛应用于工业环境中。

水下结构光测量技术就是将结构光测量技术应用于水下测量，水下光线散射、衰减及水下环境浑浊等会影响测量的范围与精度，光线在水-玻璃-空气的多介质面折射现象会导致成像的失真。由于水下测量环境的复杂性，如何减弱或消除水下环境对结构光视觉测量精度的影响，国内外许多学者作了相关的研究，主要可分为两类，一类是等效补偿法，忽略水-玻璃-空气的多介质折射现象，直接将折射影响等效到最终的图像畸变上；另一类是理论补偿法，即从水下成像过程入手，从原理角度研究水-玻璃-空气多介质成像畸变的原因和补偿方法。

(1)等效补偿法。法国学者Jean Marc Lavest等人在论文Dry cameracalibration for underwater applications(Machine Vision and Applications,2003,13:245–253)中通过将空气中标定结果与水下标定结果进行对比，认为空气中的相机焦距和水下的相机焦距存在一定的比例关系，从而提出相机在水下应用时的焦距与折射率存在一定的数学关系，一定程度上，为相机在水中的应用提供指导意义。但该结论只是对实验现象的总结，缺乏严格的理论依据与推导过程，且该标定方法至今仍未得到普及。

(2)理论补偿法。印度学者Amit Agrawal等人在论文A theory of multi-layerflat refractive geometry(IEEE Conference on Computer Vision and PatternRecognition,2012,3346-3353)中基于轴向相机结构，根据折射约束以及共面约束依次迭代求取光线传播的方向以及光线上的特殊点，从而提出多介质折射成像模型，但该模型并不是简单的3D空间点与2D图像点的映射关系，因而求解效率比较低，同时，投影方程次数与折射次数相关，使用该模型难以得到多平面折射成像的全局最优解。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于多介质折射成像的水下结构光测量标定方法及系统。

根据本发明的第一方面，提供一种基于多介质折射成像的水下结构光测量标定方法，所述方法包括：

步骤1：初始化相机和标定板位姿，基于张正友标定原理，采用标定板，在空气中，对结构光测量单元进行多姿态标定，采集多张不同视角的标定板图像，求解相机的非线性模型，考虑径向畸变和切向畸变影响，根据单应性矩阵辨识求解相机内参；

步骤2：在水下，采用标定板，对结构光测量单元进行多姿态标定，在工作距离范围内，采集多张不同视角的标定板图像，求解相机的非线性模型，根据单应性矩阵辨识求解相机旋转矩阵和平移矩阵初值；

步骤3：基于水下多介质折射成像模型，忽略玻璃介质的厚度影响，对步骤2的相机旋转矩阵和平移矩阵初值进行迭代优化，计算相机旋转矩阵和平移矩阵终值；

步骤4：在水下，于有效的工作距离内移动标定板，将标定板按照设定距离多次移动，进行水下光平面标定。在光平面标定时，移动标定板到指定的位置，先关闭激光器，通过工业相机拍摄标定板图像，后打开激光器，通过工业相机拍摄激光条纹图像；基于步骤1得到的相机内参、步骤3得到的相机旋转矩阵和平移矩阵终值以及共面标靶的标定原理进行线面求交，计算求解得到光平面与工业相机之间的位置关系；

优选的，步骤1中：

空气中的相机的非线性模型是基于小孔成像原理，其数学表达式如下：

其中，[x_w y_w z_w]是世界坐标系的三维坐标，R表示世界坐标系到相机坐标系的旋转变换矩阵，T表示世界坐标系到相机坐标系的平移变换矩阵，f是相机焦距，[u₀ v₀]是图像坐标系原点在像素坐标系下的坐标，[s_x s_y]是图像坐标系单位距离上的像素数，[u v]是像素坐标系的像素坐标，z_c是相机坐标系的Z轴坐标。从世界坐标系的三维坐标到像素坐标系的像素坐标，依次表示世界坐标系到相机坐标系的刚体变换、相机坐标系到图像坐标系的透视投影、图像坐标系到像素坐标系的二次变换。

为保证结构光测量单元的精度，空气中相机的非线性模型考虑径向畸变和切向畸变影响，采用镜头三阶畸变模型进行标定，镜头三阶畸变模型的数学表达式如下：

其中：[k₁ k₂ k₃]是镜头1阶、2阶、3阶径向畸变系统，[P₁ P₂]是镜头1阶、2阶切向畸变系数，x_d是畸变后的图像横坐标，y_d是畸变后的图像纵坐标，x是畸变前的图像横坐标，y是畸变前的图像纵坐标，r²＝x²+y²。

优选的，步骤3中：所述水下多介质折射成像模型，其数学表达式具体如下：

其中，n_water是水折射率，n_air是空气折射率，n₀＝n_water/n_air，d是相机光心到玻璃介质距离，[x_u y_u]是图像坐标系的坐标，

f是相机焦距，k是系数因子。

优选的，步骤4中，还包括：

将相机获取的上、下激光条纹进行分割，得到上激光条纹图像和下激光条纹图像；

对得到的上激光条纹图像和下激光条纹图像进行光心提取；

求解得到相应的上、下光平面方程。

根据本发明的第二方面，提供一种基于多介质折射成像的水下结构光测量标定系统，包括平面标定板和结构光测量单元，所述水下标定系统采用上述的基于多介质折射成像的水下结构光测量标定方法进行标定。

与现有技术相比，本发明实施例具有如下至少一种有益效果：

本发明提供的基于多介质折射成像的水下结构光测量标定方法及系统，实现了结构光测量技术的水下应用，可减弱水下环境对结构光视觉测量精度的影响，具有极其重要的工程应用价值，整个标定过程简单，标定效率高，标定耗时短，标定重投影误差小，标定辨识参数准确。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一较优实施例中的水下结构光测量标定流程图；

图2是本发明一较优实施例中的水下结构光测量标定系统布局示意图；

图3是本发明一较优实施例中的光平面标定原理图；

图4是本发明一较优实施例中的图像分割方法流程图；

图5是本发明一较优实施例中的光心提取方法流程图；

图中：

1为标定板，2为工业相机，3为线激光器，4为上位机。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

在本发明的实施例中，提供一种上述实施例的基于多介质折射成像的水下结构光测量标定方法，具体流程如图1所示。参照图1所示，本实施例水下结构光测量标定方法中：在空气中，对结构光测量单元进行多姿态标定，采集多张不同视角的标定板图像，辨识求解相机内参；然后，在水下，对结构光测量单元进行多姿态标定，采集多张不同视角的标定板图像，辨识求解相机旋转矩阵和平移矩阵初值；之后，基于水下多介质折射成像模型，对相机旋转矩阵和平移矩阵初值进行迭代优化，计算相机旋转矩阵和平移矩阵终值；最后，在水下，通过对标定板设定距离的多次移动，进行光平面标定，基于共面标靶的标定原理进行线面求交，计算求解光平面方程。

具体的，结合上述的构思和图2的水下结构光测量标定系统布局示意图，详细说明具体的水下结构光测量标定方法。如图2所示，水下结构光测量标定系统中，包括标定板1，以及由1个工业相机2和2个线激光器3组成结构光测量单元。具体水下结构光测量标定方法包括如下步骤：

步骤1：初始化工业相机2和标定板1位姿，基于张正友标定原理，采用标定板1，在空气中，对结构光测量单元进行多姿态标定，采集多张不同视角的标定板1图像，求解工业相机2的非线性模型，考虑径向畸变和切向畸变影响，根据单应性矩阵辨识求解相机内参。

本实施例中，标定板1可以采用HC 200-100 7x7圆斑标定板。当然，这仅仅是一个举例，在其他实施例中，也可以是其他的标定板。

本实施例中，空气中的相机的非线性模型是基于小孔成像原理，其数学表达式如下：

本实施例中，可以利用Levenberg-Marquardt算法求解工业相机2的非线性标定模型。

作为优选方式，为保证结构光测量单元的精度，空气中相机的非线性模型考虑径向畸变和切向畸变影响，采用镜头三阶畸变模型进行标定，镜头三阶畸变模型的数学表达式如下：

其中：x_d是畸变后的图像横坐标，y_d是畸变后的图像纵坐标，x是畸变前的图像横坐标，y是畸变前的图像纵坐标，r²＝x²+y²。

步骤2：在水下，采用标定板1，对结构光测量单元进行多姿态标定，在工作距离范围内，采集多张不同视角的标定板1图像，求解工业相机2的非线性模型，根据单应性矩阵辨识求解相机旋转矩阵和平移矩阵初值。

本实施例中，可以借助标定支架调整标定板1位姿，具体移动的路径和方式可以根据实际需要进行设计。

本实施例中，可以利用Levenberg-Marquardt算法求解工业相机2的非线性模型。

步骤3：采用水下多介质折射成像模型，忽略玻璃介质厚度影响，对步骤2的相机旋转矩阵和平移矩阵初值进行迭代优化，计算相机旋转矩阵和平移矩阵终值等参数。

本实施例中，可以利用Levenberg-Marquardt算法，对相机旋转矩阵和平移矩阵初值进行迭代优化。

本实施例中，采用水下多介质折射成像模型作为相机水下标定模型，其数学表达式如下：

k是系数因子。

步骤4：在水下，通过对标定板1设定距离的多次移动，进行水下光平面标定。在光平面标定时，移动标定板1到指定的位置，先关闭线激光器3，通过工业相机2拍摄标定板图像，后打开线激光器3，通过工业相机2拍摄激光条纹图像。

本实施例中，可以借助标定支架移动标定板1，在结构光测量单元的有效工作距离内，多次移动标定板，进行水下光平面标定。

具体的，如图3所示，是结构光测量单元的光平面标定方法原理图，标定时，基于步骤1得到的相机内参、步骤3得到的相机旋转矩阵和平移矩阵终值以及共面标靶的标定原理进行线面求交。光条A₁B₁和A_iB_i是光平面π_s在标定平面π₁和标定平面π_i上的投影，在标定平面π₁坐标已知的情况下，基于图像处理可得到光条A₁B₁在相机图像平面π_c的投影信息a₁b₁，同理，在标定平面π_i坐标已知的情况下，基于图像处理可得到光条A_iB_i在相机图像平面π_c的投影信息a_ib_i，继而得到光平面与相机之间的位置关系。

作为优选方式，在光平面标定过程中，结构光测量单元采用双光刀线激光三角测量原理，拍摄的激光条纹图像内两道激光条纹依次对应两组光平面方程，故需要对激光条纹图像进行分割。如图4所示，是结构光测量单元的图像分割方法流程图。在图像域，依次通过高斯滤波、二值化处理、膨胀腐蚀去杂点、连通区域拟合、面积阈值筛选等操作，将相机获取的上、下激光条纹进行分割，得到上激光条纹图像和下激光条纹图像。

进一步的，得到上激光条纹图像和下激光条纹图像后，对其进行光心提取。如图5所示，是结构光测量单元的光心提取方法流程图。首先，估计激光条纹的初始中心位置；其次，计算激光条纹的边界阈值，两边扩散寻找边界，确定激光条纹宽度；然后，利用初始中心和激光条纹边界阈值计算激光条纹中心；最后，基于灰度重心法对图像分割后的上、下激光条纹进行中心坐标值提取。

至此，结构光测量单元的水下标定工作完成，求解得到相应的上、下光平面方程。后续测量时，可集成多组结构光测量单元，在水下有效工作距离范围内，对大型测量对象进行测量。测量时，多组结构光测量单元的线激光器3同时发射激光条纹，然后，多组结构光测量单元的工业相机2同时捕捉获取激光条纹图像，进行图像分割和光心提取，得到上、下激光条纹中心，基于步骤3的水下多介质折射成像模型和步骤4的上、下光平面方程进行三维重建，获取大型测量对象的三维点云数据，用于后续相关参数的计算。

基于上述相同技术构思，本发明另一实施例中还提供一种基于多介质折射成像的水下结构光测量标定系统，该系统包括平面标定板和结构光测量单元，所述水下标定系统采用上述任一项实施例中的基于多介质折射成像的水下结构光测量标定方法进行标定，可减弱水下环境对结构光视觉测量精度的影响，标定辨识参数准确。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

Claims

1.一种基于多介质折射成像的水下结构光测量标定方法，其特征在于，所述方法包括：

S1：初始化相机和标定板位姿，基于张正友标定原理，采用标定板，在空气中，对结构光测量单元进行多姿态标定，采集多张不同视角的标定板图像，求解相机的非线性模型，考虑径向畸变和切向畸变影响，根据单应性矩阵辨识求解相机内参；

S2：在水下，采用标定板，对结构光测量单元进行多姿态标定，在工作距离范围内，采集多张不同视角的标定板图像，求解相机的非线性模型，根据单应性矩阵辨识求解相机旋转矩阵和平移矩阵初值；

S3：基于水下多介质折射成像模型，忽略玻璃介质的厚度影响，对S2的相机旋转矩阵和平移矩阵初值进行迭代优化，计算相机旋转矩阵和平移矩阵终值；

S4：在水下，于有效的工作距离内移动标定板，将标定板按照设定距离多次移动，结合S1得到的相机内参和S3得到的相机旋转矩阵和平移矩阵终值，进行水下光平面标定。

2.根据权利要求1所述的基于多介质折射成像的水下结构光测量标定方法，其特征在于，S1中：

其中，[x_w y_w z_w]是世界坐标系的三维坐标，R表示世界坐标系到相机坐标系的旋转变换矩阵，T表示世界坐标系到相机坐标系的平移变换矩阵，f是相机焦距，[u₀ v₀]是图像坐标系原点在像素坐标系下的坐标，[s_x s_y]是图像坐标系单位距离上的像素数，[u v]是像素坐标系的像素坐标，z_c是相机坐标系的Z轴坐标；从世界坐标系的三维坐标到像素坐标系的像素坐标，依次表示世界坐标系到相机坐标系的刚体变换、相机坐标系到图像坐标系的透视投影、图像坐标系到像素坐标系的二次变换。

3.根据权利要求2所述的基于多介质折射成像的水下结构光测量标定方法，其特征在于，S1中：空气中相机的非线性模型考虑径向畸变和切向畸变影响，采用镜头三阶畸变模型进行标定，镜头三阶畸变模型的数学表达式如下：

4.根据权利要求1所述的基于多介质折射成像的水下结构光测量标定方法，其特征在于，S3中：所述水下多介质折射成像模型，其数学表达式具体如下：

f是相机焦距，k是系数因子。

5.根据权利要求1-4任一项所述的基于多介质折射成像的水下结构光测量标定方法，其特征在于，S4中，所述进行水下光平面标定，包括：

在光平面标定时，移动标定板到指定的位置，先关闭激光器，通过工业相机拍摄标定板图像；

然后打开激光器，通过工业相机拍摄激光条纹图像；

最后，基于S1的相机内参、S3的相机旋转矩阵和平移矩阵终值以及共面标靶的标定原理进行线面求交，计算求解得到光平面与工业相机之间的位置关系。

6.根据权利要求5所述的基于多介质折射成像的水下结构光测量标定方法，其特征在于，在光平面标定过程中，结构光测量单元采用双光刀线激光三角测量原理，拍摄的激光条纹图像内两道激光条纹依次对应两组光平面方程，此时进一步对激光条纹图像进行分割。

7.根据权利要求6所述的基于多介质折射成像的水下结构光测量标定方法，其特征在于，所述对激光条纹图像进行分割，包括：

在图像域，依次采用高斯滤波、二值化处理、膨胀腐蚀去杂点、连通区域拟合、面积阈值筛选操作，将相机获取的上、下激光条纹进行分割，得到上激光条纹图像和下激光条纹图像。

8.根据权利要求6所述的基于多介质折射成像的水下结构光测量标定方法，其特征在于，S4中，光平面标定还包括：

对得到的上激光条纹图像和下激光条纹图像进行光心提取；

求解得到相应的上、下光平面方程。

9.根据权利要求8所述的基于多介质折射成像的水下结构光测量标定方法，其特征在于，所述对得到的上激光条纹图像和下激光条纹图像进行光心提取，包括：

首先，估计激光条纹的初始中心位置；

其次，计算激光条纹的边界阈值，两边扩散寻找边界，确定激光条纹宽度；

然后，利用初始中心和激光条纹边界阈值计算激光条纹中心；

最后，基于灰度重心法对图像分割后的上、下激光条纹进行中心坐标值提取。

10.一种基于多介质折射成像的水下结构光测量标定系统，其特征在于，包括平面标定板和结构光测量单元，所述水下标定系统采用权利要求1-9任一项所述的基于多介质折射成像的水下结构光测量标定方法进行标定。