CN112509065B - 一种应用于深海机械臂作业的视觉引导的方法 - Google Patents

Abstract

本发明提出了一种应用于深海机械臂作业的视觉引导的方法，包括以下步骤：S1、在空气中使用双目系统进行双目标定，得到相机的内外参数；S2、在机械臂上标记固定E个标记点，记录空气中标记点的位置，得到空气中标记点深度信息；S3、拍摄深海水下标记点的图像，记录标记点的位置，得到标记点深度信息；S4、校正三维坐标计算公式，从而校正折射；S5、拍摄深海水下目标物图像，计算三维坐标，实时反馈给机械臂。基于本发明，可以在未知的深海水下环境中对海水折射造成的影响进行补偿，不受海水淡水光照温度等等环境因素的限制，提高了测量的精度，节约了成本，操作简单，可以引导深海水下机械臂进行精准抓取工作。

Description

一种应用于深海机械臂作业的视觉引导的方法

技术领域

本发明涉及深海水下视觉定位的技术领域，尤其涉及一种应用于深海机械臂作业的视觉引导的方法。

背景技术

当前，陆地资源不断减少，环境恶化、能源短缺等问题凸显，而海洋蕴含着丰富的矿产、生物和能源，其开发与利用已成为世界各国的战略重点。水下智能精确作业模块可以完成作业目标自主定位、自主抓取等典型作业任务，有效减轻水下人员作业强度和难度，在海洋研究探测和资源开发方面具有重要应用价值。而视觉探测技术具有高准确度高速度等优点，具有广阔的应用前景。但是在实际的应用中，双目相机必须封装，在拍摄时，光线会经过水、防水罩、空气三种介质进入相机镜头，会受到海水折射的影响。

针对水下折射的影响，目前国内外研究学者提出了多种解决方法。Schechner等提出一种通过物理辅助来解决折射问题的方法，该方法通过使用特殊形状的光学部件防止折射现象的发生，但是由于其对光学部件的制作要求十分严格，难以实现。Chang，Yao-Jen等利用多目相机获取单一折射平面的图像，并用一个与深度有关的模型表示折射失真。但该方法附加条件过多，实现困难。Gedge，Jason等利用像素的对极曲线得到一个匹配代价量来补偿折射影响。Treibitz等分析了折射失真并利用模拟的方法近似展示了SVE的折射误差。Lu J等提出一种利用单目摄像机提取水下圆形目标三维信息的方法，该方法通过补偿抵消折射影响，但只适合于圆形目标。Shortis和Lavest等认为可以用镜头的高阶畸变来等效折射给图像带来的影响，据此提出高次畸变补偿法来消除折射给图像带来的形变。燕山大学的张文明等推导了像面和折射面不平行时的水下图像转换模型，并在此基础上对水下特征点进行了三维信息的恢复，但受转换条件的限制，对距离视觉系统较近的特征点三维信息的恢复精度不高。Agrawal等针对单摄像机多介质平面折射成像系统进行了建模，提出用折射共面约束、共线约束来求解模型参数,即折射平面法向量和光心到折射平面的距离，但其求解过程较为繁琐。chen等针对水下双目视觉系统，基于两摄像机对水下一被测点观测形成的折射光线必将交于观测点的条件，提出了利用两折射光线的共面约束对光心到平面玻璃防水罩的距离进行求解，但该方法需要事先知道折射平面的法向量。Yau等提出了一种基于不同光线折射率进行水下相机标定的方法，但由于该方法所需的水下防水发光靶标造价昂贵且对硬件要求高的因素，应用范围受到了限制。燕山大学的张文明等应用光线追踪法给出了多介质条件下的目标精确定位模型，并通过粒子群优化得到相应的模型参数，但由于优化评价函数的计算涉及二元四次方程的求解，一般情况下只能用其数值解近似，增大了系统误差。

由于海水折射率的不均匀性，上述这些方法虽然可以起到一定的矫正作用，但是并不能很好适应海水环境的变换。

发明内容

为了适用于深海环境，通过对海水折射进行校正，提高了测量精度，为此，本发明提出了一种应用于深海机械臂作业的视觉引导的方法，具体方案如下：

一种应用于深海机械臂作业的视觉引导的方法，包括以下步骤：

S1、在空气中使用双目系统进行双目标定，得到相机的内外参数；

S2、在机械臂上标记固定E个标记点，记录空气中标记点的位置，得到空气中标记点深度信息；

S3、拍摄深海水下标记点的图像，记录标记点的位置，得到标记点深度信息；

S4、校正三维坐标计算公式，从而校正折射；

S5、拍摄深海水下目标物图像，计算三维坐标，实时反馈给机械臂。

具体地说，步骤S1的具体步骤如下：

S11、制作一个H×I的棋盘格，棋盘图格点相距设定距离；

S12、用双目系统同时采集不同位姿棋盘格图若干组，保存图片；

S13、将图片导入到标定程序中进行角点检测并标定；

S14、如果标定误差小于0.5像素,标定完成，导出参数，否则剔除标定误差超过0.5像素的棋盘图，重复步骤S13和步骤S14；

S15、保存标定得到的相机内参和外参；

所述内参的矩阵为：

其中f表示双目相机的焦距，单位为mm，d_x和d_y表示像元尺寸，分别表示为x轴和y轴上的归一化焦距；u₀和v₀表示为图像坐标系的图像中心点；

所述外参的矩阵为：

其中R表示旋转矩阵，T表示平移矩阵。

具体地说，步骤S2具体如下：

S21、在机械臂上标记固定E个标记点，分别距离双目系统设定距离；

S22、用双目系统中的双目相机在空气中同时拍摄所有标记点，保存图片；

S23、将拍摄到的图片载入到双目系统的程序中，计算机械臂上固定所有标记点在空气中的深度信息Z_air1、Z_air2、……Z_aire。

具体地说，步骤S3具体为：

S31、用双目相机在深海水下同时拍摄已标定的E个标记点，保存图片；

S32、将拍摄到的图片载入到双目系统的程序中，计算机机械臂上E点在水下的深度信息Z_sea1、Z_sea2、……Z_seae。

具体地说，步骤S4具体为：

S41、分别计算水下与水上对应E个标记点在深度信息上对应的比值，k₁＝Z_air1/Z_sea1，k₂＝Z_air2/Z_sea2……k_e＝Z_aire/Z_seae；

S42、计算均值k＝(k₁+k₂……+k_e)/e；

S43、深海水下像素坐标与世界坐标之间的转换关系为：

其中u，v为像素坐标系下的坐标，X_w,Y_w,Z_w为世界坐标系下的坐标；

相机坐标系与世界坐标系之间的转换关系：

X_c,Y_c,Z_c为相机坐标系下的坐标。

具体地说，步骤S2中标记固定点数为5个。

具体地说，步骤S5具体步骤如下：

S51、用双目相机同时拍摄深海水下目标物，保存图片；

S52、将拍摄到的图片载入到双目系统的程序中，用校正过的公式计算三维坐标；

S53、将计算出来的三维坐标反馈给机械臂。

本发明的有益效果在于：基于本申请，可以在未知的深海水下环境中对海水折射造成的影响进行补偿，不受海水淡水光照温度等等环境因素的限制，提高了测量的精度，节约了成本，操作简单，可以引导深海水下机械臂进行精准抓取工作。

附图说明

图1为本发明提出的一种应用于深海机械臂作业的视觉引导的方法的流程图。

图2为水下成像模型。

图3为双目系统的原理示意图。

具体实施方式

参照图1-3所示，本发明提出一种应用于深海机械臂作业的视觉引导的方法，包括以下步骤：

S1、在空气中使用双目系统进行双目标定，得到相机的内外参数；具体如下：

S11、制作一个8×13的棋盘格，棋盘图格点相距20mm；

S12、用双目相机同时采集不同位姿棋盘格图25组，保存图片；

S13、将图片导入到matlab标定程序中进行角点检测并标定；

S14、如果标定误差小于0.5像素,标定完成，导出参数，否则剔除标定误差超过0.5像素的棋盘图，重复步骤S13和步骤S14；

S15、保存标定得到的相机内参和外参；

所述内参的矩阵为：

其中f表示双目相机的焦距，单位为mm，d_x和d_y表示像元尺寸，分别表示为x轴和y轴上的归一化焦距；u₀和v₀表示为图像坐标系的图像中心；

所述外参的矩阵为：

其中R表示旋转矩阵，T表示平移矩阵。

S2、在机械臂上标记固定E个标记点，记录空气中标记点的位置，得到空气中标记点深度信息；具体步骤如下：

S21、在机械臂上标记5个标记点，距离双目系统分别为0.45m,0.50m,0.55m，0.60m,0.65m；

S22、用双目系统中的双目相机在空气中同时拍摄5个标记点，保存图片；

S23、将拍摄到的图片载入到双目系统的程序中，计算机械臂上固定5个标记点在空气中的深度信息Z_air1、Z_air2、Z_air3、Z_air4、Z_air5。

S3、拍摄深海水下标记点的图像，记录标记点的位置，得到标记点在Z轴的坐标；具体步骤如下：

S31、用双目相机在深海水下同时拍摄已标定的5个点，保存图片；

S32、将拍摄到的图片载入到双目系统的程序中，计算机机械臂上5点在水下的深度信息Z_sea1、Z_sea2、Z_sea3、Z_sea4、Z_sea5。

S4、校正三维坐标计算公式，从而校正折射；具体为：

S41、分别计算水下与水上这5个标记点在深度信息上对应的比值，k₁＝Z_air1/Z_sea1，k₂＝Z_air2/Z_sea2；k₃＝Z_air3/Z_sea3、k₄＝Z_air4/Z_sea4、k₅＝Z_air5/Z_sea5；

S42、计算均值k＝(k₁+k₂+k₃+k₄+k₅)/5；

S43、深海水下像素坐标与世界坐标之间的转换关系为：

其中u，v为像素坐标系下的坐标，X_w,Y_w,Z_w为世界坐标系下的坐标；

相机坐标系与世界坐标系之间的转换关系：

X_c,Y_c,Z_c为相机坐标系下的坐标。

S5、拍摄深海水下目标物图像，计算三维坐标，实时反馈给机械臂。具体地说，

S51、用双目相机同时拍摄深海水下目标物，保存图片；

S52、将拍摄到的图片载入到双目系统的程序中，用校正过的公式计算三维坐标；

S53、将计算出来的三维坐标反馈给机械臂。

上述步骤S43中得出深海水下像素坐标与世界坐标转换公式的方法为：

由于双目相机在水下摄像时需要透过空气，玻璃，水三种介质会发生折射，在水中取一点P(X_w,Y_w,Z_w),该点经过水面折射后落在N((x_i，y_i)处,如果该点没有经过水面折射则落在M(x_m，y_m)处,根据光线传播路径，可得如下关系：

x_i＝f·tanα

x_w＝d·tanα+(z_w-f-d)tanβ

n_w·sinβ＝n_a·sin a

其中f表示相机焦距，a，β分别表示成像光线与水和空气界面的法线的夹角，n_w表示水的折射率，n_a表示空气的折射率，d表示空气与水的交界面离透镜焦距点的距离。

当角度比较小的时候，正弦和正切值近似相同都等于该角度值。因此可得：

x_i＝f·α

x_w＝d·α+(z_w-f-d)β

n_w·β＝n_a·a

将上式整理求解可得：

因此可知，点A距离双目相机中心的距离Z_w>>d和Z_w>>f时，可以推导如下关系：

由此可知当相机在水下摄像时，如果折射角较小时，在X轴上的比值等于折射率的大小。

由双目定位原理可得如下公式：

d＝|X_l-X_r|

化简可得：

其中X_l,X_r,Y为相机坐标系下的坐标，x,y,z为世界坐标系下的坐标，f为焦距，b为基线距离。

当相机在水下作业时，中d变成了原来的n_w/n_a倍，所以/>因此可以对焦距进行相应的补偿，变成原来的k倍,即可对海水的折射进行校正。在空气中像素坐标与世界坐标转换关系如下：

由上述推导可知在该公式对应的f上乘以k便得到了深海水下像素坐标与世界坐标转换公式。

双目相机引导机械臂在深海水下作业时，必须进行封装。在拍摄时，光线会经过水、防水罩、空气三种介质进入相机镜头，受到海水折射的影响。本发明可以适应海水环境的变换，对折射进行校正，提高定位精度，引导深海机械臂实现抓取工作。实现简单，在海洋资源开发领域具有广泛的应用场景。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种应用于深海机械臂作业的视觉引导的方法，其特征在于，包括以下步骤：

S1、在空气中使用双目系统进行双目标定，得到相机的内外参数；

步骤S1的具体步骤如下：

S11、制作一个H×I的棋盘格，棋盘图格点相距设定距离；

S12、用双目系统同时采集不同位姿棋盘格图若干组，保存图片；

S13、将图片导入到标定程序中进行角点检测并标定；

S14、如果标定误差小于0.5像素,标定完成，导出参数，否则剔除标定误差超过0.5像素的棋盘图，重复步骤S13和步骤S14；

S15、保存标定得到的相机内参和外参；

所述内参的矩阵为：

其中f表示双目相机的焦距，单位为mm，d_x和d_y表示像元尺寸，分别表示为x轴和y轴上的归一化焦距；u₀和v₀表示为图像坐标系的图像中心点；

所述外参的矩阵为：

其中R表示旋转矩阵，T表示平移矩阵；

S2、在机械臂上标记固定E个标记点，记录空气中标记点的位置，得到空气中标记点深度信息；

步骤S2具体如下：

S21、在机械臂上标记固定E个标记点，分别距离双目系统设定距离；

S22、用双目系统中的双目相机在空气中同时拍摄所有标记点，保存图片；

S23、将拍摄到的图片载入到双目系统的程序中，计算机械臂上固定所有标记点在空气中的深度信息Z_air1、Z_air2、……Z_aire；

S3、拍摄深海水下标记点的图像，记录标记点的位置，得到标记点深度信息；

步骤S3具体为：

S31、用双目相机在深海水下同时拍摄已标定的E个标记点，保存图片；

S32、将拍摄到的图片载入到双目系统的程序中，计算机机械臂上E点在水下的深度信息Z_sea1、Z_sea2、……Z_seae；

S4、校正三维坐标计算公式，从而校正折射；

S5、拍摄深海水下目标物图像，计算三维坐标，实时反馈给机械臂。

2.根据权利要求1所述的一种应用于深海机械臂作业的视觉引导的方法，其特征在于，步骤S4具体为：

S41、分别计算水下与水上对应E个标记点在深度信息上对应的比值，k₁＝Z_air1/Z_sea1，k₂＝Z_air2/Z_sea2……k_e＝Z_aire/Z_seae；

S42、计算均值k＝(k₁+k₂……+k_e)/e；

S43、深海水下像素坐标与世界坐标之间的转换关系为：

其中u，v为像素坐标系下的坐标，X_w,Y_w,Z_w为世界坐标系下的坐标；

相机坐标系与世界坐标系之间的转换关系：

X_c,Y_c,Z_c为相机坐标系下的坐标。

3.根据权利要求1所述的一种应用于深海机械臂作业的视觉引导的方法，其特征在于，步骤S2中标记固定点数为5个。

4.根据权利要求1所述的一种应用于深海机械臂作业的视觉引导的方法，其特征在于，步骤S5具体步骤如下：

S51、用双目相机同时拍摄深海水下目标物，保存图片；

S52、将拍摄到的图片载入到双目系统的程序中，用校正过的公式计算三维坐标；

S53、将计算出来的三维坐标反馈给机械臂。