CN111709985A

CN111709985A - 一种基于双目视觉的水下目标测距方法

Info

Publication number: CN111709985A
Application number: CN202010525569.5A
Authority: CN
Inventors: 王宁; 田嘉禾; 李春艳; 陈帅
Original assignee: Dalian Maritime University
Current assignee: Dalian Maritime University
Priority date: 2020-06-10
Filing date: 2020-06-10
Publication date: 2020-09-25
Anticipated expiration: 2040-06-10
Also published as: CN111709985B

Abstract

本发明公开了一种基于双目视觉的水下目标测距方法，属于计算机视觉领域，该方法包括以下步骤：采用改进的水下标定算法,进行相机的标定,得到相机的内外参数,获得水下目标校正后的双目图像，利用校正后的双目图像进行立体匹配获取图像视差，利用获取的图像视差通过相似三角形原理解算得到角点深度，完成水下目标的距离测试，该方法在空气双目测距的算法基础上，结合相机的水下成像模型，更加全面的考虑了水下因素对相机标定的影响，添加了折射率等因素，增强了相机在水下工作时的图像校正能力，采用改进的Harris角点检测算法，可减缓水下图像角点的聚簇现象，并且避免了算法中阈值的选择，减少误匹配点，提高了图像匹配的正确率与精度。

Description

一种基于双目视觉的水下目标测距方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于双目视觉的水下目标测距方法。

背景技术

陆地双目视觉系统和水下双目视觉系统的最大区别在光线的传播介质发生了变化，陆上的摄像机和拍摄物体均处于空气中，而水下成像过程中，拍摄物体位于水下，而两个平行放置的摄像机必须处在空气中，摄像机的光轴垂直于分界面，并且二者平行放置，中间用透明的防水玻璃罩分割，光线在传播的过程中会在不同介质的分界面发生折射现象，影响着标定内外参数的精度。因此后续的建模以及实验要考虑折射现象对成像的影响因素。

针对水下成像变形的问题，采用适用于水下的成像模型，根据空气中的三角测量法，确定水下模型中的三维空间点之间的对应关系，以适用于水下标定的要求；针对水下检测角点聚簇现象，导致所获图像视差精度低的问题，提出改进的Harris角点提取方法，使用归一化互相关NCC方法进行匹配操作，获取粗略匹配对，通过聚类筛选，获得较高精度的匹配结果，得到高精度视差图，进而解算的图像深度。

双目立体视觉系统主要分为双目图像获取、双目图像标定、立体校正、立体匹配和三维重建五大环节。其中，图像标定与立体匹配是双目立体视觉系统获取图像深度信息的关键技术，决定着深度信息恢复的精度。空气中的标定模型已趋于完善，但是针对水下环境还没有固定的标定方法与模型。目前水下双目测距方法大多沿用空气中的双目算法，并未结合水下成像问题对算法进行改善。因此，针对水下成像的特点改善成像变形问题成为水下目标测距的重点研究对象。

发明内容

根据现有技术存在的问题，本发明公开了一种基于双目视觉的水下目标测距方法，包括以下步骤：

S1:采用改进的水下标定算法,进行相机的标定,得到相机的内外参数,获得水下目标校正后的双目图像；

S2:利用校正后的双目图像进行立体匹配获取图像视差；

S3:利用获取的图像视差通过相似三角形原理解算得到角点深度，完成水下目标的距离测试。

进一步地：所述利用校正后的双目图像进行立体匹配获取图像视差包括以下步骤：

S2-1：采用改进的Harris角点检测算法进行双目图像的角点特征检测；

S2-2：使用相似性测度NCC方法来对双目图像进行粗匹配，获得多个角点对，所述多个角点对构成匹配点集，所述角点对连接构成多条直线；

S2-3：使用聚类方法，将斜率值数量最多的直线所对应的角点对构建为数据组，对数据组内角点采用RANSAC运算进行细匹配，得到匹配点集的最终匹配结果，即获取匹配后的图像视差。

进一步地：所述改进的Harris角点检测算法进行双目图像的角点特征检测包括以下步骤：

S2-1-1:对校正后双目图像进行分块，对分块后的每个整幅图像中每个像素点进行角点提取操作，获取矩阵M，利用特征值计算出每块像素的R值，剔除掉 R<0的点；

S2-2-2:将检测出的角点按照R值大小顺序保存在各自图像块所在的数组 Si(Ni)中，其中Ni为第i个图像块中检测出的角点的数目，得到每块图像中的所有角点；

S2-2-3:挑选包含角点数目最少的图像块，以该数目为基准，通过R值将其他图像块的角点筛选到该数目，将最后筛选出的点作为最终被检测出的角点。

进一步地，所述改进的水下标定算法模型如下：

其中，n₀＝n_air/n_water为空气与水的相对折射率，M为包含相机旋转平移参数的矩阵，A为相机内部参数矩阵，k为坐标转换参数，r为折射点与成像点之间的距离，f为焦距，d为相机光心到空气与水分界面的距离，(u,v)^T为水下目标点在像素坐标系下的坐标，(x_u,y_u)^T为水下目标在图像坐标系下的坐标， (x_w,y_w,z_w)^T为水下目标点在世界坐标系下的坐标。

由于采用了上述技术方案，本发明提供的一种基于双目视觉的水下目标测距方法，在空气双目测距的算法基础上，结合相机的水下成像模型，更加全面的考虑了水下因素对相机标定的影响，添加了折射率等因素，增强了相机在水下工作时的图像校正能力，采用改进的Harris角点检测算法，可减缓水下图像角点的聚簇现象，并且避免了算法中阈值的选择，减少误匹配点，提高了图像匹配的正确率与精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为四大坐标系示意图；

图2为摄像机坐标透视原理图；

图3为水下相机成像模型图；

图4为双目测距原理图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

首先结合空气中的相机成像模型，利用标定方法将像素坐标系下的坐标恢复到三维立体实际场景需要四个坐标系，分别是像素坐标系(PCS)，图像坐标系(ICS)，相机坐标系(CCS)以及世界坐标系(WCS)，图1为四大坐标系示意图，其中，像素坐标系以图像左上角位置O_p为原点，以O_p为交点的相邻两边为横轴和纵轴，坐标(u，v)则代表该像素在对应存储矩阵中的行数和列数，像素坐标系以像素为单位来表征点在图片中的位置，但在实际应用中，这样并不能准确的对点进行定位，因而引入了以微米为单位的图像坐标系。

图2为摄像机坐标透视原理图；图像坐标系以图2中的Oi(u₀,v₀)为原点，设每一个像素点在图像坐标轴方向上的长度分别为dx,dy，则图像坐标系下每个元素的位置与像素坐标系之间的关系为；

在相机坐标系中，O_c为成像设备的光心，z_c为成像设备的光轴，其方向与成像平面垂直，f＝O_cO_i为焦距，图3为水下相机成像模型图。利用投射投影原理，相机坐标系与图像坐标系之间的关系可描述为：

由于成像设备可以根据不同的需要放置在不同的位置，为便于说明目标在空间中的位置所在，需要制定一个坐标系来描述成像设备的地理位置，世界坐标系由x_w,y_w,z_w轴组成，WCS与CCS的变换关系能够用外部参数矩阵M表示，其中 R是3×3的旋转矩阵，T是3×1的平移向量，

综上，摄像机模型由四大坐标系互相转换而成，世界坐标系与像素坐标系之间的关系可以表述为：

当相机在空气中成像时，通常采用上述模型进行相机的标定，消除图像径向畸变与切向畸变，实现双目图像的校正，再将由标定过程中获得的标定板各个角点的坐标带入上述方程，获得相机的内外参数。

考虑到搭载于水下机器人本体的相机通常安装在密封舱内，因此，忽略密闭舱玻璃的影响，将折射模型等价为一次由水进入空气的折射过程，图3为水下相机成像模型图，图中的θ_water和θ_air分别表示入射光线和折射光线与折射法向量之间的夹角，(α_ωβ_ωγ_ω)和(α_aβ_aγ_a)分别表示入射光线与折射光线的方向向量，(x_r y_r z_r)表示入射光线与折射平面的交点坐标，d表示折射平面与相机中心即透镜中心的距离。f为相机的焦距。假设摄像机镜头光轴垂直于玻璃盖板，因此在摄像机坐标下，相机镜头光轴方向向量可以表示为(0,0,1)^T，所以入射光线与折射光线方向向量之间的关系可以用以下式子来表示：

由snell定律和角度转换关系可以求得：

再由向量点积公式可以得到：

根据式(6)(7)得：

设[x_u,y_u]^T为像素点在成像平面上的二维物理坐标，[x_c,y_c,z_c]^T为其在摄像机坐标系下的坐标，[x_r,y_r,z_r]^T为光线与折射平面交点的相机坐标。r为折射点与成像点间的光线长度，即

入射光线方向向量与成像点坐标之间的关系为：

将水下目标的像机坐标与折射点的相机坐标关系式带入可得：

结合物体成像点图像坐标与实际物体世界坐标之间的转化关系，可以得到目标完整的水下成像模型：

其中n₀＝n_air/n_water为空气与水的相对折射率，

分别为摄像机的外参数矩阵与内参数矩阵，如此，利用上述模型经过改进的水下标定算法，改善水下成像变形问题，完成双目图像校正；

S2:利用校正后的双目图像进行立体匹配获取图像视差；

采用Harris角点检测算法完成双目图像的特征检测，具体实施步骤如下:创建一个大小恒定的窗口，在经校正后的图像上自由滑动，比较滑动前后两种情况下图像的灰度变化，如果对于任何方向的滑动，该区域的灰度都有变化，则可以认为区域中含有角点，滑动前后对应的窗口像素点灰度变化描述如下：

E(u,v)＝∑w(x,y)[I(x+u,y+u)-I(x,y)]² (12)

其中[u,v]是窗口W的偏移量；w(x,y)是窗口函数，代表图像中每个部分的权值，本发明中使用常数来描述窗口函数；I(x,y)是像素在(x,y)位置的图像灰度值。

对式(12)进行泰勒一阶展开得：

其中I_x与I_y分别为像素点在(x,y)位置时x方向与y方向的梯度。

令

则灰度变化方程最终描述为：

对协方差矩阵M进行对角化分析，可得出矩阵M的特征值可以作为评价角点是否的因素，因此，使用如下函数对图像角点进行度量:

其中λ₁,λ₂为矩阵M的两个特征值，k为经验参数，取值为0.05。

传统的Harris角点检测算法利用上述角点检测响应函数来衡量图像中的每个像素块，通过比较图像中每块区域的R值与阈值T，来选取一定量的角点，但水下拍摄到的图像特征点稀疏，且由于水下非均匀光源的影响，易导致角点聚簇现象。而且，图像角点的检测数量与阈值的选取关系密切，即阈值的选取一定程度上影响着立体匹配的效果。

本发明采用改进的Harris角点检测算法一方面避免角点聚簇情况的发生，另一方面，免除了阈值的选取，提高匹配精度。

改进的Harris角点检测算法，包括如下步骤：

在角点检测前首先对标定校正后的图像进行分块，之后对分块后的整幅图像中每个像素点进行角点提取操作，获取矩阵M，利用特征值计算出每块像素的R值，剔除掉R<0的点；

将检测出的角点按照R值大小顺序保存在各自图像块所在的数组Si(Ni)中，其中Ni为第i个图像块中检测出的角点的数目如此得到每块图像中的所有角点， R值较大的点为易检测点；

最后选取每块图像中的易检测点作为最终被检测出的角点，即在Ni个角点中选取k_i×N_i个角点作为最终角点(k∈[0,1]，且k_i×N_i＝N_min，N_min为角点数目最少值所对应的图像块中检测出的角点数，N_min≥1)；

解决角点聚簇的问题后，再加入临近点剔除策略：选用一个尺寸更小的固定窗口对整幅图像进行处理，仅保留窗口中R值最大的像素点，以完成剔除临近点的目的。

在得到标定校正后的左右两幅图像的角点后，下一步就要对提取出的角点进行粗匹配，找两幅图像角点之间的对应关系，这是自动配准的关键步骤，本发明使用相似性测度NCC方法来匹配角点，其原理为在校正后的图像内任意一个像素点构建一个匹配窗口，然后对于目标图像构建同样大小的窗口，对两个窗口进行相似性测度。NCC计算公式如式(16)所示

其中，W_p为建立的匹配窗口，I₁(u+i,v+j)和I₂(u+i,v+j)分别代表左图像和右图像在(u+i,v+j)位置的灰度值，

代表图像在固定窗口位置的灰度均值。

采用归一化NCC方法，对左右两幅图像上的像素点进行相似性测度，当测度值为-1时，表明两个窗口完全不相似；当测度值为1时，则表明两个窗口完全相同。通过设定阈值，淘汰掉相似度较低的角点对，寻找出左右两幅图像上所有可能对应的角点，完成角点的粗匹配；

相似性测度完成后，将分辨率相同的两幅图像经粗匹配后的图像置于同一坐标系中，用直线分别连接两幅图像中的匹配角点，计算出每条直线的斜率，使用聚类方法，将斜率值数量最多的直线所对应的角点对构建为数据组，对数据组内角点采用RANSAC运算进行细匹配，得到最新的匹配点集最为最终匹配结果，如此获得对应角点对的图像坐标。

S3:利用获取的图像视差通过相似三角形原理解算得到角点深度，完成水下目标的距离测试；

根据双目测距原理，如图4所示，P为待测物体上的某一点，O_l与O_r分别为两个相机的光心，f为相机焦距，b为双目相机基线距离，P点成像坐标分别为(u_l,v_l) 与(u_r,v_r)。根据相似三角形原理：

解算得到角点深度Z，如此获得任意一点P的三维坐标(X,Y,Z)。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于双目视觉的水下目标测距方法，其特征在于：包括以下步骤：

S2:利用校正后的双目图像进行立体匹配获取图像视差；

2.根据权利要求1所述的一种基于双目视觉的水下目标测距方法，其特征在于：所述利用校正后的双目图像进行立体匹配获取图像视差包括以下步骤：

S2-3：使用聚类方法，将斜率值数量最多的直线所对应的角点对构建为数据组，对数据组内角点采用RANSAC运算进行细匹配，得到匹配点集的最终匹配结果。

3.根据权利要求2所述的一种基于双目视觉的水下目标测距方法，其特征在于：所述改进的Harris角点检测算法进行双目图像的角点特征检测包括以下步骤：

S2-1-1:对校正后双目图像进行分块，对分块后的每个整幅图像中每个像素点进行角点提取操作，获取矩阵M，利用特征值计算出每块像素的R值，剔除掉R<0的点；

S2-2-2:将检测出的角点按照R值大小顺序保存在各自图像块所在的数组Si(Ni)中，其中Ni为第i个图像块中检测出的角点的数目，得到每块图像中的所有角点；

4.根据权利要求1所述的一种基于双目视觉的水下目标测距方法，其特征在于：所述改进的水下标定算法模型如下：

其中，n₀＝n_air/n_water为空气与水的相对折射率，M为包含相机旋转平移参数的矩阵，A为相机内部参数矩阵，k为坐标转换参数，r为折射点与成像点之间的距离，f为焦距，d为相机光心到空气与水分界面的距离，(u,v)^T为水下目标点在像素坐标系下的坐标，(x_u,y_u)^T为水下目标在图像坐标系下的坐标，(x_w,y_w,z_w)^T为水下目标点在世界坐标系下的坐标。