CN111563921A - 一种基于双目相机的水下点云获取方法 - Google Patents

Abstract

本发明提供了一种基于双目相机的水下点云获取方法。首先，标定水下双目相机，并根据标定参数立体校正得到无畸变的图像；然后，设计基于多特征融合的立体匹配算法计算无畸变图像的视差图；最后，根据视差原理将二维坐标系中的每一个像素点映射到三维空间中，得到初始的点云数据，再对初始的点云数据进行下采样和离群点检测处理，得到最终的水下场景三维点云数据。本发明可以利用水下双目相机直接获得所拍摄场景的点云信息，利用所提出的立体匹配算法，解决了水下双目系统在图像成像对比度低、亮度差异大时点云获取失败的问题，具有很强的鲁棒性和更高的精度。

Description

一种基于双目相机的水下点云获取方法

技术领域

本发明属水下航行器视觉处理技术领域，具体涉及一种基于双目相机的水下点云获取方法。

背景技术

点云是某个坐标系下的多个点的集合。点云数据可以用于三维重建，高精度的三维点云数据通过算法可以拟合生成曲面，用于三维建模时细节更精细，建模速度更快；点云数据也可以用于测绘，将多个场景的点云拼接起来，观测者就可以得到一个范围内的地形地貌；点云数据还可以用于目标的定位，通过对比获取到的目标点云和目标的三维模型，可以快速准确地得到目标的位姿信息。

传统的点云可以通过激光雷达、深度相机和多目相机获取。通过激光雷达获取点云的方法在空气中应用广泛，该方法能快速地提供大范围点云信息，在自动驾驶和定位导航领域得到了深入研究，但是激光雷达设备成本高，不适合在水下机器人上批量装备；深度相机分为结构光相机和飞行时间相机，结构光相机的原理是通过红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集点云数据，飞行时间相机朝目标连续发射激光脉冲，然后用传感器接收反射光线，通过探测光脉冲的飞行往返时间来得到确切的目标物距离，从而形成点云数据，两者都只能在水中短距离内工作，而且容易受到水下悬浮物和其他杂质的干扰；多目相机获取点云的基础是相机之间的成像差异，因此它不会受到距离的约束，适合中短距离的目标感知。多目相机获取的点云精度完全取决于立体匹配算法的设计。但是多目相机是被动光相机，依赖于目标物体上反射的光线，因此水下多目相机在深水区工作时需要水下机器人自带光源，但这往往会导致搭载在水下机器人上的双目相机的图像成像对比度低、亮度差异大，这个成像特点给传统的立体匹配算法带来了很大挑战。

发明内容

为了克服现有技术的不足，本发明提供一种基于双目相机的水下点云获取方法。首先，标定水下双目相机，并根据标定参数矫正得到无畸变的图像；然后，设计多特征融合立体匹配算法计算无畸变图像的视差图；最后，根据时差原理将二维坐标系中的每一个像素点映射到三维空间中去，得到初始的点云数据，再对初始的点云数据进行下采样和离群点检测处理，得到最终的水下场景三维点云数据。本发明可以利用双目相机直接获得所拍摄场景的点云信息，且利用立体匹配算法，能够解决水下双目系统图像成像对比度低、亮度差异大的问题，具有很强的鲁棒性和更高的精度。

一种基于双目相机的水下点云获取方法，其特征在于步骤如下：

步骤1，标定水下双目相机：首先，利用双目相机的左右相机同时拍摄得到若干组水下标定图像，令拍摄得到的图像中的棋盘格板所占像素比例大于30％、标定板和相机之间的倾斜角度小于30度、图像包含标定板上的所有角点；然后，将这些图像导入Matlab标定工具包，计算左右相机各自的内参数和左右相机之间的外参数；再利用Matlab标定工具包对双目相机拍摄的所有图像进行校正，包括利用得到的内参数中的畸变参数对图像进行校正，使得图像无畸变，利用外参数中的旋转平移矩阵来旋转图像，使得双目相机中左右相机光轴平行、像平面处于共面；

步骤2，立体匹配：

步骤2.1：对于校正后的双目相机拍摄的左图像中每一个像素点，计算其多特征融合的匹配代价值，函数如下：

其中，C(p,d)表示像素点p在视差为d时的多特征融合匹配代价，p为像素点序号，p＝1,…,P，P为图像中的像素点总数，C_AD(p,d)表示像素点p在视差为d时的基于图像灰度的匹配代价值，按照

计算得到，i表示图像的R通道或G通道或B通道，I_i(p)表示左图像中像素点p的i通道的像素灰度值，I′_i(p+d)表示右图像中像素点p沿对极线平移d后的i通道的像素灰度值；C_census(p,d)表示像素点p在视差为d时的基于Census变换的匹配代价值，按照

计算得到，Census(p)表示对左图像进行Census变换后像素点p处的比特串，Census(p+d)表示右图像进行Census变换后像素点p沿对极线平移d后的像素比特串；C_grad(p,d)表示像素点p在视差为d时的梯度匹配代价值，按照

计算得到，

为横向梯度算子，代表该像素点处的梯度运算，

为竖向梯度算子；λ_AD表示灰度代价函数参数，λ_census表示Census变换代价函数参数，λ_grad表示梯度代价函数参数，λ_AD、λ_census和λ_grad的取值在[0,3]之间，α表示灰度代价幅值参数，β表示Census变换代价幅值参数，γ表示梯度代价幅值参数，α、β和γ的取值在[0,1]之间；

步骤2.2，代价聚合：利用左图像建立带有权重的无向图G(V,E)，其中，无向图G的节点V是左图像中的像素点，无向图G的边E是其相邻节点间的无序二元组合，边的权重为两个相邻节点之间的像素灰度梯度；利用右图像建立带有权重的无向图G’(V’,E’)，其中，无向图G’的节点V’是右图像中的像素点，无向图G’的边E’是其相邻节点间的无序二元组合，边的权重为两个相邻节点之间的像素灰度梯度；

采用Krustal算法将无向图G和G’整合为有向的最小生成树，然后，按照下式更新左图像中每个像素点的匹配代价：

C′(p,d)＝S(p,p_v)C(p_v,d)-[1-S²(p,p_v)]C(p,d) (2)

其中，C′(p,d)表示像素点p在视差为d时的新的匹配代价，p_v表示最小生成树中像素点p对应节点的父节点所对应的像素点，C(p_v,d)表示像素点p_v在视差为d时的多特征融合匹配代价，S(p,p_v)表示像素点p对应节点和其父节点之间的权重，

w(p,p_v)为像素点p和像素点p_v的像素灰度梯度，σ为高斯权重，取值[0,3]之间；

步骤2.3，计算视差图：对于左图像中每个像素点，计算多个视差的匹配代价值C′(p,d)，其中，d＝1,…,D，D是提前设定值，取值[24,64]之间；然后，取使匹配代价C′(p,d)的值达到最小的视差d，并把这个最小视差作为该像素点的视差值；所有像素点的视差值构成视差图；

步骤2.4：精化左图像的视差图：采用Sobel边缘检测算法对步骤2.3得到的视差图进行边缘检测，对于检测得到的每个边缘点，用与其相邻的匹配代价值最小的像素位置处的视差值代替该边缘点位置处的视差值，得到增强后的视差图；

然后，再按照下式对增强后的视差图中的每一个像素点进行亚像素增强：

其中，D^*(p)表示像素点p的亚像素级的视差值，D(p)表示增强后的视差图中像素点p处的视差值，C(p,d+1)表示像素点p在视差为D(p)+1时的多特征融合匹配代价值，C(p,D(p)-1)表示像素点p在视差为D(p)-1时的多特征融合匹配代价值，C(p,D(p))表示像素点p在视差为D(p)时的多特征融合匹配代价值；

步骤3，获取点云：对于步骤2得到的左图像视差图中每一个像素点，通过下式将它的二维坐标映射到三维空间：

其中，(x,y,z)表示像素点p在三维空间中的坐标，B表示双目相机的基线距，(u_p,v_p)表示像素点p在左相机像平面上的二维坐标，(u₀,v₀)表示左相机的光心偏移量，f表示左相机的焦距；

将左图像视差图中的所有像素点均按上式从二维空间映射到三维空间，得到水下场景的初始三维点云；

步骤4，点云处理：对步骤3得到的初始点云进行体素化网格下采样，再去除其中的离群点，得到最终的点云；所述的离群点为满足

的点，其中，p表示点的坐标值，

表示以点p为球心r为半径的球形邻域范围内所有点的坐标的均值，r的取值范围为[1,5]cm，σ_r表示以点p为球心r为半径的球形邻域范围内所有点的坐标的标准差。

本发明的有益效果是：由于采用了多特征融合立体匹配方法，使得水下双目系统可以克服水下图像成像对比度低、亮度差异大时点云获取失败的问题，具有鲁棒性强的特点；由于采用了视差精化技术，使得初始视差图更加平滑致密，提高了所计算出的点云的精度；由于采用了点云处理技术，使得初始的场景点云数据更加精确，点云可信度更高；由于采用了水下双目系统获取点云，使得点云获取更加方便可行，具有快速、成本低、实用性强的优点；本发明可以快速有效得获取水下场景的点云。

附图说明

图1是本发明的一种基于双目相机的水下点云获取方法流程图；

图2是采用双目相机拍摄的标定图像；

图3是水下环境视差图像；

图中，(a)-左相机拍摄的场景图像，(b)-右相机拍摄的场景图像，(c)-场景的视差图像；

图4是计算得到的初始点云示意图；

图中，(a)-点云的俯视图，(b)-点云的侧视图；

图5是点云处理示意图；

图中，(a)-处理前的点云示意图，(b)-处理后的点云示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

如图1所示，本发明提供了一种基于双目相机的水下点云获取方法。其具体实现步骤如下：

1、标定水下双目相机和进行图像校正

拍摄水下多组标定图片，用Zhang氏标定法标定双目相机。在拍摄图片过程中，尽量让棋盘格在左右图像中占30％以上的比例，在拍摄时保持标定板和相机之间的倾斜角度在30度之内，除此之外，标定图片应该包含整个标定板，相机视野内包含标定板上的所有角点，如图2所示。采集到棋盘格的图片之后，通过图片中棋盘格的角点坐标计算两个摄像机的内参和摄像机之间的外参，本发明采用Matlab中的标定工具包进行离线标定，标定得到的双目摄像机内外参数结果如表1所示。

表1

得到相机的标定参数后，用这些标定参数对相机拍摄的所有图像进行校正，首先保证单目相机的图像无畸变，其次保证双目相机的中左右相机的光轴平行，像平面处于共面状态。

2、通过立体匹配计算视差图

(1)计算多特征融合匹配代价

为了解决了水下双目系统在图像成像对比度低、亮度差异大时点云获取失败的问题，本发明将基于梯度、Census变换和图像灰度三种特征的匹配代价进行融合，并且，考虑到对直接线性累加容易使得某一个特征的代价计算值比重过大，影响到总的结果，本发明通过鲁棒函数1-exp(-x/λ)对各部分平滑处理后，组合形成最终的多特征融合匹配代价，具体表达式如下：

其中，C(p,d)表示像素点p在视差为d时的多特征融合匹配代价，p为像素点序号，p＝1,…,P，P为图像中的像素点总数。C_AD(p,d)、C_census(p,d)、C_grad(p,d)分别为基于图像灰度的代价、基于Census变换的代价和基于图像梯度的代价。λ_AD、λ_census和λ_grad是为了确保匹配代价融合时总的结果不会过分偏向于某一种匹配代价，取值在[0,3]之间，λ_AD表示灰度代价函数参数，在本实施例中取值为0.6，λ_census表示Census变换代价函数参数，在本实施例中取值为0.6，λ_grad表示梯度代价函数参数，在本实施例中取值为0.6。α、β和γ用来控制三种匹配代价计算结果在融合时的占比，取值在[0,1]之间，α表示灰度代价幅值参数，在本实施例中取值为0.1，β表示Census变换代价幅值参数，在本实施例中取值为0.6，γ表示梯度代价幅值参数，在本实施例中取值为0.3。

基于图像灰度的代价，是利用R、G、B3个通道灰度差值的平均值计算基于颜色的匹配代价，表达式如下：

其中，C_AD(p,d)表示像素点p在视差为d时的基于图像灰度的代价，i表示图像的R通道或G通道或B通道，I_i(p)表示左图像中像素点p的i通道的像素灰度值，I_i′(q)表示右图像中像素点q的i通道的像素灰度值，q＝p+d，即像素点q为像素点p在右图像中沿对极线平移d后对应位置的像素点。

为加强图像对于光照变化的鲁棒性，引入Census变换。对于左图中像素点p和右图中对应的像素点q，Census变换后的比特串分别为Census(p)和Census(q)，用两个比特串之间的汉明距离表示两个点的差异，则基于Census变化的匹配代价表达式如下：

其中，C_census(p,d)表示像素点p在视差为d时的基于Census变换的代价，

表示汉明距离算子。

基于图像梯度的代价是用图像像素点之间的信息加大图像边缘处的匹配代价，从而保留边缘。图像梯度的代价计算表达式如下：

其中，C_grad(p,d)表示像素点p在视差为d时的梯度代价，

为横向梯度算子，代表该像素点处的梯度运算，

为竖向梯度算子。

(2)最小生成树代价聚合

利用左图像建立带有权重w的无向图G(V,E)，其中，无向图G的节点V是图像中的像素点，无向图G的边E是相邻节点间的无序二元组合，边的权重为两个相邻节点p和r之间的像素灰度的梯度，具体表示为

同理，利用右图像建立带有权重的无向图G’。

初始的每一个像素点与上下左右的点都存在链接的边，每个边都有权重值，边的权重值即梯度越大，越可能是图像的边缘区域，图像边缘更可能是现实场景的边缘，为了将现实场景中同一物体聚合到一起，把边缘区域两侧的像素点分开，因此，在聚合时尽量保留梯度值小的边，去除梯度值大的边。基于这个思想，采用Krustal(克鲁斯特)算法把左相机和右相机图像的所有像素点整合成有向的最小生成树，即：首先，按像素点之间边的大小即梯度值，将所有的边从小到大进行排序，从小到大选取边，并将边两头的两个像素点看成一个连通域，以此类推直到整个图像的像素点都成为一个连通域，该步去除了很多梯度值较大的边；然后，将图像的左上角像素点当做第一个节点，每一条边为一层，遍历整个图像的像素点，以此实现对整个图像分层；最后，以层为单位对每一层的像素点进行代价聚合，每一个像素点的代价值C′(p,d)可以表示为它上一层的父节点p_v和它共同作用的结果，即：

C′(p,d)＝S(p,p_v)C(p_v,d)-[1-S²(p,p_v)]C(p,d) (9)

其中，C′(p,d)表示像素点p在视差为d时的新的匹配代价，p_v表示最小生成树中像素点p对应节点的父节点所对应的像素点，C(p_v,d)表示像素点p_v在视差为d时的多特征融合匹配代价，S(p,p_v)表示像素点p对应节点和其父节点之间的权重，

w(p,p_v)为像素点p和像素点p_v的像素灰度梯度，σ为高斯权重，取值[0,3]之间，在本实施例中取值为0.6。

(3)计算视差图

采用WTA原则选择左图像中每个像素点的视差值。在经过前面两个步骤(1)和(2)之后，可以得到左图像中每一个像素点p在视差为d时的匹配代价值，计算多个视差的匹配代价值C′(p,d)，其中，d＝1,…,D，D是一个提前设定的值，取值[24,64]之间，在本实施例中取值为64。WTA即赢者通吃原则，把代价值差异越小的点理解为匹配程度越高，对于每一个像素点p，选择一个使其匹配代价值达到最小的d，以此当做该像素点的视差值。对于每一个像素点都找到最终的视差值，组合每一个像素点的视差值为视差图，即得到左图像的视差图。

(4)视差精化

首先，进行视差图深度不连续区域调整。由于边缘处的视差值往往不精确，采用Sobel边缘检测算法对初始视差图像进行边缘像素点检测，对每一个边缘点，对比该点的匹配代价值和其邻域像素点的匹配代价值，用匹配代价值最小的像素点的视差代替该边缘点的视差，得到增强后的视差图。

然后，再按照下式对增强后的视差图中的每一个像素点进行亚像素增强：

其中，D^*(p)表示像素点p的亚像素级的视差值，D(p)表示增强后的视差图中像素点p处的视差值，C(p,d+1)表示像素点p在视差为D(p)+1时的多特征融合匹配代价值，C(p,D(p)-1)表示像素点p在视差为D(p)-1时的多特征融合匹配代价值，C(p,D(p))表示像素点p在视差为D(p)时的多特征融合匹配代价值；

如此，得到了双目相机校正后图像的连续致密的视差图，如图3(c)所示，图3(a)是实施例中左相机拍摄的场景图像，(b)为右相机拍摄的场景图像。

3、获取点云

对于步骤2得到的视差图中每一个像素点，通过下式将它的二维坐标映射到三维空间：

其中，(x,y,z)表示一个像素点在三维空间中的坐标，B表示双目相机的基线距，由标定步骤得出，d表示该像素点在视差图中的视差值，由步骤2计算得出，(u_p,v_p)表示该点在左摄像机像平面上的二维坐标，(u₀,v₀)表示左相机的光心偏移量。视差图中所有像素点均按上式进行坐标映射后，即可得到水下场景的三维点云。在计算得到三维信息后，可以通过软件对三维点云进行整合并将它们显示出来，完成三维点云的可视化。图4给出了采用VS编译环境中的PCL点云库编程实现的点云的可视化图像，其中，(a)为点云的俯视图，(b)为点云的侧视图。

4、点云处理

在双目相机获取点云数据时，由于设备精度、周围环境和算法误差等因素的影响，获取的点云数据中或多或少存在着一些噪声。用如下方法处理初始的点云数据：

首先，对步骤3得到的点云进行体素化网格下采样，即：创建一个三维体素网格，把原有的点云数据用体素网格等距离分割成很多小的空间三维立方体，然后求取每个小立方体内点的坐标均值，用这个点的坐标值表示一个区域内的所有点，实现点云数据的下采样。

然后，检测下采样后点云中的离群点，去除其中离群点并得到最终的点云。假定点云数据是服从某种分布的，这样就可以根据统计学模型定量衡量一个点的可信度，进而根据一个点p邻域内点集P的统计学分布来判断它是否是离群点。不同的分布假设会有不同的检测结果，本发明假定数据服从正态分布，点集的平均值和标准差分别为

和σ，如果点p满足

则它为离群点。本发明采用以点p为球心r为半径的球形邻域，r的取值范围为[1,5]cm。

对图4中的点云按上述过程进行处理，结果如图5所示，图5(a)为原点云图，其中有208000个点，下采样之后的点云数量为3122，选取参数r为3cm进行离群点检测，最终处理后的点云数量为2980，结果如图5(b)所示。可以直观看出，场景点云更加紧致，细节更加突出。实验证明，该发明能有效得到水下场景的点云数据，有利于开展后续的三维重构和目标定位等工作。

Claims (1)

1.一种基于双目相机的水下点云获取方法，其特征在于步骤如下：

步骤1，标定水下双目相机：首先，利用双目相机的左右相机同时拍摄得到若干组水下标定图像，令拍摄得到的图像中的棋盘格板所占像素比例大于30％、标定板和相机之间的倾斜角度小于30度、图像包含标定板上的所有角点；然后，将这些图像导入Matlab标定工具包，计算左右相机各自的内参数和左右相机之间的外参数；再利用Matlab标定工具包对双目相机拍摄的所有图像进行校正，包括利用得到的内参数中的畸变参数对图像进行校正，使得图像无畸变，利用外参数中的旋转平移矩阵来旋转图像，使得双目相机中左右相机光轴平行、像平面处于共面；

步骤2，立体匹配：

步骤2.1：对于校正后的双目相机拍摄的左图像中每一个像素点，计算其多特征融合的匹配代价值，函数如下：

其中，C(p,d)表示像素点p在视差为d时的多特征融合匹配代价，p为像素点序号，p＝1,…,P，P为图像中的像素点总数，C_AD(p,d)表示像素点p在视差为d时的基于图像灰度的匹配代价值，按照

计算得到，i表示图像的R通道或G通道或B通道，I_i(p)表示左图像中像素点p的i通道的像素灰度值，I′_i(p+d)表示右图像中像素点p沿对极线平移d后的i通道的像素灰度值；C_census(p,d)表示像素点p在视差为d时的基于Census变换的匹配代价值，按照

计算得到，Census(p)表示对左图像进行Census变换后像素点p处的比特串，Census(p+d)表示右图像进行Census变换后像素点p沿对极线平移d后的像素比特串；C_grad(p,d)表示像素点p在视差为d时的梯度匹配代价值，按照

计算得到，

为横向梯度算子，代表该像素点处的梯度运算，

为竖向梯度算子；λ_AD表示灰度代价函数参数，λ_census表示Census变换代价函数参数，λ_grad表示梯度代价函数参数，λ_AD、λ_census和λ_grad的取值在[0,3]之间，α表示灰度代价幅值参数，β表示Census变换代价幅值参数，γ表示梯度代价幅值参数，α、β和γ的取值在[0,1]之间；

步骤2.2，代价聚合：利用左图像建立带有权重的无向图G(V,E)，其中，无向图G的节点V是左图像中的像素点，无向图G的边E是其相邻节点间的无序二元组合，边的权重为两个相邻节点之间的像素灰度梯度；利用右图像建立带有权重的无向图G’(V’,E’)，其中，无向图G’的节点V’是右图像中的像素点，无向图G’的边E’是其相邻节点间的无序二元组合，边的权重为两个相邻节点之间的像素灰度梯度；

采用Krustal算法将无向图G和G’整合为有向的最小生成树，然后，按照下式更新左图像中每个像素点的匹配代价：

C′(p,d)＝S(p,p_v)C(p_v,d)-[1-S²(p,p_v)]C(p,d) (2)

其中，C′(p,d)表示像素点p在视差为d时的新的匹配代价，p_v表示最小生成树中像素点p对应节点的父节点所对应的像素点，C(p_v,d)表示像素点p_v在视差为d时的多特征融合匹配代价，S(p,p_v)表示像素点p对应节点和其父节点之间的权重，

w(p,p_v)为像素点p和像素点p_v的像素灰度梯度，σ为高斯权重，取值[0,3]之间；

步骤2.3，计算视差图：对于左图像中每个像素点，计算多个视差的匹配代价值C′(p,d)，其中，d＝1,…,D，D是提前设定值，取值[24,64]之间；然后，取使匹配代价C′(p,d)的值达到最小的视差d，并把这个最小视差作为该像素点的视差值；所有像素点的视差值构成视差图；

步骤2.4：精化左图像的视差图：采用Sobel边缘检测算法对步骤2.3得到的视差图进行边缘检测，对于检测得到的每个边缘点，用与其相邻的匹配代价值最小的像素位置处的视差值代替该边缘点位置处的视差值，得到增强后的视差图；

然后，再按照下式对增强后的视差图中的每一个像素点进行亚像素增强：

其中，D^*(p)表示像素点p的亚像素级的视差值，D(p)表示增强后的视差图中像素点p处的视差值，C(p,d+1)表示像素点p在视差为D(p)+1时的多特征融合匹配代价值，C(p,D(p)-1)表示像素点p在视差为D(p)-1时的多特征融合匹配代价值，C(p,D(p))表示像素点p在视差为D(p)时的多特征融合匹配代价值；

步骤3，获取点云：对于步骤2得到的左图像视差图中每一个像素点，通过下式将它的二维坐标映射到三维空间：

其中，(x,y,z)表示像素点p在三维空间中的坐标，B表示双目相机的基线距，(u_p,v_p)表示像素点p在左相机像平面上的二维坐标，(u₀,v₀)表示左相机的光心偏移量，f表示左相机的焦距；

将左图像视差图中的所有像素点均按上式从二维空间映射到三维空间，得到水下场景的初始三维点云；

步骤4，点云处理：对步骤3得到的初始点云进行体素化网格下采样，再去除其中的离群点，得到最终的点云；所述的离群点为满足

的点，其中，p表示点的坐标值，

表示以点p为球心r为半径的球形邻域范围内所有点的坐标的均值，r的取值范围为[1,5]cm，σ_r表示以点p为球心r为半径的球形邻域范围内所有点的坐标的标准差。

Images