CN110044300A - 基于激光器的两栖三维视觉探测装置及探测方法 - Google Patents

Abstract

本发明涉及一种基于激光器的两栖三维视觉探测装置及探测方法，属于三维视觉探测装置技术领域。本发明利用点、线激光器搭配提供主动特征的陆上双目立体视觉测量和水下多特征结构光测量相结合的两栖可测量三维物体并获得其位置和姿态的装置。该方法成功的将25条线激光、1个点激光作为特征，解决了双目立体视觉被动测量的技术难题，同时以点激光为标志位，匹配其余光条，避免了光条由于水下复杂环境引起的错误识别，提高了匹配准确率。每幅图可以获得25倍相比于传统结构光测量的数据，从而获得了水下清晰的物体特征数据，高精度的求解出复杂、高遮挡、点云稀疏等多种复杂情况下的三维位置姿态。

Description

基于激光器的两栖三维视觉探测装置及探测方法

技术领域

本发明涉及一种基于激光器的两栖三维视觉探测装置及探测方法，属于三维视觉探测装置技术领域。

背景技术

早在20世纪80年代美国国家标准局就预计,检测任务的80％乃至90％将由视觉测量系统来完成,该预测至今已基本变成现实。近年来,随着机器视觉的迅速发展,机器视觉技术的快速性、精确性、智能化特性已广泛应用到各行各业中。

目前，公知的水下三维探测装置，有声学探测和光学探测两种途径，声学探测技术探测距离远，但成像的空间分辨率较差，难以完全适应高精度的要求；光电探测技术分辨率高，但光线在水中迅速衰减，探测距离短，而且在深海情况下需要辅助照明。现在主要采用特殊的光电成像探测方法在保证分辨率和精度的情况下满足对测量距离的要求，包括距离选通光电成像技术，激光线同步扫描成像技术，偏振光成像技术，双目立体视觉探测与结构光探测技术等。

双目立体视觉测量技术其原理是：由两台摄像机从不同角度获取目标物体的两幅数字图像，或者一台摄像机在不同时刻从不同角度获取目标物体的两幅数字图像，并基于视差原理恢复原物体的三维几何信息，实现目标物体的三维探测。结构光三维视觉测量技术是基于光学三角法测量原理。其利用相距一定距离的激光投射器和摄像机，将一定模式的结构光投射于被测物体表面，形成调制光条，经由摄像机获取后形成光条的二维图像，经过一定运算即可重现物体表面的三维特征。

但是，由于测量环境的复杂性，尤其是光照情况的影响，其应用也面临更多的技术问题与不可避免的缺陷。首先，对摄像机的标定提出了更高的要求，通用的陆上标定方法所获得的摄像机参数不能直接运用。其次，对于水下双目立体视觉，光的折射致使极限约束不再准确。再次，由于光线在水中传播的衰减、散射，以及水体情况的影响，双目立体视觉的有效探测距离较低。

发明内容

针对现有技术存在的上述缺陷，本发明提出了一种基于激光器的两栖三维视觉探测装置及探测方法。

本发明第一个目的是，提出了一种基于激光器的两栖三维视觉探测装置，包括：

控制装置，用于发送图像采集信号、传输图像信息、运行计算得出标定结果和三维扫描点云结果以及获得物体识别结果；

传输装置，为信号交换板(300)，负责传送采集图像命令、传输图像信息；

测量装置，包括线激光器(301)、LED照明装置(302)、工业相机(303)、点激光器(304)、滤光片(305)，其中，工业相机(303)，通过信号交换板(300)与控制装置相连，用于采集图像信息；左右两工业相机(303)的光轴夹角在30°-60°之间，LED照明装置(302)位于两个工业相机(303)内侧，单独电源控制；滤光片(305)平行于工业相机(303)镜头安装，线激光机(301)位于两工业相机(303)中间，平行排列安装；点激光器(304)位于中间位置，陆上为双目立体视觉提供主动特征，水下作为结构光视觉的一部分；

控制装置通过网线与传输装置连接，传输装置独立电源供电同时网线连接测量装置。

优选地，所述传输装置，同测量装置一起封装于防水外壳内；控制装置，为计算机，独立于封装体。

优选地，所述工业相机(303)与滤光片平行，点激光器(304)、线激光器(301)与玻璃平面垂直。

优选地，所述点激光器(304)，用于标定基准点，提供识别特征；所述线激光器(301)，用于发出线激光，作为结构光视觉的组成部分同时为双目立体视觉提供主动特征；点激光器(304)的竖向位置位于相邻两个线激光器(301)之间，且线激光器(301)与点激光器(304)的轴线平行。

优选地，所述工业相机(303)下方安装有LED面阵光源，LED面阵光源安装在T型光源支架上，在LED面阵光源内侧安装有点激光器(304)和线激光器(301)，点激光器(304)和线激光器(301)的照射方向与LED面阵光源基本保持一致，且光源照射角度可以调整，保证光照均匀。

本发明第一个目的的效果是：(1)本发明所述的基于激光器的两栖三维视觉探测装置:采用激光器提供主动特征，成功了解决了经典双目视觉中需要在被测物体上粘贴标识的被动测量的技术难题。(2)采用25个激光器，同时提供25个线特征，解决了结构光测量方法中每幅图像特征少的问题。(3)采用点激光器作为光条的标识点，减少光条的误匹配率，提高整体测量精度。(4)实现陆上应用双目立体视觉原理，水下应用结构光测量原理的水陆两栖测量。

本发明第二个目的是，提出了一种基于激光器的两栖三维视觉探测装置的探测方法，包括如下步骤：

S1、陆上双目标定(400)：左右两个摄像机同时拍摄编码点靶标，靶标摆放位置需遍历整个视场，同时采用五姿态法，获得陆上双目结构的参数；

S2、陆上光平面标定(401)：利用标定好的双目结构参数，对拍摄获取的激光光条进行匹配处理，获取摄像机与光平面的位置参数，利用点激光确定其余25条光条的世界坐标与图像坐标之间的一一对应关系；

S3、水下相机标定(402)：应用双目水下折射模型，在水下环境中标定双目参数；

S4、水下结构光标定(403)：水下利用结构光视觉原理确定水下光平面与相机的位置关系；

S5、三维物体测量(404)：利用25个线激光外加1个点激光，作为主动特征，获取三维物体点云数据；

S6、三维物体重建(405)：陆上利用外极线进行匹配，获得三维物体坐标；水下利用光平面提供第三维度信息，求解三维点云；利用点云与模型的匹配，或者根据点云特征自动识别物体，并求解其位置姿态参数。

优选地，所述S1中，分别利用左右相机摄像机坐标系与靶标所在世界坐标系的转换关系，获得左右相机的摄像机坐标系之间的R、T矩阵；

左右相机摄像机坐标系与世界坐标系的转换关系矩阵RT_a、RT_b：

则左右相机坐标系之间的转换关系为：

其中：

优选地，所述S2中，获取摄像机与光平面的位置参数通过如下步骤获得：

假设像面F_a上任一像点(X_a,Y_a)对应于过透视中心O_a的一条射线；该射线在摄像机a坐标系中的方程是：

将此射线转换到摄像机b坐标系中：

然后可以得到此射线在像面F_b上投影点的坐标：

因此，像面F_a上的一点对应像面F_b上的一条直线；于是当u＝0时，得到像面F_b上的外极点

同理，像面F_b上的任意一点与像面F_a上的一条直线相对应；同时可以得到像面F_a上的外极点

在此基础上，可以得到空间任意一点在像面F_a和像面F_b上对应外极线之间的几何关系；设像面F_a上过E_a的外极线斜率为S_a，与它对应的像面F_b上过E_b的外极线斜率为S_b，具体计算过程如下：

首先给出像面F_a上过E_a的外极线方程：

那么它在摄像机a坐标系中的向量表达式是：

将向量变换到摄像机b的坐标系中得到向量其中

摄像机a的透视中心O_Ca在摄像机b的坐标系下的坐标表达式为：

进而可以得到O_CbO_Ca所代表的向量其中

已知向量和可以得到外极面的法向量；采用点法式平面方程表达式，在摄像机b坐标系下外极面方程可表示为：

A(x-x₀)+B(y-y₀)+C(z-z₀)＝0

表示外极面过已知点(x₀,y₀,z₀)，且法向量的方向数位：A、B、C；因为存在关系所以有：

在摄像机b的坐标系中像面F_b的平面方程为：

z＝f_b

交线方程：

得到交线的斜率表达式：

利用对偶性原则，可得：

通过外极线匹配，计算得出激光光条在相机坐标系的三维坐标。

优选地，所述S5中，摄像机坐标系o_cx_cy_cz_c和世界坐标系o_wx_wy_wz_w之间的转换关系为：

光平面在世界坐标系下的每个位置上的表达式为Ax+By+Cz+D＝0；

根据透视投影模型，可知点P的像素坐标和摄像机坐标满足：

将以上三式联立可以构成求解点P(x_w,y_w,z_w)坐标的方程组：

由此已知物点的像素坐标与世界坐标，就可求解得出光平面的结构参数；进而求得光平面与相机的位置关系。

优选地，所述S6中，基于模型的识别分为离线处理部分和在线匹配部分；离线处理包括3D模型的特征点提取、特征点描述和获得投票向量；在线匹配部分包括3D场景点云的前期处理、特征点提取、特征点描述、对应对匹配、3D霍夫投票、初始配准、精确配准；从而获得位姿估计值；

其中所述特征点描述采用shot描述子，分两步实现；

步骤1：根据特征点球邻域信息建立局部参考坐标系,对特征点的球邻域分别沿径向、经度和纬度方向进行区域划分；通常径向划分为2，经度划分为8，纬度划分为2，总共32个小区域；

步骤2：分别统计每个小区域内的法向量夹角余弦值分布情况，法向量划分为11个bin；最终shot的长度为：32×11＝352。

本发明第二个目的的效果是：本发明所述的基于激光器的两栖三维视觉探测装置的探测方法，采用自动识别与模型匹配两种方式还原三维物体的位置和姿态，以点激光为标志位，匹配其余光条，避免了光条由于水下复杂环境引起的错误识别，提高了匹配准确率；每幅图可以获得25倍相比于传统结构光测量的数据，从而获得了水下清晰的物体特征数据，高精度的求解出复杂、高遮挡、点云稀疏等多种复杂情况下的三维位置姿态。

附图说明

图1：是本发明的双目立体视觉标定示意图；

图2：是本发明的结构光视觉标定示意图；

图3：是本发明所述装置的俯视图；

图4：是本发明所述装置的主视图；

图5：是本发明所述方法的流程图。

具体实施方式

为了使本发明目的、技术方案更加清楚明白，下面结合实施例，对本发明作进一步详细说明。

实施例1：

图1示出本发明一实施例的双目立体视觉标定示意图，左右相机(107、108)同时拍摄编码点靶标，获取不同位置下的靶标五姿态图像(105、106)。靶标姿态分别为：系统正对姿态(100)、向上倾斜姿态(101)、向下倾斜姿态(102)、向左倾斜姿态(103)、向右倾斜姿态(104)。

图2示出本发明一实施例的结构光视觉标定示意图，图示激光器(200)、相机坐标系(201)、像面(202)、像面坐标系(203)、像素坐标系(204)、激光平面坐标(205)、物点(206)、世界坐标(207)。首先利用张正友的多平面标定法，对摄像机的内参数与外参数包括径向畸变和切向畸变参数进行标定。然后，对激光光平面进行标定。具体实现步骤如下：

步骤1：将靶标变换多个位置，每个位置下直接得到在靶标坐标系下的点。

步骤2：每个位置下进行单目标定，得到从世界坐标系到摄像机坐标系的关系。

步骤3：将每个位置下得到点变换到摄像机坐标系中。

步骤4：从摄像机坐标系变换到靶标第一个位置坐标系。

步骤5：拟合光平面，获得光平面与摄像机坐标的位置关系。

实施例2：

图3至图4示出本发明一实施例的示意性结构图，如图所示，该探测装置包括工业相机(303)、点激光器(304)、线激光器(301)，滤光片(305)，LED照明装置(302)和通信装置(300)。

其中，所述点激光器提供识别特征，所述线激光器作为结构光视觉的组成部分同时为双目立体视觉提供主动特征，所述通信装置连接相机与计算机，负责传送采集图像命令、传输图像信息。

图5示出本发明提供一种视觉探测装置的实施操作方法。具体实现步骤如下：

步骤1：陆上双目标定(400)，左右两个摄像机同时拍摄编码点靶标。靶标摆放位置需遍历整个视场，同时采用五姿态法。获得陆上双目立体视觉结构的参数。

在一具体实施例中：

分别利用左右相机摄像机坐标系与靶标所在世界坐标系的转换关系，获得左右相机的摄像机坐标系之间的R、T矩阵。

左右相机摄像机坐标系与世界坐标系的转换关系矩阵RT_a、RT_b：

则左右相机坐标系之间的转换关系为：

其中：

步骤2：陆上光平面标定(401)，利用标定好的双目结构参数，对拍摄获取的激光光条进行匹配处理，获取摄像机与光平面的位置参数。

在一具体实施例中：

像面F_a上任一像点(X_a,Y_a)对应于过透视中心O_a的一条射线。该射线在摄像机a坐标系中的方程是：

将此射线转换到摄像机b坐标系中：

然后可以得到此射线在像面F_b上投影点的坐标：

因此，像面F_a上的一点对应像面F_b上的一条直线。于是当u＝0时，得到像面F_b上的外极点

同理，像面F_b上的任意一点与像面F_a上的一条直线相对应。同时可以得到像面F_a上的外极点

在此基础上，可以得到空间任意一点在像面F_a和像面F_b上对应外极线之间的几何关系。设像面F_a上过E_a的外极线斜率为S_a，与它对应的像面F_b上过E_b的外极线斜率为S_b，具体计算过程如下：

首先给出像面F_a上过E_a的外极线方程：

那么它在摄像机a坐标系中的向量表达式是

将向量变换到摄像机b的坐标系中得到向量其中

摄像机a的透视中心O_Ca在摄像机b的坐标系下的坐标表达式为

进而可以得到O_CbO_Ca所代表的向量其中

已知向量和可以得到外极面的法向量。采用点法式平面方程表达式，在摄像机b坐标系下外极面方程可表示为

A(x-x₀)+B(y-y₀)+C(z-z₀)＝0

表示外极面过已知点(x₀,y₀,z₀)，且法向量的方向数位：A、B、C。因为存在关系所以有

在摄像机b的坐标系中像面F_b的平面方程为：

z＝f_b

交线方程

得到交线的斜率表达式

利用对偶性原则，可得

通过外极线匹配，计算得出激光光条在相机坐标系的三维坐标。

步骤3：水下相机标定(402)，应用双目水下折射模型，在水下环境中重新标定相机参数。

步骤4：水下结构光标定(403)，水下利用结构光视觉原理确定水下光平面与相机的位置关系。

在一具体实施例中：

摄像机坐标系o_cx_cy_cz_c和世界坐标系o_wx_wy_wz_w之间的转换关系为

光平面在世界坐标系下的每个位置上的表达式为Ax+By+Cz+D＝0。

根据透视投影模型，可知点P的像素坐标和摄像机坐标满足：

将以上三式联立可以构成求解点P(x_w,y_w,z_w)坐标的方程组：

由此已知物点的像素坐标与世界坐标，就可求解得出光平面的结构参数。进而求得光平面与相机的位置关系。

步骤5：三维物体测量(404)，利用25个线激光外加1个点激光，作为主动特征，获取三维物体点云数据。

步骤6：三维物体重建(405)，陆上激光器提供主动特征，利用外极线进行匹配，获得三维物体坐标；水下利用光平面提供第三维度信息，求解获得三维点云。利用点云与模型的匹配，或者根据点云特征自动识别物体，并求解其位置姿态参数(406)。

在一具体实施例中：

基于模型的识别分为离线处理部分和在线匹配部分。离线处理包括3D模型的特征点提取、特征点描述和获得投票向量。在线匹配部分包括3D场景点云的前期处理、特征点提取、特征点描述、对应对匹配、3D霍夫投票、初始配准、精确配准。从而获得位姿估计值。

其中所述特征点描述采用shot描述子，分两步实现。

步骤1：根据特征点球邻域信息建立局部参考坐标系,对特征点的球邻域分别沿径向(内外球)、经度(时区)和纬度方向(南北半球)进行区域划分。通常径向划分为2，经度划分为8，纬度划分为2，总共32个小区域。

步骤2：分别统计每个小区域内的法向量夹角余弦值分布情况，法向量划分为11个bin。最终shot的长度为：32×11＝352。

陆上利用编码点靶标，遍历整个相机视场，靶标摆放采用五姿态法，进行单个相机的标定。获取单个相机的内参数。再进行陆上双目标定，验证单目标定结果，获取左右两个相机之间的位置转换矩阵。进行参数优化、反投影验证、测量验证，确定测量误差在允许范围内。利用标定好的双目立体视觉参数，匹配激光光条，获得光平面与相机的位置关系。应用点激光作为标识点，确定激光线条在世界坐标系与相面坐标系中的对应关系。至此，陆上标定完成，可进行三维数据采集。陆上以25条线激光与1个点激光为特征，采用外极线匹配法进行双目立体视觉测量。

水下重新进行标定过程，光平面与相机位置的标定，采用结构光标定原理。同时，由二维图像数据得到三维物体坐标过程，采用光平面提供第三维信息的结构光还原物体世界坐标原理。标定完成后，可进行水下三维测量。

由上述测量获得的点云数据，依据测量物体的复杂度，可选择自动识别物体模式，或者模型匹配模式，求解计算三维物体的位置和姿态信息。

本发明可广泛运用于三维视觉探测装置场合。

以上所述仅为本发明的较佳实施例而己，并不以本发明为限制，凡在本发明的精神和原则之内所作的均等修改、等同替换和改进等，均应包含在本发明的专利涵盖范围内。

Claims (10)

1.一种基于激光器的两栖三维视觉探测装置，其特征在于，包括：

控制装置，用于发送图像采集信号、传输图像信息、运行计算得出标定结果和三维扫描点云结果以及获得物体识别结果；

传输装置，为信号交换板(300)，负责发送采集图像命令、传输图像信息；

测量装置，包括线激光器(301)、LED照明装置(302)、工业相机(303)、点激光器(304)、滤光片(305)，其中，工业相机(303)，通过信号交换板(300)与控制装置相连，用于采集图像信息；左右两工业相机(303)的光轴夹角在30°-60°之间，LED照明装置(302)位于两个工业相机(303)内侧，单独电源控制；滤光片(305)平行于工业相机(303)镜头安装；线激光机(301)位于两工业相机(303)中间，平行排列安装，点激光器(304)位于中间位置，陆上为双目立体视觉提供主动特征，水下作为结构光视觉的一部分；

控制装置通过网线与传输装置连接，传输装置独立电源供电同时网线连接测量装置。

2.根据权利要求1所述的基于激光器的两栖三维视觉探测装置，其特征在于，所述传输装置，同测量装置一起封装于防水外壳内；控制装置，为计算机，独立于封装体。

3.根据权利要求1所述的基于激光器的两栖三维视觉探测装置，其特征在于，所述工业相机(303)与滤光片平行，点激光器(304)、线激光器(301)与封装玻璃面垂直。

4.根据权利要求1所述的基于激光器的两栖三维视觉探测装置，其特征在于，所述点激光器(304)，用于标定基准点，提供识别特征；所述线激光器(301)，用于发出线激光，作为结构光视觉的组成部分同时为双目立体视觉提供主动特征；点激光器(304)的竖向位置位于相邻两个线激光器(301)之间，且线激光器(301)与点激光器(304)的轴线平行。

5.根据权利要求1所述的基于激光器的两栖三维视觉探测装置，其特征在于，所述工业相机(303)内侧安装有LED面阵光源，LED面阵光源安装在T型光源支架上，在LED面阵光源内侧安装有点激光器(304)和线激光器(301)，点激光器(304)和线激光器(301)的照射方向与LED面阵光源基本保持一致，且光源照射角度可以调整，保证光照均匀。

6.一种基于权利要求1～5任意一项所述的基于激光器的两栖三维视觉探测装置的探测方法，其特征在于，包括如下步骤：

S1、陆上双目标定(400)：左右两个摄像机同时拍摄编码点靶标，靶标摆放位置需遍历整个视场，同时采用五姿态法，获得陆上双目结构的参数；

S2、陆上光平面标定(401)：利用标定好的双目结构参数，对拍摄获取的激光光条进行匹配处理，获取摄像机与光平面的位置参数，利用点激光确定其余25条光条的世界坐标与图像坐标之间的一一对应关系；

S3、水下相机标定(402)：应用双目水下折射模型，在水下环境中标定双目参数；

S4、水下结构光标定(403)：水下利用结构光视觉原理确定水下光平面与相机的位置关系；

S5、三维物体测量(404)：利用25个线激光外加1个点激光，作为主动特征，获取三维物体点云数据；

S6、三维物体重建(405)：陆上利用外极线进行匹配，获得三维物体坐标；水下利用光平面提供第三维度信息，求解三维点云；利用点云与模型的匹配，或者根据点云特征自动识别物体，并求解其位置姿态参数。

7.根据权利要求6所述的基于激光器的两栖三维视觉探测装置，其特征在于，所述S1中，分别利用左右相机摄像机坐标系与靶标所在世界坐标系的转换关系，获得左右相机的摄像机坐标系之间的R、T矩阵；

左右相机摄像机坐标系与世界坐标系的转换关系矩阵RT_a、RT_b：

则左右相机坐标系之间的转换关系为：

其中：

8.根据权利要求7所述的基于激光器的两栖三维视觉探测装置的探测方法，其特征在于，所述S2中，获取摄像机与光平面的位置参数通过如下步骤获得：

假设像面F_a上任一像点(X_a,Y_a)对应于过透视中心O_a的一条射线；该射线在摄像机a坐标系中的方程是：

将此射线转换到摄像机b坐标系中：

然后可以得到此射线在像面F_b上投影点的坐标：

因此，像面F_a上的一点对应像面F_b上的一条直线；于是当u＝0时，得到像面F_b上的外极点

同理，像面F_b上的任意一点与像面F_a上的一条直线相对应；同时可以得到像面F_a上的外极点

在此基础上，可以得到空间任意一点在像面F_a和像面F_b上对应外极线之间的几何关系；设像面F_a上过E_a的外极线斜率为S_a，与它对应的像面F_b上过E_b的外极线斜率为S_b，具体计算过程如下：

首先给出像面F_a上过E_a的外极线方程：

那么它在摄像机a坐标系中的向量表达式是：

将向量变换到摄像机b的坐标系中得到向量其中

摄像机a的透视中心O_Ca在摄像机b的坐标系下的坐标表达式为：

进而可以得到O_CbO_Ca所代表的向量其中

已知向量和可以得到外极面的法向量；采用点法式平面方程表达式，在摄像机b坐标系下外极面方程可表示为：

A(x-x₀)+B(y-y₀)+C(z-z₀)＝0

表示外极面过已知点(x₀,y₀,z₀)，且法向量的方向数位：A、B、C；因为存在关系所以有：

在摄像机b的坐标系中像面F_b的平面方程为：

z＝f_b

交线方程：

得到交线的斜率表达式：

利用对偶性原则，可得：

通过外极线匹配，计算得出激光光条在相机坐标系的三维坐标。

9.根据权利要求8所述的基于激光器的两栖三维视觉探测装置的探测方法，其特征在于，所述S5中，摄像机坐标系o_cx_cy_cz_c和世界坐标系o_wx_wy_wz_w之间的转换关系为：

光平面在世界坐标系下的每个位置上的表达式为Ax+By+Cz+D＝0；

根据透视投影模型，可知点P的像素坐标和摄像机坐标满足：

将以上三式联立可以构成求解点P(x_w,y_w,z_w)坐标的方程组：

由此已知物点的像素坐标与世界坐标，就可求解得出光平面的结构参数；进而求得光平面与相机的位置关系。

10.根据权利要求9述的基于激光器的两栖三维视觉探测装置的探测方法，其特征在于，所述S6中，基于模型的识别分为离线处理部分和在线匹配部分；离线处理包括3D模型的特征点提取、特征点描述和获得投票向量；在线匹配部分包括3D场景点云的前期处理、特征点提取、特征点描述、对应对匹配、3D霍夫投票、初始配准、精确配准；从而获得位姿估计值；

其中所述特征点描述采用shot描述子，分两步实现；

步骤1：根据特征点球邻域信息建立局部参考坐标系,对特征点的球邻域分别沿径向、经度和纬度方向进行区域划分；通常径向划分为2，经度划分为8，纬度划分为2，总共32个小区域；

步骤2：分别统计每个小区域内的法向量夹角余弦值分布情况，法向量划分为11个bin；最终shot的长度为：32×11＝352。