CN104574387A

CN104574387A - 水下视觉slam系统中的图像处理方法

Info

Publication number: CN104574387A
Application number: CN201410833841.0A
Authority: CN
Inventors: 杨平乐; 潘志宏; 张仕杰; 陈文博; 程海洋
Original assignee: Zhangjiagang Industrial Technology Research Institute of Jiangsu University of Science and Technology
Current assignee: Zhangjiagang Industrial Technology Research Institute of Jiangsu University of Science and Technology
Priority date: 2014-12-29
Filing date: 2014-12-29
Publication date: 2015-04-29
Anticipated expiration: 2034-12-29
Also published as: CN104574387B

Abstract

本发明公开了一种水下视觉SLAM系统中的图像处理方法，包括建立水下成像模型，处理水下环境因素对摄相机成像的影响和图像特征提取及匹配。该方法增强了后期水下环境图像特征点的提取，新提出的基于改良的SLAM系统数据关联方法匹配提取特征点，可以更加迅速准确地提取特征点，提高了SIFT算法的实时性。将双目相机的相对位置因素和路标点位置因素作为辅助条件进行关联的方法，可以有效地解决数据关联中的误匹配和匹配效率问题。

Description

水下视觉SLAM系统中的图像处理方法

技术领域

本发明涉及水下视觉SLAM系统，具体涉及一种水下视觉SLAM系统中的图像处理方法。

背景技术

作为移动机器人自主导航的一个重要发展方向，以视觉为基础的SLAM系统近年来逐渐受到重视。SLAM(即时定位与地图构建)技术是移动机器人智能化的关键技术。当前的视觉SLAM主要依托于路标的方法，即通过视觉传感器获取机器人所处的环境信息，通过这些信息对自身进行定位和构图，其实现方法是SLAM常用的EKF(Extended Kalman Filter，扩展卡尔曼滤波)和PF(Particle filter，粒子滤波)等方法。

Montiel等人主要研究了基于单目视觉的SLAM问题，他们主要利用了逆深度参数化的方法。他在研究中发现单目视觉提取出的特征点具有很强的不确定性，于是提出了利用统一逆深度参数的方法对其进行准确表达，随后利用EKF实现了SLAM系统，并证明了该系统可以应用于大尺度的室内外环境。

Se对基于视觉的移动机器人SLAM做了大量研究，他利用三目摄像机来构建系统的外部传感器系统，并采用SIFT的算法来获取外部环境路标。他利用RANSAC(Random Sample Consensus，随机抽样一致性)算法对机器人的定位情况进行验证，然后对SIFT算法提取出的路标信息建立地图库，最终完成地图创建的工作。但是，SIFT算法拥有许多的优点，但实时性是其面临的一大难题，主要是由于特征描述符位数较大的缘故利用SIFT算法，对一个目标只需成功匹配3个及以上的特征点便可确认目标的存在。然而一幅图像中SIFT算法往往可以提供上千个特征点，而这些特征点中50％～80％是用不到的，需要进行滤除，它们在提取和匹配的过程中都将耗费大量的时间，严重影响了算法的实时性。

发明内容

本发明目的是：提供一种易于提取图像特征、易于匹配路标特征的水下视觉SLAM系统中的图像处理方法。

本发明的技术方案是：

一种水下视觉SLAM系统中的图像处理方法，包括以下步骤：

S11：建立水下成像模型：建立的模型包括对机器人在有效外力和噪声条件下的运动情况建立的载体运动模型，反映路标方位信息的路标模型和对视觉传感器观测环境路标并对路标进行位置测量建立的测量模型；

S12：处理水下环境因素对摄相机成像的影响：对机器人坐标的定点进行修正，利用暗原色图像增强原理对水下光学图像进行增强处理；

S13：图像特征提取及匹配:利用SIFT算法对感兴趣的区域进行特征提取和匹配，算出特征点的位置信息，然后特征描述矩阵和其位置信息放入地图库，以待匹配的特征点为圆心，设定一个辐射范围作为半径画出一个圆形，对圆形区域内的点进行匹配。

优选的，所述步骤S12还包括水环境对光线色彩的吸收处理，海水对某一种单一色彩的光束能量的衰减作用表达式如下：

I＝I₀e^-cL

其中，I₀是单一色光束由空气中进入水中时或在水中刚发射出时的能量；I该光束在传播过程中任一时刻余下的能量；L表示光束在海水中的传播距离；c为海水对光线的衰减系数，表示光线在海水中每传播一米能量衰减的对数值，其单位为m^-1。

优选的，所述机器人坐标的定点修正公式为：

y_{B} = y_{A} + (\frac{d}{\cos β} - \frac{d}{\cos δ})

x_{B} = x_{A} + (\frac{d}{\cos γ} - \frac{d}{\cos λ})

其中，x_A、y_A为折射后的投影点A的坐标，d为保护层玻璃到镜头间的距离，β和δ分别为入射光和折射光在y轴方向上的入射角，γ和λ为入射光和折射光在x轴方向上的入射角。

优选的，所述增强处理需要进行去雾处理，在暗原色先验规律的基础上引入一个常数λ，通过调整λ(0<λ<1)的值来保留一部分场景中的雾：

S (x) = \frac{E (x) - E_{\infty}}{\max [t (x), t_{0}]} + E_{\infty}

其中，S(x)为经过去雾处理后的图像，E为大气光成分，E_∞表示光成分中的最大密度像素，图像中局部区域增强的程度由透射率t(x)决定，t₀为最小透射率，c为海水对光线的衰减系数，Ω(x)为固定矩阵，y为特征点在水下坐标系的中坐标。

优选的，所述图像特征提取包括边缘检测，对提取边缘进行膨胀处理，屏蔽小面积区域，改善边缘毛刺，提取边缘曲线。

优选的，所述边缘检测包括使用高斯滤波器对图像进行平滑处理，用一阶偏导有限差分计算梯度的幅值和方向，用非极大值抑制，用双阈值法检测和连接边缘。

优选的，所述步骤S13对图像特征匹配之前进行数据关联，删除明显不匹配的特征点，所述数据关联为对特征点在上下一定区域内的点进行数据关联，删除区域外的点。

本发明的优点是：

1.本发明建立了可靠的EKF-SLAM系统模型，研究了水下环境对摄像机成像的影响，利用分析了成像中的光线折射、散射及吸收现象、暗原色图像对比度增强方法后，总结出的应用于水下环境的暗原色图像对比算法，增强了后期水下环境图像特征点的提取，克服了SIFT算法实时性差和特征点冗余的缺点。

2.新提出的基于改良的SLAM系统数据关联方法匹配提取特征点，可以更加迅速准确地提取特征点，提高了SIFT算法的实时性。这样就可以能更能解决水下地形复杂、光纤昏暗、随机干扰多的问题。本发明提出的将双目相机的相对位置因素和路标点位置因素作为辅助条件进行关联的方法，可以有效地解决数据关联中的误匹配和匹配效率问题。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明水下视觉SLAM系统中的图像处理方法的流程图；

图2为波长与海水对光的衰减系数的影响关系图；

图3为水下镜头光线折射原理图；

图4为暗原色算法流程图；

图5为Visual-SLAM系统的算法框架图；

图6为特征提取改进算流程图；

图7为原始图与边缘提取对比图；

图8为边缘膨胀效果图；

图9为填充效果图；

图10为边缘修剪图；

图11为边缘曲线及裁剪图；

图12为当前匹配判断示意图；

图13为当前特征点在库中的位置及辐射图。

具体实施方式

实施例：

如图1所示，一种水下视觉SLAM系统中的图像处理方法，包括以下步骤：

步骤1：建立视觉SLAM系统模型

步骤1.1：建立载体运动模型

载体运动模型是对机器人在有效外力和噪声条件下的运动情况进行建模，主要作用是根据载体前一时刻的运动状态来计算机器人下一时刻的状态，该模型用下式表示：

x_v(k+1)＝F_v[x_v(k),u_v(k+1),k+1]+V_v(k+1)

式中，x_v(k)是k时刻的载体状态向量，方程F_v[·]为载体动力学方程，u_v(k+1)为k+1时刻的有效外里输入，V_v表示一些不定因素。

对于这些无法预测的因素，我们采取的措施是引入一个随机变量来模拟这些不定因素，用V_v表示，同时它满足下述条件：

E(V_v)＝0

E [V_{v} (i), V_{v} {(j)}^{T}] = \{\begin{matrix} Q_{v} (k) & i = j = k \\ 0 & i &NotEqual; j \end{matrix}

式中，E[·]表示该不定因素，i、j表示随机因子，T表示矩阵的转置，Q_v(k)表示V_v的协方差矩阵。

为了系统的简便，本文建立的载体状态模型包含二维坐标下的机器人方位信

息，其表达式可化为：

x_v(k+1)＝F_vx_v(k)+u_v(k+1)+V_v(k+1)

步骤1.2：建立路标模型

当然，在实际应用中难免会从不稳定的物体或动物身上提取出特征点，对于这类特征点我们将用一定的算法进行滤除。这样，就有：

l_{i} (k + 1) = l_{i} (k) = [\begin{matrix} x_{i} \\ y_{i} \end{matrix}]

式中，x_i,y_i分别表示特征点i在环境中的坐标，由于路标是静止的，因此路标模型不加入随机项，即不考虑噪声对路标位置的音响，因为路标本身不存在噪声干扰，干扰源来自于载体自身。

步骤1.3：建立量测模型

任意一个特征点的量测模型用下式表示：

z_i(k)＝H_il_i-H_ix_v(k)+w_i(k)

其中H_i[·]为传感器的量测函数，l_i为第i个路标，w_i(k)为加入量测误差向量，一般为高斯白噪声，z_i(k)表示k时刻第i个路标的量测矩阵。

与载体运动模型类似，误差向量w_i(k)满足如下条件：

E(W_v)＝0

E [w_{v} (i), w_{v} {(j)}^{T}] = \{\begin{matrix} R_{v} (k) & i = j = k \\ 0 & i &NotEqual; j \end{matrix}

其中，R_v(k)为w_v(i)的协方差矩阵。

步骤2：预处理对水下成像影响的因素

步骤2.1海水对某一种单一色彩的光束能量的衰减作用表达式如下：

I＝I₀e^-cL

其中，I₀是单一色光束由空气中进入水中时或在水中刚发射出时的能量I为该光束在传播过程中任一时刻余下的能量；L表示光束在海水中的传播距离；c为海水对光线的衰减系数，表示光线在海水中每传播一米能量衰减的对数值，其单位为m^-1，衰减系数c与光的波长满足一定的关系，其关系如图2所示，因此本发明选择用选择对灰度图像进行特征提取。

步骤2.2：处理镜头折射影响

当相机在水下工作时除去自身镜头工艺的影响之外还要考虑水中的光线经过玻璃保护层之后进入到镜筒中空气时的折射的影响，如图3所示。这种折射主要是造成了图像的变形，并将直接导致特征点定位的不准确，最终造成机器人定位错误而使算法发散。

由图3中关系可以算出修正后的点坐标如下：

y_{B} = y_{A} + (\frac{d}{\cos β} - \frac{d}{\cos δ})

同理可得

x_{B} = x_{A} + (\frac{d}{\cos γ} - \frac{d}{\cos λ})

式中，d为保护层玻璃到镜头间的距离，β和δ分别为入射光和折射光在y轴方向上的入射角，γ和λ为入射光和折射光在x轴方向上的入射角，通过修正可以得到准确的图像。

步骤2.3：采用暗原色图像增强法对水下光学图像进行增强处理

在实际情况中，即使是清澈见底的水中也会含有一些杂质粒子，看远处的景象还是会感觉到有薄雾。另外，雾的存在也为我们判断距离提供了一个参照，如果图像中的雾去除的过于彻底，会造成深度信息的丢失。因此，在去雾处理时，我们一般在暗原色先验规律的基础上引入一个常数λ，通过调整λ(0<λ<1)的值来保留一部分场景中的“雾”：

为透射因子t(x)设定一个下限t₀，由此可计算出经过去雾处理后的图像S(x)：

S (x) = \frac{E (x) - E_{\infty}}{\max [t (x), t_{0}]} + E_{\infty}

其中，E为大气光成分，E_∞表示光成分中的最大密度像素，我们先从暗原色图像中选取出最亮的10％的像素，在这10％的像素中选出亮度最大的点作为大气光E；去雾处理的过程实际上是一个图像对比度增强的过程，图像中局部区域增强的程度由透射率t(x)决定，而透射率由图像暗原色先验计算得出，浓雾区域透射率相对较低，相应的薄雾区域透射率较高。本发明取去雾参数λ＝0.9，最小透射率t₀＝0.1，具体的算法流程如图4所示。预处理后的图像与原始图像相比，效果非常明显。

步骤3：图像特征提取

SLAM系统的算法框架如图5所示。

在SLAM系统中可以只对特征明显的区域，即感兴趣的区域进行特征提取，对特征不明显和不稳定区域不做处理，这样不仅减少了特征点的数量，还在一定程度上削弱了匹配时的复杂度，改善了SIFT算法的实时性，特征提取改进算法流程如图6所示。

步骤3.1：边缘检测，其计算步骤如下：

步骤3.1.1：使用高斯滤波器对图像进行平滑处理

步骤3.1.2：用一阶偏导有限差分计算梯度的幅值和方向

步骤3.1.3：非极大值抑制

步骤3.1.4：用双阈值法检测和连接边缘

原始图与边缘提取图的效果对比如图7所示。

步骤3.2：对提取边缘进行膨胀处理，

提取出的边缘信息往往是断断续续的短线或不连通的小区域，通过对边缘进行膨胀得到较为完整的、连通的特征区域。边缘膨胀效果图如图8所示。

步骤3.3：屏蔽小面积区域

膨胀是对提取出的所有边缘信息进行膨胀处理，当然也包括干扰区域，然而，干扰区域往往面积很小，因此，我们对膨胀后的图像中出现的小面积白色区域进行填充处理。填充效果图如图9所示。

步骤3.4：改善边缘毛刺

通过上述步骤得到特征区域的二值图，膨胀算法导致特征区域边缘不整齐甚至出现毛刺现象，这将严重影响接下来的特征提取，因此通过腐蚀算法改善特征区域的边缘信息。边缘修剪图如图10所示。

步骤3.5：提取边缘曲线

通过上一步处理得到准确的特征区域二值图，然后根据从特征区域提取的边缘曲线进行特征区域的裁剪。边缘曲线及裁剪图如图11所示。

步骤4：采用改进的数据关联算法进行数据关联

步骤4.1使用的双目摄像机两个镜头的平行的置于一个固定的基座上，两个镜头的光心平行的处于同一个平面上，光心距离为d。如图12所示，O₁、O₂分别为左右两个相机的光心，O₁O₂为光心连接线，1，1’，2’，3’为图像上提取出的特征点。根据双目摄像机的位置关系，设特征点1的坐标为(x₁，y₁)，特征点1’，2’，3’的坐标分别为(x_1’，y_1’)，(x_2’，y_2’)，(x_3’，y_3’)。令y₁加减一个固定值z，得到a’，b’两条线，于是在由图中我们可以做出判断在a’，b’内的点可能是与特征点1匹配的点，特征点3’则不予考虑。因此，可以排除大量的特征点，提高特征点匹配的实时性。

步骤4.2：将由步骤4.1匹配成功的路标点位置信息与欧氏距离相结合进行关联

如图13所示，首先利用SIFT算法对裁剪处的特征区域进行特征提取和匹配，算出特征点的位置信息，然后特征描述矩阵和其位置信息放入地图库。最后，以待匹配的特征点为圆心，设定一个辐射范围作为半径画出一个圆形。匹配时，只对圆形区域内的点进行匹配，区域外的点直接屏蔽掉，这样做可以大大的减少匹配复杂度。

Claims

1.一种水下视觉SLAM系统中的图像处理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的水下视觉SLAM系统中的图像处理方法，其特征在于，所述步骤S12还包括水环境对光线色彩的吸收处理，海水对某一种单一色彩的光束能量的衰减作用表达式如下：

I＝I₀e^-cL

其中，I₀是单一色光束由空气中进入水中时或在水中刚发射出时的能量；I为该光束在传播过程中任一时刻余下的能量；L表示光束在海水中的传播距离；c为海水对光线的衰减系数，即光线在海水中每传播一米能量衰减的对数值，其单位为m^-1。

3.根据权利要求1所述的水下视觉SLAM系统中的图像处理方法，其特征在于，所述机器人坐标的定点修正公式为：

y_{B} = y_{A} + (\frac{d}{\cos β} - \frac{d}{\cos δ})

x_{B} = x_{A} + (\frac{d}{\cos γ} - \frac{d}{\cos λ})

4.根据权利要求1所述的水下视觉SLAM系统中的图像处理方法，其特征在于，所述增强处理需要进行去雾处理，在暗原色先验规律的基础上引入一个常数λ，通过调整λ(0<λ<1)的值来保留一部分场景中的雾：

S (x) = \frac{E (x) - E_{\infty}}{\max [t (x), t_{0}]} + E_{\infty}

5.根据权利要求1所述的水下视觉SLAM系统中的图像处理方法，其特征在于，所述图像特征提取包括边缘检测，对提取边缘进行膨胀处理，屏蔽小面积区域，改善边缘毛刺，提取边缘曲线。

6.根据权利要求5所述的水下视觉SLAM系统中的图像处理方法，其特征在于，所述边缘检测包括使用高斯滤波器对图像进行平滑处理，用一阶偏导有限差分计算梯度的幅值和方向，用非极大值抑制，用双阈值法检测和连接边缘。

7.根据权利要求1所述的水下视觉SLAM系统中的图像处理方法，其特征在于，所述步骤S13对图像特征匹配之前进行数据关联，删除明显不匹配的特征点，所述数据关联为对特征点在上下一定区域内的点进行数据关联，删除区域外的点。