CN113221772A - 一种水下机器人视觉图像增强与识别方法 - Google Patents

Abstract

本发明公开了一种水下机器人视觉图像增强与识别方法，涉及机器人技术领域；它的方法为：一、水下图像增强：针对传统DCP算法在水下图像增强方面的局限性，通过亮暗通道的差值得到景深图，在此基础上更加准确地估计水体背景颜色；同时，对景深图取反，得到透射图，并选取一个自适应的因子调整透射图；最后利用颜色校正去除残余的色偏并调整亮度；二、改进的ORB算法；本发明减小所得到图像的色差，提高图像识别的精度；得到的彩色清晰图像的质量评价更优、视觉效果更佳；加快算法的运行速度、减小占用的存储空间。

Description

一种水下机器人视觉图像增强与识别方法

技术领域

本发明属于机器人技术领域，具体涉及一种水下机器人视觉图像增强与识别方法。

背景技术

随着现代社会不断进步，科技飞速发展，人类已经越来越不满足于对天空的探索，许多国内外学者已经逐渐开展对海洋世界的开发，因此，代替人们工作的水下机器人技术应运而生。我国拥有广阔的海洋面积，如何高效的对海洋资源进行开发和利用对于缓解我国能源危机、解决可持续发展问题较为紧迫。由于水下条件对图像的采集影响严重，通常采集到的水下目标信息会产生清晰度较低、对比度差异、色彩失真等现象，拍摄到的目标图像需要较为清晰才能为图像的识别、区域划分提取等进一步处理提供基本保障。海洋水质由多种浮游生物、悬浮物等组成，这些物质的存在为图像采集成像形成较大的困扰。因此，如何清晰的采集到有价值的海底目标信息并对目标图像进行清晰化处理具有较大的应用价值。

随着海洋能源探索研究的深入，水下机器人的功能研究越来越受到人们的关注。水下目标的检测与跟踪是水下机器设备研究的重要内容。目前机器视觉技术广泛地应用在水下机器人导航、水下视频监控等许多方面，对水下打捞、水下钻井平台和海底管道的异物检查有着重要作用。同时，该技术还主要用于水下机械设施修复，管线路检修，软管铺设链接、完工调查等方面。

水下成像技术广泛应用于工程应用和科学实验等领域，比如水下跟踪定位和海洋资源的开采等。水下目标物体在成像过程中会受到水的影响，光线被部分吸收、反射及散射。图像的成像受相机与目标物体之间距离的影响，光线的强度会随着距离的拉大而急剧减小。受这种因素的影响，会降低了水下图像的对比度，并使图像中的目标物体清晰度较差，不利于水下视频图像的进一步处理。

发明内容

为解决现有受因素的影响，会降低了水下图像的对比度，并使图像中的目标物体清晰度较差，不利于水下视频图像的进一步处理的问题；本发明的目的在于提供一种水下机器人视觉图像增强与识别方法。

本发明的一种水下机器人视觉图像增强与识别方法，它的方法为：

一、水下图像增强：针对传统DCP算法在水下图像增强方面的局限性，通过亮暗通道的差值得到景深图，在此基础上更加准确地估计水体背景颜色；同时，对景深图取反，得到透射图，并选取一个自适应的因子调整透射图；最后利用颜色校正去除残余的色偏并调整亮度。

二、改进的ORB算法：对经过增强的彩色图片进行对图像内目标的检测，改进的ORB算法使用ORB算子进行角点的提取，使用SURF算法进行特征描述，对带有方向性信息的特征点进行匹配，实现图像的识别；图像匹配是目标识别的关键步骤，将得到的图像特征点按照一定的约束准则进行匹配，得到两幅图像特征点之间的对应关系；常用的相似性度量包括相关测度、距离测度和概率测度，考虑到算法的实时性，采用距离度量并使用快速近似最近邻搜索算法进行特征的匹配；在OpenCV中FLANN是一个执行快速近似最近邻搜索的库，搜索执行过程中，从待匹配图像中找到与参考图像的欧氏距离最近和次近的两个点，以其之间的比值与设定的阈值进行比较，得到匹配后的结果。

与现有技术相比，本发明的有益效果为：

一、减小所得到图像的色差，提高图像识别的精度；得到的彩色清晰图像的质量评价更优、视觉效果更佳；

二、加快算法的运行速度、减小占用的存储空间。

具体实施方式

本具体实施方式采用以下技术方案：本发明的一种水下机器人视觉图像增强与识别方法，它的方法为：

一、水下图像增强：针对传统DCP算法在水下图像增强方面的局限性，通过亮暗通道的差值得到景深图，在此基础上更加准确地估计水体背景颜色；同时，对景深图取反，得到透射图，并选取一个自适应的因子调整透射图；最后利用颜色校正去除残余的色偏并调整亮度。

二、改进的ORB算法：对经过增强的彩色图片进行对图像内目标的检测，改进的ORB算法使用ORB算子进行角点的提取，使用SURF算法进行特征描述，对带有方向性信息的特征点进行匹配，实现图像的识别；图像匹配是目标识别的关键步骤，将得到的图像特征点按照一定的约束准则进行匹配，得到两幅图像特征点之间的对应关系；常用的相似性度量包括相关测度、距离测度和概率测度，考虑到算法的实时性，采用距离度量并使用快速近似最近邻搜索算法进行特征的匹配；在OpenCV中FLANN是一个执行快速近似最近邻搜索的库，搜索执行过程中，从待匹配图像中找到与参考图像的欧氏距离最近和次近的两个点，以其之间的比值与设定的阈值进行比较，得到匹配后的结果。

本具体实施方式的水下环境主要存在2种图像退化的现象，一个是对比度的降低，另一个是色偏的产生，针对这2种退化现象，采用DCP算法的雾化模型。

1.雾图形成模型：

I(x)＝J(x)t(x)+A(1-t(x))

I(x)为待去雾图像；J(x)为恢复的无雾的图像；A为全球大气光成分(本文A为水体背景颜色估计)；t(x)为透射率。

任意输入图像J，暗通道表达式：

J^c—彩色图像的每个通道；Ω(x)—以像素x为中心的一个窗口在以x为中心的最小区域中找出r，g，b通道中最低值。求每个像素RGB分量最小值，存入一副和原始图像大小相同的灰度图中，再对这幅灰度图进行最小值滤波。但是，传统DCP算法在水下环境应用的局限是由于暗通道图像的景深效果不明显，无法准确地估计水体的环境颜色A；同时，水下环境透射率估计不准确，无法有效地对水下图像进行增强。针对暗通道图像景深效果不明显的情况，本文定义的景深图像为

J^depth(x)＝(I_max(x)-I_min(x))/255

其中，J^depth(x)表示景深图像，这是一个单通道图像，I_max(x)表示RGB 3个通道中均值最大的通道图像，I_min(x)表示RGB3个通道中均值最小的通道，由于I_max(x)和I_min(x)都是单通道图像，故其值都是标量，x表示图像的像素，除以255，是为了将景深图像的值映射到0-1的范围内。无论是水体对光的吸收，还是浮游生物对光的吸收，它们对不同波长光的吸收能力不同，随着物体与相机距离的增加，相机接收到的不同波长光的强度差异就越大，故可以采用此方式得到水下图像的景深图。投射图是基于景深图计算的，计算公式如下：

t(x)＝λ(1-ωJ^depth(x))

其中，ω是保留景深感的程度因子，该因子在[0,1]区间内取值，ω越接近1，则越表明不用保留景深效果，λ是调整投射图亮度的因子。在得到图像投射图后用传统的DCP算法进行图像回复与颜色校正得到增强后的图像。

获得增强的图像通过改进的ORB算法进行目标检测。ORB算法是FAST算法和BRIEF算法的结合体，并在这两种算法的基础上做了改进与优化。在特征点的检测方面，ORB利用FAST算法检测特征点，然后利用Harris角点的度量方法，从FAST特征点中挑选出Harris角点响应值最大的N个特征点。其中Harris角点的响应函数定义为：

R＝detM-α(traceM)²

式中：M为特征点自相关矩阵；detM为矩阵M的行列式；traceM为矩阵M的迹；α为经验常数，取值0.04-0.06。若R的值大于给定的阈值，则这一点就被检测为角点。

FAST是基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别足够大，则认为该候选点为一个特征点，用公式描述如下：

式中：I(x)为所选圆周上任一点的灰度值，I(p)为圆心的灰度值，ε_d为灰度值差设定的阈值。如果N大于给定阈值，则认为p是一个特征点。对ORB检测出的角点信息添加方向信息，将检测到的角点作为圆心，以6σ为半径设置圆形区域，其中σ为特征点所在尺度方向上的值，设为1.20。计算该圆形区域内像素点的Haar小波特征在x、y方向上的响应值，对不同的响应值赋予不同的高斯权重系数，遍历整个圆形，选择最长矢量方向作为该点的主方向。以特征点为中心，以20σ为边长选择一块正方形区域，将该区域的主方向旋转至特征点的主方向。进一步划分该正方形区域为4x4个子区域，使用边长为2σ的Haar小波模板计算每个采样点水平和垂直方向的Haar小波响应值d_x和d_y，记为∑d_x和∑d_y，同时对d_x和d_y进行绝对值求和，记为∑|d_x|和∑|d_y|，可得到一个包含∑d_x、∑d_y∑|d_x|和∑|d_y|的四维向量，对于16个子区域一共可以得到16*4＝64维SURF描述子。至此ORB算法提取的角点特征拥有了旋转尺度不变性，可用于之后的图像匹配中。

改进的ORB算法使用ORB算子进行角点的提取，使用SURF算法进行特征描述，对带有方向性信息的特征点进行匹配，实现水下图像的识别。图像匹配是目标识别的关键步骤，将得到的图像特征点按照一定的约束准则进行匹配，得到两幅图像特征点之间的对应关系。常用的相似性度量包括相关测度、距离测度和概率测度，考虑到算法的实时性，采用距离度量并使用快速近似最近邻搜索算法进行特征的匹配。在OpenCV中FLANN(FastLibraryfor Approximate Nearest Neighbors)是一个执行快速近似最近邻搜索的库，搜索执行过程中，从待匹配图像中找到与参考图像的欧氏距离最近和次近的两个点，以其之间的比值与设定的阈值进行比较，得到匹配后的结果。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (1)

1.一种水下机器人视觉图像增强与识别方法，其特征在于：它的方法为：

一、水下图像增强：针对传统DCP算法在水下图像增强方面的局限性，通过亮暗通道的差值得到景深图，在此基础上更加准确地估计水体背景颜色；同时，对景深图取反，得到透射图，并选取一个自适应的因子调整透射图；最后利用颜色校正去除残余的色偏并调整亮度；

二、改进的ORB算法：对经过增强的彩色图片进行对图像内目标的检测，改进的ORB算法使用ORB算子进行角点的提取，使用SURF算法进行特征描述，对带有方向性信息的特征点进行匹配，实现图像的识别；图像匹配是目标识别的关键步骤，将得到的图像特征点按照一定的约束准则进行匹配，得到两幅图像特征点之间的对应关系；常用的相似性度量包括相关测度、距离测度和概率测度，考虑到算法的实时性，采用距离度量并使用快速近似最近邻搜索算法进行特征的匹配；在OpenCV中FLANN是一个执行快速近似最近邻搜索的库，搜索执行过程中，从待匹配图像中找到与参考图像的欧氏距离最近和次近的两个点，以其之间的比值与设定的阈值进行比较，得到匹配后的结果。