CN114882346A - 一种基于视觉的水下机器人目标自主识别方法 - Google Patents

Abstract

本发明涉及水下机器人目标识别技术领域，提出了一种水下机器人对水下特定目标的自主识别方法。首先，进行综合的图像增强与预处理，对水下机器人摄像头采集图像预先进行红色通道补偿和直方图均衡的增强处理，减少环境中的散射引起的模糊、对比度降低等因素对原始图像的影响；其次，采用并行卷积层的复合结构加快对图片中特征数据的提取，并在池化层后添加BN层进行批归一化提高模型的泛化能力；最后，基于LASSO回归进行通道剪枝移除掉一部分非重要剪枝单元并对网络进行重新训练，以降低算法的复杂性加快运行速度，并提高对水下目标进行识别的准确性。

Description

一种基于视觉的水下机器人目标自主识别方法

技术领域

本发明涉及水下机器人技术领域，具体地说是一种用于水下目标自主识别的方法。

背景技术

水下目标识别技术在开发与利用水下资源的过程中,无论是在军事领域还是民用领域都能够起到至关重要的作用。

首先，在目标识别的图像处理方面，由于在成像过程中由于前向散射使得成像弥散，图像模糊，而后向散射使得水下机器人摄像头获取的图像对比度较低且存在雾状模糊，而水下机器人所在水底环境对光有很大的衰减特性，造成得到的水下图像存在非均匀色彩投射问题，随着下潜深度的增加，所得到的图像颜色逐渐失真，在水下机器人上安装人工照明设备虽然可以增加图像获取距离，但由于人工光源所发出的光线同样会造成非均匀照射和周围环境的散射作用，摄像头最终所获取的图像存在被暗区域包围的亮斑。除此以外，成像系统、光源色温都对水下彩色图像的质量产生影响。综上所述，受到环境影响，所得到的水下图像大多存在对比度较差、整体亮度偏低、低对比度、亮斑、图像颜色失真、雾状模糊和环境噪点。在应用高级视觉分析方法处理水下图像的过程中将面临上述这些问题，因此研究一种能够提高对于所获取的图像的对比度与饱和度，并补偿图像颜色失真提高清晰度的图像预处理方法，对于水下机器人实现水下目标识别的是非常有必要的。

另一方面，传统的识别算法对所预处理后的图像中待识别目标的定位情况不理想，往往表现为对目标物检测的定位精度不高且需要花费较多的时间，对水下目标的识别造成较大的影响，定位精度呈现震荡式收敛并贯穿整个过程，这就造成了水下成像的模糊，对目标物的识别精度产生影响。由于传统的识别算法在目标识别方面存在以上的种种问题，基于神经网络的特征提取进行目标识别是该领域当前比较热门的一个研究方向，利用神经网络对光学目标极强的表征能力，建立基于生物神经元网络的抽象网络模型，将水下机器人搭载的摄像头获取到的图像作为输入，引入卷积特征的概念，也就是经过卷积神经网络得到的图像的特征信息，包括通过前级的卷积层得到的浅层信息和后级的卷积层卷积得到深层信息，在输出层回归得到最终判断的结果，即水下机器人拍摄图像中目标的所属类别和检测位置。基于神经网络的特征提取的优点是可以最大程度地保留水下机器人获取的图像的特征。然而传统的卷积神经网络仅仅会忽略采集数据样本的局部信息，且对于计算机的硬件要求较高。

发明内容

为了提高水下机器人对于水下目标的检测与识别精度，解决传统水下光学目标识别中存在的不足，本发明提供一种基于神经网络的水下目标识别方法，包括以下步骤：

步骤1、对图像集合的预处理改进：对RGB空间的色彩通道进行补偿，采用暗通道先验理论降低后向散射造成的影响；

步骤2、将预处理后的图像集合分为训练集和测试集，并将训练集图像进行处理制作图像矩阵数据集；

步骤3、建立网络模型、优化模型：

采用并行卷积层的复合结构神经网络，通过双通道卷积提取特征用于降低训练网络的时间成本，并在池化层后添加BN层进行批归一化用于提高模型的泛化能力；输入图像矩阵数据集训练该网络结构；

基于LASSO回归对图像矩阵数据集所训练出网络结构进行通道剪枝并进行重训练，从而获取识别速度更快的优化的网络结构；

步骤4、对测试集数据进行识别：测试集图像输入优化的网络结构，对水下目标进行识别。

所述原始图像为摄像头采集后经过人工标识并分类的图像。

所述制作图像矩阵数据集包括：将训练集图像进行翻转，放缩变换后进行裁剪，得到神经网络模型训练数据集。

所述对原始图像的预处理改进为：

①参考Jaffe-McGlamery模型建立成像数学模型：

其中J(x,λ)为待恢复的实际图像，E_T(x,λ)为水下空间中摄像头检测到的图像，x为像素点，λ∈{R,G,B}，t(x,λ)为传输函数，B_∞为水下环境中的后向散射；

对水下空间中摄像头检测到的图像进行归一化，使得E_T(x,λ)∈(0,1)；

②基于蓝绿通道对获取的图像的红通道进行补偿；

③基于暗通道先验理论对RGB三通道传输函数进行估计，代入成像数学模型得到复原扭曲颜色后的图像J(x,λ)。

是基于RGB空间中蓝绿通道的灰度值对图像的R通道进行补偿：

其中，

分别为图像中红色、绿色和蓝色分量的均值，E_R(x)、E_G(x)、E_B(x)为各个通道在像素点x的值，E_R(x)′为红色通道补偿后的值，β_G与β_B为绿色与蓝色补偿系数。

还包括：对复原扭曲颜色后的图像J(x,λ)分别对RGB三个通道进行直方图均衡化提高图像的对比度。

所述改进后的网络结构包括：

数据输入层—单卷积层C₁—最大池化层P₁—复合卷积层C₂—最大池化层P₂—批归一化层BN₁—复合卷积层C₃—最大池化层P₃—批归一化层BN₂—全局平均池化层P₄—全连接层F₁—全连接层F₂—联合损失函数层。

①所述单卷积层结构采用并行的2层卷积层结构，所述复合卷积层结构采用双通道卷积提取特征，用于降低训练网络的时间成本；

②所述全局平均池化层，用于通过对整个网路在结构上做正则化避免所设计的模型出现过拟和现象，并降低神经网络训练和测试计算量；

③经全连接层将所选样本的分布式特征映射到样本空间后，经过数据预处理后的训练样本输入到构建的该网络结构中的数据输入层进行训练；

④联合损失函数：类间特征距离采用Softmax函数，同时加入CenterLoss和Hing损失用于使得类内的特征距离最小的联合优化，并进行L1、L2正则化，通过多个损失函数的联合应用提高表征能力。

是采用随机梯度下降法对网络进行循环迭代训练使损失函数不断收敛于稳定数值，直到完成设定的迭代次数。

所述基于LASSO回归对图像矩阵数据集所训练出网络结构进行通道剪枝，包括：

针对输入图像矩阵数据集所训练出网络结构中冗余的特征通道基于LASSO回归进行通道剪枝，将卷积核操作中的部分权值归零，删除模型中冗余的连接通道，得到稀疏化的网络。

本发明具有以下有益效果及优点：

由于对水下机器人摄像头采集图像预先进行了红色通道补偿和直方图均衡的增强处理，减少了环境中的散射引起的模糊、对比度降低等因素对原始图像的影响，提高了检测精度；由于采用复合结构卷积神经网络，通过并行卷积层的计算图像多层深度特征，能够有效降低训练学习所需的时间；由于采用Lasso回归对神经网络模型进行通道剪枝，删除冗余的连接通道缩减网络的宽度，得到稀疏化的网络，提高了识别速度并缓解了模型过拟合的问题。

附图说明

图1是本发明的总体方法流程图；

图2是一种基于联合损失函数的复合卷积神经网络结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方法做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

本发明提出了一种基于视觉的水下机器人目标自主识别方法，采用复合结构卷积神经网络，能够实现对摄像头获取图片特征的有效提取，并能够提高识别精度并有效降低训练学习所需的时间。主要包括以下三部分内容：1)首先改进摄像头获取的图像的预处理方法，对RGB空间的色彩通道进行补偿，采用暗通道先验理论降低后向散射造成的影响；2)将预处理后的图像集合分为训练集和测试集，并将训练集图像进行处理制作图像矩阵数据集；3-1)采用并行卷积层的复合结构神经网络，通过双通道卷积提取特征，降低训练网络的时间成本，并在池化层后添加BN层进行批归一化提高模型的泛化能力；3-2)再基于LASSO回归对图像矩阵数据集所训练出网络结构进行通道剪枝，实现识别算法的加速并提高对水下目标进行识别的准确性。4)测试集图像输入优化的网络结构，对水下目标进行识别。

本发明通过以下技术方案来实现上述目的：

第一步：基于暗通道先验理论的图像预处理

参考Jaffe-McGlamery模型建立水下目标成像数学模型，水下空间中摄像头检测到的图像E_T(x,λ)可以描述为：

E_T(x,λ)＝J(x,λ)t(x,λ)+B_∞(1-t(x,λ)) (1)

其中J(x,λ)为待恢复的实际图像，x为像素点，λ∈{R,G,B}，t(x,λ)为传输函数，B_∞为水下环境中的后向散射，则作为恢复目标的待恢复的实际图像J(x,λ)为：

对水下空间中摄像头检测到的图像的各通道进行归一化处理，将待处理的原始图像转换成相应的标准形式图像，保证E_T(x,λ)∈(0,1)。

由于在水下环境传播过程中红光相较于绿光与蓝光衰减速率更高，需要对R通道颜色进行校正，因此，基于RGB空间中蓝绿通道的灰度值对图像的R通道进行补偿：

其中，

分别为图像中红色、绿色和蓝色分量的均值，E_R(x)、E_G(x)、E_B(x)为各个通道在像素点x的值，E_R(x)′为红色通道补偿后的值，β_G与β_B为绿色与蓝色补偿系数。

基于暗通道先验理论对RGB三通道传输函数进行估计，降低后向散射造成的影响：

即为所求的传输函数，通过式(2)得到复原扭曲颜色后的图像J(x,λ)：

其中，J_R(x)，J_G(x)和J_B(x)分别为复原扭曲颜色后图像的RGB通道，然后，分别对图像RGB三个通道进行直方图均衡化提高图像的对比度，完成图像预处理过程。

分别对图像RGB三个通道进行直方图均衡化提高图像的对比度。

第二步：制作图像矩阵数据集、训练集数据

将摄像头采集到的图像作为原始图像，并预先人工标识分类，将部分原始图像分别进行水平翻转，竖直翻转及随机对比度变换及亮度变换构成训练数据集，其余作为测试数据集。将训练数据集中的图片采用不同的放缩后进行裁剪，得到大小为224*224*3的输入图像矩阵数据集。将得到的输入图像矩阵数据集中的每个矩阵输入到改进后的VGG网络，进行网络模型的训练。用测试集数据进行测试。所述人工标识分类为根据当前图像中物体目标的轮廓进行的分类和标识，例如矩形类，圆形类等。

第三步-1：神经网络的搭建与训练

基于VGG-16模型搭建本文所用神经网络。如图2所示，改进后的VGG网络其具体结构为数据输入层—单卷积层C₁—最大池化层P₁—复合卷积层C₂—最大池化层P₂—批归一化层BN₁—复合卷积层C₃—最大池化层P₃—批归一化层BN₂—全局平均池化层P₄—全连接层F₁—全连接层F₂—联合损失函数层。

①为了加快对于摄像机获取的水底目标图片中特征数据的提取，提高所搭建VGG模型的收敛速度，改变传统VGG模型中的部分卷积层的结构，采用并行的2层卷积层结构替代原有的单卷积层结构，新的复合卷积层结构采用双通道卷积提取特征，降低训练网络的时间成本。采用并行卷积层的复合结构替代原有的卷积层顺次连接结构，并在池化层后添加BN层进行批归一化，即把激活函数的激活值映射到方差为1均值为0的区域。

②在复合卷积层后添加全局平均池化层，通过对整个网路在结构上做正则化避免所设计的模型出现过拟和现象，并降低神经网络训练和测试计算量。对于将每个进入全连接层F₁之前的特征图，通过取其像素点均值的方法将其转变为一个特征点，即每个特征点对应一个特征图，然后将这通过所构建的联合损失函数中对由特征点构成的特征向量进行分类。

③经全连接层将所选样本的分布式特征映射到样本空间后，经过数据预处理后的训练样本输入到构建的VGG网络结构中的数据输入层进行训练，构建联合损失函数，类间特征距离采用Softmax loss保证最大，同时加入CenterLoss和Hing损失保证类内的特征距离最小的联合优化方法，并进行L1、L2正则化，通过多个损失函数的联合应用，提高联合损失函数表征能力。通过采用随机梯度下降法对网络进行循环迭代训练使损失函数不断减小，直到完成设定的迭代次数。

构建联合损失函数为L：

L＝L_c-h+λ₀L_s (8)

其中，I为表示所设计模型训练过程中每次输入的训练样本总数；K为表示所设计模型训练过程中Softmax分类的类别数；x_i∈R^d，表示总计I个样本中所属类别为y_i的第i个样本在全连接层的输出特征，d为该特征向量的维数；

分别表示在全连接层的参数矩阵中的第y_i列与第k列，

与b_k为对应的偏置项；

为第y_i类别的特征中心；λ₀，λ₁，λ₂，λ₃为损失函数权重系数。

第三步-2：基于LASSO回归对图像矩阵数据集所训练出网络结构进行通道剪枝，实现识别算法的加速并提高对水下目标进行识别的准确性

针对输入图像矩阵数据集所训练出网络结构中冗余的特征通道基于LASSO回归进行通道剪枝，将卷积核操作中的部分权值归零，删除模型中冗余的连接通道，得到稀疏化的网络，包括：①衡量剪枝单元的重要程度。②移除掉一部分不重要的剪枝单元。③对网络进行重训练。具体如下：

选择Lasso回归的目标函数为：

X_i(x_i1,x_i2,x_i3,x_i4...,x_ik)^T为模型中卷积层输入值，其中，i＝1,2,4……n，n为对应的输入卷积层的样本数，k为输入向量的特征数，W_k为第k个通道的权重，Y_i为对应的输出值，λ为正则化参数，γ_k为各通道保留系数，令γ＝(γ₁，γ₂，γ₃，γ₄…，γ_k)^T。

固定W_k值，求解γ并对γ_k中γ_k＝0元素对应的通道进行剪裁，随后固定γ值，利用选择好的通道来最小化重构误差，重复以上过程并增加正则化项系数λ的值，直至各通道保留系数变得稳定，最后对剪枝后的通道进行微调以恢复模型拟合能力。

第四步：实现水下目标识别分类

对水下机器人采集到的图片经过预处理之后获得的测试集数据，可通过通道剪枝并重新训练好的复合卷积神经网络模型给出分类结果，实现水下机器人对于环境中目标的自主识别。

本发明提出一种基于视觉的水下机器人目标自主识别方法，该方法是以深度卷积神经网络为基础的识别方法，采用并行卷积层的复合结构加快对图片中特征数据的提取，并在池化层后添加BN层进行批归一化提高模型的泛化能力；同时结合基于暗通道先验理论的图像预处理策略来解决解决整体图像偏暗和后向散射造成的模糊问题。水下机器人目标自主识别方法主要分为三部分：一是水下图像基于暗通道先验理论的图像预处理；二是建立基于并行卷积层的深度卷积神经网络并进行训练；三是基于LASSO回归进行通道剪枝，移除掉一部分不重要的剪枝单元并对网络进行重新训练，对剪枝后的通道进行微调以恢复神经网络模型拟合能力，训练完成得到最终水下目标自主识别网络。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (10)

1.一种面向目标探测的自主遥控水下机器人路径规划方法，其特征在于，包括以下步骤：

步骤1、对图像集合的预处理改进：对RGB空间的色彩通道进行补偿，采用暗通道先验理论降低后向散射造成的影响；

步骤2、将预处理后的图像集合分为训练集和测试集，并将训练集图像进行处理制作图像矩阵数据集；

步骤3、建立网络模型、优化模型：

采用并行卷积层的复合结构神经网络，通过双通道卷积提取特征用于降低训练网络的时间成本，并在池化层后添加BN层进行批归一化用于提高模型的泛化能力；输入图像矩阵数据集训练该网络结构；

基于LASSO回归对图像矩阵数据集所训练出网络结构进行通道剪枝并进行重训练，从而获取识别速度更快的优化的网络结构；

步骤4、对测试集数据进行识别：测试集图像输入优化的网络结构，对水下目标进行识别。

2.根据权利要求1所述的一种面向目标探测的自主遥控水下机器人路径规划方法，其特征在于，所述原始图像为摄像头采集后经过人工标识并分类的图像。

3.根据权利要求1所述的一种面向目标探测的自主遥控水下机器人路径规划方法，其特征在于，所述制作图像矩阵数据集包括：将训练集图像进行翻转，放缩变换后进行裁剪，得到神经网络模型训练数据集。

4.根据权利要求1所述的一种面向目标探测的自主遥控水下机器人路径规划方法，其特征在于，所述对原始图像的预处理改进为：

①参考Jaffe-McGlamery模型建立成像数学模型：

其中J(x,λ)为待恢复的实际图像，E_T(x,λ)为水下空间中摄像头检测到的图像，x为像素点，λ∈{R,G,B}，t(x,λ)为传输函数，B_∞为水下环境中的后向散射；

对水下空间中摄像头检测到的图像进行归一化，使得E_T(x,λ)∈(0,1)；

②基于蓝绿通道对获取的图像的红通道进行补偿；

③基于暗通道先验理论对RGB三通道传输函数进行估计，代入成像数学模型得到复原扭曲颜色后的图像J(x,λ)。

5.根据权利要求4所述的一种面向目标探测的自主遥控水下机器人路径规划方法，其特征在于，是基于RGB空间中蓝绿通道的灰度值对图像的R通道进行补偿：

其中，

分别为图像中红色、绿色和蓝色分量的均值，E_R(x)、E_G(x)、E_B(x)为各个通道在像素点x的值，E_R(x)′为红色通道补偿后的值，β_G与β_B为绿色与蓝色补偿系数。

6.根据权利要求4所述的一种面向目标探测的自主遥控水下机器人路径规划方法，其特征在于，还包括：对复原扭曲颜色后的图像J(x,λ)分别对RGB三个通道进行直方图均衡化提高图像的对比度。

7.根据权利要求1所述的一种面向目标探测的自主遥控水下机器人路径规划方法，其特征在于，所述改进后的网络结构包括：

数据输入层—单卷积层C₁—最大池化层P₁—复合卷积层C₂—最大池化层P₂—批归一化层BN₁—复合卷积层C₃—最大池化层P₃—批归一化层BN₂—全局平均池化层P₄—全连接层F₁—全连接层F₂—联合损失函数层。

8.根据权利要求1所述的一种面向目标探测的自主遥控水下机器人路径规划方法，其特征在于，

①所述单卷积层结构采用并行的2层卷积层结构，所述复合卷积层结构采用双通道卷积提取特征，用于降低训练网络的时间成本；

②所述全局平均池化层，用于通过对整个网路在结构上做正则化避免所设计的模型出现过拟和现象，并降低神经网络训练和测试计算量；

③经全连接层将所选样本的分布式特征映射到样本空间后，经过数据预处理后的训练样本输入到构建的该网络结构中的数据输入层进行训练；

④联合损失函数：类间特征距离采用Softmax函数，同时加入CenterLoss和Hing损失用于使得类内的特征距离最小的联合优化，并进行L1、L2正则化，通过多个损失函数的联合应用提高表征能力。

9.根据权利要求8所述的一种面向目标探测的自主遥控水下机器人路径规划方法，其特征在于，是采用随机梯度下降法对网络进行循环迭代训练使损失函数不断收敛于稳定数值，直到完成设定的迭代次数。

10.根据权利要求1所述的一种面向目标探测的自主遥控水下机器人路径规划方法，其特征在于，所述基于LASSO回归对图像矩阵数据集所训练出网络结构进行通道剪枝，包括：

针对输入图像矩阵数据集所训练出网络结构中冗余的特征通道基于LASSO回归进行通道剪枝，将卷积核操作中的部分权值归零，删除模型中冗余的连接通道，得到稀疏化的网络。

Images