CN112906458A - 群智能优化的水下激光多目标端到端自动识别系统 - Google Patents

Abstract

本发明公开了一种群智能优化的水下激光多目标端到端自动识别系统，包括水下目标激光图像获取模块、群智能优化的水下激光多目标端到端自动识别系统、显示模块，其中群智能优化的水下激光多目标端到端自动识别系统包含水下激光图像数据库、预处理模块、水下激光多目标建模模块、群智能优化模块、水下激光多目标自动识别模块、水下目标识别输出模块。本发明实现了最优的端到端的自动模型训练和目标识别，可识别同一水下激光图像中多个目标，识别准确率高，同时具有特征提取能力强、识别速度快、智能化程度高等优点，解决了传统水下激光目标识别操作繁琐，只适用于单目标、识别准确率低、速度慢、模型质量差、需要人为选择参数等缺点。

Description

群智能优化的水下激光多目标端到端自动识别系统

技术领域

本发明涉及水下激光目标识别领域，尤其涉及群智能优化的水下激光多目标端到端自动识别系统。

背景技术

海洋面积约占地球表面的70％，海洋中蕴含的丰富的矿产、生物、能源等资源，是自然赋予人类的巨大财富，需要人类不断探索，自1963年研究人员发现海水对470nm-580nm波段内的蓝绿光衰减要比其他波段的光衰减更弱后，蓝绿激光在海水中的探测应用就成为了众多学者的关注点。同时，基于声波的水下探测受海水、地形和海洋生物等影响严重，严重影响声呐水下探测的质量，而水下激光探测不易受海水温度、盐度等影响，可以直接二维成像、具有更好的目标测距和成像效果，水下激光探测可应用于水雷、潜艇等水下的探测和识别，也可实施敏感水域的探潜、探雷以及潜艇水下导航避碰，还可用于水文勘测、水下作业检修、水下环境监测、海洋鱼群探测、海底地形地貌勘探、海洋生物研究等，因此水下激光探测技术对未来海洋探索具有重要意义。

目前传统的水下激光目标识别大多基于较近距离下针对目标单独获取的激光图像，目标明显且单一，这已满足不了当前海洋探索的快速发展，而机器学习算法又在近几年表现出了突出的优越性，尤其在目标识别领域取得了较多成绩，但相比于普通目标识别，水下激光目标识别由于其特殊性，当前在该领域的研究还比较少，识别效果还有很大的提升空间，而且当前的水下激光目标识别还局限于单目标识别的目标轮廓提取-特征提取-传统分类器分类的方法，步骤繁琐且识别效率和准确率低，因此，发明一种准确率高、识别速度快、智能化程度高、可以用于水下激光多目标端到端自动识别的系统在当下具有迫切且重要的意义。

发明内容

针对当前水下激光目标识别准确率低、速度慢、模型质量差、需要人为选择参数、只能用于简单目标识别的问题，本发明的目的在于提供一种准确率高、识别速度快、智能化程度高、可以用于水下激光多目标端到端自动识别的系统，基于水下激光图像构建智能优化的水下目标的端到端自动识别系统，实现最优水下激光多目标识别，群智能优化的水下激光多目标端到端自动识别系统采用包含一个或多个水下目标的激光图像作为输入，通过图像增强提高水下激光图像质量，基于构建的水下激光图像数据库进行水下激光多目标识别模型建模，群智能优化模块用于优化模型获得最优的识别模型，并使用构建的水下激光多目标自动识别模型进行新获取的水下激光目标识别，最终输出识别结果。本发明实现了最优的端到端的自动模型训练和目标识别，可识别同一水下激光图像中多个目标，识别准确率高，同时具有特征提取能力强、识别速度快、智能化程度高等优点，解决了传统水下激光目标识别需要目标分割、特征提取、分类器建模等繁琐的步骤，只适用于单目标、识别准确率低、速度慢、模型质量差、需要人为选择参数等缺点。

本发明的目的是通过以下技术方案来实现的：一种群智能优化的水下激光多目标端到端自动识别系统，包括水下目标激光图像获取模块、群智能优化的水下激光多目标端到端自动识别系统、显示模块，其中群智能优化的水下激光多目标端到端自动识别系统包含水下激光图像数据库、预处理模块、水下激光多目标建模模块、群智能优化模块、水下激光多目标自动识别模块、水下目标识别输出模块。

所述水下目标激光图像获取模块通过激光发射器和接收器获取包含目标的水下激光图像。

进一步地，水下激光图像数据库用以存放历史获取的所有水下激光目标图像及图像中包含的目标位置和类别信息，从而为水下激光多目标建模模块提供数据基础，同时该模块会从激光图像获取装置实时更新新获取的水下激光图像，完善数据库内容，从而为模型的更新提供基础，对于新获取的水下激光图像，需要人为标注图像中的目标位置和类别后存入数据库。

进一步地，预处理模块用以对水下激光目标图像进行预处理，由于受到水体对激光的吸收和散射作用，水下激光图像噪斑多、对比度低、目标模糊，不利于目标识别，其中对水下激光图像数据库中数据的预处理和对新获取的水下目标激光图像的预处理唯一的差别在于前者所用的数据要划分为训练集和验证集，以便于在建模模块中对模型效果进行验证并最终获得效果理想的模型，除此之外，本发明针对水下激光目标图像的预处理模块主要采用如下过程完成：

为了便于后续操作，首先进行图像归一化：

设x_j为图像中的一点，对激光图像做如下处理得到归一化特征

其中x_min为x_j的最小值，x_max为x_j的最大值：

采用灰度变换提高图像清晰度，突出目标区域，增强视觉效果：

将激光图像按照灰度值划分为L个灰度级，其中第i个灰度级的像素数为n_i、出现概率p_i＝n_i/n，其中n是所有像素数量，按照下式进行各灰度级的灰度变换

其中

为累积灰度值。

由于激光在水下传播的特殊性，激光图像中往往包含大量散斑噪声、热噪声等多种噪声类型，上面进行灰度变换后也可能会增加噪点，因此为了提高图像质量便于后续识别，首先进行图像去噪，由于涉及的噪声种类多且噪声问题相比于自然光或者空气介质下的图像严重很多，所以采用空域和变换域双去噪方法：

空域下采用如下方式，第j个点滤波后的值为：

其中l代表滤波器核内的每个像素，ω_l为实际调试出来的最佳权重。

变换域下，对激光图像进行小波包分解，并对高频部分进行过滤后还原得到去掉高频噪声的去噪图像，过滤阈值人为根据效果设置。

若数据库中样本数量大于500，从数据库中提取80％的数据作为训练集，剩余数据作为验证集；对于样本数量小于500的类型，提取50％的数据用于训练，剩余50％用作验证。可以通过验证集来查看模型的识别效果。

进一步地，水下激光多目标建模模块利用先进的集成机器学习算法建立高准确度的水下激光多目标端到端自动识别模型，该模型可以基于训练集自动学习如何提取有效特征并进行识别，模型的具体实现如下：

将水下激光图像输入VGG16网络提取特征图，采用RPN网络基于该特征图获取图像中多个目标的位置得到候选框，并通过过滤只保留与标签中候选框重合度大于90％的框，即认为有目标存在的框，其余的框都认为没有目标而舍弃，得到多个目标的位置框之后，将每个目标区域划分为8*8大小，每个小区域平分为4份，每一份通过双线性插值得到中心位置的值，取四个值的平均值作为该小区域的值，这样，就得到了多个大小为8*8的目标矩阵，每个矩阵可以看作一个样本，进行识别。

每个样本的分类结果是多个分类与回归树的结果组合：

其中

是第i个样本的预测值，长度为M，每一个维度代表了是每个个体的概率，函数φ包含了所有分类数的参数，tree_k代表第k个分类树，K是所有分类树的个数，该算法要计算得到

使得损失函数L(φ)最小：

Γ(tree)＝0.5γT+1.5λ||W||

其中

是正则化项，表示树的复杂度，越小复杂度越低，该项中的γ、λ是正则化参数，T表示叶子结点的个数，W是分类树的叶子权重，

是真实值与预测值之间的损失函数，采用下式计算

其中

是第i个样本第m维的预测值。

通过在训练集中根据最小化损失函数原则不断迭代更新分类树的参数构建出每类输入的模型，并在验证集中测试结果，以便通过人工修改机器学习的参数和权利要求4中平衡权重的计算参数，从而对模型进行优化。最终得到模型C。

进一步地，群智能优化模块用于对权利要求4中的参数γ和λ进行优化，以验证集的识别准确率为判别标准建立最优的模型，具体优化过程如下：

设初始化随机解的数量为n，则第o个解可表示为χ_o＝[χ_o1,χ_o2]；

计算所有随机解在验证集的准确率，将该值作为该解的适应度，对所有适应度排序后选出最优和最差值；

按照下式更新占比为20％的探索解的位置：

r₁,r₂,r₃是0-1间的随机数，t代表当前迭代次数，其他解按如下方式更新：

其中

分别为第t次迭代第κ个变量的最优和最差的值，最后，从所有更新后的解中获得当前代最优值；

如果当前最优值比上一次迭代的最优值好的话就进行更新操作，否则不进行更新操作，不断迭代该过程直到更新停滞3代，最终得到全局最优解，从而建立最优模型。

进一步地，水下激光多目标自动识别模块用于对预处理模块处理后的新获取的水下目标激光图像X_new进行识别，对于新获取的水下激光图像，将预处理后的图像直接输入权利要求4中得到的集特征提取、候选框选择、识别为一体的端到端多目标识别模型C中，得到该图像中包含的所有目标的位置、大小及类型

进一步地，水下目标识别输出模块对权利要求6中识别得到的结果进行输出，由于是多目标识别，所以输出不只是类型，而是每个目标的位置、大小以及类型。从而最终实现水下激光多目标端到端自动识别。

进一步地，显示模块将水下目标识别输出模块得到的水下激光多目标的位置、大小以及类型通过显示屏进行输出显示。

本发明的技术构思为：针对当前水下激光目标识别准确率低、速度慢、模型质量差、需要人为选择参数、只能用于简单目标识别的问题，本发明的目的在于提供一种准确率高、识别速度快、智能化程度高、可以用于水下激光多目标端到端自动识别的系统，基于水下激光图像构建智能优化的水下目标的端到端自动识别系统，实现最优水下激光多目标识别，群智能优化的水下激光多目标端到端自动识别系统采用包含一个或多个水下目标的激光图像作为输入，通过图像增强提高水下激光图像质量，基于构建的水下激光图像数据库进行水下激光多目标识别模型建模，群智能优化模块用于优化模型获得最优的识别模型，并使用构建的水下激光多目标自动识别模型进行新获取的水下激光目标识别，最终输出识别结果。本发明实现了最优的端到端的自动模型训练和目标识别，可识别同一水下激光图像中多个目标，识别准确率高，同时具有特征提取能力强、识别速度快、智能化程度高等优点，解决了传统水下激光目标识别需要目标分割、特征提取、分类器建模等繁琐的步骤，只适用于单目标、识别准确率低、速度慢、模型质量差、需要人为选择参数等缺点。

本发明的有益效果主要表现在：1、数据库可实时更新新获取的水下激光目标图像数据，以便模型更新和完善，从而提高对新目标类型的适应性；2、通过针对水下激光的空域和变换域预处理，提高图像质量，提高识别准确率；3、模型参数可以自动寻优，从而可以避免人为干预的影响，并且根据不同环境或任务获得最优模型，实现最准确的识别；4、特征提取和识别由模型自动完成，可以同时识别一张图像中的多个目标；5、对新获取的水下激光图像可以实现端到端的自动识别，无需分阶段或人工参与，识别过程简单、速度快；

附图说明

图1是群智能优化的水下激光多目标端到端自动识别系统的硬件连接图；

图2是群智能优化的水下激光多目标端到端自动识别系统的功能模块图。

具体实施方式

下面根据附图和实施例进一步说明本发明：

参考图1、图2，水下目标激光图像获取1、群智能优化的水下激光多目标端到端自动识别系统2、显示模块3依次相连，所述群智能优化的水下激光多目标端到端自动识别系统2包括水下激光图像数据库4、预处理模块5、水下激光多目标建模模块6、水下激光多目标自动识别模块7、水下目标识别输出模块8。

所述水下目标激光图像获取模块1通过激光发射器和接收器获取包含目标的水下激光图像。

水下激光图像数据库4用以存放历史获取的所有水下激光目标图像及图像中包含的目标位置和类别信息，从而为水下激光多目标建模模块6提供数据基础，同时该模块会从激光图像获取装置实时更新新获取的水下激光图像，完善数据库内容，从而为模型的更新提供基础，对于新获取的水下激光图像，需要人为标注图像中的目标位置和类别后存入数据库。

预处理模块5用以对水下激光目标图像进行预处理，由于受到水体对激光的吸收和散射作用，水下激光图像噪斑多、对比度低、目标模糊，不利于目标识别，其中对水下激光图像数据库4中数据的预处理和对新获取的水下目标激光图像的预处理唯一的差别在于前者所用的数据要划分为训练集和验证集，以便于在建模模块中对模型效果进行验证并最终获得效果理想的模型，除此之外，本发明针对水下激光目标图像的预处理模块5主要采用如下过程完成：

为了便于后续操作，首先进行图像归一化：

设x_j为图像中的一点，对激光图像做如下处理得到归一化特征

其中x_min为x_j的最小值，x_max为x_j的最大值：

采用灰度变换提高图像清晰度，突出目标区域，增强视觉效果：

将激光图像按照灰度值划分为L个灰度级，其中第i个灰度级的像素数为n_i、出现概率p_i＝n_i/n，其中n是所有像素数量，按照下式进行各灰度级的灰度变换

其中

为累积灰度值。

由于激光在水下传播的特殊性，激光图像中往往包含大量散斑噪声、热噪声等多种噪声类型，上面进行灰度变换后也可能会增加噪点，因此为了提高图像质量便于后续识别，首先进行图像去噪，由于涉及的噪声种类多且噪声问题相比于自然光或者空气介质下的图像严重很多，所以采用空域和变换域双去噪方法：

空域下采用如下方式，第j个点滤波后的值为：

其中l代表滤波器核内的每个像素，ω_l为实际调试出来的最佳权重。

变换域下，对激光图像进行小波包分解，并对高频部分进行过滤后还原得到去掉高频噪声的去噪图像，过滤阈值人为根据效果设置。

若数据库中样本数量大于500，从数据库中提取80％的数据作为训练集，剩余数据作为验证集；对于样本数量小于500的类型，提取50％的数据用于训练，剩余50％用作验证。可以通过验证集来查看模型的识别效果。

水下激光多目标建模模块6利用先进的集成机器学习算法建立高准确度的水下激光多目标端到端自动识别模型，该模型可以基于训练集自动学习如何提取有效特征并进行识别，模型的具体实现如下：

将水下激光图像输入VGG16网络提取特征图，采用RPN网络基于该特征图获取图像中多个目标的位置得到候选框，并通过过滤只保留与标签中候选框重合度大于90％的框，即认为有目标存在的框，其余的框都认为没有目标而舍弃，得到多个目标的位置框之后，将每个目标区域划分为8*8大小，每个小区域平分为4份，每一份通过双线性插值得到中心位置的值，取四个值的平均值作为该小区域的值，这样，就得到了多个大小为8*8的目标矩阵，每个矩阵可以看作一个样本，进行识别。

每个样本的分类结果是多个分类与回归树的结果组合：

其中

是第i个样本的预测值，长度为M，每一个维度代表了是每个个体的概率，函数φ包含了所有分类数的参数，tree_k代表第k个分类树，K是所有分类树的个数，该算法要计算得到

使得损失函数L(φ)最小：

Γ(tree)＝0.5γT+1.5λ||W||

其中

是正则化项，表示树的复杂度，越小复杂度越低，该项中的γ、λ是正则化参数，T表示叶子结点的个数，W是分类树的叶子权重，

是真实值与预测值之间的损失函数，采用下式计算

其中

是第i个样本第m维的预测值。

通过在训练集中根据最小化损失函数原则不断迭代更新分类树的参数构建出每类输入的模型，并在验证集中测试结果，以便通过人工修改机器学习的参数和权利要求4中平衡权重的计算参数，从而对模型进行优化。最终得到模型C。

群智能优化模块9用于对权利要求4中的参数γ和λ进行优化，以验证集的识别准确率为判别标准建立最优的模型，具体优化过程如下：

设初始化随机解的数量为n，则第o个解可表示为χ_o＝[χ_o1,χ_o2]；

计算所有随机解在验证集的准确率，将该值作为该解的适应度，对所有适应度排序后选出最优和最差值；

按照下式更新占比为20％的探索解的位置：

r₁,r₂,r₃是0-1间的随机数，t代表当前迭代次数，其他解按如下方式更新：

其中

分别为第t次迭代第κ个变量的最优和最差的值，最后，从所有更新后的解中获得当前代最优值；

如果当前最优值比上一次迭代的最优值好的话就进行更新操作，否则不进行更新操作，不断迭代该过程直到更新停滞3代，最终得到全局最优解，从而建立最优模型。

水下激光多目标自动识别模块7用于对预处理模块5处理后的新获取的水下目标激光图像

进行识别，对于新获取的水下激光图像，将预处理后的图像直接输入权利要求4中得到的集特征提取、候选框选择、识别为一体的端到端多目标识别模型C中，得到该图像中包含的所有目标的位置、大小及类型

水下目标识别输出模块8对权利要求6中识别得到的结果进行输出，由于是多目标识别，所以输出不只是类型，而是每个目标的位置、大小以及类型。从而最终实现水下激光多目标端到端自动识别。

显示模块3将水下目标识别输出模块8得到的水下激光多目标的位置、大小以及类型通过显示屏进行输出显示。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (7)

1.一种群智能优化的水下激光多目标端到端自动识别系统，其特征在于：包括依次相连的水下目标激光图像获取模块、群智能优化的水下激光多目标端到端自动识别系统、显示模块，其中，群智能优化的水下激光多目标端到端自动识别系统包含依次相连的水下激光图像数据库、预处理模块、水下激光多目标建模模块、群智能优化模块、水下激光多目标自动识别模块、水下目标识别输出模块。

2.根据权利要求1所述群智能优化的水下激光多目标端到端自动识别系统，其特征在于：水下激光图像数据库用以存放历史获取的所有水下激光目标图像及图像中包含的目标位置和类别信息，同时该模块会从激光图像获取装置实时更新新获取的水下激光图像，对于新获取的水下激光图像，需要人为标注图像中的目标位置和类别后存入数据库。

3.根据权利要求1所述群智能优化的水下激光多目标端到端自动识别系统，其特征在于：预处理模块用以对水下激光目标图像进行预处理，主要采用如下过程完成：

首先进行图像归一化，设x_j为图像中的一点，对激光图像做如下处理得到归一化特征

其中x_min为x_j的最小值，x_max为x_j的最大值：

采用灰度变换提高图像清晰度：

将激光图像按照灰度值划分为L个灰度级，其中第i个灰度级的像素数为n_i、出现概率p_i＝n_i/n，其中n是所有像素数量，按照下式进行各灰度级的灰度变换

其中

为累积灰度值，c_min为灰度值的最小值，h_i为转换后的灰度级。

进行图像去噪，采用空域和变换域双去噪方法：

空域下采用如下方式，第j个点滤波后的值为：

其中l代表滤波器核内的每个像素，ω_l为实际调试出来的最佳权重。

变换域下，对激光图像进行小波包分解，并对高频部分进行过滤后还原得到去掉高频噪声的去噪图像，过滤阈值人为根据效果设置。

若数据库中样本数量大于500，从数据库中提取80％的数据作为训练集，剩余数据作为验证集；对于样本数量小于500的类型，提取50％的数据用于训练，剩余50％用作验证。可以通过验证集来查看模型的识别效果。

4.根据权利要求1所述群智能优化的水下激光多目标端到端自动识别系统，其特征在于：水下激光多目标建模模块建立高准确度的水下激光多目标端到端自动识别模型，基于训练集自动学习如何提取有效特征并进行识别，模型的具体实现如下：

将水下激光图像输入VGG16网络提取特征图，采用RPN网络基于该特征图获取图像中多个目标的位置得到候选框，并通过过滤只保留与标签中候选框重合度大于90％的框，即认为有目标存在的框，其余的框都认为没有目标而舍弃，得到多个目标的位置框之后，将每个目标区域划分为8*8大小，每个小区域平分为4份，每一份通过双线性插值得到中心位置的值，取四个值的平均值作为该小区域的值，这样，就得到了多个大小为8*8的目标矩阵，每个矩阵可以看作一个样本，进行识别。

每个样本的分类结果是多个分类与回归树的结果组合：

其中

是第i个样本的预测值，长度为M，每一个维度代表了是每个个体的概率，函数φ包含了所有分类数的参数，tree_k代表第k个分类树，K是所有分类树的个数，该算法要计算得到

使得损失函数L(φ)最小：

Γ(tree)＝0.5γT+1.5λ||W||

其中

是正则化项，表示树的复杂度，越小复杂度越低，该项中的γ、λ是正则化参数，T表示叶子结点的个数，W是分类树的叶子权重，

是真实值与预测值之间的损失函数，采用下式计算

其中

是第i个样本第m维的预测值。

通过在训练集中根据最小化损失函数原则不断迭代更新分类树的参数构建出每类输入的模型，并在验证集中测试结果，以便通过人工修改机器学习的参数和权利要求4中平衡权重的计算参数，从而对模型进行优化。最终得到模型C。

5.根据权利要求1所述群智能优化的水下激光多目标端到端自动识别系统，其特征在于：群智能优化模块用于对权利要求4中的参数γ和λ进行优化，以验证集的识别准确率为判别标准建立最优的模型，具体优化过程如下：

设初始化随机解的数量为n，则第o个解可表示为χ_o＝[χ_o1,χ_o2]；

计算所有随机解在验证集的准确率，将该值作为该解的适应度，对所有适应度排序后选出最优和最差值；

按照下式更新占比为20％的探索解的位置：

r₁,r₂,r₃是0-1间的随机数，t代表当前迭代次数，其他解按如下方式更新：

其中

分别为第t次迭代第κ个变量的最优和最差的值，最后，从所有更新后的解中获得当前代最优值；

如果当前最优值比上一次迭代的最优值好的话就进行更新操作，否则不进行更新操作，不断迭代该过程直到更新停滞3代，最终得到全局最优解，从而建立最优模型。

6.根据权利要求1所述群智能优化的水下激光多目标端到端自动识别系统，其特征在于：水下激光多目标自动识别模块用于对预处理模块处理后的新获取的水下目标激光图像

进行识别，对于新获取的水下激光图像，将预处理后的图像直接输入权利要求4中得到的集特征提取、候选框选择、识别为一体的端到端多目标识别模型C中，得到该图像中包含的所有目标的位置、大小及类型

7.根据权利要求1所述群智能优化的水下激光多目标端到端自动识别系统，其特征在于：水下目标识别输出模块对权利要求6中识别得到的结果进行输出，由于是多目标识别，所以输出不只是类型，而是每个目标的位置、大小以及类型。从而最终实现水下激光多目标端到端自动识别。

Images