CN112907660A - 面向小样本的水下激光目标检测仪 - Google Patents

Abstract

本发明公开了面向小样本的水下激光目标检测仪，针对水下激光图像样本较少的情况，实现水下激光目标识别，该面向小样本的水下激光目标检测仪由水下激光扫描仪、数据库以及上位机组成，水下激光扫描仪对所检测水下区域进行照射，并将水下激光仪成像图数据存储到数据库中，上位机采集数据库中的数据，对所采集的数据进行数据增强，从而对数据库中的水下激光仪成像图进行扩充，提高训练样本的数量，对训练样本进行图像降噪，基于降噪后的水下激光图像进行鲁棒检测模型建模，并利用鲁棒检测模型检测新的水下激光图像。本发明实现了面向小样本的、智能性强、高精度、高准确率的水下激光目标在线检测，解决了大量样本标注成本高的问题。

Description

面向小样本的水下激光目标检测仪

技术领域

本发明涉及水下激光图像处理领域，特别地，涉及面向小样本的水下激光目标检测仪。

背景技术

由于水体对入射光的强烈的衰减作用，使得入射光在水中传播时呈指数级衰减，普通的光源由于本身的准直性较差，在水下传播时也难以达到理想的探测深度。激光的出现提供了一种新的水下探测的手段，利用激光的高准直性，在海洋窗口的低衰减可以达到以往光学手段难以达到的探测深度。特别是现在激光雷达技术的应用除了可以进行更大水深的目标探测外，还可以克服声纳设备由于水和空气声阻不匹配的问题，实现从水上到水下的直接探测。激光水下探测技术经历了几十年的发展，相关的技术也越来越成熟。

但是，由于水体以及水中溶解和悬浮物质对入射光的强烈吸收和散射作用，水下成像的有效观测距离仍然存在诸多限制，在现阶段利用同步空间几何分离法能够实现的自然水域的有效成像距离依旧在九个衰减长度以内，难以满足更深水域中的观测需求。同时现有的水下激光目标的检测模型精度较低，有时存在识别不出目标的情况。并且现有的水下激光目标检测方法需要大量的训练样本，但是对训练样本进行标注是需要大量的成本，对小样本的处理较差，容易产生过拟合现象。对于各种水下警戒和水下勘探而言，研究的主要目标是在小样本的条件下提高水下激光背景下目标的检测能力。

发明内容

为了克服已有水下激光目标检测方法训练样本较大、无法实现在线检测、智能性较差的不足，本发明提供面向小样本的、实现在线检测、智能性强的面向小样本的水下激光目标检测仪。

本发明解决其技术问题所采用的技术方案是：一种面向小样本的水下激光目标检测仪，包括水下激光扫描仪、数据库以及上位机，水下激光扫描仪、数据库以及上位机依次相连，其特征在于所述水下激光扫描仪对所检测水下区域进行照射，并将水下激光仪成像图数据存储到所述的数据库，所述的上位机包括：

数据增强模块，用以对所采集水下激光仪成像图进行扩充，采用如下过程完成：

1.1)从数据库中采集N张图片的灰度值r_i，i＝1,...,N作为训练样本；

1.2)对训练样本进行对数变换，得到对数变换后图片的灰度值：

其中s_i表示第i张调整对比度后图像的灰度值，

表示对比度变换系数；

1.3)将对比度调整后的图片与原图片混合，作为新的训练样本tr_q,q＝1,...,2N；

图像降噪模块，用以进行将水下激光仪成像图数据输入D层的卷积神经网络进行降噪，D表示用于图像降噪模块的卷积神经网络的层数，采用如下过程完成：

2.1)将数据增强后新的训练样本tr_q输入卷积神经网络的第1层，使用大小为3×3×c的滤波器生成64张特征图f_j ^q，q＝1,...,2N,j＝1,...,64，其中c表示图像通道数。然后对每张特征图使用非线性激活函数ReLU函数，则卷积神经第一层的输出

根据下式确定：

其中q＝1,...,2N,j＝1,...,64；

2.2)将经过第1层的特征图

输入卷积神经网络的第2层到第(D-1)层，每一层由大小为3×3×64的64个滤波器、批量归一化和非线性激活函数ReLU函数组成；

2.3)将卷积神经网络的第(D-1)层的输出输入卷积神经网络的第D层，采用尺寸为3×3×64的滤波器重构输出，得到降噪图像；

2.4)图像降噪模块的D层卷积神经网络的损失函数l(Θ)的计算公式如下：

其中N表示图像降噪模块卷积神经网络的训练样本数量，χ_σ表示第σ张真实的无噪声图片，ψ_σ表示第σ张在χ_σ上添加噪声的图片，Θ表示卷积神经网络输出的去噪声图片，

表示Θ与ψ_σ之间的残差图片，||·||_F表示Frobenius范数，是矩阵中各元素的平方和开方，其计算公式如下：

其中G表示Λ×Γ维的矩阵，g_λ,γ表示矩阵G中第λ行、第γ列的元素；

鲁棒检测模型建模模块，用以建立水下激光目标检测模型，采用如下过程完成：

3.1)将数据增强后的训练样本输入Focus结构，其中Focus结构是将608×608×3的图像通过切片操作变为304×304×12大小的特征图，再经过一个32个卷积核的卷积操作，最终变为304×304×32大小的特征图；

3.2)将Focus结构输出的特征图输入3个CSP结构，其中CSP结构采用YOLOv5中的CSP结构，CSP结构中卷积核大小为3×3，stride＝2，可以起到下采样的作用，304×304大小的特征图经过第1个CSP结构得到152×152大小的特征图，经过第2个CSP结构得到76×76大小的特征图，最后经过第3个CSP结构得到38×38大小的特征图；

3.3)将第3个CSP结构输出的特征图输入SPP结构，SPP结构对特征图进行最大池化操作，其中最大池化采用边缘填充的方法，且对特征图分别采用1×1，5×5，9×9，13×13的最大池化的方式，再对池化后的三个特征图进行多尺度融合，其中多尺度融合方式为将最大池化后得到的特征进行张量拼接concat；

3.4)SPP结构输出的特征图将经过YOLOv5中FPN和PAN结构提取语义特征和定位特征，该结构输出3个大小分别为76×76，38×38，19×19的矩形预测框，记作B＝(x,y,w,h)；

其中x表示矩形预测框左上角的横坐标，y表示矩形预测框左上角的纵坐标，w表示矩形预测框的宽，h表示矩形预测框的长；

3.5)将网络输出的矩形预测框与实际的矩形目标框之间的差作为损失函数，所述损失函数即距离交并比损失函数l_DIOU的计算公式如下：

其中ρ(·)表示欧几里得距离，b表示矩形预测框的中心点，b^gt表示实际的矩形目标框的中心点，d表示覆盖两个框的最小封闭框的对角线长度，B为网络输出的矩形预测框，B^gt为实际的矩形目标框，B^gt＝(x^gt,y^gt,w^gt,h^gt)，其中x^gt表示实际的矩形目标框左上角的横坐标，y^gt表示实际的矩形目标框左上角的纵坐标，w^gt表示实际的矩形目标框的宽，h^gt表示实际的矩形目标框的长，IoU表示矩形目标框和矩形预测框的交并比；

3.6)优化D层卷积神经网络的参数，优化的目标是使得损失函数最小化，所述优化目标的计算公式如下：

其中p_t表示第t次迭代后卷积神经网络中的参数，t表示迭代次数；

3.6.1)计算损失函数l_DIoU的一阶梯度m_t，一阶梯度m_t的计算公式如下：

m_t＝β₁×m_t-1+(1-β₁)×▽l_DIoU(p_t)

其中β₁表示一阶梯度的系数，▽表示梯度，m_t-1表示第t-1次迭代后的一阶梯度；

3.6.2)计算损失函数l_DIoU的二阶梯度v_t，二阶梯度v_t的计算公式如下：

v_t＝β₂×v_t-1+(1-β₂)×(▽l_DIoU(p_t))²

其中β₂表示二阶梯度的系数，▽表示梯度，v_t-1表示第t-1次迭代后的二阶梯度；

3.6.3)卷积神经网络中第k个参数的第t次迭代后的值w_t ^k的迭代方式如下：

其中

表示卷积神经网络中第k个参数的第t-1次迭代后的值，η表示学习率，ε表示一个无限接近0的正数，m_t表示第t次迭代后的一阶梯度，v_t表示第t次迭代后的二阶梯度，

表示第t次迭代后一阶梯度的校正，

表示第t次迭代后二阶梯度的校正；

目标检测模块，用以进行水下激光目标检测，采用如下过程完成：

4.1)在采样时刻τ采集到的水下激光仪成像图p_τ；

4.2)将p_t代入图像降噪模块的D层卷积神经网络进行降噪，D表示用于图像降噪模块的卷积神经网络的层数，得到降噪图像

4.3)将降噪图像

输入鲁棒检测模型建模模块得到的网络中，输出待检测目标的位置信息和分类信息；

结果显示模块，用以将目标检测模块的检测结果即待检测目标的位置信息和分类信息在上位机显示。

本发明的技术构思为：本发明针对水下激光的强烈吸收和散射作用，对水下激光仪成像图进行图像降噪，并对降噪后的图像数据进行非线性拟合，建立水下激光目标的检测模型，检测图像中目标的位置和类别，从而实现水下激光背景下的面向小样本的强智能目标检测。

本发明的有益效果主要表现在：1、可在线检测水下激光目标；2、所用的检测方法只需较少样本；3、智能性强、受人为因素影响小；4、精度高；5、准确率高。

附图说明

图1是本发明所提出的鲁棒检测模型神经网络结构示意图；

具体实施方式

下面结合附图对本发明作进一步描述。本发明实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

参考图1，面向小样本的水下激光目标检测仪，包括水下激光扫描仪、数据库以及上位机，水下激光扫描仪、数据库以及上位机依次相连，其特征在于所述水下激光扫描仪对所检测水下区域进行照射，并将水下激光仪成像图数据存储到所述的数据库，所述的上位机包括：

数据增强模块，用以对所采集水下激光仪成像图进行扩充，提高鲁棒检测模型的泛化能力，提升鲁棒检测模型的鲁棒性，采用如下过程完成：

1.1)从数据库中采集N张图片的灰度值r_i，i＝1,...,N作为训练样本；

1.2)对训练样本进行对数变换，得到对数变换后图片的灰度值：

其中s_i表示第i张调整对比度后图像的灰度值，

表示对比度变换系数；

1.3)将对比度调整后的图片与原图片混合，作为新的训练样本tr_q,q＝1,...,2N。

图像降噪模块，用以进行将水下激光仪成像图数据输入D层的卷积神经网络进行降噪，D表示用于图像降噪模块的卷积神经网络的层数，可以降低水下激光成像图的噪声，有利于后续的目标检测，采用如下过程完成：

2.1)将数据增强后新的训练样本tr_q输入卷积神经网络的第1层，使用大小为3×3×c的滤波器生成64张特征图f_j ^q，q＝1,...,2N,j＝1,...,64，其中c表示图像通道数。然后对每张特征图使用非线性激活函数ReLU函数，则卷积神经第一层的输出

根据下式确定：

其中q＝1,...,2N,j＝1,...,64；

2.2)将经过第1层的特征图

输入卷积神经网络的第2层到第(D-1)层，每一层由大小为3×3×64的64个滤波器、批量归一化和非线性激活函数ReLU函数组成；

2.3)将卷积神经网络的第(D-1)层的输出输入卷积神经网络的第D层，采用尺寸为3×3×64的滤波器重构输出，得到降噪图像；

2.4)图像降噪模块的D层卷积神经网络的损失函数l(Θ)的计算公式如下：

其中N表示图像降噪模块卷积神经网络的训练样本数量，χ_σ表示第σ张真实的无噪声图片，ψ_σ表示第σ张在χ_σ上添加噪声的图片，Θ表示卷积神经网络输出的去噪声图片，

表示Θ与ψ_σ之间的残差图片，||·||_F表示Frobenius范数，是矩阵中各元素的平方和开方，其计算公式如下：

其中G表示Λ×Γ维的矩阵，g_λ,γ表示矩阵G中第λ行、第γ列的元素。

鲁棒检测模型建模模块，图1为本例所使用的神经网络，其由Focus结构、CSP结构、SPP结构、concat结构、FPN和PAN结构组成。用以建立水下激光目标检测模型，采用如下过程完成：

3.1)将数据增强后的训练样本输入Focus结构，其中Focus结构是将608×608×3的图像通过切片操作变为304×304×12大小的特征图，再经过一个32个卷积核的卷积操作，最终变为304×304×32大小的特征图；

3.2)将Focus结构输出的特征图输入3个CSP结构，其中CSP结构采用YOLOv5中的CSP结构，CSP结构中卷积核大小为3×3，stride＝2，可以起到下采样的作用，304×304大小的特征图经过第1个CSP结构得到152×152大小的特征图，经过第2个CSP结构得到76×76大小的特征图，最后经过第3个CSP结构得到38×38大小的特征图；

3.3)将第3个CSP结构输出的特征图输入SPP结构，SPP结构对特征图进行最大池化操作，其中最大池化采用边缘填充的方法，且对特征图分别采用1×1，5×5，9×9，13×13的最大池化的方式，再对池化后的三个特征图进行多尺度融合，其中多尺度融合方式为将最大池化后得到的特征进行张量拼接concat；

3.4)SPP结构输出的特征图将经过YOLOv5中FPN和PAN结构提取语义特征和定位特征，该结构输出3个大小分别为76×76，38×38，19×19的矩形预测框，记作B＝(x,y,w,h)；

其中x表示矩形预测框左上角的横坐标，y表示矩形预测框左上角的纵坐标，w表示矩形预测框的宽，h表示矩形预测框的长；

3.5)将网络输出的矩形预测框与实际的矩形目标框之间的差作为损失函数，所述损失函数即距离交并比损失函数l_DIoU的计算公式如下：

其中ρ(·)表示欧几里得距离，b表示矩形预测框的中心点，b^gt表示实际的矩形目标框的中心点，d表示覆盖两个框的最小封闭框的对角线长度，B为网络输出的矩形预测框，B^gt为实际的矩形目标框，B^gt＝(x^gt,y^gt,w^gt,h^gt)，其中x^gt表示实际的矩形目标框左上角的横坐标，y^gt表示实际的矩形目标框左上角的纵坐标，w^gt表示实际的矩形目标框的宽，h^gt表示实际的矩形目标框的长，IoU表示矩形目标框和矩形预测框的交并比；

3.6)优化D层卷积神经网络的参数，优化的目标是使得损失函数最小化，所述优化目标的计算公式如下：

其中p_t表示第t次迭代后卷积神经网络中的参数，t表示迭代次数；

3.6.1)计算损失函数l_DIoU的一阶梯度m_t，一阶梯度m_t的计算公式如下：

m_t＝β₁×m_t-1+(1-β₁)×▽l_DIoU(p_t)

其中β₁表示一阶梯度的系数，▽表示梯度，m_t-1表示第t-1次迭代后的一阶梯度；

3.6.2)计算损失函数l_DIoU的二阶梯度v_t，二阶梯度v_t的计算公式如下：

v_t＝β₂×v_t-1+(1-β₂)×(▽l_DIoU(p_t))²

其中β₂表示二阶梯度的系数，▽表示梯度，v_t-1表示第t-1次迭代后的二阶梯度；

3.6.3)卷积神经网络中第k个参数的第t次迭代后的值w_t ^k的迭代方式如下：

其中

表示卷积神经网络中第k个参数的第t-1次迭代后的值，η表示学习率，ε表示一个无限接近0的正数，m_t表示第t次迭代后的一阶梯度，v_t表示第t次迭代后的二阶梯度，

表示第t次迭代后一阶梯度的校正，

表示第t次迭代后二阶梯度的校正。

目标检测模块，用以进行水下激光目标检测，采用如下过程完成：

4.1)在采样时刻τ采集到的水下激光仪成像图p_τ；

4.2)将p_t代入图像降噪模块的D层卷积神经网络进行降噪，D表示用于图像降噪模块的卷积神经网络的层数，得到降噪图像

4.3)将降噪图像

输入鲁棒检测模型建模模块得到的网络中，输出待检测目标的位置信息和分类信息。

结果显示模块，用以将目标检测模块的检测结果即待检测目标的位置信息和分类信息在上位机显示。

所述上位机的硬件部分包括：UPS电源，用于上位机的供电；I/O元件，用于数据的采集和信息的传递；数据存储器，存储运行所需的数据样本和运行参数等；程序存储器，存储实现功能模块的软件程序；运算器，执行程序，实现指定的功能；网络交换机，用于为子网络提供更多连接端口；显示模块，显示设置的参数和检测结果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种面向小样本的水下激光目标检测仪，其特征在于：包括水下激光扫描仪、数据库和上位机，所述上位机包括依次相连的数据增强模块、图像降噪模块、鲁棒检测模型建模模块、目标检测模块和结果显示模块。所述水下激光扫描仪对所检测水下区域进行照射，并将水下激光仪成像图数据存储到所述的数据库。数据增强模块从数据库中采集水下激光仪成像图，对所采集水下激光仪成像图进行扩充，得到水下激光仪成像图训练样本；图像降噪模块将数据增强模块得到的训练样本输入D层的卷积神经网络进行降噪，得到降噪后的训练样本；鲁棒检测模型建模模块将图像降噪模块得到的降噪后的训练样本建立检测模型，得到鲁棒检测模型；目标检测模块将鲁棒检测模型建模模块得到的鲁棒检测模型用于处理实时采集到的水下激光仪成像图，得到待检测目标的位置信息和分类信息，结果显示模块将目标检测模块的检测结果在上位机显示。

2.根据权利要求1所述面向小样本的水下激光目标检测仪，其特征在于：所述数据增强模块用以对所采集水下激光仪成像图进行扩充，采用如下过程完成：

2.1)从数据库中采集N张图片的灰度值r_i，i＝1,...,N作为训练样本；

2.2)对训练样本进行对数变换，得到对数变换后图片的灰度值：

其中s_i表示第i张调整对比度后图像的灰度值，

表示对比度变换系数；

2.3)将对比度调整后的图片与原图片混合，作为新的训练样本tr_q,q＝1,...,2N。

3.根据权利要求1所述面向小样本的水下激光目标检测仪，其特征在于：所述图像降噪模块用以进行将水下激光仪成像图数据输入D层的卷积神经网络进行降噪，D表示用于图像降噪模块的卷积神经网络的层数，采用如下过程完成：

3.1)将数据增强后新的训练样本tr_q输入卷积神经网络的第1层，使用大小为3×3×c的滤波器生成64张特征图f_j ^q，q＝1,...,2N,j＝1,...,64，其中c表示图像通道数。然后对每张特征图使用非线性激活函数ReLU函数，则卷积神经第一层的输出

根据下式确定：

其中q＝1,...,2N,j＝1,...,64；

3.2)将经过第1层的特征图

输入卷积神经网络的第2层到第(D-1)层，每一层由大小为3×3×64的64个滤波器、批量归一化和非线性激活函数ReLU函数组成；

3.3)将卷积神经网络的第(D-1)层的输出输入卷积神经网络的第D层，采用尺寸为3×3×64的滤波器重构输出，得到降噪图像；

3.4)图像降噪模块的D层卷积神经网络的损失函数l(Θ)的计算公式如下：

其中N表示图像降噪模块卷积神经网络的训练样本数量，χ_σ表示第σ张真实的无噪声图片，ψ_σ表示第σ张在χ_σ上添加噪声的图片，Θ表示卷积神经网络输出的去噪声图片，

表示Θ与ψ_σ之间的残差图片，||·||_F表示Frobenius范数，是矩阵中各元素的平方和开方，其计算公式如下：

其中G表示Λ×Γ维的矩阵，g_λ,γ表示矩阵G中第λ行、第γ列的元素。

4.根据权利要求1所述面向小样本的水下激光目标检测仪，其特征在于：所述鲁棒检测模型建模模块用以建立水下激光目标检测模型，采用如下过程完成：

4.1)将数据增强后的训练样本输入Focus结构，其中Focus结构是将608×608×3的图像通过切片操作变为304×304×12大小的特征图，再经过一个32个卷积核的卷积操作，最终变为304×304×32大小的特征图；

4.2)将Focus结构输出的特征图输入3个CSP结构，其中CSP结构采用YOLOv5中的CSP结构，CSP结构中卷积核大小为3×3，stride＝2，可以起到下采样的作用，304×304大小的特征图经过第1个CSP结构得到152×152大小的特征图，经过第2个CSP结构得到76×76大小的特征图，最后经过第3个CSP结构得到38×38大小的特征图；

4.3)将第3个CSP结构输出的特征图输入SPP结构，SPP结构对特征图进行最大池化操作，其中最大池化采用边缘填充的方法，且对特征图分别采用1×1，5×5，9×9，13×13的最大池化的方式，再对池化后的三个特征图进行多尺度融合，其中多尺度融合方式为将最大池化后得到的特征进行张量拼接concat；

4.4)SPP结构输出的特征图将经过YOLOv5中FPN和PAN结构提取语义特征和定位特征，该结构输出3个大小分别为76×76，38×38，19×19的矩形预测框，记作B＝(x,y,w,h)；

其中x表示矩形预测框左上角的横坐标，y表示矩形预测框左上角的纵坐标，w表示矩形预测框的宽，h表示矩形预测框的长；

4.5)将网络输出的矩形预测框与实际的矩形目标框之间的差作为损失函数，所述损失函数即距离交并比损失函数l_DIoU的计算公式如下：

其中ρ(·)表示欧几里得距离，b表示矩形预测框的中心点，b^gt表示实际的矩形目标框的中心点，d表示覆盖两个框的最小封闭框的对角线长度，B为网络输出的矩形预测框，B^gt为实际的矩形目标框，B^gt＝(x^gt,y^gt,w^gt,h^gt)，其中x^gt表示实际的矩形目标框左上角的横坐标，y^gt表示实际的矩形目标框左上角的纵坐标，w^gt表示实际的矩形目标框的宽，h^gt表示实际的矩形目标框的长，IoU表示矩形目标框和矩形预测框的交并比；

4.6)优化D层卷积神经网络的参数，优化的目标是使得损失函数最小化，所述优化目标的计算公式如下：

其中p_t表示第t次迭代后卷积神经网络中的参数，t表示迭代次数；

4.6.1)计算损失函数l_DIoU的一阶梯度m_t，一阶梯度m_t的计算公式如下：

其中β₁表示一阶梯度的系数，

表示梯度，m_t-1表示第t-1次迭代后的一阶梯度；

4.6.2)计算损失函数l_DIoU的二阶梯度v_t，二阶梯度v_t的计算公式如下：

其中β₂表示二阶梯度的系数，

表示梯度，v_t-1表示第t-1次迭代后的二阶梯度；

4.6.3)卷积神经网络中第k个参数的第t次迭代后的值w_t ^k的迭代方式如下：

其中

表示卷积神经网络中第k个参数的第t-1次迭代后的值，η表示学习率，ε表示一个无限接近0的正数，m_t表示第t次迭代后的一阶梯度，v_t表示第t次迭代后的二阶梯度，

表示第t次迭代后一阶梯度的校正，

表示第t次迭代后二阶梯度的校正。

5.根据权利要求1所述面向小样本的水下激光目标检测仪，其特征在于：所述目标检测模块用以进行目标检测，采用如下过程完成：

5.1)在采样时刻τ采集到的水下激光仪成像图p_τ；

5.2)将p_t代入图像降噪模块的D层卷积神经网络进行降噪，D表示用于图像降噪模块的卷积神经网络的层数，得到降噪图像

5.3)将降噪图像

输入鲁棒检测模型建模模块得到的网络中，输出待检测目标的位置信息和分类信息。

6.根据权利要求1所述面向小样本的水下激光目标检测仪，其特征在于：结果显示模块用以将目标检测模块的检测结果即待检测目标的位置信息和分类信息在上位机显示。

Images