CN116108353A - 一种基于数据分组的小样本深度学习水声目标识别方法 - Google Patents

Abstract

一种基于数据分组的小样本深度学习水声目标识别方法，涉及水声识别领域。在深度学习的水声识别方法中，水声样本训练集被交错划分为n组子训练集；水声样本训练集使用子训练集，以水声识别子模型的形式独立训练，以降低水声数据搜集周期长导致的小样本问题对训练效果的不良影响；在水声识别子模型的训练过程中，迭代输出损失值，加权计算出总模型的总损失值，采用总损失值梯度下降算法的子模型权重迭代计算，以达到减缓水声数据中的少量异常数据对模型训练的干扰效果的目的。

Description

一种基于数据分组的小样本深度学习水声目标识别方法

技术领域

本发明涉及水声目标识别，尤其是涉及一种基于数据分组的小样本深度学习水声目标识别方法。

背景技术

水声目标识别是水声探测的重要任务之一，也是水声信号处理领域的一个难点问题。水声目标识别技术有助于水下探测器识别和分析水下目标，帮助水下潜航器规避目标和探测水下环境。现有研究中常用的方法是，利用各种信号分析处理方法提取特征，再结合模式识别方法设计分类器来判断目标类别属性。但在实际应用场景中，这类方法往往难以解决问题，因为对水声目标的识别和探测比在陆地环境中更难，受技术条件限制难以快速搜集数据，导致数据不足，且更容易受到异常数据的影响。

在机器学习中，小样本学习是机器学习领域的一个子问题，它是指机器学习中提供的样本数量过少或不足而不能达到良好训练效果时的学习策略。小样本学习的目标是通过少量样本学习到解决问题的模型。常见的小样本学习方法包括深度学习算法、元学习算法和度量学习算法等。

目前，许多机器学习方法已经广泛应用于水声识别领域，但在水声目标识别领域，小样本学习的应用和推广还处于起步阶段。V. -S. Doan等人提出基于密集卷积神经网络的水声目标识别技术（V. -S. Doan, “Underwater Acoustic Target ClassificationBased on Dense Convolutional Neural Network,” IEEE Geoscience and RemoteSensing Letters, vol. 19, pp. 1-5, 2022）。H. Feng等人提出基于残差网络的水声目标识别系统和特征提取方法，并在真实环境下对船舶辐射噪声数据集进行了识别实验，有效提高了识别精度（H. Feng et al, “Underwater Acoustic Target Recognition witha Residual Network and the Optimized Feature Extraction Method,” AppliedSciences, vol. 11, no. 4, 2021），但没有讨论样本数量较少情况下的水声识别问题。Ashok, P.等人分析比较了许多机器学习方法应用于水声目标识别的不同效果，但没有分析机器学习中提供的样本数量过少或不足而无法达到良好训练效果的情况（Ashok, “AComparative Analysis of Different Algorithms in Machine Learning Techniquesfor Underwater Acoustic Signal Recognition，” In Proc. Algorithms forIntelligent Systems. Springer, Singapore，2022）。

可见，虽然机器学习方法在水声目标识别中已卓有成效，但是小样本学习在水声目标识别领域的应用仍有许多具有挑战性的研究。本发明针对水声目标识别中小样本情况下识别难度大、模型训练结果不佳、识别准确率低且易受异常数据影响的特点，提出一种基于数据分组的小样本深度学习水声识别方法：将训练集的数据进行随机分组后分别训练，得到的不同训练集对应的模型；再赋予每个模型相同的初始权重占比，根据每次迭代的预测结果调整权重占比，降低其中损失率较高的模型的权重占比；训练结束后的最终总模型输出和总模型准确率，由各组模型输出的加权求和得到的总输出得到。通过这种方式增加训练数据并减小异常数据对模型训练的影响。

发明内容

本发明的目的在于解决水声目标识别中小样本情况下识别难度大、识别准确率低且易受异常数据影响的问题，提供一种基于数据分组的小样本深度学习水声目标识别方法。

本发明将训练集数据划分n组分别训练，每次迭代输出各组损失值l_k，每组赋有权重a_k，加权计算出模型总损失值L，通过梯度下降算法确定a_k和L最小值。

本发明包括以下步骤：

1）采用He initialization方法初始化网络各层权重，即任意层的权重按照均值为0，且方差为的高斯分布进行随机取值，其中fan_in为该层输入神经元的数量。将当前任务的音频数据集划分为训练集和测试集，其中训练集和测试集中包括多个已知类别的音频样本；

2）根据当前训练集数据交错划分为n组，数据分组方式如下：

假设训练集X共有N个带标签数据{ x₁,x₂,x₃,…,x_N }，并对所有数据随机排序，然后将训练集数据均等划分为n组数据分集，记为{Q₁,Q₂,Q₃,…,Q_N }，每组数据分集里有N/n个数据，且不同的数据分集间无重复数据，数据分集的数据组成为：

数据分集进行合并组成子训练集{T₁,T₂,T₃,…,T_n}，合并的方法和子训练集与数据分集的关系如下：

以子训练集T_j（j=1,2,…,n）为例，子训练集T_j中包含数据分集Q₁,Q₂,…,Q _j-1,Q_j+1,…,Q_n,即子训练集T_j中包含除了Q_j以外所有的数据分集。每一个子训练集中包含n-1组的数据分集，且没有两个完全重复的子训练集，每个子训练集中共有N-N/n个数据，表达式为：

3）学习过程使用监督学习，即测试集和训练集的所有数据均为带标签数据，所有数据的类别均是已知的，无需考虑数据类别未知时的学习情况；对n个子训练集分别进行深度学习训练，训练方法采用残差神经网络进行，运用现有的深度学习库执行残差神经网络计算。测试所使用的测试集统一使用测试集A，测试集A中的数据量无要求，只需保证学习过程中测试集A中的数据不发生变化即可；

4）n个子训练集对应的n个子模型{M₁,M₂,M₃,…,M_N }，即子训练集T₁,T₂,T₃,…,T_n分别对应子模型M₁,M₂,M₃,…,M_n，子模型进行多次预训练循环迭代，计算并记录每次迭代的损失值，连续σ次迭代满足损失值小于μ后，结束子模型训练，并给子模型M_k（k=1,2,…,n）赋有权重a_k，初始权重a_k相同且a_k= 1；

5）总模型W是n个子模型的集合，负责进行计算总损失函数Loss，更新n个子模型权重值a_k以及判别总预测输出OUTPUT的任务，得到步骤4）中的n个子模型后，将子模型在总模型W下进行同步训练，即总模型W进行一次迭代，所有子模型都进行一次迭代，具体方法如下：

5.1）所有子模型进行一次迭代训练并输入测试集测试，分别得到每次迭代的子模型M_k 的损失值l_k；

5.2）计算由子模型M_k的损失值l_k和子模型M_k的权重a_k得到的第epoch次迭代的模型总损失函数Loss：

5.3）计算总损失函数Loss及总损失函数Loss对各个权重的偏导函数，通过梯度下降法，设置梯度下降学习率γ= 0.01，计算出子模型权重a_k梯度下降的方向，即：

5.4）迭代训练一次后，更新一次子模型权重a_k的值；

5.5）依次重复步骤5.1）5.2）5.3）5.4），迭代E次后训练结束；

6）权重更新后对总模型W进行测试。每个子模型对单个数据的输出output_k，对每个子模型加权求和后得到每轮测试时的模型的总预测输出，公式为：

将总预测输出OUTPUT转换为0/1值，即得到测试集的预测类别，便可得知测试结果。

本发明考虑到水声目标识别中由于技术条件限制导致数据搜集周期较长、训练数据缺乏、训练结果不佳且易受异常数据影响的问题，提出将数据进行分组训练的子模型，并根据预测结果调整子模型权重的方法，可实现降低异常数据对训练过程造成的负面影响，改善训练识别效果的目的。

本发明具有以下突出优点：

1）提出以训练集数据分组的方式解决水声目标识别中的小样本问题，采用交错分组的方法，以增加数据量，降低小样本问题对训练效果的不良影响；

2）提出对分组子模型进行单独训练，以避免异常数据对其它数据组的干扰；

3）采用子模型权重梯度下降的方式，降低含有异常数据组的权重，以减少异常数据对训练效果的干扰。

附图说明

图1为本发明基于数据分组的小样本深度学习水声目标识别方法训练流程图。

图2为本发明基于数据分组的小样本深度学习水声目标识别方法子模型权重更新流程图。

图3为本发明基于数据分组的小样本深度学习水声目标识别方法在训练集数据量N=30时的混淆矩阵图。

图4为本发明基于数据分组的小样本深度学习水声目标识别方法的对比算法无数据分组深度学习水声目标识别方法在训练集数据量N=30时的混淆矩阵图。

图5为本发明基于数据分组的小样本深度学习水声目标识别方法在训练集数据量N=40时的混淆矩阵图。

图6本发明基于数据分组的小样本深度学习水声目标识别方法的对比算法无数据分组深度学习水声目标识别方法在训练集数据量N=40时的混淆矩阵图。

具体实施方式

下面结合附图和具体实施例对本发明做详细描述。

如图1所示，本发明实施例包括以下步骤：

1）采用He initialization方法初始化网络各层权重，即任意层的权重按照均值为 0，且方差为的高斯分布进行随机取值，其中fan_in为该层输入神经元的数量。将当前任务的音频数据集划分为训练集和测试集，其中训练集和测试集中包括多个已知类别的音频样本；

2）根据当前训练集数据交错划分为n组，数据分组方式如下：

假设训练集X共有N个带标签数据{ x₁,x₂,x₃,…,x_N }，并对所有数据随机排序，然后将训练集数据均等划分为n组数据分集，记为{Q₁,Q₂,Q₃,…,Q_N}，每组数据分集里有N/n个数据，且不同的数据分集间无重复数据，数据分集的数据组成为：

数据分集进行合并组成子训练集{T₁,T₂,T₃,…,T_n}，合并的方法和子训练集与数据分集的关系如下：

以子训练集T_j （j=1,2,…,n）为例，子训练集T_j中包含数据分集Q₁,Q₂,…,Q _j-1,Q_j+1,…,Q_n,即子训练集T_j中包含除了Q_j以外所有的数据分集。每一个子训练集中包含n-1组的数据分集，且没有两个完全重复的子训练集，每个子训练集中共有N-N/n个数据。表达式为：

3）学习过程使用监督学习，即测试集和训练集的所有数据均为带标签数据，所有数据的类别均是已知的，无需考虑数据类别未知时的学习情况。对n个子训练集分别进行深度学习训练，训练方法采用残差神经网络进行，运用现有的深度学习库执行残差神经网络计算。测试所使用的测试集统一使用测试集A，测试集A中的数据量无要求，只需保证学习过程中测试集A中的数据不发生变化即可。

4）n个子训练集对应的n个子模型{M₁,M₂,M₃,…,M_N}，即子训练集T₁,T₂,T₃,…,T_n分别对应子模型M₁,M₂,M₃,…,M_n。子模型多次预训练循环迭代，计算并记录每次迭代的损失值。连续σ= 5次迭代满足损失值小于μ=1.0后，结束子模型训练，并给子模型M_k（k=1,2,…,n）赋有权重a_k，初始权重a_k相同且a_k= 1。

5）参见图2，总模型W是n个子模型的集合，负责进行计算总损失函数Loss，更新n个子模型权重值a_k以及判别总预测输出OUTPUT的任务。得到步骤4）中的n个子模型后，将子模型在总模型W下进行同步训练，即总模型W进行一次迭代，所有子模型都进行一次迭代。

5.1）所有子模型进行一次迭代训练并输入测试集测试，分别得到每次迭代的子模型M_k的损失值l_k。

5.2）计算由子模型M_k的损失值l_k和子模型M_k的权重a_k得到的第epoch次迭代的模型总损失函数Loss：

5.3）计算总损失函数Loss及总损失函数Loss对各个权重的偏导函数，通过梯度下降法，设置梯度下降学习率γ=0.01，计算出子模型权重a_k梯度下降的方向，即：

5.4）迭代训练一次后，更新一次子模型权重a_k的值。

5.5）依次重复步骤5.1）5.2）5.3）5.4），迭代E=50次后训练结束。

6）权重更新后对总模型W进行测试。每个子模型对单个数据的输出output_k，对每个子模型加权求和后得到每轮测试时的模型的总预测输出，公式为：

将总预测输出OUTPUT转换为0/1值，即得到测试集的预测类别，便可得知测试结果。

下面对本发明所述方法的可行性进行计算机仿真验证。

仿真平台为python3.8。

参数设置如下：学习率α= 0.001；梯度下降学习率γ=0.01；训练的批量大小batch_size=10；分类的类别数量num_class=2；读取数据的线程数num_workers=4；预迭代次数σ=5；μ=1.0；子训练集数量n=5；网络resnet34；迭代次数E=50。

以一个数据量为30的训练集X为例，介绍仿真过程。

（1）对训练集X进行数据分组。具体步骤如下:

①对训练集X里的30个带标签数据随机排序并标记序号：{ x₁,x₂,x₃,…,x₃₀ }。

②将训练集数据均等划分为n=5组数据分集，记为{Q₁,Q₂,Q₃,…,Q₅ }，根据数据分集划分原则：

因此5组数据分集的分类情况分别是：

③数据分集进行合并组成子训练集{T₁,T₂,T₃,…,T_n}，合并的方法和子训练集与数据分集的关系如下：

5个子训练集数据如下：

（2）5个子训练集对应的5个子模型{ M₁,M₂,M₃,…,M_N }，对5个子训练集分别进行子模型深度学习训练，进行循环迭代，计算并记录每次迭代的损失值。

（3）待连续5次迭代满足损失值小于1后，结束子模型训练。5个子模型训练都结束后，分别赋有权重a₁,a₂,…,a₅=1。

（4）总模型W进行一次迭代，迭代具体步骤如下：

①所有子模型进行一次迭代训练并输入测试集测试，分别得到每次迭代的子模型M_k 的损失值l_k；

②计算由子模型M_k的损失值l_k和子模型M_k的权重a_k得到的第epoch次迭代的模型总损失函数Loss，根据公式：

③计算总损失函数Loss及总损失函数Loss对各个权重的偏导函数，通过梯度下降法，设置梯度下降学习率γ，计算出子模型权重a_k梯度下降的方向，公式为：

④迭代训练一次后，更新一次子模型权重a_k的值。

⑤重复步骤①到④，直到epoch=50，迭代结束。

（5）权重更新后对总模型W进行测试。每个子模型对单个数据的输出output_k，对每个子模型加权求和后得到每轮测试时的模型的总预测输出，公式为：

将总预测输出OUTPUT转换为0/1值，即得到测试集的预测类别，便可得知测试结果。

图3和图4分别为训练集数据量N=30时，本发明所述在深度学习的水声识别方法中采用数据分类方法的小样本识别混淆矩阵图，和对比方法没有采用数据分类方法的小样本识别混淆矩阵图；图5和图6分别为训练集数据量N=40时，在本发明所述深度学习的水声识别方法中采用数据分类方法的小样本识别混淆矩阵图，和对比方法没有采用数据分类方法的小样本识别混淆矩阵图。可以看出，采用数据分组的深度学习的水声识别方法在N=30的小样本情况下识别准确率从76%提升到87%，在N=40的小样本情况下识别准确率从71%提升到84%，明显地降低了小样本对识别结果的不良影响，改善了训练识别效果。

Claims (2)

1.一种基于数据分组的小样本深度学习水声目标识别方法，其特征在于包括以下步骤：

1）采用He initialization方法初始化网络各层权重，即任意层的权重按照均值为0，且方差为的高斯分布进行随机取值，其中fan_in为该层输入神经元的数量；将当前任务的音频数据集划分为训练集和测试集，其中训练集和测试集中包括多个已知类别的音频样本；

2）根据当前训练集数据交错划分为n组，数据分组方式如下：

假设训练集X共有N个带标签数据{x₁,x₂,x₃,…,x_N}，并对所有数据随机排序，然后将训练集数据均等划分为n组数据分集，记为{Q₁,Q₂,Q₃,…,Q_N}，每组数据分集里有N/n个数据，且不同的数据分集间无重复数据，数据分集的数据组成为：

；

数据分集进行合并组成子训练集{T₁,T₂,T₃,…,T_n}，合并的方法和子训练集与数据分集的关系如下：

以子训练集T_j （j=1,2,…,n）为例，子训练集T_j 中包含数据分集Q₁,Q₂,…,Q_j-1,Q_j+1,…,Q_n，即子训练集T_j中包含除了Q_j以外所有的数据分集；每一个子训练集中包含n-1组的数据分集，且没有两个完全重复的子训练集，每个子训练集中共有有N-N/n数据；表达式为：

；

3）学习过程使用监督学习，即测试集和训练集的所有数据均为带标签数据，所有数据的类别均是已知的，无需考虑数据类别未知时的学习情况；对n个子训练集分别进行深度学习训练，训练方法采用残差神经网络进行，运用现有的深度学习库执行残差神经网络计算；测试所使用的测试集统一使用测试集A，测试集A中的数据量无要求，只需保证学习过程中测试集A中的数据不发生变化即可；

4）n个子训练集对应的n个子模型{ M₁,M₂,M₃,…,M_N }，即子训练集T₁,T₂,T₃,…,T_n分别对应子模型M₁,M₂,M₃,…,M_n；子模型多次预训练循环迭代，计算并记录每次迭代的损失值；连续σ次迭代满足损失值小于μ后，结束子模型训练，并给子模型M_k（k=1,2,…,n）赋有权重a_k，初始权重a_k相同且a_k = 1；

5）总模型W是n个子模型的集合，负责进行计算总损失函数Loss，更新n个子模型权重值a_k以及判别总预测输出OUTPUT的任务；得到步骤4）中的n个子模型后，将子模型在总模型W下进行同步训练，即总模型W进行一次迭代，所有子模型都进行一次迭代；

6）权重更新后对总模型W进行测试；每个子模型对单个数据的输出output_k，对每个子模型加权求和后得到每轮测试时的模型的总预测输出，公式为：

；

将总预测输出OUTPUT转换为0/1值，即得到测试集的预测类别，便可得知测试结果。

2.如权利要求1所述基于数据分组的小样本深度学习水声目标识别方法，其特征在于在步骤5）中，采用数据分组的方法，将训练集数据划分n组分别训练，每次迭代输出各组损失值l_n，每组赋有权重a_n，加权计算出模型总损失值L；然后通过梯度下降算法确定a_n和L最小值，每一次迭代的过程如下：

1）所有子模型进行一次迭代训练并输入测试集测试，分别得到每次迭代的子模型M_k的损失值l_k；

2）计算由子模型M_k的损失值l_k和子模型M_k的权重a_k得到的第epoch次迭代的模型总损失函数Loss：

；

3）计算总损失函数Loss及总损失函数Loss对各个权重的偏导函数，通过梯度下降法，设置梯度下降学习率γ，计算出子模型权重a_k梯度下降的方向，即：

；

4）迭代训练一次后，更新一次子模型权重a_k的值；

；

5）依次重复步骤1）、2）、3）、4），迭代E次后训练结束。

Images