CN112364973A - 一种基于神经网络和模型迁移学习的不相关多源频域载荷识别方法 - Google Patents

Abstract

本发明提出了一种基于神经网络和模型迁移学习的不相关多源频域载荷识别方法，具体包括：S1：利用频率点的历史数据对不相关多源载荷识别的多输入多输出神经网络模型进行训练；S2：将S1中的神经网络模型的模型参数迁移到相邻的目标频域的神经网络中作为网络权值的初值；S3：利用目标频率的历史数据对目标频域的神经网络进行二次训练，从而得到目标频率的不相关多源频域载荷识别模型；S4：将目标频率下训练好的神经网络的模型参数迁移到下一个相邻频率的模型；S5：循环该过程直到建立所有频率点的神经网络模型。本发明提出了一种基于神经网络和模型迁移学习的不相关多源频域载荷识别方法，通过迁移学习得到的神经网络多源载荷识别模型得到较好的神经网络模型的初始权重，有效减少训练时间，并得到更高的识别精度。

Description

一种基于神经网络和模型迁移学习的不相关多源频域载荷识 别方法

技术领域

本发明涉及迁移学习领域，特别是指一种基于神经网络和模型迁移学习的不相关多源频 域载荷识别方法。

背景技术

动态载荷识别技术在现代工程设计，可靠性试验，振动控制等方面具有广泛的应用范围。 但在工程实践中，振动幅频特性或者说振动响应是相对容易测量的，而由于施加的力的作用 即载荷激励通常无法轻易得到的，因此在某些条件下，如飞行中的导弹，海上平台和受激励 情况影响的其他大型建筑物，激励和振动系统的参量不易直接测出，往往需通过逆分析才能 获取相应参数，如获取系统载荷。载荷识别属于第二类反问题，它主要根据已知的一些系统 特性来获得载荷。对于载荷识别问题,由于识别过程的复杂性,各种因素,例如结构系统的 频率域、测量精度、激励类别等都会影响载荷识别效果，因此确定随机动载荷并科学地制定 相应的载荷谱是工程设计中亟待解决的问题。近年来，神经网络对于解决回归问题在一些问 题上面有很好的效果，但是由于不相关多源频域载荷识别中存在多个频率点，需要为每个频 率点建立一个多输入多输出的神经网络模型，用于该频率点的不相关多源频域载荷识别。如 果每个频率点的多输入多输出的神经网络模型是独立训练的，这会造成模型训练效率大大降 低。而且在小样本训练数据集的实验中，神经网络模型往往表现不佳。

发明内容

本发明的是为了解决使用神经网络进行载荷识别存在的训练效率低时间长、低精度的问 题，使用通过迁移学习得到的神经网络多源载荷识别模型得到较好的神经网络模型的初始权 重，有效减少训练时间，并得到更高的识别精度。

本发明采用如下技术方案：

本发明的目的是为了解决使用神经网络进行载荷识别存在的训练效率低时间长、低精度 的问题，使用通过迁移学习得到的神经网络多源载荷识别模型得到较好的神经网络模型的初 始权重，有效减少训练时间，并得到更高的识别精度。

为实现上述目的，本发明采用以下解决方案：

一种基于神经网络和模型迁移学习的不相关多源频域载荷识别方法，具体包括：

S1：利用频率点的历史数据对不相关多源载荷识别的多输入多输出神经网络模型进行训 练；

S2：将S1中的神经网络模型的模型参数迁移到相邻的目标频域的神经网络中作为网络权 值的初值；

S3：利用目标频率的历史数据对目标频域的神经网络进行二次训练，从而得到目标频率 的不相关多源频域载荷识别模型；

S4：将目标频率下训练好的神经网络的模型参数迁移到下一个相邻频率的模型；

S5：循环该过程直到建立所有频率点的神经网络模型。

具体的，所述步骤S1包括：

对于每个频率点ω，ω＝1,2,…,Ω,Ω为频率点个数，将系统历史的n个振动响应

作为输入，历史的m个不相关载荷

作为输出，p＝1,2,...,P，P为独立重复实验的次数。

具体的，所述不相关多源频域载荷识别模型的训练步骤如下：

步骤A1：在频率点ω＝1建立一个多输入多输出神经网络模型，利用历史多点振动响应多 源载荷数据对该神经网络模型进行训练，建立该频率点下的神经网络多源载荷预测模型；

步骤A2：通过迁移学习迁移步骤A1已经训练好的神经网络多源载荷预测模型的模型参 数到相邻ω+1频率的神经网络中；

步骤A3：利用相邻ω+1频率的历史数据对从步骤A2得到的神经网络模型参数进行二次 训练，得到相邻频率的神经网络载荷识别模型；

步骤A4：判断ω＜Ω,确定所有频率的神经网络载荷识别模型是否都已经建立完成，建 立完成则结束，否则ω＝ω+1转步骤A2。

具体的，所述模型迁移学习的数据处理方法，具体包括：

将载荷数据通过快速傅里叶变换转换到频域，并通过对数变换公式f_new(w)＝^log₁₀f(w)进 行数量级变换。

具体的，模型的迁移学习采用的神经网络模型具体为：

神经网络模型包含有1个输入层，1个输出层，3个隐藏层，选用Relu函数作为激活函 数，误差函数为平均绝对误差函数，梯度更新优化算法为自适应学习率算法RMSprop，并采 用早停技术进行训练。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1.本发明所述的基于神经网络和模型迁移学习的多源载荷识别模型，对比基于神经网络 的多源载荷识别模型，大大提升了效率。并且该算法能够取得较好的神经网络模型的初值权 重，并可以使神经网络模型的权重初值都在一个比较好的范围，有效提高识别精度；

2.发明所述的基于神经网络和模型迁移学习的多源载荷识别模型可以取得比传统的传递 函数和最小二乘广义逆模型、多元一次线性回归模型更好的精度；

3.发明所述的基于神经网络和模型迁移学习的多源载荷识别模型可以预测多个未知载 荷。

附图说明

图1为线性时不变系统多激励多响应的频域模型图；

图2为基于多输入多输出神经网络的不相关多源频域载荷识别方法流程图；

图3为基于多输入多输出神经网络和模型迁移学习的不相关多源载荷频域识别模型示意 图；

图4为基于多输入多输出神经网络和模型迁移学习的不相关多源频域载荷识别模型流程 图；

图5为圆柱壳响应测量节点示意图；

图6为响应测点位置分布示意图；

图7为本实施例中采用的神经网络结构图；

图8为神经网络+迁移学习的多源载荷识别模型训练损失图；

图9为神经网络+迁移学习的预测载荷和实际载荷的对比图；

图10为神经网络+迁移学习的预测载荷和实际载荷的3dB超差图。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

一种基于神经网络和模型迁移学习的不相关多源频域载荷识别方法，主要利用的是基于 模型的迁移学习方法，在将辅助频率下的神经网络载荷识别模型训练好的基础上，将辅助频 率的神经网络模型网络权值参数迁移到目标频率的神经网络模型中作为初值权重，即通过共 享相邻频率间神经网络模型的参数，然后进行Fine-tuning的方法达到模型迁移的目的。多 输入多输出神经网络和模型迁移学习的不相关多源频域载荷识别模型如图3所示。

如图1为线性时不变系统多激励多响应的频域模型图，如图2为基于多输入多输出神经 网络的不相关多源频域载荷识别方法流程图。本发明所述的基于神经网络和模型迁移学习的 不相关多源频域载荷识别方法，主要步骤为：首先，利用某频率点的历史数据对不相关多源 载荷识别的多输入多输出神经网络模型进行训练；其次，将该频率下的神经网络的模型参数 迁移到相邻的目标频域的神经网络中作为网络权值的初值；再次，利用目标频率的历史数据 对神经网络进行微调训练，从而得到目标频率的不相关多源频域载荷识别模型；

最后，将该频率的训练好的神经网络的模型参数迁移到下一个相邻频率的模型，循环该 过程直到建立所有频率点的神经网络模型。

在本发明中，模型迁移学习方法是指与深度神经网络进行结合，通过对现有的一些神经 网络的参数或结构进行微调，然后利用目标任务的数据对网络进行训练。比较著名的基于 ImageNet的图片分类任务，它可以根据google训练好的Inception_v3深度学习模型迁移到 自己的图片分类任务中，用目标任务的少量数据进行Fine-tuning训练出自己的模型。

对于每个频率点ω，ω＝1,2,…,Ω,Ω为频率点个数，将系统历史的n个振动响应

作为输入，历史的m个不相关载荷

作为输出，p＝1,2,...,P，P为独立重复实验的次数。

具体的训练步骤如下并同图4所示：

步骤A1在频率点ω＝1建立一个多输入多输出神经网络模型，利用历史多点振动响应多 源载荷数据对该神经网络模型进行训练，建立该频率点下的神经网络多源载荷预测模型；

步骤A2为了避免神经网络从头开始训练，通过迁移学习迁移该频域下已经训练好的神 经网络模型参数到相邻ω+1频率的神经网络中；

步骤A3利用相邻ω+1频率的历史数据对从步骤A2得到的神经网络模型参数进行微调训 练，从而得到相邻频率的神经网络载荷识别模型；

步骤A4判断ω＜Ω,即判断所有频率的神经网络载荷识别模型是否都已经建立完成，建 立完成则结束，否则ω＝ω+1转步骤A2。

针对不相关多源频域载荷识的模型迁移学习的数据处理方法，包括：由于采集到的数 据为时域的振动响应数据，因此需要通过快速傅里叶变换将时域数据转换到频域数据。该变 换后得到0Hz到6400Hz，频率间隔为4Hz的1601个频率点数据。并由于不同频域下其载荷 数据的数量级差距较大，这会对神经网络计算损失时产生数量级的偏差。通过将载荷数据通 过对数变换公式使不同数量级的载荷数据变换在同一个数量级下，从而降低相对误差。

针对不相关多源频域载荷识的迁移学习采用的神经网络模型，包括：包含1个输入层，1 个输出层，3个隐藏层分别为128，64，64个全连接神经单元，选用非线性拟合能力较弱的 Relu作为激活函数。误差函数选用对异常点较不敏感的平均绝对误差(Mean AbsoluteError， MAE)。梯度更新优化算法选用自适应学习率算法Adadelta。此种选择能够有效提高模型精度， 减少训练时间。

试验验证

1.验证方法

本实施例中采用留一交叉验证法对实验结果进行验证。留一交叉验证法每次取1组作为 测试集，其余14组作为训练集，该过程直到所有组均作为过测试集。最后取所有结果的平均 值作为模型度量的估计。

2.评价指标

本实施例采用工程上常用的3dB标准来对模型进行评价。对于预测的载荷

和实测载荷

满足3dB误差标准的限制条件如下：

对于每一个频率，如果预测的载荷和真实的载荷不满足上式，则该载荷标记为该频率下 的3dB误差载荷，所有不满足标准的载荷数据与所有预测载荷的比值即为该模型的3dB超差 率。

验证实例

1、实验装置及数据集

本实施例的实验装置是固定在振动台上并悬挂在弹性橡皮绳上的圆柱形结构。在圆柱壳 的内部与外部分别存在着一个球形噪声激励装置和一个悬挂式振动激励装置，其中振动激励 装置包括有记录振动激励的传感器，外部声激励和内部装置的振动响应传感器。在内部的声 激励和外部的振动激励分别有3个量级和5个量级，因此在本实验中共能收集到P＝15组多 源载荷联合激励数据。本实施例中的有两个激励源，因此载荷的预测输出是m＝2个。在圆柱 壳上共有n＝18个响应测点位置分布如图5、6所示：

2.实验结果分析

表1基于神经网络和迁移学习载荷识别模型与基于神经网络的载荷识别模型及其它传统载 荷识别方法的对比表

(1)从表1可以发现，单纯的神经网络模型较传统模型在本实验的小样本数据的表现并 不理想，而且由于神经网络中网络参数多，导致每次训练调整网络参数都会花费大量时间， 所以远远不如多元一次线性回归模型和传递函数和最小二乘广义逆模型的训练效率。但是在 相同的网络超参数(除训练轮数)的情况下，加入迁移学习的载荷识别的神经网络模型可以 在保证精度的基础上大大缩短训练时间，从每组2096.44秒的训练时间提升到每组457.26秒 的训练时间，但由于神经网络的性质，即使加入迁移学习与多元一次线性回归模型和传递函 数和最小二乘广义逆模型的训练效率还是无法相比。加入迁移学习的神经网络的多源载荷识 别模型的预测指标也远远超过未加入迁移学习的神经网络的多源载荷识别模型。

(2)从表1可知不论是在平均误差结果还是在最好误差结果上看，神经网络+迁移学习 的模型同单纯的神经网络模型，传递函数和最小二乘广义逆模型及多元一次线性回归模型相 比较，其3dB超差率也相对较低。因为基于神经网络的载荷识别模型中不存在矩阵求逆，因 此不存在传统的传递函数和最小二乘广义逆模型、多元一次线性回归模型的不适定性问题， 但是单纯的神经网络模型在本实验的小样本数据的精度并不理想，而迁移学习的加入缓解了 小样本问题，大大提升了神经网络载荷识别模型的精度。

(3)从图8可以发现，加入迁移学习的神经网络的多源载荷识别模型的训练初始误差 0.95左右，神经网络的多源载荷识别模型的训练初始误差在2.4左右，说明加入迁移学习的 神经网络模型权重的初值较好，也从侧面反映了迁移学习对于神经网络的多源载荷识别模型 的有效性；而且加入迁移学习的神经网络的多源载荷识别模型在第5轮训练的时候收敛到比 较好的误差，神经网络的多源载荷识别模型在21轮训练的时候收敛到比较好的误差，可以发 现加入迁移学习的神经网络的多源载荷识别模型收敛速度明显快于神经网络的多源载荷识别 模型，而且在前50轮训练内可以以更低的训练轮数达到更高的精度。并且可以发现，在相同 网络超参数及训练轮数的情况下，加入迁移学习的神经网络的多源载荷识别模型的预测指标 也远远超过未加入迁移学习的神经网络的多源载荷识别模型。

(4)由图9-10及表1可以看出基于迁移学习的多输入多输出神经网络的不相关多源载 荷识别模型在3dB超差率的指标上平均达到6.8％,4.6％的精度，预测载荷与实际载荷十分接 近，基本符合工程要求。

本发明针对基于神经网络的多源载荷识别模型训练效率低，时间长和精度低的问题，利 用频域下相邻频率间关系相似的特点，提出了基于神经网络和模型迁移学习的多源载荷识别 模型，并且通过实验验证该算法的有效性，该算法能够取得较好的神经网络模型的初值权重， 有效提高训练效率，提升实验精度。在算例中，对比基于神经网络的多源载荷识别模型，基 于神经网络和迁移学习的多源载荷识别模型的训练效率提升了5倍；而且基于神经网络和迁 移学习的多源载荷识别模型中两个载荷的3dB识别超差率最低能达到1.7％,1.3％远远优于传 递函数和最小二乘广义逆的多源载荷识别模型的6.1％,3.2％；神经网络模型的结果的好坏往 往取决于神经网络权重初值的设定，加入迁移学习，可以使神经网络模型的权重初值都在一 个比较好的范围，有效提高识别精度。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对 本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (5)

1.一种基于神经网络和模型迁移学习的不相关多源频域载荷识别方法，其特征在于，具体包括：

S1：利用频率点的历史数据对不相关多源载荷识别的多输入多输出神经网络模型进行训练；

S2：将S1中的神经网络模型的模型参数迁移到相邻的目标频域的神经网络中作为网络权值的初值；

S3：利用目标频率的历史数据对目标频域的神经网络进行二次训练，从而得到目标频率的不相关多源频域载荷识别模型；

S4：将目标频率下训练好的神经网络的模型参数迁移到下一个相邻频率的模型；

S5：循环该过程直到建立所有频率点的神经网络模型。

2.根据权利要求1所述的一种基于神经网络和模型迁移学习的不相关多源频域载荷识别方法，其特征在于，所述步骤S1包括：

对于每个频率点ω，ω＝1,2,…,Ω,Ω为频率点个数，将系统历史的n个振动响应

作为输入，历史的m个不相关载荷

作为输出，p＝1,2,...,P，P为独立重复实验的次数。

3.根据权利要求1所述的一种基于神经网络和模型迁移学习的不相关多源频域载荷识别方法，其特征在于，所述不相关多源频域载荷识别模型的训练步骤如下：

步骤A1：在频率点ω＝1建立一个多输入多输出神经网络模型，利用历史多点振动响应多源载荷数据对该神经网络模型进行训练，建立该频率点下的神经网络多源载荷预测模型；

步骤A2：通过迁移学习迁移步骤A1已经训练好的神经网络多源载荷预测模型的模型参数到相邻ω+1频率的神经网络中；

步骤A3：利用相邻ω+1频率的历史数据对从步骤A2得到的神经网络模型参数进行二次训练，得到相邻频率的神经网络载荷识别模型；

步骤A4：判断ω＜Ω,确定所有频率的神经网络载荷识别模型是否都已经建立完成，建立完成则结束，否则ω＝ω+1转步骤A2。

4.根据权利要求1所述的一种基于神经网络和模型迁移学习的不相关多源频域载荷识别方法，其特征在于，所述模型迁移学习的数据处理方法，具体包括：

将载荷数据通过快速傅里叶变换转换到频域，并通过对数变换公式f_new(w)＝log₁₀ f(w)进行数量级变换。

5.根据权利要求1所述的一种基于神经网络和模型迁移学习的不相关多源频域载荷识别方法，其特征在于，模型的迁移学习采用的神经网络模型具体为：

神经网络模型包含有1个输入层，1个输出层，3个隐藏层，选用Relu函数作为激活函数，误差函数为平均绝对误差函数，梯度更新优化算法为自适应学习率算法RMSprop，并采用早停技术进行训练。

Images