CN112364994B - 基于mmd和tsp的频域载荷识别的模型迁移学习源域选择方法 - Google Patents

Abstract

本发明提出一种MMD和TSP的频域载荷识别的模型迁移学习源域选择方法，首先利用MMD距离度量不同频率下样本数据间的差异，得到不同频率间MMD距离矩阵D；其次，通过遗传算法求解访问所有频率所需MMD距离总和的最小代价，求解MMD距离矩阵的TSP问题；最后，利用遗传算法得到迁移顺序频率序列进行频域载荷识别神经网络模型的迁移学习。本发明提出一种MMD和TSP的频域载荷识别的模型迁移学习源域选择方法，通过进行迁移顺序的选择，可以得到更好的神经网络模型，有效提高模型精度，减少训练时间、得到更高的识别精度。

Description

基于MMD和TSP的频域载荷识别的模型迁移学习源域选择方法

技术领域

本发明属于深度学习领域，特别涉及一种基于MMD和TSP的频域载荷识别的模型迁移学习源域选择方法。

背景技术

动态载荷识别技术在现代工程设计，可靠性试验，振动控制等方面具有广泛的应用范围。但在工程实践中，响应是相对容易测量的，而由于载荷大小不容易得到的，因此在某些条件下，如飞行中的导弹，海上平台和受激励情况影响的其他大型建筑物，激励和振动系统的参量不易直接测出，往往需通过逆分析才能获取相应参数。载荷识别是结构动力学中的第二类逆问题，它是根据已知的系统动态特性和实际情况下的动态响应来获得动态激励的。随着深度学习的广泛应用，更多更深的神经网络框架被提出。这些深度学习框架能够有效提升模型在数据上的表现，但是这些性能的提升是建立在花费更多时间和计算资源的基础上，因此基于迁移学习的神经网络框架由此出现。考虑到某些数据或任务是相关的，迁移学习可以通过将相关任务模型的参数共享给目标任务模型来加速和优化模型训练，而不用像大多数网络那样从头开始训练。并不是使用迁移学习就能使模型变得更好，有时会发生负迁移的现象，如果训练数据源的信息不仅没有用，反而会对目标域上的工作适得其反，便会产生负迁移。如果存在多个目标域数据可供选择，我们可需要选择最有帮助的源域数据进行训练，选择的标准通常依赖于源域和目标域之间的相似度度量。

发明内容

本发明的目的针对使用神经网络模型迁移学习进行频域载荷识别时，候选源域模型多，源域模型迁移顺序如何确定的问题，提出了一种基于最大平均差异(Maximum MeanDiscrepancy,MMD)和旅行售货商(Traveling Salesman Problem,TSP)的频域载荷识别的模型迁移学习源域选择方法。通过进行迁移顺序的选择，可以得到更好的神经网络模型，有效提高模型精度，减少训练时间、得到更高的识别精度。

本发明采用如下技术方案：

一种MMD和TSP的频域载荷识别的模型迁移学习源域选择方法，包括：

利用MMD距离度量不同频率下样本数据间的差异，得到不同频率间MMD距离矩阵D；

通过遗传算法求解访问所有频率所需MMD距离总和的最小代价，求解MMD距离矩阵的TSP问题；

利用遗传算法得到迁移顺序频率序列进行频域载荷识别神经网络模型的迁移学习。

具体的，所述MMD采用高斯核作为映射函数。

具体的，所述TSP问题，具体包括：

根据得到不同频率间MMD距离矩阵D

其中，d_ij表示频率ω_t的数据与频率ω_t+1的数据MMD差异,Ω为迁移频率模型的个数；

根据每个频率模型训练一次，以及路径MMD总差异为所有路径中最小，当训练频率ω_t的模型，将频率ω_t的模型迁移到频率ω_t+1的模型，直到Ω个频率的载荷识别模型全部训练完,得到一个迁移顺序频率序列。

具体的，所述遗传算法具体包括：

将频率按从小到大的顺序或一些随机顺序作为初始种群，采用局部贪心策略的遗传算法进行求解，将大型TSP切分为n个小型TSP进行求解，n为正整数。

具体的，其特征在于，所述模型的迁移学习方法具体包括：

以结构的多点振动响应为多输入，不相关多源载荷为多输出，利用特定频率的历史数据建立不相关多源载荷识别的多输入多输出神经网络模型；

将训练后的神经网络参数作为初始参数传递到目标频率，用目标频率的历史数据对传输的神经网络进行二次训练，得到目标频率的不相关多源负荷识别模型；

将训练后的目标频率神经网络参数传递给下一个目标频率，环整个过程，直到建立全频率的神经网络模型。

具体的，模型的迁移学习方法的训练步骤如下：

步骤A1：在频率ω_t上建立神经网络模型，利用频率ω_t的历史数据训练神经网络模型，建立该频率下的神经网络多源载荷识别预测模型；

步骤A2：将步骤A1得到的预测模型作为辅助频率模型；

步骤A3：利用目标频率ω_t+1的历史数据对步骤A2得到的辅助频率模型参数进行二次训练，得到目标频率ω_t+1的神经网络载荷识别模型；

步骤A4：判断所有频率的神经网络载荷辨识模型是否均已训练结束，训练完成则结束，否则转步骤A2。

具体的，所述模型的迁移学习方法的数据处理方法，具体包括：

将载荷数据通过快速傅里叶变换转换到频域，并通过对数变换公式f_new(ω)＝log₁₀f(ω)进行数量级变换。

具体的，其特征在于，模型的迁移学习方法中采用的神经网络模型具体为：

神经网络模型包含有1个输入层，1个输出层，3个隐藏层，选用Relu函数作为激活函数，误差函数为平均绝对误差函数，梯度更新优化算法为自适应学习率算法RMSprop，并采用早停技术进行训练。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1、本发明所述的基于MMD和TSP的频域载荷识别的模型迁移学习源域选择方法，对比基于神经网络的多源载荷识别模型，大大提升了效率，并且该算法能够取得较好的神经网络模型初始权重，可以使神经网络模型的权重初值都在一个比较好的范围，有效提高识别精度；

2、通过进行迁移顺序的选择，可以得到更好的神经网络模型，有效提高模型精度，减少训练时间。

附图说明

以下结合附图和具体实施例对本发明作进一步详述。

图1为基于数据驱动和多重多元回归分析的不相关多源载荷识别模型图；

图2为基于神经网络的频域不相关多源载荷识别模型图；

图3为基于迁移学习和神经网络的不相关多源载荷频域识别模型示意图；

图4为基于迁移学习和神经网络的不相关多源载荷频域识别模型流程图；

图5为球形噪声激励源示意图；

图6为悬挂式振动激励源示意图；

图7为圆柱壳响应测量节点示意图；

图8为响应测点位置分布示意图；

图9为神经网络结构图；

图10为MMD-TSP顺序的迁移学习神经网络的3dB误差图；

图11为频率阶迁移学习神经网络的3dB误差图；

图12为随机阶迁移学习神经网络的3dB误差图；

图13为无迁移学习的神经网络3dB误差图；

图14为最小二乘法方法的3dB误差图；

图15为传递函数法的3dB误差图；

图16为有迁移学习和无迁移学习的神经网络训练损失对比图；

图17为三种迁移顺序的网络初始损失与迁移未使用迁移学习的神经网络图；

图18为按频率顺序和MMD-TSP顺序迁移的网络初始损失图。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

实施例的图1-4分别示出了基于数据驱动和多重多元回归分析的不相关多源载荷识别模型图；基于神经网络的频域不相关多源载荷识别模型图；基于迁移学习和神经网络的不相关多源载荷频域识别模型示意图；以及基于迁移学习和神经网络的不相关多源载荷频域识别模型流程图，作为简单的介绍。

本实施例中提供的一种MMD和TSP的频域载荷识别的模型迁移学习源域选择方法，具体包括：

首先，利用MMD距离度量不同频率下样本数据间的差异，得到不同频率间MMD距离矩阵D；

所述MMD采用高斯核作为映射函数。

不同频率间MMD距离矩阵D

其中，d_ij表示频率ω_t的数据与频率ω_t+1的数据MMD差异,Ω为迁移频率模型的个数；

根据每个频率模型训练一次，以及路径MMD总差异为所有路径中最小，当训练频率ω_t的模型，将频率ω_t的模型迁移到频率ω_t+1的模型，直到Ω个频率的载荷识别模型全部训练完,得到一个迁移顺序频率序列。

为了选择每个目标频率点合适的辅助频率点模型，需要进行模型迁移顺序的设计。在本研究中，规划的目标为迁移Ω个频率模型，路径的限制是每个频率模型只能训练一次。路径的选择目标是要求得的路径MMD总差异为所有路径之中的最小值。当我们训练频率ω_t的模型后，我们需要找到合适的ω_t+1的模型，将ω_t的模型迁移到ω_t+1的模型，然后对模型进行二次训练。二次训练模型后，重复该过程；本实施例中共有1601个频率，直到1601个频率的载荷识别模型全部训练完,这样就得到一个迁移顺序频率序列。迁移顺序频率序列的格式为[k₁,k₂,...,k_i,...,k_Ω],k_i≠k_j,i,j∈{1,2,...,Ω},k_i∈{1,2,...,Ω}，比如迁移顺序频率序列为[2,1,3,4,...,1599,1600]，每个数字代表一个频率。

其次，通过遗传算法求解访问所有频率所需MMD距离总和的最小代价，求解MMD距离矩阵的TSP问题；

遗传算法具体包括：

将频率按从小到大的顺序或一些随机顺序作为初始种群，采用局部贪心策略的遗传算法进行求解，将大型TSP切分为n个小型TSP进行求解，n为正整数，从而可是实现降低算法复杂度，加快求解近似解速度的效果。本实施例中将1601个频率的大型TSP切分为每份201个频率，总共8个的小型TSP进行求解。

最后，利用遗传算法得到迁移顺序频率序列进行频域载荷识别神经网络模型的迁移学习。

对于模型迁移学习方法，是指与深度神经网络进行结合，通过对现有的一些神经网络的参数或结构进行二次训练，然后利用目标任务的数据对网络进行训练。比较著名的基于ImageNet的图片分类任务，它可以根据google训练好的Inception_v3深度学习模型迁移到自己的图片分类任务中，用目标任务的少量数据进行Fine-tuning训练出自己的模型。

在实施例中，所述模型的迁移学习方法具体包括：

以结构的多点振动响应为多输入，不相关多源载荷为多输出，利用特定频率的历史数据建立不相关多源载荷识别的多输入多输出神经网络模型；

将训练后的神经网络参数作为初始参数传递到目标频率，用目标频率的历史数据对传输的神经网络进行二次训练，得到目标频率的不相关多源负荷识别模型；

将训练后的目标频率神经网络参数传递给下一个目标频率，环整个过程，直到建立全频率的神经网络模型。

模型的迁移学习方法的训练步骤如下：

步骤A1：在频率ω_t上建立神经网络模型，利用频率ω_t的历史数据训练神经网络模型，建立该频率下的神经网络多源载荷识别预测模型；

步骤A2：将步骤A1得到的预测模型作为辅助频率模型；

步骤A3：利用目标频率ω_t+1的历史数据对步骤A2得到的辅助频率模型参数进行二次训练，得到目标频率ω_t+1的神经网络载荷识别模型；

步骤A4：判断所有频率的神经网络载荷辨识模型是否均已训练结束，训练完成则结束，否则转步骤A2。

所述模型的迁移学习方法的数据处理方法，具体包括：将载荷数据通过快速傅里叶变换转换到频域，并通过对数变换公式f_new(ω)＝log₁₀f(ω)进行数量级变换。

由于采集到的数据为时域的振动响应数据，因此需要通过快速傅里叶变换将时域数据转换到频域数据。该变换后得到0Hz到6400Hz，频率间隔为4Hz的1601个频率点数据。并由于不同频域下其载荷数据的数量级差距较大，这会对神经网络计算损失时产生数量级的偏差。通过将载荷数据通过对数变换公式f_new(ω)＝log₁₀f(ω)使不同数量级的载荷数据变换在同一个数量级下,从而降低相对误差。

模型的迁移学习方法中采用的神经网络模型具体为：

神经网络模型包含有1个输入层，1个输出层，3个隐藏层，分别为64，64，32个全连接神经单元，选用非线性拟合能力较弱Relu函数作为激活函数，误差函数为选用对异常点较不敏感平均绝对误差函数，梯度更新优化算法为自适应学习率算法RMSprop，并采用早停技术进行训练，此种选择能够有效提高模型精度，减少训练时间。

试验验证

1.验证方法

本文采用留一交叉验证法对实验结果进行验证。留一交叉验证法每次取1组作为测试集，其余14组作为训练集，该过程直到所有组均作为过测试集。最后取所有结果的平均值作为模型度量的估计。

2.评价指标

本文采用工程上常用的3dB标准来对模型进行评价。对于预测的载荷

和实测载荷f_i(ω)，满足3dB误差标准的限制条件如下：

对于每一个频率，如果预测的载荷和真实的载荷不满足上式，则该载荷标记为该频率下的3dB误差载荷，所有不满足标准的载荷数据与所有预测载荷的比值即为该模型的3dB超差率。

为了评估整个模型的预测性能，还使用了平均绝对百分比误差(MAPE)和平均dB误差来评估模型。公式如下：

具体验证实例

1、实验装置及数据集

本专利的实验装置是固定在振动台上，悬挂在弹性橡皮绳上的圆柱形结构。圆柱壳内部为球形噪声激励装置，外部为悬挂式振动激励装置，如图5和图6所示。内部声激励和外部振动激励分别为三个数量级和五个数量级。因此，本实验可采集15组多源载荷联合激励数据。实验中有两个激励源，所以载荷的预测输出是两个。圆柱壳上18个响应测点的位置分布如图7和图8所示。

2、实验设计

本实验设计了五组实验，研究了迁移学习对模型性能的影响，以及不同迁移顺序对模型性能的影响。

实验一表示为了比较不同迁移学习顺序的实验结果，将按频率顺序、MMD-TSP顺序和随机顺序进行迁移的神经网络模型在精度和训练时间上进行比较络。并且为了比较迁移学习方法与传统方法的模型性能，加入最小二乘法和传递函数法进行比较。实验共进行了10次，以实验的平均指标为结果，结果见表1，表1为三种迁移顺序与传统方法的比较；图11-16表示不同迁移顺序的神经网络模型、不使用迁移学习的神经网络模型、OLS方法和传递函数方法的3dB误差。

实验二表示为了验证迁移学习的有效性，将不使用迁移学习的神经网络训练效率与按频率顺序进行迁移学习的神经网络进行比较。图17表示在4hz下，不使用迁移学习的神经网络与使用迁移学习的神经网络的50训练轮数的比较(不使用迁移学习的神经网络在第50训练轮数的最小损失为0.7705，加上迁移学习后在第15训练轮数的最小损失为0.2080)。表2表示在4Hz时，不使用迁移学习的神经网络和使用迁移学习的神经网络在训练损失的比较。

实验三表示为了比较不同学习率下迁移学习对神经网络模型的影响，比较了学习率为0.001、0.0005和0.0001的实验结果。表3显示了在相同的网络超参数和相同的训练次数下，在不同的学习率下，不使用迁移学习的神经网络和使用迁移学习的神经网络的比较。

实验四表示为了对比不同迁移顺序的实验效果，将按频率顺序进行迁移，按MMD-TSP求解的顺序进行迁移，按随机顺序进行迁移三种方式的迁移顺序在精度与训练时间上进行对比，结果如表1所示；

实验五表示为了比较不同迁移顺序的神经网络初始权重的效果，将所有频率的三种迁移顺序与无迁移学习的初始损失进行比较。图17表示在所有频率下，三种迁移顺序与无迁移学习的初始损失进行比较。图18表示在所有频率下，按频率顺序进行迁移的网络初始损失和按MMD-TSP求解的顺序的网络初始损失比较；表4为在选择不同辅助频率模型的频率点中，不同迁移顺序的神经网络的初始损失更小的频率数。这里需要说明的是比如在目标频率＝60HZ下，若按频率顺序进行迁移选择的辅助频率＝64HZ，而按MMD-TSP求解的选择的辅助源域的频率不是64Hz，则认为该频率在不同迁移顺序下具有不同的辅助频率模型，否则认为该频率具有相同的辅助频率模型，则该频率不会统计在该表中。

3.实验结果分析

表1为三种迁移顺序与传统方法的比较

表2为无迁移学习与有迁移学习的神经网络在训练损失中的比较

表3为不同学习率下不使用迁移学习的神经网络与使用迁移学习的神经网络的比较(本部分不采用早停策略)

表4为两种迁移顺序中初始损失较好的频率个数

(1)从表1可以看出，在本实验的小样本数据中，与传统方法相比，无迁移学习的人工神经网络的性能并不理想。由于神经网络中网络参数较多，每次调整网络参数都需要较长的时间，因此远远低于其他多元线性回归方法的训练效率。但是，在网络超参数相同的情况下(除了训练轮数外)，采用迁移学习的神经网络在保证精度的基础上，可以显著缩短训练时间，从1451.6秒缩短到175.4秒。然而，由于神经网络的网络参数较多，即使加入了迁移学习，其训练效率也无法与最小二乘法和传递函数法相比。从表1可知不论是在平均误差结果还是在最好误差结果上看，神经网络+迁移学习的模型同单纯的神经网络模型，传递函数和最小二乘广义逆模型及多元一次线性回归模型相比较，其3dB超差率也相对较低。因为基于神经网络的载荷识别模型中不存在矩阵求逆，因此不存在传统的传递函数和最小二乘广义逆模型、多元一次线性回归模型的不适定性问题，但是单纯的神经网络模型在本实验的小样本数据的精度并不理想，而迁移学习的加入缓解了小样本问题，大大提升了神经网络载荷识别模型的精度。

(2)如表1、3和图10-15所示，与无迁移学习的人工神经网络、传递函数法和最小二乘法相比，有迁移学习的人工神经网络的3dB误差、MPAE和MdBE也更好。此外，如表3所示，在相同的网络超参数和训练轮数下，具有迁移学习的神经网络的预测性能远远高于不使用迁移学习的神经网络，这表明迁移学习显著提高了神经网络的载荷识别能力。由于人工神经网络不存在矩阵求逆问题，因此对比传递函数法、最小二乘法法，不存在不适定问题。但是，在本实验的小样本数据中，没有使用迁移学习的神经网络的精度并不理想，而迁移学习的加入缓解了小样本问题，显著提高了神经网络的精度。

(3)从图上16-18和表2可以发现，采用MMD-TSP顺序进行迁移学习的神经网络的初始权值优于未使用迁移学习的神经网络。此外，在相同的学习率下，使用迁移学习的神经网络比不使用迁移学习的神经网络更快收敛到最小损失。迁移学习神经网络的收敛速度明显快于不使用迁移学习的神经网络，这表明它能以较低的训练次数达到较高的精度。

(4)如表3所示，在三种学习率下，加入迁移学习后的神经网络的学习精度优于未加入迁移学习的神经网络，说明迁移学习极大地改善了神经网络模型。此外，可以发现，具有迁移学习的神经网络需要减小学习率才能得到更好的模型。

(5)从表1可以发现，可以看出按MMD-TSP求解的顺序得到的模型精度比按频率顺序的网络迁移得到的模型精度有所提升，但提升不大，说明按频率顺序进行迁移已经是一个较优解；而对比随机顺序进行迁移有较大提升，说明MMD距离可以很好度量模型差异，对迁移有很好的指导作用。而且从模型训练时间上看，对比随机顺序和频率大小顺序，按MMD-TSP求解的顺序进行模型迁移的训练时间较短，因此该模型有助于提高训练效率，减少训练时间。

(6)从图17,18中看出，在大部分频率下，按MMD距离求解TSP迁移问题的顺序的网络初始损失在按频率顺序进行迁移的网络初始损失下方，即损失更小，且从表可知MMD距离更好好地度量模型差异，更好地对模型迁移进行指导。

针对使用神经网络模型迁移学习进行频域载荷识别时，候选源域模型多，源域模型以及模型迁移顺序如何选择的问题，提出了一种MMD-TSP模型迁移顺序选择方法。利用MMD距离度量不同频率下样本数据间的差异，建立不同频率间MMD距离矩阵，然后通过遗传算法求解访问所有频率所需MMD距离总和的最小代价，得到所有频率模型迁移顺序。通过进行迁移顺序的选择，可以得到更好的神经网络模型的权重初值，有效提高模型精度，减少训练时间。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (6)

1.基于MMD和TSP的频域载荷识别的模型迁移学习源域选择方法，其特征在于：

利用MMD距离度量不同频率下样本数据间的差异，得到不同频率间MMD距离矩阵D；

通过遗传算法求解访问所有频率所需MMD距离总和的最小代价，求解MMD距离矩阵的TSP问题；

利用遗传算法得到迁移顺序频率序列进行频域载荷识别神经网络模型的迁移学习；

所述TSP问题，具体包括：

根据得到不同频率间MMD距离矩阵D

其中，d_ij表示频率ω_t的数据与频率ω_t+1的数据MMD差异,Ω为迁移频率模型的个数；

根据每个频率模型训练一次，以及路径MMD总差异为所有路径中最小，当训练频率ω_t的模型，将频率ω_t的模型迁移到频率ω_t+1的模型，直到Ω个频率的载荷识别模型全部训练完,得到一个迁移顺序频率序列。

所述模型的迁移学习方法具体包括：

以结构的多点振动响应为多输入，不相关多源载荷为多输出，利用特定频率的历史数据建立不相关多源载荷识别的多输入多输出神经网络模型；

将训练后的神经网络参数作为初始参数传递到目标频率，用目标频率的历史数据对传输的神经网络进行二次训练，得到目标频率的不相关多源负荷识别模型；

将训练后的目标频率神经网络参数传递给下一个目标频率，直到建立全频率的神经网络模型。

2.根据权利要求1所述的基于MMD和TSP的频域载荷识别的模型迁移学习源域选择方法，其特征在于，所述MMD采用高斯核作为映射函数。

3.根据权利要求1所述的基于MMD和TSP的频域载荷识别的模型迁移学习源域选择方法，其特征在于，所述遗传算法具体包括：

将频率按从小到大的顺序或一些随机顺序作为初始种群，采用局部贪心策略的遗传算法进行求解，将大型TSP切分为n个小型TSP进行求解，n为正整数。

4.据权利要求1的所述的基于MMD和TSP的频域载荷识别的模型迁移学习源域选择方法，其特征在于，模型的迁移学习方法的训练步骤如下：

步骤A1：在频率ω_t上建立神经网络模型，利用频率ω_t的历史数据训练神经网络模型，建立该频率下的神经网络多源载荷识别预测模型；

步骤A2：将步骤A1得到的预测模型作为辅助频率模型；

步骤A3：利用目标频率ω_t+1的历史数据对步骤A2得到的辅助频率模型参数进行二次训练，得到目标频率ω_t+1的神经网络载荷识别模型；

步骤A4：判断所有频率的神经网络载荷辨识模型是否均已训练结束，训练完成则结束，否则转步骤A2。

5.根据权利要求1所述的基于MMD和TSP的频域载荷识别的模型迁移学习源域选择方法，其特征在于，所述模型的迁移学习方法的数据处理方法，具体包括：

将载荷数据通过快速傅里叶变换转换到频域，并通过对数变换公式f_new(ω)＝log₁₀f(ω)进行数量级变换。

6.根据权利要求1所述的基于MMD和TSP的频域载荷识别的模型迁移学习源域选择方法，其特征在于，模型的迁移学习方法中采用的神经网络模型具体为：

神经网络模型包含有1个输入层，1个输出层，3个隐藏层，选用Relu函数作为激活函数，误差函数为平均绝对误差函数，梯度更新优化算法为自适应学习率算法RMSprop，并采用早停技术进行训练。

Images