CN111079977A

CN111079977A - 基于svd算法的异构联邦学习矿井电磁辐射趋势跟踪方法

Info

Publication number: CN111079977A
Application number: CN201911125937.0A
Authority: CN
Inventors: 孙晓燕; 胡尧; 李祯其
Original assignee: China University of Mining and Technology CUMT
Current assignee: China University of Mining and Technology CUMT
Priority date: 2019-11-18
Filing date: 2019-11-18
Publication date: 2020-04-28
Anticipated expiration: 2039-11-18
Also published as: CN111079977B

Abstract

本发明公开了一种基于SVD算法的异构联邦学习矿井电磁辐射强度趋势跟踪方法，首先针对联邦学习客户端内数据不均衡问题提出异构模型联邦学习算法，通过在服务器内设置异构中央模型供客户端选择以提高本地模型精度；针对本地模型参数上传通讯代价问题，提出先使用SVD算法分解参数矩阵得到对应奇异值矩阵，随后将其上传至中央服务器内进行聚合更新的高效通讯算法；最后各客户端利用更新后的本地模型提取本地数据特征，利用该特征与真实数据值训练ESN网络执行趋势跟踪。本发明能够在保护数据隐私的前提下实现多传感器采集电磁辐射强度的趋势跟踪，能够提升各客户端趋势跟踪精度并降低框架所需的通讯代价。

Description

基于SVD算法的异构联邦学习矿井电磁辐射趋势跟踪方法

技术领域

本发明属于煤矿安全预警技术领域，尤其涉及一种基于SVD算法的异构联邦学习矿井电磁辐射强度趋势跟踪方法。

背景技术

目前国内外主要使用的煤岩动力灾害预测的方法有两大类，一类是常规的方法，即利用应力测量法、钻屑量、钻孔瓦斯涌出初速度和钻屑瓦斯解吸指标等静态指标进行预测预报，由于煤岩动力灾害是煤岩体动力特性连续变化的过程，单纯的选取某一时刻煤岩体的性质不能全面的反映其变化特性。另一类则是使用地球物理方法进行预测预报，如电磁辐射法、声发射法、采矿地质法在俄罗斯、乌克兰和中国等地区进行了较为广泛的应用，微震法则在波兰、俄罗斯、加拿大和南非等地区使用较多。其中，声发射法研究应用较早，在20世纪80年代就已将这一技术应用于矿井煤岩动力灾害预测和煤岩体稳定性监测，但由于声发射本身抗干扰差和矿井环境复杂及干扰源多等特点，使得声发射技术预测的准确性、实用性与煤矿实际安全需要还存在一定的差距。其中，电磁辐射法和微震法应用相对成熟广泛一些。国内电磁辐射的研究始于20世纪90年代，何学秋、刘明举、王恩元等对煤岩破裂电磁辐射信号的产生机理、特征、变化规律及传播特性等进行了较为广泛的研究，并通过电磁辐射信号的预测实现了煤岩动力灾害的非接触监测，由于其具有测试方便、工作量小、劳动强度低、前兆响应明显、预报准确率高等优点，在全国大多数矿井中得以推广应用，且预测效果良好。

在矿井安全中，电磁辐射强度的变化趋势更能准确预测动力灾害的发生，相关文献指出，目前在采掘现场对煤与瓦斯突出动力学灾害的预警技术，通常选用传感器采集到的电磁辐射强度时序数据作为指标，而冲击地压即岩爆通常采用临界值法与趋势法进行综合判断。当电磁辐射强度数值超过临界值时，认为有动力灾害危险；电磁辐射强度变化趋势的分析通常考虑三种变化情况：(1)电磁辐射强度的变化趋势保持相对稳定，即趋势值没有大的突然变化时，认为不存在动力灾害的危险；(2)当电磁辐射强度数值趋势具有明显突然增强或连续增强趋势时，表明有动力灾害危险；(3)电磁辐射强度较高时，当出现明显由大变小，保持一段时间后又突然增大的情况，则更加危险，应立即采取防治措施。因此，对于电磁辐射强度及其变化趋势的准确预测对于煤矿动力灾害的预警，为矿井的高效生产和人员的生命安全提供有效的保障具有重要的现实意义。

在煤矿安全预警的实际应用中，如若仅采用单一传感器采集到的数据指标，会导致整个系统相对缺乏容错性与稳定性。多传感器数据融合是对多个传感器或信息源所提供的关于环境特征的不完整数据信息进行相对完整的描述，形成的完整描述可以用来实现更准确的识别和判断。在多传感器数据融合过程中往往存在着很多的数据交互过程，而在交互过程内往往存在着隐私数据泄露的风险。目前，在煤矿井下电磁辐射趋势预测中，尚未有相关研究考虑多传感器融合中的数据安全。

遵循白宫报告中“知情收集，数据最小化”(Focused Collection or DataMinimization)原则，谷歌公司于2017年提出了联邦学习(Federated Learning,FL)框架。联邦学习主要包含两个组成部分：中央模型聚合(Central Model Aggregation)和本地模型训练(Local Model Training)。典型FL的流程包含多个通讯轮次(CommunicationRounds)，每个通讯轮次中仅有若干通讯条件良好的客户端参加，过程包括客户端层面上的参数下载、本地训练、训练参数上传，以及服务器层面上的参数聚合。在此过程中存在大量的数据上传下载的过程，而参与设备(Participating Devices)通常饱受通讯带宽限制困扰，所以如何以较低的通讯代价获得性能更佳的预测模型是FL研究的重点内容之一。FL总体通讯量由单轮次中各客户端通讯量以及所进行的通讯轮次共同决定，因此恰当的网络模型以及上传至服务器的本地模型参数规模，对于整体框架通讯量尤为重要。而目前FL的相关研究中，为了便于在中央服务器内进行相关参数的聚合，均假设各客户端采用相同的学习器模型，没有考虑具有不同采样频率的传感数据处理时模型的差异性。

发明内容

发明目的：针对以上问题，本发明提出一种基于奇异值分解(SVD)算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法，在明显降低通讯代价的同时提升趋势跟踪的精度，利用联邦学习解决了电磁辐射多传感器数据融合可能存在的安全泄露问题、降低了联邦学习的通讯代价、保证了电磁辐射强度变化趋势跟踪的准确性。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法，包括如下步骤：

S1，利用K个传感器采集得到矿井的K个电磁辐射强度数据集；

S2，将用于采集数据的传感器作为联邦学习框架中的客户端，调度室内用于处理数据的设备(处理器)作为联邦学习框架中的中央服务器；

由于传感器采样频率不同导致所采集到的数据规模不均衡，如果各个客户端本地模型仍采用相同结构将会对模型精度造成影响；改进传统的联邦学习框架，即采用异构模型联邦学习框架(Heterogeneous Model Federated Learning,HMFed)，在该框架内的中央服务器设置若干个异构的中央模型，各客户端根据存储在本地的数据集规模或任务需求从中央服务器内选取中央模型作为客户端本地模型；

HMFed算法采用传统的FedAVG算法通讯方式：各通讯轮次中，仅有通讯条件满足的客户端参与通讯，且为便于中央服务器内参数聚合，客户端内本地模型均采用相同的结构，即中央服务器内仅有单一结构中央模型供客户端下载使用；

S3，客户端根据采集到的电磁辐射强度数据集对本地模型进行训练，同时为降低单轮次通讯量，采用SVD算法对客户端内本地模型参数矩阵进行降维，并结合FedAVG算法得到更新后的客户端本地模型；

S4，利用更新后的客户端本地模型提取客户端内本地数据集的特征表示，即提取电磁辐射强度数据特征；

S5，分别将所提取的特征表示作为训练样本，特征表示所对应的真实数据值作为训练标签，训练ESN网络；利用训练完成的ESN网络预测电磁辐射强度数据值；

S6，计算电磁辐射信号强度预测值的均值指标以及预测值间对数变化标准差，作为电磁辐射时序数据趋势跟踪指标。

优选地，各个客户端的本地模型根据所需完成的任务选定为常见的机器模型或深度学习模型；针对不同规模的客户端本地数据集，在中央服务器设置长短期记忆网络(LongShort Term Memory Neural Network,LSTM)和门控循环网络(Gated Recurrent Unit,GRU)，以供具备不同规模数据集的客户端选择。

进一步，所述步骤S3，客户端根据采集到的电磁辐射强度数据集对本地模型进行训练，同时为降低单轮次通讯量，采用SVD算法对客户端内本地模型参数矩阵进行降维，并结合FedAVG算法得到更新后的客户端本地模型；具体如下：

S3.1，设置异构模型联邦学习框架中客户端与中央服务器通讯轮次总数C.R；

S3.2，客户端根据采集到的电磁辐射强度数据集对本地模型进行第t轮次训练；

S3.3，利用SVD算法对本地模型参数矩阵进行分解，得到奇异值矩阵以及左/右奇异矩阵；

S3.4，将奇异值矩阵上传至中央服务器进行聚合，得到聚合的中央模型参数，对应的左/右奇异矩阵保留在客户端内；

S3.5，客户端从中央服务器下载对应的聚合中央模型参数，并利用存储在客户端内的左/右奇异矩阵进行逆分解得到新的参数矩阵，作为客户端本地模型的参数，该参数作为t+1轮次本地模型训练的初始参数，t＝t+1；

S3.6，重复执行步骤S3.2-S3.5，直至达到设置的通讯轮次总数，得到更新后的客户端本地模型。

进一步，所述步骤S3.2，客户端根据采集到的电磁辐射强度数据集对本地模型进行训练；具体如下：

将第k个客户端内本地数据集表示为：

P_k＝{p_time,k,time∈T},T＝{t₁,t₂,…,t_M}；

其中p_time,k表示time时刻采集到的电磁辐射信号强度，T是含有M个时间点的离散时间指标集；

采用电磁辐射强度数据集中前w个数据预测第w+1个数据的方式进行客户端本地模型的训练，方法如下：

从电磁辐射强度数据集中第i个数据开始，i＝1,2,...,M-w，分别顺序选择w个离散时间的数据构建客户端本地模型训练的输入数据集，表示为：

X_1,k＝{p_1,k,p_2,k,…p_w,k},…,X_M-w,k＝{p_M-w,k,p_M-w+2,k,…p_M-1,k}；

其中X_M-w,k表示客户端本地模型训练的第M-w个输入数据；

为了获取更高的训练精度，同时将相应的数据真实值Y_1,k＝{p_w+1,k},…,Y_M-w,k＝{p_M,k}作为本地模型训练的输入；

则客户端本地模型训练的输入为f_in,k＝{(X_1,k,Y_1,k),(X_2,k,Y_2,k),…,(X_M-w,k,Y_M-w,k)}，客户端本地模型训练的预测输出为

…，

设置学习率lr以及训练迭代次数，选用均方根误差作为训练误差，采用自适应矩估计方法(Adaptive Moment Estimation,Adam)进行本地模型训练，得到训练后的客户端本地模型。

进一步，所述步骤S3.4，将奇异值矩阵作为参数上传至中央服务器后，选用相同中央模型结构的客户端所上传的参数相互聚合以更新对应的中央模型参数；

中央服务器内参数聚合采用如下公式：

其中t表示当前通讯轮次，K₁表示参与通讯的选用相同中央模型结构的客户端数目，n_k表示第k个客户端的本地数据量，n表示K₁个客户端本地数据量总和，

表示第k个客户端在第t轮次所上传的参数，ω_t表示第t轮次得到的聚合中央模型参数。

进一步，所述步骤S3中，各个客户端本地模型分别选用LSTM和GRU网络，采用SVD对LSTM和GRU网络参数矩阵进行降维，降低单轮次通讯量，并结合FedAVG算法得到更新后的客户端本地模型，过程如下：

LSTM网络结构设置为：一层LSTM层，节点个数cell_size＝a，时间步长time_step＝b，随后接一个e节点的全连接层以及节点个数为f的输出层；

GRU网络结构设置为：一层GRU层，节点个数cell_size＝a，时间步长time_step＝b，随后接一个e节点的全连接层以及节点个数为f的输出层；

设联邦学习通讯过程第t轮次中第k个客户端选取LSTM或GRU网络作为本地模型，选取网络中全连接层参数进行SVD分解降维；

全连接层权重矩阵采用SVD分解获得对应的奇异值矩阵并转置得到∑'_k,t，其他各层网络参数矩阵不进行处理，将∑'_k,t与其他层参数共同上传至中央服务器，SVD分解获得的左/右奇异矩阵

保留在客户端内；

参数上传至中央服务器后，将选用相同网路结构的客户端所上传的参数相互聚合得到聚合奇异值矩阵∑'_global,t，各客户端分别下载对应的聚合奇异值矩阵；

在客户端内，根据存储在客户端的原始左/右奇异矩阵

以及下载的聚合奇异值矩阵∑'_global,t进行SVD逆分解，得到更新后的参数矩阵作为客户端本地模型的参数。

由于客户端本地模型可看作若干单一层拼接得到，针对单轮次客户端的通讯代价问题，设客户端本地模型上传的单层参数矩阵为A(m,n)，SVD分解得到对角奇异值矩阵为∑_m×n，由于奇异值矩阵除对角线位置外均为0，将对角奇异值矩阵∑_m×n转换为维度为(1,min(m,n))的矩阵∑'_(1,min(m,n))；采用传统FedAVG算法上传该层参数矩阵所产生的通讯代价为α；采用SVD-FedAVG算法上传该层参数矩阵所产生的通讯代价为α/max(m,n)；同时SVD-FedAVG算法在数据传输过程中起到加密的作用，增强系统的保密性。

进一步，所述步骤S3中，设置的基于SVD算法的异构联邦学习框架参数包括：客户端总数K，中央服务器与客户端总通讯轮次C.R，网络结构选择索引set_value，降维应用索引svd_index；

通过网络结构选择索引set_value确定客户端所选用的网络深度，若客户端数据量大于set_value，则该客户端内本地模型采用深度网络，如长短期记忆网络(Long ShortTerm Memory Neural Network,LSTM)，否则，无需采用深度网路，可采用结构相对简单的神经网络，如门控循环网络(Gated Recurrent Unit,GRU)；

通过降维应用索引svd_index指定将本地模型的svd_index层参数矩阵进行SVD分解降维，其余层参数不进行分解操作；

进一步，由于神经网络中全连接层通常对应大规模的参数量，并且神经网络特征提取层(如LSTM层)对于提取数据集的关键特征至关重要，因此，将神经网络特征提取层的参数矩阵完整上传至中央服务器进行聚合，对神经网络的全连接层参数进行SVD分解降维，得到奇异值矩阵并上传至中央服务器。

本发明提出SVD-FedAVG算法是将客户端本地模型看作若干单一层拼接得到，针对单轮次客户端的通讯代价问题，在FedAVG算法的基础上，将客户端本地模型中各单一层权重矩阵进行SVD分解后得到的奇异值矩阵代替原始参数矩阵上传至中央服务器进行聚合，SVD算法能够将矩阵属性信息重要性由大到小地体现在分解得到的奇异值矩阵中，并得到相应的左/右奇异矩阵；将不同客户端本地模型参数按照相应属性重要性进行排序聚合，将模型参数矩阵内重要信息进一步提升，从而起到模型降噪作用；权重矩阵分解后得到的相应左/右奇异矩阵仍保留在客户端中。综上，本发明将基于SVD的通讯算法与异构模型联邦学习(HMFed)结合起来，提出基于SVD-FedAVG通讯算法的异构模型联邦学习算法，称为SVDHMFed算法。

进一步，所述步骤S4，将客户端本地数据集输入步骤S3更新后的客户端本地模型，并提取特征提取层(即lstm_layer或者gru_layer)输出集合，该输出集合即为客户端本地数据集的特征表示，即电磁辐射信号强度数据特征。

进一步，所述步骤S5，分别将所提取的特征表示作为训练样本，特征表示所对应的真实数据值作为训练标签，训练ESN网络；利用训练完成的ESN网络预测电磁辐射强度数据值；具体如下：

将提取到的第k个客户端本地数据集的特征表示记为fea_k，fea_k与本地数据真实值P_k形成新的数据集；将特征表示作为训练集，本地数据作为真实标签；

基于新数据集采用岭回归(Ridge Regression,Tikhonov regularization)方法训练回声状态网络(Echo State Network,ESN)；利用训练完成的ESN网络预测电磁辐射强度数据值；

本发明选用的ESN网路作为递归神经网络(Recurrent Neural Network,RNN)的一种变体，与RNN或LSTM网络需要很高的计算成本不同，ESN网络所需训练集规模小、训练时间短，适合当前需求。

所采用的预测精度评价指标分别为：平方根相对误差(RRSE)、均方根误差(RMSE)、相对误差(MAPE)以及最大误差(Max_error)，各指标计算公式如下：

Max_error＝MAX_j＝1,2...,n(Y_j-Y_j ^*) (5)

其中，RRSE,RMSE,MAPE,Max_error分别为平方根相对误差、均方根误差、相对误差、最大误差，Y_j为电磁辐射信号强度的实际值，

为电磁辐射信号强度的实际值均值，Y_j ^*为网络的预测值，j为采样时间点，n为预测值个数。

进一步，所述步骤S6，计算电磁辐射信号强度预测值的均值指标以及预测值间对数变化标准差，作为电磁辐射时序数据趋势跟踪指标；具体如下：

将第k个传感器的电磁辐射信号强度预测值表示为：

P′_k＝{p′_time,k,time∈T},T＝{t′₁,t′₂,…,t′_M}；

其中p′_time,k表示time时刻的电磁辐射信号强度预测值，T是含有M个时间点的离散时间指标集；

针对时序数据的海量性，按时间窗口划分电磁辐射信号强度预测值数据集，在时间窗口内选取预测值的均值指标以及预测值间对数变化标准差表示数据趋势；

设时间窗口长度为l，则时间窗口的数目

表示向前取整运算；

计算时间窗口内的均值指标A_r,l，公式如下：

其中，r表示第r个时间窗口；N表示时间窗口的数目；

在时序数据处理中通常采用对数处理，经对数处理后不会改变原始数据的相对关系，压缩了数据尺度，使数据更加平稳，方便数据处理；

计算预测值p′_time,k和p′_time+l-1,k之间的对数差，公式如下：

其中，h_time,l表示对数差；

计算第r个时间窗口上的对数变化标准差σ_r,l，公式如下：

其中

表示第r个时间窗口内对数差h_time,l的均值。

有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：

本发明改进传统的联邦学习框架，在中央服务器内设置多个异构的中央模型供客户端选择，各客户端根据存储在本地的数据集规模从中央服务器内选择中央模型作为本地模型；提出SVD-FedAVG算法对客户端内本地模型参数矩阵进行降维，从而降低单轮次通讯量；客户端本地模型中各层权重矩阵经SVD分解后得到的奇异值矩阵以及相应左/右奇异矩阵，由于分解得到奇异值矩阵中数值大小代表着参数矩阵中属性信息重要性，奇异值矩阵聚合能够将不同客户端本地模型参数按照特征属性的重要性进行聚合，所得聚合产物能够进一步反应参数矩阵内属性的重要性程度，从而起到模型降噪的作用。

本发明能够在保护矿井电磁辐射数据安全的前提下，实现对多传感器采集矿井电磁辐射强度数据的趋势跟踪；相较于传统联邦学习框架，本发明能够提升各客户端趋势跟踪精度并降低框架所需的通讯代价。

附图说明

图1是本发明整体流程图；

图2是异构模型联邦学习示意图；

图3是SVD-FedAVG算法客户端本地模型分解示意图；

图4是SVD-FedAVG算法客户端本地模型合成示意图；

图5是不同中央模型结构示意图；

图6是基于数据特征的多传感器趋势跟踪示意图；

图7是不同客户端对A_r,l趋势跟踪结果示意图；

图8是不同客户端对σ_r,l趋势跟踪结果示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

本发明所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法，改进传统的联邦学习框架，在中央服务器内设置多个异构的中央模型，各传感器端根据自身数据集规模自主选择预测模型；提出SVD-FedAVG算法对本地模型参数矩阵进行降维，从而降低单轮次通讯量；利用本地客户端所下载的中央模型提取数据集的特征表示，从而训练ESN网络进行煤矿井下电磁辐射数据的趋势跟踪。本发明整体流程如图1所示，具体包括如下步骤：

S1，利用K个传感器采集得到矿井的K个电磁辐射强度数据集；K＝6。

本实施例利用6个传感器在同一时间段内采集煤矿电磁辐射强度数据，由于采样频率不同导致不同传感器采集到的数据量不均衡，具体数据量如表1所示。

表1

Sensor#	采样数据集规模
		Sensor_1	14723
Sensor_2	21709
		Sensor_3	19064
Sensor_4	9957
		Sensor_5	14565
Sensor_6	17170

S2，将用于采集数据的传感器作为联邦学习框架中的客户端，即本实施例中联邦学习客户端总数目为6；调度室内用于处理数据的设备(处理器)作为联邦学习框架中的中央服务器；

在实际应用中往往存在客户端内数据不均衡的情况，此时各客户端本地模型仍采用相同结构将会对模型精度造成影响。联邦学习中的数据的不平衡是指客户端之间数据量差异较大，由于联邦学习客户端数据集的非独立同分布特性，并且数据集始终保留在客户端内部，难以对数据量较小样本进行补充或改变样本分布。

由于传感器采样频率不同导致所采集到的数据规模不均衡，如果各个客户端本地模型仍采用相同结构将会对模型精度造成影响；因此，本发明改进传统的联邦学习框架，提出异构模型联邦学习框架(Heterogeneous Model Federated Learning,HMFed)，在该框架内的中央服务器设置若干个异构的中央模型，各客户端根据存储在本地的数据集规模或任务需求从中央服务器内选取中央模型作为客户端本地模型；

HMFed算法框架示意图如图2所示，不同的客户端可以选择服务器内不同结构的中央模型，选择相同结构模型的客户端参数相互聚合以更新中央模型参数；随后，参与聚合的客户端下载对应模型参数作为本地模型训练的初始参数，然后上传至服务器中重新进行中央模型的聚合更新。客户端内参数聚合仍采用FedAVG算法。

针对不同规模的客户端本地数据集，在中央服务器设置长短期记忆网络(LongShort Term Memory Neural Network,LSTM)和门控循环网络(Gated Recurrent Unit,GRU)，供不同规模数据集客户端选择。所采用的LSTM网络与GRU网络结构示意图如图5所示。

S3，客户端根据采集到的电磁辐射强度数据集对本地模型进行训练，同时为降低单轮次通讯量，采用SVD算法对客户端内本地模型参数矩阵进行降维，并结合FedAVG算法得到更新后的客户端本地模型；具体如下：

所述步骤S3.2，客户端根据采集到的电磁辐射强度数据集对本地模型进行训练；具体如下：

将第k个客户端内本地数据集表示为：

P_k＝{p_time,k,time∈T},T＝{t₁,t₂,…,t_M}；

X_1,k＝{p_1,k,p_2,k,…p_w,k},…,X_M-w,k＝{p_M-w,k,p_M-w+2,k,…p_M-1,k}；

其中X_M-w,k表示客户端本地模型训练的第M-w个输入数据；

…，

本实施例设置w＝8,lr＝0.0005，训练迭代次数为20次。

所述步骤S3.4，将奇异值矩阵作为参数上传至中央服务器后，选用相同中央模型结构的客户端所上传的参数相互聚合以更新对应的中央模型参数；

中央服务器内参数聚合采用如下公式：

所述步骤S3中，各个客户端本地模型分别选用LSTM和GRU网络，采用SVD对LSTM和GRU网络参数矩阵进行降维，降低单轮次通讯量，并结合FedAVG算法得到更新后的客户端本地模型，过程如下：

本实施例中，a＝5,b＝5,e＝64,f＝1；网络结构示意图如图5所示；

设FL通讯过程第t轮次中第k个客户端选取LSTM或GRU网络作为本地模型，选取网络中全连接层参数进行SVD分解降维；所述全连接层为图5中的dense_1层；

保留在客户端内；所述分解流程如图3所示；

在客户端内，根据存储在客户端的原始左/右奇异矩阵

以及下载的聚合奇异值矩阵∑'_global,t进行SVD逆分解，得到更新后的参数矩阵作为客户端本地模型的参数，所述逆分解流程如图4所示。

由于客户端本地模型可看作若干单一层拼接得到，针对单轮次客户端的通讯代价问题，设客户端本地模型上传的单层参数矩阵为A(m,n)，SVD分解得到对角奇异值矩阵为∑_m×n，由于奇异值矩阵除对角线位置外均为0，将对角奇异值矩阵∑_m×n转换为维度为(1,min(m,n))的矩阵∑'_(1,min(m,n))；采用传统FedAVG聚合算法上传该层参数矩阵所产生的通讯代价为α；采用SVD-FedAVG算法上传该层参数矩阵所产生的通讯代价为α/max(m,n)；同时SVD-FedAVG算法在数据传输过程中起到加密的作用，增强系统的保密性。

所述步骤S3中，设置基于SVD算法的异构联邦学习框架参数，如表2所示，包括：客户端总数K，中央服务器与客户端总通讯轮次C.R，网络结构选择索引set_value，降维应用索引svd_index；

表2

参数类型	参数数值
		K	{6}
C.R	10
		set_value	15000
svd_index	dense_1

通过降维应用索引svd_index指定将本地模型的svd_index层参数矩阵进行SVD分解降维，其余层参数不进行分解操作；本实施例中svd_index＝dense_1，表示将网络dense_1层参数进行SVD降维后上传至服务器，其余层参数不进行分解操作；

由于神经网络中全连接层通常对应大规模的参数量，并且神经网络特征提取层(如卷积神经网络中CNN特征层以及长短期记忆网络中LSTM层)对于提取数据集的关键特征至关重要，因此，将神经网络特征提取层的参数矩阵完整上传至中央服务器进行聚合，对神经网络的全连接层参数进行SVD分解降维，得到奇异值矩阵并上传至中央服务器。

S4，利用更新后的客户端本地模型提取客户端内本地数据集的特征表示，即提取电磁辐射强度数据特征；具体为：将客户端本地数据集输入步骤S3更新后的客户端本地模型，并提取特征提取层(即lstm_layer或者gru_layer)输出集合，该输出集合即为客户端本地数据集的特征表示，即电磁辐射信号强度数据特征。

S5，分别将所提取的特征表示作为训练样本，特征表示所对应的真实数据值作为训练标签，训练ESN网络；利用训练完成的ESN网络预测电磁辐射强度数据值；基于数据特征的多传感器趋势跟踪示意图如图6所示，具体为：

基于新数据集采用岭回归(Ridge Regression,Tikhonov Regularization)方法训练回声状态网络(Echo State Network,ESN)；利用训练完成的ESN网络预测电磁辐射强度数据值；为了进行多传感器的趋势跟踪，利用新组成的多传感器数据集训练多个ESN网络；

Max_error＝MAX_j＝1,2...,n(Y_j-Y_j ^*) (5)

S6，计算电磁辐射信号强度预测值的均值指标以及预测值间对数变化标准差，作为电磁辐射时序数据趋势跟踪指标；具体如下：

将第k个传感器的电磁辐射信号强度预测值表示为：

P′_k＝{p′_time,k,time∈T},T＝{t′₁,t′₂,…,t′_M}；

设时间窗口长度为l，则时间窗口的数目

表示向前取整运算；

计算时间窗口内的均值指标A_r,l，公式如下：

其中，r表示第r个时间窗口；N表示时间窗口的数目；

其中，h_time,l表示对数差；

计算第r个时间窗口上的对数变化标准差σ_r,l，公式如下：

其中

表示第r个时间窗口内对数差h_time,l的均值。

为验证本发明有效性，分别利用SVDHMFed算法与HMFed算法提取各客户端采集电磁辐射信号强度数据特征，训练ESN网络，利用ESN网络预测电磁辐射强度数据值，进行趋势跟踪；HMFed算法中同样在中央服务器设置长短期记忆网络(LSTM)和门控循环网络(GRU)，仍按照FedAVG算法进行通讯。

本实施例采用的6个传感器客户端对指标A_r,l、σ_r,l趋势跟踪的实验结果如图7(a)～7(f)、图8(a)～8(f)所示。从图中可以看到基于SVDHMFed算法与HMFed算法提取到的数据特征进行的趋势跟踪均可以达到很高的精度，即便是一些发生突变的位置仍然可以进行追踪。不同趋势的具体趋势跟踪精确度指标如表3、表4所示，表3为A_r,l趋势跟踪误差统计；表4为σ_r,l趋势跟踪误差统计。其中C.cost表示方法所需的通讯代价，将HMFed算法所需通讯代价置为1；Sensor_1、Sensor_4和Sensor_5选用GRU网络模型，Sensor_2、Sensor_3和Sensor_6选用LSTM网络模型。

表3

表4

从表3、表4中可以看出基于SVDHMFed算法与HMFed算法提取到的数据特征进行的趋势跟踪所达到的精度相似，但采用SVDHMFed算法所需的通讯代价明显低于HMFed算法，验证了本发明所提出的SVDHMFed算法的有效性。

Claims

1.一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法，其特征在于：包括如下步骤：

S1，利用K个传感器采集得到矿井的K个电磁辐射强度数据集；

S2，将用于采集数据的传感器作为联邦学习框架中的客户端，调度室内用于处理数据的设备作为联邦学习框架中的中央服务器；采用异构模型联邦学习框架，在该框架内的中央服务器设置若干个异构的中央模型，各客户端根据存储在本地的数据集规模或任务需求从中央服务器内选取中央模型作为客户端本地模型；

S3，客户端根据采集到的电磁辐射强度数据集对本地模型进行训练，同时采用SVD算法对客户端内本地模型参数矩阵进行降维，并结合FedAVG算法得到更新后的客户端本地模型；

2.根据权利要求1所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法，其特征在于：客户端的本地模型根据所需完成的任务选定为机器模型或深度学习模型；在中央服务器设置长短期记忆网络和门控循环网络以供具备不同规模数据集的客户端选择。

3.根据权利要求1所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法，其特征在于：所述步骤S3，客户端根据采集到的电磁辐射强度数据集对本地模型进行训练，同时采用SVD算法对客户端内本地模型参数矩阵进行降维，并结合FedAVG算法得到更新后的客户端本地模型；具体如下：

4.根据权利要求3所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法，其特征在于：所述步骤S3.2，客户端根据采集到的电磁辐射强度数据集对本地模型进行训练；具体如下：

将第k个客户端内本地数据集表示为：

P_k＝{p_time,k,time∈T},T＝{t₁,t₂,…,t_M}；

X_1,k＝{p_1,k,p_2,k,…p_w,k},…,X_M-w,k＝{p_M-w,k,p_M-w+2,k,…p_M-1,k}；

其中X_M-w,k表示客户端本地模型训练的第M-w个输入数据；

同时将相应的数据真实值Y_1,k＝{p_w+1,k},…,Y_M-w,k＝{p_M,k}作为本地模型训练的输入；

设置学习率lr以及训练迭代次数，选用均方根误差作为训练误差，采用Adam方法进行本地模型训练，得到训练后的客户端本地模型。

5.根据权利要求3所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法，其特征在于：所述步骤S3.4，将奇异值矩阵作为参数上传至中央服务器后，选用相同中央模型结构的客户端所上传的参数相互聚合以更新对应的中央模型参数；

中央服务器内参数聚合采用如下公式：

6.根据权利要求3所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法，其特征在于：将神经网络特征提取层的参数矩阵完整上传至中央服务器进行聚合，对神经网络的全连接层参数进行SVD分解降维，得到奇异值矩阵并上传至中央服务器。

7.根据权利要求3-6任一所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法，其特征在于：所述步骤S3中，设置的基于SVD算法的异构联邦学习框架参数包括：客户端总数K，中央服务器与客户端总通讯轮次C.R，网络结构选择索引set_value，降维应用索引svd_index；

通过网络结构选择索引set_value确定客户端所选用的网络深度，若客户端数据量大于set_value，则该客户端内本地模型采用深度网络；

通过降维应用索引svd_index指定将本地模型的svd_index层参数矩阵进行SVD分解降维，其余层参数不进行分解操作。

8.根据权利要求7所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法，其特征在于：所述步骤S3中，各个客户端本地模型分别选用LSTM和GRU网络，采用SVD对LSTM和GRU网络参数矩阵进行降维，并结合FedAVG算法得到更新后的客户端本地模型，过程如下：

保留在客户端内；

在客户端内，根据存储在客户端的原始左/右奇异矩阵

9.根据权利要求1所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法，其特征在于：所述步骤S5，分别将所提取的特征表示作为训练样本，特征表示所对应的真实数据值作为训练标签，训练ESN网络；利用训练完成的ESN网络预测电磁辐射强度数据值；具体如下：

将提取到的第k个客户端本地数据集的特征表示记为fea_k，fea_k与本地数据真实值P_k形成新的数据集；将特征表示作为训练集，本地数据作为真实标签；基于新数据集采用岭回归方法训练ESN网络；利用训练完成的ESN网络预测电磁辐射强度数据值；

所采用的预测精度评价指标分别为：平方根相对误差、均方根误差、相对误差以及最大误差，各指标计算公式如下：

Max_error＝MAX_j＝1,2...,n(Y_j-Y_j ^*) (5)

10.根据权利要求1或2或3或9所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法，其特征在于：所述步骤S6，计算电磁辐射信号强度预测值的均值指标以及预测值间对数变化标准差，作为电磁辐射时序数据趋势跟踪指标；具体如下：

将第k个传感器的电磁辐射信号强度预测值表示为：

P′_k＝{p′_time,k,time∈T},T＝{t′₁,t′₂,…,t′_M}；

按时间窗口划分电磁辐射信号强度预测值数据集，在时间窗口内选取预测值的均值指标以及预测值间对数变化标准差表示数据趋势；

设时间窗口长度为l，则时间窗口的数目

表示向前取整运算；

计算时间窗口内的均值指标A_r,l，公式如下：

其中，r表示第r个时间窗口；N表示时间窗口的数目；

其中，h_time,l表示对数差；

计算第r个时间窗口上的对数变化标准差σ_r,l，公式如下：

其中

表示第r个时间窗口内对数差h_time,l的均值。