CN112887145A - 一种基于分布式的网络切片故障检测方法 - Google Patents

Abstract

本发明涉及一种基于分布式的网络切片故障检测方法，属于移动通信技术领域。该方法包括：S1：构建基于联邦学习的网络切片故障检测架构；S2：建立基于CNN‑GRU网络的无监督故障检测方法；S3：在联邦学习参数上传时，采用top‑k梯度压缩机制进行模型压缩；S4：采用适用联邦学习的自适应优化器进行全局模型聚合。本发明能够在保障故障检测模型准确性的同时，减少通信开销，提高模型泛化效果。

Description

一种基于分布式的网络切片故障检测方法

技术领域

本发明属于移动通信技术领域，涉及一种基于分布式的网络切片故障检测方法。

背景技术

网络切片是解决网络僵化、服务定制化和资源高效利用的有效解决方案。但网络切片架构给5G网络带来极大灵活性的同时，也为网络的运维提出了新的要求。随着用户流量的指数级增长和网络结构的日益复杂，目前基于人工的网络运维方式不仅效率低下且成本高昂。为了减少运维支出，提高运维效率，5G网络引入了自组织网络(Self-organizingnetwork,SON)技术，即利用自配置、自优化、自愈合这三个关键功能，实现网络的自我管理。其中，故障检测作为网络性能分析的主体，是实现自愈合措施的首要前提。

随着网络的发展，用户以及多样化的业务需求的不断增长，使得VNFs的功能和类型不断增加，导致网络切片越加复杂变化，发生故障的概率以及检测故障的难度大大增加。因此，针对网络切片的故障检测也愈加重要。

目前，现有的技术中存在着如下的缺点：首先，随着网络规模的不断扩大，连接的设备和数据量呈爆炸式增长，各类业务需求的增加，将导致切片数量也将随之增加，传统的集中式网络切片故障检测将所有的VNFs状态信息集合到一起，将会导致巨大的时延和格外的通信开销。其次，未来网络发展更加注重安全和隐私，并且各基础设置提供商，各服务提供商之间，各类网络切片之间，特别是垂直业务，要求有更高的安全和隐私保障，这种数据隔离带来了数据孤岛的问题，使得各多个虚拟网络功能(Virtual Network Function,VNF)所产生的观测信息无法共享，同时，切片中单个VNF所产生的数据量有限且不全面，训练出来的模型准确性不高且缺乏泛化效果。并且，网络切片中VNF具有很好的灵活性、可调整性，能够适应多变多样的业务需求，而为了满足VNF的这种特性，故障检测模型也需要进行及时的更新，传统依赖人工的模式已不再适用，需要寻求自适应的方法进行故障检测。最后，实际网络运行中，不会产生有标签的网络数据，传统有监督的学习方法无法满足在线更新的要求；因此，针对网络切片环境下的故障检测问题，需要构建在线且无监督的故障检测模型。

发明内容

有鉴于此，本发明的目的在于提供一种基于分布式的网络切片故障检测方法，该方法引入联邦学习框架以解决安全隐私与分布式相结合的问题，提升模型的泛化效果，同时采用基于CNN-GRU的无监督模型以实现网络切片的在线实时故障检测，并采用top-k梯度压缩机制与使用联邦学习的自适应优化器来减少通信开销，优化联邦学习效果。

为达到上述目的，本发明提供如下技术方案：

一种基于分布式的网络切片故障检测方法，首先建立基于CNN-GRU的故障检测方法，通过CNN提取时间序列特征，然后将提取的特征输入到GRU网络中进行故障检测。其次，利用联邦学习框架，使各物理节点间协同训练故障检测模型，以解决隐私保护带来的数据孤岛问题。进一步地，为了使提出的框架更好地适应网络切片故障检测及时性的特点，使用top-k梯度压缩机制以及适用联邦学习的自适应优化器来优化算法。该方法具体包括以下步骤：

S1：构建基于联邦学习的网络切片故障检测架构；

S2：建立基于CNN-GRU网络的无监督故障检测方法；

S3：在联邦学习参数上传时，采用top-k梯度压缩机制进行模型压缩；

S4：采用适用联邦学习的自适应优化器进行全局模型聚合。

进一步，步骤S1中，构建的基于联邦学习的网络切片故障检测架构，具体包括：

本地训练客户端：一条提供服务的完整服务功能链(Service Function Chain,SFC)由多个虚拟网络功能(VNFs)有序连接组成，这些组成SFC的VNFs分别部署在多个通用物理服务器上，将这些为一条SFC中的VNFs提供资源的多个物理服务器作为参与联邦学习的本地训练客户端；在各客户端处，基于各自的本地数据集分布式的运行故障检测模型CNN-GRU，并根据联邦学习更新机制上传各自的模型到全局参数聚合器；

全局参数聚合器：以网络切片管理器作为联邦学习的全局参数聚合器，聚集来自同一SFC中各VNFs在各物理节点上的分布训练的故障检测模型参数，并进行全局模型更新；

本地与全局模型参数的更新机制：采用联邦平均方法作为联邦学习框架的更新机制。

进一步，步骤S1中，在全局参数聚合器处，从所有分布式客户端上聚合的全局损失函数定义为：

其中，F_i(w)为单个客户端上数据样本集合的损失函数，D_i为第i个客户端上对VNF性能数据采集得到的本地数据集，|D_i|为第i个客户端的本地数据集大小，N为物理服务器节点的数量，

表示所有客户端数据集的总大小。

进一步，步骤S2中，全部模型的聚合规则为：

其中，w(t)表示在第t轮全局聚合时期的全局聚合模型，w_i(t)表示在第t轮本地训练过程中得到的本地模型参数；

在联邦学习中，模型的学习问题是找到最优的模型参数w^*使得全局损失函数F(w)最小，即：

进一步，步骤S2中，建立基于CNN-GRU网络的无监督故障检测方法，具体包括以下步骤：

S21：对历史VNF的性能观测数据进行预处理，将经过预处理后的时间序列数据输入到CNN-GRU网络进行模型训练；

S22：利用CNN提取正常时间序列数据的细粒度特征；

S23：将CNN提取的特征输入到堆叠的GRU网络中进行时间序列预测模型的训练；

S24：在正常时间序列测试集上，计算真实时间序列与CNN-GRU网络预测时间序列之间的重构误差，构建重构误差分布；

S25：计算异常分数，预测是否发生异常，测试模型性能。

进一步，步骤S24具体包括：通过L2范数计算CNN-GRU预测时间序列与真实时间序列之间的重构误差，并以最小化均方重构误差为优化目标来训练本地模型；并使用正常验证集v_N1序列中各点的误差向量来估计正态分布N(μ；σ)的参数μ和σ。

进一步，步骤S25具体包括：对于任意点x(t)，计算其异常分数；根据下一时间窗的实际时间序列与CNN-GRU生成的下一时刻预测时间序列的重构误差来计算故障检测分数A，通过异常分数是否大于阈值τ，来判定预测时间序列是否存在故障；异常分数计算表达式为：A(t)＝(e(t)-μ)^Tσ^-1(e(t)-μ)，其中e(t)为时刻t处的重构误差向；

通过将正常验证集v_N2和异常验证集v_A输入到训练好的CNN-GRU时间序列重构模型中，通过尝试不同的阈值τ，并预测数据是否异常，使得F_β＝(1+β²)×P×R/(β²P+R)最大化来确定最佳的异常分数阈值τ，F_β为衡量机器学习模型性能的指标，其中P为精度，R为召回率，β为权衡精度P和召回率R之间重要性的参数。

进一步，步骤S3中，采用top-k梯度压缩机制进行模型压缩，具体包括以下步骤：

S31：客户端在本地训练模型时采用梯度修剪机制，以解决梯度爆炸问题；

S32：每个客户端执行梯度压缩过程以压缩梯度并将稀疏梯度(即仅将绝对值大于阈值的梯度传输到全局聚合器)上传到全局聚合器处；未达到阈值的本地梯度送至缓冲区累积，当本地梯度累积大于阈值时，客户端会将其缓冲区中的其余本地梯度发送服务器，并将缓冲区清零。

进一步，步骤S4中，采用适用联邦学习的自适应优化器进行全局模型聚合，具体包括以下步骤：

S41：本地训练过程中，对联邦学习框架中上传的参数进行更改，由原始的模型参数更改为上传模型参数的伪梯度；

S42：全局聚合过程中，采用自适应优化器Adam进行伪梯度的更新。

本发明的有益效果在于：本发明将安全隐私与分布式相结合，可以通过在各物理节点上协同训练以提升模型的泛化效果，同时无监督模型可以实现网络切片的在线、实时故障检测，对联邦学习的优化策略可以减少联邦学习的通信开销，优化联邦学习效果。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明基于分布式的网络切片故障检测方法流程图；

图2为基于分布式的网络切片故障检测框架示意图；

图3为1D CNN网络模型示意图；

图4为GRU网络模型示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1～图4，本发明提出一种基于分布式的网络切片故障检测方法，用以进行服务功能链的故障检测。如图1所示，在该方法中，首先建立基于CNN-GRU的故障检测方法，通过CNN提取时间序列特征，然后将提取的特征输入到GRU网络中进行故障检测。其次，利用联邦学习框架，使各物理节点间协同训练故障检测模型，以解决隐私保护带来的数据孤岛问题。为了使提出的框架更好地适应网络切片故障检测及时性的特点，使用top-k梯度压缩机制以及适用联邦学习的自适应优化器来优化算法。

实施例1：

本实施例提供一种基于联邦学习的网络切片故障检测架构，该架构具体如下：

参见图2，基于联邦学习的网络切片故障检测框架包括两个网络，一个是物理节点处的本地网络，一个是各物理节点之间的整体协作学习网络。联邦学习各物理节点通过全局协作学习一个共享的学习模型，同时将训练的数据保存在每个物理节点上。从物理节点到全局参数聚合器的上行链路用于传输和本地联邦模型相关的参数，而下行链路用于传输和全局联邦模型相关的参数。

损失函数：假设组成一条服务功能链的VNFs分别部署在N个具有本地数据集D₁,D₂,...,D_i,...,D_N的物理服务器节点。D_i为第i个客户端上对VNF性能数据采集得到的本地数据集。令|·|表示数据集的大小，则有n_i＝|D_i|为第i个客户端数据集的大小，

表示所有客户端数据集的总大小。对于每个数据样本j，将损失函数定义为f_j(w)，则单个客户端上数据样本集合的损失函数为：

在全局参数聚合器处，从所有分布式客户端上聚合的全局损失函数定义为：

分布式梯度下降：每个节点上的本地损失函数上的这种梯度下降步骤称为本地更新。在进行一次或多次本地更新后，将通过聚合器执行全局聚合，以将每个节点的本地参数更新为所有节点参数的加权平均值。

通用的联邦学习本地更新规则如下，w_i(t)表示在第t轮本地训练过程中得到的本地模型参数，

表示梯度，η表示学习率：

通用全部模型聚合规则为，w(t)表示在第t轮全局聚合时期的全局聚合模型：

学习问题：在联邦学习中，模型的学习问题是找到最优的模型参数w^*使得全局损失函数F(w)最小，提升模型的泛化能力和模型精度。

实施例2：

本实施例提供了一种基于CNN-GRU网络的无监督故障检测方法，该模型进行网络切片中故障检测模型的训练及检测方法具体如下：

无监督的CNN-GRU故障检测模型，使用数据实例的固有属性来检测异常值，包括输入层，CNN单元，GRU单元和输出层。该方法将经过预处理的VNFs观测数据作为输入，采用CNN提取特征，尽可能多地挖掘数据中隐藏的有效信息，将提取的特征向量构造为时间序列输入GRU预测网络的未来工作状态，以确认网络在未来的特定时间段内是否会发生故障。

1)首先，为进行模型的训练、验证及测试，进行数据集的划分。将将正常时间序列分为四组时间序列：正常训练集s_N，正常验证集v_N1，正常验证集v_N2，正常测试集t_N。采用故障注入的方式获得异常时间序列，将带标签的异常数据加入到数据集中，并将其分为两组：异常验证集v_A和异常测试集t_A；

2)在将数据输入预测模型之前，需要对数据进行预处理，对历史VNFs的性能观测数据进行预处理，包括数据清洗，移动平均，数据缩放，最大最小归一化。将经过预处理后的时间序列数据输入到CNN-GRU进行模型训练；

3)将预处理后的时间序列数据通过1D CNN，如图3所示，可以自动学习并提取出原始数据中最有效的特征表示；

4)将1D CNN捕获的原始时间序列的细粒度特征向量构造为时间序列输入GRU网络，预测网络切片中VNFs的未来性能观测时间序列：

其中，x_i(n-T)表示在输入时间序列数据在时刻n-T处的第i个特征的值。

GRU解决了长序列数据处理中梯度消失和长期记忆不足的问题，可以支持准确地预测时间序列数据。GRU模型中只有两个门：分别是更新门和重置门。具体结构如图4所示。GRU网络模型的传播公式为：

r_t＝σ(W_r·[h_t-1,x_t])

z_t＝σ(W_z·[h_t-1,x_t])

其中，σ表示激活函数tanh，W表示网络的权重h_t，

表示在t时刻新记忆单元的信息，当z_t＝1时，当前时刻的隐藏单元信息为当前时刻新记忆单元的状态信息

而当z_t＝0时，当前时刻的隐藏单元信息h_t为前一时刻状态信息h_t-1。

5)通过L2范数计算CNN-GRU预测时间序列与真实时间序列之间的重构误差，并以最小化均方重构误差为优化目标来训练本地模型。时刻t处的重构误差向量为：

e(t)＝|x(t)-x′(t)|

6)使用集合v_N1中序列中各点的误差向量来估计正态分布N(μ；σ)的参数μ和σ。

7)对于任意点x(t)，计算其异常分数。根据下一时间窗的实际时间序列与CNN-GRU生成的下一时刻预测时间序列的重构误差来计算故障检测分数A，通过异常分数是否大于阈值τ，来判定预测时间序列是否存在故障。异常分数计算方式为：

A(t)＝(e(t)-μ)^Tσ^-1(e(t)-μ)

8)通过将v_N2和v_A输入到训练好的CNN-GRU时间序列重构模型中，通过尝试不同的阈值τ，并预测数据是否异常，使得F_β＝(1+β²)×P×R/(β²P+R)最大化来确定最佳的异常分数阈值τ，F_β为衡量机器学习模型性能的指标，P为精度，R为召回率，β为权衡精度P和召回率R之间重要性的参数。

9)基于训练的CNN-GRU模型，确定的异常分数阈值，利用测试集t_N和t_A来验证模型的最终效果。

实施例3：

本实施例提供一种top-k梯度的压缩机制进行模型压缩的方法，具体如下：

1)在各客户端的本地训练完成后，执行伪梯度Δ_i(t)的裁剪；

2)根据各客户端的前k％的梯度确定阈值Thr；

3)如果当前梯度大于Thr，将此梯度发送给服务器；

4)否则将此梯度发送到工作程序的缓冲区，在当前客户端上累加梯度；

5)如果累加梯度大于Thr，则将此梯度上传到服务器，并将累加梯度清零；

6)进行梯度上传。

实施例4：

本实施例提供:一种适配联邦学习的自适应优化方法，具体如下：

1)为了在全局参数聚合器处，进行全局模型更新时使用Adam自适应优化技术，将联邦平均方法的更新记性重写，将上传的参数由模型参数

变为伪梯度Δ_i(t)：

Δ_i(t)＝w_i(t)-w(t)

其中，w(t)表示在第t轮全局聚合时期的全局聚合模型，w_i(t)表示在第t轮本地训练过程中，第i个本地客户端完成本地训练得到的本地模型参数，S为从所有本地客户端中随机选择的子集；

2)在全局参数聚合器处，得到加权平均的伪梯度Δ(t)；

3)利用Adam优化器进行全局模型更新，得到聚合的全局模型。

Δ(t)＝β₁Δ(t-1)+(1-β₁)Δ(t)

v(t)＝β₂v(t-1)+(1-β₂)Δ(t)²

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于分布式的网络切片故障检测方法，其特征在于，该方法具体包括以下步骤：

S1：构建基于联邦学习的网络切片故障检测架构；

S2：建立基于CNN-GRU网络的无监督故障检测方法；

S3：在联邦学习参数上传时，采用top-k梯度压缩机制进行模型压缩；

S4：采用适用联邦学习的自适应优化器进行全局模型聚合。

2.根据权利要求1所述的网络切片故障检测方法，其特征在于，步骤S1中，构建的基于联邦学习的网络切片故障检测架构，具体包括：

本地训练客户端：一条提供服务的完整服务功能链(Service Function Chain,SFC)由多个虚拟网络功能(Virtual Network Functions,VNFs)有序连接组成，这些组成SFC的VNFs分别部署在多个通用物理服务器上，将这些为一条SFC中的VNFs提供资源的多个物理服务器作为参与联邦学习的本地训练客户端；在各客户端处，基于各自的本地数据集分布式的运行故障检测模型CNN-GRU，并根据联邦学习更新机制上传各自的模型到全局参数聚合器；

全局参数聚合器：以网络切片管理器作为联邦学习的全局参数聚合器，聚集来自同一SFC中各VNFs在各物理节点上的分布训练的故障检测模型参数，并进行全局模型更新；

本地与全局模型参数的更新机制：采用联邦平均方法作为联邦学习框架的更新机制。

3.根据权利要求2所述的网络切片故障检测方法，其特征在于，步骤S1中，在全局参数聚合器处，从所有分布式客户端上聚合的全局损失函数定义为：

其中，F_i(w)为单个客户端上数据样本集合的损失函数，D_i为第i个客户端上对VNF性能数据采集得到的本地数据集，|D_i|为第i个客户端的本地数据集大小，N为物理服务器节点的数量，

表示所有客户端数据集的总大小。

4.根据权利要求3所述的网络切片故障检测方法，其特征在于，步骤S2中，全部模型的聚合规则为：

其中，w(t)表示在第t轮全局聚合时期的全局聚合模型，w_i(t)表示在第t轮本地训练过程中得到的本地模型参数；

在联邦学习中，模型的学习问题是找到最优的模型参数w^*使得全局损失函数F(w)最小，即：

5.根据权利要求1所述的网络切片故障检测方法，其特征在于，步骤S2中，建立基于CNN-GRU网络的无监督故障检测方法，具体包括以下步骤：

S21：对历史VNF的性能观测数据进行预处理，将经过预处理后的时间序列数据输入到CNN-GRU网络进行模型训练；

S22：利用CNN提取正常时间序列数据的细粒度特征；

S23：将CNN提取的特征输入到堆叠的GRU网络中进行时间序列预测模型的训练；

S24：在正常时间序列测试集上，计算真实时间序列与CNN-GRU网络预测时间序列之间的重构误差，构建重构误差分布；

S25：计算异常分数，预测是否发生异常，测试模型性能。

6.根据权利要求5所述的网络切片故障检测方法，其特征在于，步骤S24具体包括：通过L2范数计算CNN-GRU预测时间序列与真实时间序列之间的重构误差，并以最小化均方重构误差为优化目标来训练本地模型；并使用正常验证集v_N1序列中各点的误差向量来估计正态分布N(μ；σ)的参数μ和σ。

7.根据权利要求6所述的网络切片故障检测方法，其特征在于，步骤S25具体包括：对于任意点x(t)，计算其异常分数；根据下一时间窗的实际时间序列与CNN-GRU生成的下一时刻预测时间序列的重构误差来计算故障检测分数A，通过异常分数是否大于阈值τ，来判定预测时间序列是否存在故障；异常分数计算表达式为：A(t)＝(e(t)-μ)^Tσ^-1(e(t)-μ)，其中e(t)为时刻t处的重构误差向量；

通过将正常验证集v_N2和异常验证集v_A输入到训练好的CNN-GRU时间序列重构模型中，通过尝试不同的阈值τ，并预测数据是否异常，使得F_β＝(1+β²)×P×R/(β²P+R)最大化来确定最佳的异常分数阈值τ，F_β为衡量机器学习模型性能的指标，P为精度，R为召回率，β为权衡精度P和召回率R之间重要性的参数。

8.根据权利要求1所述的网络切片故障检测方法，其特征在于，步骤S3中，采用top-k梯度压缩机制进行模型压缩，具体包括以下步骤：

S31：客户端在本地训练模型时采用梯度修剪机制；

S32：每个客户端执行梯度压缩过程以压缩梯度并将稀疏梯度即仅将绝对值大于阈值的梯度传输到全局聚合器上传到全局聚合器处；未达到阈值的本地梯度送至缓冲区累积，当本地梯度累积大于阈值时，客户端会将其缓冲区中的其余本地梯度发送服务器，并将缓冲区清零。

9.根据权利要求1所述的网络切片故障检测方法，其特征在于，步骤S4中，采用适用联邦学习的自适应优化器进行全局模型聚合，具体包括以下步骤：

S41：本地训练过程中，对联邦学习框架中上传的参数进行更改，由原始的模型参数更改为上传模型参数的伪梯度；

S42：全局聚合过程中，采用自适应优化器Adam进行伪梯度的更新。

Images