CN114615019A - 基于微服务拓扑关系生成的异常检测方法与系统 - Google Patents

Abstract

本发明提供一种基于图卷积网络与注意力机制的微服务系统异常检测系统，能够利用微服务系统产生的日志信息，来分析各个服务之间的相互关系，并基于过去一段时间的时序数据，来进行访问预测并判断检测系统是否发生异常。本发明包括训练阶段与测试阶段，在训练阶段收集微服务的调用日志，并生成微服务之间的拓扑关系，同时让图卷积网络学习如何基于前一段时间的数据对下一时刻数据进行预测；在测试阶段，利用已学习好的拓扑关系对系统进行实时检测与告警。

Description

基于微服务拓扑关系生成的异常检测方法与系统

技术领域

本发明涉及异常检测方法和系统领域，具体是指基于微服务拓扑关系生成的异常检测方法与系统。

背景技术

近年来，微服务(microservice)架构在企业中得到了广泛应用，其核心思想是细粒度模块划分、服务化接口封装、轻量级通讯交互，将紧密耦合的单体应用拆分成若干个功能单一、可独立开发部署的独立服务，每个服务都在自己独立的进程中运行，服务之间通过轻量级通信机制相互协调、相互配合。相比于传统软件系统，微服务系统具有对服务的划分粒度更细、扩展灵活、复杂度高及程序更新迭代频繁等特点，同时为了提高资源利用率，服务往往采用轻量级容器化方式部署。微服务系统中除应用程序自身缺陷会导致系统故障外，系统配置变更以及资源负载问题也经常会引起故障，当潜伏在系统内部或外部的故障被激活时，就有可能导致系统出现错误和失效，进一步地在服务之间传播产生连锁反应，使得服务性能受到影响甚至无法正常运行。

现有技术主要存在以下缺点：

1、在微服务系统中，服务之间的交互是高度动态和复杂的。这种相互交织的服务网络使得即使对于知识渊博的站点可靠性工程师来说，对系统进行异常检测也是一项具有挑战性的任务。

2、传统基于日志数据的异常检测方法没有考虑节点之间的相关性与因果性。在微服务系统中，海量的服务类型、复杂的依赖关系，动态的依赖变化，快速的故障蔓延等特性使得传统异常检测方法难以适用。

因此，基于微服务拓扑关系生成的异常检测方法与系统成为整个社会亟待解决的问题。

发明内容

本发明提供一种基于图卷积网络与注意力机制的微服务系统异常检测系统，能够利用微服务系统产生的日志信息，来分析各个服务之间的相互关系，并基于过去一段时间的时序数据，来进行访问预测并判断检测系统是否发生异常。

为解决上述技术问题，本发明提供的技术方案为：基于微服务拓扑关系生成的异常检测方法与系统，包括训练阶段和测试阶段以下两个部分，所述训练阶段包括以下几个步骤：

(1)微服务日志预处理，该模块输入为微服务系统在运行过程中产生的海量日志信息，输出为各个微服务的调用频率。假定在微服务系统中一共有N个微服务，对于微服务系统中的每一个微服务i，统计其在单位时间内的日志输出频率，这一指标能够反映用户调用微服务的频率，当调用频率过高时表示系统可能收到攻击或产生异常。所有微服务的调用频率被合并为一个N维的向量，得到该微服务系统在t时刻的数据，记为x_t∈R^N；

在训练阶段，只收集系统正常运作时刻的数据，在时刻内，可以得到一个T_train×N的数据矩阵

(2)基于拓扑图学习的生成模块

该模块的输入为从微服务系统中收集到的时序数据，该模块能够利用训练数据学习不同微服务之间的关系，并输出微服务系统的拓扑图模型。首先，对于系统中的每个微服务引入一个embedding向量，这些embedding向量被随机初始化并在后续的模块中一并被训练，记为

v_i∈R^d，for i＝1，…，N

对于每个embedding向量，计算它和其它向量之间的相似程度，用余弦相似度进行衡量：

根据以上计算结果建立微服务之间关系的有向图，其每个节点代表一个微服务，然后对于每个微服务i，连接该节点到与其embedding向量相似度最高的k个节点，作为拓扑图的边。对所有节点进行上述操作，就得到了关于整个微服务系统的依赖关系拓扑图；

基于已经生成的拓扑图，特征融合器能够将每个节点与周围节点的时序特征和embedding特征进行融合：对于每一时刻，取基于历史时间数据的一个大小为_w的滑动窗口中的数据作为特征融合器的输入，记作

x^(t)：＝[s^(t-w)，s^(t-w+1)，…，s^(t-1)]

特征融合器首先对每个节点的时序特征与embedding向量进行级联，其中时序特征经过一个权重矩阵W投影到与embedding向量相同维数的空间中，然后根据级联特征与拓扑图计算图中任意两个相连节点的注意力参数，这一过程可以用如下公式表示

其中a和W是待学习的参数，N(i)代表拓扑图中第i个节点的邻接节点。利用计算所得的注意力参数对网络节点的时序特征进行加权，得到每个节点的新的特征向量；

(3)异常检测模型训练器

异常检测模型训练器是一个神经网络，它将节点融合后的向量z^(t)作为输入，这一向量包含了_t时刻之前的系统时序特征，并输出对于t时刻各项微服务的访问频率预测值，利用大量的训练数据，可以使得神经网络的时序预测能力不断增强。

由于每个节点融合后的特征向量与embedding向量均为维度为d的向量，因此先将其进行逐元素乘积，并将所有节点乘积后的向量进行级联，得到该时刻基于拓扑图的全局特征向量表示，这一全局特征向量作为一个全连接网络的输入部分，输出为一个N维的向量，上述过程可记作：

其中代表全连接网络，输出向量被看做在给定前w时刻节点访问数据的条件下，对于t时刻N个节点访问量的预测值。在训练中，对于真实值与预测值进行MSE Loss的计算：

随后进行梯度回传与参数更新，提升模型的预测能力。

进一步地，所述测试阶段包括以下步骤：

(1)数据读取与处理

在测试阶段，微服务系统同样源源不断产生新的日志数据，与训练部分一致，这些日志以分钟为单位，对于每个服务进行计数，得到：

同时对于任意时刻，取其前w时间窗口内的系统访问数据作为该时刻的测试输入。由于节点的embedding特征不随时间改变，因此节点的拓扑图是固定的，只需要基于已有的拓扑图进行特征融合，并通过异常检测模型生成下一时刻各微服务访问量的预测值；

(3)异常告警模块

在t时刻，根据预测值与真实值，可以算出该时刻的误差得分，这个值代表实际访问量与正常值之间的偏离程度。误差得分可以用简单的绝对误差来进行衡量：

当t时刻的误差得分高于给定阈值时，异常告警器判定这一时刻的输入数据中产生了异常，并对异常进行输出。

本发明与现有技术相比的优点在于：本发明包括训练阶段与测试阶段，在训练阶段收集微服务的调用日志，并生成微服务之间的拓扑关系，同时让图卷积网络学习如何基于前一段时间的数据对下一时刻数据进行预测；在测试阶段，利用已学习好的拓扑关系对系统进行实时检测与告警。

附图说明

图1是本发明基于微服务拓扑关系生成的异常检测方法与系统的流程示意图；

图2是本发明基于微服务拓扑关系生成的异常检测方法与系统的模块处理图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

结合附图，对本发明进行详细介绍。

本发明在具体实施时提供了基于微服务拓扑关系生成的异常检测方法与系统，包括训练阶段和测试阶段以下两个部分，所述训练阶段包括以下几个步骤：

(1)微服务日志预处理，该模块输入为微服务系统在运行过程中产生的海量日志信息，输出为各个微服务的调用频率。假定在微服务系统中一共有N个微服务，对于微服务系统中的每一个微服务i，统计其在单位时间内的日志输出频率，这一指标能够反映用户调用微服务的频率，当调用频率过高时表示系统可能收到攻击或产生异常。所有微服务的调用频率被合并为一个N维的向量，得到该微服务系统在t时刻的数据，记为x_t∈R^N；

在训练阶段，只收集系统正常运作时刻的数据，在时刻内，可以得到一个T_train×N的数据矩阵

(2)基于拓扑图学习的生成模块

该模块的输入为从微服务系统中收集到的时序数据，该模块能够利用训练数据学习不同微服务之间的关系，并输出微服务系统的拓扑图模型。首先，对于系统中的每个微服务引入一个embedding向量，这些embedding向量被随机初始化并在后续的模块中一并被训练，记为

v_i∈R^d，for i＝1，…，N

对于每个embedding向量，计算它和其它向量之间的相似程度，用余弦相似度进行衡量：

根据以上计算结果建立微服务之间关系的有向图，其每个节点代表一个微服务，然后对于每个微服务i，连接该节点到与其embedding向量相似度最高的k个节点，作为拓扑图的边。对所有节点进行上述操作，就得到了关于整个微服务系统的依赖关系拓扑图；

基于已经生成的拓扑图，特征融合器能够将每个节点与周围节点的时序特征和embedding特征进行融合：对于每一时刻，取基于历史时间数据的一个大小为w的滑动窗口中的数据作为特征融合器的输入，记作

x^(t)：＝[s^(t-w)，s^(t-w+1)，…，s^(t-1)]

特征融合器首先对每个节点的时序特征与embedding向量进行级联，其中时序特征经过一个权重矩阵W投影到与embedding向量相同维数的空间中，然后根据级联特征与拓扑图计算图中任意两个相连节点的注意力参数，这一过程可以用如下公式表示

其中a和W是待学习的参数，N(i)代表拓扑图中第i个节点的邻接节点。利用计算所得的注意力参数对网络节点的时序特征进行加权，得到每个节点的新的特征向量；

(3)异常检测模型训练器

异常检测模型训练器是一个神经网络，它将节点融合后的向量z^(t)作为输入，这一向量包含了t时刻之前的系统时序特征，并输出对于t时刻各项微服务的访问频率预测值，利用大量的训练数据，可以使得神经网络的时序预测能力不断增强。

由于每个节点融合后的特征向量与embedding向量均为维度为d的向量，因此先将其进行逐元素乘积，并将所有节点乘积后的向量进行级联，得到该时刻基于拓扑图的全局特征向量表示，这一全局特征向量作为一个全连接网络的输入部分，输出为一个N维的向量，上述过程可记作：

其中代表全连接网络，输出向量被看做在给定前w时刻节点访问数据的条件下，对于t时刻N个节点访问量的预测值。在训练中，对于真实值与预测值进行MSE Loss的计算：

随后进行梯度回传与参数更新，提升模型的预测能力。

进一步地，所述测试阶段包括以下步骤：

(1)数据读取与处理

在测试阶段，微服务系统同样源源不断产生新的日志数据，与训练部分一致，这些日志以分钟为单位，对于每个服务进行计数，得到：

同时对于任意时刻，取其前w时间窗口内的系统访问数据作为该时刻的测试输入。由于节点的embedding特征不随时间改变，因此节点的拓扑图是固定的，只需要基于已有的拓扑图进行特征融合，并通过异常检测模型生成下一时刻各微服务访问量的预测值；

(3)异常告警模块

在t时刻，根据预测值与真实值，可以算出该时刻的误差得分，这个值代表实际访问量与正常值之间的偏离程度。误差得分可以用简单的绝对误差来进行衡量：

当t时刻的误差得分高于给定阈值时，异常告警器判定这一时刻的输入数据中产生了异常，并对异常进行输出。

以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (2)

1.基于微服务拓扑关系生成的异常检测方法与系统，其特征在于，包括训练阶段和测试阶段以下两个部分，所述训练阶段包括以下几个步骤：

(1)微服务日志预处理，该模块输入为微服务系统在运行过程中产生的海量日志信息，输出为各个微服务的调用频率。假定在微服务系统中一共有N个微服务，对于微服务系统中的每一个微服务i，统计其在单位时间内的日志输出频率，这一指标能够反映用户调用微服务的频率，当调用频率过高时表示系统可能收到攻击或产生异常。所有微服务的调用频率被合并为一个N维的向量，得到该微服务系统在t时刻的数据，记为x_t∈R^N；

在训练阶段，只收集系统正常运作时刻的数据，在时刻内，可以得到一个T_train×N的数据矩阵

(2)基于拓扑图学习的生成模块

该模块的输入为从微服务系统中收集到的时序数据，该模块能够利用训练数据学习不同微服务之间的关系，并输出微服务系统的拓扑图模型。首先，对于系统中的每个微服务引入一个embedding向量，这些embedding向量被随机初始化并在后续的模块中一并被训练，记为

v_i∈R^d，for i＝1，...，N

对于每个embedding向量，计算它和其它向量之间的相似程度，用余弦相似度进行衡量：

根据以上计算结果建立微服务之间关系的有向图，其每个节点代表一个微服务，然后对于每个微服务i，连接该节点到与其embedding向量相似度最高的k个节点，作为拓扑图的边。对所有节点进行上述操作，就得到了关于整个微服务系统的依赖关系拓扑图；

基于已经生成的拓扑图，特征融合器能够将每个节点与周围节点的时序特征和embedding特征进行融合：对于每一时刻，取基于历史时间数据的一个大小为w的滑动窗口中的数据作为特征融合器的输入，记作

x^(t)：＝[s^(t-w)，s^(t-w+1)，…，s^(t-1)]

特征融合器首先对每个节点的时序特征与embedding向量进行级联，其中时序特征经过一个权重矩阵W投影到与embedding向量相同维数的空间中，然后根据级联特征与拓扑图计算图中任意两个相连节点的注意力参数，这一过程可以用如下公式表示

其中a和W是待学习的参数，N(i)代表拓扑图中第i个节点的邻接节点。利用计算所得的注意力参数对网络节点的时序特征进行加权，得到每个节点的新的特征向量；

(3)异常检测模型训练器

异常检测模型训练器是一个神经网络，它将节点融合后的向量z^(t)作为输入，这一向量包含了t时刻之前的系统时序特征，并输出对于t时刻各项微服务的访问频率预测值，利用大量的训练数据，可以使得神经网络的时序预测能力不断增强。

由于每个节点融合后的特征向量与embedding向量均为维度为d的向量，因此先将其进行逐元素乘积，并将所有节点乘积后的向量进行级联，得到该时刻基于拓扑图的全局特征向量表示，这一全局特征向量作为一个全连接网络的输入部分，输出为一个N维的向量，上述过程可记作：

其中代表全连接网络，输出向量被看做在给定前w时刻节点访问数据的条件下，对于t时刻N个节点访问量的预测值。在训练中，对于真实值与预测值进行MSE Loss的计算：

随后进行梯度回传与参数更新，提升模型的预测能力。

2.根据权利要求1所述的基于微服务拓扑关系生成的异常检测方法与系统，其特征在于：所述测试阶段包括以下步骤：

(1)数据读取与处理

在测试阶段，微服务系统同样源源不断产生新的日志数据，与训练部分一致，这些日志以分钟为单位，对于每个服务进行计数，得到：

同时对于任意时刻，取其前w时间窗口内的系统访问数据作为该时刻的测试输入。由于节点的embedding特征不随时间改变，因此节点的拓扑图是固定的，只需要基于已有的拓扑图进行特征融合，并通过异常检测模型生成下一时刻各微服务访问量的预测值；

(3)异常告警模块

在t时刻，根据预测值与真实值，可以算出该时刻的误差得分，这个值代表实际访问量与正常值之间的偏离程度。误差得分可以用简单的绝对误差来进行衡量：

当t时刻的误差得分高于给定阈值时，异常告警器判定这一时刻的输入数据中产生了异常，并对异常进行输出。

Images