CN117478434B - 边缘节点网络流量数据处理方法、装置、设备及介质 - Google Patents

Abstract

本申请提供一种边缘节点网络流量数据处理方法、装置、设备及介质，该方法获取网络流量数据集，并获取网络流量数据集中的目标样本点；根据预设已知异常类型，确定在网络流量数据集中的多个已知异常样本点；计算在预设范围内目标样本点的已知类型样本局部密度；根据已知类型样本局部密度，判断目标样本点是否为已知异常样本点；若目标样本点不为已知异常样本点，则确定目标样本点为待确定未知样本点；根据预设待确定未知样本点数据集和待确定未知样本点，确定目标样本点是否为未知异常样本点。

Description

边缘节点网络流量数据处理方法、装置、设备及介质

技术领域

本申请涉及云服务器技术领域，尤其涉及一种边缘节点网络流量数据处理方法、装置、设备及介质。

背景技术

边缘计算指的是在网络的边缘来处理数据，这样能够减少请求响应时间、提升电池续航能力、减少网络带宽同时保证数据的安全性。在边缘计算环境中，边缘节点容易受到攻击，通过对边缘节点（包括主机、网络设备等）定期进行异常检测，及时发现异常问题，可以有效防范攻击，在很大程度上保证边缘节点的安全性。

目前，在对边缘节点的网络流量数据进行检测时，通常结合已知异常行为进行检测，判断边缘节点的网络流量数据是否产生已知异常。

然而，现有技术无法检测边缘节点的网络未知异常，边缘计算系统安全性低。

发明内容

本申请提供一种边缘节点网络流量数据处理方法、装置、设备及介质，以解决现有技术无法检测边缘节点的网络未知异常，边缘计算系统安全性低的技术问题。

第一方面，本申请提供边缘节点网络流量数据处理方法，包括：

获取网络流量数据集，并获取所述网络流量数据集中的目标样本点；

根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点；

计算在预设范围内所述目标样本点的已知类型样本局部密度；

根据所述已知类型样本局部密度，判断所述目标样本点是否为已知异常样本点；

若所述目标样本点不为已知异常样本点，则确定所述目标样本点为待确定未知样本点；

根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点。

本申请提供了一种准确、可靠的能够在网络流量数据中识别出未知异常的方法，当一个样本点属于某种已知异常类型时，其周围大多是与它相似的同类型样本点，它周围的分布情况与大多同类型样本相似，相反地，如果一个样本点不属于任何一种已知类型，那么其周围各种已知类型的样本点较少，其周围分布情况与其他已知类型样本点也有本质上的不同，具体地，若需要识别在网络流量数据集中的目标样本点是否为未知异常样本点，首先确定网络流量数据集中的多个已知异常样本点，通过目标样本点周围的已知类型样本局部密度，可以判断目标样本点是否为已知异常样本点，若目标样本点不是已知异常样本点，那么确定目标样本点为待确定未知样本点，考虑到未知异常类型数据并非孤立的点，为了减少错误判断，提高判断准确性，将待确定未知样本点与预设待确定未知样本点数据集中的样本点数据进行比较，能够准确判断目标样本点是否为未知异常样本点，实现了边缘节点的网络未知异常的准确检测，提高了边缘计算系统安全性。

可选地，所述根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点，包括：计算所述待确定未知样本点与所述预设待确定未知样本点数据集中的预设待确定未知样本点的相似度；根据相似度计算结果，确定与所述待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点的个数；若所述个数大于预设相似个数阈值，则确定所述目标样本点为未知异常样本点。

这里，本申请通过计算未知样本点与预设待确定未知样本点数据集中的预设待确定未知样本点的相似度，来确定在待确定未知样本点周围是否存在预设数量个相似的未知异常类型，若存在，那么可以确定目标样本点是未知异常样本点，并且与目标样本点相似的预设待确定未知样本点为相同类型的未知异常，实现了对网络数据流量数据未知异常的准确判断，提高了边缘节点网络流量数据异常检测的准确性以及未知异常检测的可靠性，进一步地提高了边缘计算系统的安全性。

可选地，在所述若所述目标样本点不为已知异常样本点，则确定所述目标样本点为待确定未知样本点之后，还包括：将所述待确定未知样本点添加至预设待确定未知样本点数据集。

其中，本申请在确定出每个待确定未知样本点后，都存储待确定未知样本点，以通过存储的多个待确定未知样本点确定可能出现未知异常的待确定位置样本点的相似度，进而准确确定是否出现未知异常样本点并对未知异常样本点进行归类处理，提高了边缘节点网络流量数据异常检测的准确性以及未知异常检测的可靠性，进一步地提高了边缘计算系统的安全性。

可选地，在所述根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点之前，还包括：根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型；

所述根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点，包括：将所述网络流量数据集输入至已知异常检测模型，通过所述已知异常检测模型的输出结果确定多个已知异常样本点。

这里，本申请能够根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型，通过深度神经网络模型能够快速、准确地输出多个已知异常样本点，提高了已知异常样本点的检测效率，进而提高了网络流量数据的异常检测效率。

可选地，所述根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型，包括：

获取至少一种异常类型的已知异常类型样本；对所述已知异常类型样本进行数据平衡处理，得到预处理后已知样本；根据每个所述预处理后已知样本的已知异常类型，为所述预处理后已知样本添加标签；将添加标签后的预处理后已知样本输入至深度神经网络模型进行训练，得到已知异常检测模型。

其中，本申请首先对已知异常类型样本进行数据平衡处理，提高数据可用性及模型准确性，再针对有标签的已知类型数据使用深度神经网络模型进行有监督学习，能够得到已知异常检测模型，实现对已知异常类型的准确、高效检测。

可选地，在所述根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点之后，还包括：

若所述目标样本点为未知异常样本点，则在所述预设待确定未知样本点数据集中获取多个与所述待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点，并将所述预设待确定未知样本点确定为相似点；

为所述未知异常样本点和所述相似点添加未知异常分类标签；

根据添加标签后的所述未知异常样本点和所述相似点，建立未知异常检测模型。

可选地，在所述根据添加标签后的所述未知异常样本点和所述相似点，建立未知异常检测模型之后，还包括：

获取测试数据集；

将所述测试数据集输入至未知异常检测模型，根据所述未知异常检测模型的输出结果判断所述测试数据集中是否存在所述未知异常分类标签对应的异常数据。

这里，本申请能够基于未知异常样本点，采用深度神经网络模型进行有监督的学习，进而得到未知异常检测模型，通过未知异常检测模型能够准确、快速地实现对未知异常数据以及未知异常类型的检测，实现了边缘节点的网络未知异常的准确检测，提高了边缘计算系统安全性。

第二方面，本申请提供了一种边缘节点网络流量数据处理装置，包括：

获取模块，用于获取网络流量数据集，并获取所述网络流量数据集中的目标样本点；

第一处理模块，用于根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点；

第一计算模块，用于计算在预设范围内所述目标样本点的已知类型样本局部密度；

第二处理模块，用于根据所述已知类型样本局部密度，判断所述目标样本点是否为已知异常样本点；

第三处理模块，用于若所述目标样本点不为已知异常样本点，则确定所述目标样本点为待确定未知样本点；

第四处理模块，用于根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点。

可选地，所述第四处理模块具体用于：

计算所述待确定未知样本点与所述预设待确定未知样本点数据集中的预设待确定未知样本点的相似度；

根据相似度计算结果，确定与所述待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点的个数；

若所述个数大于预设相似个数阈值，则确定所述目标样本点为未知异常样本点。

可选地，在所述第三处理模块用于若所述目标样本点不为已知异常样本点，则确定所述目标样本点为待确定未知样本点之后，还包括：

添加模块，用于将所述待确定未知样本点添加至预设待确定未知样本点数据集。

可选地，在所述第一处理模块用于根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点之前，上述装置还包括第一模型建立模块，用于：

根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型；

所述第一处理模块具体用于：将所述网络流量数据集输入至已知异常检测模型，通过所述已知异常检测模型的输出结果确定多个已知异常样本点。

可选地，所述第一模型建立模块具体用于：

获取至少一种异常类型的已知异常类型样本；

对所述已知异常类型样本进行数据平衡处理，得到预处理后已知样本；

根据每个所述预处理后已知样本的已知异常类型，为所述预处理后已知样本添加标签；

将添加标签后的预处理后已知样本输入至深度神经网络模型进行训练，得到已知异常检测模型。

可选地，在所述第四处理模块用于根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点之后，上述装置还包括第二模型建立模块，用于：

若所述目标样本点为未知异常样本点，则在所述预设待确定未知样本点数据集中获取多个与所述待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点，并将所述预设待确定未知样本点确定为相似点；

为所述未知异常样本点和所述相似点添加未知异常分类标签；

根据添加标签后的所述未知异常样本点和所述相似点，建立未知异常检测模型。

可选地，在所述第二模型建立模块用于根据添加标签后的所述未知异常样本点和所述相似点，建立未知异常检测模型之后，还包括第五处理模块，用于：

获取测试数据集；

将所述测试数据集输入至未知异常检测模型，根据所述未知异常检测模型的输出结果判断所述测试数据集中是否存在所述未知异常分类标签对应的异常数据。

第三方面，本申请提供一种边缘节点网络流量数据处理设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的边缘节点网络流量数据处理方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的边缘节点网络流量数据处理方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的边缘节点网络流量数据处理方法。

本申请提供的边缘节点网络流量数据处理方法、装置、设备及介质，其中该方法若需要识别在网络流量数据集中的目标样本点是否为未知异常样本点，首先确定网络流量数据集中的多个已知异常样本点，通过目标样本点周围的已知类型样本局部密度，可以判断目标样本点是否为已知异常样本点，若目标样本点不是已知异常样本点，那么确定目标样本点为待确定未知样本点，考虑到未知异常类型数据并非孤立的点，为了减少错误判断，提高判断准确性，将待确定未知样本点与预设待确定未知样本点数据集中的样本点数据进行比较，能够准确判断目标样本点是否为未知异常样本点，实现了边缘节点的网络未知异常的准确检测，提高了边缘计算系统安全性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种边缘节点网络流量数据处理方法系统架构示意图；

图2为本申请实施例提供的一种边缘节点网络流量数据处理方法的流程示意图；

图3为本申请实施例提供的一种已知异常检测模型的结构示意图；

图4为本申请实施例提供的一种网络流量异常检测模型结构示意图；

图5为本申请实施例提供的一种边缘节点网络流量数据处理装置的结构示意图；

图6为本申请实施例提供的一种边缘节点网络流量数据处理设备的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

边缘计算指的是在网络的边缘来处理数据，这样能够减少请求响应时间、提升电池续航能力、减少网络带宽同时保证数据的安全性。在边缘计算环境中，边缘节点容易受到攻击，通过对边缘节点（包括主机、网络设备等）定期进行异常检测，及时发现异常问题，可以有效防范攻击，在很大程度上保证边缘节点的安全性。目前，在对边缘节点的网络流量数据进行检测时，通常结合已知异常行为进行检测，判断边缘节点的网络流量数据是否产生已知异常。

为了解决上述技术问题，本申请实施例提供一种边缘节点网络流量数据处理方法、装置、设备及介质，该方法首先确定网络流量数据集中的多个已知异常样本点，通过目标样本点周围的已知类型样本局部密度，可以判断目标样本点是否为已知异常样本点，若目标样本点不是已知异常样本点，那么确定目标样本点为待确定未知样本点，考虑到未知异常类型数据并非孤立的点，为了减少错误判断，提高判断准确性，将待确定未知样本点与预设待确定未知样本点数据集中的样本点数据进行比较，能够准确判断目标样本点是否为未知异常样本点。

可选的，图1为本申请实施例提供的一种边缘节点网络流量数据处理系统架构示意图。在图1中，上述架构包括数据采集设备101、处理设备102和显示设备103中至少一种。

可以理解的是，本申请实施例示意的结构并不构成对边缘节点网络流量数据处理系统架构的具体限定。在本申请另一些可行的实施方式中，上述架构可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置，具体可根据实际应用场景确定，在此不做限制。图1所示的部件可以以硬件，软件，或软件与硬件的组合实现。

在具体实现过程中，数据采集设备101可以包括输入/输出接口，也可以包括通信接口，数据采集设备101可以通过输入/输出接口或者是通信接口与处理设备连接。

处理设备102可以首先确定网络流量数据集中的多个已知异常样本点，通过目标样本点周围的已知类型样本局部密度，可以判断目标样本点是否为已知异常样本点，若目标样本点不是已知异常样本点，那么确定目标样本点为待确定未知样本点，考虑到未知异常类型数据并非孤立的点，为了减少错误判断，提高判断准确性，将待确定未知样本点与预设待确定未知样本点数据集中的样本点数据进行比较，能够准确判断目标样本点是否为未知异常样本点。

显示设备103还可以是触摸显示屏或者终端设备的屏幕，用于在显示的上述内容的同时接收用户指令，以实现与用户的交互。

应理解，上述处理设备可以通过处理器读取存储器中的指令并执行指令的方式实现，也可以通过芯片电路实现。

另外，本申请实施例描述的网络架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请实施例提供的一种边缘节点网络流量数据处理方法的流程示意图，本申请实施例可以应用于图1中的处理设备102，具体执行主体可以根据实际应用场景确定。如图2所示，该方法包括如下步骤：

S201：获取网络流量数据集，并获取网络流量数据集中的目标样本点。

可选地，网络流量数据集中包括多个目标样本点。

可选地，目标样本点可以为网络流量数据集中的任意一个样本点，或者是新样本点。

S202：根据预设已知异常类型，确定在网络流量数据集中的多个已知异常样本点。

可选地，多个已知异常样本点可以为网络流量数据集中的全部异常样本点。

可以理解的是，预设已知异常类型可以根据实际情况确定，本申请实施例对此不作具体限制。

可选地，在根据预设已知异常类型，确定在网络流量数据集中的多个已知异常样本点之前，还包括：

根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型；

根据预设已知异常类型，确定在网络流量数据集中的多个已知异常样本点，包括：

将网络流量数据集输入至已知异常检测模型，通过已知异常检测模型的输出结果确定多个已知异常样本点。

这里，本申请实施例能够根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型，通过深度神经网络模型能够快速、准确地输出多个已知异常样本点，提高了已知异常样本点的检测效率，进而提高了网络流量数据的异常检测效率。

可选地，根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型，包括：

获取至少一种异常类型的已知异常类型样本；对已知异常类型样本进行数据平衡处理，得到预处理后已知样本；根据每个预处理后已知样本的已知异常类型，为预处理后已知样本添加标签；将添加标签后的预处理后已知样本输入至深度神经网络模型进行训练，得到已知异常检测模型。

可选地，基于聚类算法对已知异常类型样本进行数据平衡处理，得到预处理后已知样本。

可选地，在进行整体的数据平衡处理时，将一个多分类问题拆解成多个二分类问题，即每一种异常类作为异常类与其他类型作为多数类进行采样处理，由此完成多分类问题下的数据平衡，得到了数据平衡后的数据集，针对有标签的已知类型数据使用深度神经网络（Deep Neural Networks，DNN）模型进行有监督学习。示范性地，已知异常检测模型的结构图如图3所示，图3为本申请实施例提供的一种已知异常检测模型的结构示意图。

其中，本申请实施例实施例首先对已知异常类型样本进行数据平衡处理，提高数据可用性及模型准确性，再针对有标签的已知类型数据使用深度神经网络模型进行有监督学习，能够得到已知异常检测模型，实现对已知异常类型的准确、高效检测。

S203：计算在预设范围内目标样本点的已知类型样本局部密度。

可以理解的是，这里的预设范围可以根据实际情况确定，本申请实施例对此不作具体限制。

可选地，在预设范围内，每个样本点和目标样本点的距离小于或等于预设周围距离阈值。

可以理解的是，这里的预设周围距离阈值可以根据实际情况确定，本申请实施例对此不作具体限制。

S204：根据已知类型样本局部密度，判断目标样本点是否为已知异常样本点。

可选地，若已知类型样本局部密度小于或等于局部密度阈值，则确定目标样本点是已知异常样本点。

可以理解的是，局部密度阈值可以根据实际情况确定。

在一种可能的实现方式中，判断目标样本点是否为已知异常样本点的方式如下：

当边缘节点的网络流量数据集一共有a种不同的已知数据类型时，一个新样本需要判断它是属于a种已知类型中的某种或者属于一种新的潜在的异常类型。面对边缘节点的网络流量异常检测中的未知异常检测难题，可以考虑边缘节点的网络流量未知异常检测模型来对新样本进行未知异常类型的可能性判断，辅助判断相应的未知异常最终的类型。

其中，a为任意正整数，本申请实施例中的新样本t为目标样本点。

边缘节点的网络流量未知异常检测模型的第一阶段是对新样本进行初步的类型判断。

当一个新样本点属于某种已知异常类型时，其周围大多是与它相似的同类型样本点，它周围的分布情况与大多同类型样本相似，相反地，如果一个新样本点不属于任何一种已知类型，那么其周围各种已知类型的样本点较少，其周围分布情况与其他已知类型样本点也有本质上的不同。因此本申请实施例认为一个样本点周围的样本分布情况可以在一定程度上表现出样本所属类型的特点，接下来将从局部密度出发，对新样本的类型进行初步的判断。

首先，计算新样本t周围各种已知类型样本的局部密度，假设新样本t周围已知类 型c的样本局部密度计算公式如下：

其中，i和j为任意正整数，表示第i个样本点（网络流量数据）和第j个样本点之 间的距离，指的是样本t的k近邻中属于已知类型c的样本点集合，k为任意正整数。

其次，如果一个新样本点周围某种已知类型样本的局部密度远小于该已知类型的 局部密度阈值，那么该新样本点大概率不属于这个已知类型。计算各种已知类型的局部密 度阈值，假设已知类型c的局部密度阈值计算公式如下：

式中是调整阈值大小的系数，如果则认为样本点t大概率不属于 已知类型c。的取值可以根据实际情况确定，本申请实施例对此不作具体限制。

如果新样本t周围各种已知类型样本的局部密度全都小于对应的各种已知类型的 局部密度阈值，那么将新样本t的未知异常判别项初步判断为1，然后再进入最终的 判断阶段，否则，将新样本t的未知异常判别项确定为0，其中0代表已知类型，1代表 未知异常类型。

S205：若目标样本点不为已知异常样本点，则确定目标样本点为待确定未知样本点。

可选地，在若目标样本点不为已知异常样本点，则确定目标样本点为待确定未知样本点之后，还包括：

将待确定未知样本点添加至预设待确定未知样本点数据集。

其中，本申请实施例在确定出每个待确定未知样本点后，都存储待确定未知样本点，以通过存储的多个待确定未知样本点确定可能出现未知异常的待确定位置样本点的相似度，进而准确确定是否出现未知异常样本点并对未知异常样本点进行归类处理，提高了边缘节点网络流量数据异常检测的准确性以及未知异常检测的可靠性，进一步地提高了边缘计算系统的安全性。

S206：根据预设待确定未知样本点数据集和待确定未知样本点，确定目标样本点是否为未知异常样本点。

可选地，根据预设待确定未知样本点数据集和待确定未知样本点，确定目标样本点是否为未知异常样本点，包括：

计算待确定未知样本点与预设待确定未知样本点数据集中的预设待确定未知样本点的相似度；根据相似度计算结果，确定与待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点的个数；若个数大于预设相似个数阈值，则确定目标样本点为未知异常样本点。

可以理解的是，这里的预设相似度阈值和预设相似个数阈值可以根据实际情况确定，本申请实施例对此不作具体限制。

这里，本申请实施例通过计算未知样本点与预设待确定未知样本点数据集中的预设待确定未知样本点的相似度，来确定在待确定未知样本点周围是否存在预设数量个相似的未知异常类型，若存在，那么可以确定目标样本点是未知异常样本点，并且与目标样本点相似的预设待确定未知样本点为相同类型的未知异常，实现了对网络数据流量数据未知异常的准确判断，提高了边缘节点网络流量数据异常检测的准确性以及未知异常检测的可靠性，进一步地提高了边缘计算系统的安全性。

在一种可能的实现方式中，对目标样本点的检测如下：

边缘节点的网络流量未知异常检测模型的第二阶段是对初步判断为未知异常类型的新样本进行最终的判断。

考虑到未知异常类型数据并非孤立的点，为了减少错误判断，初步判断为未知异 常类型的新样本t应该与前后出现同样情形的新样本进行比较，如果新样本t前后存在个与其相似的样本，则将这个样本与新样本t一同被确定为一种未知异常类 型，并将它们的未知异常判别项确定为1。其具体判断流程为：

假设一个队列h用于存储初步判断为未知异常的样本点，每当有新样本来临时，计 算当前新样本t与队列h中每个样本点的欧氏距离，如果新样本t到某个样本点的距离比该 样本点的最大近邻距离小，那么认为新样本t与该样本点相似，由此找到队列h中所有与新 样本t相似的样本点。如果相似的样本点个数大于等于个，那么认为这些点与新样本 点都为未知异常，确定它们的未知异常判别项为1，其中相似样本个数即预设相似个 数阈值需要人为设置。例如，经过实验检验，当为5时算法效果较好，因此本申 请实施例设置为5，为预设相似个数阈值，取值可以根据实际情况确定。

其中，预设待确定未知样本点数据集即队列h。

可选地，考虑到在实际边缘网络运行时，对异常检测的实时性要求较高，因此可以 认为当队列h的长度超过设定好的长度或在一定时间内都没有出现满足条件的新样本点 时，则应将队列h中的还没有确定未知异常判别项的样本标记确定为0，并清空队列h。在这 里本申请实施例可采用的是设置队列h的临界长度值可以为1000，可以理解的是，临界长 度值可以根据实际情况确定，本申请实施例不作具体限制。

本申请实施例提供了一种准确、可靠的能够在网络流量数据中识别出未知异常的方法，当一个样本点属于某种已知异常类型时，其周围大多是与它相似的同类型样本点，它周围的分布情况与大多同类型样本相似，相反地，如果一个样本点不属于任何一种已知类型，那么其周围各种已知类型的样本点较少，其周围分布情况与其他已知类型样本点也有本质上的不同，具体地，若需要识别在网络流量数据集中的目标样本点是否为未知异常样本点，首先确定网络流量数据集中的多个已知异常样本点，通过目标样本点周围的已知类型样本局部密度，可以判断目标样本点是否为已知异常样本点，若目标样本点不是已知异常样本点，那么确定目标样本点为待确定未知样本点，考虑到未知异常类型数据并非孤立的点，为了减少错误判断，提高判断准确性，将待确定未知样本点与预设待确定未知样本点数据集中的样本点数据进行比较，能够准确判断目标样本点是否为未知异常样本点，实现了边缘节点的网络未知异常的准确检测，提高了边缘计算系统安全性。

可选地，在根据预设待确定未知样本点数据集和待确定未知样本点，确定目标样本点是否为未知异常样本点之后，还包括：

若目标样本点为未知异常样本点，则在预设待确定未知样本点数据集中获取多个与待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点，并将预设待确定未知样本点确定为相似点；

为未知异常样本点和相似点添加未知异常分类标签；

根据添加标签后的未知异常样本点和相似点，建立未知异常检测模型。

可选地，在根据添加标签后的未知异常样本点和相似点，建立未知异常检测模型之后，还包括：

获取测试数据集；将测试数据集输入至未知异常检测模型，根据未知异常检测模型的输出结果判断测试数据集中是否存在未知异常分类标签对应的异常数据。

在一种可能的实现方式中，模型建立以及测试数据集的具体检测方式如下：

边缘节点的网络流量已知异常检测模型经过训练集的学习后，再经由验证集 的检验可以得到其模型准确率，同理，可以得到边缘节点的网络流量未知异常检测模 型的模型准确率。在进行测试集的测试时，边缘节点的网络流量已知异常检测模 型将提供已知类型判别项，是一个概率向量，它是各个已知类型的概率集合，边缘 节点的网络流量未知异常检测模型则提供未知异常判别项，的取值为1或0，1 表示判断为未知异常类型，0表示判断为已知类型。

最终类型判别结果由以下公式计算可得：

其中，P为类型判别结果，P的所有元素之和为1，选择值最大的元素所对应的类型 为最终判别类型。两个模型的准确率会对最终类型判别结果有着决定性的影响，并且当未 知异常判别项为0时，最终类型结果判断会完全偏向已知异常判别项，而只有当未知 异常判别项为1时，未知异常判别结果才会对最终判别结果有一定的影响，起到纠正 作用。

这里，本申请实施例能够基于未知异常样本点，采用深度神经网络模型进行有监督的学习，进而得到未知异常检测模型，通过未知异常检测模型能够准确、快速地实现对未知异常数据以及未知异常类型的检测，实现了边缘节点的网络未知异常的准确检测，提高了边缘计算系统安全性。

可选地，图4为本申请实施例提供的一种网络流量异常检测模型结构示意图，该模型可实现图3所示方法，如图4所示，基于聚类算法的边缘节点的网络流量异常检测模型，其整体结构主要包括5个部分：数据预处理、数据平衡处理、边缘节点的网络流量已知类型检测模型、边缘节点的网络流量未知异常检测模型和最终类型判别。基于本方案，保证已知异常识别率较高的情况下尽可能发现未知异常行为，进一步提高分类模型的性能。

图5为本申请实施例提供的一种边缘节点网络流量数据处理装置的结构示意图，如图5所示，本申请实施例的装置包括：获取模块501、第一处理模块502、第一计算模块503、第二处理模块504、第三处理模块505和第四处理模块506。这里的边缘节点网络流量数据处理装置可以是服务器或者终端设备，或者是实现服务器或者终端设备的功能的芯片或者集成电路。这里需要说明的是，获取模块501、第一处理模块502、第一计算模块503、第二处理模块504、第三处理模块505和第四处理模块506的划分只是一种逻辑功能的划分，物理上两者可以是集成的，也可以是独立的。

其中，第一处理模块，用于根据预设已知异常类型，确定在网络流量数据集中的多个已知异常样本点；

第一计算模块，用于计算在预设范围内目标样本点的已知类型样本局部密度；

第二处理模块，用于根据已知类型样本局部密度，判断目标样本点是否为已知异常样本点；

第三处理模块，用于若目标样本点不为已知异常样本点，则确定目标样本点为待确定未知样本点；

第四处理模块，用于根据预设待确定未知样本点数据集和待确定未知样本点，确定目标样本点是否为未知异常样本点。

可选地，第四处理模块具体用于：

计算待确定未知样本点与预设待确定未知样本点数据集中的预设待确定未知样本点的相似度；

根据相似度计算结果，确定与待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点的个数；

若个数大于预设相似个数阈值，则确定目标样本点为未知异常样本点。

可选地，在第三处理模块用于若目标样本点不为已知异常样本点，则确定目标样本点为待确定未知样本点之后，还包括：

添加模块，用于将待确定未知样本点添加至预设待确定未知样本点数据集。

可选地，在第一处理模块用于根据预设已知异常类型，确定在网络流量数据集中的多个已知异常样本点之前，上述装置还包括第一模型建立模块，用于：

根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型；

第一处理模块具体用于：将网络流量数据集输入至已知异常检测模型，通过已知异常检测模型的输出结果确定多个已知异常样本点。

可选地，第一模型建立模块具体用于：

获取至少一种异常类型的已知异常类型样本；

对已知异常类型样本进行数据平衡处理，得到预处理后已知样本；

根据每个预处理后已知样本的已知异常类型，为预处理后已知样本添加标签；

将添加标签后的预处理后已知样本输入至深度神经网络模型进行训练，得到已知异常检测模型。

可选地，在第四处理模块用于根据预设待确定未知样本点数据集和待确定未知样本点，确定目标样本点是否为未知异常样本点之后，上述装置还包括第二模型建立模块，用于：

若目标样本点为未知异常样本点，则在预设待确定未知样本点数据集中获取多个与待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点，并将预设待确定未知样本点确定为相似点；

为未知异常样本点和相似点添加未知异常分类标签；

根据添加标签后的未知异常样本点和相似点，建立未知异常检测模型。

可选地，在第二模型建立模块用于根据添加标签后的未知异常样本点和相似点，建立未知异常检测模型之后，还包括第五处理模块，用于：

获取测试数据集；

将测试数据集输入至未知异常检测模型，根据未知异常检测模型的输出结果判断测试数据集中是否存在未知异常分类标签对应的异常数据。

参考图6，其示出了适于用来实现本公开实施例的边缘节点网络流量数据处理设备600的结构示意图，该边缘节点网络流量数据处理设备600可以为服务器或者终端设备。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理（Personal Digital Assistant，简称PDA）、平板电脑（Portable AndroidDevice，简称PAD）、便携式多媒体播放器（Portable Media Player，简称PMP）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的边缘节点网络流量数据处理设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，边缘节点网络流量数据处理设备600可以包括处理装置（例如中央处理器、图形处理器等）601，其可以根据存储在只读存储器（ReadOnly Memory ，简称ROM）602中的程序或者从存储装置608加载到随机访问存储器（Random Access Memory ，简称RAM）603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有边缘节点网络流量数据处理设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器（Liquid CrystalDisplay ，简称LCD）、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许边缘节点网络流量数据处理设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的边缘节点网络流量数据处理设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述边缘节点网络流量数据处理设备中所包含的；也可以是单独存在，而未装配入该边缘节点网络流量数据处理设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该边缘节点网络流量数据处理设备执行时，使得该边缘节点网络流量数据处理设备执行上述实施例所示的方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LocalArea Network ，简称LAN）或广域网（Wide Area Network ，简称WAN）—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种边缘节点网络流量数据处理方法，其特征在于，包括：

获取网络流量数据集，并获取所述网络流量数据集中的目标样本点；

根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点；

计算在预设范围内所述目标样本点的已知类型样本局部密度；

根据所述已知类型样本局部密度，判断所述目标样本点是否为已知异常样本点；

若所述目标样本点不为已知异常样本点，则确定所述目标样本点为待确定未知样本点；

根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点；

已知类型c的样本局部密度计算公式如下：

；

其中，i和j为任意正整数， d_ij表示第i个样本点和第j个样本点之间的距离， 指的是样本t的k近邻中属于已知类型c的样本点集合，k为任意正整数。

2.根据权利要求1所述的方法，其特征在于，所述根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点，包括：

计算所述待确定未知样本点与所述预设待确定未知样本点数据集中的预设待确定未知样本点的相似度；

根据相似度计算结果，确定与所述待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点的个数；

若所述个数大于预设相似个数阈值，则确定所述目标样本点为未知异常样本点。

3.根据权利要求2所述的方法，其特征在于，在所述若所述目标样本点不为已知异常样本点，则确定所述目标样本点为待确定未知样本点之后，还包括：

将所述待确定未知样本点添加至预设待确定未知样本点数据集。

4.根据权利要求1所述的方法，其特征在于，在所述根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点之前，还包括：

根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型；

所述根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点，包括：

将所述网络流量数据集输入至已知异常检测模型，通过所述已知异常检测模型的输出结果确定多个已知异常样本点。

5.根据权利要求4所述的方法，其特征在于，所述根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型，包括：

获取至少一种异常类型的已知异常类型样本；

对所述已知异常类型样本进行数据平衡处理，得到预处理后已知样本；

根据每个所述预处理后已知样本的已知异常类型，为所述预处理后已知样本添加标签；

将添加标签后的预处理后已知样本输入至深度神经网络模型进行训练，得到已知异常检测模型。

6.根据权利要求1至4任一项所述的方法，其特征在于，在所述根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点之后，还包括：

若所述目标样本点为未知异常样本点，则在所述预设待确定未知样本点数据集中获取多个与所述待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点，并将所述预设待确定未知样本点确定为相似点；

为所述未知异常样本点和所述相似点添加未知异常分类标签；

根据添加标签后的所述未知异常样本点和所述相似点，建立未知异常检测模型。

7.根据权利要求6所述的方法，其特征在于，在所述根据添加标签后的所述未知异常样本点和所述相似点，建立未知异常检测模型之后，还包括：

获取测试数据集；

将所述测试数据集输入至未知异常检测模型，根据所述未知异常检测模型的输出结果判断所述测试数据集中是否存在所述未知异常分类标签对应的异常数据。

8.一种边缘节点网络流量数据处理装置，其特征在于，包括：

获取模块，用于获取网络流量数据集，并获取所述网络流量数据集中的目标样本点；

第一处理模块，用于根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点；

第一计算模块，用于计算在预设范围内所述目标样本点的已知类型样本局部密度；

第二处理模块，用于根据所述已知类型样本局部密度，判断所述目标样本点是否为已知异常样本点；

第三处理模块，用于若所述目标样本点不为已知异常样本点，则确定所述目标样本点为待确定未知样本点；

第四处理模块，用于根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点；

已知类型c的样本局部密度计算公式如下：

；

其中，i和j为任意正整数， d_ij表示第i个样本点和第j个样本点之间的距离，指的是样本t的k近邻中属于已知类型c的样本点集合，k为任意正整数。

9.一种边缘节点网络流量数据处理设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7任一项所述的边缘节点网络流量数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的边缘节点网络流量数据处理方法。