CN105745868A - 网络中异常检测的方法和装置 - Google Patents

网络中异常检测的方法和装置 Download PDF

Info

Publication number
CN105745868A
CN105745868A CN201380081088.8A CN201380081088A CN105745868A CN 105745868 A CN105745868 A CN 105745868A CN 201380081088 A CN201380081088 A CN 201380081088A CN 105745868 A CN105745868 A CN 105745868A
Authority
CN
China
Prior art keywords
phase space
subflow
data item
abnormal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380081088.8A
Other languages
English (en)
Other versions
CN105745868B (zh
Inventor
胡慧
刘青焱
赵思焰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ericsson China Communications Co Ltd
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN105745868A publication Critical patent/CN105745868A/zh
Application granted granted Critical
Publication of CN105745868B publication Critical patent/CN105745868B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开提供了一种用于网络中异常检测的方法(100)和装置。所述方法(100)包括：获得(S110)与网络相关的时间序列数据的流；将所述流划分(S120)为多个子流，每个子流与数据类别相对应；以及针对每个子流：重建(S130)多个相空间；在所述多个相空间中的每一个中，基于与所述相空间相关联的预测模型来预测(S140)所述子流中的数据项是否是异常候选；以及当数据项在全部所述多个相空间中被预测为异常候选时，检测(S150)所述数据项为异常。

Description

网络中异常检测的方法和装置
技术领域
本公开总体涉及网络性能监测，并更具体地涉及用于网络中异常检测的方法和装置以及相关联的计算机程序和计算机程序产品。
背景技术
随着网络服务的快速发展，网络运营商或服务提供商监测网络性能或服务质量变得越来越重要，以检测任何异常网络行为或服务退化并尽快对其作出响应。
作为示例，关键性能指标(KPI)数据被用作网络提供的网络性能或服务质量的度量。KPI数据是一种时间序列数据。传统地，向时间序列数据应用离线统计分析方法，即需要首先存储时间序列数据并且然后与一个或更多个定义的阈值进行比较，以找到异常。然而，典型地存在大量以非常高的速度产生的KPI数据。在该情况下，需要大存储容量用于存储要分析的KPI数据。此外，需要许多人工操作来定义并调整阈值。然而，针对KPI数据，这种人工操作随着网络单元数量的增加变得不实际。因此，用及时的方式检测KPI数据中的异常是一个挑战。
WO2009/008783A1公开了一种具有降低的复杂度的用于度量性能指标的方法。在该方法中，向原始数据应用性能过滤器，并且根据过滤后的数据计算性能指标。用这种方式，可以通过对相同的原始数据应用不同性能过滤器和相应算法，同时度量多个不同性能指标。
然而，仍存在对于用于从性能指标数据中检测异常网络行为或服务退化的改进解决方案的需要。
发明内容
本公开的目的在于提供用于网络中异常检测的方法和装置，以及相关联的计算机程序和计算机程序产品，能够用更及时的方式从大量网络性能指标数据中检测异常。
根据本公开的第一方面，提供了一种用于网络中异常检测的方法。所述方法包括：获得与网络相关的时间序列数据的流；以及将所述流划分为多个子流，每个子流与数据类别相对应。方法还包括：针对每个子流：重建多个相空间；在所述多个相空间中的每一个相空间中，基于与所述相空间相关联的预测模型来预测所述子流中的数据项是否是异常候选；以及当数据项在全部所述多个相空间中都被预测为异常候选时，检测数据项为异常。
词语“多个”将贯穿说明书和权利要求解释为“多于一个”，即该词语的数学定义。
在一个实施例中，针对每个子流：利用特征向量来表示所述多个相空间中的每一个相空间，每个特征向量与所述子流中的数据项相关联。上述预测步骤包括：在所述多个相空间中的每一个相空间中，当基于与所述相空间相关联的预测模型将与所述子流中的数据项的相关联的特征向量确定为异常时，将所述数据项预测为异常候选。
在一个实施例中，所述预测模型表示其相关联的相空间中的预定范围，所述预定范围以外的任何特征向量被确定为异常。
在一个实施例中，所述预测模型根据训练数据集合来初始构建，并基于未被检测为异常的数据项来周期性地更新。
在一个实施例中，所述预测模型基于单类支持向量机(OCSVM)。
在一个实施例中，针对每个子流：通过应用具有一对维度和滞后作为自变量的嵌入函数，来重建所述多个相空间中的每一个相空间。
在一个实施例中，在多于一个计算节点上分布式执行所述重建、预测和检测。
在一个实施例中，所述时间序列数据包括关键性能指标(KPI)数据，所述KPI数据是对网络提供的网络性能或服务质量的度量。
在一个实施例中，所述方法还包括以下步骤：向计算机设备报告被检测为异常的数据项，以提供关于异常的信息。
根据本公开的第二方面，提供了一种用于网络中异常检测的装置。所述装置包括：用于获得与网络相关的时间序列数据的流的单元；用于将所述流划分为多个子流的单元，每个子流与数据类别相对应；用于针对每个子流重建多个相空间的单元；用于在针对每个子流重建的所述多个相空间中的每一个相空间中，基于与所述相空间相关联的预测模型来预测所述子流中的数据项是否是异常候选的单元；以及用于针对每个子流，当数据项在全部所述多个相空间中都被预测为异常候选时，检测所述数据项为异常的单元。
在一个实施例中，针对每个子流：利用特征向量来表示所述多个相空间中的每一个相空间，每个特征向量与所述子流中的数据项相关联。用于预测的单元被配置为：在所述多个相空间中的每一个相空间中，当基于与所述相空间相关联的预测模型将与所述子流中的数据项的相关联的特征向量确定为异常时，将所述数据项预测为异常候选。
在一个实施例中，所述预测模型表示其相关联的相空间中的预定范围，所述预定范围以外的任何特征向量被确定为异常。
在一个实施例中，所述预测模型根据训练数据集合来初始构建，并基于未被检测为异常的数据项来周期性地更新。
在一个实施例中，所述预测模型基于单类支持向量机(OCSVM)。
在一个实施例中，针对每个子流：通过应用具有一对维度和滞后作为自变量的嵌入函数，来重建所述多个相空间中的每一个相空间。
在一个实施例中，所述时间序列数据包括关键性能指标(KPI)数据，所述KPI数据是对网络性能或服务质量的度量。
在一个实施例中，所述装置还包括用于向计算机设备报告被检测为异常的数据项，以提供关于异常的信息的单元。
根据本发明的第三方面，提出了一种装置。所述装置包括处理器和存储器，所述存储器包括能够由所述处理器执行使得所述装置执行以下操作的指令：获得与网络相关的时间序列数据的流；将所述流划分为多个子流，每个子流与数据类别相对应；以及针对每个子流：重建多个相空间；在所述多个相空间中的每一个相空间中，基于与所述相空间相关联的预测模型来预测所述子流中的数据项是否是异常候选；以及当数据项在全部所述多个相空间中都被预测为异常候选时，检测所述数据项为异常。
在一个实施例中，针对每个子流：利用特征向量来表示所述多个相空间中的每一个相空间，每个特征向量与所述子流中的数据项相关联。所述预测包括：在所述多个相空间中的每一个相空间中，当基于与所述相空间相关联的预测模型将与所述子流中的数据项的相关联的特征向量确定为异常时，将所述数据项预测为异常候选。
在一个实施例中，所述预测模型表示其相关联的相空间中的预定范围，所述预定范围以外的任何特征向量被确定为异常。
在一个实施例中，所述预测模型根据训练数据集合来初始构建，并基于未被检测为异常的数据项来周期性地更新。
在一个实施例中，所述预测模型基于单类支持向量机(OCSVM)。
在一个实施例中，针对每个子流：通过应用具有一对维度和滞后作为自变量的嵌入函数，来重建所述多个相空间中的每一个相空间。
在一个实施例中，所述时间序列数据包括关键性能指标(KPI)数据，所述KPI数据是对网络性能或服务质量的度量。
在一个实施例中，所述存储器还包含所述处理器可执行的指令从而所述装置用于：向计算机设备报告被检测为异常的数据项，以提供关于异常的信息。
根据公开的第四方面，提供了一种计算机程序。所述计算机程序包括计算机可读指令，当所述计算机可读指令在装置上运行时，使所述装置：获得与网络相关的时间序列数据的流；将所述流划分为多个子流，每个子流与数据类别相对应；以及针对每个子流：重建多个相空间；在所述多个相空间中的每一个相空间中，基于与所述相空间相关联的预测模型来预测所述子流中的数据项是否是异常候选；以及当数据项在全部所述多个相空间中都被预测为异常候选时，检测所述数据项为异常。
根据本公开的第五方面，提供了一种计算机程序存储产品。所述计算机程序产品包括存储根据以上第四方面所述的计算机程序的计算机可读存储装置。
根据本公开的第六方面，提供了一种用于网络中异常检测的分布式计算系统。所述分布式计算系统包括多个计算节点，所述多个计算节点中的至少一个被配置为：获得与网络相关的时间序列数据的流；将所述流划分为多个子流，每个子流与数据类别相对应；以及将每个子流分发给第一计算节点。每个第一计算节点被配置为：针对分发给所述第一计算节点的子流，重建多个相空间，并将所述多个相空间中的每一个相空间分发给第二计算节点以基于与所述相空间相关联的预测模型来预测所述子流中的数据项是否是异常候选；以及当数据项在全部所述多个相空间中都被预测为异常候选时，检测所述数据项为异常。
利用本公开的实施例，将与网络相关的时间序列数据处理为数据流。将流划分为多个子流，每个子流与数据类别相对应。然后，针对每个子流，重建多于一个相空间。在每个相空间中，基于与该相空间相关联的预测模型来检测子流中的数据项是否是异常候选。最后，当该数据项在全部所述多个相空间中被预测为异常候选时，检测所述数据项为异常。因此不需要存储全部数据，原因在于数据用流的方式处理。将流划分为子流为分布式处理提供了可能。预测模型的使用消除了在基于阈值的解决方案中将是必需的人工操作的需要。用这种方式，可以用更及时的方式从大量网络数据中检测异常。此外，对于每个数据类别，重建多个相空间，并且仅当数据项在全部相空间中被预测为异常候选时才将该数据项确定为异常，这允许对数据项的全面分析。
附图说明
通过以下参考附图的实施例的描述，以上及其他目的、特征和优点将更为清楚，其中：
图1是示出了根据本公开实施例的用于网络中的异常检测方法的流程图；
图2是根据本公开实施例的预测模型的示意图；
图3是示出根据本公开实施例的分布式计算场景的示意图；
图4是根据本公开实施例的用于异常检测的装置的示意图；以及
图5是根据本公开实施例的可以用于异常检测的装置中所使用的配置的示意图。
具体实施方式
以下将参考附图，详细描述本公开的实施例。应当注意，以下实施例仅用于说明，而不限制本公开的范围。
图1是示出了根据本公开实施例的用于网络中的异常检测方法100的流程图。方法包括以下步骤。
在步骤S110，获得与网络相关的时间序列数据的流，例如通过经由套接字连接从基站接收该流。在一个示例中，时间序列数据可以是上述关键性能指标(KPI)数据。这里应注意，本公开不限于KPI数据，还适用于表示网络提供的网络性能或服务质量的其他时间序列数据。
在步骤S120中，将所述流划分为多个子流，每个子流与数据类别相对应。例如，存在若干类别的KPI数据，包括基站控制器应答输入/输出、基站控制器应答率输入/输出、基站控制器位置更新成功率和基站控制器寻呼成功率。流中的每个KPI数据项可以具有标识其所属的类别的KPI类别标识符。因此，KPI数据流可以基于流中每个KPI数据项的KPI类别标识符划分为若干子流。每个子流可以包含具有相同KPI类别标识符的KPI数据项。
因此，针对每个子流，执行后续步骤S130-S150。因此，尽管仅关于子流之一(标记为SS)来给出步骤S130-150的以下描述，其还适用于从步骤S120得到的任何其他子流。
在步骤S130中，针对子流SS重建多个相空间。这里，可以通过应用具有一对维度和滞后作为自变量的嵌入函数来重建每个相空间。
在数学上，嵌入函数F可以表示为：
F(x(t))＝[Φ(x(t))，Φ(f1(x(t)))，...，Φ(fM-1(x(t)))]T
＝[y(t)，y(t-τ)，...，y(t-(M-1)τ)]T
其中x(t)表示子流SS中具有时间索引t的数据项，M表示维度，τ表示滞后(τ≥0)，fi(·)，i＝1，2，...，M-1是线性判决函数，Φ(·)表示将其输入从原始空间变换到特征空间的映射函数，[·]T表示转置并且y(t)表示得到的相空间中的特征向量。
例如，当子流SS包含数据项Xt1，Xt2，Xt3，…时，使用具有维度M＝3和滞后τ＝1的嵌入函数，重建的相空间可以表示为：
[Yt1＝(Xt1，Xt2，Xt3)，Yt2＝(Xt2，Xt3，Xt4)，Yt3＝(Xt3，Xt4，Xt5)，...]
其中Yt1，Yt2，Yt3，…分别是与数据项Xt1，Xt2，Xt3，…，相关联的特征向量。
即，可以通过分别与子流SS中的数据项相关联的特征向量来表示在步骤S130中重建的相空间中的每一个相空间。换言之，每个相空间由以特定的一对维度和滞后表示子流SS中的数据项的特征向量组成。
在步骤S140中，在针对子流SS重建的多个相空间中的每一个相空间中，基于与该相空间相关联的预测模型来预测子流SS中的数据项是否是异常候选。为了说明，将仅参照相空间之一(标记为PS)来给出步骤S140的以下说明。然而，本领域技术人员将理解还适用于步骤S130中得到的任何其他相空间。
更具体地，在相空间PS中，当基于与相空间PS相关联的预测模型将与子流SS中的数据项的相关联的特征向量确定为异常时，将该数据项预测为异常候选。
图2是相空间PS中的示例预测模型的示意图。图2中所示的预测模型基于单类支持向量机(OCSVM)。本领域技术人员将理解本公开不限于OCSVM，还可以使用其他基于模型的预测技术，例如自回归积分滑动平均模型(ARIMA)。
如图2中所示，将相空间PS中的每个特征向量映射到二维x-y平面中的点。这里注意，还可以根据用于重建相空间PS的嵌入函数的维度M用三维或甚至更高维度的空间表示预测模型。预测模型表示其相关联的相空间PS中的预定范围(下文也称为“正常范围”)，预定范围以外的任何特征向量被确定为异常。图2中加了“+1”标签的区域表示正常范围。“+1”区域内的点表示的特征向量被认为“正常”；而“+1”区域以外(即，图2中加了“-1”标签的区域内)的点表示的其他向量被确定为异常。
这里，根据训练数据集合来初始构建预测模型，训练数据集合包含例如网络运营商或服务提供商确定为正常的数据样本(例如，通过基于阈值的比较)。然后，可以基于未被检测为异常的数据项来周期地对预测模型进行更新。更具体地，与未被检测为异常的数据项相关联的特征向量可以被用作更新预测模型的基础。用这种方式，预测模型具有自学能力并可以不需要任何人工干预自动更新。
在步骤S150中，当子流SS中的数据项在针对子流SS重建的全部多个相空间中被预测为异常候选时，数据项被检测为异常。
然后，可以向计算机设备报告检测为异常的数据项，用于提供关于异常的信息。例如，计算机设备可以存储并向网络管理员提供该信息，使得管理员可以采取合适的措施来解决与该异常相关联的问题。例如，当检测到与基站控制器应答率相关联的异常并将其报告给计算机设备时，计算机设备可以向网络管理员提供关于网络异常的警告消息，并且然后网络管理员可以通过例如调节基站控制器中的天线来确认并解决相关联的问题。
可以看出，不需要存储要处理的全部时间序列数据，原因在于用流的方式对其进行处理。预测模型的使用消除了在基于阈值的解决方案中将是必需的人工操作的需要。用这种方式，可以用更及时的方式从大量网络数据中检测异常。此外，对于每个数据类别，重建多个相空间，并且仅当数据项在全部相空间中被预测为异常候选时，将该数据项确定为异常，这允许对数据项的全面分析。
此外，针对一个数据类别重建的相空间的数目可以独立于针对任何其他数据类别重建的相空间的数目，这提供了从不同类别的数据中检测异常的提高的灵活性。
此外，将流划分为子流为分布式处理提供了可能。具体地，可以在多于一个计算节点上分布式执行以上步骤S130-S150。
现在参考图3，图3示出了分布式计算系统300。分布式计算系统300包括多个计算节点。这些计算节点中的至少一个(例如，数据收集和分发节点310)获得与网络相关的时间序列数据的流，将所述流划分为多个子流，每个子流与数据类别相对应；以及将每个子流分发给相空间重建节点320-1，…，320-n。为了说明，关于相空间重建节点320-1给出以下说明。然而，如本领域技术人员可以理解的，其还适用于任何其他相空间重建节点320-2，…，320-n。
相空间重建节点320-1针对向该相空间重建节点分发的子流重建K1个相空间，并向预测节点330-1-K1，…，330-1-Kn分发K1个相空间中的每一个，以基于与该相空间相关联的预测模型来预测子流中的数据项是否是异常候选。
然后，向检测节点340-1输出来自预测节点330-1-K1，…，330-1-Kn的预测结果，当数据项在全部多个相空间中都被预测为异常候选时，检测节点340-1检测数据项为异常。在一个实施例中，相空间重建节点320-1还充当检测节点340-1。在这种情况下，可以将来自预测节点330-1-K1，…，330-1-Kn的预测结果反馈给相空间重建节点320-1，用于异常检测。
这里，图3中所示的计算节点的每一个可以实现为例如S4、Storm等的流处理框架中的处理单元(PE)。备选地，可以基于例如Impala和Spark的实时Hadoop框架来实现分布式计算系统300。
图4是根据本公开实施例的用于网络中异常检测的装置400的示意图。
如图4中所示，装置400包括用于与例如数据源和用于提供关于任何检测到的异常的信息的计算设备的其他实体通信的通信单元410。装置400还包括配置420，配置420用于实现以上参照图1描述的方法。装置400还可以包括一个或更多个存储器330和一个或更多个附加功能单元340，例如用于产生异常检测报告的功能单元。
可以将配置420实现为纯硬件解决方案或实现为软件和硬件的组合，例如通过以下一项或多项来实现：处理器或微处理器和恰当的软件以及用于存储该软件的存储器、被配置为执行例如如图3中所示上述动作的可编程逻辑器件(PLD)或其他电子组件或处理电路。可以如下实现和/或描述配置420。
参照图4，装置400包括：获得单元421，用于获得与网络相关的时间序列数据的流。
装置400还包括：划分单元422，将所述流划分为多个子流，每个子流与数据类别相对应。
装置400还包括：重建单元423，针对每个子流重建多个相空间。
装置400还包括：预测单元424，用于在针对每个子流重建的所述多个相空间中的每一个相空间中，基于与所述相空间相关联的预测模型来预测所述子流中的数据项是否是异常候选。
装置400还包括：检测单元425，用于针对每个子流，当数据项在全部所述多个相空间中被预测为异常候选时，检测所述数据项为异常。
这里注意，各单元421-425可以实现为软件组件或硬件电路。
在一个实施例中，针对每个子流：利用特征向量来表示所述多个相空间中的每一个相空间，每个特征向量与所述子流中的数据项相关联，以及预测单元424被配置为：在所述多个相空间中的每一个相空间中，当基于与所述相空间相关联的预测模型将与所述子流中的数据项的相关联的特征向量确定为异常时，将所述数据项预测为异常候选。
在一个实施例中，所述预测模型表示其相关联的相空间中的预定范围，所述预定范围以外的任何特征向量被确定为异常。
在一个实施例中，所述预测模型根据训练数据集合来初始构建，并基于未被检测为异常的数据项来周期性地更新。
在一个实施例中，预测模型基于单类支持向量机(OCSVM)。
在一个实施例中，针对每个子流：通过应用具有一对维度和滞后作为自变量的嵌入函数，来重建所述多个相空间中的每一个相空间。
在一个实施例中，所述时间序列数据包括关键性能指标(KPI)数据，所述KPI数据是对网络性能或服务质量的度量。
在一个实施例中，装置400还包括：报告单元(未示出)，用于向计算机设备报告被检测为异常的数据项，以提供关于异常的信息。
图5示出了可以在装置400中使用的配置500的实施例。配置500包括处理器510，例如，数字信号处理器(DSP)。处理器510可以是执行本文描述的过程的不同动作的单一单元或多个单元。配置500还可以包括用于从其它实体接收信号/向其它实体发送信号的输入/输出单元530。
此外，配置500包括具有非易失性或易失性存储器形式的至少一个计算机程序存储产品520，例如电可擦除可编程只读存储器(EEPROM)、闪存和硬盘驱动。换言之，不考虑实施例，计算机程序存储产品520包括非瞬时性计算机可读介质或是非瞬时性计算机可读介质。计算机程序存储产品520包括计算机程序540，计算机程序540包括代码/计算机可读指令，当由配置500中的处理器510执行时，使配置500或/或包括配置500的装置400执行例如之前结合图1描述的过程的动作。
计算机程序540可以被配置为包括计算机程序部分540A-540D的计算机程序代码。
因此，在示例实施例中，配置500中的计算机程序中的代码包括：获得部分540A，用于获得与网络相关的时间序列数据的流。配置500中的计算机程序中的代码还包括：划分部分540B，用于将所述流划分为多个子流，每个子流与数据类别相对应。配置500中的计算机程序中的代码还包括：重建部分540C，用于针对每个子流重建多个相空间。配置500中的计算机程序中的代码还包括：预测部分540D，用于在针对每个子流重建的所述多个相空间中的每一个相空间中，基于与所述相空间相关联的预测模型来预测所述子流中的数据项是否是异常候选的单元。配置500中的计算机程序中的代码还包括：检测部分540E，用于针对每个子流，当数据项在全部所述多个相空间中都被预测为异常候选时，检测所述数据项为异常。
计算机程序部分可以实质上执行图1中所示的流程图的动作，以仿效装置400中的配置420。换言之，当在处理器510中执行不同的计算机程序部分时，计算机程序部分可以与例如图4的单元421-424相对应。
尽管以上结合图5公开的实施例中的代码装置被实现为计算机程序模块，该计算机程序模块当在处理器中执行时，使设备执行以上结合上述附图描述的动作，在备选实施例中可以至少部分地将至少一个代码装置实现为硬件电路。
处理器可以是单个CPU(中央处理器)，还可以包括两个或更多个处理器。例如，处理器可以包括通用微处理器、指令集处理器和/或相关芯片集和/或专用微处理器(例如专用集成电路(ASIC))。处理器也可以包括用于高速缓存目的的板载存储器。计算机程序可以由与处理器相连的计算机程序产品来承载。计算机程序产品可以包括其上存储计算机程序的计算机可读介质。例如，计算机程序产品可以是闪存、随机存取存储器(RAM)、只读存储器(ROM)或EEPROM，并且上述计算机程序模块在备选实施例中可以用存储器的形式在不同的计算机程序产品上分布。
以上已参考本发公开的实施例描述了本公开。应当理解，本领域技术人员可以做出各种修改、变化和添加，而不脱离本公开的精神和范围。因此，本公开的范围不限于以上特定实施例，由所附权利要求来界定。

Claims (28)

1.一种用于网络中异常检测的方法(100)，包括：
-获得(S110)与网络相关的时间序列数据的流；
-将所述流划分(S120)为多个子流，每个子流与数据类别相对应；以及
针对每个子流：
-重建(S130)多个相空间；
-在所述多个相空间中的每一个相空间中，基于与所述相空间相关联的预测模型来预测(S140)所述子流中的数据项是否是异常候选；以及
-当数据项在全部所述多个相空间中都被预测为异常候选时，检测(S150)所述数据项为异常。
2.根据权利要求1所述的方法(100)，其中，针对每个子流：
利用特征向量来表示所述多个相空间中的每一个相空间，每个特征向量与所述子流中的数据项相关联，以及
所述预测(S140)包括：在所述多个相空间中的每一个相空间中，当基于与所述相空间相关联的预测模型将与所述子流中的数据项的相关联的特征向量确定为异常时，将所述数据项预测为异常候选。
3.根据权利要求2所述的方法(100)，其中，所述预测模型表示其相关联的相空间中的预定范围，所述预定范围以外的任何特征向量被确定为异常。
4.根据权利要求3所述的方法(100)，其中，所述预测模型根据训练数据集合来初始构建，并基于未被检测为异常的数据项来周期性地更新。
5.根据权利要求1-4中任一项所述的方法(100)，其中，所述预测模型基于单类支持向量机OCSVM。
6.根据权利要求1所述的方法(100)，其中，针对每个子流：
通过应用具有一对维度和滞后作为自变量的嵌入函数，来重建所述多个相空间中的每一个相空间。
7.根据权利要求1所述的方法(100)，其中，在多于一个计算节点上分布式执行所述重建、预测和检测。
8.根据权利要求1所述的方法(100)，其中，所述时间序列数据包括关键性能指标KPI数据，所述KPI数据是对网络提供的网络性能或服务质量的度量。
9.根据权利要求1所述的方法(100)，还包括：
-向计算机设备报告被检测为异常的数据项，以提供关于异常的信息。
10.一种用于网络中异常检测的装置(420)，包括：
-用于获得与网络相关的时间序列数据的流的单元(421)；
-用于将所述流划分为多个子流的单元(422)，每个子流与数据类别相对应；
-用于针对每个子流重建多个相空间的单元(423)；
-用于在针对每个子流重建的所述多个相空间中的每一个相空间中，基于与所述相空间相关联的预测模型来预测所述子流中的数据项是否是异常候选的单元(424)；以及
-用于针对每个子流，当数据项在全部所述多个相空间中都被预测为异常候选时，检测所述数据项为异常的单元(425)。
11.根据权利要求10所述的装置(420)，其中，针对每个子流：
利用特征向量来表示所述多个相空间中的每一个相空间，每个特征向量与所述子流中的数据项相关联，以及
所述用于预测的单元(424)被配置为：在所述多个相空间中的每一个相空间中，当基于与所述相空间相关联的预测模型将与所述子流中的数据项的相关联的特征向量确定为异常时，将所述数据项预测为异常候选。
12.根据权利要求11所述的装置(420)，其中，所述预测模型表示其相关联的相空间中的预定范围，所述预定范围以外的任何特征向量被确定为异常。
13.根据权利要求12所述的装置(420)，其中，所述预测模型根据训练数据集合来初始构建，并基于未被检测为异常的数据项来周期性地更新。
14.根据权利要求10-13中任一项所述的装置(420)，其中，所述预测模型基于单类支持向量机OCSVM。
15.根据权利要求10所述的装置(420)，其中，针对每个子流：
通过应用具有一对维度和滞后作为自变量的嵌入函数，来重建所述多个相空间中的每一个相空间。
16.根据权利要求10所述的装置(420)，其中，所述时间序列数据包括关键性能指标KPI数据，所述KPI数据是对网络提供的网络性能或服务质量的度量。
17.根据权利要求10所述的装置(420)，还包括：
-用于向计算机设备报告被检测为异常的数据项，以提供关于异常的信息的单元。
18.一种装置(400)，包括处理器(420)和存储器(430)，所述存储器(430)包括能够由所述处理器(420)执行使得所述装置(400)执行以下操作的指令：
-获得与网络相关的时间序列数据的流；
-将所述流划分为多个子流，每个子流与数据类别相对应；以及
针对每个子流：
-重建多个相空间；
-在所述多个相空间中的每一个相空间中，基于与所述相空间相关联的预测模型来预测所述子流中的数据项是否是异常候选；以及
-当数据项在全部所述多个相空间中都被预测为异常候选时，检测所述数据项为异常。
19.根据权利要求18所述的装置(400)，其中，针对每个子流：
利用特征向量来表示所述多个相空间中的每一个相空间，每个特征向量与所述子流中的数据项相关联，以及
所述预测包括：在所述多个相空间中的每一个相空间中，当基于与所述相空间相关联的预测模型将与所述子流中的数据项的相关联的特征向量确定为异常时，将所述数据项预测为异常候选。
20.根据权利要求19所述的装置(400)，其中，所述预测模型表示其相关联的相空间中的预定范围，所述预定范围以外的任何特征向量被确定为异常。
21.根据权利要求19所述的装置(400)，其中，所述预测模型根据训练数据集合来初始构建，并基于未被检测为异常的数据项来周期性地更新。
22.根据权利要求18-21中任一项所述的装置(400)，其中，所述预测模型基于单类支持向量机OCSVM。
23.根据权利要求18所述的装置(400)，其中，针对每个子流：
通过应用具有一对维度和滞后作为自变量的嵌入函数，来重建所述多个相空间中的每一个相空间。
24.根据权利要求18所述的装置(400)，其中，所述时间序列数据包括关键性能指标KPI数据，所述KPI数据是对网络提供的网络性能或服务质量的度量。
25.根据权利要求18所述的装置(400)，其中，所述存储器还包含能够由所述处理器执行使得所述装置执行以下操作的指令：
-向计算机设备报告被检测为异常的数据项，以提供关于异常的信息。
26.一种包括计算机可读指令的计算机程序(540)，当所述计算机可读指令在装置上运行时，使所述装置：
-获得与网络相关的时间序列数据的流；
-将所述流划分为多个子流，每个子流与数据类别相对应；以及
针对每个子流：
-重建多个相空间；
-在所述多个相空间中的每一个相空间中，基于与所述相空间相关联的预测模型来预测所述子流中的数据项是否是异常候选；以及
-当数据项在全部所述多个相空间中都被预测为异常候选时，检测所述数据项为异常。
27.一种计算机程序存储产品(520)，包括存储根据权利要求26所述的计算机程序(540)的计算机可读存储装置。
28.一种用于网络中异常检测的分布式计算系统(300)，包括多个计算节点，所述多个计算节点中的至少一个(310)被配置为：
-获得与网络相关的时间序列数据的流；
-将所述流划分为多个子流，每个子流与数据类别相对应；以及
-将每个子流分发给第一计算节点(320-1，…，320-n)，
其中，每个第一计算节点(320-1，…，320-n)被配置为：
-针对分发给所述第一计算节点的子流，重建多个相空间，并将所述多个相空间中的每一个相空间分发给第二计算节点(330-1-1，…，330-k1；…；330-n-1，…，330-n-kn)以基于与所述相空间相关联的预测模型来预测所述子流中的数据项是否是异常候选；以及
-当数据项在全部所述多个相空间中都被预测为异常候选时，检测所述数据项为异常。
CN201380081088.8A 2013-11-26 2013-11-26 网络中异常检测的方法和装置 Expired - Fee Related CN105745868B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/087844 WO2015077917A1 (en) 2013-11-26 2013-11-26 Method and apparatus for anomaly detection in a network

Publications (2)

Publication Number Publication Date
CN105745868A true CN105745868A (zh) 2016-07-06
CN105745868B CN105745868B (zh) 2019-04-26

Family

ID=53198171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380081088.8A Expired - Fee Related CN105745868B (zh) 2013-11-26 2013-11-26 网络中异常检测的方法和装置

Country Status (4)

Country Link
US (1) US10069691B2 (zh)
EP (1) EP3075102B1 (zh)
CN (1) CN105745868B (zh)
WO (1) WO2015077917A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108228442A (zh) * 2016-12-14 2018-06-29 华为技术有限公司 一种异常节点的检测方法及装置
CN109947760A (zh) * 2017-07-26 2019-06-28 华为技术有限公司 一种挖掘kpi根因的方法及装置
CN110139315A (zh) * 2019-04-26 2019-08-16 东南大学 一种基于自我学习的无线网络故障检测方法
CN110858195A (zh) * 2018-08-17 2020-03-03 空气磁体公司 时间系列度量的高效的存储和查询
CN108926352B (zh) * 2017-05-22 2020-10-09 北京大学 一种驾驶疲劳检测方法及系统
CN114286365A (zh) * 2021-12-16 2022-04-05 四川通信科研规划设计有限责任公司 一种基于基站电调天线aisg的数据回传方法及系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2015680B1 (en) * 2015-10-29 2017-05-31 Opt/Net Consulting B V Anomaly detection in a data stream.
CN106685674B (zh) 2015-11-05 2020-01-10 华为技术有限公司 网络事件预测以及建立网络事件预测模型的方法和装置
CN108173670B (zh) * 2016-12-07 2020-06-02 华为技术有限公司 检测网络的方法和装置
US10880181B2 (en) * 2017-01-17 2020-12-29 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for analysing performance of a telecommunications network
US10438124B2 (en) 2017-01-25 2019-10-08 Centurylink Intellectual Property Llc Machine discovery of aberrant operating states
US10346756B2 (en) * 2017-01-25 2019-07-09 Centurylink Intellectual Property Llc Machine discovery and rapid agglomeration of similar states
US20190392350A1 (en) * 2017-02-02 2019-12-26 Nippon Telegraph And Telephone Corporation Feature value generation device, feature value generation method, and program
US10548032B2 (en) * 2018-01-26 2020-01-28 Verizon Patent And Licensing Inc. Network anomaly detection and network performance status determination
US11574461B2 (en) * 2020-04-07 2023-02-07 Nec Corporation Time-series based analytics using video streams

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090112932A1 (en) * 2007-10-26 2009-04-30 Microsoft Corporation Visualizing key performance indicators for model-based applications
US20100027432A1 (en) * 2008-07-31 2010-02-04 Mazu Networks, Inc. Impact Scoring and Reducing False Positives
CN101753381A (zh) * 2009-12-25 2010-06-23 华中科技大学 一种检测网络攻击行为的方法
CN101854404A (zh) * 2010-06-04 2010-10-06 中国科学院计算机网络信息中心 检测域名系统异常的方法和装置
CN102004859A (zh) * 2010-12-01 2011-04-06 南京工业大学 建筑异常能耗支路在线诊断方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI114749B (fi) * 2000-09-11 2004-12-15 Nokia Corp Poikkeamien ilmaisujärjestelmä ja menetelmä sen opettamiseksi
CN1832391A (zh) * 2005-03-11 2006-09-13 松下电器产业株式会社 多天线通信系统中的自适应重传方法和设备
US7953280B2 (en) * 2007-06-15 2011-05-31 Los Alamos National Security Llc Anomalous change detection in imagery
CN101690304B (zh) 2007-07-11 2012-12-26 艾利森电话股份有限公司 用于确定服务性能的方法和设备
US20090238255A1 (en) * 2008-03-24 2009-09-24 Hong Kong Applied Science And Technology Research Institute Co, Ltd. Estimation of Error Propagation Probability to Improve Performance of Decision-Feedback Based Systems
JP5048625B2 (ja) * 2008-10-09 2012-10-17 株式会社日立製作所 異常検知方法及びシステム
US8254391B2 (en) * 2009-04-04 2012-08-28 Oracle International Corporation Method and system for performing blocking of messages on errors in message stream
US20100299287A1 (en) 2009-05-22 2010-11-25 Alcatel-Lucent Usa Inc. Monitoring time-varying network streams using state-space models
CN101800674A (zh) 2010-02-21 2010-08-11 浪潮通信信息系统有限公司 基于分流定向的旁路式流量检测模型
JP5808605B2 (ja) * 2011-08-17 2015-11-10 株式会社日立製作所 異常検知・診断方法、および異常検知・診断システム
US8620987B2 (en) 2011-09-10 2013-12-31 Hewlett-Packard Development Company, L.P. Multi-regime detection in streaming data
US9019839B2 (en) * 2012-08-19 2015-04-28 Audiocodes Ltd. Device, system, and method of monitoring fax relay

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090112932A1 (en) * 2007-10-26 2009-04-30 Microsoft Corporation Visualizing key performance indicators for model-based applications
US20100027432A1 (en) * 2008-07-31 2010-02-04 Mazu Networks, Inc. Impact Scoring and Reducing False Positives
CN101753381A (zh) * 2009-12-25 2010-06-23 华中科技大学 一种检测网络攻击行为的方法
CN101854404A (zh) * 2010-06-04 2010-10-06 中国科学院计算机网络信息中心 检测域名系统异常的方法和装置
CN102004859A (zh) * 2010-12-01 2011-04-06 南京工业大学 建筑异常能耗支路在线诊断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于青: ""基于混沌时间序列预测的主动型入侵防御系统研究"", 《万方数据库》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108228442A (zh) * 2016-12-14 2018-06-29 华为技术有限公司 一种异常节点的检测方法及装置
CN108228442B (zh) * 2016-12-14 2020-10-27 华为技术有限公司 一种异常节点的检测方法及装置
CN108926352B (zh) * 2017-05-22 2020-10-09 北京大学 一种驾驶疲劳检测方法及系统
CN109947760A (zh) * 2017-07-26 2019-06-28 华为技术有限公司 一种挖掘kpi根因的方法及装置
CN110858195A (zh) * 2018-08-17 2020-03-03 空气磁体公司 时间系列度量的高效的存储和查询
CN110139315A (zh) * 2019-04-26 2019-08-16 东南大学 一种基于自我学习的无线网络故障检测方法
CN110139315B (zh) * 2019-04-26 2021-09-28 东南大学 一种基于自我学习的无线网络故障检测方法
CN114286365A (zh) * 2021-12-16 2022-04-05 四川通信科研规划设计有限责任公司 一种基于基站电调天线aisg的数据回传方法及系统
CN114286365B (zh) * 2021-12-16 2023-09-26 四川通信科研规划设计有限责任公司 一种基于基站电调天线aisg的数据回传方法及系统

Also Published As

Publication number Publication date
CN105745868B (zh) 2019-04-26
US10069691B2 (en) 2018-09-04
EP3075102A1 (en) 2016-10-05
EP3075102B1 (en) 2019-01-16
EP3075102A4 (en) 2017-05-03
WO2015077917A1 (en) 2015-06-04
US20170026250A1 (en) 2017-01-26

Similar Documents

Publication Publication Date Title
CN105745868A (zh) 网络中异常检测的方法和装置
Huong et al. Detecting cyberattacks using anomaly detection in industrial control systems: A federated learning approach
CN102713862B (zh) 故障原因提取装置、故障原因提取方法和程序记录介质
US9342370B2 (en) Server migration
US7783694B2 (en) Identification of relevant metrics
CN112929187B (zh) 网络切片管理方法、装置和系统
CN108376299A (zh) 一种设备运行趋势的预测方法及装置
CN108804383B (zh) 基于度量空间的支撑点并行枚举方法及装置
CN112308281A (zh) 一种温度信息预测方法及装置
JP2020008997A (ja) 異常検知システム
CN109711627A (zh) 一种数据处理方法及装置
WO2017078067A1 (ja) 要因解析装置、要因解析方法、及びプログラム
CN112380089A (zh) 一种数据中心监控预警方法及系统
CN105871581A (zh) 云计算中报警信息的处理方法及装置
CN112700131A (zh) 基于人工智能的ab测试方法、装置、计算机设备及介质
CN104750538A (zh) 用于为目标应用提供虚拟存储池的方法和系统
US7836175B2 (en) Apparatus and method for processing management information
CN106936611B (zh) 一种预测网络状态的方法及装置
CN113158435A (zh) 基于集成学习的复杂系统仿真运行时间预测方法与设备
Xue et al. Fill-in the gaps: Spatial-temporal models for missing data
CN111901156A (zh) 一种监控故障的方法及装置
CN113792421A (zh) 一种基于数字孪生的tpm设备管理数据处理系统及方法
CN113572639A (zh) 一种载波网络故障的诊断方法、系统、设备和介质
CN106785129A (zh) 动力电池充放电次数的实时统计方法、系统及电动车辆
CN115913699B (zh) 配电网横向访问检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160708

Address after: 100102 Beijing City, Chaoyang District Lize Street No. 5

Applicant after: Ericsson (China) Communications Co., Ltd.

Address before: Stockholm

Applicant before: Telefon AB L.M. Ericsson [SE]

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190426

Termination date: 20201126

CF01 Termination of patent right due to non-payment of annual fee