CN108605036A - 数据流中的异常检测 - Google Patents

数据流中的异常检测 Download PDF

Info

Publication number
CN108605036A
CN108605036A CN201680077694.6A CN201680077694A CN108605036A CN 108605036 A CN108605036 A CN 108605036A CN 201680077694 A CN201680077694 A CN 201680077694A CN 108605036 A CN108605036 A CN 108605036A
Authority
CN
China
Prior art keywords
exception
value
data flow
detected
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680077694.6A
Other languages
English (en)
Inventor
塔拉斯·马塞尔尤克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Opt Network Pte Ltd
Original Assignee
Opt Network Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opt Network Pte Ltd filed Critical Opt Network Pte Ltd
Publication of CN108605036A publication Critical patent/CN108605036A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/566—Dynamic detection, i.e. detection performed at run-time, e.g. emulation, suspicious activities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H04L41/0622—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time based on time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Optimization (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Virology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)

Abstract

提供了一种用于检测源自系统或系统网络的多个数据流中的异常的方法。从一个该系统或多个该系统中收集数据流并将所收集的数据流划分为多个时间间隔。对于该多个时间间隔内的每个时间间隔，确定与该数据流相关联的参数的值。计算与该数据流相关联的该参数已确定的值和该参数的预期值之间的偏差。如果所计算出的偏差高于阈值，则检测所收集的数据流中的异常。

Description

数据流中的异常检测
技术领域
本发明涉及一种用于检测源自系统数据流中的异常的方法和装置。所述系统可为网络或任何其他复杂的系统或设备。
背景技术
操作人员等对于大型复杂的关键基础结构在准实时操作方面的认知和理解的匮乏等，人为错误仍是服务提供商在复杂网络环境安全下面对的安全性和安全操作方面的主要风险。无法保护服务免受源自系统内部或外部的有意或无意的负面恶意影响，将导致收入和财产的损失，并且在一些极端的情况下，可能导致企业倒闭。
现有的一种用于防御网络攻击的技术方案(例如分布式拒绝服务攻击，即dDoS攻击)依赖于系统中的数据集流器的部署。所述数据流收集器采样统计某网络段上的网络流量。并进一步处理流量，包括建立基线(即“正常”)信号，所述基线信号与日期和时间相关。当前算法通常使用傅里叶变换来建立基线。
特别地，利用傅里叶变换来将时序信号转换为其组成频率分量。随机分量和异常现象通常由低能量频率分量来表示。因此，通过仅考虑傅里叶频域中的高频分量，可去除异常，留下基线信号。当监控系统检测到基线内有偏差，确定受扰者的目标互联网协议(IP-Internet Protocol)地址，并将去往所述受扰者IP地址的流量净化(即，转向)至一专门的dDoS净化中心。例如，将去往所述受扰者的所有流量发送至位于所述净化中心的目的沉孔，因此，所述流量不可恢复的丢失了。
这些解决方案是有局限的，其使用傅立叶变换来计算基线，使得在合理的时间间隔内(例如，约15分钟)计算出准确结果成为必要。这导致在网络流量异常被检测出之前，需要耗费大量的时间(例如，10-15分钟或更长)。这也意味着现有的解决方案或可适用于检测较长持续时间内的异常，但现有的解决方案缺乏检测较短持续时间内的异常的办法。
进一步地，将去往所述受扰者IP地址的流量转向至所述沉孔意味着由于dDoS净化策略的“黑洞”效应，服务器的公共IP地址暂时不可达。防止攻击的受扰者使用他们的公共IP地址，直到网络攻击停止并去除黑洞路由。这也可能影响其他用户，这些用户共享所述网络的相同部分或处于相同的IP地址块。此外，现有系统复杂且实现昂贵。
类似原理应用于由IT服务器，路由器，交换机，防火墙等网络基础设施元件生成的操作遥测。在后一种情况下，其它非结构化数据格式应被用于对即将到来的事件的及时检测。
通常来说，存在着对能够减少假阳性检测的数量(即，虚假警报，事实上流量为正常流量)，同时还提高整体检测率以保证真实异常以较高比例被检测出的一种改进的异常检测装置及方法的需求。
发明内容
本发明的目的在于消除或去除至少一些上述缺陷，并提供一种改进的用于以尽可能快地检测源自单一系统或系统网络的数据流中的异常的方法和装置，例如，以秒为单位而不是分钟。
根据本发明的一方面，本发明提供了一种用于在多个数据流中检测异常的方法，包括源自系统或系统网络的结构化的，非结构化的和/或混合的数据，所述方法包括：从一个所述系统或多个所述系统中收集所述数据流；将收集到的所述数据流划分为多个时间间隔；对于所述的多个时间间隔内的每个时间间隔，确定与每个数据流相关联的参数的值；对于所述多个时间间隔内的每个时间间隔，为所述参数确定相应的预期值，其中所述预期值包括所述参数在相应时间段内的中值，其中每个时间段包括多个相邻的时间间隔；对于所述多个时间间隔内的每个时间间隔，计算与所述数据流相关联的所述参数已确定的值和所述参数的预期值之间的偏差；以及如果所述计算出的偏差高于阈值，则检测所收集的数据流中的异常。
根据本发明的一个方面，本发明提供了一种用于检测源自系统的数据流中的异常的装置，所述装置包括：收集器模块，用于可操作地从至少一个系统收集多个数据流；分析器模块，用于可操作地将所收集的数据流划分为多个时间间隔，对于所述多个时间间隔内的每个时间间隔，确定与每个数据流相关联的参数的值，并计算与所述数据流相关联的所述参数已确定的值和所述参数的预期值之间的偏差，其中所述预期值包括所述参数在相应时间段内的中值，其中每个时间段包括多个相邻的时间间隔；以及处理器，如果所述计算出的偏差高于阈值，则用于可操作地检测所收集的数据流中的异常。
根据本发明的一个方面，本发明提供了一种用于检测源自系统或系统网络的数据流中的异常的方法，该方法包括：从所述系统收集数据流，其中所收集的数据流包括非结构化数据和/或结构化数据和/或混合结构化/非结构化数据；将所收集的数据流分为多个时间间隔；对于所述多个时间间隔内的每个时间间隔，确定与所述数据流相关联的参数的值，其中，当所收集的数据流包括非结构化数据时，确定所述参数的值包括用于将所述非结构化数据转换为参数值的转换规则；计算与所述数据流相关联的参数的已确定的值和所述参数的预期值之间的偏差；以及如果所计算出的偏差高于阈值，则检测所收集的数据流中的异常。
根据本发明的一方面，本发明提供了一种用于检测源自系统的数据流中的异常的装置，该装置包括：收集器模块，用于可操作地从至少一个系统收集数据流，其中所收集的数据流包括非结构化数据和/或结构化数据和/或混合结构化/非结构化数据；分析器模块，用于可操作地将所收集的数据流划分为多个时间间隔，对于所述多个时间间隔内的每个时间间隔，确定与所述数据流相关联的参数的值，并计算与所述数据流相关联的参数的已确定的值和所述参数的预期值之间的偏差，其中，当所述收集的数据流包括非结构化数据时，确定所述参数的值包括用于将所述非结构化数据转换为参数值的转换规则；以及处理器，如果所述计算出的偏差高于阈值，则用于可操作地检测所述收集的数据流中的异常。
根据本发明的一方面，本发明提供了一种用于检测源自系统的数据流中的异常的方法。从该系统中收集数据流。所收集的数据流被划分为多个时间间隔。对于该多个时间间隔内的每个时间间隔，与该数据流相关联的参数的值被确定。与所述数据流相关联的所述参数已确定的值和所述参数的预期值之间的偏差被确定。如果所述计算出的偏差高于阈值，则所收集的数据流中的异常被检测。
根据本发明的另一方面，本发明提供了一种用于检测源自系统的数据流中的异常的装置。所述设备包括收集器模块，用于可操作地从系统收集数据流。所述装置还包括分析器模块，用于可操作地将所收集的数据流划分为多个时间间隔，对于所述多个时间间隔内的每个时间间隔，确定与该数据流相关联的参数的值，并计算与所述数据流相关联的所述参数已确定的值和所述参数的预期值之间的偏差。所述装置还包括检测器模块，如果所述计算出的偏差高于阈值，则用于可操作地检测所收集的数据流中的异常。
根据本发明的另一方面，本发明提供了一种计算机程序产品，包括载体，所述载波器包含使得处理器
以此方式，本发明提供了一种改进的检测数据流中的异常的方法，降低了假阳性检测的数量(即，虚假报警，此时交通事实上是正常交通中)，提高了整体检测率，保证了检测出真实异常的较高比例。
附图说明
为了更好地理解本发明，并展示其如何实施，现在将通过示例的方式并参考附图来展示本发明如何被实施，其中：
图1示出了根据本发明的用于检测源自系统的数据流中的异常的装置的框图；
图2示出了根据本发明的一个方面提供的方法的流程图；
图3示出了根据本发明实施例提供的用于数据流计算的示例性预期值和偏差函数的曲线图，其中，未检测到异常；
图4示出了根据本发明实施例提供的用于数据流计算的又一示例性预期值和偏差函数的曲线图，其中，检测到异常；
图5示出了可实现本发明的示例系统的框图；
图6示出了可实现本发明的又一示例系统的框图；以及
图7示出了示例系统的框图，凭借该系统操作人员可通过使用机器学习来训练系统。
具体实施方式
图1示出了根据本发明而提供的一种用于检测源自系统数据流中的异常的装置10。装置10包括收集器模块12，其用于可操作地收集源自系统的数据流，分析器模块14，其用于可操作地将所收集的数据流划分为多个时间间隔，以及检测器模块16，其用于可操作地检测所收集的数据流中是否存在异常。在一些实施例中，装置10可包括多个收集器模块12和分析器模块14。在一些实施例中，检测器模块16可以由多个部分组成，其被配置为实现各种异常检测和识别算法，并存储人工智能(AI)或机器知识数据包(例如用于应用收集数据的机器学习规则)。
发起数据流的系统可以是网络或任何其他复杂的系统或设备，数据流可以从该系统或设备中被收集。例如，该系统可以是服务器，局域网(LAN)，个人区域网(PAN)，广域网(WAN)，无线局域网(WLAN)，虚拟专用网(VPN)，互联网，智能电网，交通运输控制系统或任何其他复杂系统。
图2示出了根据本发明的方法100的流程图。
参考图2，在框102内，收集器模块12用于可操作地收集源自系统的数据流。收集器模块12用于可操作地实时或至少近实时地收集源自系统的数据流。
例如，源自系统的数据流可以是源自网络或复杂系统的数据流，诸如源自服务器，局域网(LAN)，因特网的部分，或诸如上述的任何其它复杂系统。数据流可以包括源自该系统的任何类型的数据，包括结构化数据和/或非结构化数据。
例如，结构化数据可以是组织数据或具有相关联的预定义的数据模型以对该数据进行组织和/或标准化。结构化数据的例子包括诸如数值或统计数据的任何类型的非语言数据。例如，结构化数据可以包括时间序列值，系统性能或使用数据(例如对应于中央处理单元的数据，CPU)，其可由简单的网络管理协议对象标识符(SNMPOID)表示读数，或其可以为格式化的原始统计文件的形式，或者通过其它标准数据收集协议获得。文件可以被格式化，例如，该文件可以使用用于信息交换的美国标准代码(ASCII)或任何其他格式化标准或协议进行格式化。
例如，非结构化数据可以是缺少相关联的预定义的数据模型以对该数据进行组织和/或标准化的数据。非结构化数据的示例包括文本重数据，其还可以包含诸如日期，数字，事实或任何其它形式的人类可读数据等数据。例如，非结构化数据可以包括诸如系统数据日志(syslogs)，访问日志，防火墙日志，通话数据记录，报警(例如，简单的网络管理协议(SNMP)捕集器)，简单的网络管理协议(SNMP)数据之类的时间戳数据。
收集的数据可以是时间戳数据(即，该数据可以具有原点时间戳)或收集器模块12用于可操作地对所收集的数据进行时间戳操作(即，该数据具有内部或本地时间戳)。在一个示例中，以日期和/或时间格式对该数据进行时间戳，其可以是任何形式(例如，DD-MM-YY，HH:MM:SS:ms，或任何其它形式)。该时间戳可以是时期时间戳
收集器模块102收集的其它来源的数字或模拟数据也可以被处理。
在一些实施例中，该方法可任选地包括预处理和/或从所收集的数据流中清理数据(图2的框104)。该步骤可以在收集器模块12中发生，收集器模块12可以进行预处理和/或通过将所收集的数据与系统中预定义知识模型进行比较从所收集的数据流中清理数据，该数据是从该系统中被收集的。该预定义知识模型可以由该系统的操作者所书写的规则来表示。
所收集的数据流包括多个数据值，每个数据值可以表示该系统中发生的一个事件，该数据流从该系统中被收集。在图2中的框106，分析器模块14用于可操作地将所收集的数据流划分为多个时间间隔。例如，系统中发生的事件可以由事件发生所在时间间隔进行组织。时间间隔的大小是灵活的，可以由操作者设定。在一个示例中，对时间间隔内的数据进行处理以获得可以相对于时间绘制的数据点。该数据点可以存储在数据库中。该数据库可以是相对于装置100的内部数据库，或者可以是外部数据库。
该时间间隔定义了处理所收集的数据以及确定数据点的持续时间。该时间间隔可以是任意值(例如，以秒或毫秒表示)。在一个示例中，该时间间隔由操作者基于异常检测的紧急性(例如，近实时)和/或系统硬件能力(例如，所选择的值使得所收集的数据能够在不引起后登录，缓冲，碰撞等情况下被处理)所选择的。
分析器模块14可以处理用于异常检测的设定数量的相邻时间间隔。该设定数量的时间间隔被称为时间段，并且该段的大小由半径参数定义。将该段内的每个时间间隔的数据处理结果在异常检测中都会被考虑到。
该时间段的大小采用以下公式计算：
时间段＝(半径参数x2)+时间间隔的持续时间。
在一个示例中，该半径参数被设置为2，每个时间间隔被设置为具有1秒的持续时间。对于半径参数为2并具有1秒持续时间的时间间隔，该时间段的大小的计算为：(2x2)+1＝5秒。这提供了五个数据点(即，一个数据点用于五个相邻时间间隔内的每个)用于在任何给定时间进行处理和分析。
在其他示例中，该时间间隔可以选择具有100ms的持续时间，1，5s，1分钟或任何其他时间间隔持续时间。该所选择的时间间隔定义了解析度，该半径参数确定系统能够以何种速度检测异常的系统行为。
在图2的框108中，对于多个时间间隔内的每个，分析器模块14用于可操作地确定与数据流相关联的参数的值。
在一个示例中，分析器模块14检测在时间间隔内发生的零个或多个事件，并基于该检测到的在该时间间隔内发生的零个或多个事件来分配严重性值，从而确定在该时间间隔内与该数据流关联的参数的值。
在另一示例中，分析器模块14检测在该时间间隔内发生的多个事件，将严重性值分配给该多个事件中的每个，并通过计算所分配的严重性值的和来确定在该时间间隔内与该数据流相关联的参数的值。换句话说，该参数被确定为总体严重性，STOT，其为在每个时间间隔内发生的各个单独事件的严重性的总和(即，枚举值)。
在另一示例中，分析器模块14检测在该时间间隔内发生的多个事件，并基于对在该时间间隔内检测到的每秒发生的事件的次数的数量进行计数或对每个时间间隔记录的事件的数量进行计数，从而确定在该时间间隔内与该数据流相关联的参数的值。
在另一示例中，对于时间间隔内的多个时间戳，分析器模块14分析包含在数据流中的数据以检测事件，并基于检测到的事件来分配严重性值。分析器模块14通过在该时间间隔单元内的多个时间戳处计算分配的严重性值的和来确定与所收集的数据流相关联的参数的值。
在上述示例中的任何一个中，该事件可以是触发词或值。
根据预先确定的模型规则对检测到的事件进行分类和枚举，可以以连续步骤<如果-则>或规则的形式表达。这样，分析器模块14能够转换和处理非结构化数据以及结构化数据。
用于将非结构化数据转换为严重性值的确切规则(即，如上所述的事件数据的枚举)依赖于对于系统的先前行为和预期行为的知识，可以源自厂商和技术特定化方案。例如，操作员可以创建用于将事件数据转换成参数值(例如严重性值)的<如果-则>规则并触发指令脚本。这些规则和指令脚本的集合可以作为机器知识数据包的一部分来提供，可被安装在系统中以解决特定的部署场景。
其中，所述事件是由存在于所述文本值中的关键触发词或超过某一阈值的数值来识别的，所述枚举可以包括将特定字符串映射到特定数值，或者当所述事件是触发值时，所述枚举可以包括将一个编号映射到另一个编号。例如，包含单词“误差”的事件可以被分配到特定值(例如，50)，而包含单词“警告”的事件可以被分配到另一个值(例如，10)。任何重要事件，即使在系统日志中具有语言表达式的那些事件都被解码并被分配到适当的值。所列举的值在此被称为事件的“严重性”值。虽然已经为事件是触发字或值的情况提供了示例，可以理解的是数据流可以基于任何其它特征来枚举(例如，另一特征可以是数据接口的CPU使用或流量吞吐量)。以上述方式分析所述事件，以提供在所述系统中是否发生错误的指示，系统中是否存在问题，是否有任何引起关注的原因等。
所确定的严重性值实际上提供了严重程度的数据序列(其也可以被称为严重性函数)并且该值可以实时绘制(例如，在事件编号的图中)或通过历史表示仪表盘绘制。在这种情况下，严重程度函数相当于结构化数据函数。该功能可以是任何种类的功能，例如单音，非单音，连续，非连续，数字，二进制等。通常，严重程度函数是随机函数，并由于从中收集数据流的系统的本性而不可预测。
对于以上所述的多个时间间隔内的每个时间间隔，一旦与所述数据流相关联的参数的值被确定(图2中的框108)，流程移至框110。在图2的框110中，分析器模块14用于可操作地计算与该数据流相关联的参数的已确定的值和该参数的预期值之间的偏差。通过分析器模块14自动获取该预期值。该参数的预期值可以是从预期值数据库中获得的值，被管理系统的模型预期值特征。
该预期值可以是时间段内参数的中值。例如，分析器模块14可以为系统监控该数据流中的一系列数据，并使用统计分析将预期值计算为每个时间段内的数据序列的中值。因此，分析器模块14建立该预期值，并对于最新时间段内的该多个时间间隔内的每个时间间隔，计算该已确定的值和该预期值之间的偏差。
通过预期值计算该偏差，允许在所述数据序列中检测变化(包括快速，重要和出乎意料的变化),上述预期值可以近似实时地进行。换句话说，分析器模块14能够从标准中检测偏转，(即中值平均值或其它统计上定义的值)
在一些实施例中，分析器模块14可在与该数据流相关联的参数的已确定的值中计算偏差，上述通过：，对于每个时间间隔，在所述时间段的时间间隔内计算该参数的预期值(如上所述)，并将其与该参数在该时间间隔内的该已确定的值进行比较，以计算该参数值与该预期值的偏差
如上所述，数据序列可以是对于的系统的严重程度数据序列(即，严重程度函数)。在一个实施例中，该预期值可以是在一时间段内的一系列值的总体严重程度STOT的代表性平均值(例如平均值或中值)。
在一个实施例中，在时间间隔内的参数的预期值被计算作为该时间间隔内该参数的中值。换句话说，当该多个参数值有序时，参数的该预期值可以被计算作为该参数的中间值，即从数据样本的较低半部中分离出数据样本的较高半部的值。
例如：
{2，3，5，9，12}的中值为5；
{2，8，16，9，11}的中值为9；
{1，3，0，9，4}的中值为3。
可以通过首先对数据样本进行排序(例如，事件计数，值或严重性值)来计算中值，然后确定中值，所述中值为所述分类数据样本中的中心元素。
使用最近的样本值的小编号的中值(例如，以上所示5，或3，7，9或11)来形成预期值，其优点在于能够快速生成并具有较低的计算需求，但在识别异常时提供了良好的第一步。
一旦通过上述实例中的任何一个计算出预期值，与所述数据流相关联的所述参数的该已确定的值和该预期值计算出偏差(例如，在所述总严重性或总计数中)。对于中央元素，在相同的时间段内偏差的测量方法已经确定，当所述数据被排序时，在该时间段内所述中央元素的值为偏差。
可以使用多种可能的偏差测量方法，包括但不限于以下示例。
在一个示例中，未校正的样本偏差(SD)可基于绝对值中的中值来使用。换句话说，未校正的样本以标准偏差公式为基础，使用中值代替均值。该公式可以表示为：
其中Xi是所收集的数据的观测值(即参数值)，例如事件计数值或事件严重性值，在时间间隔内)，X为所述时间间隔内收集的数据的中值，而分母N是所收集的数据样本的大小(计算为样本方差的平方根)，其中所述样本方差是所述样本平均值的平方偏差的平均值。
在另一示例中，可以基于在绝对值中表达的中值来使用校正样本偏差。用于校正样本偏差的公式可以表示为：
其中Xi是所收集的数据的观测值(即参数值)，例如事件计数值或时间间隔内的事件严重性值)X为所收集的数据在所述时间间隔内的中值，N为所收集数据样本的大小(作为样本方差的平方根计算)，其中所述样本方差是所述样本平均值的平方偏差的平均值。
在另一实例中，可基于在绝对值中表达的中值来使用无偏样本偏差。用于无偏采样偏差的公式可以表示为：
其中，Xi是所收集的数据的观测值(即参数值，例如事件计数值或时间间隔内的事件严重性值)，X为所述时间间隔内收集的数据的中值，而分母N是所收集的数据样本的大小(计算为样本方差的平方根)，其中所述样本方差是所述样本平均值的平方偏差的平均值。
可使用的偏差测量的其它示例包括：
1.以平均值表示的未校正的标准偏差；
2.以均值的百分比表示的校正的标准偏差；
3.以均值表示的无偏标准偏差；
4.以绝对值表示的未校正的标准偏差；
5.以绝对值表示的校正标准偏差；
6.以绝对值表示的无偏标准偏差；
7.以绝对值表达的导数；
8.中值M与基信号B之间的绝对差F，即F＝(B-M)；
9.以百分比表示的中值与基信号之间的拟合(相对)差，即
F＝(B-M)/B*100；
10.基于绝对值中值表达的未校正的标准偏差；
11.基于绝对值中值表达的校正的标准偏差；
12.基于绝对值中值表达的无偏标准偏差。
然而，偏差测量不限于上述例子，也可以使用任何其它的偏差测量方法。
在图2的框112中，如果所述计算出的偏差高于阈值(也称为偏差阈值)，检测器模块16用于可操作地检测数据流中的异常。该阈值可以手动设置，或者可以自动确定。对检测异常进行响应，检测器模块16可检查所收集的数据流以验证包含在数据流中的数据。可以通过模式识别技术对异常进行分析和分类。换句话说，针对异常确定分类。
例如，检测器模块16可以比较检测到的异常(或者为诸如偏差函数的异常获得的数据)，其中至少一个异常存储在异常数据库中。该异常数据库可以存储针对已知或先前识别的异常所获得的数据。该异常数据库可以是通过机器学习先前检测到的异常，操作分类异常和/或用户输入异常而创建的数据库。
检测到的异常与至少一个存储的异常的比较可以涉及检测器模块16，其确定检测到的异常和存储在异常数据库中的至少一个异常之间的相似性的测量方法。检测器模块16可确定检测到的异常与存储在异常数据库中的至少一个异常相似，其中所检测到的异常和存储在异常数据库中的至少一个异常之间的差异小于预定阈值(也称为差异阈值)。
如果检测到的异常与存储在异常数据库中的至少一个异常的差异大于预定阈值，检测器模块16将检测到的异常添加到未知(未分类)异常列表中。否则，检测器模块16确定所述检测到的异常的分类。
一旦分类，检测器模块16可以向检测到的异常分配指令。响应于检测异常，检测器模块16可以实施抑制技术以抑制异常的源(或根本原因)。抑制技术可以包括阻止源自异常的源的访问，将所收集的数据流重新定向回到异常的源和/或丢弃源自异常的源的流量。在一个示例中，分配给检测到的异常的指令可以包括发送通知给所述系统的操作者，所述数据流被收集到所述系统中。在另一示例中，指令脚本可以针对异常自动运行或可将该异常通过通知消息通知给系统，该通知消息可包括用于所述异常的系统运行的指令脚本。
例如，可以通过SMS，电子邮件等向系统的操作员通知异常。异常可以是界面扑动的结果，然后可以通知指令脚本的操作者运行该指令脚本以解决或抵消界面扑动。在另一示例中，可以将异常分类为已知的网络威胁并通过指令脚本以抑制可能自动运行的网络威胁。例如，可以应用防火墙规则来阻塞字典密码拾取例程的源(即，根本原因)。本例中还可以通知该系统的操作者。
在检测到异常的情况下，检测到的异常可以存储在异常数据库中。该数据库可以在装置10的内部，或者可以是异常的外部数据库。
另一方面，如果所述计算出的偏差低于阈值，在数据流中没有检测到异常(即，数据流表现正常或在预期的参数内)。
该偏差阈值为任意参数并取决于所选系统模型的规则。可以以这样的方式创建规则：假阳性异常检测被最小化，但是灵敏度足以检测重要的系统行为。该规则可以随时适用。例如，在分配严重性值以触发可能存在于所收集的数据流中的单词或值的情况下，可以通过将不同的严重性值映射到不同的词或值来调整规则，以便放大某些事件并使其他事件去敏。例如，如果用词“警告”来定义最低有效事件，则该“警告”是以100的严重性值表示，目的是将该词作为异常检测，阈值可以至少等于100的值，如果用以10的严重性值表示的词“信息”表示较小严重程度的事件，则所述阈值可以被设置为使得单次，两次或甚至三次出现该词也不会足够重要而去检测异常，但如果在时间间隔内该字出现10次或更多次，则检测到异常。以此方式，如果事件的出现次数超过阈值，则检测到自适应滤波规则不太重要的异常。还可以忽略某些事件。偏差阈值可以是预先确定的(例如，手动设置的)或基于统计分析或其它数学运算自动定义，该统计分析或其它数学运算可基于环境来适应偏差阈值。
通过确定计算出的偏差是否高于阈值，可以检测所收集的数据流中是否存在异常。计算出的偏差提供了在系统中是否发生了错误的指示，系统中是否存在问题，是否有任何关注原因等。
在一些示例中，分析器模块14描绘与数据流相关联的参数的预期值，确定与数据流相关联的参数的值(即参数的实际值)以及所确定的值与所述预期值的偏差随时间的偏差。该偏差随时间的曲线可以被称为偏差函数。
图3示出了相对于时间(即，偏差函数)绘制的偏差的例子。所述偏差函数具有持续时间，表示波形的形状和最大振幅。在图3中，线202示出了与随着时间的数据流相关联的参数的已确定的值，线204的预期值和源自线206的预期值的偏差。
回到图2，在框112处，超过重新确定的阈值水平的偏差函数的任何显著幅度值可表示所测量参数的异常。在此说明中，没有检测到异常。
图4示出了相对于时间(即，偏差函数)绘制的偏差的另一示例。该示例示出了严重程度函数202和严重程度函数204的预期值(在此示例中为中值)以及与预期值206的偏差。在图2的步骤108中，由分析器模块14计算严重程度函数202和严重程度函数204的预期值。在图2的步骤110中，由分析器模块14计算预期值206的偏差，在所述图标记为302的区域中检测到异常。
图5示出了其中可以实现上述装置10和方法的示例性系统400的示意性表示。
从图5的右手侧开始，数据402被收集在收集器模块404(图2的框102)。该数据包括多个数据流402，每个数据流可以包括结构，非结构化和/或混合(即，结构化和非结构化的混合)数据流，可以包括相同类型的数据或不同类型，即它们可以是均相的或异构的。数据可以源自单个系统或源自系统网络。在该示例中，数据包括一组事件，传感器读数和/或性能数据。在一些示例中，生成数据，然后由系统400接收数据，然后在近实时的情况下进行处理。在其它示例中，可以从档案记录中检索被呈现给系统的数据。在收集器模块404对收集的数据流进行预处理和清理，自适应滤波规则处理(图2的框104)。一种预处理清理工艺的一部分，噪声消除模块406去除噪声，标准化模块408对数据进行标准化。预处理后的数据存储在数据库414中，并由异常处理模块410和模式识别模块412处理。异常处理模块410与上述的分析器模块14和检测器模块16相当，对数据进行处理，参考图2中的框106，108，110和112进行描述的数据。分析器模块14，检测器模块16，并且任何其他异常处理模块可以彼此直接通信以提高系统的性能。
当异常处理模块410检测到一个或多个数据流中的异常(如上所述)时，模式识别模块412分析与该异常相关的数据，以便唯一地对异常进行分类。例如，模式识别模块412可以分析数据流中的数据所产生的偏差函数的形状，数据或数据流中出现事件的次序或顺序，或允许将异常进行分类的任何其它信息。因此，在一个或多个时间间隔期间的数据流的第一子集中，一种特定类型的循环异常可能引起参数值的特定变化，而另一种类型的循环异常可能引起在一个或多个时间间隔期间数据流的不同第二子集中的参数值的变化。类似地，尽管一种特定类型的重复异常可能引起所述组中的第一组变化，在一个或多个时间间隔期间的数据流的特定子集中的参数值，另一种类型的循环异常可能引起在一个或多个时间间隔期间的相同子集的数据流中的参数值中的不同的变化集合。因此，待检测的事件将产生特定数据流中的参数值变化的模式。每个参数值模式可以在多个时间间隔上延伸。本发明公开了异常的分类包括识别参数值变化的模式，该参数值变化是特定类型的异常的特征。该模式可以包含一个数据流中的多个参数值的序列，或者可以包含相应数据流中的多个参数值的相应序列。
该分类过程可包括创建事件的“指纹”，其可以采取异常序列中的事件分类的直方图的形式。该指纹可以被加权，例如，示出异常序列中每个事件类型的相对比例。由模式识别模块412提供的指纹和异常处理模块410获得的信息(例如偏差函数或波形)可以与已知和先前检测到的异常数据库进行比较。
该组合数据创建用于不同异常类型的独特分类标准，可以通过人工智能来评估。动态时间翘曲(DTW)算法可用于将源自任何新观测到的异常的数据与已知的(即，先前分类的)以及未知的先前发现的异常数据相比较。该算法可用于计算两个异常所获得的数据之间的相似度。
新异常和先前评估的异常之间的相似性的度量也被称为两个异常之间的差异。这是可配置参数并且可被表示为百分比。如果所述差异小于由操作者设定的差异阈值，则在所述评估下的两个异常被认为是相似的或相同的。可以调整差异阈值以最小化假阳性并最大化识别过程的有效性。
随着时间检测到不同的异常，可以绘制检测到的异常类型的直方图，可以通过总次数对其进行排序，以便于参考。还可以基于累积的严重性分类异常，来源(即异常的根本原因)，设施等。该信息可用于安全计划和/或帮助操作员调谐系统参数(例如枚举规则和/或偏差阈值)以提高系统的检测率。
在校准系统的过程中，可以将每个新的异常与已知的数据进行比较(其可以被提供为该装置的初始安装或通过机器知识数据包来实现，如前面所述)。还可根据出现的次数来识别和显示未知的异常。这允许操作员分析先前检测到的异常的每次出现，对其进行分类，并向其分配指令。
图6是系统400的另一个方面500的图示，其可由使用者(或操作者)操作。图6示出了收集在收集器模块处的数据402，预处理步骤(框404)，其包括通过移除模块406去除噪声，标准化模块408对数据的标准化，异常处理模块410进行异常检测。，模式识别模块412的模式识别和数据库414处的数据的存储图6还提供允许可视化(例如实时或近实时的数据可视化工具)到系统的用户或操作者(图6的框502)。基于所述可视化，所述系统的用户或操作者可以提供用户输入(在图6的框504处)。用户输入可以包括改变系统参数(例如<如果-则>规则或阈值)根据他们的专家知识和/或源自数据可视化工具的数据的解释。
在一个示例中，如果未知(即，新类型的)异常频繁发生或具有高累积严重性，操作者可识别高冲击事件的顶源，并可将其逐一寻址。例如，如果未知异常是新的网络攻击产生步骤t显著的偏离预期值或对系统具有明显的影响，其可通过向操作者到达的日志消息来表示。，操作员将在异常仪表板的列表上看到这样的异常。然后，可以对所有这些事件进行分析。例如，可以由操作者分析和验证底层数据。基于所述操作者的分析，新的异常可以根据其碰撞而被分类(在图6的框506)。该异常也可以用名称和描述指定。该指令脚本可以在该阶段被分配。在新网络攻击实例的情况下，缓解脚本可以对攻击源进行中和，自动对攻击的受扰者进行保护。可以将关于检测到的异常的通知发送到从其收集数据的系统中。该数据的收集通过命令和控制界面(图6的框508)。
系统500可包括回路510，其基于所检测到的事件的原因，表示可经由显示器提供给操作者的信息的优化。向操作者提供优化信息的示例可以包括显示辅助帮助信息，去杂化显示视图，提供包括检查列表，操作程序，反馈和/或警告的弹出。
图7是系统700的实例，其中操作者可用于训练机器学习算法以检测和通过手动识别从事件流拾取异常序列，并将它们作为示例异常提供给机器学习算法来防止异常。
在收集器模块处收集的数据402被所述装置接收并被预处理(框404)，如以上参考图6所述，数据可以是例如，事件和数据值从商业脱机(COTS)中收集)第三方设备和传感器，通过标准协议(例如syslog，SNMP陷阱，ASCII文件等)。然后，如上文所述，系统700根据图6的框502，504和506进行操作。
在图7的框702中，触发定制指令脚本和/或策略。可以为特定硬件开发指令脚本和策略，并且可以将其存储在具有机器学习数据包的数据库中。指令脚本产生装置配置片段，其被推送给一个或多个被管理的设备或系统704(其包括设备或模块数据被收集到的系统，并且还可以包括诸如防火墙的其它设备或系统，路由器等)。
指令脚本和策略可以例如执行各种任务。在一个示例中，指令脚本和策略可以通过部署访问列表过滤器来隔离，尝试强力密码拾取的恶意主机源，丢弃或拒绝从恶意主机源IP地址到达的IP分组。在另一示例中，指令脚本和策略可以减轻从恶意主机源IP地址到达的复杂网络渗透尝试。在另一示例中，所述指令脚本和策略可以实时地为dDoS攻击的源。尽管提供了示例，但是应当理解，指令脚本和策略可以执行任何其他任务。
本发明能够识别和抵消多种形式的异常原因，包括网络威胁。一个例子是防止渗透和未授权的访问。在该示例中，当恶意的网络代理开始渗透或未授权的访问尝试时，在防火墙日志中产生不同的图案，入侵检测日志，系统访问日志，认证日志。恶意指令通常是自动的和脚本化的。以上述方式组合，成形和分析，这些事件产生可被登记为偏差函数的异常波形的不同事件景观。对该波形进行分析，并将其与已知的一组事件进行比较。如果找到匹配，则可以部署被动措施。例如，防火墙过滤器(其阻止使用互联网协议(IP)的访问地址)可以被部署以阻塞攻击源，对于预定的时间量，可以通知系统的操作者。在另一示例中，可部署路由策略以重新定向用于记录，分析和处理的恶意流量。
另一个例子是防止分布式拒绝服务(dDOS)攻击。在该示例中，当恶意的网络代理创建与不同的和已知的模式相匹配的活动的浪涌时，系统可以部署被动和主动的对策。例如，防火墙过滤器(其阻止源自滥用的网际协议(IP)地址的访问)可以被部署以阻塞攻击的来源，对于预定的时间量，可以通知系统的操作者。在另一示例中，可以使用基于过滤器的路由策略来将恶意流量重新定向回攻击源。攻击源可以通过拥塞来主动地抑制，例如通过实现对段的故意拥塞的瓶颈。在另一示例中，主机路由可以经由步骤t被注入内部路由协议中物理/逻辑/隧道接口到位于受保护和未受保护域之间的边界处的路由器。路由器可以具有反向路径转发检查，以使得源自恶意源的所有流量在受保护域的边缘处被丢弃。在一个示例中，受保护域的边缘可以是扩展的外部路由协议(如边界网关协议，BGP)为恶意流量的来源。
因此，本发明有利地提供了一种在数据流中检测异常的改进的方法。
应当注意，上述实施例旨在说明本发明而并非限制本发明，并且本领域技术人员能够在不脱离所附权利要求的范围的情况下设计许多替代实施例。词语“包括”不排除在权利要求中列出的元素或步骤之外的元件或步骤的存在，“a”或“an”不排除多个，以及单个处理器或其它单元可以满足权利要求中所述的一些单元的功能。权利要求书中的任何附图标记均不应被解释为对其范围进行限制。

Claims (98)

1.一种用于在多个数据流中检测异常的方法，包括源自系统或系统网络的结构化的、非结构化的和/或混合的数据，所述方法包括：
从一个所述系统或多个所述系统中收集所述数据流；
将所收集的数据流划分成多个时间间隔；
对于所述多个时间间隔内的每个时间间隔，确定与每个数据流相关联的参数的值；
对于所述多个时间间隔内的每个时间间隔，为所述参数确定相应的预期值，其中所述预期值包括所述参数在相应时间段内的中值，其中每个时间段包括多个相邻的时间间隔；
对于所述多个时间间隔内的每个时间间隔，计算与所述数据流相关联的所述参数已确定的值和所述参数的预期值之间的偏差；和
如所计算出的偏差高于阈值，则检测所收集的数据流中的异常。
2.如权利要求1所述的方法，其特征在于，所述数据流包括实时数据或记录的数据。
3.如权利要求1或2所述的方法，其特征在于所述阈值是手动设置或自动确定的。
4.如上述权利要求中任一项所述的方法，其特征在于，确定与所述数据流相关联的参数的值包括：
在所述时间间隔内检测零个或多个事件的发生；和
基于检测到的在所述时间间隔内零个或多个事件的所述发生来分配严重性值，从而确定在所述时间间隔内与所述数据流关联的参数的值。
5.如上述权利要求中任一项所述的方法，其特征在于，确定与所述数据流相关联的参数的值包括：
在所述时间间隔内检测多个事件的发生；
向所述多个事件中的每个事件分配严重性值；和
通过计算所分配的严重性值的和来确定与所述时间间隔内的所述数据流相关联的参数的值。
6.如上述权利要求中任一项所述的方法，其特征在于，确定与所述数据流相关联的参数的值包括：
在所述时间间隔内检测多个事件的发生；
基于对检测到的在所述时间间隔内的每秒发生的事件的次数和/或与所检测到的事件相关联的细节的数量进行计数，从而确定在所述时间间隔内与所述数据流相关联的参数的值。
7.如上述权利要求中任一项所述的方法，其特征在于，确定与所述收集的数据流相关联的参数的值包括：
在所述时间间隔内的多个时间戳处：
分析包含在所述数据流中的数据以检测事件；和
基于所检测到的事件分配严重性值；和
通过计算在所述时间间隔内的所述多个时间戳处所分配的严重性值的和来确定与所收集的数据流相关联的参数的值。
8.如权利要求4，5，6或7中任一项所述的方法，其特征在于，所述事件为触发词或值。
9.如上述权利要求中任一项上述权利要求中任一项所述的方法，其特征在于，所述参数的预期值是从预期值数据库中获得的值。
10.如上述权利要求中任一项所述的方法，其特征在于，所述参数的预期值是所述参数的已知值或基于至少一个先前检测到的异常所确定的值。
11.如上述权利要求中任一项所述的方法，其特征在于，所述方法还包括：
绘制与所述数据流相关联的参数的预期值，与所述数据流相关联的参数的已确定的值和所述已确定的值与所述预期值随时间而计算出的偏差。
12.如上述权利要求中任一项所述的方法，其特征在于，所述方法还包括：当检测到异常时：
将检测到的异常与存储在异常数据库中的至少一个异常进行比较。
13.如权利要求12所述的方法，其特征在于，所述异常数据库包括，对于每个异常，用于多个数据流的参数值的存储模式，并且所述方法包括，对于所述检测到的异常，将用于所述多个数据流的参数值的模式与用于所述多个数据流的参数值的存储模式进行比较。
14.如权利要求13所述的方法，其特征在于，所述异常数据库包括，对于每个异常，用于多个时间间隔内的多个数据流的参数值的存储模式，并且所述方法包括，对于所述检测到的异常，将用于多个时间间隔内的所述多个数据流的参数值的模式与用于多个时间间隔内的所述多个数据流的参数值的所述存储模式进行比较。
15.如权利要求12-14中任一项所述的方法，其特征在于，异常数据库是通过机器学习先前检测到的异常，操作分类异常和/或用户输入异常而创建的数据库。
16.如权利要求12-15中任一项所述的方法，其特征在于，将检测到的异常与存储在异常数据库中的至少一个先前检测到的异常进行比较包括：
确定所述检测到的异常与存储在所述异常数据库中的至少一个异常之间的相似性度量。
17.如权利要求16所述的方法，其特征在于，所述检测到的异常被确定为与存储在所述异常数据库中的所述至少一个异常相似，在所述异常数据库中，所述检测到的异常与存储在所述异常数据库中的所述至少一个异常之间的差异小于预定阈值。
18.如权利要求17所述的方法，其特征在于，如果所述检测到的异常与存储在所述异常数据库中的所述至少一个异常之间的差异大于所述预定阈值，所述方法还包括：
忽略所述检测到的异常。
19.如上述权利要求中任一项所述的方法，其特征在于，检测到异常，所述方法还包括：
确定所述检测到的异常的分类。
20.如上述权利要求中任一项所述的方法，其特征在于，检测到异常，所述方法还包括：
将所述检测到的异常存储在异常数据库中。
21.如上述权利要求中任一项所述的方法，其特征在于，检测到异常，所述方法还包括：
将指令分配给所述检测到的异常。
22.如权利要求21所述的方法，其特征在于，所述指令为向所述系统的操作人员发送通知。
23.如上述权利要求中任一项所述的方法，其特征在于，所述方法还包括：
响应于检测异常，检查所收集的数据流以验证包含在所述数据流中的数据。
24.如上述权利要求中任一项所述的方法，其特征在于，所述方法还包括：
响应于检测异常，实施抑制技术以抑制异常源。
25.如权利要求24所述的方法，其特征在于，所述抑制技术包括以下事项中的一项或多项：
阻止源自异常源的访问；
将所收集的数据流重新定向回异常源；和
丢弃源自异常源的流量。
26.一种用于检测源自系统的数据流中的异常的装置，所述装置包括：
收集器模块，用于可操作地从至少一个系统收集多个数据流；
分析器模块，用于可操作地将所收集的数据流划分为多个时间间隔，对于所述多个时间间隔内的每个时间间隔，确定与每个数据流相关联的参数的值，并计算与所述数据流相关联的所述参数已确定的值和所述参数的预期值之间的偏差，其中所述预期值包括所述参数在相应时间段内的中值，其中每个时间段包括多个相邻的时间间隔；和
处理器，用于如所述计算出的偏差高于阈值，则可操作地检测所收集的数据流中的异常。
27.如权利要求26所述的装置，其特征在于，所述数据流包括实时数据或记录的数据。
28.如权利要求26-27中任一项所述的装置，其特征在于，所述阈值为手动设置或自动确定的。
29.如权利要求26-28中任一项所述的装置，其特征在于，所述分析器模块通过以下操作而可操作地确定与所述数据流相关联的参数的值：
检测所述时间间隔内的零个或多个事件的发生；和
基于检测到的在所述时间间隔内的零个或多个事件的所述发生来分配严重性值，从而确定在所述时间间隔内与所述数据流关联的参数的值。
30.如权利要求26-29中任一项所述的装置，其特征在于，所述分析器模块通过以下操作而可操作地确定与所述数据流相关联的参数的值：
检测所述时间间隔内的多个事件的发生；
向所述多个事件中的每个事件分配严重性值；和
通过计算所分配的严重性值的和来确定与时间间隔内的数据流相关联的参数的值。
31.如权利要求26-30中任一项所述的装置，其特征在于，所述分析器模块通过以下操作而可操作地确定与所述数据流相关联的参数的值：
检测所述时间间隔内多个事件的发生；和
基于对检测到的在所述时间间隔内的每秒发生的事件的次数和/或与所检测到的事件相关联的细节的数量进行计数，从而确定在所述时间间隔内与所述数据流相关联的参数的值。
32.如权利要求26-31中任一项所述的装置，其特征在于，所述分析器模块通过以下操作而可操作地确定与所收集的数据流相关联的参数的值：
在所述时间间隔内的多个时间戳处：
分析包含在所述数据流中的数据以检测事件；和
基于所检测到的事件分配严重性值；和
通过计算在所述时间间隔内的所述多个时间戳处所分配的严重性值的和来确定与所收集的数据流相关联的参数的值。
33.如权利要求29-32中任一项所述的装置，其特征在于，所述事件是触发词或值。
34.如权利要求26-33中任一项所述的装置，其特征在于，所收集的数据流包括非结构化数据和/或结构化数据。
35.如权利要求26-34中任一项所述的装置，其特征在于，所述参数的预期值是从预期值数据库中获得的值。
36.如权利要求26-34中任一项所述的装置，其特征在于，所述参数的预期值是所述参数的已知值或基于至少一个先前检测到的异常所确定的值。
37.如权利要求26-36中任一项所述的装置，其特征在于，所述分析器模块还可操作地绘制与所述数据流相关联的参数的预期值，与所述数据流相关联的参数的已确定的值和所述已确定的值与所述预期值随时间而计算出的偏差。
38.如权利要求26-37中任一项所述的装置，其特征在于，当检测到异常时，所述检测器模块还可操作地将所检测到的异常与存储在异常数据库中的至少一个异常进行比较。
39.如权利要求38所述的装置，其特征在于，所述异常数据库包括，对于每个异常，用于多个数据流的参数值的存储模式，和所述检测器模块可运行，对于所述检测到的异常，将用于所述多个数据流的参数值的模式与用于所述多个数据流的参数值的存储模式进行比较。
40.如权利要求39所述的装置，其特征在于，所述异常数据库包括，对于每个异常，用于多个时间间隔内的多个数据流的参数值的存储模式，并且对于所述检测到的异常，所述检测器模块可操作地将用于多个时间间隔的所述多个数据流的参数值的模式与用于多个时间间隔的所述多个数据流的参数值的所述存储模式进行比较。
41.如权利要求38-40中任一项所述的装置，其特征在于，所述异常数据库是通过机器学习先前检测到的异常，操作分类异常和/或用户输入异常而创建的数据库。
42.如权利要求38-41中任一项所述的装置，其特征在于，所述检测器模块可操作地将所检测到的异常与存储在异常数据库中的至少一个先前检测到的异常进行比较：
确定所述检测到的异常与存储在异常数据库中的至少一个异常之间的相似性度量。
43.如权利要求42所述的装置，其特征在于，所述检测器模块可操作地确定所述检测到的异常与存储在所述异常数据库中的所述至少一个异常相似，在所述异常数据库中，所述检测到的异常与存储在所述异常数据库中的所述至少一个异常之间的差异小于预定阈值。
44.如权利要求43所述的装置，其特征在于，如果所述检测到的异常与存储在所述异常数据库中的所述至少一个异常之间的差异大于所述预定阈值，所述检测器模块还可操作地忽略所述检测到的异常。
45.如权利要求26-44中任一项所述的装置，其特征在于，检测到异常，所述检测器模块还可操作地确定所述检测到的异常的分类。
46.如权利要求26-45中任一项所述的装置，其特征在于，检测到异常，所述检测器模块还被配置为将所述检测到的异常存储在异常数据库中。
47.如权利要求26-46任一项所述的装置，其特征在于，检测到异常，所述检测器模块还可操作地向所述检测到的异常分配指令。
48.如权利要求47所述的装置，其特征在于，所述指令为向所述系统的操作者发送通知。
49.如权利要求26-48中任一项所述的装置，其特征在于，所述检测器模块还可运行地响应于检测到异常，检查所收集的数据流以验证包含在所述数据流中的数据。
50.如权利要求26-49中任一项所述的装置，其特征在于，所述检测器模块还可操作地响应于检测到异常，以实施抑制技术以抑制异常源。
51.如权利要求50所述的装置，其特征在于，所述抑制技术包括以下事项中的一项或多项：
阻止源自异常源的访问；
将所收集的数据流重新定向回异常源；和
丢弃源自异常源的流量。
52.一种计算机程序产品，包括载体，所述载体包含有致使处理器执行如权利要求1-25中任一项所述的方法的指令。
53.一种用于检测源自系统或系统网络的数据流中的异常的方法，所述方法包括：
从所述系统收集数据流，其中所收集的数据流包括非结构化数据和/或结构化数据和/或混合结构化/非结构化数据；
将所收集的数据流划分为多个时间间隔；
对于所述多个时间间隔内的每个时间间隔，确定与所述数据流相关联的参数的值，其中，当所收集的数据流包括非结构化数据时，确定所述参数的值包括如下用于将所述非结构化数据转换为参数值的转换规则；
计算与所述数据流相关联的参数的已确定的值和所述参数的预期值之间的偏差；和
如果所计算出的偏差高于阈值，则检测所收集的数据流中的异常。
54.如权利要求53所述的方法，其特征在于，所述预期值为所述时间间隔内参数的中值。
55.如权利要求53或54所述的方法，其特征在于，确定与所述数据流相关联的参数的值包括：
在所述时间间隔内检测零个或多个事件的发生；和
基于检测到的在所述时间间隔内的零个或多个事件的所述发生来分配严重性值，从而确定在所述时间间隔内与所述数据流关联的参数的值。
56.如权利要求53-55中任一项所述的方法，其特征在于，确定与所述数据流相关联的参数的值包括：
在所述时间间隔内检测多个事件的发生；
向所述多个事件中的每个事件分配严重性值；和
通过计算所分配的严重性值的和来确定与时间间隔内的数据流相关联的参数的值。
57.如权利要求53-56中任一项所述的方法，其特征在于，确定与所述数据流相关联的参数的值包括：
在所述时间间隔内检测多个事件的发生；
基于对检测到的在所述时间间隔内的每秒发生的事件的次数和/或与所检测到的事件相关联的细节的数量进行计数，从而确定在所述时间间隔内与所述数据流相关联的参数的值。
58.如权利要求53-57中任一项所述的方法，其特征在于，确定与所收集的数据流相关联的参数的值包括：
在所述时间间隔内的多个时间戳处：
分析包含在所述数据流中的数据以检测事件；和
基于所检测到的事件分配严重性值；和
通过计算在所述时间间隔内的所述多个时间戳处所分配的严重性值的和来确定与所收集的数据流相关联的参数的值。
59.如权利要求55，56，57或58中任一项所述的方法，其特征在于，所述事件为触发词或值。
60.如权利要求53-59中任一项所述的方法，其特征在于，所收集的数据流包括非结构化数据和/或结构化数据。
61.如权利要求53-60中任一项所述的方法，其特征在于，所述参数的预期值是从预期值数据库中获得的值。
62.如权利要求53-61中任一项所述的方法，其特征在于，所述参数的预期值是所述参数的已知值或基于至少一个先前检测到的异常所确定的值。
63.如权利要求53-62中任一项所述的方法，所述方法还包括：绘制与所述数据流相关联的参数的预期值，与所述数据流相关联的参数的已确定的值和所述已确定的值与所述预期值随时间而计算出的偏差。
64.如权利要求53-63中任一项所述的方法，其特征在于，检测到异常，所述方法还包括：
将检测到的异常与存储在异常数据库中的至少一个异常进行比较。
65.如权利要求64所述的方法，其特征在于，所述异常数据库是通过机器学习先前检测到的异常，操作分类异常和/或用户输入异常而创建的数据库。
66.如权利要求64或65所述的方法，其特征在于，将检测到的异常与存储在异常数据库中的至少一个先前检测到的异常进行比较包括：
确定所述检测到的异常与存储在异常数据库中的至少一个异常之间的相似性度量。
67.如权利要求66所述的方法，其特征在于，所述检测到的异常被确定为与存储在所述异常数据库中的所述至少一个异常相似，在所述异常数据库中，所述检测到的异常与存储在所述异常数据库中的所述至少一个异常之间的差异小于预定阈值。
68.如权利要求67所述的方法，其特征在于，如果所述检测到的异常与存储在所述异常数据库中的所述至少一个异常之间的差异大于所述预定阈值，所述方法还包括：
忽略所述检测到的异常。
69.如权利要求53-68中任一项所述的方法，其特征在于，检测到异常，所述方法还包括：
确定所述检测到的异常的分类。
70.如权利要求53-69中任一项所述的方法，其特征在于，检测到异常，所述方法还包括：
将所述检测到的异常存储在异常数据库中。
71.如权利要求53-70中任一项所述的方法，其特征在于，检测到异常，所述方法还包括：
将指令分配给所述检测到的异常。
72.如权利要求71所述的方法，其特征在于，所述指令为向所述系统的操作者发送通知。
73.如权利要求53-72中任一项所述的方法，其特征在于，所述方法还包括：
响应于检测异常，检查所收集的数据流以验证包含在所述数据流中的数据。
74.如权利要求53-73中任一项所述的方法，其特征在于，所述方法还包括：
响应于检测异常，实施抑制技术以抑制异常源。
75.如权利要求74所述的方法，其特征在于，所述抑制技术包括以下各项中的一项或多项：
阻止源自异常源的访问；
将所收集的数据流重新定向回异常源；和
丢弃源自异常源的流量。
76.一种用于检测源自系统的数据流中的异常的装置，所述装置包括：
收集器模块，用于可操作地从至少一个系统收集数据流，其中所收集的数据流包括非结构化数据和/或结构化数据和/或混合结构化/非结构化数据；
分析器模块，用于可操作地将所收集的数据流划分为多个时间间隔，对于所述多个时间间隔内的每个时间间隔，确定与所述数据流相关联的参数的值，并计算与所述数据流相关联的参数的已确定的值和所述参数的预期值之间的偏差，其中，当所述收集的数据流包括非结构化数据时，确定所述参数的值包括如下用于将所述非结构化数据转换为参数值的转换规则；和
处理器，用于如所述计算出的偏差高于阈值，则可操作地检测所述收集的数据流中的异常。
77.如权利要求76所述的装置，其特征在于，所述预期值是在所述时间间隔内所述参数的中值。
78.如权利要求76或77所述的装置，所述分析器模块通过以下动作而可操作地用于可操作地确定与所述数据流相关联的参数的值：
在所述时间间隔内检测零个或多个事件的发生；和
基于检测到的在所述时间间隔内的零个或多个事件的所述发生来分配严重性值，从而确定在所述时间间隔内与所述数据流关联的参数的值。
79.如权利要求76-78任一项所述的装置，其特征在于，所述分析器模块通过以下动作而可操作地以确定与所述数据流相关联的参数的值：
在所述时间间隔内检测多个事件的发生；
向所述多个事件中的每个事件分配严重性值；和
通过计算所分配的严重性值的和来确定与所述时间间隔内的数据流相关联的参数的值。
80.如权利要求76-79任一项所述的装置，其特征在于，所述分析器模块通过以下动作而可操作地确定与所述数据流相关联的参数的值：
在所述时间间隔内检测多个事件的发生；
基于对检测到的在所述时间间隔内的每秒发生的事件的次数和/或与所检测到的事件相关联的细节的数量进行计数，从而确定在所述时间间隔内与所述数据流相关联的参数的值。
81.如权利要求76-80任一项所述的装置，其特征在于，所述分析器模块通过以下动作而可操作地确定与所述收集的数据流相关联的参数的值：
在所述时间间隔内的多个时间戳处：
分析包含在所述数据流中的数据以检测事件；和
基于所检测到的事件分配严重性值；和
通过计算在所述时间间隔内的所述多个时间戳处所分配的严重性值的和来确定与所收集的数据流相关联的参数的值。
82.如权利要求76-81中任一项所述的装置，其特征在于，所述事件为触发词或值。
83.如权利要求76-82中任一项所述的装置，其特征在于，所述参数的预期值是从预期值数据库中获得的值。
84.如权利要求76-83中任一项所述的装置，其特征在于，所述参数的预期值是所述参数的已知值或基于至少一个先前检测到的异常所确定的值。
85.如权利要求76-84中任一项所述的装置，其特征在于，所述分析器模块还可操作地绘制与所述数据流相关联的参数的预期值，与所述数据流相关联的参数的已确定的值和所述已确定的值与所述预期值随时间而计算出的偏差。
86.如权利要求76-85中任一项所述的装置，其特征在于，检测到异常，并且所述检测器模块还可操作地将检测到的异常与存储在异常数据库中的至少一个异常进行比较。
87.如权利要求86所述的装置，其特征在于，所述异常数据库是通过机器学习先前检测到的异常，操作分类异常和/或用户输入异常而创建的数据库。
88.如权利要求86或87所述的装置，其特征在于，所述检测器模块可操作地将检测到的异常与存储在异常数据库中的至少一个先前检测到的异常进行比较：
确定所述检测到的异常与存储在异常数据库中的至少一个异常之间的相似性度量。
89.如权利要求88所述的装置，其特征在于，所述检测器模块可操作地确定所述检测到的异常与存储在所述异常数据库中的所述至少一个异常相似，在所述异常数据库中，所述检测到的异常与存储在所述异常数据库中的所述至少一个异常之间的差异小于预定阈值。
90.如权利要求89所述的装置，其特征在于，如所述检测到的异常与存储在所述异常数据库中的所述至少一个异常之间的差异大于所述预定阈值，则所述检测器模块还可操作地忽略所述检测到的异常。
91.如权利要求76-90任一项所述的装置，其特征在于，检测到异常，所述检测器模块还可操作地确定所述检测到的异常的分类。
92.如权利要求76-91任一项所述的装置，其特征在于，检测到异常，并且所述检测器模块还被配置为用于将所述检测到的异常存储在异常数据库中。
93.如权利要求76-92中任一项所述的装置，其特征在于，检测到异常，并且所述检测器模块还可操作地将指令分配给所述检测到的异常。
94.如权利要求93所述的装置，其特征在于，所述指令为向所述系统的操作者发送通知。
95.如权利要求76-94中任一项所述的装置，其特征在于，所述检测器模块还可运行，响应于检测异常，以检查所述收集的数据流以验证包含在所述数据流中的数据。
96.如权利要求76-95中任一项所述的装置，其特征在于，所述检测器模块还可操作地响应于检测异常，实施抑制技术以抑制异常源。
97.如权利要求96所述的装置，其特征在于，所述抑制技术包括以下事项中的一项或多项：
阻止源自异常源的访问；
将所收集的数据流重新定向回到异常源；和
丢弃源自异常源的流量。
98.一种计算机程序产品包括载体，所述载体包含有使处理器执行如权利要求53至75中任一项所述的方法的指令。
CN201680077694.6A 2015-10-29 2016-10-31 数据流中的异常检测 Pending CN108605036A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NL2015680A NL2015680B1 (en) 2015-10-29 2015-10-29 Anomaly detection in a data stream.
NL2015680 2015-10-29
PCT/EP2016/076213 WO2017072356A1 (en) 2015-10-29 2016-10-31 Anomaly detection in a data stream

Publications (1)

Publication Number Publication Date
CN108605036A true CN108605036A (zh) 2018-09-28

Family

ID=56117923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680077694.6A Pending CN108605036A (zh) 2015-10-29 2016-10-31 数据流中的异常检测

Country Status (11)

Country Link
US (1) US10917420B2 (zh)
EP (1) EP3369231B1 (zh)
JP (1) JP6703613B2 (zh)
CN (1) CN108605036A (zh)
AU (1) AU2016345676B2 (zh)
BR (1) BR112018008534A2 (zh)
CA (1) CA3003547C (zh)
MX (1) MX2018005237A (zh)
NL (1) NL2015680B1 (zh)
SG (1) SG11201803568VA (zh)
WO (1) WO2017072356A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109787969A (zh) * 2019-01-02 2019-05-21 全球能源互联网研究院有限公司 主机的身份合法性检测方法、检测装置及身份检测设备
CN110519251A (zh) * 2019-08-20 2019-11-29 新华三信息安全技术有限公司 一种攻击行为检测方法及装置
CN111523747A (zh) * 2019-01-23 2020-08-11 通用电气公司 成本分析系统和检测异常成本信号的方法
CN112347484A (zh) * 2020-10-27 2021-02-09 杭州安恒信息技术股份有限公司 软件漏洞检测方法、装置、设备及计算机可读存储介质
CN113940034A (zh) * 2019-04-18 2022-01-14 甲骨文国际公司 检测云用户的行为异常
WO2022269387A1 (en) * 2021-06-22 2022-12-29 International Business Machines Corporation Anomaly detection over high-dimensional space
CN117421531A (zh) * 2023-12-14 2024-01-19 深圳和润达科技有限公司 干扰环境下的有效数据智能确定方法及装置

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10645100B1 (en) * 2016-11-21 2020-05-05 Alert Logic, Inc. Systems and methods for attacker temporal behavior fingerprinting and grouping with spectrum interpretation and deep learning
US10771487B2 (en) * 2016-12-12 2020-09-08 Gryphon Online Safety Inc. Method for protecting IoT devices from intrusions by performing statistical analysis
US11310247B2 (en) * 2016-12-21 2022-04-19 Micro Focus Llc Abnormal behavior detection of enterprise entities using time-series data
CN111641585B (zh) * 2016-12-29 2023-11-10 华为技术有限公司 一种DDoS攻击检测方法及设备
US10587635B2 (en) * 2017-03-31 2020-03-10 The Boeing Company On-board networked anomaly detection (ONAD) modules
US11190479B2 (en) * 2017-05-23 2021-11-30 Verisign, Inc. Detection of aberrant domain registration and resolution patterns
US10740336B2 (en) * 2017-09-27 2020-08-11 Oracle International Corporation Computerized methods and systems for grouping data using data streams
US10756949B2 (en) * 2017-12-07 2020-08-25 Cisco Technology, Inc. Log file processing for root cause analysis of a network fabric
DE102017222616A1 (de) * 2017-12-13 2019-06-13 Robert Bosch Gmbh Verfahren zum automatisierten Erstellen von Regeln für eine regelbasierte Anomalieerkennung in einem Datenstrom
US11120127B2 (en) * 2017-12-27 2021-09-14 Nec Corporation Reconstruction-based anomaly detection
US11070455B2 (en) * 2018-04-30 2021-07-20 Hewlett Packard Enterprise Development Lp Storage system latency outlier detection
EP3804271B1 (en) 2018-07-10 2023-11-01 Siemens Aktiengesellschaft Hybrid unsupervised machine learning framework for industrial control system intrusion detection
US11200103B2 (en) * 2018-10-26 2021-12-14 International Business Machines Corporation Using a machine learning module to perform preemptive identification and reduction of risk of failure in computational systems
US11200142B2 (en) * 2018-10-26 2021-12-14 International Business Machines Corporation Perform preemptive identification and reduction of risk of failure in computational systems by training a machine learning module
US11388040B2 (en) 2018-10-31 2022-07-12 EXFO Solutions SAS Automatic root cause diagnosis in networks
CN109088903A (zh) * 2018-11-07 2018-12-25 湖南大学 一种基于流式的网络异常流量检测方法
US10367843B1 (en) 2018-11-07 2019-07-30 Packetsled, Inc. Securing a network
US11645293B2 (en) * 2018-12-11 2023-05-09 EXFO Solutions SAS Anomaly detection in big data time series analysis
WO2020192938A1 (en) * 2019-03-28 2020-10-01 Huawei Technologies Co., Ltd. Network entity and method for supporting network fault detection
US11481117B2 (en) 2019-06-17 2022-10-25 Hewlett Packard Enterprise Development Lp Storage volume clustering based on workload fingerprints
US10673886B1 (en) * 2019-09-26 2020-06-02 Packetsled, Inc. Assigning and representing security risks on a computer network
US11640465B2 (en) * 2019-11-13 2023-05-02 Vmware, Inc. Methods and systems for troubleshooting applications using streaming anomaly detection
US11750629B2 (en) * 2019-11-21 2023-09-05 Hewlett Packard Enterprise Development Lp Classification based anomaly detection
US11477214B2 (en) * 2019-12-10 2022-10-18 Fortinet, Inc. Cloud-based orchestration of incident response using multi-feed security event classifications with machine learning
WO2021130943A1 (ja) * 2019-12-25 2021-07-01 日本電気株式会社 リスク分析結果表示装置、方法、及びコンピュータ可読媒体
US11567965B2 (en) * 2020-01-23 2023-01-31 Microstrategy Incorporated Enhanced preparation and integration of data sets
EP4099112B1 (en) * 2020-01-31 2024-05-22 Panasonic Intellectual Property Corporation of America Anomaly detection method and anomaly detection device
US11522766B2 (en) 2020-02-12 2022-12-06 EXFO Solutions SAS Method and system for determining root-cause diagnosis of events occurring during the operation of a communication network
WO2021212756A1 (zh) * 2020-04-23 2021-10-28 平安科技（深圳）有限公司 指标异常分析方法、装置、电子设备及存储介质
US12039276B2 (en) 2020-04-29 2024-07-16 Cisco Technology, Inc. Anomaly classification with attendant word enrichment
EP3913383B1 (en) * 2020-05-22 2023-10-04 Rohde & Schwarz GmbH & Co. KG Method and system for detecting anomalies in a spectrogram, spectrum or signal
CN111797141B (zh) * 2020-07-06 2023-09-22 深圳市活力天汇科技股份有限公司 一种机票搜索流量异常的检测方法
US11552974B1 (en) 2020-10-30 2023-01-10 Splunk Inc. Cybersecurity risk analysis and mitigation
US12052134B2 (en) 2021-02-02 2024-07-30 Exfo Inc. Identification of clusters of elements causing network performance degradation or outage
US12063224B1 (en) * 2021-04-21 2024-08-13 Rapid7, Inc. Network data interpretation pipeline for recognizing machine operations and activities from network sensor data
US12032683B2 (en) 2021-07-29 2024-07-09 Micro Focus Llc Abnormality detection in log entry collection
CN114048365B (zh) * 2021-11-15 2022-10-21 江苏鼎驰电子科技有限公司 一种基于大数据流处理技术的运维监控治理方法
US20230403291A1 (en) * 2022-06-09 2023-12-14 Oracle International Corporation Framework for anomaly detection in a cloud environment
US20240232351A9 (en) * 2022-10-25 2024-07-11 Arm Limited Dynamic Windowing for Processing Event Streams
US20240171595A1 (en) * 2022-11-18 2024-05-23 Arctic Wolf Networks, Inc. Methods and apparatus for monitoring network events for intrusion detection

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040261030A1 (en) * 2002-11-04 2004-12-23 Nazzal Robert N. Feedback mechanism to minimize false assertions of a network intrusion
CN101022403A (zh) * 2006-09-08 2007-08-22 中山大学 一种状态化应用的盲识别方法
US7546471B2 (en) * 2005-01-14 2009-06-09 Microsoft Corporation Method and system for virus detection using pattern matching techniques
US20100081946A1 (en) * 2008-09-26 2010-04-01 Qualcomm Incorporated Method and apparatus for non-invasive cuff-less blood pressure estimation using pulse arrival time and heart rate with adaptive calibration
US7743415B2 (en) * 2002-01-31 2010-06-22 Riverbed Technology, Inc. Denial of service attacks characterization
CN102130800A (zh) * 2011-04-01 2011-07-20 苏州赛特斯网络科技有限公司 基于数据流行为分析的网络访问异常检测装置及方法
US20120173710A1 (en) * 2010-12-31 2012-07-05 Verisign Systems, apparatus, and methods for network data analysis
US20140090053A1 (en) * 2012-09-27 2014-03-27 Hewlett-Packard Development Company, L.P. Internet Protocol Address Distribution Summary
CN104462217A (zh) * 2014-11-09 2015-03-25 浙江大学 一种基于分段统计近似表示的时间序列相似性度量方法
WO2015077917A1 (en) * 2013-11-26 2015-06-04 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for anomaly detection in a network

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8001601B2 (en) * 2006-06-02 2011-08-16 At&T Intellectual Property Ii, L.P. Method and apparatus for large-scale automated distributed denial of service attack detection
FI20096394A0 (fi) * 2009-12-23 2009-12-23 Valtion Teknillinen Tunkeutumisen havaitseminen viestintäverkoissa
US8555388B1 (en) * 2011-05-24 2013-10-08 Palo Alto Networks, Inc. Heuristic botnet detection
CN104303152B (zh) * 2012-03-22 2017-06-13 洛斯阿拉莫斯国家安全股份有限公司 在内网检测异常以识别协同群组攻击的方法、装置和系统
US9160758B2 (en) * 2013-03-15 2015-10-13 Stephen SOHN Method and system for protective distribution system (PDS) and infrastructure protection and management
EP2785009A1 (en) * 2013-03-29 2014-10-01 British Telecommunications public limited company Method and apparatus for detecting a multi-stage event

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7743415B2 (en) * 2002-01-31 2010-06-22 Riverbed Technology, Inc. Denial of service attacks characterization
US20040261030A1 (en) * 2002-11-04 2004-12-23 Nazzal Robert N. Feedback mechanism to minimize false assertions of a network intrusion
US7546471B2 (en) * 2005-01-14 2009-06-09 Microsoft Corporation Method and system for virus detection using pattern matching techniques
CN101022403A (zh) * 2006-09-08 2007-08-22 中山大学 一种状态化应用的盲识别方法
US20100081946A1 (en) * 2008-09-26 2010-04-01 Qualcomm Incorporated Method and apparatus for non-invasive cuff-less blood pressure estimation using pulse arrival time and heart rate with adaptive calibration
US20120173710A1 (en) * 2010-12-31 2012-07-05 Verisign Systems, apparatus, and methods for network data analysis
CN102130800A (zh) * 2011-04-01 2011-07-20 苏州赛特斯网络科技有限公司 基于数据流行为分析的网络访问异常检测装置及方法
US20140090053A1 (en) * 2012-09-27 2014-03-27 Hewlett-Packard Development Company, L.P. Internet Protocol Address Distribution Summary
WO2015077917A1 (en) * 2013-11-26 2015-06-04 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for anomaly detection in a network
CN104462217A (zh) * 2014-11-09 2015-03-25 浙江大学 一种基于分段统计近似表示的时间序列相似性度量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈运文: "基于异常检测的时间序列研究", 《计算机技术与发展》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109787969A (zh) * 2019-01-02 2019-05-21 全球能源互联网研究院有限公司 主机的身份合法性检测方法、检测装置及身份检测设备
CN109787969B (zh) * 2019-01-02 2021-06-22 全球能源互联网研究院有限公司 主机的身份合法性检测方法、检测装置及身份检测设备
CN111523747A (zh) * 2019-01-23 2020-08-11 通用电气公司 成本分析系统和检测异常成本信号的方法
CN113940034A (zh) * 2019-04-18 2022-01-14 甲骨文国际公司 检测云用户的行为异常
US11930024B2 (en) 2019-04-18 2024-03-12 Oracle International Corporation Detecting behavior anomalies of cloud users
CN110519251A (zh) * 2019-08-20 2019-11-29 新华三信息安全技术有限公司 一种攻击行为检测方法及装置
CN112347484A (zh) * 2020-10-27 2021-02-09 杭州安恒信息技术股份有限公司 软件漏洞检测方法、装置、设备及计算机可读存储介质
WO2022269387A1 (en) * 2021-06-22 2022-12-29 International Business Machines Corporation Anomaly detection over high-dimensional space
US11943244B2 (en) 2021-06-22 2024-03-26 International Business Machines Corporation Anomaly detection over high-dimensional space
CN117421531A (zh) * 2023-12-14 2024-01-19 深圳和润达科技有限公司 干扰环境下的有效数据智能确定方法及装置
CN117421531B (zh) * 2023-12-14 2024-03-05 深圳和润达科技有限公司 干扰环境下的有效数据智能确定方法及装置

Also Published As

Publication number Publication date
CA3003547C (en) 2024-01-02
CA3003547A1 (en) 2017-05-04
US10917420B2 (en) 2021-02-09
AU2016345676B2 (en) 2020-10-08
JP2018533897A (ja) 2018-11-15
NL2015680B1 (en) 2017-05-31
SG11201803568VA (en) 2018-05-30
AU2016345676A1 (en) 2018-05-31
MX2018005237A (es) 2018-11-09
EP3369231A1 (en) 2018-09-05
BR112018008534A2 (pt) 2018-10-30
EP3369231B1 (en) 2020-01-01
US20190124099A1 (en) 2019-04-25
WO2017072356A1 (en) 2017-05-04
JP6703613B2 (ja) 2020-06-03

Similar Documents

Publication Publication Date Title
CN108605036A (zh) 数据流中的异常检测
JP2018533897A5 (zh)
CN105264861B (zh) 用于检测多阶段事件的方法和设备
EP2953298B1 (en) Log analysis device, information processing method and program
CN102340485B (zh) 基于信息关联的网络安全态势感知系统及其方法
CN108040493A (zh) 利用低置信度安全事件来检测安全事故
KR100955281B1 (ko) 위협 관리를 위한 보안 위험도 평가 방법
KR100800370B1 (ko) 어택 서명 생성 방법, 서명 생성 애플리케이션 적용 방법, 컴퓨터 판독 가능 기록 매체 및 어택 서명 생성 장치
CN100511159C (zh) 用于解决对计算机系统的侵入攻击的方法和系统
CN1946077B (zh) 基于及早通知检测异常业务的系统和方法
US20070226803A1 (en) System and method for detecting internet worm traffics through classification of traffic characteristics by types
US20150341380A1 (en) System and method for detecting abnormal behavior of control system
EP2517437A1 (en) Intrusion detection in communication networks
CN108632224A (zh) 一种apt攻击检测方法和装置
CN105847029A (zh) 一种基于大数据分析的信息安全事件自动关联及快速响应的方法及系统
CN109361673A (zh) 基于流量数据样本统计和平衡信息熵估计的网络异常检测方法
CN104601553A (zh) 一种结合异常监测的物联网篡改入侵检测方法
CN108551449A (zh) 防病毒管理系统及方法
CN111726342A (zh) 一种提升蜜罐系统告警输出精准性的方法及系统
KR20080079767A (ko) 대형 네트워크에서 실시간 사이버 침입에 대한 이벤트유형의 정형화 시스템 및 방법
Kumar et al. Intrusion detection system-false positive alert reduction technique
KR20190050521A (ko) 프로파일링 기반의 기계 학습을 활용한 이상 징후 탐지 장치 및 방법
JP2017211806A (ja) 通信の監視方法、セキュリティ管理システム及びプログラム
Yan et al. Detect and identify DDoS attacks from flash crowd based on self-similarity and Renyi entropy
JP2019175070A (ja) アラート通知装置およびアラート通知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180928