CN108243062A - 用以在时间序列数据中探测机器启动的事件的系统 - Google Patents

用以在时间序列数据中探测机器启动的事件的系统 Download PDF

Info

Publication number
CN108243062A
CN108243062A CN201711441636.XA CN201711441636A CN108243062A CN 108243062 A CN108243062 A CN 108243062A CN 201711441636 A CN201711441636 A CN 201711441636A CN 108243062 A CN108243062 A CN 108243062A
Authority
CN
China
Prior art keywords
event
time series
startup
network
statistical analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711441636.XA
Other languages
English (en)
Inventor
T.K.乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN108243062A publication Critical patent/CN108243062A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/064—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/146—Tracing the source of attacks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Virology (AREA)
  • Mathematical Optimization (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及用以在时间序列数据中探测机器启动的事件的系统。具体而言，在一些实施例中，一种网络事件启动探测引擎可访问时间序列事件数据存储器，其包含包括时间值的针对成序列的接收的网络事件中的每一个的指示。网络事件启动探测引擎可然后对包括时间值的时间序列事件数据存储器中的信息执行统计分析。统计分析可例如与事件之间存在的持续时间相关联。基于统计分析，可输出与网络事件启动可能性相关联的结果。结果可指示例如事件为机器启动的、人类启动的等。

Description

用以在时间序列数据中探测机器启动的事件的系统
技术领域
本发明大体上涉及用以在时间序列数据中探测机器启动的事件的系统和方法。具体而言，实施例可使用统计采样经由时间序列分析来促进非人类行为的自动化探测。
背景技术
企业可对探测网络事件(例如，传入网络流量、请求、数据包等)由机器还是由人类启动感兴趣。例如，一些事件可能更有可能被认为与网络威胁相关联，如果了解事件是由机器(而不是由人类)发起的话。类似地，企业可能想要认识到竞争者何时使用自动化过程来收集信息(例如，关于产品或服务的定价信息)。如另一示例，企业可能想要确定特定机器(或机器类型)或特定人是否启动事件，以增强安全性特征。因此，提供用以自动地促进以高效且准确的方式探测机器启动的事件的系统和方法可为合乎需要的。
发明内容
一些实施例与网络事件启动探测引擎相关联，该网络事件启动探测引擎访问时间序列事件数据存储器，其包含包括时间值的针对成序列的接收的网络事件中的每一个的指示。网络事件启动探测引擎可然后对包括时间值的时间序列事件数据存储器中的信息执行统计分析。统计分析可例如与事件之间存在的持续时间相关联。基于统计分析，可输出与网络事件启动可能性相关联的结果。结果可指示例如事件为机器启动的、人类启动的等。
一些实施例与以下相关联：用于访问时间序列事件数据存储器的手段，该时间序列事件数据存储器包含包括时间值的针对成序列的接收的网络事件中的每一个的指示；用于对包括时间值的时间序列事件数据存储器中的信息执行统计分析的手段，统计分析与事件之间存在的持续时间相关联；以及，基于统计分析，用于输出与网络事件启动可能性相关联的结果的手段。
一些实施例的技术特征为自动地促进以高效且准确的方式探测机器启动的事件的计算机系统和方法。
其他实施例与存储指令以执行本文中描述的任何方法的系统和/或计算机可读介质相关联。
技术方案1. 一种系统，包括：
输入端口，其用以接收随时间的成序列网络事件；
时间序列事件数据存储器，其包含包括时间值的针对成序列的接收的网络事件中的每一个的指示；以及
网络事件启动探测引擎，其联接于所述输入端口和所述时间序列事件数据存储器，所述网络事件启动探测引擎构造成：
访问所述时间序列事件数据存储器，
对包括所述时间值的所述时间序列事件数据存储器中的信息执行统计分析，所述统计分析与事件之间存在的持续时间相关联，以及
基于所述统计分析，输出与网络事件启动可能性相关联的结果。
技术方案2. 根据技术方案1所述的系统，其特征在于，所述统计分析与Kolmogorov-Smirnov检验相关联。
技术方案3. 根据技术方案1所述的系统，其特征在于，所述结果包括事件为机器启动的指示。
技术方案4. 根据技术方案3所述的系统，其特征在于，所述结果与网络威胁探测相关联。
技术方案5. 根据技术方案3所述的系统，其特征在于，所述结果包括所述事件由特定机器启动的指示。
技术方案6. 根据技术方案3所述的系统，其特征在于，所述机器启动的事件包括以下中的至少一者：(i)软件程序、(ii)脚本、(iii)机器人、(iv)调度作业、(v)计算机病毒，以及(vi)恶意软件。
技术方案7. 根据技术方案1所述的系统，其特征在于，所述结果包括事件为人类启动的指示。
技术方案8. 根据技术方案6所述的系统，其特征在于，所述结果包括所述事件由特定人启动的指示。
技术方案9. 根据技术方案1所述的系统，其特征在于，所述时间序列事件数据存储器还包含各个事件的发起地址，且所述统计分析进一步基于所述发起地址。
技术方案10. 根据技术方案1所述的系统，其特征在于，所述网络事件与命令和控制节点相关联。
技术方案11. 根据技术方案1所述的系统，其特征在于，所述时间序列事件数据存储器与以下中的至少一者相关联：(i)具有时间戳的事件日志、(ii)防火墙日志、(iii)网络访问控制日志、以及(iv)主机日志。
技术方案12. 一种计算机实施的方法，包括：
由网络事件启动探测引擎访问时间序列事件数据存储器，所述时间序列事件数据存储器包含包括时间值的针对成序列的接收的网络事件中的每一个的指示；
由所述网络事件启动探测引擎对包括所述时间值的所述时间序列事件数据存储器中的信息执行统计分析，所述统计分析与事件之间存在的持续时间相关联；以及
基于所述统计分析，输出与网络事件启动可能性相关联的结果。
技术方案13. 根据技术方案12所述的方法，其特征在于，所述统计分析与Kolmogorov-Smirnov检验相关联。
技术方案14. 根据技术方案12所述的方法，其特征在于，所述结果包括以下中的至少一者：(i)事件为机器启动的指示、(ii)网络威胁探测，以及(iii)所述事件由特定机器启动的指示。
技术方案15. 根据技术方案12所述的方法，其特征在于，所述结果包括以下中的至少一者：(i)事件为人类启动的指示，以及所述事件由特定人启动的指示。
技术方案16. 根据技术方案12所述的方法，其特征在于，所述时间序列事件数据存储器还包含各个事件的发起地址，且所述统计分析进一步基于所述发起地址。
技术方案17. 一种存储指令的非暂时性计算机可读介质，所述指令在由计算机处理器执行时使所述计算机处理器执行方法，所述方法包括：
由网络事件启动探测引擎访问时间序列事件数据存储器，所述时间序列事件数据存储器包含包括时间值的针对成序列的接收的网络事件中的每一个的指示；
由所述网络事件启动探测引擎对包括所述时间值的所述时间序列事件数据存储器中的信息执行统计分析，所述统计分析与事件之间存在的持续时间相关联；以及
基于所述统计分析，输出与网络事件启动可能性相关联的结果。
技术方案18. 根据技术方案17所述的介质，其特征在于，所述统计分析与Kolmogorov-Smirnov检验相关联。
技术方案19. 根据技术方案17所述的介质，其特征在于，所述网络事件与命令和控制节点相关联。
技术方案20. 根据技术方案17所述的介质，其特征在于，所述时间序列事件数据存储器与以下中的至少一者相关联：(i)具有时间戳的事件日志、(ii)防火墙日志、(iii)网络访问控制日志、以及(iv)主机日志。
附图说明
图1为系统的高级框图。
图2为根据一些实施例的系统的框图。
图3为根据一些实施例的方法的流程图。
图4包括根据一些实施例的代表机器启动的事件和人类启动的事件的时间线。
图5示出根据一些实施例的数据处理。
图6为根据另一实施例的系统的框图。
图7包括根据一些实施例的代表机器启动的事件和人类启动的事件的时间线。
图8示出根据一些实施例的数据处理。
图9为根据一些实施例可提供的交互式图形用户显示器。
图10为根据一些实施例可提供的设备。
图11为根据本发明的一些实施例的时间序列数据库的部分的表格视图。
图12示出根据一些实施例的确定成序列事件是否由机器启动的方法。
图13示出根据一些实施例的确定成序列事件是否与共同的机器或人类相关联的方法。
零件清单
数字 描述
100 系统
140 计算平台
200 系统
240 计算平台
250 事件探测引擎
260 时间序列事件数据
400 时间线
410 机器启动的事件
420 人类启动的事件
500 数据处理
510 数据
520 数据
530 事件之间的持续时间
540 过程
600 系统
640 计算平台
650 事件探测引擎
660 时间序列事件数据
670 输出
680 额外的网络威胁保护工具
700 时间线
710 机器启动的事件
712 范围
720 人类启动的事件
800 数据处理
830 事件之间的持续时间
840 过程
900 图形用户接口
910 机器启动的事件
912 范围
920 指针
950 保存图标
1000 平台
1010 处理器
1012 程序
1014 启动探测引擎
1020 通信装置
1030 存储装置
1040 输入装置
1050 输出装置
1060 结果数据库
1100 时间序列事件数据库
1102 事件标识符
1104 事件时间
1106 网络发起地址
1108 机器启动的概率
1110 结果。
具体实施方式
本文中公开的一些实施例自动地促进以高效且准确的方式探测机器启动的事件。一些实施例与可帮助执行此类方法的系统和/或计算机可读介质相关联。
现在将详细参照本发明的实施例，其一个或多个示例在附图中示出。详细描述使用了数字和字母指定来表示附图中的特征。附图和描述中相似或类似的指定用于表示本发明的相似或类似的部分。
各个示例经由阐释本发明来提供，而不限制本发明。实际上，对本领域技术人员而言将显而易见的是，可在本发明中进行改型和变型，而不脱离其范围或精神。例如，示为或描述为一个实施例的部分的特征可用于另一个实施例以产生又一个实施例。因此，意图是，本发明覆盖归入所附权利要求和它们的等同物的范围内的此类改型和变型。
企业(如商业)可对探测网络事件(例如，传入网络流量、请求、数据包)由机器还是由人类启动感兴趣。图1为可由此类企业采用的系统100的高级框图。系统100包括计算平台140，其经由网络接收成序列事件110，且可在一些情况下将一个或多个结果传输至客户端平台(例如，工作站、移动计算机、智能手机等)。
成序列事件110中的一些事件可能更有可能被认为与网络威胁相关联，如果了解事件是由机器(而不是由人类)发起的话。例如，拒绝服务(“DOS”)可能使用自动化平台来持续发送消息至计算平台140，以试图中断服务。类似地，企业可想要认识到，竞争者何时使用自动化过程来从计算平台140收集信息(例如，关于产品或服务的定价信息)。如另一示例，企业可能想要确定特定机器(或机器类型)或特定人类是否启动事件，以增强针对计算平台140的安全性特征。
因此，提供用以自动地促进以高效且准确的方式探测机器启动的事件的系统和方法可为合乎需要的。为了帮助解决该需求，图2为根据本文中描述的一些实施例的系统100的框图。如之前的那样，计算平台240可从网络(例如，经由输入通信端口)接收成序列事件210。在该实施例中，计算平台140包括能够访问时间序列事件数据260的事件探测引擎250。根据一些实施例，事件启动探测引擎150还可与远程的远程用户交换信息(例如，经由防火墙)。根据一些实施例，后端应用计算机服务器可促进经由与用户相关联的一个或多个终端查看、接收和/或与事件启动探测引擎250交互。根据一些实施例，事件启动探测引擎250(和/或本文中描述的其他装置)可与第三方(如对企业执行服务的供应商)相关联。
计算平台240、事件启动探测引擎250、以及时间序列事件数据260和/或本文中描述的其他装置可例如与个人计算机(“PC”)、膝上型计算机、智能手机、企业服务器、服务器群、数据库或类似的存储装置、和/或能够发送网络流量的任何装置相关联。要注意，本文中描述的探测可适用于包括物联网(“IoT”)、工业物联网(“IIoT”)、以及可连接于通信网络的任何装置的任何自动化过程。根据一些实施例，“自动化”事件启动探测引擎250可促进自动化探测成序列事件210中的机器启动的事件(和/或人类启动的事件)。如本文中使用的那样，用语“自动化”可指例如可在很少(或没有)由人类干预的情况下执行的动作。
如本文中使用的那样，包括与事件启动探测引擎250和/或本文中描述的任何其他装置相关联的那些的装置可经由任何通信网络来交换信息，该任何通信网络可为局域网(“LAN”)、城域网(“MAN”)、广域网(“WAN”)、专有网络、公共开关电话网络(“PSTN”)、无线应用协议(“WAP”)网络、蓝牙网络、无线LAN网络、和/或互联网协议(“IP”)网络(如互联网、内联网或外联网)中的一个或多个。要注意，本文中描述的任何装置可经由一个或多个此类通信网络来通信。
事件启动探测引擎250可将信息存储到时间序列事件数据260中且/或从时间序列事件数据260检索信息。时间序列事件数据260可能例如存储与传入网络流量(包括时间数据、发起地址、目的地址、消息大小等)相关联的电子记录。根据一些实施例，系统可不仅查看事件之间的间隔，而且还(或替代地)查看描述内容的属性，如在网络流量日志中可用的消息大小。时间序列事件数据260可本地存储或远离计算平台240和/或事件启动探测引擎250驻留。如将在下面进一步描述的那样，时间序列事件数据260可由事件启动探测引擎250使用，以帮助探测机器启动的事件。尽管单个事件启动探测引擎250在图2中示出，但是可包括任何数量的此类装置。此外，根据本发明的实施例，本文中描述的各种装置可组合。例如，在一些实施例中，计算平台240、事件启动探测引擎250以及时间序列事件数据260可位于同一地点且/或可包括单个设备。
系统200可与用以以任何时间序列顺序来识别观察的活动何时应当归因于非人类行为(“机器启动的”事件)的方法相关联。这可允许明确(或大概)识别不仅网络和定期调度作业上的机器活动(例如，机器人或脚本启动的)，而且由人类决定性地(或可能)执行的一组活动。此外，识别人类活动对非人类活动的过程可提供统计指纹，以将一组事件与另一组事件匹配，由此确认两组活动明确地起源于单个机器人、作业、人类用户等。本文中描述的一些实施例可解决现有技术中的缺陷，如通过以下方式：仅需要非常小的样本大小，提供对任何时间序列数据(不管内容)操作的能力、失序采样数据的能力、采样具有长间隙的数据或缺失数据的能力、且/或实现更高的算法鲁棒性(能够耐受缺失数据和/或时间序列随机化)。要注意，本文中描述的采样方法的一个方面可为，数据点不需要连续且还可具有间隙。例如，系统可在1:00 PM到1:05 PM之间查看机器的活动，且然后稍后在11:00 PM到11:05PM之间查看机器的活动，且将这些碎片组合成10分钟的样本(例如，只要源地址和目的地址为相同的——因此指示这很可能为相同的系统执行通信)。此类途径可例如在如卫星数据评估或从受损系统收集数据(其中可用时间序列数据仅在部分中可用)的情况下为适合的。
要注意，图2的系统200仅提供作为示例，且实施例可与额外的元件或构件相关联。根据一些实施例，系统200的元件自动地促进以高效且准确的方式探测机器启动的事件。考虑例如图3，其为与根据一些实施例的方法相关联的方法300的流程图。本文中描述的流程图并不意味着步骤的固定顺序，且本发明的实施例可以以可实行的任何顺序来实践。要注意，本文中描述的任何方法可通过硬件、软件或这些途径的任何组合来执行。例如，非暂时性计算机可读存储介质可在其上存储指令，指令在由机器运行时导致根据本文中描述的任何实施例的执行。
在S310处，网络事件启动探测引擎可访问时间序列事件数据存储器。时间序列事件数据存储器可包含例如包括时间值的针对成序列的接收的网络事件中的每一个的指示。要注意，网络事件可与从网络接收消息(包括加密数据)的命令和控制节点相关联。根据一些实施例，时间序列事件数据存储器与具有时间戳的事件日志、防火墙日志、网络访问控制日志、主机日志等中的至少一者相关联。
在S320处，系统可对包括时间值的时间序列事件数据存储器中的信息执行统计分析。根据一些实施例，统计分析可与事件之间存在的持续时间相关联。如将更详细地描述的那样，根据一些实施例，统计分析与Kolmogorov-Smirnov(“K-S”)检验相关联。根据一些实施例，时间序列事件数据存储器还包含各个事件的发起地址。在该情况下，统计分析可能进一步基于发起地址。
基于统计分析，系统可在S330处输出与网络事件启动可能性相关联的结果。例如，结果可为事件为机器启动的指示(例如，结果可与网络威胁探测相关联)。根据一些实施例，结果包括事件由特定机器启动的指示。要注意，如本文中使用的那样，用语“机器”可能指例如软件程序、脚本、机器人、调度作业、计算机病毒、恶意软件等。根据其他实施例，结果可能为事件为人类启动的指示。例如，结果可能包括事件由特定人启动的指示。
要注意，实施例可识别针对任何活动在“持续时间”中的类似变化。简单的示例为随时间从源IP地址至目标IP地址的连接。在该情况下的“持续时间”可能代表各个连接之间的时间。与人类活动相比，非人类活动可具有更多的规则连接模式。在一些情况下，此类非人类活动可起源于连接于命令和控制节点的恶意机器人，或起源于合法程序，如即时通讯应用(或执行同步过程的Dropbox®应用)。
“持续时间”或时间间隔可在统计上测量以识别：
•活动是由人类还是非人类机器启动的；且/或
•一个活动流是否源自与先前活动相同的行动者(例如，“基于它们的大小和间隔距离，这些为来自同一个人的两组足迹”)。
根据一些实施例，数据被归一化，以确定“间隔”信息，且K-S检验应用于时间序列网络活动(例如，事件日志)。
K-S检验为连续的、一维概率分布等同性的非参数检验，其可用于将样本与参照概率分布(单样本K-S检验)比较或用于比较两个样本(双样品K-S检验)。要注意，K-S统计量化了样本的经验分布函数与参照分布的累积分布函数之间(或两个样本的经验分布函数之间)的距离。该统计量的零分布可在零假设下计算：样本从参照分布抽取(在单样本情况下)，或样本从相同分布抽取(在双样本情况下)。
针对n次观察Xi的经验分布函数Fn可限定为：
其中I[-∞、x](Xi)为指示函数，如果Xi≤x则等于1，否则等于0。针对给定累积分布函数F(x)的K-S统计量为：
其中supx为距离集的上确界。Kolmogorov分布为随机变量的分布：
其中B(t)为布朗桥。
要注意，K-S检验可用于检验两个基本的一维概率分布是否不同。在该情况下，K-S统计量为：
其中F1，n和F2，n'分别为第一样本和第二样本的经验分布函数，且sup为上确界函数。
如果满足以下条件，则零假设在等级α处被拒绝：
其中n和n'分别为第一样本和第二样本的大小。要注意，双样本检验检查两个数据样本是否来自相同的分布。
双样本K-S检验可提供有用且一般的非参数方法来比较两个样本(例如，因为其对两个样本的经验累积分布函数的位置和形状两者的差异敏感)，且可帮助将人类活动与机器启动的活动分开。要注意，知道一组动作是否来自人类行动者(或来自机器)可为针对威胁监视的重要属性。
还要注意，对IT数据的分析通常需要以签名(或模式)形式的先验知识，以区分正常和可疑(或恶意)的活动。此外，受损系统几乎总是具有一个公共构件：连接(或试图连接)于远程命令和控制节点。随着恶意软件关于如何避免命令和控制通信的探测(包括实施随机睡眠定时器，利用公共应用(如Twitter®和HTTP)来连接出站、且/或加密有效负载以避免探测)变得越来越复杂，本文中描述的一些实施例可帮助识别信标行为，而不需要潜在恶意软件的行为本身的任何知识。此外，实施例可不需要有效负载的任何可见性(因此，如果有效负载被加密则将无关紧要)。
K-S检验可帮助识别以可预测的方式发生的“规则”或“周期性”动作。例如，图4包括根据一些实施例的代表机器启动的事件410和人类启动的事件420的时间线400。具体而言，第一时间线示出机器启动的事件510，而第二时间线示出人类启动的事件420。要注意，第一时间线中的时间差(例如，T1和T2)为相同的，而第二时间线中的时间差(例如，T3和T4)为不相同的。这种类型的模式可用于帮助识别机器启动的事件。
例如，图5示出根据一些实施例的数据处理500。输入时间序列事件数据510、520包括时间值(例如，日期和时间)、源IP地址以及目标IP地址。要注意，图5中示出的数据510、520与将生成100％的p值的K-S检验相关联，因为原型自动化信标每60秒发生一次。该数据510、520用于确定事件(或数据点)之间的持续时间530：60秒、60秒、60秒等。事件之间的持续时间530可然后馈送至过程540，其将生成结果(指示输入时间序列事件数据510、520最可能为机器启动的)。
图6为根据另一实施例的系统600的框图。如之前的那样，计算平台640可从网络接收成序列事件610。在该实施例中，系统包括与计算平台640分开的事件探测引擎650，其能够拦截传入的数据流量且还能够访问时间序列事件数据660。事件启动探测引擎650和时间序列事件数据 660可例如与PC、膝上型计算机、智能手机、企业服务器、服务器群、和/或数据库或类似的存储装置相关联。如本文中使用的那样，包括与事件启动探测引擎650相关联的那些的装置可经由任何通信网络来交换信息。
事件启动探测引擎650可将信息存储到时间序列事件数据660中且/或从时间序列事件数据660检索信息。时间序列事件数据660可例如存储与传入网络流量(包括时间数据、发起地址、目的地址等)相关联的电子记录。时间序列事件数据660可由事件启动探测引擎650使用，以帮助探测机器启动的事件。即，系统600可与用以以任何时间序列顺序来识别观察的活动何时应当归因于非人类行为(“机器启动的”事件)的方法相关联。根据一些实施例，除了事件启动探测引擎650，系统600还可包括额外的网络威胁保护工具680(且在一些情况下，这些元件可一起工作以增强安全性)。
要注意，一些机器人或自动化应用可不为完美的循环，且可在连接之间具有变化。例如，应用可能使用2到10秒的随机睡眠时间(在60秒的信标中)，但仍基于p值生成高度准确的预测。图7包括根据一些实施例的代表机器启动的事件710和人类启动的事件720的时间线700。具体而言，第一时间线示出了利用随机睡眠定时器(在范围712内)的机器启动的事件710，而第二时间线示出了人类启动的事件720。要注意，第一时间线中的时间差(虽然不相同)与第二时间线中的时间差相比为更周期性的和/或可预测的。甚至这种类型的模式可用于帮助识别机器启动的事件。
图8示出根据一些实施例的数据处理800。输入时间序列事件数据可包括例如时间值(例如，日期和时间)、源IP地址以及目标IP地址。可然后处理该数据，以确定事件(或数据点)之间的持续时间830：64秒、69秒、71秒等。事件之间的持续时间830可然后馈送至过程840，其将生成结果(指示输入时间序列事件数据最可能为机器启动的)。要注意，图8中示出的数据830与将生成小于100％的p值的K-S检验相关联，因为自动化信标非准确地每60秒发生一次(由于随机睡眠定时器)。
根据一些实施例，事件启动探测引擎可与远程用户交换信息(例如，经由通过防火墙连接的远程管理控制台)。根据一些实施例，后端应用计算机服务器可促进经由与用户相关联的一个或多个终端查看、接收和/或与事件启动探测引擎交互。例如，图9为根据一些实施例可提供的交互式图形用户显示器900。显示器900与使用统计采样的时间序列分析相关联，且包括示出为什么机器启动的事件910被探测(例如，因为它们落入随机睡眠时间窗912内)的时间线。根据一些实施例，显示器900上的图形元素利用计算机鼠标或指针920的选择可能导致允许用户调整参数的更详细信息的弹出显示。此外，计算机图标950可让用户保存数据、导出数据、生成报告等。
本文中描述的实施例可使用任何数量的不同硬件构造来实施。例如，图10示出可例如分别与图2和图6的系统200、600相关联的设备1000。设备1000包括联接于通信装置1060的处理器1010(如以单芯片微处理器的形式的一个或多个市售的中央处理单元(CPU))，通信装置1060构造成经由通信网络(图10中未示出)通信。设备1000还包括输入装置1040(例如，用以输入关于计算平台、网络地址、事件等的信息的鼠标和/或键盘)和输出装置1050(例如，用以输出交互式用户显示和报告的计算机监视器)。
处理器1010还与存储装置1030通信。存储装置1030可包括任何适合的信息存储装置，其包括磁存储装置(例如，硬盘驱动器)、光存储装置、移动电话、和/或半导体存储装置的组合。存储装置1030存储用于控制处理器1010的程序1012和/或启动探测引擎1014。处理器1010执行程序1012、1014的指令，且由此根据本文中描述的任何实施例来操作。例如，处理器1010可访问时间序列事件数据存储器，其包含包括时间值的针对成序列的接收的网络事件中的每一个的指示。处理器1010可然后对包括时间值的时间序列事件数据存储器中的信息执行统计分析。统计分析可例如与事件之间存在的持续时间相关联。基于统计分析，处理器1010可输出与网络事件启动可能性相关联的结果。结果可指示例如事件为机器启动的、人类启动的等。
程序1012、1014可以以压缩的、未编译的和/或加密的格式存储。程序1012、1014此外可包括其他程序元件，如操作系统、数据库管理系统、和/或由处理器1010使用以与外围装置交互的装置驱动器。
如本文中使用的那样，信息可例如由以下“接收”或“传输”至以下：(i)来自另一装置的设备1000；或(ii)来自另一软件应用、模块或任何其他来源的设备1000内的软件应用或模块。
如图10中示出的那样，存储装置1030还存储时间序列事件数据库1100和结果数据库1060。可结合设备1000使用的时间序列事件数据库1100的一个示例现将参照图11详细地描述。本文中呈现的数据库的说明和伴随的描述为示例性的，且除由图建议的那些之外，可采用任何数量的其他数据库布置。
图11为根据本发明的一些实施例的时间序列事件数据库1100的部分的表格视图。表包括与经由网络发生/接收的事件相关联的条目。表还为条目中的每一个限定字段1106、1104、1106、1108、1110。这些字段指定：事件标识符1102、事件时间1104、网络发起地址1106、机器启动的概率1108、以及结果1110。时间序列事件数据库1100中的信息可周期性地在新事件发生时创建，接收，且由系统在统计上分析。
事件标识符1106可为标识发生的事件(例如，消息或数据包经由网络接收)的唯一字母数字代码。事件时间1104可指示事件何时发生，且网络发起地址1106可指示事件来自哪里(和/或谁创建了事件)。机器启动的概率1108可基于数据的K-S检验分析，且结果1110可指示系统预测事件为机器启动的还是人类启动的(例如，基于机器启动的概率1108与阈值的比较)。
要注意，一些实施例可使用阈值来预测事件为机器启动的还是人类启动的。例如，图12示出根据一些实施例的确定成序列事件是否由机器启动的方法1200。在S1120处，系统可访问时间序列事件数据存储器，其包含针对成序列的接收的网络事件中的每一个的指示。指示可包括例如时间值、发起地址、目的地址、和/或关于消息内容的属性(例如，消息大小)。在S1220处，系统可对包括时间值的时间序列事件数据存储器中的信息执行K-S检验。在S1230处，系统可确定K-S检验的结果是否超过阈值。如果是这样，则系统在S1240处输出“机器启动的事件”结果。如果在S1230处未超过阈值，则系统在S1250处输出“人类启动的事件”结果。要注意，实施例可与多于两种类型的结果相关联。其他结果可包括例如“不确定启动”、“很可能为人类启动的”等。
一些实施例可确定事件(或成序列事件)是否与特定人类或特定机器相关联。例如，图13示出根据一些实施例的确定成序列事件是否与共同的机器或人类相关联的方法1300。在S1310处，系统可访问时间序列事件数据存储器，其包含针对成序列的接收的网络事件中的每一个的指示。指示可包括例如时间值、发起地址和/或目的地址。在S1320处，系统可对包括时间值的时间序列事件数据存储器中的信息执行K-S检验。在S1330处，系统可将K-S检验结果与一组已知的简档(包括例如机器启动和/或人类启动的简档)比较。系统可然后在S1340处输出最可能匹配的简档的指示。输出可例如指示特定机器或特定人类作为事件(或成序列事件)的可能来源。
以下示出了本发明的各种额外实施例。这些不构成对所有可能实施例的限定，且本领域技术人员将理解的是，本发明可应用于许多其他实施例。此外，尽管以下实施例为了清楚而简要地描述，但是本领域技术人员将理解，如何对以上描述的设备和方法进行任何改变(如果必要)，以适应这些及其他实施例和应用。
尽管在本文中描述特定的硬件和数据构造，但要注意，任何数量的其他构造可根据本发明的实施例提供(例如，与本文中描述的数据库和设备相关联的一些信息可被分割、组合、和/或由外部系统处理)。申请人发现，本文中描述的实施例可结合网络威胁保护系统而为特别有用的，但实施例可结合其他的任何其他类型的网络化系统使用。
虽然本发明的仅某些特征在本文中示出和描述，但本领域技术人员将想到许多改型和变化。因此，将理解的是，所附权利要求旨在覆盖归入本发明的真实精神内的所有此类改型和变化。

Claims (10)

1.一种系统，包括：
输入端口，其用以接收随时间的成序列网络事件；
时间序列事件数据存储器，其包含包括时间值的针对成序列的接收的网络事件中的每一个的指示；以及
网络事件启动探测引擎，其联接于所述输入端口和所述时间序列事件数据存储器，所述网络事件启动探测引擎构造成：
访问所述时间序列事件数据存储器，
对包括所述时间值的所述时间序列事件数据存储器中的信息执行统计分析，所述统计分析与事件之间存在的持续时间相关联，以及
基于所述统计分析，输出与网络事件启动可能性相关联的结果。
2.根据权利要求1所述的系统，其特征在于，所述统计分析与Kolmogorov-Smirnov检验相关联。
3.根据权利要求1所述的系统，其特征在于，所述结果包括事件为机器启动的指示。
4.根据权利要求3所述的系统，其特征在于，所述结果与网络威胁探测相关联。
5.根据权利要求3所述的系统，其特征在于，所述结果包括所述事件由特定机器启动的指示。
6.根据权利要求3所述的系统，其特征在于，所述机器启动的事件包括以下中的至少一者：(i)软件程序、(ii)脚本、(iii)机器人、(iv)调度作业、(v)计算机病毒，以及(vi)恶意软件。
7.根据权利要求1所述的系统，其特征在于，所述结果包括事件为人类启动的指示。
8.根据权利要求6所述的系统，其特征在于，所述结果包括所述事件由特定人启动的指示。
9.根据权利要求1所述的系统，其特征在于，所述时间序列事件数据存储器还包含各个事件的发起地址，且所述统计分析进一步基于所述发起地址。
10.根据权利要求1所述的系统，其特征在于，所述网络事件与命令和控制节点相关联。
CN201711441636.XA 2016-12-27 2017-12-27 用以在时间序列数据中探测机器启动的事件的系统 Pending CN108243062A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/390915 2016-12-27
US15/390,915 US20180183819A1 (en) 2016-12-27 2016-12-27 System to detect machine-initiated events in time series data

Publications (1)

Publication Number Publication Date
CN108243062A true CN108243062A (zh) 2018-07-03

Family

ID=60953545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711441636.XA Pending CN108243062A (zh) 2016-12-27 2017-12-27 用以在时间序列数据中探测机器启动的事件的系统

Country Status (3)

Country Link
US (1) US20180183819A1 (zh)
EP (1) EP3343421A1 (zh)
CN (1) CN108243062A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825779A (zh) * 2018-08-07 2020-02-21 波音公司 用于识别飞行器中的相关联事件的方法和系统
CN113169898A (zh) * 2018-11-07 2021-07-23 西门子股份公司 用于网络部件的网络中的错误识别和错误原因分析的系统和方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10338802B2 (en) * 2017-02-08 2019-07-02 International Business Machines Corporation Monitoring an activity and determining the type of actor performing the activity
US11475124B2 (en) * 2017-05-15 2022-10-18 General Electric Company Anomaly forecasting and early warning generation
US11012492B1 (en) * 2019-12-26 2021-05-18 Palo Alto Networks (Israel Analytics) Ltd. Human activity detection in computing device transmissions
US20230275905A1 (en) * 2022-02-25 2023-08-31 Bank Of America Corporation Detecting and preventing botnet attacks using client-specific event payloads
CN115086144A (zh) * 2022-05-18 2022-09-20 中国银联股份有限公司 基于时序关联网络的分析方法、装置及计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014026220A1 (en) * 2012-08-13 2014-02-20 Mts Consulting Pty Limited Analysis of time series data
US20140101761A1 (en) * 2012-10-09 2014-04-10 James Harlacher Systems and methods for capturing, replaying, or analyzing time-series data
CN104378367A (zh) * 2014-11-06 2015-02-25 国网山东蓬莱市供电公司 一种改进的网络安全事件关联分析系统
CN104394124A (zh) * 2014-11-06 2015-03-04 国网山东蓬莱市供电公司 一种网络安全事件关联分析系统
US20150295945A1 (en) * 2014-04-14 2015-10-15 Drexel University Multi-Channel Change-Point Malware Detection
CN105814931A (zh) * 2013-07-02 2016-07-27 七网络有限责任公司 基于移动网络信号的网络建模
US20160359695A1 (en) * 2015-06-04 2016-12-08 Cisco Technology, Inc. Network behavior data collection and analytics for anomaly detection
CN106254317A (zh) * 2016-07-21 2016-12-21 柳州龙辉科技有限公司 一种数据安全异常监控系统
CN107004086A (zh) * 2014-12-02 2017-08-01 沃托克公司 安全信息和事件管理

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10079846B2 (en) * 2015-06-04 2018-09-18 Cisco Technology, Inc. Domain name system (DNS) based anomaly detection

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014026220A1 (en) * 2012-08-13 2014-02-20 Mts Consulting Pty Limited Analysis of time series data
US20140101761A1 (en) * 2012-10-09 2014-04-10 James Harlacher Systems and methods for capturing, replaying, or analyzing time-series data
CN105814931A (zh) * 2013-07-02 2016-07-27 七网络有限责任公司 基于移动网络信号的网络建模
US20150295945A1 (en) * 2014-04-14 2015-10-15 Drexel University Multi-Channel Change-Point Malware Detection
CN104378367A (zh) * 2014-11-06 2015-02-25 国网山东蓬莱市供电公司 一种改进的网络安全事件关联分析系统
CN104394124A (zh) * 2014-11-06 2015-03-04 国网山东蓬莱市供电公司 一种网络安全事件关联分析系统
CN107004086A (zh) * 2014-12-02 2017-08-01 沃托克公司 安全信息和事件管理
US20160359695A1 (en) * 2015-06-04 2016-12-08 Cisco Technology, Inc. Network behavior data collection and analytics for anomaly detection
CN106254317A (zh) * 2016-07-21 2016-12-21 柳州龙辉科技有限公司 一种数据安全异常监控系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825779A (zh) * 2018-08-07 2020-02-21 波音公司 用于识别飞行器中的相关联事件的方法和系统
CN113169898A (zh) * 2018-11-07 2021-07-23 西门子股份公司 用于网络部件的网络中的错误识别和错误原因分析的系统和方法
US11398945B2 (en) 2018-11-07 2022-07-26 Siemens Aktiengesellschaft System and method for fault detection and root cause analysis in a network of network components
CN113169898B (zh) * 2018-11-07 2022-12-27 西门子股份公司 用于网络部件的网络中的错误识别和错误原因分析的系统和方法

Also Published As

Publication number Publication date
US20180183819A1 (en) 2018-06-28
EP3343421A1 (en) 2018-07-04

Similar Documents

Publication Publication Date Title
CN108243062A (zh) 用以在时间序列数据中探测机器启动的事件的系统
US10467411B1 (en) System and method for generating a malware identifier
US11936666B1 (en) Risk analyzer for ascertaining a risk of harm to a network and generating alerts regarding the ascertained risk
US11522877B2 (en) Systems and methods for identifying malicious actors or activities
US20220377093A1 (en) System and method for data compliance and prevention with threat detection and response
US10652274B2 (en) Identifying and responding to security incidents based on preemptive forensics
US9628507B2 (en) Advanced persistent threat (APT) detection center
US20190238571A1 (en) Method and system for email phishing attempts identification and notification through organizational cognitive solutions
AU2016336006A1 (en) Systems and methods for security and risk assessment and testing of applications
CN112953971B (zh) 一种网络安全流量入侵检测方法和系统
CN105009132A (zh) 基于置信因子的事件关联
US9942255B1 (en) Method and system for detecting abusive behavior in hosted services
US9251367B2 (en) Device, method and program for preventing information leakage
CN109547426B (zh) 业务响应方法及服务器
EP2936772B1 (en) Network security management
TWI615730B (zh) 以應用層日誌分析為基礎的資安管理系統及其方法
US20240022585A1 (en) Detecting and responding to malicious acts directed towards machine learning model
CN113411297A (zh) 基于属性访问控制的态势感知防御方法及系统
CN113965406A (zh) 网络阻断方法、装置、电子装置和存储介质
EP2911362B1 (en) Method and system for detecting intrusion in networks and systems based on business-process specification
Anand et al. Enchanced multiclass intrusion detection using supervised learning methods
CN116015925A (zh) 一种数据传输方法、装置、设备及介质
CN115603995A (zh) 一种信息处理方法、装置、设备及计算机可读存储介质
CN115314322A (zh) 基于流量的漏洞检测确认方法、装置、设备以及存储介质
CN118214607B (zh) 基于大数据的安全评价管理方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180703

WD01 Invention patent application deemed withdrawn after publication