CN104303153A

CN104303153A - 用于异常子图检测、异常/更改检测和网络态势感知的路径扫描

Info

Publication number: CN104303153A
Application number: CN201380026239.XA
Authority: CN
Inventors: 约书亚·C·尼尔; 迈克尔·E·菲斯克; 亚历山大·W·布勒; 小柯蒂斯·L·哈什; 柯蒂斯·B·斯托利; 本杰明·乌波夫; 亚历山大·肯特
Original assignee: Los Alamos National Security LLC
Current assignee: National Security Co ltd
Priority date: 2012-03-22
Filing date: 2013-03-14
Publication date: 2015-01-21
Anticipated expiration: 2033-03-14
Also published as: EP2828752A4; US10728270B2; JP6378395B2; AU2017200969A1; AU2019216687A1; US20180278641A1; AU2013272215A1; US10015183B1; JP2015514356A; AU2013272211A1; US9560065B2; US20140068769A1; WO2013184206A3; AU2017254815B2; JP2017143578A; US20130254895A1; AU2017200969B2; JP2015511101A; AU2018203393B2; US20170163668A1

Abstract

本发明提供一种用于在网络中检测异常行为的系统、装置、计算机可读介质和计算机执行的方法。确定网络的历史参数，从而确定正常的活动级别。枚举网络中的多个路径作为反映网络的图形的一部分，其中在网络中的每个计算系统可以是图形中的节点，并且两个计算系统之间的连接序列可以是图形中的有向边。将统计模型应用到基于滑动窗口的图形中的多个路径，以检测异常行为。还可以使用通过统一主机收集代理(“UHCA”)收集的数据来检测异常行为。

Description

用于异常子图检测、异常/更改检测和网络态势感知的路径扫描

联邦权利声明

根据美国政府能源部门和用于运营洛斯阿拉莫斯国家实验室的洛斯阿拉莫斯国家安全有限公司之间的编号为DE-AC52-06NA25396的合约，美国政府享有本发明的权利。

相关申请的交叉引用

本申请要求序列号为61/614,148申请日为2012年3月22日的美国临时申请的权益。因此，这个较早提交的临时专利的主题通过引用全部合并到本文中。

技术领域

本发明一般涉及网络入侵、异常和策略违规的检测，尤其涉及通过用于检测嵌入在时间演变图中的异常子图的路径扫描来进行网络入侵、异常和策略违规的检测，此外还涉及用于计算机网络上的态势感知和异常/更改检测的域名服务(“DNS”)请求的运用。

背景技术

复杂的计算机黑客入侵严重威胁到企业、政府机构和其它实体的安全。通常，黑客通过自动化手段进入系统。例如，如果黑客发送钓鱼邮件到一机构，然后用户点击链接，恶意软件可能会感染机器。这样使得黑客控制感染的机器，由此将据点建立到感染的机器所属的网络。

黑客不能选择哪些机器进行感染，因此不能选择他或她在网络中登陆的地点。黑客通常遍历网络，从受到感染的网络处的起始点搜索另外的主机来利用。因为通常单个用户不具有整个网络的访问，黑客必须遍历多个机器以完全感染该网络。通常，黑客将会搜索多用户的机器，并且使用感染的账户来获取访问——促进他或她渗透到网络中。

在计算机网络中用于检测恶意的内部成员的方法通常不会很好地捕获“遍历”。黑客通过网络、渗透系统来进入的时候发生遍历，然后使用感染的系统来进一步感染其它主机。尽管监控特定机器的基于主机的检测系统较为成熟，且已充分研究通过防火墙来进行入侵检测，但通常还未充分地开发在安全边线内同时检查多个中继(hop)以搜索异常的方法。进一步，通常使用复杂的网络分流器系统、路由镜像端口和基于路由的流量监察以执行网络流量监控。这种方法是昂贵的，并且不能在网络内提供完整的流量覆盖。

发明内容

本发明的某些实施例可以提供方案以解决当前的入侵、异常和策略违规的检测技术仍然没有完全识别、理解或解决的问题和需求。例如，本发明的一些实施例采用检测局部异常子图的扫描统计，使用可用于推测网络传输形态的DNS请求。本发明的一些实施例可以应用于在每个边线上具有时间序列数据的任何类型的图形。动态社交网络分析(例如，电邮网络等)可以经得起这种类型的分析，并且可以存在其它图形结构，比如那些在生物学中发现的结构也是适用的。同样地，本发明的一些实施例可以有网络安全以外的应用。

在一个实施例中，计算机执行的方法包括，为网络上的每个“边线”(即是，一对通信机(communicating machines))确定基线统计模型的历史参数，以确定正常的活动级别。计算机执行的方法还包括，枚举网络中的多个路径作为反映网络的图形的一部分，其中在网络中的每个计算系统可为图形中的节点，并且两个计算系统之间的连接序列可为图形中的有向边。该方法进一步包括，基于滑动窗口，将这些基线模型，或者统计模型，应用到观测下的由图形的边线所形成的路径，并且基于应用的统计模型检测异常行为。

在另一个实施例中，一种装置包括至少一个处理器和含有指令的存储器。当至少一个处理器执行所述指令时，配置该指令触发至少一个处理器来确定网络的历史参数以确定正常的活动级别。该指令还被配置为触发至少一个处理器枚举网络中的多个路径作为反映网络的图形的一部分，其中在网络中的每个计算系统可以是图形中的节点，并且两个计算系统之间的连接序列可以是图形中的有向边。该指令被进一步配置为触发至少一个处理器，基于滑动窗口将统计模型应用到图形中的多个路径，以及基于应用的统计模型检测异常行为。

又在另一实施例中，一种系统，包括：储存计算机程序指令的存储器，该计算机程序指令配置为检测网络中的异常行为；以及配置为执行储存的计算机程序指令的多个处理核心。所述多个处理核心配置为确定网络的历史参数以确定正常的活动级别。所述多个处理核心还配置为，枚举网络中的多个路径作为反映网络的图形的一部分，其中在网络中的每个计算系统可以为图形中的节点，并且两个计算系统之间的连接序列可以为图形中的有向边。所述多个处理核心进一步配置为，基于滑动窗口将统计模型应用到图形中的多个路径，并且基于应用的统计模型检测异常行为。

在再另一实施例中，一种计算机执行的方法包括，通过计算系统从多个与网络通信有关的主机代理(host agent)收集数据，该网络通信由网络中各自的主机发送和接收。该计算机执行的方法还包括：通过计算机系统分析收集的数据以检测在预定的时间内的异常行为；以及当检测到异常行为时，提供在该预定的时间内发生该异常行为的指示。

附图说明

为了正确理解本发明，需要参考附图。这些图仅描述本发明的一些实施例而不作为发明范围的限制。关于附图：

图1A所示为黑客攻击的普通初始阶段；

图1B所示为黑客攻击的第二阶段；

图1C所示为黑客攻击的第四阶段；

图2所示为根据本发明实施例的用于检测入侵、异常和策略违规的系统；

图3所示为外星结构；

图4所示为根据本发明实施例的用于在网络上检测异常行为的方法的流程图；

图5A所示为根据本发明实施例仅使用名称边线来产生路径的路径图；

图5B所示为根据本发明实施例仅使用IP边线来产生路径的路径图；

图5C所示为根据本发明实施例始于三个名称边线并且结束于一IP边线的路径图；

图5D所示为根据本发明实施例带有替代的名称边线和IP边线的路径图；

图6所示为根据本发明实施例使用UHCA来收集与异常有关的数据的方法流程图。

具体实施方式

本发明的一些实施例通过网络来检查路径，其中的路径为相互连接的一系列互连的计算系统。在图形中，“节点”表示计算机系统，“边线”表示两个计算机系统之间连接的序列。在一些实施例中，在执行遍历任务的异常行为者的检测中，随时间推移的路径检查前景广阔。通常对应网络中的每个边线开发随机模型。相对于在考虑的给定时间窗口内所估计的参数，对模型的历史参数执行统计测试。来自历史参数的某一阀值的偏离可以指出异常路径，该阀值可以根据用户定义的警报率进行调整。

一些实施例检测出共同连接在k-路径中的一组边线中的异常活动。k-路径可以是图形中有向边线的序列，使得第一边线的目标为第二边线的起源，第二边线的目标为第三边线的起源，等等，使得路径中的边线数量为k。在每个边线上，数据是关联的。在一些实施例中，该数据可以是每单位时间的计算机网络上的主机之间的连接数。可以枚举全部k-路径(对于一些固定数目k)，并且可以使用滑动时间窗口来检查数据。可以为每个路径建立随机模型，在时间窗口中可以将历史参数和当前评估的参数进行比较，以确定异常的级别。

识别计算机网络中的异常通常是一个具有挑战性和复杂的问题。一般地，异常发生在极其局部的网络区域内。由于存在基本图形(underlying graph)结构，在此设置中的地点可能变得复杂。为了识别局部异常，可以使扫描统计被用作由随时间推移的图形边线所提取的数据。有两个形状可以尤其有利于在图形中捕获地点：星形和上面提及的k-路径。使用路径作为扫描窗口是新颖的。在真实的网络攻击中观测的黑客行为激发这些形状。

为了识别局部异常，可以使用一组滑动时间窗口在整个图形上枚举出这些图形。每个窗口中的局部统计可以与历史行为比较，以捕获异常。这些局部统计可以是基于模型的，以及，通过举例的方式，在此讨论本发明的一些实施例所使用的由网络流量数据激发的两个模型，来帮助说明示例的扫描过程。在较大的网络中快速传送数据一般需要敏捷的在线检测。因此对于异常检测系统实现实时分析的速度，其是可取的。

通常对于国家和许多机构的网络安全，一旦攻击者进入网络内部，攻击者的检测为高优先级。即使可行，使攻击者保持完全脱离网络是极其困难的。在网络攻击中，尤其在攻击者对国家政府的行动中，在网络内部进行遍历是非常普遍的并且可能是攻击者想要实施的许多较大任务的核心需求。本发明的一些实施例在检测遍历方面具有前景，并且具有可调的正误识(false positive)参数使系统操作员可用。此外，一些实施例设计为实时运行，一旦攻击发生即提供快速的攻击检测。本发明一些实施例的另一个关键部分为一组鉴定(forensics)工具，让分析者充分地探测攻击者的遍历，并且识别可能已被感染的主机。

除了异常的路径检测，本发明一些实施例观测作为网络流量的前导(precursor)的DNS请求，并且从那些请求中推测随后的网络流量。然后该推测的网络流量能够用于网络侦察、态势感知，以及作为可靠数据源用于网络异常/更改检测工具，该工具包括对应本发明一些实施例所描述的子图检测工具。在大多数机构中，一个或两个收集点域含有所有DNS请求。对比来自其它普通的网络收集结构比如来自路由器或者网络分流收集结构的可用收据，产生的数据馈送通常较少并且容易捕获。此外，由于每个路由器的分流备选的造价高得惊人，DNS通常提供更完整的连接级别的流量覆盖，并且路由器分流通常主要遭受拥堵的采样。在许多情况下，甚至可以从DNS请求来推测在路由器或分流器不可见的子网络内的流量。在异常检测方面这可能很重要，因为黑客留在子网内通常是不罕见的。

为了清楚起见，描述了本发明一些实施例可检测到的通过黑客攻击的异常情形。图1A所示为黑客攻击的普通初始阶段100。黑客可以使用恶意软件通过感染机器102来实现初始的攻击。受感染的机器102与多个附属的机器104连接，附属的机器104没有连接到遍历路径。这些机器不一定是无感染的，但在本例中它们不会用于随后的遍历。一种用于初始感染网络的方法被称为钓鱼攻击，其中包含跳转到恶意网站的链接的邮件被发送到网络上的一组用户。当用户点击链接，他或她的计算机系统可能被感染，为攻击者提供一些方式以访问用户的计算系统。

攻击者通常不能支配哪个计算机系统受到感染，并且，即使存在最终的攻击目标，初始的主机通常不是最终的攻击目标。取而代之的是，黑客可能想要移动到其它计算系统，从而找出和偷挖有价值的数据、提升权限和/或在网络中建立广泛的存在，用于随后的开发利用和/或应变，以面对网络操作员所实施的防御措施。因此，攻击者可以从这个初始的主机，从一个主机跳到另一个主机的方式继续向其它主机着手。图1B所示为黑客攻击的第二阶段110。这里，第二计算机系统102受到感染，并且受到感染的计算机系统102与单条的边线112连接。图1C所示为黑客攻击的第四阶段120，其中四个计算机系统102受到感染，并且受到感染的计算机系统102与路径122连接。

当攻击者遍历网络时，他或她在顺着每个由他或她遍历的边线通信的时间序列中创建异常活动。这意味着，对于每个边线通常会见到在历史的正常的通信级别之上的额外的通信。在本发明的一些实施例中，可以检测到在一些时间间隔中的异常边线的共同体，并且可以描述系统内的入侵。

图2所示为根据本发明的实施例用于检测入侵、异常和策略违规的计算机系统或“系统”200。系统200包括总线205或其它用于消息通信的通信机构，以及与总线205连结用于处理消息的处理器210。处理器(一个或多个)210可以是任意类型的通用或专用处理器，其包括中央处理单元(“CPU”)或者专用集成电路(“ASIC”)。处理器(一个或多个)210还可以具有多个处理核心，并且至少一些核心可配置为执行特定功能。一些实施例可以采用多核心，单机方法被称为对称多处理(“SMP”)。其它实施例可以通过多机器来实施，并且每个机器可以具有多核心。这种方法被称为消息传递接口(“MPT”)。系统200还包括存储器215，用于储存信息以及由处理器(一个或多个)210执行的指令。存储器215可以包括随机存取存储器(“RAM”)、只读存储器(“ROM”)、闪存存储器、高速缓冲存储器、静态存储器如磁盘或光盘，的任意组合，或任何其它类型的非临时性计算机可读介质或其组合。此外，系统200包括通信设备220，比如无线网络接口卡，以提供网络访问。

非临时性计算机可读介质可以是任何处理器(一个或多个)210能够访问的任何可用介质，并且可以都包括易失性和非易失性介质、可移动和不可移动介质以及通信介质。通信介质可以包含计算机可读指令、数据结构、程序模块或其它调制数据信号比如载波中的数据或者其它传输结构，并且包含任何信息传递介质。

处理器(一个或多个)210进一步通过总线205连结到显示器225，比如是液晶显示器(“LCD”)，用于向用户显示信息。键盘230和光标控制设备235比如计算机鼠标进一步连结到总线205，从而使用户与系统200进行交互。

在一个实施例中，存储器215储存软件模块，当处理器(一个或多个)210执行该软件模块时提供功能。该模块包含用于系统200的操作系统240。该模块还包含配置为检测入侵、异常和策略违规的检测模块245。系统200可以包括一个或多个包含附加功能的附加功能模块250。

本领域技术人员应理解到，“系统”可以实施为个人电脑、服务器、控制台、个人数字助理(“PDA”)、手机或任何其它适用的计算设备或设备的组合。当前通过“系统”执行上述功能，不意味着以任何方式限制本发明的范围，而是旨在提供本发明许多实施例中的其中一个实例。实际上，可以按照符合计算机技术的局部的和分布的形式来实现本文所公开的方法、系统和装置。

应当注意到，在本说明书中描述的系统特征已体现为模块，从而更具体地强调它们的执行独立性。例如，可以将模块实施为硬件电路，包括定制的超大规模集成(“VLSI”)电路或门阵列，大量生产的半导体比如逻辑芯片、晶体管或其它分立元件。模块还可以实施在可编程硬件设备，例如现场可编程门阵列、可编程逻辑阵列、可编程逻辑器件、图形处理单元等。

模块还可以在软件中至少部分地实施，用于各种类型的处理器来执行。可执行代码的识别的单元例如可以包括一个或多个计算机指令的物理或逻辑块，例如可以组织为对象、过程或功能。然而，识别的模块的可执行代码无需在物理上设置在一起，而是可以包括存储在不同位置的不同指令，当逻辑上结合在一起时的，包括该模块并且实现该模块的指定目的。进一步，模块可以存储在计算机可读介质上，该计算机可读介质例如可以是硬盘驱动器、闪存设备、RAM、磁带或其它用于存储数据的任何介质。

实际上，可执行代码模块可以是单指令或多指令，甚至可以在若干不同的代码段上、不同程序之间以及横跨多个存储设备来分布。类似地，操作数据可以在此处的模块中识别和说明，可以在任何合适的形式中体现并且在任何合适类型的数据结构中组织。可以收集操作数据作为单个数据集，或者可以将操作数据分布在包含不同存储设备的不同位置，并且可能至少部分地仅作为电子信号存在于系统或网络上。

当黑客获得网络登陆时，可以观测路径和星形异常。星形异常指的是，黑客使用受感染的计算机系统连接其它已访问的计算机系统，在多个由受感染的主机发出的边线上产生异常。

路径异常可以指示更隐蔽的攻击，其是从路径中的每个主机到下一个主机的遍历序列。毛虫异常是星形和路径的异常的混合。设计这种方法来实时监控计算机网络，并且在企业级(20,000或更多的单独的互联网协议(“IP”)地址)需要迅速实现任何应用到计算机网络数据的方案。然而，为了更好地识别局部异常，系统通常需要同时监控许多小窗口。本发明一些实施例能够在企业规模的网络中实时检查大量的局部对象。

叉乘空间中的窗口

在Time×Graph乘积空间中检查窗口是有用的。可以定义这些窗口集，使得存在图形G＝(V，E)，带有节点集V和边线集E。对于每个边线e∈E，在离散的时间点t∈{1，...，T}存在数据处理X_e(t)。在边线e上沿离散时间间隔(s，s+1，...，k)的时间窗口集能够表示为Ω＝{[e，(s，s+1，...，k)]∶e∈E，0≤s≤k≤T}。全部窗口子集的集合Γ＝{{w1，w2，...}：wj∈Ω}通常非常大，并且只有其子集包含时间和图形空间中的局部约束，一般让人感兴趣。因此，视具体问题而定，通常难以对窗口集γ∈Г_x.Г_x的关注进行约束。为了方便起见，X(γ)可以表示为窗口中的由γ给定的数据。

可以假设对于任意时间点t和边线e，能够用θ_e(t)给出的参数函数用随机处理来描述X_e(t)。通过θ（γ），可以在相应的窗口集γ中评估参数函数的值。最后，随机处理的可能性可以用γ表示为L(θ(γ)|X(γ))

用于Time×Graph空间中的窗口的扫描统计

相对于指出参数已改变的备选，知道参数的已知函数是否已经产生窗口中的数据，是有利的。即是明显给定X(γ)＝x(γ)，对于通过约束总体的参数空间Θ使子集来形成的备选，有利地测试广义似然比值测试(“GLRT”)统计可以是要使用的自然统计。令

λ_{γ} = - 2 \log (\frac{L (\hat{θ} (γ) | x (γ))}{\sup {θ &Element; Θ_{A}} L (\hat{θ} (γ) | x (γ))})

λ_γ的大小依赖于在窗口中测试的参数量，该参数量可能难以直接利用。为了解决这个问题，可以通过将其转换为p-值、p_γ，将λ_γ标准化。

为了在(Time×Graph)乘积空间中对异常进行扫描，通常需要在所有窗口γ上滑动，维持对扫描统计量ψ＝min_γp_γ的跟踪。在实践中，在p-值的集合上通常必须完成阀值设定，因此通常需要考虑的不只是最低的p-值。对于在线监控，可以设置p-值上的阀值来控制误报发现率。阀值越高，将识别的异常越多，但是肯定也会有更多误报。通常应该设置该阀值，使运行监控软件的分析者的负担不会过大。一般地，发生检测时，当一组窗口(不只是一个)超过阈值，由此这些窗口的共同体为检测的由系统产生的异常。

局部形状：星形和有向k-路径

上面讨论的方法可用于批量(回溯)或者在线(预)处理。然而本质上，图形一般具有组合性。对于以n个节点完全连接的图形，子图的数量为2^n(n-1)对于实际应用，特别地对于在线设置，这样大量的子图使得使用图形窗口的约束集是有益的。可以构造窗口，使其适用于识别具体的异常形状。

有向k-路径

在黑客遍历计算机网络的一个普通的入侵例子中，一种特定类型的子图可以特别有利地用于在线监控：有向k-路径。有向k-路径是尺寸为k的子图，其具有直径k。此处，尺寸为图形中的边线数，直径为任意节点对之间的最大中继距离。通俗地，其意思为k-路径是边线的序列，其中在序列中的当前边线的目标节点是该序列中的下一个边线的源节点，依此类推。

k-路径具有的优点在于捕获许多网络攻击的核心，这是因为可以经由网络的带有附加边线像“细毛”围绕核心路径的路径来描述攻击。在实际攻击中已观测到这个攻击形状。此外，k-路径具有高度局部性，允许检测细小的异常。

在一些实施例中，采用3-路径。3-路径具有局部性的优点但也足够大，以捕获显著的遍历。为了在网络图形中扫描每个3-路径，首先要枚举多个路径。对于许多图形，这可以是意义非凡的。以n个节点完全连接的图形中，排除圆形和后边线，有n(n-1)(n-2)(n-3)个3-路径。

事实上，网络图的连接通常更少。然而，在30分钟的时间窗口中，在该窗口中仅包含带有非零活动的边线，在一个示例性实施例中可以获得一图形，该图形包含约17000个节点、90000条边线和3亿个3-路径。虽然可以有效地扫描全部n(n-1)(n-2)(n-3)个可能的3-路径的集合，但是在带有当前时间窗口中不活动的边线的任意路径上，通常不对异常测量进行计算。因为黑客通常需要使至少一个通信来遍历边线，在边线上没有活动，表明没有对该边线进行遍历，因此不认为包含该边线的路径是异常的(在感兴趣的时间窗口中)。

由于3-路径的数量较大，能够快速枚举路径以维持接近实时的响应能力是很重要的。下面可以找出枚举k-路径的算法。通过向基于消息传递接口(“MPT”)的群集，分布ENUMERATE for循环中的边线以获得并行性。然后每个MPI节点从它的边线列表重复地计算全部始于该边线的路径。在本例中，边线A是长度为2的列表，其中A[1]为源节点，A[2]为目标节点。

function ENUMERATE(E,K):

function RECURSE(E,P,L,K):

该算法使用很少内存，而且一般具有并行性。在一些真实环境的模拟中，使用48核心的商业用计算机以每个窗口5秒的情况下，对大约3亿的路径组成的30分钟的窗口进行了枚举和测试。其向模型提供了空间来增加复杂性，从而处理比当前正在分析的已经相当大的图形还要更大的图形，同时全部保持实时数据流。

星形

星形是另一种令人感兴趣的用于监控网络通信的形状，如图3中的外星形300所示。星形限定为边线集，边线集的源头是一给定的中心节点。在图3中，中心节点302通过有向边线连接到外部节点304。虽然这些形状不是很局部化，特别对于高点出度节点，它们仍可以相当好地获得星类型的异常。路径比星形窗口更能够描述更隐蔽的异常，但在大星形异常上，星形窗口通常优于路径。

时间间隔

时间分量可以包括在图形窗口中的每个边线上的相同时间间隔。这可以对于形状中的每个边线来检测发生在相同的时间窗口中的异常。更复杂的选择，如连续时间窗口或伸缩时间窗口，可以用于满足特定的协议，比如安全外壳(“SSH”)。

边线数据

通常，有利地以边线的解析度进行数据建模，而不是以形状γ的解析度进行数据建模。讨论两个模型，其通过在边线上随时间推移的数据分布来激发，包括评价、假设性测试、p-值计算和阀值设置。

IP地址定义节点，并且IP地址之间的通信定义了图形中那些节点之间的有向边线的存在。在网络中边线之间可以有庞大的变化，而某些特征可以反映出原始机器上的人类参与者出现的地点。

在计算机网络数据中观测切换处理是常见的。直观地，对于许多边线，处于网络上的人引起此切换。如果用户出现在机器中，他或她可以在该机器发出的边线上产生非零的计数。然而，在数分钟内，即使用户可能在场，他或她可能不会在该边线上产生非零计数，因为他或她可能与一些其它机器通信，或者根本不使用网络。仅知道，当用户不在那里的时候，我们将在此边线上观测到0秒。这样的在场/不在场，包括纯粹的0计数发射和更高活性的计数发射之间的切换处理。虽然直观地，在白天当中会比夜晚有更高的计数，但是为了简化模型，可能在一些实施例中使用均匀的模型。

路径中的边线独立

为了扫描异常的形状，通常需要具备在正常条件下描述窗口中的数据行为的模型。根据合理的内存需求，枚举的子图的数量趋向于以指数的方式与节点的数量成比例，并且形状中的边线之间的独立性假设，促进对以线速度处理图形所需的计算的规模控制。通常这是因为边线独立只需要用于每个边线的模型(和边线参数的储存)，然而非独立可能需要用于每个形状的模型，该模型可以有数亿，不然的话就是数十亿。根据独立性假设，路径GLRT可以表示为

λ_{γ} = \underset{e &Element; γ}{Σ} λ_{e}

其中λ_e表示在窗口γ中的每个边线上的GLRT分数。

观测的马尔可夫模型(“OMM”)

本文所讨论的两个模型的第一个并且是最简单的模型是双态OMM，其可以表示为B_t。如果在时间容器t内存在非零计数，则B_t＝1，否则B_t＝0。该模型具有两个参数，p₀₁＝P(B_t＝0|B_t-1＝1)。它的可能性由下式给出

L (p_{01} p_{10} | b_{1}, . . ., b_{N}) = {(1 - p_{01})}^{n_{00}} p_{01}^{n_{01}} p_{10}^{n_{10}} {(1 - p_{10})}^{n_{11}}

其中在数据中观测到连续对(b_i，b_j)的次数为n_ij。可以假设初始状态是不变且已知的。当这个模型捕获突发事件时，忽略非零计数的分布，并且还不允许在高态中产生零点。用于OMM的最大的可能性评估可以由和

{\hat{p}}_{10} = \frac{n_{10}}{n_{10} + n_{11}}

给出。

隐马尔可夫模型(“HMM”)

HMM解决了上面讨论的OMM的问题。在一些实施例中，采用双态HMM，其带有低态的零退化分布以及在高态中的负二项发射密度(negative binomialemission density)。负二项分布密度(Negative binomial distribution)不会受到泊松模型的均值与方差相等的特性(equidispersion property)的影响，并且有正当的理由使用它们来监控网络计数中的异常。尽管其它模型一般不允许高态以发出零，但是这个模型允许。例如，可以用非零数据消除零计数，但零计数仍然清楚地可以是“活动”状态的一部分。直观地，活动状态一般被认为是“用户出现在机器中，”因此有可能进行通信，而不是“用户正在该边线上进行通信。”

L(p₀₁，p₁₀，μ，p|O₁，...，O_N)＝Σ_q1…b_q1(O₁)p_q1q2b_q2(O₂)…p_qN-1qNb_qN(O_N)

HMM最大可能性评估没有封闭形式，因此可以使用评估最大化(“EM”)方法。在T个离散时间点的集合中，我们可以观测计数x＝[x₁，...，x_T]′，带有x_t∈{0，1，...}，对应t＝1，...，T。在这个模型中，该计数被视为来自两个分布中的一个，被视为受到一个潜在的双态马尔可夫处理Z＝[Z₁，...，Z_T]′的支配。令p₀₁＝Pr(Z_n＝1|Z_n-1＝0)和p₁₀＝P_r(Z_n＝0|Z_n-1＝1)，潜在的转换矩阵可以表示为

A = [\begin{matrix} 1 - p_{01} & p_{01} \\ p_{10} & 1 - p_{10} \end{matrix}]

初始状态分布可以表示为π＝Pr(Z₁＝1)。

给定Z_t＝0，在时间t的计数边缘分布在0处退化，即是

Pr(X_t＝x_t|Z_t＝0)＝I(X_t＝0)

其中I(·)为标志函数。当Z_t＝1，根据带有φ＝[μ，s]′给出的平均和大小参数的负二项分布，假设计数是分布的，即是

\Pr (X_{t} = x_{t} | Z_{t} = 1, φ) = \frac{Γ (s + x_{t})}{Γ (s) Γ (x_{t} + 1)} {(\frac{s}{μ + s})}^{s} {(\frac{μ}{μ + s})}^{x_{t}}

一个有用的事实是，能够以一种适用于计算的方式将潜在且可观测的变量上的联合概率分布进行分解，这是因为它分开了不同的参数类型：

\begin{matrix} \Pr (X = x, Z = z | θ) \\ = \Pr (Z_{1} = z_{1} | π) \prod_{t = 2}^{T} \Pr (Z_{t} = z_{t} | Z_{t - 1} = z_{t - 1}, A) \prod_{t = 1}^{T} \Pr (X_{t} = x_{t} | Z_{t} = z_{t}, φ) \end{matrix}

其中θ＝(π，A，φ)′。最终，其可能性为

\Pr (X = x | θ) = Σ_{z_{1} = 0}^{1} . . . Σ_{z_{t} = 0}^{1} \Pr (X = X, Z = z | θ)

汇合和评估

在实践中，许多网络中的边线可能会很稀疏，因此可能不会有太多的机会去观察高态计数。为了执行评估，可以根据每天非零计数的平均数μ_e来汇集边线，在预设的天数上求平均。在一些实施例中可以定义两种边线类型。

边线类型I(μ_e≥1)包括那些存在足够数据以评估单独的模型的边线。在一些模型的操作运行中，虽然可以改变百分比，但是对于某些网络，边线的数量已经为～45％。可以在这些边线上的参数中使用最大可能性评估(“MLEs”)。

边线类型II(μ_e＜1)包括共享普通参数集的剩下边线(在某些网络中为～55％)，从而穿过非常稀疏的数据集来“借用”信息。然后提取边线的集合，使得为边线类型II中的预设数量的最大μ_e值之一。在一些实施例中，该数量例如可以是1000。评估每一个这些边线上的参数，然后取这些参数矢量的平均量。可以通过该平均矢量对边线类型II的普通边线模型进行参数化。例如，取最大的1000个μ_e值，有助于保证该模型在低计数边线上不会过于敏感。

备选假设

为了得到GLRT，考虑到要反映被检测的黑客行为类型的备选，通常需要约束整个参数空间。可以有意地使这些备选保持一般化，从而获取行为变化。据推测，黑客行为引起支配模型的参数的MLE的增加。这是由于这样的事实，即黑客必须另外对那个边线的正常行为起作用。具体地，参照OMM，黑客行为可能会导致从非活动转变到活动状态的概率增加：对其中为历史MLE。

在HMM设置中，可用更多的选择。在一些实施例中，测试三个参数变化组合：

H_{p} : p_{01} > {\hat{p}}_{01,} H_{M} : μ > \hat{μ,}

和

H_{B} : p_{01} > {\hat{p}}_{01}

其中

μ > \hat{μ .}

在每种情况中，无效假设在于，该参数或者双参数对等于其历史MLE值。

p-值计算和阈值确定

我们寻求用于观测的GLRT统计量λ_γ的p-值。在温和的规律性条件下，GLRT接近于以自由度等价于Θ中的自由参数数量的x²。然而，当真正的参数不在Θ的边界上时，其不会保持。如果真参数在边界上，将会在λ_γ的分布中获得零点处的点质量。

星形p-值

在两种形状中星形通常更简单。图形中的星数量为节点的数量，因此对于每个节点v，可以对于v附近的星形，可模型化GLRT的分布λ_v＝∑_{e∈outedges(v)}λ_e。令Λ_v带有λ_v的分布。Λ_v可以模型化为Λ_v＝B_vX_v其中B_v～Bernoulli(p_v)和X_v～Gamma(τ_vη_v)。因为总和中的所有λ_e可以是零，Λ_v需要在零点处具有点质量。其可以由B_v捕获。为了模型化Λ_v的分布的正部，伽马分布(Gamma distribution)是有吸引力的，因为当和η_v＝2时，伽马分布(Gamma distribution)等于带有v自由度的x²分布。λ_v的渐近线式分布为分布随机变量的单独零膨胀x²的总和。因此，期望零膨胀伽马(Gamma)能够相当好地模型化λ_v的分布。N个单独的同分布的采样的log-可能性，由下式给出

\begin{matrix} l (p, τ, η) = Σ_{i = 1}^{N} I (λ_{i} = 0) \log (1 - p) + I (λ_{i} \\ > 0) [(τ - 1) \log λ_{i} - λ_{i} / η - \log Γ (τ) - τ \log η] \end{matrix}

为了评估τ_v和η_v，可以使用直接的数值优化。例如，在一些作为测试的实施例中，对于每个在节点v处的中心的星形，可以对10天以上的非重叠30分钟的窗口执行这个数值优化。多个MLE可以表示为对于观测的λ_v，通过计算上p-值，其中F_Г为伽马累积分布函数(“CDF”)。

路径p-值

不同于星形，对于许多系统对应每个路径的λ_γ建模，大量的路径使其极为耗费计算时间和内存需求。取而代之的是，可以为每个单独的边线构建模型，并且可以在路径可能性计算过程中组合边线模型。对于每个边线e，令Λ_e具有e、λ_e的GLRT分数的无效分布。再次，零膨胀伽马分布可以用于对其模型化。然而现在，其仅基于每个边线。再次，渐近地激发该模型的事实在于，λ_e的无效分布为零膨胀x²(如果测试一个参数，则在零点处带有50％的质量)。

令Λ_e＝B_eX_e，其中B_e～Bernoulli(p_e)，X_e～Gamma(τ_e，η)，带有边线具体形状τ_e和共享的比例η。即是，对应每个边线存在两个自由参数p_e和τ_e，以及用于所有边线η的共同比例参数。可以使用来自非重叠30分钟窗口的多个λ_e来评估多个MLE，p_e、τ_e和其可能性类似于上面讨论的关于星形的可能性，但是因为每个边线具有自身的τ_e和共享的η，已经发展出迭代的方案，从而对所有边线在正在评估的η之间轮流交替，然后对于固定的η评估单独的τ_e。因为每个迭代的步骤增加可能性，所以整个过程增加可能性。

一旦适配边线模型，则可以计算路径p-值。令Λ_p＝Σ_e∈pathB_eX_e。3-路径超限p-值为混合超限，由下式给出

\begin{matrix} P (Λ_{p} > λ_{p}) = Σ_{b_{1} = 0}^{1} Σ_{b_{2} = 0}^{1} Σ_{b_{3} = 0}^{1} P (B_{1} = b_{1}) P (B_{2} = b_{2}) P (B_{3} = b_{3}) P (Λ > λ_{p} | b_{1}, b_{2}, b_{3}) \\ = Σ_{b_{1} = 0}^{1} Σ_{b_{2} = 0}^{1} Σ_{b_{3} = 0}^{1} (\prod_{i = 1}^{3} {(1 - {\hat{p}}_{i})}^{1 - b_{i}} {\hat{p}}_{i}^{b_{i}}) (1 - F_{Γ} (λ_{p} | Σ_{j = 1}^{3} b_{i} {\hat{τ}}_{i}, \hat{η})) \end{matrix}

采用带有普通比例参数的伽马随机变量的总和，该总和也为伽马。

阀值的确定

一种确定阀值的方法为，在某段时期为每个没有引入异常的边线仿真每分钟计数。例如，可以持续十天试行该方法。30分钟的窗口，经过10分钟的偏移，可以滑动十天，正好在完整的扫描过程中完成各个窗口中的最低p-值计算。为了实现某误报发现率，比如每天一个报警，例如可以取p-值的结果列表中的第十个最低p-值。由于窗口重叠，我们可以较少保守地选择由相同路径上连续的窗口产生的计数最低p-值作为单个p-值，并找到与非连续的窗口相关联的第十个最小的最低p-值。这样一来，在多个重叠的窗口上的多个警报只贡献一个报警来进行阈值确定，其一般为分析者会如何浏览一系列连续报警。

本发明一些实施例针通过在基本图形结构的边线上使用随时间定义的数据来检测异常活动。因为攻击可以是非常局部化的，本发明的一些实施例局部地位于Time×Graph乘积空间中的窗口中。用于这个局部窗口中的数据的历史模型表现为符合历史行为的期望。k-路径可以特别有效地用于检测通过网络的遍历。

图4所示为根据本发明的实施例，用于在网络上检测异常行为的流程图400。在一些实施例中，可以至少部分执行图4的方法，例如通过图2的计算系统200来执行。在410，确定网络的历史参数以确定正常的活动级别。例如，历史参数可以包含各种时期中在边线上的连接数。在一些实施例中，可以通过考虑两类边线来确立历史参数，这两类边线包括——其中的成员边线具有足够的数据来评估单独模型的第一类边线，以及其中的成员边线没有足够的数据来评估单独模型的第二类边线。在某些实施例中，通过平均矢量使第二类边线参数化，以确保模型对低计数边线不会过于敏感。

在420，枚举网络中的多个路径作为反映网络的图形的一部分。每个计算系统可以是图形中的节点，两个计算系统之间的连接序列可以是图形中的有向边。在430，可以基于滑动窗口使统计模型应用到图形上，以检测异常行为。在一些实施例中，使用观测的马尔可夫模型(“OMM”)。在其它实施例中，使用隐马尔可夫模型(“HMM”)。在一些实施例中，OMM或HMM可以是双态模型(例如，“开”指示用户在场，“关”指示用户是不在场)。然而，一些实施例的方法不必依赖于模型选择。换句话说，可以在各种实施例中使用各种统计模型。在440，向用户显示关于检测的异常行为的数据。

统一主机收集代理(“UHCA”)

可以通过运行安全应用，比如杀毒软件和防火窗，采用主机代理来保护主机。主机代理一般使用统一主机收集代理(“UHCA”)，从主机上传数据到服务器用于异常检测。然而，本发明一些实施例使用UHCA以提供可包含网络连接的数据，该网络连接可以从主机到其它机器、与连接相关联的进程、与进程关联的可执行程序等。

传统上，从二级服务器源收集数据代替直接从主机获取数据。一些实施例将观测的信息考虑在内，以产生新的事件。一些实施例还提供了高效的数据聚集。服务器可以与主机单向通信，在通信中从大量主机代理接收消息。在一些实施例中缺少双向通信以增加效率。

由于在许多实施例中有效的操作不需要完整的数据收集，一些实施例采用用户数据报协议(“UDP”)。这些实施方案可以捕获尽可能多的信息，但如果错过一些信息，通常仍会有效地发挥异常检测的功能。由于在TCP实现的方式中不保证数据包传递，这种“有损”收集方法允许通信实现单向。对比基于TCP的方法，还允许实现更高的数据容量。

在一些实施例中，可以加密UDP数据流从而保护网络数据。在大型系统中，处理是显著问题并且数据管理是困难的。然而，一些实施例能够提供强有力的加密和保证隐私。一些实施例的有损性有助于提供安全性所需的额外处理。

虽然可以使用UDP，一些实施例还能够利用数据包的序列编号来检测数据包丢失。可以基于每个机器，用媒体访问控制(“MAC”)地址加序列号来追踪数据包。该信息也可以单独用于异常检测。例如，在给定的主机上，鉴定者可使用该信息来观察数据。例如，可以在列表中设置可执行的校验，确定特定的主机是否带有恶意软件。

大多数的数据收集基础设施的弱点在于，网络内部的节点之间的可视性有限。为了改善对攻击者的检测，需要增强端点可视性。要实现全面的端点可视性，通常需要在网络主机级上部署软件。并非所有的网络交换机都能够在子网级上收集网络流量数据。同样地，向目标节点建立连接时，DNS数据存活率通常受到缓存的影响，并且需要对手使用主机名，而不是IP地址。

为了改善端点的可视性，一些实施例采用运行于各种操作系统上的跨平台软件代理(以下简称“代理”)，该操作系统包括比如Windows^TM、Mac OS X^TM、Linux^TM、Android^TM等。在一些实施例中，UHCA可以写入Python，使其很容易适应和延伸到各个目标操作系统。然而，可以使用任何期望的编程语言或汇编代码。代理的主要目的可以是数据收集，并且可以设计代理使其对主机操作系统的影响最小。测试表明，代理的一些实施例仅占用单个CPU核心的2-8％使用率。代理可以收集系统状态和事件，并且将它们编译为JavaScript对象符号(“JSON”)记录，也被称为JSON编码日志(“JELs”)。在一些实施例中，所有JELs包含生成时间戳、代理的ID(例如，MAC地址)、代理的IP地址、操作系统类型和记录类型(例如，网络连接状态)。

以相对频繁(例如1-5分钟)的间隔，可以将JELs转发为加密的UDP数据包到一个或多个中央收集服务器。在一些实施例中，可以在代理配置文件中指定多个服务器，使系统横向扩展。代理的收集功能可以包含带有开始进程的镜像的校验和的进程停止和开始信息、网络连接事件日志、运行的进程至建立的网络连接的映射、以及当前网络连接状态。

网络轮询状态

为了检测异常的路径，一些实施例采取由三元组(时间、源IP地址、目标IP地址)值的列表，表示主机之间的网络通信。为了扩展该实施例来利用UHCA数据，代理通常需要通过所有的目标平台，报告统一的主机网络通信信息。在Linux^TM中，可以用procfs(具体地，/proc/tcp和/proc/udp)来生成该数据。OS X^TM和AndroidTM可以实施对netstat调用的输出的解释，尽管这不是最佳的办法。Windows^TM的代理可以使用Python ctypes的视窗IP帮助模块的GetExtendedTcpTable方法(ctypes.windll.iphlpapi.GetExtendedTcpTable)，提供类似于procfs和netstat的网络状态信息。

在一些实施例中，每一秒或任何其它每一段期望时期，对数据进行轮询。当然，轮询越频繁，则有更多的数据将可用于分析，并且很可能捕获更短的连接类型。每秒轮询的缺点在于，代理通常会遗漏短期(即是亚秒)连接。对于许多检测技术，这可能是一个问题，但是一些实施例的焦点在于以交互方式对网络遍历进行检测。在目标节点上，自动遍历甚至正常地需要大于一秒的分辨率来维持状态。

可以有利地使用TCP时间等待状态来解决遗漏短期连接的问题。当客户端通过TCP与服务器通信时，服务器维护TCP连接状态。当通信结束时，服务器通常必须使连接信息保持在TIME_WAIT状态，并且维持一段时间，一般为30秒或更多。这个长时间窗口允许代理去捕获亚秒网络上的通讯信息，否则会遗漏该信息。在后处理过程中，通过测试能够查看在时间等待状态中是否存在没有对应已建立的连接进入记录的进入。可以将任何这样的连接报告为短期连接。

尽管一些实施例只需要三元组的列表，UHCA可以发送尽可能详细的与网络连接状态有关的细节返回到收集服务器，从而为其它应用程序提供额外的信息。例如，可以采用减少较大工作的小量测试数据的脚本或映射，将数据后处理为三元组。其它在网络连接JELs中的域可以包含源和目标端口、连接状态(建立、倾听、等待时间等)、与连接关联的进程ID以及在一分钟的时间窗口或任何其它期望的时间窗口内的连接处于活动的秒数的计数。一些实施例可以利用端口信息以更好地分辨出单独的通信，并且为了检测异常，使用计数信息通过从计数中收集统计信息，比如均值和方差，来建立边线权重。

在测试中，一些带有UHCA的实施例表现出比不带有UHCA的一些实施例近两倍的边线检测率。例如，在总共30条边线的一次测试中，不带有UHCA的实施例检测到30条边线中的14条(46.7％)，而具有UHCA的实施例检测到30条边线中的27条(90％)。该路径是由15条名称边线和15条IP边线做成。不带有UHCA的实施例给出50％的最大理论检测率，带有UHCA的实施例给出100％的最大理论检测率。

下面图5A-D示出了试验中产生的五个测试路径的四个子路径。虽然一些路径含有较多的边线，但为了一致性根据每个路径显示首先的四条边线。在忽略边线的所有情况下，如果该方法检测出最后示出的边线，那么该方法继续检测剩余的边线。如果该方法未能检测最后的边线，则该方法继续忽略所有剩余的边线。

在图5A-D中，用圆圈来描绘节点(即网络主机)，用带有方块端点(名称边线)或者箭头端点(IP边线)且指向目标节点的线条来描绘边线(即网络通信)。用DNS和UHCA标记的条带表示每种方法的检测长度。带条越长，表示的检测路径越长。短的或缺失的带条突出该方法在路径中于何处未检测到边线。

图5A所示为根据本发明的实施例，仅使用名称边线来产生路径的路径图500。该路径显示的检测结果为六边线(6-路径)，其中以主机名查阅产生所有边线。作为预测，通过非UHCA的DNS路径检测方法(以下简称“DNS方法”)成功检测该路径。出人意料的是，虽然UHCA方法之后获得路径并且检测出的剩余的四条边线，但是UHCA方法遗漏了路径中首先的两条边线。

详细分析数据后，确定了包含在路径(第二中继)中的一台功能上用作机构服务器的主机，不断地产生大量新连接。由于在一些实施例中对新的边线行为进行建模，软件预期该服务器创建新的边线。因此，将横穿通过这台服务器的路径视为较少的异常，并且其没有超出报警阈值。相对于简单地确定所有新路径(即，完全由新边线构成的路径)为异常，这样一个令人兴奋的结果证明了一些实施例的模型的有用性。如果没有这样的模式，通过该服务器的所有路径会产生报警，从而增加误报率。

图5B所示为根据本发明的实施例，仅使用IP边线来产生路径的路径图510。该路径是完全以IP边线来产生的7-路径。该试验表现出完全与预期一致。UHCA方法检测到每个边线，而DNS方法没有检测到任何边线。DNS方法根本不能检测这些类型的路径，因为没有由这些类型的网络遍历所产生的DNS活动。

图5C所示为根据本发明的实施例，始于三个名称边线并且结束于一IP边线的路径图520。这是6-路径，其中用名称边线产生首先的三条边线，而用IP边线产生最后的三条边线。DNS方法能够按照预期地检测在先的三个边缘，但此后未能检测到IP边线。UHCA方法能够按照预期地检测到完全的路径。

还对该路径的另一个变体进行了测试，但是为简洁起见没有示出其结果。在这个5-路径中，该路径始于两个IP边线，然后继续连接三条名称边线。UHCA方法检测到完整的路径，而DNS方法只在切换到名称边线后才检测到路径。

图5D所示为根据本发明的实施例，带有交替的名称边线和IP边线路径的路径图530。该路径是一个6通道，其中的边线是由名字边线和IP边线之间进行交替。预测，DNS方法将无法检测该路径，UHCA方法能完全检测该路径。UHCA方法确实检测到完整的路径，但是DNS方法能够检测路径的第一边线。数据分析表明，该边线是DNS方法发现的不相关的3-路径的一部分。该边线巧合地与该测试路径的边线相关。

这些初步结果令人鼓舞，因为它们验证了UHCA方法能够促进检测攻击者的假设。该结果还验证了执行DNS方法获得了接近预期的检测率。

基于异常进行数据收集

不可能在每个主机上对所有时间收集所有可用的数据，因为这样的数据量可能是巨大的，特别是在大型网络中。替代地，可以根据本文所述的异常检测方法确定的主机上的异常级别，按比例地收集数据。对于低级别异常，可以收集基本网络连接(如DNS查阅)和过程信息。对于中等级别，沿着更完全的网络行为数据(如NetFlow数据)，可以收集更多的进程统计和服务。对于高级别，沿着完整的用于网络可视性的数据包捕获，可以收集包含进程统计、服务、打开文件等的完整主机行为信息。在一些情况下，这只可以在网络的局部区域进行，并且还需要通过异常检测来触发运行。在那些主机上其将会提供更高质量的检测能力，但是也提供了高质量的鉴定信息，用于分析谁在响应异常。

在一些实施例中，可以通过本文所描述的路径遍历方法来确定异常级别。根据在每个节点处收集的当前数据，通过节点遍历的路径可以被视为只有稍微异常。然而，如果在这个路径中的节点表现出中等级别的异常，那么可以在路径中在每个主机收集更全面的数据。这可以反馈到算法中，以提供更好的重现精度，然后该算法可以制定有关此路径的更高质量的决策(例如，较低的误报率和较高的正报率(true positive rate))。如果新的更高重现精度的数据继续被视为异常，可以在主机上启用完整的数据包捕获和进程统计，同时提供高质量的异常检测的数据和完整的鉴定数据以给安全响应人员使用。

图6所示为根据本发明的实施例使用UHCA来收集与异常有关的数据的方法流程图600。在一些实施例中，例如通过图2的计算系统200来至少部分地执行图6的方法。在610，该方法开始于周期性地轮询主机代理以获得数据。在620，从多个与网络通信有关的主机收集数据，并且网络中各自的主机发送和接收该数据。在一些实施例中，可以通过UDP以单向通信从主机代理发送所收集的数据。对每个主机收集的数据可以包含带有开始进程镜像的校验和的进程停止和开始信息、网络连接事件日志、运行的进程至建立的网络连接的映射、以及当前网络连接状态。所收集的数据可以包括主机之间网络通信指示值的三元组列表，每个三元组可以包括通信发生时的时间、源IP地址和目标IP地址。

在一些实施例中，可以按相应的主机上的异常级别按比例收集数据。对于被视为从基线概率方法的偏差的低级别异常，可以收集基本的网络连通性和进程信息。对于中等级别的异常，可以收集更多的进程统计和服务以及更完全的网络行为数据。对于高级别的异常，可以收集完整的主机行为信息和可以执行完整的数据包捕获。

在630，在预定的时间内分析收集的数据以检测异常行为。在640，TCP等待状态用于检测短时期的连接；并且在650，使用计数信息建立计数权重。在660，当检测到异常行为，提供在预定的时间内发生异常行为的指示。

根据本发明的实施例，可以通过计算机程序产品来执行图4和6中实施的方法步骤，通过非线性自适应处理器的编码指令至少执行图4和6中所描述的方法。可以在计算机可读介质上包含该计算机程序产品。计算机可读介质可以是但不限于硬盘驱动器、闪存设备、随机存取存储器、磁带或用于存储数据的任何其它这样的介质。计算机程序产品可以包含用于控制非线性自适应处理器来实现在图4和6中描述的方法编码的指令，该指令也可以存储在计算机可读介质上。

可以在硬件、软件或其混合的实施中实现计算机程序产品。该计算机程序产品可以由互相操作通信的多个模块构成，并且该模块被设计为传递信息或指令到显示器。计算机程序产品可以被配置为在通用计算机或ASIC上运行。

将容易理解到，在本文附图中一般描述和说明的本发明各种实施例的组成部分，可被布置和设计成各种广泛的不同的结构。因此，在附图中表示的本发明实施例的详细描述，并不旨在限制本发明所要求保护的范围，而是仅仅代表本发明所选择的实施例。

在整个说明书中描述的本发明的特征、结构或特性可以通过任何合适的方式在一个或多个实施例中结合。例如，整个说明书中的参考引用“某些实施例”、“一些实施例”或类似语句的意思是，特定的特征、结构或与实施例关联的描述特性被包括在本发明的至少一个实施例中。因此，出现的用语“在某些实施例中”、“在一些实施例中”、“在其它实施例中”或说明书中类似的语句，不一定都引用同一组的实施例，并且描述的特征、结构或特性可以在一个或多个实施例中以任何合适的方式进行组合。

应当注意的是，在整个说明书中对特征、优点或类似语言的参考并不意味着本发明可实现的所有特征和优点必须是本发明的任何单个实施例或者在其中。相反，将引用特征和优点的语句理解为特定的特征、结构或与实施例关联的描述特性被包括在本发明的至少一个实施例中。因此，在整个说明书中，特征和优点的讨论以及类似的语句可以但不一定引用相同的实施例。

此外，描述的特征、优点和本发明的特性可以通过任何合适的方式在一个或多个实施例中结合。本领域技术人员将认识到，本发明能够在没有一个或多个特定实施例的具体特征或优点的情况下实践。其它情况，在某些实施例中可能认出的附加特征和优点可能不存在于本发明的所有实施例中。

具有普通技能的本领域技术人员将容易理解到，上面讨论的本发明可以用不同的顺序步骤实施和/或与公开的不同元件相比的不同配置下的元件来实践。因此，尽管本发明已基于这些优选实施例进行描述，本领域技术人员显而易见到某些修改、变化和替换的构造会是显而易见的，而且处于本发明的精神和范围之内。为了确定本发明的边界和范围，因此需要参照所附的权利要求书。

Claims

1.一种计算机执行的方法，包括：

通过计算系统确定网络的历史参数，以确定正常的活动级别；

通过计算系统枚举网络中的多个路径作为反映网络的图形的一部分，其中在网络中的每个计算系统包括图形中的节点，并且两个计算系统之间的连接序列包括图形中的有向边；

基于滑动窗口，通过计算系统将马尔可夫边线分辨模型应用到该图形中的该多个路径；以及

通过计算系统基于采用的马尔可夫边线分辨模型检测异常行为。

2.根据权利要求1所述的计算机执行的方法，进一步包括：

向用户显示与检测的异常行为有关的数据。

3.根据权利要求1所述的计算机执行的方法，其中所述马尔可夫边线分辨模型包括观测的马尔可夫模型(OMM)或者隐马尔可夫模型(HMM)。

4.根据权利要求3所述的计算机执行的方法，其中

OMM或者HMM包括双态模型，

“开”状态指示用户在场，以及

“关”状态指示用户不在场。

5.根据权利要求1所述的计算机执行的方法，其中所述计算系统通过考虑至少两个边线类型来确定历史参数。

6.根据权利要求5所述的计算机执行的方法，其中第一边线类型包括具有足够的数据来评估单独模型的成员边线，并且第二边线类型包括在其中没有足够的数据来评估单独模型的成员边线。

7.根据权利要求6所述的计算机执行的方法，其中通过平均矢量使第二类边线参数化以确保模型对低计数边线不会过于敏感。

8.根据权利要求1所述的计算机执行的方法，进一步包括：

通过计算系统从多个与网络通信有关的主机收集数据，并且网络中各自的主机发送和接收该网络通信；以及

在预定的时间内分析收集的数据以检测异常行为。

9.一种装置，包括：

至少一个处理器；以及

储存计算机程序指令的存储器，其中当至少一个处理器执行所述指令时，配置所述计算机程序指令触发至少一个处理器执行：

确定网络的历史参数以确定正常的活动级别，

枚举网络中的多个路径作为反映网络的图形的一部分，其中在网络中的每个计算系统包括图形中的节点，并且两个计算系统之间的连接序列包括图形中的有向边，

基于滑动窗口,将统计模型应用到图形中的多个路径，以及

基于采用的统计模型检测异常行为。

10.根据权利要求9所述的装置，其中所述计算机程序指令进一步配置为触发至少一个处理器向用户显示与检测的异常行为有关的数据。

11.根据权利要求9所述的装置，其中所述统计模型包括观测的马尔可夫模型(OMM)或者隐马尔可夫模型(HMM)。

12.根据权利要求11所述的装置，其中

OMM或者HMM包括双态模型，

“开”状态指示用户在场，以及

“关”状态指示用户不在场。

13.根据权利要求9所述的装置，其中所述计算机程序指令进一步配置为触发至少一个处理器通过考虑至少两个边线类型来确定历史参数。

14.根据权利要求13所述的装置，其中第一边线类型包括具有足够的数据来评估单独模型的成员边线，并且第二边线类型包括在其中没有足够的数据来评估单独模型的成员边线。

15.根据权利要求14所述的装置，其中通过平均矢量使第二类边线参数化以确保模型对低计数边线不会过于敏感。

16.根据权利要求9所述的装置，其中所述计算机程序指令进一步配置为触发至少一个处理器执行：

从多个与网络通信有关的主机收集数据，并且网络中各自的主机发送和接收该网络通信，以及

在预定的时间内分析收集的数据以检测异常行为。

17.一种系统，包括：

储存计算机程序指令的存储器，该计算机程序指令配置为检测网络中的异常行为；以及

配置为执行储存的计算机程序指令的多个处理核心，其中所述多个处理核心配置为：

确定网络的历史参数以确定正常的活动级别，

基于滑动窗口,将统计模型应用到图形中的多个路径，以及

基于采用的统计模型检测异常行为。

18.根据权利要求17所述的系统，其中所述多个处理核心进一步配置为向用户显示与检测的异常行为有关的数据。

19.根据权利要求17所述的系统，其中所述统计模型包括观测的马尔可夫模型(OMM)或者隐马尔可夫模型(HMM)。

20.根据权利要求19所述的系统，其中

OMM或者HMM包括双态模型，

“开”状态指示用户在场，以及

“关”状态指示用户不在场。

21.根据权利要求17所述的系统，其中

所述多个处理核心进一步配置为通过考虑至少两个边线类型来确定历史参数，

第一边线类型包括具有足够的数据来评估单独模型的成员边线，以及

第二边线类型包括在其中没有足够的数据来评估单独模型的成员边线。

22.根据权利要求21所述的系统，其中通过平均矢量使第二类边线参数化以确保模型对低计数边线不会过于敏感。

23.根据权利要求17所述的系统，其中所述多个处理核心进一步配置为：

在预定的时间内分析收集的数据以检测异常行为。

24.一种计算机执行的方法，包括：

通过计算系统从多个与网络通信有关的主机收集数据，并且网络中各自的主机发送和接收该网络通信；

通过计算系统在预定的时间内分析收集的数据以检测异常行为；以及

当检测到异常行为时，通过计算系统提供在预定的时间内发生异常行为的指示。

25.根据权利要求24所述的计算机执行的方法，其中通过用户数据报协议(UDP)以单向通信从主机代理发送所收集的数据。

26.根据权利要求24所述的计算机执行的方法，对每个主机收集的数据包括带有开始进程镜像的校验和的进程停止和开始信息、网络连接事件日志、运行的进程至建立的网络连接的映射、以及当前网络连接状态。

27.根据权利要求24所述的计算机执行的方法，其中所收集的数据包括主机之间网络通信指示值的三元组列表，每个三元组包括通信发生时的时间、源因特网协议(IP)地址和目标IP地址。

28.根据权利要求24所述的计算机执行的方法，其中的数据收集进一步包括周期性地轮询主机代理以获得数据。

29.根据权利要求24所述的计算机执行的方法，进一步包括：

通过计算系统使用传输控制协议(TCP)时间等待状态以收集在短期连接上的信息。

30.根据权利要求24所述的计算机执行的方法，进一步包括：

由计算系统，使用计数信息，通过计算计数上的平均和变化的统计量，建立计数权重。

31.根据权利要求24所述的计算机执行的方法，其中按照各自的主机上的异常级别按比例收集数据，

对于被视为从基线概率方法的偏差的低级别异常，计算系统收集基本的网络连通性和进程信息，

对于中等级别的异常，计算系统收集更多的进程统计和服务和更完全的网络行为数据，以及

对于高级别的异常，计算机系统收集完整的主机行为信息和执行完整的数据包捕获。