CN105051696A - 用于处理网络元数据的改进的流式处理方法及系统 - Google Patents

用于处理网络元数据的改进的流式处理方法及系统 Download PDF

Info

Publication number
CN105051696A
CN105051696A CN201480012616.9A CN201480012616A CN105051696A CN 105051696 A CN105051696 A CN 105051696A CN 201480012616 A CN201480012616 A CN 201480012616A CN 105051696 A CN105051696 A CN 105051696A
Authority
CN
China
Prior art keywords
network
element data
network element
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480012616.9A
Other languages
English (en)
Inventor
伊戈尔·巴拉比纳
亚历山大·韦莱德尼特斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NETFLOW LOGIC CORP
Original Assignee
NETFLOW LOGIC CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/830,924 external-priority patent/US20140075557A1/en
Application filed by NETFLOW LOGIC CORP filed Critical NETFLOW LOGIC CORP
Publication of CN105051696A publication Critical patent/CN105051696A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3079—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by reporting only the changes of the monitored data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/875—Monitoring of systems including the internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明描述用于处理网络元数据的改进的方法及系统。可由做出关于网络元数据的特性及关于网络元数据向由所述网络元数据携带的信息的消费者的呈现的基于策略的决定的动态实例化可执行软件模块处理网络元数据。所述网络元数据可按类型分类且一类型内的各子类可按唯一指纹值映射到定义。所述指纹值可用以将网络元数据子类与相关策略及转换规则匹配。对于例如NetFlow？v9的基于模板的网络元数据，本发明的实施例可连续监视网络流量的未知模板，捕获模板定义且向管理员通知定制策略及转化规则不存在的模板。转化模块可有效将已选的类型及/或子类的网络元数据转化成替代元数据格式。

Description

用于处理网络元数据的改进的流式处理方法及系统
技术领域
一般来说，本发明涉及网络监视及事件管理。更特定来说，其涉及通过网络监视活动获得的网络元数据的处理及所述元数据的随后处理，此可有效导致以及时方式向元数据的消费方报告有用信息。
背景技术
网络监视为企业及服务提供商通常使用的关键信息技术(IT)功能，其涉及监视在内部网络上发生的活动以找到与性能、行为不当主机、可疑用户活动等等相关的问题。由于由多种网络装置提供的信息使网络监视成为可能。所述信息通常已被称为网络元数据，即，描述网络上的活动的一类信息，其对通过网络传输的剩余信息起补充及互补作用。
系统日志为通常用于网络监视的一种类型的网络元数据。系统日志为用于记录程序消息的标准且为原本不能够通信的装置提供了向管理员通知问题或性能的手段。系统日志通常用于计算机系统管理及安全审核以及广义信息性、分析及调试消息。其由跨越多种平台的多种装置(如打印机及路由器)及接收器支持。因此，系统日志可用以将来自许多不同类型的系统的日志数据集成到中央存储库中。
近来，被各种供应商称为NetFlow、jFlow、sFlow等等的另一类型的网络元数据已被引入作为标准网络流量的一部分(下文通常称为“NetFlow”)。NetFlow是已成为流量监视的工业标准的用于收集IP流量信息的网络协议。可由(例如)路由器、交换机、防火墙、入侵检测系统(IDS)、入侵保护系统(IPS)、网络地址转换(NAT)实体及许多其它装置的多种网络装置产生NetFlow。然而，直到最近，NetFlow网络元数据仅被用于事后网络监督目的，例如网络拓扑发现、定位网络吞吐量瓶颈、服务水平协定(SLA)有效性检查等等。NetFlow元数据的此类有限使用可通常归因于由网络装置产生的信息的高容量及高递送速率、信息源的多样性及将额外信息流集成到现有事件分析器中的整体复杂性。更特定来说，在实时设定中NetFlow元数据产生方通常已产生比消费方能够分析及使用的信息更多的信息。举例来说，连接到网络上的大型交换机或路由器的单个介质可能每秒产生400,000条NetFlow记录。
现今的系统日志收集器、系统日志分析器、安全信息管理(SIM)系统、安全事件管理(SEM)系统、安全信息及事件管理(SIEM)系统等等(下文统称为“SIEM系统”)要么不能够接收及分析NetFlow，要么限于处理NetFlow数据包中所含有的基本信息，要么以比通常产生NetFlow数据包的速率低很多的速率处理此类数据包。
可靠的网络监视协议(例如，NetFlowv9(RFC3954)及IPFIX(RFC5101及相关的IETFRFC))的出现显著扩大了在网络安全及智能网络管理领域中使用网络元数据的机会。同时，由于上文所识别的约束，现今的SIEM系统对网络监视信息的利用一般不超出仅报告所观测到的字节及数据包计数的范围。
发明内容
网络管理者及网络安全专业人员不断地面对且力图解决业界中通常被称为“大数据”的问题。由所述大数据问题产生的一些难点包括不能够分析及存储通常以不同格式及结构存在的大量机器产生的数据。通常经历的问题可总结如下：
1.要实时分析太多数据以及时洞察网络条件。
2.数据以不同格式从网络上的不同装置类型到达，使来自不同装置类型的数据的相关变得困难且缓慢；以及
3.要存储太多数据(举例来说，用于后期分析及/或用于符合数据保持要求)。
本发明通过提供实时分析大量元数据、在单一监视系统中将大量元数据转化成允许与其它数据便捷地相关的通用格式及通过实时数据减少技术(例如，数据包有效性检查、筛选、聚合及重复数据删除)使传入数据的量的大幅减小的能力来提供能够解决与大数据相关联的全部上文识别的问题的系统及方法。
本发明的实施例能够核对网络元数据的传入数据包的有效性且丢弃格式错误或不适当消息。实施例还能够实时检查且筛选网络元数据的传入数据包以识别它们的信息内容及段的相关方面，或投送传入网络元数据的不同流以用于本发明的处理引擎内的差异化处理。此类差异化处理中包含了通过基于能够由网络管理者配置并在传入消息的早期检查期间确定的标准丢弃特定消息或选定的消息流来减小输出元数据流量的机会。此使网络管理者能够持续不断地或响应于特定网络条件临时地使网络分析集中。例如，网络管理者可选择集中精力于系统内仅由网络上的边缘装置产生的网络元数据以调查可能的入侵事件。
本发明的实施例进一步能够进一步聚合包含于网络元数据的传入数据包中的信息内容，且使用捕获相同信息但产生比原始元数据流小很多的下游显示、分析及存储要求的一个或少很多的其它数据包取代大量相关数据包。
本发明的实施例进一步能够对由网络装置产生的正常元数据流的内容进行重复数据删除。因为传入流量通常在网络内通过一系列网络装置投送到其目的装置，且因为各网络装置通常对于横穿其的每一流产生网络元数据，所以产生促成业界中的大数据问题的显著量的冗余元数据。
本发明涉及能够接收呈多种数据格式的任意结构的数据(举例来说，网络或机器产生的元数据)、有效处理所述网络元数据，且以多种数据格式转发所接收到的网络元数据及/或从原始网络元数据派生出的网络元数据的系统及方法。可由多种网络装置(例如，路由器、交换机、防火墙、入侵检测系统(IDS)、入侵保护系统(IPS)、网络地址转换(NAT)实体及许多其它装置)产生网络元数据。以包含(但不限于)NetFlow及其变体(举例来说，jFlow、cflowd、sFlow、IPFIX)、SNMP、SMTP、系统日志等等的许多格式产生所述网络元数据信息。本文所描述的方法及系统能够以包含(但不限于)NetFlow及其版本(jFlow、cflowd、sFlow、IPFIX)、SNMP、SMTP、系统日志、OpenFlow等等的许多格式输出网络元数据信息。另外，本发明的实施例能够以足以允许提供实时或近实时网络服务的速率输出选定类型的网络元数据信息。结果，所述系统能够在具有网络元数据的N(N≥1)个产生方及原始或派生网络元数据的M(M≥1)个消费方的部署中提供有意义的服务。可了解，本发明的特定实施例与RFC5982中所反映的IPFIX中介器的定义相符。
本发明的实施例提供用于识别接收到的网络元数据的性质、特性及/或类型(“类”)且将接收到的信息组织成类别或类的方法及系统。当与NetFlowv9及基于模板且可具有广泛多样的内容及用途的类似消息相关联使用时，此可特别有用。当被归类或分类后，可进一步根据零、一或多个类特定处理规则或根据默认处理规则(“策略”)处理每一个别类成员实例。本发明的此方面使得能够细粒度处理无限多种网络元数据类型。
通过在操作的早期阶段识别传入的网络元数据的类，实施例能够有效组织网络元数据的处理，且在适当的环境中，通过筛选、合并及/或消除系统管理员不感兴趣的网络元数据部分来减少所需要的处理量，借此有助于系统的实时或近实时操作且潜在减少网络元数据收集器处的存储要求。举例来说，当特定量的网络流量横穿网络中的多个装置时，可从每一所横穿装置产生含有冗余信息的网络元数据。取决于SIEM系统内定义的监视的焦点或区域，可希望从被转发到SIEM系统的元数据流筛选、聚合、合并或消除含有冗余信息的元数据记录。可引入从针对所述SIEM系统的网络元数据的某些类移除冗余而同时对于针对收集器的所述流保存全部此类元数据的策略。
因此，应了解，可以支持及/或与操作于网络内的SIEM系统及/或元数据收集器的策略或焦点区域合作的方式定义由本发明的实施例实施的策略。
为网络管理及安全目的，可引入为了检测可能指示安全攻击的重要或不平常网络事件、报告网络上的流量尖峰、检测网络上的攻击、促进更好使用网络资源及/或识别网络上运行的应用程序的目的的策略。策略可为通用或基于时间的，且可将其应用到通过网络的特定类或子组的网络元数据。本发明的实施例预期设置与多个策略模块合作操作的多条工作线程以增加系统吞吐量及性能。
可引入经特殊化或经调节以与特定类或子类的网络元数据一起使用的工作线程以进一步提升系统性能及吞吐量。此类特殊化工作线程及策略模块可并行对网络元数据流的不同部分执行处理操作以提升系统性能及吞吐量。此外，响应于巨量的特定类或子类的网络元数据，特殊化工作线程及/或策略模块的多个实例可被实例化以并行操作以进一步提升系统性能及吞吐量。
举例来说，本发明的实施例提供检测驻留在内部网络上的外部控制的网络主机(“僵尸网络构件”)的独特能力。考虑由中央控制器(“僵尸网络主站”)操作的受感染的网络主机。通常，检测网络主机上的恶性内容需要在那个主机上安装专用的插件模块。此方法无法防备不可由任何基于主机的手段检测到的复杂恶意代理(“rootkit”)。本发明的实施例引入能够识别内部网络上的僵尸网络主站与僵尸网络构件之间的通信动作且向安全系统通知所述动作的策略。
由于网络元数据信息的使用，由本发明提供的智能实现比暴露到网络流量的类似目的装置所提供的智能高的可信度。举例来说，暴露到恶意流量的内嵌入侵检测系统(IDS)或入侵检测系统(IPS)的安全可能受到危害或遭受拒绝服务(DoS)攻击，而本发明可部署在此类攻击者无法访问的内部网络上。
此外，本发明使得能够转换网络元数据，这使其适合于需要网络元数据混淆的部署。
根据本发明的另一实施例，可以流式处理方式来实施本方法及系统，即，当输入网络元数据到达时处理所述输入网络元数据(“实时或近实时”)而无需依靠所述网络元数据的持续存储。本发明的此实施例允许在具有有限存储器及存储容量的计算机上部署所述系统及方法，此使所述实施例尤其适合于在计算云中的部署。
根据一策略或多个策略处理类成员实例之后，本发明的实施例可提供用于将所述策略的应用结果转化成适合于由所述经转化的网络元数据或原始网络元数据的接收方进一步处理的零、一或多个表示(“转化器”)的有效方法。结果，本文揭示的系统及方法特别适合于其输出可被引向现有不同组件(例如，适于与系统日志元数据一起使用的SIEM系统)的现有环境中的部署。
本发明的实施例提供可为特定的一或多个类的网络元数据及/或输出格式定制的多种转化器，借此增加系统的吞吐量以更好地启用网络上的实时或近实时服务。此外，响应于大量的特定类或子类的网络元数据，经定制的工作线程及/或转化模块的多个实例可经实例化以并行操作，从而进一步提升系统性能及吞吐量。
此外，本发明的实施例能够通过附加消息鉴别码来保证经转化的网络元数据的完整性。本发明的此实施例使得复杂的网络元数据接收方能够验证所接收到的信息的真伪。
本发明的又另一实施例为以对现有网络生态系统来说透明的样式来部署所述系统及方法的能力。此实施例不要求现有网络组件的配置的任何改变。
本发明的另一实施例提供用于以视觉或以文本术语或其组合形式描述网络元数据处理及转化规则的方法及设备。在所述策略的描述完整且被验证为非矛盾后，适用到服从所述规则的类成员的策略及转化器可被实例化为从一或多个网络元数据处理及转化规则定义同时派生的一或多个可执行模块。结果，跨越多个模块实现系统策略一致性。此外，实施所述策略及转化规则的模块的二元性质使所述系统能够以明显超过解释相当的处理规则的环境中的处理速率的速率处理输入的网络元数据。
附图说明
为了更清楚地确定本发明，现在将参考附图通过举例的方式描述一些实施例，其中：
图1提供软件定义的网络系统的简化示意图，所述软件定义的网络系统包含产生能够根据本发明的实施例进行分析的元数据的多种网络装置；
图2提供软件定义的网络系统的简化示意图，所述软件定义的网络系统包含产生元数据的多种网络装置及根据本发明的实施例的用于在分析此类元数据的同时管理所述网络的系统；
图3提供基于云的网络系统的简化示意图，所述基于云的网络系统包含产生能够根据本发明的实施例的进行分析的元数据的多种网络装置；
图4提供基于云的网络系统的简化示意图，所述基于云的网络系统包含根据本发明的实施例的合作以使所述网络自动化同时分析元数据的多种处理模块；
图5提供包含根据本发明的实施例的合作以分析元数据的模块的软件定义网络及基于云的计算环境的稍微简化示意图；
图6为说明本发明的实施例的简化示意图，在所述实施例中为了提供按需NetFlow信息而并入有短期存储装置；
图7提供说明本发明的替代实施例的另一简化示意图，在所述替代实施例中为了提供按需NetFlow信息而并入有短期存储装置；以及
图8提供说明本发明的实施例的简化示意图，在所述实施例中可使用地理空间分析检测僵尸网络。
具体实施方式
一般来说，本发明涉及网络监视及事件管理。更特定来说，其涉及处理作为网络监视活动的结果而获得的网络元数据及所述元数据的随后处理，此可导致以及时方式将有用的信息报告到事件管理实体。
在以下描述中，仅出于说明的目的在网络元数据处理的背景下揭示本发明。然而，应了解，本发明适合于更广泛的多种应用及用途，且本发明的某些实施例适用于除了网络元数据处理之外的背景中。举例来说，在OpenFlow兼容环境中，系统可从网络接收NetFlow信息且输出指令到OpenFlow控制器。
在本发明的一个实施例中，可使用NetFlow到系统日志转化器(“NF2SL”)来实施所述方法及系统，NetFlow到系统日志转化器是使得能够将NetFlow版本1到8、NetFlowv9、jFlow、sflowd、sFlow、NetStream、IPFIX及类似(“NetFlow”)产生方与能够处理系统日志的任何SIEM系统集成的软件程序。通过将由网络上的所述NetFlow产生方产生的网络元数据转化成网络监视系统的通用语-系统日志来实现所述集成。可根据由NF2SL管理员建立的策略、规则及优先权执行NetFlow信息到对应的系统日志信息的映射。
用于软件定义联网的NFI
软件定义联网(SDN)是将网络控制(关于数据包转发的决策)与网络拓扑(网络装置的物理连接性)分离的联网体系结构概念。所述SDN体系结构的典型实施方案将决策过程放在分离的计算装置(例如，服务器)上，且将数据包转发留在传统的网络装置(例如，交换机及路由器)上。
参看图1，在示范性实施例中，借助于OpenFlow协议100来实行控制平面与数据转发平面之间的通信。此协议使被称为OpenFlow控制器101的中央装置能够将流量引导通过其域中的一或多个OpenFlow兼容网络装置102。一般来说，OpenFlow控制器101可基于特定特性(例如，最少的跳跃数目、链路带宽或延时)来设立通信路径。
OpenFlow控制器101使用流表抽象(flowtableabstraction)设立通信路径，在所述流表抽象中，流由数据包字段的集合表示，横穿网络装置的各数据包被与所述数据包字段匹配。当经控制的网络装置102遇到不具有有关的转发指令的数据包时，网络装置102将所述数据包转发到OpenFlow控制器101以检查及提供关于将来如何处理类似数据包的指令。
OpenFlow控制器101基于OSI层2(本地网络连接性)及OSI第3级(路由)网络级信息做出其决定。OpenFlow控制器101可用的信息范围使得不可能通过利用关于应用程序及网络用户的身份的信息更有效地充分利用网络基础架构容量。
通过引入根据由系统管理员设定的策略或一组策略消化更高级信息(例如，OSI层7信息(应用)及用户身份)且考虑到此类更高级信息来引导OpenFLow控制器101进行较低级网络数据包转发决定的额外组件，可缓解OpenFlow控制器101的此缺陷。
参看图2，在示范性实施例中，通过代理，NFI服务器110提供更高级信息，所述更高级信息包含(但不限于)OSI第7级应用级数据，所述应用级数据使OpenFlow控制器101能够做出涉及如何利用网络的更智能决定。
进一步参看图2，NFI服务器110处理由OpenFlow100兼容联网装置102产生的NetFlow信息111，且将合并的流数据传达到实施为能够与OpenFlow控制器101通信的应用程序的NFIOpenFlow代理113。在示范性实施例中，可借助于支持NFIOpenFlow代理113与OpenFlow控制器101之间的双向通信的OpenFlow“北向”API114来实施NFIOpenFlow代理113与OpenFlow控制器101之间的通信。
应了解，NFIOpenFlow代理113可与多个OpenFlow控制器101通信且可从多个NFI服务器110接收流相关信息。还应了解，NFI服务器110可将流相关信息发送到多个NFIOpenFlow代理113。
NFIOpenFLow代理113经由受保护的通信信道112从NFI服务器110接收关于所述流的信息，所述流信息包含(但不限于)OSI第7级应用程序信息及用户身份信息。
NFI服务器110接收由网络装置102产生的NetFlow消息中的OSI第7级应用程序信息，且从用户身份感知NetFlow消息(例如，NetFlow安全事件日志(NSEL)或在OSI层2扩展中(例如思科安全组标签(SGT)))派生用户信息。
可借助于分类(例如，伴有应用程序标识的PANA-L7或其它类似应用程序分类)供应OSI第7级应用程序信息。可由标准加密手段(例如，SSL/TLS或DTLS协议)保护通信信道112。
在示范性实施例中，NFIOpenFlow代理113能够借助于OpenFlow“北向”API114从OpenFlow控制器101检索关于OSI层2(本地网络连接性)及OSI层3(路由)的信息。应了解，NFIOpenFlow代理113可从自NFI服务器110或通过其它构件接收到的流数据推断OSI层2(本地网络连接性)及OSI层3(路由)信息。
此外，NFIOpenFlow代理113能够将从NFI服务器110接收到的OSI第7级应用程序信息及用户身份信息映射到由系统管理员提供的策略，确定由网络装置102组成的网络的状态是否满足所述策略，且如果有需要就指示OpenFlow控制器101应用校正动作。
示范性NFIOpenFlow代理113策略可包含：如由与网络流量相关联的思科SGT所确定，强制将特定网络带宽分配到特定用户或群组的应用程序；对于由IP地址前缀或VLAN标签分类的子网，强制执行SLA；等等。示范性策略可被表达为数字阈值、以相对术语表达(举例来说，“群组A网络带宽消耗不应超过群组B的网络带宽消耗”)或以模糊术语表达(举例来说，“如果网络流量低，可增加被分配到群组A的网络带宽”)。可以许多形式表达所述策略，举例来说且没有限制，表达为XML文档、表达为专有格式等等。所述策略可基于从OSI第7级应用程序信息、用户或群组身份、用户或群组角色、时刻等等派生出的应用程序类型。
应了解，本发明可用以增加企业网络、数据中心、服务提供者网络及公共及私有云环境中的服务器的利用及质量。
还应了解，NFIOpenFlow代理113能够利用从NFI服务器110接收到的NetFlow信息以监视网络的健康且在潜在故障发生之前报告它们。在示范性实施例中，可通过利用NetFlow协议测量横穿网络装置接口的数据包的平均大小作出关于即将到来的网络故障的结论。所述平均数据包大小的明显降低可指示更大程度的网络数据包分片，其通常指示故障硬件。当平均数据包大小降低到特定阈值之下时，NFI服务器110可向NFIOpenFlow代理113通知此事件。接下来，NFIOpenFlow代理113可指导OpenFlow控制器101通过重新路由流量绕过有问题的网络装置及/或向系统管理员通知所述问题来采取校正动作。
在另一示范性实施例中，NFI服务器110可通过将流量速率按容量及经处理数据包的散布与预设定或动态计算的阈值比较来预报网络故障。流报告到达时间散布与经计算的或预设定阈值的比较可为另一NFI服务器110网络故障报告标准。
应了解，可借助于基于模糊逻辑的算法、统计测量及其它方法计算此类网络故障阈值，且可使用线性预测算法(例如，自回归模型、移动平均模型或其它预测分析方法)来预测网络故障。还应了解，NFIOpenFlow代理113可基于从多个NFI服务器110接收到的信息作出其决定。
此外，应了解，用以控制网络装置102的数据平面的协议可与OpenFlow不同，所述控制平面实施方案可与OpenFlow控制器101不同，用以与所述控制平面通信的所述API可与OpenFlow“北向”API114不同，且NFIOpenFlow代理113可与所述控制平面同地或在远程。在同地的情况下，NFIOpenFlow代理113可利用本地编程API或使用网络协议与控制平面交互。
将应用级信息集成到数据包转发功能中的明显益处为网络管理员可简易地表达网络带宽利用策略。此导致对现有网络资源的更优使用且由于现有SLA的更好实行而增加顾客的满意度。
用于基础架构即服务的NFI
基础架构即服务(IaaS)为云计算设置模型，其中组织将包含服务器、网络及存储装置的计算操作外包给服务提供者。所述提供者拥有、操作且维护硬件。另外，个别组织还可共用他们的现有本地计算资源且提供限于由组织独占使用的私有IaaS产品(offering)。
参看图3，OpenStack为经设计以控制包含服务器、存储装置及联网装置的大批计算资源及通过被称为OpenStack仪表板120的控制台管理那些资源的供应商独立云操作系统。
在示范性实施例中，可由服务提供者使用所述OpenStack系统管理其IaaS产品或由组织使用所述OpenStack系统以管理其自己的计算资源共用池。
进一步参看图3，OpenStack系统提供被称为OpenStackAPI124(OpenStack计算、OpenStack对象存储、OpenStack身份服务及OpenStack图像存储)的基于网的API集合，其允许设置且操纵云中部署的虚拟装置。OpenStackAPI124使云运营商能够设置云基础架构，包含虚拟机(VM)实例、存储及身份服务，且操纵云123中部署的虚拟化装置125。所述OpenStack系统提供许多工具，例如cURL、rest-客户机、诺瓦计算机(nova)等等以利用所述OpenStack系统服务，例如启动虚拟装置125、检查虚拟装置125的状态、关闭虚拟装置125等等。
参看图4，可靠的OpenStackAPI124提供了通过利用由硬件或虚拟网络装置102报告的NetFlow信息111而使基于OpenStack的系统设置及维护自动化的机会。此外，借助于NFI服务器110，由VM管理程序报告的NetFlow111信息提供对虚拟化装置125的状态的完全洞察。
进一步参看图4，NFI服务器110处理由硬件或虚拟网络装置102及虚拟化装置125产生的NetFlow信息111，且将合并的流数据传达到被实施为能够与云123中所部署的OpenStack控制的虚拟化装置125通信的应用程序的NFIOpenStack代理122。在示范性实施例中，可借助于支持NFIOpenStack代理113与OpenStack控制的云123之间的双向通信的OpenStackAPI124实施NFIOpenStack代理122与OpenStack控制的云123之间的通信。
进一步参看图4，在示范性实施例中，NFI服务器110提供网络流信息，包含(但不限于)OSI第7级应用级数据，所述OSI第7级应用数据使NFIOpenStack代理122能够做出如何利用云125计算资源的智能决定。
NFIOpenStack代理122经由受保护的通信信道121从NFI服务器110接收关于所述流的信息，所述信息包含(但不限于)OSI第7级应用程序信息及用户身份信息。
可借助于分类(例如，伴有应用程序标识的PANA-L7或其它类似应用程序分类)供应所述OSI第7级应用程序信息。可由标准加密手段(例如，SSL/TLS或DTLS协议)保护通信信道121。
NFI服务器110接收由网络装置102产生的NetFlow消息中的OSI第7级应用程序信息，且自用户身份感知NetFlow消息(例如，NetFlow安全事件日志(NSEL)或在OSI层2扩展中(例如思科安全组标签(SGT)))派生用户信息。
在示范性实施例中，系统管理员在NFIOpenStack代理122上为虚拟化装置125设置及维护而配置策略。所述策略可(没有任何限制)被表达为XML文档、以专有格式表达等等。所述策略可基于从OSI第7级应用程序信息、用户或群组身份、用户或群组角色、时刻等等派生出的应用程序类型。
由系统管理员在NFIOpenStack代理122上配置的示范性策略可为：当对特定应用程序的需要增加时创建额外虚拟化装置125、将额外资源设置到现有虚拟化装置125、将现有虚拟化装置125迁移到云123内的更强大的硬件、关闭闲置虚拟化装置125等等。
通过利用NetFlow111信息，NFIOpenStack代理122能够使云123管理自动化，因此减少云提供者或云拥有者的运营成本且改进对物理硬件资源的利用。
应了解，OpenStack为云操作系统的例子且本文揭示的方法适用于任何供应商专用或通用云操作系统。
用于虚拟化环境的NFI
应了解，与NFIOpenFlow代理及NFIOpenStack代理组合的NFI服务器成为集成虚拟化环境的关键，所述集成虚拟化环境包含基于OpenFlow的软件定义网络及OpenStack驱动的云基础架构。
图5说明NFI服务器110在包含软件定义联网及云计算环境的集成设定中的应用。
进一步参看图5，NFI服务器110处理由硬件或虚拟网络装置102及虚拟化装置125产生的NetFlow信息111，且将合并的流数据传达到被实施为能够与云123中所部署的OpenStack控制的虚拟化装置125通信的应用程序的NFIOpenStack代理122。在示范性实施例中，可借助于支持NFIOpenStack代理113与OpenStack控制的云123之间的双向通信的OpenStackAPI124来实施NFIOpenStack代理122与OpenStack控制的云123之间的通信。
进一步参看图5，NFI服务器110处理由OpenFlow兼容联网装置102及虚拟化装置125产生的NetFlow信息111，且将合并的流数据传达到被实施为能够与OpenFlow控制器101通信的应用程序的NFIOpenFlow代理113。在示范性实施例中，可借助于支持NFIOpenFlow代理113与OpenFlow控制器101之间的双向通信的OpenFlow“北向”API114来实施NFIOpenFlow代理113与OpenFlow控制器101之间的通信。
由于NFI服务器110在虚拟化计算环境中的独特位置，其与OpenStack控制的云123及OpenFlow控制器101的交互导致可靠的控制机构，所述控制机构统合了由OpenStack协议驱动的云123计算资源及由OpenFlow控制器101监视的网络资源，因此创造流控制计算平台的新颖计算范例。
应了解，NFI服务器110可与多个云123及多个OpenFlow控制器101交互。
还应了解，为了与软件定义网络交互，可利用除了OpenFlow之外的协议及可运用除了OpenStack之外的API以控制虚拟化计算资源。
按需NetFlow信息
流信息数据非常多：如同思科ASR1000的单个中档路由器能够每秒产生400,000条NetFlow记录，这导致每天约1.6TB的数据。由于数据的高速率及容量，NFI策略中的许多经设计以合并及/或筛选数据且仅将大幅减少的本质信息报告到后端系统，例如(没有限制)SIEM系统。
通常，由NFI提供的经合并的信息对所述后端系统来说足够，但在特定情况下，尤其在与安全相关的情形下，所述后端系统可能需要更多关于紧接所关注事件之前的条件和紧接在所述事件之后的条件的信息。通过将事件背景考虑在内，后端系统可更从容地确定所观测到的事件的范围及后果。
举例来说，考虑SIEM系统接收到关于用户A对敏感装置D做的配置改变的通知的情况。乍一看，此事件不值得深究，因为用户A可被授权以配置装置D且具有足够的凭据以访问装置D且做出配置改变。但如果SIEM系统也从NFI接收数据，那么其现在能够使所述配置改变动作与网络上的发出配置改变请求的位置相关。从不同于在配置改变事件之时与用户A相关联的网络位置的网络位置发布配置改变请求的情况能够表示伪装攻击。
应了解，上文伪装攻击无法仅由鉴别及授权系统检测到。从鉴别及授权系统的观点来看，由于行为者持有有效访问凭据，所以所述配置改变完全合法。
本发明中揭示的NFI按需流信息机构的实施例使SIEM系统能够接收使网络信息与其它机器数据事后相关所需要的信息，而无需连续处理可为庞大的全部入站网络数据流。
参看图6，在另一示范性实施例中，NFI服务器110从一或多个网络装置接收NetFlow数据111。借助于NFI策略141的经配置的集合，NFI服务器110处理NetFlow数据111且以SIEM系统140理解的格式将合并的NetFlow数据142报告到SIEM系统140。
与此类动作同时，NFI服务器110将接收到的NetFlow数据111传播到短期存储装置145，其中NetFlow数据111被放置于最左时间窗144中。
在示范性实施例中，短期存储装置145为(可能)在RAM中、SSD或某其它快速及/或本地存储装置上的具有小存取时间的存储库。逻辑上，可将短期存储装置145分裂成可配置数目的区段，举例来说，时间窗144，时间窗144中的每一者含有在可配置周期Δt中接收到的NetFlow数据111信息。短期存储装置145通常实施滑动窗方案，其中在各周期Δt之后，将扩增的NetFlow格式143的最右时间窗144转发到长期存储装置146，短期存储装置145逻辑移位且创建新的最左时间窗144以存储传入的NetFlow数据111信息。长期存储装置146的存取时间及存储容量通常大于或等于短期存储装置145的存取时间及存储容量。
应了解，扩增的NetFlow格式143可与原始NetFlow数据111相同或可含有额外标记信息以用于长期存储装置中。
在示范性实施例中，SIEM系统140可执行消耗由NFI服务器110供应的经合并NetFlow数据142及任选的其它机器数据153的一组策略150。如果在来自一组策略150的策略的执行过程中，SIEM系统140检测到在时间T发生的事件151，那么SIEM系统140可发出请求152到NFI服务器110以提供在时间间隔[T-t，T+t]期间由NFI服务器110接收到的额外NetFlow111数据，其中t为由SIEM系统140选择的间隔半宽。
在接收到SIEM系统140的请求152时，NFI服务器110基于所请求的时间间隔[T-t，T+t]的开始时间及结束时间确定所请求的信息在存储装置中的位置。假设在请求152时，短期存储装置145含有对应于时间间隔[T1，T2]的NetFlow111数据，T2≥T1，且所请求的时间间隔[T-t，T+t]在短期存储装置145的时间间隔[T1，T2]内，那么NFI服务器110检索来自短期存储装置145的所请求信息且将所检索的信息转发156到SIEM系统140(任选地使用额外处理)。
如果所请求的时间间隔[T-t，T+t]超出短期存储装置145的时间间隔[T1，T2]的范围，那么NFI服务器110试图自长期存储装置146检索所请求的信息，且如果检索成功，在任选地使用额外处理之后，作为响应将所检索的信息转发156到SIEM系统140。
如果所请求的时间间隔[T-t，T+t]分裂到短期存储装置145的时间间隔[T1，T2]与长期存储装置146之间，那么NFI服务器110自短期存储装置146检索所请求的信息的第一部分及自长期存储装置146检索所请求的信息的第二部分，串接信息的第一经检索部分及第二经检索部分，且作为响应将所述经串接信息转发156到SIEM系统140(任选地使用额外处理)。
在所请求的时间间隔[T-t，T+t]的右边界T+t超出长期存储装置146中的信息的时间范围或所请求的时间间隔[T-t，T+t]的左边界T-t超出短期存储装置145中的信息的时间范围的情况中，NFI服务器110检索截断的时间范围的信息且作为响应向SIEM系统通知所述截断156。
在所请求的时间间隔[T-t，T+t]超出由短期存储装置145及长期存储装置146覆盖的时间范围的情况中，NFI服务器110作为响应向SIEM系统通知错误条件156。
当分析需要立即报告或动作的事件时，与现有NetFlow收集器使用的传统单层NetFLow信息存储相比，本文揭示的新颖的多层NetFlow数据存储方法提供显著的优势。对于需要立即报告或动作的事件，在快速短期存储装置145中搜索所请求的信息明显比在较慢的长期存储装置146中快，此导致SIEM系统140的更好响应时间。
应了解，SIEM系统140对额外信息的请求152可包含除了指定时间间隔之外的其它参数，例如NetFlow记录的来源、特定流信息、例如(没有限制)源或目的IP地址或其组合。还应了解，短期存储装置145及长期存储装置146中的NetFlow信息可根据时间及根据基于与NetFlow有关的信息(例如(没有限制)源或目的IP地址、源或目的OSI层4端口等等)的零、一或多个键值而被索引。
进一步参看图7，应了解，可由NFI服务器110、除了最初经处理NetFlow数据111的NFI服务器110的实例之外的NFI服务器110的实例及/或除了NFI服务器110之外的过程操作短期存储装置145及长期存储装置146。还应了解，可由NFI服务器110的不同实例或由除了NFI服务器110之外的过程操作短期存储装置145及长期存储装置146。此外，对短期存储装置145及长期存储装置146的存取时间可为相同的，且可存在多个两个以上存储层。还应了解，长期存储装置146为任选组件，且当短期存储装置145中的信息老化超过经配置的使用期限时可丢弃所述信息。
用于使网络与本文揭示的其它机器数据相关联的新颖的方法使得能够检测攻击，当仅把网络或其它机器数据考虑在内时所述攻击为不可检测的。用于本文揭示的网络信息存储的新颖方法允许在“仅当需要时”的基础上设置网络信息而无需任何初期处理。
基于地理空间分析的受僵尸网络控制的软件检测(见图8)
当复杂的恶意软件代理与他们的网络主站通信时，其运用复杂的躲避检测技术。举例来说，代理可以在随机时间间隔处联系网络主站，通过基于上次通信会话期间接收到的信息选择下个网络主站来与多个网络主站通信，使命令与控制信道流量模式混淆等等。
方法
使用内嵌聚类分析算法(BIRCH-使用阶层的平衡迭代减少及聚类)以分类出站流量。BIRCH因有效确定“异常值”-即，并非一般底层模式的部分的数据点而众所周知。
特征设定
S＝{Si}，Si∈{freq(dist，az)，app，f1，f2，f3，f4，T}
freq-通信频率
dist-到目的主机的物理距离
az-方位
app-L7应用id或L4目的端口
f1-流速率，流/h
f2-每流的数据包数目
f3-数据包大小，B
f4-流量速率，bps
基于流记录中发现的源或目的IP地址计算“dist”及“az”。类似功能，“freq”为到特定地理区域的通信频率。应用程序被分类成群组，所述群组中的每一者与指派到受监视主机(“标准应用”)的类别相关联。
报告标准
对由非标准应用程序或具有不寻常流量特性的标准应用程序与对等体的独特或罕见通信进行警示。
渗透测试，配置验证器
随着网络的大小增长，其拓扑变得更加复杂。拓扑复杂度又增加配置复杂度且使其更趋向出错。存在帮助系统管理员评定在他的管理下的网络的配置及安全态势并检查其有效性的许多工具。这些工具使用多种方法以确定网络中的弱点。举例来说，渗透测试工具“攻击”组织的防火墙，配置验证工具试图找出鉴别及授权策略中的漏洞，IDS/IPS系统观测流入及流出组织的网络的流量等等。这些保护技术是长期开发的且足够成熟来阻止已知威胁且有时甚至可阻止未预测到的威胁。
现今的网络防御态势的问题为其静态特性：经配置之后且可能经验证之后，网络防御被视为牢不可破的，就如同第二次世界大战之前的马其诺防线。通常会应用一次保护措施，或者最多一段时间内评定一次所述保护措施，从而使组织在检查之间中得不到任何真正的安全态势状态的质量保证。
现今的网络防御的又另一问题为如何设置及配置这些保护元素的方法的多样性。保护栅格中全部节点都来源于单一供应商是非常罕见的。通常的IT做法是使用明显来自不同的网络技术提供者的同类最佳装置。不同及复杂的配置方法增加了现今的多层网络安全部署中的错误可能性。
NetFlow为使得能够创造能够提供组织的联网基础架构的动态质量控制的工具的技术。本发明揭示的NFI技术允许引入可监视贯穿组织的网络流量且识别过去由静态配置的防御监督的流实例的任意策略。
虽然已鉴于若干实施例描述本发明，但存在属于本发明的范围内的替代、修改、置换及取代等效物。尽管已提供小节标题以协助描述本发明，但这些标题仅为说明性的且不希望限制本发明的范围。
应注意，存在许多实施本发明的方法及设备的替代方法。因此，希望随附权利要求书被解释为包含属于本发明的真正精神及范围内的全部这些替代、修改、置换及取代等效物。

Claims (14)

1.一种改进的软件定义网络管理方法，所述网络包含网络控制器且使用一或多种网络协议传输网络流量，所述网络包含装置，至少一些所述装置通过入口接口接收网络流量且通过出口接口传输网络流量，所述方法包括以下步骤：
在数据处理系统中以至少一种数据格式从多个源接收网络元数据；
当所述网络元数据在所述网络上在产生所述网络元数据的网络装置与能够存储所述网络元数据的装置之间转移时处理所述网络元数据以从其提取有用信息；以及
作为所述元数据处理步骤的结果，确定与操作于所述网络上的应用程序相关的信息；以及
使用所述应用程序信息以使所述网络控制器能够执行对所述软件定义网络的更有效管理。
2.根据权利要求1所述的方法，其进一步包括以下步骤：
作为所述元数据处理步骤的结果，确定与存在于所述网络上的用户相关的信息；以及
使用所述用户信息以使所述网络控制器能够执行对所述软件定义网络的更有效管理。
3.一种改进的基于云的虚拟计算环境管理方法，所述环境包含云操作系统及云环境控制器且使用一或多种网络协议传输网络流量，所述网络包含装置，至少一些所述装置通过入口接口接收网络流量且通过出口接口传输网络流量，所述方法包括以下步骤：
在所述基于云的虚拟计算环境中以至少一种数据格式从多个源接收网络元数据；
当所述网络元数据在所述环境中在产生所述网络元数据的网络装置与能够存储所述网络元数据的装置之间转移时处理所述网络元数据以从其提取有用信息；以及
作为所述元数据处理步骤的结果，确定与在所述环境中操作的应用程序相关的信息；以及
使用所述应用程序信息以使所述云环境控制器能够执行对所述基于云的虚拟计算环境的更有效管理。
4.根据权利要求3所述的方法，其进一步包括以下步骤：
作为所述元数据处理步骤的结果，确定与存在于所述环境中的用户相关的信息；以及
使用所述用户信息以使所述云环境控制器能够执行对所述基于云的虚拟计算环境的更有效管理。
5.一种在装置使用一或多种网络协议传输网络流量的网络中提供对与经识别的潜在安全相关网络事件相关的网络元数据的按需访问的方法，所述网络包含装置，至少一些所述装置通过入口接口接收网络流量且通过出口接口传输网络流量，所述方法包括以下步骤：
根据经配置的网络元数据处理策略的集合以流式处理方式处理网络元数据；
在定义的时间周期中在快速存取存储机构中留存一组按时间索引的网络元数据；
识别潜在安全相关网络事件；以及
从所述按时间索引的组提供在时间上与所述经识别的潜在安全相关网络事件相关的网络元数据的集合；以及
执行分析以使网络元数据的所述集合与所述经识别的潜在安全相关网络事件相关以进一步表征所述经识别的潜在安全相关网络事件的特性。
6.根据权利要求5所述的方法，其进一步包括从所述快速存取存储机构移除已选网络元数据以促进新的网络元数据到达所述快速存取存储机构的步骤。
7.一种检测网络连接装置上的受僵尸网络控制的软件的方法，其包括：
应用内嵌聚类分析算法以将网络上的出站流量分类；
所述聚类分析算法将到可识别的地理位置处的网络主机的通信频率及数据通信模式考虑在内，所述数据通信模式例如，没有限制：应用类型、流速率、每流数据包的数目、各流中平均数据包大小及流量速率；
基于所述应用步骤，识别所述网络上的并非为所述网络上的流量的通用模式的部分的出站流量；以及
在所述网络上的并非为所述网络上的流量的所述通用模式的部分的出站流量的情况下传达警告。
8.一种改进的软件定义网络管理系统，所述网络包含网络控制器且使用一或多种网络协议传输网络流量，所述网络包含装置，至少一些所述装置通过入口接口接收网络流量且通过出口接口传输网络流量且产生与所述网络流量相关的网络元数据，所述管理系统包括：
至少一个入口接口，其用于以至少一种数据格式从软件定义网络中的多个源接收网络元数据；
处理引擎，其用于当所述网络元数据在所述网络上在产生所述网络元数据的网络装置与能够存储所述网络元数据的装置之间转移时处理所述网络元数据以从其提取有用信息；
所述处理引擎确定与操作于所述网络上的应用程序相关的信息且使用所述应用程序信息以使所述网络控制器能够执行对所述软件定义网络的更有效管理。
9.根据权利要求8所述的管理系统，其中所述处理引擎作为所述元数据处理步骤的结果而确定与存在于所述网络上的用户相关的信息；以及使用所述用户信息以使所述网络控制器能够执行对所述软件定义网络的更有效管理。
10.一种改进的基于云的虚拟计算环境管理系统，所述环境包含云操作系统及使用一或多种网络协议传输网络流量的云环境控制器，所述网络包含装置，至少一些所述装置通过入口接口接收网络流量且通过出口接口传输网络流量，所述管理系统进一步包括：
接口，其用于以至少一种数据格式从所述基于云的虚拟计算环境中的多个源接收网络元数据；
处理引擎，其用于当所述网络元数据在所述环境中在产生所述网络元数据的网络装置与能够存储所述网络元数据的装置之间转移时处理所述网络元数据以从其提取有用信息；
所述处理引擎作为所述元数据处理步骤的结果而确定与操作于所述环境中的应用程序相关的信息；以及使用所述应用程序信息以使所述云环境控制器能够执行对所述基于云的虚拟计算环境的更有效管理。
11.根据权利要求10所述的管理系统，其中所述处理引擎作为所述元数据处理步骤的结果而确定与存在于所述环境中的所述用户相关的信息；以及使用所述用户信息以使所述云环境控制器能够执行对所述基于云的虚拟计算环境的更有效管理。
12.一种用于在装置使用一或多种网络协议传输网络流量的网络中提供对与经识别的潜在安全相关网络事件相关的网络元数据的按需访问的系统，所述网络包含装置，至少一些装置通过入口接口接收网络流量且通过出口接口传输网络流量，所述系统包括：
处理引擎，其用于根据经配置的网络元数据处理策略集合以流式处理方式处理网络元数据；
快速存取存储机构，其用于在定义的时间周期中留存一组按时间索引的网络元数据；
所述处理引擎识别潜在安全相关网络事件且从所述按时间索引的组提供在时间上与所述经识别的潜在安全相关网络事件相关的网络元数据的集合；以及
分析引擎，其用于执行分析以使所述网络元数据集合与所述经识别的潜在安全相关网络事件相关以进一步表征所述经识别的潜在安全相关网络事件的特性。
13.根据权利要求12所述的系统，其进一步包括用于从所述快速存取存储机构移除已选网络元数据以促进新的网络元数据到达所述快速存取存储机构的存储器管理引擎。
14.一种用于检测网络连接装置上的受僵尸网络控制的软件的系统，其包括：
处理引擎，其用于应用内嵌聚类分析算法以将网络上的出站流量分类；
所述聚类分析算法将到可识别的地理位置处的网络主机的通信频率及数据通信模式考虑在内，所述数据通信模式例如，没有限制：应用类型、流速率、每流数据包的数目、各流中平均数据包大小及流量速率；
分析引擎，其基于所述聚类分析算法的结果识别所述网络上的并非为所述网络上的流量的通用模式的部分的出站流量；以及
警告产生引擎，其用于在所述网络上的并非为所述网络上的流量的所述通用模式的部分的出站流量的情况下传达警告。
CN201480012616.9A 2013-01-10 2014-01-09 用于处理网络元数据的改进的流式处理方法及系统 Pending CN105051696A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361751243P 2013-01-10 2013-01-10
US61/751,243 2013-01-10
US13/830,924 2013-03-14
US13/830,924 US20140075557A1 (en) 2012-09-11 2013-03-14 Streaming Method and System for Processing Network Metadata
PCT/US2014/010932 WO2014110293A1 (en) 2013-01-10 2014-01-09 An improved streaming method and system for processing network metadata

Publications (1)

Publication Number Publication Date
CN105051696A true CN105051696A (zh) 2015-11-11

Family

ID=51167380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480012616.9A Pending CN105051696A (zh) 2013-01-10 2014-01-09 用于处理网络元数据的改进的流式处理方法及系统

Country Status (6)

Country Link
JP (1) JP2016508353A (zh)
KR (1) KR20150105436A (zh)
CN (1) CN105051696A (zh)
CA (1) CA2897664A1 (zh)
RU (1) RU2015132628A (zh)
WO (1) WO2014110293A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248959A (zh) * 2017-06-30 2017-10-13 联想(北京)有限公司 一种流量优化方法及装置
CN107665224A (zh) * 2016-07-29 2018-02-06 北京京东尚科信息技术有限公司 扫描hdfs冷数据的方法、系统和装置
CN110417680A (zh) * 2019-08-16 2019-11-05 北京伏羲车联信息科技有限公司 车载网络流式数据优化方法及装置
CN110612702A (zh) * 2017-05-31 2019-12-24 思科技术公司 针对不一致的意图规范检查
CN111292523A (zh) * 2018-12-06 2020-06-16 中国信息通信科技集团有限公司 网络智能体系统
CN112256938A (zh) * 2020-12-23 2021-01-22 畅捷通信息技术股份有限公司 一种消息元数据的处理方法、装置、介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112073214A (zh) * 2015-06-29 2020-12-11 华为技术有限公司 一种实现应用的方法及业务控制器
US10936966B2 (en) 2016-02-23 2021-03-02 At&T Intellectual Property I, L.P. Agent for learning and optimization execution
IL272230B1 (en) * 2017-08-03 2024-05-01 Drivenets Ltd A web-aware element and a method for using it
KR102045844B1 (ko) 2018-04-18 2019-11-18 한국전자통신연구원 클라우드 시스템의 플로우 기반 트래픽 분석 방법 및 장치
JP7294764B2 (ja) * 2019-12-05 2023-06-20 日本電信電話株式会社 フォーマット変換装置及び方法並びにプログラム
RU2738337C1 (ru) * 2020-04-30 2020-12-11 Общество С Ограниченной Ответственностью "Группа Айби" Система и способ обнаружения интеллектуальных ботов и защиты от них
CN113507461B (zh) * 2021-07-01 2022-11-29 交通运输信息安全中心有限公司 基于大数据的网络监控系统及网络监控方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020083175A1 (en) * 2000-10-17 2002-06-27 Wanwall, Inc. (A Delaware Corporation) Methods and apparatus for protecting against overload conditions on nodes of a distributed network
US7633944B1 (en) * 2006-05-12 2009-12-15 Juniper Networks, Inc. Managing timeouts for dynamic flow capture and monitoring of packet flows
US20100071065A1 (en) * 2008-09-18 2010-03-18 Alcatel Lucent Infiltration of malware communications
US20110004876A1 (en) * 2009-07-01 2011-01-06 Riverbed Technology, Inc. Network Traffic Processing Pipeline for Virtual Machines in a Network Device
CN101977146A (zh) * 2010-10-25 2011-02-16 成都飞鱼星科技开发有限公司 一种网络流量智能控制器及其实现方法
US20120096525A1 (en) * 2010-10-15 2012-04-19 Anne Louise Bolgert Supporting Compliance in a Cloud Environment
WO2012122435A2 (en) * 2011-03-08 2012-09-13 Riverbed Technology, Inc. Accessing network traffic data at multiple time scales and levels of detail

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020083175A1 (en) * 2000-10-17 2002-06-27 Wanwall, Inc. (A Delaware Corporation) Methods and apparatus for protecting against overload conditions on nodes of a distributed network
US7633944B1 (en) * 2006-05-12 2009-12-15 Juniper Networks, Inc. Managing timeouts for dynamic flow capture and monitoring of packet flows
US20100071065A1 (en) * 2008-09-18 2010-03-18 Alcatel Lucent Infiltration of malware communications
US20110004876A1 (en) * 2009-07-01 2011-01-06 Riverbed Technology, Inc. Network Traffic Processing Pipeline for Virtual Machines in a Network Device
CN102483702A (zh) * 2009-07-01 2012-05-30 河床技术股份有限公司 用于网络设备中的虚拟机的网络话务处理流水线
US20120096525A1 (en) * 2010-10-15 2012-04-19 Anne Louise Bolgert Supporting Compliance in a Cloud Environment
CN101977146A (zh) * 2010-10-25 2011-02-16 成都飞鱼星科技开发有限公司 一种网络流量智能控制器及其实现方法
WO2012122435A2 (en) * 2011-03-08 2012-09-13 Riverbed Technology, Inc. Accessing network traffic data at multiple time scales and levels of detail

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665224A (zh) * 2016-07-29 2018-02-06 北京京东尚科信息技术有限公司 扫描hdfs冷数据的方法、系统和装置
CN107665224B (zh) * 2016-07-29 2021-04-30 北京京东尚科信息技术有限公司 扫描hdfs冷数据的方法、系统和装置
CN110612702A (zh) * 2017-05-31 2019-12-24 思科技术公司 针对不一致的意图规范检查
CN110612702B (zh) * 2017-05-31 2022-08-02 思科技术公司 针对不一致的意图规范检查
CN107248959A (zh) * 2017-06-30 2017-10-13 联想(北京)有限公司 一种流量优化方法及装置
CN111292523A (zh) * 2018-12-06 2020-06-16 中国信息通信科技集团有限公司 网络智能体系统
CN110417680A (zh) * 2019-08-16 2019-11-05 北京伏羲车联信息科技有限公司 车载网络流式数据优化方法及装置
CN112256938A (zh) * 2020-12-23 2021-01-22 畅捷通信息技术股份有限公司 一种消息元数据的处理方法、装置、介质

Also Published As

Publication number Publication date
RU2015132628A (ru) 2017-02-15
JP2016508353A (ja) 2016-03-17
KR20150105436A (ko) 2015-09-16
CA2897664A1 (en) 2014-07-17
WO2014110293A1 (en) 2014-07-17

Similar Documents

Publication Publication Date Title
CN105051696A (zh) 用于处理网络元数据的改进的流式处理方法及系统
US11902322B2 (en) Method, apparatus, and system to map network reachability
US9860154B2 (en) Streaming method and system for processing network metadata
US10154053B2 (en) Method and apparatus for grouping features into bins with selected bin boundaries for use in anomaly detection
CN107683597B (zh) 用于异常检测的网络行为数据收集和分析
US10355949B2 (en) Behavioral network intelligence system and method thereof
US10079846B2 (en) Domain name system (DNS) based anomaly detection
US11140187B2 (en) Learning internal ranges from network traffic data to augment anomaly detection systems
CN107667505B (zh) 用于监控和管理数据中心的系统及方法
US10505819B2 (en) Method and apparatus for computing cell density based rareness for use in anomaly detection
CN109766695A (zh) 一种基于融合决策的网络安全态势感知方法和系统
CN104115463A (zh) 用于处理网络元数据的流式传输方法和系统
Neu et al. Lightweight IPS for port scan in OpenFlow SDN networks
Krishnan et al. OpenStackDP: a scalable network security framework for SDN-based OpenStack cloud infrastructure
Prazeres et al. Engineering the application of machine learning in an IDS based on IoT traffic flow
Viegas et al. A resilient stream learning intrusion detection mechanism for real-time analysis of network traffic
Demırcı et al. Virtual security functions and their placement in software defined networks: A survey
Raja et al. An empirical study for the traffic flow rate prediction-based anomaly detection in software-defined networking: a challenging overview
Hammad et al. Enhancing Network Intrusion Recovery in SDN with machine learning: an innovative approach
CN114978604A (zh) 一种用于软件定义业务感知的安全网关系统
Bhuyan et al. Alert management and anomaly prevention techniques
Ghosh et al. Managing high volume data for network attack detection using real-time flow filtering
KR102649649B1 (ko) 이기종방화벽 정책최적화장치, 이를 포함하는 시스템, 및 이를 이용한 이기종방화벽 정책최적화방법
Nooribakhsh et al. F-STONE: A Fast Real-Time DDOS Attack Detection Method Using an Improved Historical Memory Management.
Ciungu Improving IoT security with software defined networking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151111