CN103026345B - 用于事件监测优先级的动态多维模式 - Google Patents

用于事件监测优先级的动态多维模式 Download PDF

Info

Publication number
CN103026345B
CN103026345B CN201180037823.6A CN201180037823A CN103026345B CN 103026345 B CN103026345 B CN 103026345B CN 201180037823 A CN201180037823 A CN 201180037823A CN 103026345 B CN103026345 B CN 103026345B
Authority
CN
China
Prior art keywords
domain model
domain
event
field
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180037823.6A
Other languages
English (en)
Other versions
CN103026345A (zh
Inventor
D.沙兰
S.陈
C.F.比金
H.S.耶曼泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Antite Software Co., Ltd.
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN103026345A publication Critical patent/CN103026345A/zh
Application granted granted Critical
Publication of CN103026345B publication Critical patent/CN103026345B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/542Event management; Broadcasting; Multicasting; Notifications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Abstract

向域模式映射事件数据包括接收(301)针对事件的事件数据,其中在提供事件数据的数据源的源模式中布置所述事件数据。从多个域模式中确定(302)最佳配合域模式,其中所述域模式包括来自源模式的不同字段。将源模式中的事件数据映射(303)到最佳配合域模式。

Description

用于事件监测优先级的动态多维模式
本申请要求享有2010年6月2日提交的美国临时专利申请序号为61/350,593的优先权,通过引用将其全文并入。
背景技术
网络安全管理一般涉及从网络设备收集反映网络活动和设备操作的数据以及分析数据以增强安全性。例如,可以分析数据以识别网络上的攻击。如果攻击正在进行,则可以执行应对措施以对抗攻击或减轻攻击造成的损害。
收集的数据可以源于网络设备和应用产生的消息或日志文件中的条目,所述网络设备和应用可以包括防火墙、入侵检测系统、服务器、路由器、交换机。一开始可以在由对应报告设备使用的一组预定字段中组织从报告设备接收的所收集数据。然后可以对收集的数据进行语法分析并将其映射到由监测系统使用的模式中,从而使得可以将来自不同设备的数据彼此均匀相关,供监测系统进行威胁分析。监测系统模式可以具有不同的字段,那么报告设备模式或报告设备可以在其模式的用户定义字段中放入不同数据,或者不同的报告设备可以在不同字段中放入相同类型的数据。因此,难以向监测系统模式中精确地映射报告设备数据,这可能影响分析所收集数据以便发现安全威胁的精确度。
附图说明
在以下描述中,参考以下附图详细描述实施例。
图1图示出了根据实施例的系统;
图2图示出了根据实施例的主要事件表;
图3图示出了根据实施例用于映射和分析事件数据的方法;
图4A-B图示出了根据实施例用于确定最佳配合域的方法;
图5图示出了根据实施例用于确定最佳配合域的方法;
图6图示出了根据实施例基于事件相关百分比确定域模式候选组的方法;
图7图示出了基于域相关百分比确定域模式候选组的方法;以及
图8图示出了可以用于根据实施例的方法和系统的计算机系统。
具体实施方式
出于简单和说明性目的,主要通过参考其示例描述实施例的原理。在以下描述中,阐述了很多特定细节以便提供对实施例的透彻理解。将认识到的是,可以在不限于所有特定细节的情况下来实践实施例。而且,可以在各种组合中一起使用实施例。
根据实施例,信息和事件管理系统(IEM)从包括网络设备和应用的源中收集事件数据,并将收集的事件数据与域相关。域是数据的类别或类型。例如,来自信用卡交易的事件数据与信用卡域相关联;来自股票交易的事件数据与股票域相关联;来自人力资源应用的事件数据与人力资源域相关联,等等。域可以包括垂直行业,所述垂直行业包括相关行业。可以针对每个域存储域模式。模式可以包括与域相关的包括字段的数据结构。
IEM确定最佳配合域模式,并且将收集的事件数据映射到其最佳配合域模式。如果没有发现域或字段,则IEM还可以自动创建域及其域特有字段。IEM允许对收集事件数据并向IEM发送该数据的网络设备或中间系统而言将是透明的字段的存储。通过将收集的事件数据与域相关联,可以更精确地分析数据以确定安全威胁。
事件是可以监测并分析的任何活动。针对事件捕获的数据被称为事件数据。可以对捕获的事件数据执行分析以确定事件是否与威胁相关联。可以聚集事件数据用于威胁分析。威胁可能与欺诈行为或其他不当、可疑或未被授权的行为相关联。与事件相关联的活动的示例可以包括登录、注销、通过网络发送数据、发送电子邮件、访问应用、读取或写入数据、执行交易等。常见威胁的示例是网络安全威胁,借此用户试图通过网络获得对机密信息,诸如社会保险号、信用卡号等的未授权访问。
图1图示出了根据实施例包括IEM110的环境100。环境100包括产生针对事件的事件数据的数据源101,事件数据由IEM110收集并存储在数据储存器111中。数据储存器111可以包括数据库或其他类型的数据存储系统。数据储存器111可以包括用于执行存储器中处理的存储器和/或用于数据库存储和操作的非易失性储存器。数据储存器111存储由IEM110使用的任何数据以对事件数据进行相关和分析。
数据源101可以包括如下所述的网络设备、应用或其他类型的数据源,其可操作用于提供可以被分析的事件数据,例如用以识别威胁。可以在由数据源101产生的日志或消息中捕获事件数据。例如,入侵检测系统(IDS)、入侵防护系统(IPS)、漏洞评估工具、防火墙、防病毒工具、防垃圾邮件工具、加密工具和商业应用可以产生描述由源执行的活动的日志。例如,可以由日志文件或系统记录服务器、提示、警报、网络分组、电子邮件或通知页中的条目提供事件数据。
事件数据能够包括关于产生事件的设备或应用以及何时从事件源接收事件(“接收时间”)的信息。接收时间可以是日期/时间戳,并且事件源是网络端点标识符(例如IP地址或介质访问控制(MAC)地址)和/或源的描述,可能包括关于产品出售商和版本的信息。数据/时间戳、源信息和其他信息用于将事件与用户相关并分析事件发现威胁。
图1中将数据源101的示例示为数据库(DB)、UNIX、App1和App2。DB和UNIX是包括诸如服务器的网络设备的系统,并且可以产生事件数据。App1和App2是例如分别由DB系统主控(host)的应用,并且还产生事件数据。App1和App2可以是商业应用,诸如针对信用卡和股票交易的金融应用、IT应用、人力资源应用或任何其他类型的应用。
数据源101的其他示例可以包括安全检测和代理系统、访问和策略控制、核心业务日志和日志统一程序、网络硬件、加密设备和物理安全。安全检测和代理系统的示例包括IDS、IPS、多功能安全设备、漏洞评估和管理、防病毒、诱捕系统、威胁响应技术和网络监测。访问和策略控制系统的示例包括访问和身份管理、虚拟专用网(VPN)、高速缓存引擎、防火墙和安全策略管理。核心业务日志的示例和日志统一程序包括操作系统日志、数据库审计日志、应用日志、日志统一程序、网络服务器日志和管理控制台。网络设备的示例包括路由器和交换机。加密设备的示例包括数据安全和完整性。物理安全系统的示例包括卡-密钥读取器、生物识别技术、防窃报警器和火警。
连接器102可以包括由机器可读指令构成的代码,其从数据源101向IEM110提供事件数据。连接器102可以提供来自数据源101的有效率的实时(或接近实时)的本地事件数据捕获和过滤。连接器102例如从事件日志或消息收集事件数据。通过连接器102收集的事件数据被示为“EVENTS(事件)”,其描述图1中从数据源101向收集器102发送的一些数据。连接器102可以存在于数据源101处或数据源101和IEM110之间的中间点处。例如,连接器102可以存在于网络设备处、网络之内的合并点处和/或通过简单网络管理协议(SNMP)陷阱操作。连接器102向IEM110发送事件数据。收集器102可以通过手动和自动化过程并经由关联的配置文件配置。每个连接器可以包括一个或多个软件模块,其包括归一化部件、时间校正部件、聚合部件、批处理部件、解析器部件、传输部件和/或额外部件。这些部件可以通过配置文件中的适当命令激活和/或去活。
IEM110包括映射引擎120、相关引擎和分析器引擎121和用户接口123。映射引擎120接收事件数据并在数据储存器111中存储。可以按照提供事件数据的数据源特定的模式组织从数据源101接收的事件数据。这些模式被称为源模式。映射引擎120将源模式中的事件数据映射到基于匹配过程选择的域模式。
IEM110存储数据储存器111中的域模式。例如,域模式具有字段,以及一个或多个字段可以与源模式的字段相同或不相同,以及一个或多个字段可以是域特有的。例如,信用卡域模式可以具有针对信用卡号的字段,而股票交易域模式可以没有针对信用卡号的字段,但是具有用于对该域而言特有的股票过渡类型、购买价格、销售价格等的字段。映射引擎120将事件数据中的字段与域模式字段比较,以识别与事件数据相关联的域模式。在一个实施例中,字段比较可以包括确定字段名是否相同或相似,以确定事件数据中的字段和域模式是否匹配。可以针对具有从数据源101接收的事件数据的每个事件执行这个过程并在下文进一步详细描述。如果映射引擎120能够识别匹配域模式,则映射引擎120将事件数据映射到域模式,并在数据储存器111中存储具有关联域描述符的事件数据,所述域描述符描述针对每个收集事件的域是否可确定。
相关和分析器引擎121对事件数据进行相关和分析,例如,以识别威胁或确定与事件相关联的其他信息。对事件数据进行相关和分析可以包括接近实时的自动检测和补救,以及后期分析,诸如报告、模式发现和事故处理。
相关可以包括将事件数据与用户相关以将来自数据源101的事件数据中描述的活动与特定用户相关联。例如,根据用户定义的基础事件字段和事件结束时间组,完成映射,以将事件归属于用户。例如,事件数据可以包括唯一的用户标识符(UUID)和应用事件字段,并且这些字段用于查找数据储存器111中的用户信息以识别在发生事件时具有那些属性的用户。用于描述用户和执行查找的属性的示例可以包括UUID、名字、中间首字母、姓、全名、IDM标识符、域名、雇员类型、状态、头衔、公司、组织、部门、经理、助理、电子邮件地址、位置、办公室、电话、传真、地址、城市、州、邮政编码、国家、账户ID等。
相关也可以包括跨不同域对事件相关。例如,欺诈性在线银行交易与关联到电信欺诈或信用卡诈骗的账户相关。在另一个示例中,检测到防火墙允许的攻击,并且其瞄准漏洞扫描仪发现易受攻击的机器。对事件信息进行相关可能暗示攻击已危害到该机器。
分析事件数据可以包括使用规则,用网络模型和漏洞信息评估每个事件以形成实时威胁摘要。这可以包括识别多个个体事件,其总体上满足一个或多个规则条件,从而触发动作。聚集的事件可以来自不同的数据源,并且总体表示普通事故,其代表由一个或多个规则定义的安全威胁。由规则触发的动作可以包括被传送到指定目的地的通知(例如,可以经由控制台电子邮件消息、拨打到电话的呼叫、蜂窝电话、语音邮件信箱和/或寻呼机号码或地址通知安全分析师或通过发送到另一通信设备和/或地址,诸如传真机等的消息)和/或传送到网络设备的指令,以采取行动抵抗疑似攻击(例如,通过重新配置一个或多个网络设备,和或修改或更新访问列表等)。可以基于发生的事件和分析师的要求配置利用通知发送的信息以包括最相关的数据。在一些实施例中,未确认的通知导致向另一指定操作员自动重发通知。而且,可以访问知识库以收集关于类似攻击概况(attackprofiles)的信息和/或根据指定规程采取行动。知识库包含参考文档(例如,形式为网页和/或可下载的文档),其提供威胁、推荐方案、参考信息、公司规程和/或指向额外资源的链接的描述。实际上,可以通过知识库提供任何信息。通过示例的方式,这些页面/文档可以具有如下作为其源:用户创作的文章、第三方文章和/或安全供应商的参考材料。
作为识别安全威胁过程的一部分,检查事件以确定IEM110中处理的各种规则中哪个(如果有的话)可以由特定的一个或多个事件暗示。如果被测试事件具有一个或多个满足或潜在可能满足一个或多个规则的属性,则认为该规则被暗示。例如,如果被测试事件具有来自满足规则条件的特定子网的特定源地址,则可以认为暗示该规则。可以暗示规则的另一种方式是,如果规则具有指示其与特定域模式相关联的属性。例如,针对用于事件的域模式识别规则,并确定是否触发动作,诸如通知。在这种意义上,对于与规则相关联的指定时间间隔,事件可以保持有兴趣,并因此通过知道这些时间窗口,可以在批准时存储和丢弃事件。可以将任何有兴趣的事件分组到一起并经受进一步处理。
IEM110维护关于安全威胁状态及其解决(resolution)的报告。IEM110通过用户接口123或通过向用户或其他系统发送信息来提供通知和报告。用户也可以经由用户接口123输入域模式信息和其他信息。
根据实施例,IEM110在主要事件表中存储事件数据,主要事件表可以是数据储存器111中存储的数据库表。主要事件表包括具有预定数据类型的域字段列,并且如果模式的域字段具有对于主要事件数据表的域字段列而言匹配的数据类型,则每个域字段列被配置成存储针对域模式或源模式的任何域字段存储事件数据。
映射引擎120接收针对每个事件的事件数据并在主要事件表中存储事件数据。主要事件表中的每行代表事件,并且每列代表事件字段。映射引擎120识别每行中针对事件数据的最佳配合域模式(如果可以识别一个的话)。映射引擎120存储针对每行的域描述符,其指示最佳配合域模式。而且,对于主要事件表中的每行,映射引擎120还存储元数据,其指示主要事件表中每列到对应最佳配合域中的字段的映射。该映射可以由相关和分析器引擎121用于对事件数据进行查询、相关和分析以发现安全威胁。
图2图示出了主要事件表,其具有可以被存储在主要事件表中的事件数据的示例。主要事件表可以包括基础列201-203,诸如事件名、事件ID和其他基础列。基础列存储对于源模式而言可能通用的(generic)事件数据。对于基础列201-203,数据被示为“xxx”,但该数据可以提供于从数据源101和连接器102接收的事件数据中,并被填充在基础列201-203中。
列204包括用于针对特定事件匹配的域的域描述符。列205-207是域字段,并且包括可能对于匹配的域而言特有的事件数据。对于代表事件的每行,映射引擎120将列205-207中存储的数据映射到由域描述符识别的域模式中的对应字段。可以将这种映射存储为针对每个域模式的元数据。由主要事件表中的列代表的每个字段可以具有数据类型,诸如字符串、数字、日期、IP地址等。针对每行和域被存储为元数据的映射可以包括显示名称、数据类型、字段类型(例如域还是基础字段)和来自域模式字段映射到的主要事件表的下层列。
例如,行220包括针对来自信用卡应用的事件的事件数据;行221包括针对来自股票应用的事件的事件数据;以及行222包括针对来自银行应用的事件的事件数据。每行具有被确定为匹配事件数据的域模式的域描述符。将列205映射为针对信用卡域模式的信用卡号(CreditCardNumber),并分别被映射为针对股票交易和银行业务模式的买入/卖出股票数和银行账户编号。主要事件表中的域字段可以具有针对每行相同的数据类型。例如,可以将列206映射到针对信用卡、股票交易和银行业务域的SSN(社会保险号)域字段。
映射引擎120可以自动创建用于映射的字段。例如,连接器102可能不知道事件来自特定域。连接器102可以简单地向IEM110发送所有域字段。对于接收的事件数据,映射引擎102将事件数据与其域元数据比较以确定这个事件基本匹配哪个域。例如,如果存在N个域,且该事件中的字段与那些域之一匹配最好,那么将利用该域的描述符标记该事件。在不存在任何来自事件的字段的情况下,可以在域模式中自动创建该字段。如果事件基本不匹配任何现有域模式,那么可以按照当前处理的事件利用字段创建新的域模式。
通过这种映射,可以不需要进行昂贵的表格结合,这允许更快的处理。而且,连接器102能够发送事件数据而不需将事件数据与域关联。从用户和连接器的角度来说,IEM110具有灵活的模式,其能够适应新的域和域字段。用户能够根据需要修改和创建新的域模式。而且,IEM110能够自动检测并自动创建域中的新字段或创建新域。通过灵活的域模式和映射,IEM110提供了不仅监测“经典”安全事件而且监测来自其他域的事件的能力,其他域诸如是人力资源、保险、金融等,并且可以跨域进行事件的聚集以识别威胁。
图3图示出了根据实施例用于映射和分析事件数据的方法300。通过示例而非限制的方式,下文描述的方法300和其他方法可以由图1所示的IEM110执行。可以在其他系统中实践该方法。而且,可以按照与图示不同的次序或基本同时地执行该方法中的一个或多个方框。而且,在方法300的描述之后,下面的方法中描述了方法300的一个或多个方框的细节。
在301处,IEM110接收针对事件的事件数据。可以在提供事件数据的数据源的源模式中布置事件数据。
在302处,从域模式中确定针对事件数据的最佳配合域模式,其可以被存储于数据储存器111中。域模式可以包括来自源模式的不同字段。
在303处,将源模式中的事件数据映射到最佳配合域模式。例如,映射引擎120在主要事件表,诸如图2所示的主要事件表中存储事件数据。映射引擎120针对存储用于事件数据的数据的主要事件表的每列向主要事件表中的列存储标识来自最佳配合域模式的域字段。
在304处,基于最佳配合域模式分析事件数据以发现安全威胁。例如,相关和分析器引擎121可以识别适用于针对事件数据的域模式的规则。相关和分析器引擎121可以确定是否触发规则中的任何动作,诸如响应于检测到安全威胁通知安全威胁。可以针对每个接收的事件重复方法300,并且如果有一个可以识别为最佳配合,则可以将每个接收到的事件映射到域模式。
图4A-B图示出了用于事件处理的方法400。方法400包括针对方法300中方框302和303的更多细节。在401处,在IEM110处接收针对事件的事件数据(与方框301相同)。
在方框402处,IEM110确定用于事件的数据源是否列入白名单。例如,使用白名单识别无须经过最佳配合域匹配过程的事件数据。白名单可以识别数据源,包括连接器,其提供无须经过最佳配合域匹配过程的事件数据。用户可以在白名单上指定数据源。白名单可以识别针对数据源的域模式。在一个实施例中,连接器确定域并通知IEM110针对该事件的域。IEM110然后不进行其最佳配合域过程。在方框406处,如果事件未列入白名单,则IEM110在方框406处执行最佳配合域匹配过程。如果在方框407处发现最佳配合域模式,然后执行方框405;否则,在方框408处不将任何域模式与事件相关联。
在方框403处,如果事件的数据源列入白名单,则IEM110确定是否在用于事件的白名单上供应域模式。如果未供应域模式,然后处理前进到方框406。
在方框404处,IEM110确定从方框403确定的所供应域模式是否存在,作为数据储存器111中存储的域模式之一。如果存在域模式,则通过映射引擎120将事件映射到方框405处的域模式。如果在方框404处确定不存在域模式,那么在方框409处IEM110确定是否启用域自动产生。这可能是允许启用或禁用自动产生的用户设置。如果启用,为来自事件数据源模式中字段的事件数据创建新的域模式,并且将事件数据映射到新域。
在图4B中继续方法400。在411处,IEM110确定事件数据是否包括额外的数据,其可以包括不与来自图4A的方框405处映射的域模式中的字段匹配的事件数据中的任何字段。如果没有额外数据,然后处理前进到方框401。
如果有一个或多个额外数据字段,则IEM110在方框412处确定额外数据字段是否具有全局字段匹配。全局字段可以包括来自数据储存器111中存储的任何域模式的任何字段。如果没有全局字段匹配,则IEM110在方框417处确定是否启用字段自动产生。这可以是用户设置。如果启用了字段自动产生,则在方框418处创建域字段,并在方框423处将其添加到域模式。如果在方框417处未启用自动产生字段,则处理前进到方框416。
如果额外的数据字段与全局字段相同(即,有全局字段匹配),那么IEM110在方框413处确定额外数据字段是否与全局字段具有相同数据类型。如果数据类型不相同,则IEM110在方框419处确定是否启用自动产生字段。如果启用自动产生字段,则在方框420处针对额外数据利用特定名称创建新域字段,并在方框423处将其增加到域模式。可以为新的域字段赋予新名称,以免覆写(overwrite)来自包括相同字段名的全局字段的数据。如果在方框419处未启用字段自动产生,则处理前进到方框416。
如果在方框413处有数据类型匹配,则IEM110在方框414处确定额外数据是否与域模式的域相关。这可以基于用户输入。如果额外数据不与域相关,则IEM110在方框421处确定是否启用字段自动产生。如果不启用字段自动产生,则处理前进到方框416。如果启用字段自动产生,则IEM110在方框422处确定用于额外数据的字段是否对于域而言是唯一的或其是否包括在其他域中。例如,信用卡字段可能对于信用卡域是唯一的,但社会保险字段可能不是。如果额外的数据字段对于域而言是唯一的,那么在方框423处向域模式增加额外数据字段。如果不是,在方框420处针对额外数据字段利用特定名称创建新域字段,并在方框423处将其增加到域模式。
如果在方框414处额外数据与域相关,在方框415处,将相关额外数据字段中的事件数据映射到域字段。而且,如果在423处来自事件数据的额外数据字段被包括在域模式中,则在415处将事件数据映射到域模式中包括的域字段。如果在方框416处确定有更多额外数据,则重复图4B中示出的方框以确定是否向域模式增加针对额外数据的字段。如果没有更多额外数据,针对另一接收的事件重复方法400。可以针对在IEM110处接收的每个事件执行方法400。
图5图示出了根据实施例用于确定最佳配合域模式的方法500。可以针对方法300中的方框302和方法400中的方框406执行方法500。在501处,基于事件相关百分比,执行候选域过程,以针对最佳配合域识别任何候选域模式。进一步相对于图6描述这个过程。在502处,IEM110确定是否识别了任何候选域模式。如果不是,在507处针对事件识别不到域模式。如果识别出任何候选域模式,则IEM110在503处确定是否仅识别了一个候选域模式。如果是,则在508处确定该候选域模式将是最佳配合域模式。如果识别了超过一个候选域模式,则IEM110在504处基于域相关百分比过滤候选域模式。相对于图7描述该过滤过程。如果在过滤之后仅保留一个候选域模式,则在508处确定该候选域模式将是最佳配合域模式。如果在过滤之后剩余超过一个候选域模式,则在506处选择最老的候选域模式作为最佳配合域模式。可以根据创建日期和时间确定最老的候选域模式。选择具有最早日期和时间的候选域模式作为最老的。尽管未示出,如果多个候选域模式年龄相同,那么可以选择从数据储存器111第一个返回的域模式作为最佳配合域模式。
图6图示出了基于事件相关百分比(ERP)确定候选域模式的方法600。可以执行方法600作为方法500中的方框501中所指的候选域过程。在601处,向方法600中逐个输入数据储存器111中存储的域模式。如果在602处确定尚未处理所有域模式,则在603处检索下一个域模式。
确定用于事件数据的额外数据字段。这些可以包括不是基础字段,诸如图2所示基础字段的事件数据中的数据字段。在方框604-606和610处理事件数据中的额外数据字段以确定它们是否匹配域模式中的域字段。例如,通过在610处增加计数器,确定来自域模式中事件数据匹配域字段的许多额外数据字段。
在607处,针对事件和域模式计算ERP。例如,ERP是额外数据字段和域模式之间的匹配字段数量除以事件中额外数据字段的总数。在608处,将域模式及其ERP增加给候选组。针对所有域执行方法600,从而针对所有域确定ERP并预先将其包括在候选组中。在609处,处理域模式的候选组以确定要返回方法500中的方框501和502的候选组。
处理候选组可以包括将针对每个域模式的ERP与阈值比较并保持具有最高ERP的(一个或多个)域模式。如果ERP大于或等于阈值,那么预先在候选组中保持域模式。在将每个ERP与阈值比较之后,如果仅有一个域模式具有最高ERP,那么维持该域模式作为候选组中的仅有域模式。如果超过一个域模式具有最高ERP,那么那些域模式中的每个都被保持在候选组中并移除所有其他的。通过示例的方式,事件在其额外数据中具有10个字段。域1具有那些字段中的8个;域2具有那些字段中的7个;并且域3具有那些字段中的9个。这产生了域1的ERP=80%;域2的ERP=70%;以及域3的ERP=90%。选择D3作为仅有的候选域模式,因为它具有最高的ERP。在第二示例中,事件具有10个字段,并且域1具有它们中的7个;域2具有它们中的6个;并且域3具有它们中的3个。这产生了域1的ERP=70%;域2的ERP=60%;以及域3的ERP=30%。如果阈值为80%且候选组为空,则不选择域。在第三示例中,事件具有10个字段,并且域1具有它们中的8个;域2具有它们中的7个;并且域3具有它们中的8个。这产生了域1的ERP=80%;域2的ERP=70%;以及域3的ERP=80%。D1和D3都被保持在候选组中。
图7图示出了方法700,其用于基于域相关百分比(DRP)对候选组中的域进行过滤,诸如在方法500中的步骤504处执行的。在701处,向方法700中逐一输入在方框609处确定的来自候选组的域模式。如果在702处确定尚未处理候选组中的所有域模式,则在703处检索下一个域模式。
确定用于事件数据的额外数据字段。在方框704-706处理事件数据中的额外数据字段和来自候选组的域模式中的域字段,以通过例如在710处增加计数器,确定来自匹配域模式中域字段的事件数据的许多额外数据字段。
在707处,针对事件和域模式计算DRP。例如,DRP是额外数据字段和域模式之间的匹配字段数量除以域模式中域字段的总数。在708处,域模式及其DRP被包括在DRP候选组中。从方框609开始针对候选组中所有域模式执行方法700,从而针对所有域模式确定DRP,并预先将其包括在DRP候选组中。在709处,处理域模式的DRP候选组以确定要返回到方法500中方框501和502的候选组。
处理DRP候选组可以包括确定最高的DRP并在最终候选组中包括具有最高DRP的域模式。通过示例的方式,域1具有10个域字段,其中8个匹配事件的字段;域2具有10个字段,其中7个匹配;并且域3具有10个域字段,其中9个匹配。这产生了域1的DRP=80%;域2的DRP=70%;以及域3的DRP=90%。选择域3模式作为仅有的候选域模式,因为它具有最高的DRP。在第二示例中,域1具有10个域字段,其中8个匹配事件的字段;域2具有10个域字段,其中7个匹配;并且域3具有10个域字段,其中8个匹配。这产生了域1的DRP=80%;域2的DRP=70%;以及域3的DRP=80%。在本示例中,域1和3都在候选组中。
图8示出了可用于本文中所描述的实施例的计算机系统800。计算机系统800代表通用平台,其包括可以在服务器或另一计算机系统中或计算机系统的部件中的部件。计算机系统800可以被用作用于图1中所示的IEM110的平台。计算机系统800可以由处理器或其他硬件处理电路执行本文中所描述的方法、功能和其他过程。这些方法、功能和其他过程可以被体现为计算机可读介质上存储的机器可读指令,所示介质可以是非暂时性的,诸如硬件存储设备(例如,RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、硬盘驱动器和闪速存储器)。
计算机系统800包括处理器802或其他硬件处理电路,其可以实现或执行机器可读指令,所示机器可读指令执行本文中所描述的一些或全部方法、功能和其他过程。通过通信总线808传递来自处理器802的命令和数据。计算机系统800还包括数据储存器804,诸如随机存取存储器(RAM)或另一类型的数据储存器,其中在运行期间用于处理器802的机器可读指令和数据可以驻留其中。网络接口808向网络发送并从网络接收数据。计算机系统800可以包括未示出的其他部件。
尽管已经参考示例描述了实施例,但可以在不背离所要求保护的实施例的范围的情况下对所述实施例做出各种修改。

Claims (11)

1.一种向域模式映射事件数据的方法,所述方法包括:
接收针对来自数据源的事件的事件数据;
将所述事件数据布置在提供所述事件数据的数据源的源模式中;
由处理器从多个域模式中确定用于所述源模式中的事件数据的最佳配合域模式,其中确定用于事件数据的最佳配合域模式包括:对于多个域模式中的每一个基于匹配所述源模式中的事件数据的域模式中许多字段计算事件相关百分比ERP,其中所述域模式包括来自所述源模式的不同字段;
将所述源模式中的所述事件数据映射到所确定的最佳配合域模式;
基于所述ERP确定是否有超过一个的候选域模式;
如果有超过一个的候选域模式,则基于所述候选域模式中的匹配域字段针对所述候选域模式中的每个确定域相关百分比DRP;以及
基于DRP选择所述候选域模式之一作为最佳配合域模式;
其中基于所述DRP选择所述候选域模式之一作为所述最佳配合域模式包括:
确定针对所述候选域模式的最高DRP;
如果超过一个的候选域模式具有最高DRP,则选择具有所述最高DRP的候选域模式中的最老一个作为所述最佳配合域模式;并且
如果仅有一个候选域模式具有最高DRP,则选择所述具有最高DRP的候选域模式作为最佳配合域模式。
2.根据权利要求1所述的方法,包括:
其中确定是否有超过一个的候选域模式包括针对每个域模式将ERP与阈值比较,并且如果所述ERP大于或等于所述阈值,则选择所述域模式作为候选域模式;并且
如果仅有一个候选域模式,则选择所述仅有的一个候选域模式作为最佳配合域模式。
3.根据权利要求1所述的方法,其中在确定所述最佳配合域模式之前,所述方法包括:
确定所述事件是否在白名单上;
如果所述事件在白名单上,则确定是否为所述事件指示域模式;
如果为所述事件指示域模式,则确定所指示的域模式是否是所述多个域模式之一;
如果所述指示的域模式是所述多个域模式之一,则选择所述指示的域模式以映射所述事件数据。
4.根据权利要求3所述的方法,包括:
如果所述事件不在白名单上或如果确定所述指示的域模式不是所述多个域模式之一,则从所述源模式中产生新的域模式,并选择所述新的域模式以映射所述事件数据。
5.根据权利要求1所述的方法,包括:
确定所述事件数据是否包括所述最佳配合域模式中未包括的额外字段;
如果所述事件数据包括所述额外字段,则确定所述额外字段是否是所述多个域模式之一中的全局字段;
如果所述额外字段是所述全局字段,则确定所述额外字段是否具有匹配所述全局字段的数据类型;以及
如果所述额外字段具有匹配所述全局字段的数据类型,则在所述最佳配合域模式中包括所述额外字段。
6.根据权利要求5所述的方法,包括:
如果所述额外字段具有不匹配所述全局字段的数据类型,则在所述最佳配合域模式中包括所述额外字段。
7.根据权利要求6所述的方法,包括:
如果所述额外字段不是所述最佳配合域模式唯一的,则在新的域模式名称下创建新的域模式,所述新的域模式包括所述最佳配合域模式的字段和所述额外字段。
8.根据权利要求1所述的方法,包括:
基于所述最佳配合域模式选择规则以分析所述事件数据以发现安全威胁;以及
响应于检测到所述安全威胁通知所述安全威胁。
9.根据权利要求1所述的方法,其中将所述源模式中的事件数据映射到所确定的最佳配合域模式包括:
在主要事件表中存储所述事件数据,其中所述主要事件表包括具有预定数据类型的域字段列,并且如果所述域模式的域字段具有对于所述主要事件数据表的域字段列而言匹配的数据类型,则每个域字段列被配置成存储针对所述多个域模式的任何域字段的事件数据;并且
存储元数据,所述元数据指示每个最佳字段域模式字段到存储所述事件数据的主要事件表的域字段列的映射。
10.一种事件管理系统,其包括:
数据储存器,用以存储针对来自数据源的事件的事件数据,其中在提供所述事件数据的数据源的源模式中布置事件数据,以及多个域模式;以及
处理器,用以从多个域模式中确定用于所述源模式中的事件数据的最佳配合域模式包括:对于多个域模式中的每一个基于匹配所述源模式中的事件数据的域模式中许多字段计算事件相关百分比ERP,其中所述域模式包括来自所述源模式的不同字段,并且将所述源模式中的事件数据映射到所确定的最佳配合域模式;
所述事件管理系统用以确定所述最佳配合域模式,该确定所述最佳配合域模式的过程进一步基于所述ERP确定是否有超过一个的候选域模式,如果有超过一个的候选域模式,则基于所述候选域模式中的匹配域字段针对所述候选域模式中的每个确定域相关百分比DRP,以及基于所述DRP选择所述候选域模式之一作为所述最佳配合域模式;其中基于所述DRP选择所述候选域模式之一作为所述最佳配合域模式包括:
确定针对所述候选域模式的最高DRP;
如果超过一个的候选域模式具有最高DRP,则选择具有所述最高DRP的候选域模式中的最老一个作为所述最佳配合域模式;并且
如果仅有一个候选域模式具有最高DRP,则选择所述具有最高DRP的候选域模式作为最佳配合域模式。
11.一种向域模式映射事件数据的设备,所述设备包括:
用于接收针对来自数据源的事件的事件数据的装置;
用于将所述事件数据布置在提供所述事件数据的数据源的源模式中的装置;
用于从多个域模式中确定用于所述源模式中的事件数据的最佳配合域模式的装置,其中用于确定用于事件数据的最佳配合域模式的装置包括:用于对于多个域模式中的每一个基于匹配所述源模式中的事件数据的域模式中许多字段计算事件相关百分比ERP的装置,其中所述域模式包括来自所述源模式的不同字段;以及
用于将所述源模式中的所述事件数据映射到所确定的最佳配合域模式的装置;
其中用于确定最佳配合域模式的装置包括用于对于所述域模式中的每个,基于匹配所述源模式的域模式中许多字段计算事件相关百分比ERP的装置;用于基于所述ERP确定是否有超过一个的候选域模式,如果有超过一个的候选域模式,则基于所述候选域模式中的匹配域字段针对所述候选域模式中的每个确定域相关百分比DRP的装置,以及用于基于所述DRP选择所述候选域模式之一作为所述最佳配合域模式的装置;其还包括:
用于确定针对所述候选域模式的最高DRP的装置;
用于如果超过一个的候选域模式具有最高DRP,则选择具有所述最高DRP的候选域模式中的最老一个作为所述最佳配合域模式的装置;以及
用于如果仅有一个候选域模式具有最高DRP,则选择所述具有最高DRP的候选域模式作为最佳配合域模式的装置。
CN201180037823.6A 2010-06-02 2011-06-01 用于事件监测优先级的动态多维模式 Expired - Fee Related CN103026345B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US35059310P 2010-06-02 2010-06-02
US61/350593 2010-06-02
US61/350,593 2010-06-02
PCT/US2011/038745 WO2011153227A2 (en) 2010-06-02 2011-06-01 Dynamic multidimensional schemas for event monitoring priority

Publications (2)

Publication Number Publication Date
CN103026345A CN103026345A (zh) 2013-04-03
CN103026345B true CN103026345B (zh) 2016-01-20

Family

ID=45067264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180037823.6A Expired - Fee Related CN103026345B (zh) 2010-06-02 2011-06-01 用于事件监测优先级的动态多维模式

Country Status (4)

Country Link
US (1) US20130081065A1 (zh)
EP (1) EP2577552A4 (zh)
CN (1) CN103026345B (zh)
WO (1) WO2011153227A2 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130124545A1 (en) * 2011-11-15 2013-05-16 Business Objects Software Limited System and method implementing a text analysis repository
US9928562B2 (en) 2012-01-20 2018-03-27 Microsoft Technology Licensing, Llc Touch mode and input type recognition
US9047293B2 (en) * 2012-07-25 2015-06-02 Aviv Grafi Computer file format conversion for neutralization of attacks
CN102902614B (zh) * 2012-09-11 2016-04-20 哈尔滨工程大学 一种动态监测及智能引导方法
US9692789B2 (en) 2013-12-13 2017-06-27 Oracle International Corporation Techniques for cloud security monitoring and threat intelligence
US9817851B2 (en) 2014-01-09 2017-11-14 Business Objects Software Ltd. Dyanmic data-driven generation and modification of input schemas for data analysis
US20160269431A1 (en) * 2014-01-29 2016-09-15 Hewlett Packard Enterprise Development Lp Predictive analytics utilizing real time events
EP3017598A4 (en) * 2014-04-21 2017-06-07 Blast Motion Inc. Motion event recognition and video synchronization system and method
CN104052739B (zh) * 2014-05-22 2017-03-22 汉柏科技有限公司 一种基于安全管理平台的改进交叉关联方法及系统
US10409665B2 (en) * 2014-06-09 2019-09-10 Northrup Grumman Systems Corporation System and method for real-time detection of anomalies in database usage
US9959545B2 (en) 2014-11-12 2018-05-01 Sap Se Monitoring of events and key figures
US10048856B2 (en) 2014-12-30 2018-08-14 Microsoft Technology Licensing, Llc Configuring a user interface based on an experience mode transition
US9785537B2 (en) * 2015-10-15 2017-10-10 International Business Machines Corporation Runtime exception and bug identification within an integrated development environment
US11386061B2 (en) 2015-10-16 2022-07-12 Microsoft Technology Licensing, Llc Telemetry request system
US11288245B2 (en) * 2015-10-16 2022-03-29 Microsoft Technology Licensing, Llc Telemetry definition system
US10929272B2 (en) 2015-10-16 2021-02-23 Microsoft Technology Licensing, Llc Telemetry system extension
US10536478B2 (en) * 2016-02-26 2020-01-14 Oracle International Corporation Techniques for discovering and managing security of applications
US9858424B1 (en) 2017-01-05 2018-01-02 Votiro Cybersec Ltd. System and method for protecting systems from active content
US10331890B2 (en) 2017-03-20 2019-06-25 Votiro Cybersec Ltd. Disarming malware in protected content
US10015194B1 (en) 2017-01-05 2018-07-03 Votiro Cybersec Ltd. System and method for protecting systems from malicious attacks
US10331889B2 (en) 2017-01-05 2019-06-25 Votiro Cybersec Ltd. Providing a fastlane for disarming malicious content in received input content
US11245667B2 (en) 2018-10-23 2022-02-08 Akamai Technologies, Inc. Network security system with enhanced traffic analysis based on feedback loop and low-risk domain identification
CN109299126A (zh) * 2018-11-21 2019-02-01 金蝶软件(中国)有限公司 数据同步方法、装置、计算机设备和存储介质
CN110287219B (zh) * 2019-06-28 2020-04-07 北京九章云极科技有限公司 一种数据处理方法及系统
US11550902B2 (en) * 2020-01-02 2023-01-10 Microsoft Technology Licensing, Llc Using security event correlation to describe an authentication process
DE102020110901B8 (de) 2020-04-22 2023-10-19 Altavo Gmbh Verfahren zum Erzeugen einer künstlichen Stimme

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7310646B2 (en) * 2003-05-09 2007-12-18 I2 Technologies Us, Inc. Data management system providing a data thesaurus for mapping between multiple data schemas or between multiple domains within a data schema

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6839714B2 (en) * 2000-08-04 2005-01-04 Infoglide Corporation System and method for comparing heterogeneous data sources
US7043566B1 (en) * 2000-10-11 2006-05-09 Microsoft Corporation Entity event logging
US7162534B2 (en) * 2001-07-10 2007-01-09 Fisher-Rosemount Systems, Inc. Transactional data communications for process control systems
US7788722B1 (en) * 2002-12-02 2010-08-31 Arcsight, Inc. Modular agent for network security intrusion detection system
US7739223B2 (en) * 2003-08-29 2010-06-15 Microsoft Corporation Mapping architecture for arbitrary data models
US7249135B2 (en) * 2004-05-14 2007-07-24 Microsoft Corporation Method and system for schema matching of web databases
US20050278139A1 (en) * 2004-05-28 2005-12-15 Glaenzer Helmut K Automatic match tuning
US20060184553A1 (en) * 2005-02-15 2006-08-17 Matsushita Electric Industrial Co., Ltd. Distributed MPEG-7 based surveillance servers for digital surveillance applications
US8578500B2 (en) * 2005-05-31 2013-11-05 Kurt James Long System and method of fraud and misuse detection
US20070055655A1 (en) * 2005-09-08 2007-03-08 Microsoft Corporation Selective schema matching
US20070185868A1 (en) * 2006-02-08 2007-08-09 Roth Mary A Method and apparatus for semantic search of schema repositories
US8234704B2 (en) * 2006-08-14 2012-07-31 Quantum Security, Inc. Physical access control and security monitoring system utilizing a normalized data format
US8572740B2 (en) * 2009-10-01 2013-10-29 Kaspersky Lab, Zao Method and system for detection of previously unknown malware

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7310646B2 (en) * 2003-05-09 2007-12-18 I2 Technologies Us, Inc. Data management system providing a data thesaurus for mapping between multiple data schemas or between multiple domains within a data schema

Also Published As

Publication number Publication date
WO2011153227A2 (en) 2011-12-08
CN103026345A (zh) 2013-04-03
EP2577552A2 (en) 2013-04-10
WO2011153227A3 (en) 2012-04-12
EP2577552A4 (en) 2014-03-12
US20130081065A1 (en) 2013-03-28

Similar Documents

Publication Publication Date Title
CN103026345B (zh) 用于事件监测优先级的动态多维模式
US11212299B2 (en) System and method for monitoring security attack chains
CN106411578B (zh) 一种适应于电力行业的网站监控系统及方法
CN108471429B (zh) 一种网络攻击告警方法及系统
CN103563302B (zh) 网络资产信息管理
CN112637220B (zh) 一种工控系统安全防护方法及装置
CN113486351A (zh) 一种民航空管网络安全检测预警平台
CN109885562A (zh) 一种基于网络空间安全的大数据智能分析系统
CN109861995A (zh) 一种网络空间安全大数据智能分析方法、计算机可读介质
CN103765432A (zh) 视觉组件和下钻映射
CN110620759A (zh) 基于多维关联的网络安全事件危害指数评估方法及其系统
US20120011590A1 (en) Systems, methods and devices for providing situational awareness, mitigation, risk analysis of assets, applications and infrastructure in the internet and cloud
CN104509034A (zh) 模式合并以识别恶意行为
Kott et al. The promises and challenges of continuous monitoring and risk scoring
CN108833185B (zh) 一种网络攻击路线还原方法及系统
CN105009132A (zh) 基于置信因子的事件关联
CN111786950A (zh) 基于态势感知的网络安全监控方法、装置、设备及介质
CN102906756A (zh) 与安全事件和参与者分类模型相关联的安全威胁检测
US20200153865A1 (en) Sensor based rules for responding to malicious activity
CN110210213A (zh) 过滤恶意样本的方法及装置、存储介质、电子装置
CN104486320B (zh) 基于蜜网技术的内网敏感信息泄露取证系统及方法
CN111274276A (zh) 操作审计方法、装置及电子设备和计算机可读存储介质
CN107846389B (zh) 基于用户主客观数据融合的内部威胁检测方法及系统
CN109919438A (zh) 网络安全保险保前投保风险评估方法和系统
CN113987508A (zh) 一种漏洞处理方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20161229

Address after: American Texas

Patentee after: HEWLETT PACKARD ENTERPRISE DEVELOPMENT LP

Address before: American Texas

Patentee before: Hewlett-Packard Development Company, L.P.

TR01 Transfer of patent right

Effective date of registration: 20180611

Address after: American California

Patentee after: Antite Software Co., Ltd.

Address before: American Texas

Patentee before: HEWLETT PACKARD ENTERPRISE DEVELOPMENT LP

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160120

Termination date: 20200601

CF01 Termination of patent right due to non-payment of annual fee