CN110249314A - 用于基于云的操作系统事件和数据访问监视的系统和方法 - Google Patents

用于基于云的操作系统事件和数据访问监视的系统和方法 Download PDF

Info

Publication number
CN110249314A
CN110249314A CN201780085458.3A CN201780085458A CN110249314A CN 110249314 A CN110249314 A CN 110249314A CN 201780085458 A CN201780085458 A CN 201780085458A CN 110249314 A CN110249314 A CN 110249314A
Authority
CN
China
Prior art keywords
event
cloud
data access
events based
cloud according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780085458.3A
Other languages
English (en)
Other versions
CN110249314B (zh
Inventor
C·热尔威
S·T·里德
N·S·古德温
J·D·贝克
S·比斯比-沃卡弗曼
N·D·库柏赖德
D·C·海格曼
L·M·杜布伊斯
J·A·安德烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shrett Stark Co Ltd
Original Assignee
Shrett Stark Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shrett Stark Co Ltd filed Critical Shrett Stark Co Ltd
Publication of CN110249314A publication Critical patent/CN110249314A/zh
Application granted granted Critical
Publication of CN110249314B publication Critical patent/CN110249314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1748De-duplication implemented within the file system, e.g. based on file segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/552Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/604Tools and structures for managing or administering access control systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433Vulnerability analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Storage Device Security (AREA)

Abstract

基于云的操作系统事件和数据访问监视方法包括从被监视的基于云的元件收集事件信息。然后,生成基于事件信息的一个或多个结构化事件有效载荷。然后,验证产生一个或多个经验证的事件集合的结构化事件有效载荷。然后,对一个或多个经验证的事件集合进行串行化和过滤,以去除冗余的结构化事件有效载荷数据。然后,对过滤后的经验证的结构化事件有效载荷进行去串行化,以产生按时间顺序的有序事件流。对按时间顺序的有序事件流进行去重复,以去除重复的结构化事件有效载荷。然后,处理按时间顺序的有序事件流,以生成经处理的信息安全结果。

Description

用于基于云的操作系统事件和数据访问监视的系统和方法
本文使用的章节标题仅用于组织目的,不应被解释为以任何方式限制本申请中描述的主题。
相关申请的交叉引用
本申请是于2016年12月21日提交的标题为“System and Method for Cloud-Based Operating System Event and Data Access Monitoring”的美国临时专利申请第62/437,411号的非临时申请。该美国临时专利申请第62/437,411号的整个内容通过引用合并于此。
背景技术
将数据和软件应用移到云从根本上改变了计算机系统向用户提供软件应用和服务的方式。例如,传统企业网络的网络边缘已被虚拟边界所取代,从而改变了计算机处理信息的方式以及计算机访问数据的方式。结果,消除了传统上部署硬件安全设备和网络可见性设备的入口和出口点。不仅云中的基本处理构架不同,而且进程、应用和服务的规模和增长模型也大不相同。基于云的计算机系统资源可以在非常快的时间尺度上增长和缩小。此外,基于云的计算机系统通常是高度分布式的,因此跟踪和正确排序事件明显更具挑战性。此外,与固定基础设施企业网络相比,基于云的计算机系统中的安全性和漏洞威胁模型也必然不同。因此,需要新的方法和系统来监视和保护在云上运行的联网信息和系统。换句话说,现在对于云需要新的监视和安全系统和方法,这些新的监视和安全系统和方法是针对基于云的信息系统专门构建的。
许多应用(包括信用卡处理、金融交易、公司治理、内容传递、医疗保健和企业网络安全)需要监视和保护数字数据以及关于处理该数据的完整性的保证。遵守法规、报告和标准(例如支付卡行业数据安全标准(PCI DSS)、健康保险流通与责任法案(HIPAA)、服务组织控制(SOC)、国际标准化组织信息安全管理标准(ISO27001)、数字版权管理(DRM)和萨班斯-奥克斯利法案(SOX))都要求对数据进行谨慎和可追溯的问责,以及方便的数据处理和数据访问。
附图说明
在下面的详细描述中,结合附图,更具体地描述了根据优选和示例性实施例的本教导及其进一步的优点。本领域技术人员将理解,下面描述的附图仅用于图示的目的。附图不一定按比例绘制,而通常将重点放在图示本教导原理上。附图不旨在以任何方式限制申请人的教导的范围。
图1A示出了本教导的操作系统事件和数据访问监视方法的实施例的高级进程流程图。
图1B示出了实现本教导的操作系统事件和数据访问监视方法的结合图1描述的高级进程流程图的系统框图。
图2示出了本教导的操作系统事件和数据访问监视方法的实施例的进程流程图。
图3示出了利用分布在云中的代理的本教导的操作系统事件和数据访问监视系统和方法的实施例的进程流程图。
图4示出了利用容器化平台从内核操作系统获得事件和元数据的本教导的基于代理的系统和方法的实施例的架构图。
图5示出了使用本教导的容器化平台生成结构化事件有效载荷的方法的进程流程图。
图6A和图6B示出了呈现由本教导的操作系统事件和数据访问监视系统和方法提供的结果的图形用户界面(GUI)的实施例。
具体实施方式
现在将参照附图中所示的本教导的示例性实施例来更详细地描述本教导。虽然结合各种实施例和示例描述了本教导,但是并不意味着本教导限于这些实施例。相反,如本领域技术人员将理解的,本教导包含各种替代、修改和等同物。能够访问本文教导的本领域普通技术人员将会认识到另外的实现方式、修改和实施例,以及其他使用领域,这些都在本文所述的本公开的范围内。
本说明书中对“一个实施例”或“实施例”的提及是指,结合该实施例描述的特定的特征、结构或特性被包括在本教导的至少一个实施例中。在本说明书中各处出现的词语“在一个实施例中”不一定都指的是同一实施例。
应当理解,只要本教导仍然可操作,本教导的方法的各个步骤就可以以任何顺序和/或同时执行。此外,应该理解,只要本教导仍然可操作,本教导的装置和方法就可以包括任何数量或全部所述实施例。
许多基于云的系统需要用于监视和安全地处理分布式系统中的数据的方法和系统。特别是,许多基于云的系统需要:(1)从已知的权威来源跟踪长期和短期的事件的时间顺序;(2)跟踪用户;(3)基于角色和/或个人用户跟踪对文件系统的访问;以及(4)维护特定应用、系统或进程的所有实例的存储库,当它们在云中的虚拟资源上迁移时。本教导的操作系统事件和数据访问监视系统和方法解决了对基于云的应用和系统的安全性和监视的这些不断增长的需求。本教导的云本地的监视应用套件可以在任何计算平台上运行,包括虚拟机、服务器、台式机、膝上型计算机和手持设备。执行本教导的系统和方法的计算平台可以是专用的或共享的。本教导的操作系统事件和数据访问监视系统和方法识别内部威胁、外部攻击、数据丢失,并确保符合大量的信息安全和数据处理规则和标准。
这里使用的术语“元件”通常是指硬件、软件以及硬件和软件的组合。例如,基于云的元件可以只指在基于云的硬件上运行的软件。基于云的元件也可以指位于云中的硬件设备。基于云的元件还可以指软件和运行该软件的硬件计算设备两者。这里使用的软件是指提供进程、应用和/或服务的可执行代码的集合。
本教导的用于操作系统事件和数据访问监视的系统和方法的一个特征是它提供了云原生的(即,专门为云设计的)、与平台无关的整套的安全应用。本教导的方法的结果和系统的输出可以向用户提供合成的、情境化的数据。结果和输出在广泛的活动中辅助修复网络威胁,因为它可以支持整套的已知的安全应用。本教导的系统的一个特征是它以成本效益的方式利用分布在基于云的计算构架中的处理资产。因此,随着被监视的信息系统的发展,系统以经济高效的模块化方式进行扩展。这至少部分是因为系统依赖于基于云的处理资源,这些资源可以随着信息系统需求的扩展而扩展,并在信息系统需求减少时减少。通过支持可配置的基于软件应用的监视方法,该系统还轻松应对新安全威胁和新监视应用的添加。这与现有技术系统形成对比,在现有技术系统中,用于安全和监视的各个点解决方案需要专门的、昂贵的硬件,并提供更小的安全应用套件。
图1A提供了本教导的操作系统事件和数据访问监视方法的高级进程流程图100。该方法的第一步骤102从在被监视的信息系统的分布式信息处理环境中进行的处理活动中收集事件信息。事件信息与特定用户相关联,并且还被仔细地进行时间标记和格式化以保留定时信息。第二步骤104用于在一个或多个摄取处理器处摄取(ingest)收集到的信息。然后,在时间序列器中对摄取的信息进行过滤、去重复和串行化,以产生原始事件数据流。在一些实施例中,收集到的信息是实时的连续的事件信息,并且原始数据流是实时的事件流。第三步骤106是处理原始事件数据。第三步骤106中的处理产生各种结果。第四步骤108提供这些结果,这些结果被称为合成数据。结果可以以各种形式直接提供或稍后组装以进行分发,例如,警报、通知、报告、补救建议和其他结果。结果可用于例如客户、系统管理员、公共和私人安全报告场所,并可用于其他用户。
图1B是实现本教导的操作系统事件和数据访问监视方法的结合图1A描述的高级进程流程图100的系统框图150。位于一个或多个网络域154中的一个或多个元件152连接到包括摄取处理器157的输入级的接收元件156。元件152生成被收集并发送到摄取处理器157的事件信息。在一些实施例中,事件信息包括特定的预定义类型和元数据的事件。在一些实施例中,事件信息是由基于云的进程或机器产生的实时的连续生成的事件信息。在一些实施例中,基于事件发生的时间对事件信息加时间戳。事件信息以预定格式组装到结构化事件有效载荷中并发送到摄取处理器157。
接收元件156对从元件152提供给接收元件156的事件信息进行认证和验证。在一些实施例中,在认证和验证之后保留的经验证的结构化事件有效载荷被称为经验证的事件集合。接收元件156的输出连接到串行化元件158。在一些实施例中,串行化元件158产生串行化的、按时间顺序的原始事件数据流。在一些实施例中,实时连续地收集事件信息,并且按时间顺序的原始事件数据流是实时事件流。串行化元件158的输出连接到流水线处理器160。流水线处理器160包括一系列处理元件162,一系列处理元件162产生从按时间顺序的原始事件数据导出的特定处理数据和合成信息。本教导的流水线处理器构架的一个优点是处理元件162可以以任何顺序被应用,因为每个流水线级的输出是按时间顺序的原始事件数据。在一些实施例中,处理元件162将相同的按时间顺序的原始事件数据传递给流水线中的下一个元件。此外,在一些实施例中,处理元件162在将按时间顺序的原始事件数据传递到下一级之前细化它。
在一些实施例中,流水线处理器160包括产生时间相关事件流的时间序列数据处理引擎。在一些实施例中,时间序列数据处理引擎对时间相关的事件数据用其在存储器中持久存储的时间加时间戳。系统区分事件发生在基于云的元件上的时间与事件数据在存储器中持久存储的时间。这两个时间戳必须单独跟踪和集成在一起,以提供功能时间相关的事件管理系统,该事件管理系统提供准确的实时和后处理的时间敏感数据分析。此外,在一些实施例中,流水线处理器160包括产生原始事件日志的原始事件日志记录引擎。此外,在一些实施例中,流水线处理器160包括基于规则的事件识别引擎。基于规则的事件识别引擎标记满足可定制规则的事件,以根据定制规则集来产生警报和通知。另外,在一些实施例中,流水线处理器160包括各种漏洞和利用分析引擎中的任何一种。例如,漏洞和利用分析引擎可用于将按时间顺序的原始事件数据与已知的安全威胁和漏洞数据库相关联。可以以多种方式执行关联,例如通过使用概率过滤器。在本领域中已知概率过滤器是对概率数据集起作用以确定元素是否是集合的成员的有效过滤器。按时间顺序的原始事件流被存档在数据库164中。在一些实施例中,应用时间戳或一系列时间戳来跟踪在数据库164中存档按时间顺序的原始事件流的时间。从流水线处理器输出的按时间顺序的原始事件流也可以用于附加的下游处理。
在一些实施例中,摄取处理器157和流水线处理器包括基于云的元件,这些元件按位置分布并使用因特网连接在一起。例如,元件152可以是通过因特网连接到摄取处理器的基于云的元件。在一些实施例中,元件152驻留在公共或私有的云基础设施中。此外,在一些实施例中,摄取处理器157和流水线处理器160包括驻留在公共或私有的云基础设施中的元件。此外,在一些实施例中,元件152驻留在位于各种客户驻地的服务器中。此外,在一些实施例中,摄取处理器157和流水线处理器160包括驻留在位于各种客户驻地的服务器中的元件。
元件152可以利用具有内核的操作系统。在这些实施例中,操作系统可以是相同类型的操作系统,也可以是不同类型的操作系统。本教导的方法和系统的一些特定实施例使用Linux操作系统。本领域技术人员将理解,操作系统不限于Linux。在各种实施例中,可以使用各种操作系统和/或操作系统的组合。应该理解,操作系统可以是虚拟机,或者操作系统可以在专用硬件上运行。
图2示出了本教导的操作系统事件和数据访问监视方法的实施例的进程流程图200。在方法200的第一步骤202中,从正被监视的元件接收事件信息。事件信息可以包括事件和可以用于生成与事件相关联的元数据的关于事件的信息。在一些实施例中,事件信息是从操作系统内核导出的。在一些实施例中,实时连续地收集事件信息。
在方法200的第二步骤204中,从在第一步骤202中获得的事件信息生成结构化事件有效载荷。在一些实施例中,结构化事件有效载荷是被分组且加有时间戳的在第一步骤202中获得的事件集合。在一些实施例中,结构化事件有效载荷包括从事件信息导出的元数据。在一些实施例中,在特定系统调用发生的任何时间写入结构化事件有效载荷,无论是否取消链接(去除链接)或getpid(获取进程标识)。
本教导的系统有效地使用资源,因为它在创建结构化事件有效载荷期间使用唯一的解析模型。本教导的解析模型将相关事件类型分组在一起。解析模型关联事件类型以确定在文件组装时实时相关的那些事件类型。这与现有技术系统形成对比,现有技术系统在不同事件上提供具有许多不同线路的系统日志输出,于是必须稍后进行关联。结构化事件有效载荷以JavaScript对象通知(JavaScript ObjectNotification,JSON)格式输出,该格式相对易于读取和解析。这与现有技术系统形成对比,现有技术系统提供解析进程密集程度更高的键值格式,并呈现随机编码为十六进制的值。
在方法200的第三步骤206中,验证结构化事件有效载荷。在一些实施例中,验证步骤206包括认证事件的用户ID和机器标识符(ID)或特定进程。在一些实施例中,经验证的结构化事件有效载荷形成经验证的事件集合。经验证的事件集合被串行化为实时事件流,以便进行传输来处理。方法200的第四步骤208包括过滤经验证的事件集合以去除冗余的结构化事件有效载荷。在一些实施例中,去串行化步骤(图2中未示出)在第四过滤步骤208之后。去串行化步骤产生按时间顺序的有序事件流,其继续到该方法的下一步骤。按时间顺序的有序事件流适用于分布式计算环境中的后处理。
在方法200的第五步骤210中,对方法200的第四步骤208的输出进行去重复。在一些实施例中,输出是过滤的事件集合。在一些实施例中,输出是按时间顺序的有序事件流。方法200的去重复步骤210可以使用本领域中已知的许多去重复过程中的任何一个。通过将存储的数据块与相同大小的新的传入数据块进行比较,并去除任何匹配的块,去重复消除了重复数据的重复副本。
在方法200的第六步骤212中,然后将去重复后的数据串行化。在一些实施例中,第六步骤212中的串行化包括产生按时间顺序的原始事件流。也就是说,在第六步骤212的输出处以基本上表示原始事件活动的时间顺序的顺序提供原始事件流。也就是说,在时间上首先发生的事件首先出现在按时间顺序的原始事件流中。在时间上第二发生的事件第二出现在按时间顺序的原始事件流中,依此类推。
在方法200的第七步骤214、第八步骤216和第九步骤218中,然后处理来自第六步骤212的按时间顺序的原始事件流。在根据本教导的各种方法中,所有这些步骤中的一些以各种顺序执行。在一些实施例中,第七处理步骤214使用对收集到的事件信息的单独事件分析来处理用于实时信号检测的按时间顺序的有序事件流,以生成经处理的信息安全结果。在一些实施例中,第七处理步骤214是原始事件处理,其产生可用于生成威胁情报的原始事件日志。在一些实施例中,第八处理步骤216是基于规则的处理。在基于规则的处理中,将客户特定规则应用于按时间顺序的原始数据事件流,以向该客户产生警报和通知。可以应用多个客户规则集,因此可以向个体客户提供定制的通知和警报。
在一些实施例中,第九处理步骤218包括数据分析处理。数据分析可以包括漏洞分析。例如,漏洞分析可以对特定被监视系统的资产和能力进行编目,确定这些资产的优先级,并根据经处理的按按时间顺序的原始事件数据来识别对这些资产构成的特定漏洞和潜在威胁。数据分析还可以包括利用分析。在利用分析处理中,按时间顺序的原始数据事件流识别受到网络利用的各种过程和活动。在第九处理步骤218的一些实施例中,处理器使用概率过滤来构建威胁语料库。此外,在第九处理步骤218的一些实施例中,处理器将数据与已知安全威胁的国家数据库相关以识别漏洞和利用。在第九处理步骤218的一些实施例中,处理器通过使用概率过滤器确定事件是否表示已知威胁模式。在存在大量事件的情况下使用概率过滤器是特别有利的,因为对于大量事件,确定事件是否是威胁模式的成员的确定性方法是不切实际的。
本教导的方法的一个特征是方法200的步骤214、216和218可以以流水线方式执行。也就是说,处理步骤214、216和218的输入和一个输出是按时间顺序的原始事件流。这样,处理步骤214、216和218可以以任何顺序执行。在各种方法中,本领域技术人员将理解,可以将附加处理步骤添加到方法200,并且不必一定在所有实施例中执行方法200的所有处理步骤。
在方法200的第十步骤220中,产生并公布处理步骤214、216和218的经处理的信息安全结果。可以将结果提供给正在使用本教导的操作系统事件和数据访问监视方法的一个或多个客户。结果可以在连接到系统的机器上的图形用户界面中呈现。结果可以通过web接口获得。结果也可以报告形式发布。报告可以在各种公共安全论坛上公开提供。
本教导的操作系统事件和数据访问监视系统和方法的一个特征是它监视在本教导的元件152(图1B)所使用的操作系统的内核级别生成的事件。在本领域中众所周知,操作系统内核是计算机操作系统的核心。内核调解对计算机中央处理器、存储器和输入输出(I/O)的访问,并且通常完全控制系统采取的所有动作。内核还可以管理进程之间的通信。内核在所有其他程序之前加载,并管理来自内核上运行的所有软件应用的整个启动和I/O请求。这样,监视内核提供了对在操作系统上正运行的信息系统的所有更高级别的活动的深入了解。
现有技术监视系统使用从Linux内核审计框架导出的信息。Linux内核审计框架用于现有技术系统的一个原因是使用Linux内核审计框架不需要内核模块。然而,Linux用户可用的Linux内核审计框架“auditd”守护进程很难配置,并且在处理事件时通常效率很低。这导致系统性能的显著降低。这样,用户很难直接与Linux内核审计框架交互。
相反,本教导的系统和方法利用与内核审计框架交互的代理以进行事件跟踪,并自动化事件信息收集。软件代理在本领域中是众所周知的。在一些实施例中,本教导的软件代理包括代表操作系统事件和数据访问监视系统自主操作的软件,以执行特定任务或功能并将结果数据传送到系统内的其他软件应用或进程。代理使用尽可能最少量的系统资源并在用户空间中运行。此外,代理可以跨多个Linux发行版运行,这简化了管理。此外,代理可以升级到更新的版本,而无需升级内核模块所需的大量操作开销。此外,代理避免了在作为内核模块运行的现有技术事件监视器中可能发生的系统不稳定性。
返回参考实现结合图1B描述的高级进程流程图的系统框图,本教导的代理包括在元件152的应用空间中运行的状态机处理器。代理从进程和/或机器152获得内核事件。代理将多个内核事件组合成具有预定义格式的结构化事件有效载荷。代理将结构化事件有效载荷发送到结合图1B描述的后端处理入口、摄取处理器157。
在一些实施例中,代理驻留在元件152处和流水线处理160处。在这些实施例中,代理将元数据附加到网络连接事件以确定连接源自何处以及去向何处。然后,后端流水线处理160处的代理能够关联这些网络事件以确定引起该网络事件的起源进程和潜在用户活动。这是驻留在源和目标服务器两者上的代理的优点。当尝试跨框连接时,这使多个主机之间的网络连接的跟踪自动化。元数据对于跟踪环境中的SSH会话以及调试哪些服务器彼此之间通话及其原因非常有用。
已知的基于内核的事件监视器系统(也称为审计系统)不提供易于搜索的日志。此外,已知的基于内核的事件监视器系统不支持自动查找与用户相关联的特定会话和收集代理。相反,已知的内核审计系统产生十六进制编码的字符串,其表示传统审计日志中的连接地址。此外,已知的内核审计系统提供与人类读者难以解析且不相关的事件和信息。本教导的操作系统事件和数据访问监视系统和方法的代理将与登录用户相关联的事件、活动和命令存储到结构化事件有效载荷。然后,代理自动重建结构化事件有效载荷,以将信息呈现为干净、紧凑、可搜索和可读的时间线。
现有技术系统利用用户守护进程“auditd”来收集和消耗事件数据。然而,存在许多与传统的开源auditd和auditd库相关联的不期望的特征,尤其是在性能敏感系统上运行时。例如,从传统的开源auditd和auditd库中快速获取有用数据尤其困难。这样,本教导的系统和方法在代理内使用定制审计监听器。监听器基于用户偏好获得文件和代谢概况。
图3示出了利用分布在云中的代理的本教导的操作系统事件和数据访问监视系统和方法的实施例的进程流程图300。多个客户代理位于多个客户的基于云的元件附近,这些元件构成这些客户的信息系统。在一些实施例中,由AmazonTM使用所谓的Amazon网络服务(Amazon Web Services,AWS)云来提供构成这些客户的信息系统的多个客户的基于云的元件。
进程302中的第一步骤包括通过多个分布式客户代理从多个客户使用的信息系统服务收集事件信息。第二步骤304包括通过负载平衡器基于每个客户代理的IP地址的最后八位字节的散列,将各种客户代理的连接分发给代理监听器306。进程的第三步骤306包括通过监听器寄存器为所有客户代理认证和管理代理状态。代理监听器接收所有客户代理通信并将命令发送给客户代理。
在第四步骤308中,代理监听器将从客户代理接收的所有数据发送到摄取队列。在第五步骤310中,摄取队列从为基于云的信息系统记录API调用的服务接收输入。在一些实施例中,记录API调用的服务是AWS CloudTrail。AWS CloudTrail记录API调用者的身份、API调用的时间、API调用者的源IP地址、请求参数以及AWS服务返回的响应元素。
在第六步骤312中,摄取队列将排队的数据发送到验证进程,验证进程验证数据,在适当时规范化数据,并用附加信息丰富数据。在第七步骤314中,丢弃进程执行规则以排除匹配某些标准的数据进一步向下流入处理流水线。丢弃的数据与预定标准不匹配。在第八步骤316中,将未从第七步骤314中执行的丢弃处理中丢弃的剩余数据提供到送给流水线处理级的下一队列。
在第九步骤318中,队列将数据流向处理级,该处理级将与事件相关联的IP地址与已知的坏IP地址的数据库进行比较。对匹配用标签做记号(这里描述的是智能事件标记),并继续使数据沿着流水线处理。在第十步骤320中,分析事件以确保它们符合预定义的数据标准。数据被插入到搜索引擎存储库中,以供用户、客户和其他进程进行搜索和检索。
然后,数据继续沿着处理流水线向下流动,其中在第十一步骤322中,重试批量的事件消息以便以预定间隔进行处理,然后将其存储到数据表中以用于聚合事件计数来激励用户接口。例如,预定间隔可以是10分钟。然后数据继续沿着处理流水线向下流动,其中在第十二步骤324中,变换事件捕获登录/注销和处理连接事件。变换事件被适当地格式化并插入到数据库中。在一些实施例中,数据库使用Apache Cassandra开源数据库管理系统。在一些实施例中,该格式适用于时间序列和伪图数据。
然后数据继续沿着处理流水线向下流动,其中在第十三步骤326中,警报进入队列将数据提供给进入进程。在第十四步骤328中,进入进程针对警报规则评估所有事件以创建通知。进入进程确定是否应该基于时间窗口和频率阈值创建警报。进入进程生成它确定应该创建的警报并将它们发送到警报编写器进程。在第十五步骤330中,警报编写器进程基于系统和用户标准确定是否应该抑制所生成的警报。警报编写器进程将警报写入主数据存储,以便进行进一步处理和在用户接口处可用。警报编写器将警报传递给通知进程。
在第十六步骤332中,通知进程基于客户偏好管理附加的通知选项。通知进程向各种信息系统管理和操作工具集发送通知。在一些实施例中,通知进程支持通知与PagerDuty的集成,该PagerDuty是事件解决平台。在其他实施例中,通知进程支持通知与Slack的集成,Slack是实时通信平台。在其他实施例中,通知进程将通知发送到由客户或最终用户指定的定制URL端点。
本教导的操作系统事件和数据访问监视系统和方法的一个特征是它可以使用最近在云信息系统中变得广泛使用的容器化系统来操作。基于云的信息系统的工作负载管理的最新趋势是将软件封装到容器中。容器设计为仅包含执行特定进程或应用所需的基本软件。容器虚拟化对诸如CPU、存储设备或存储器的资源的访问。容器与传统虚拟化技术的不同之处在于,它们专注于提供易于管理的完全封装的环境,以便执行特定的软件、流程或应用。
本教导的一些实施例使用已知的Docker系统进行容器化。Docker系统容器在Docker主机上执行,该主机提供基准Linux操作系统和相关库。Docker容器化建立在流程管理和隔离的现有Linux能力之上。因此,在Docker容器内执行的进程具有与在用户空间中执行的进程相同的进程信息和元数据。另外,Docker容器化提供了一系列API,其允许查询容器和进程以获取有关容器状态及其中运行的进程的元数据。应当理解,虽然本教导的一些方面描述了Docker容器化的使用,但是本领域技术人员将理解,本教导不限于使用Docker的容器化系统,并且可以使用许多其他的容器化方案。
在一些实施例中,本教导的系统和方法获得关于在用户空间中执行的其他进程的事件和元数据。在一些实施例中,本教导的系统和方法获得关于在可用的Docker应用编程接口(API)上执行的其他进程的事件和元数据。然后,代理将获得的事件和元数据变换为结构化事件有效载荷。为了大规模地执行此操作,代理从Docker容器获取和管理信息,特别是与Docker容器生命周期一起使用以便以计算和存储器有效的方式近乎实时地获取事件。
更具体地,代理确定在Docker主机上运行的容器数量并唯一地识别它们。代理还确定何时执行新容器并且终止旧容器,并因此将其从系统中老化。代理构建此类信息的内部缓存,以避免重复轮询Docker API,这将导致不期望的高的CPU利用率。然后,代理获取有关Docker容器进程可能触发的文件系统的信息。然后,代理将关于唯一识别的容器及其生命周期的信息与文件系统信息一起组合为预定义的审计事件。然后,代理将预定义的审计事件捆绑到结构化事件有效载荷中,并将事件传输到后处理系统,以进行用于基于规则的警报的分析、关联、显示和处理。
在一些实施例中,容器化能力在代理的单独的具有容器化能力的模块中传递。在这些实施例中,只有选择加入该特征的客户才具有容器化能力。例如,在一些实施例中,代理的具有容器化能力的模块在Docker 0.8和更高版本上运行。此外,在一些实施例中,具有容器化能力的模块在UbuntuCore、Ubuntu和CoreOS操作系统上运行,这些是Docker部署所共有的。
图4示出了利用从内核操作系统获得事件和元数据的容器化平台的本教导的基于代理的系统和方法的架构图400。用于图4中所示的实施例的操作系统的内核402是Linux内核。内核402支持应用和用户空间404。容器化平台406在应用和用户空间404中运行。代理408也在应用和用户空间中运行。在图4所示的实施例中,代理包括具有容器化能力的审计模块410和内核审计模块412。代理408的具有容器化能力的审计模块410在容器化平台406的API 414上进行调用。容器化平台406支持包含各种进程416的各种容器418。容器化平台进程420提供各种进程信息和关于各种容器418和进程416的附加标识信息。信息通过API414可得。代理408的内核审计模块412也可以从内核402上运行的内核审计框架422获得事件和元数据。
本教导的操作系统事件和数据访问监视方法的一个特征是它可以基于特定进程、正在运行该进程的特定机器或两者来监视基于云的信息系统。本领域公知,云计算和基于云的服务是指利用共享的计算资源的计算和提供服务的系统和方法。出于本公开的目的,机器或处理器是基于硬件的计算资源,并且过程、应用或服务是基于软件的进程。在基于云的信息系统中,共享的计算资源包括使用因特网连接在一起的计算机、处理器和存储资源。提供各种服务的各种应用或进程使用共享的资源以软件运行。可以迁移各种进程以随时间在各种计算资源上运行。结果,进程可以在进程的生命周期中与多个机器相关联。在许多情况下,操作系统与在操作系统上运行的所有应用和进程一起被迁移到不同的机器。这样,本教导的操作系统事件和数据访问监视方法的重要特征是事件信息的收集可以与特定应用、服务或进程相绑定,并且在迁移期间维护该集合。在一些实施例中,事件信息的集合与特定操作系统实例相绑定,并且将随着该操作系统在云中迁移而迁移。在一些实施例中,事件信息的集合可以绑定到特定的共享资源。
本教导的操作系统事件和数据访问监视方法能够监视利用虚拟机的系统。虚拟机模拟计算机资源的功能。在一些实施例中,运行本教导的进程、应用和服务的虚拟机执行完整的操作系统,最通常是Linux。在一些实施例中,本教导的进程、应用和服务在公共操作系统的内核处提供的虚拟机上运行,该公共操作系统提供运行进程的有时被称为容器的隔离的用户空间。在这些系统中,容器作为单独的机器运行并共享共同的操作系统。
图5示出了使用本教导的容器化平台生成结构化事件有效载荷的方法500的进程流程图。在方法500的第一步骤502中,配置容器进程事件的集合。在第二步骤504中,初始化具有容器能力的代理模块。在一些实施例中,启动容器进程事件的集合包括在代理上设置配置标签,然后重新启动代理。配置持久存储到盘。重新启动代理后,对具有容器能力的代理模块进行初始化。在第三步骤506中,该模块连接到容器化平台API。在第四步骤508中,具有容器能力的代理模块确定容器的数量并唯一地识别它们。在一个特定实施例中,方法500的第三步骤506包括连接到/var/run/docker.sock处的Docker套接字。在API是Docker套接字的实施例中,在成功连接到该套接字之后,第四步骤508包括获得位于/var/lib/docker/containers/的JSON格式化的配置文件以确定运行的容器的数量并开始获取容器信息。
在方法500的第五步骤510中,创建高速缓存,其包括关于容器的数量的信息和唯一标识信息。第五步骤510有利地避免必须重复轮询容器化平台。在一些实施例中,代理遍历Docker容器列表并调用Docker REST“GET/containers/”API以获得关于容器的信息。
在方法500的第六步骤512中,获得事件信息,所述事件信息包括与在容器中运行的进程相关的事件及事件信息。在第六步骤中,还可以获得相关联的用户信息。在一些实施例中,调用/top来获得关于在容器内运行的所有进程的信息,以获得与该进程相关联的它们的人类可读名称、进程ID(PID)和用户ID。
方法500的第七步骤514是识别事件并将事件分类为预定事件类型。在第七步骤514的一些实施例中,执行从Docker到内核PID的PID的映射,以能够具体地识别该进程并确保其具有唯一的PID。
在方法500的第八步骤516中,获得和/或确定关于事件的附加元数据。在一些实施例中,第八步骤516包括代理对/json进行调用以获得关于容器本身的附加信息,其可以例如包括容器名称和ID。此信息用于后处理中,以允许用户识别针对给定进程事件的Docker容器。
在方法500的第九步骤518中,生成结构化事件有效载荷,然后由代理将其发送到后端处理。在一些实施例中,结构化事件有效载荷包括基于对预定义事件类型进行分组的预定义格式。在一些实施例中,文件从具有容器化能力的模块发送到主代理代码,以供验证和传输到后端处理。然后,方法500的处理流程从第六步骤512重复,直到监视完成。在监视完成之后,该方法在第十步骤520结束。
本教导的操作系统事件和数据访问监视系统和方法有利地提供了对被监视信息系统中的活动的实时和历史分析。由此产生的合成数据保护和解释在基于云的信息系统周围正移动的密码、凭据、知识产权和客户数据。在一些实施例中,搜索和分析信息系统的特定用户和进程活动以确定趋势。在一些实施例中,信息系统内的动作的实时可见性和详细审计跟踪提供满足特定合规性规则(例如HIPAA、PCIDSS、SOC 2、ISO 27001和SOX 404)所必需的历史记录。
图6A和图6B示出了图形用户界面(GUI)600的实施例,其呈现由本教导的操作系统事件和数据访问监视系统和方法提供的经处理的信息安全结果。该系统和方法向正被监视的系统的信息系统管理员和其他用户提供完全处理和组织的信息。图形用户界面(GUI)600支持使用内置或定制规则调用和解除警报的能力。GUI 600提供并存档所有被解除的警报以及由谁何时检查警报的审计跟踪。GUI 600可用于调用各种系统活动信息,其包括:扫描活动,异常登录尝试/失败,广泛开放的安全组,新进程或内核模块的启动,用户会话信息,进程停止,用于命令和控制的外部连接,和用户会话信息。系统还自动识别活动,包括用户权限升级,未经授权的安装,添加/删除新用户,可疑命令,安全组更改,用户会话信息,和进程停止。
本教导的操作系统事件和数据访问监视系统和方法的一个特征是它提供对用户、进程和文件行为的变化的快速且简单的识别。在一些实施例中,系统连续监视和跟踪工作负载。在这些实施例中,该系统可用于识别活动何时偏离正常。工作负载是在信息系统上常规运行的一个或多个应用程序、进程和服务的组。跟踪工作负载相对于传统的基于签名的识别系统有几个好处。这些好处中的一个是它可以更好地防范新的和未知的威胁。这些好处的另一个好处是,它有助于识别内部威胁,无论它们是恶意的还是偶然的。
在本教导的操作系统事件和数据访问监视系统和方法的各种实施例中识别的常见威胁指示符的示例包括:(1)使用诸如sudo/scp/curl/wget之类的命令;(2)用户将文件复制到另一台机器上;(3)新用户登录会话;(4)启动新的和未经授权的流程、服务和工作负载;(5)新的外部连接;(6)重要文件的变化;(7)与已知的“坏IP”列表的连接。在各种实施例中,系统支持对与数据泄漏相关联的常见活动的详细调查,包括:(1)理解用户如何将他们的特权升级或改变为根(root);(2)调查所有用户的所有运行命令;(3)跟踪多台机器上的用户登录;(4)调试服务崩溃的原因;以及(5)理解服务执行特定进程的原因。
在各种实施例中,例如,实时可见性和详细审计跟踪提供:(1)HIPAA、PCI DSS、SOC2、ISO 27001和SOX 404规则的合规性;(2)内部控制和进程验证;以及(3)重要文件仍然受到保护的知识。系统还会监视漏洞和软件补丁。
本教导的操作系统事件和数据访问监视系统和方法的一个特征是支持PCI DSS合规性的能力。对于存储、处理或传输信用卡数据的组织,符合PCI DSS合规性规定意味着为提供这些能力的信息系统提供正确的控制、策略和程序。系统通常需要持续监视并提供对持卡人数据移动和云中应用活动的可见性。这是因为系统不仅在内核级别监视,还在交易期间关键持卡人数据通信的关键点监视。
本教导的操作系统事件和数据访问监视系统和方法的一个特征是它支持防止未授权数据、配置和活动变化或在高风险区域内暴露。该系统还通知信息系统已知的网络攻击,包括开放Web应用安全项目(OWASP)、SANS研究所、美国计算机应急准备小组(CERT)和其他各种组织记录的网络攻击。
本教导的操作系统事件和数据访问监视系统和方法的另一个特征是它可以编译审计日志,该日志可以帮助识别何时具有持卡人数据的文件被访问,以及哪个进程或用户访问了它。因此,该系统提供对可用于改进测试进程的安全配置和控制有效性的可见性。
本教导的操作系统事件和数据访问监视系统和方法的另一个特征是支持服务组织控制2(SOC 2)报告的能力。存储和处理其大量客户数据的服务提供商必须将对此客户数据的风险和暴露降至最低。安全控制不足会给服务提供商及其客户带来重大风险。美国注册会计师协会(AICPA)要求所有处理客户数据的服务提供商,无论是在休息还是在途中,都符合SOC 2要求。这些合规性法规使保密性和安全性措施符合当前的云安全问题,并涵盖服务提供商的客户数据的安全性、可用性、处理完整性和机密性。
服务组织控制2合规性必须监视控制、用户访问和可能指示折衷的数据变化。可以使用本教导的系统和方法来识别可能损害系统安全性、可用性、处理完整性或机密性的威胁。此外,可以识别未经授权的数据暴露或修改并立即响应。此外,提供了详述系统活动的审计日志,这些日志在事后分析中非常有用。
本教导的操作系统事件和数据访问监视系统和方法的另一个特征是使用云来安全且合规地管理医疗保健记录和服务的能力。医疗保健法规要求医疗保健企业知道谁在何时何地访问和共享哪些数据。还需要识别和验证威胁并保持个人健康信息(PHI)的安全。健康保险流通与责任法案(HIPAA)通过特定的合规性法规保护高度敏感的患者数据的隐私和安全。由本教导的系统和方法实现的健康保险流通和责任合规性特征包括监视云活动,其包括可疑文件系统、帐户和配置活动。系统提供有关改变或暴露数据或用加密算法、应用或密钥篡改的警报,以便立即响应。例如,系统可以在违反策略和/或过程时通知并且准确地跟踪谁正在访问什么数据和/或什么进程。系统还提供有关系统活动的详细报告,以便系统管理员能够就如何响应做出明智的决策。
等同物
虽然结合各种实施例描述了申请人的教导,但并不意味着申请人的教导限于这些实施例。相反,申请人的教导包括本领域技术人员将理解的各种替换、修改和等同物,所述各种替换、修改和等同物可以在不脱离本教导的精神和范围的情况下在其中进行。

Claims (38)

1.一种基于云的操作系统事件和数据访问监视方法,所述方法包括:
a)从基于云的元件收集实时的连续的事件信息;
b)基于所收集的事件信息生成一个或多个结构化事件有效载荷;
c)验证所述一个或多个结构化事件有效载荷以产生一个或多个经验证的事件集合;
d)将所述一个或多个经验证的事件集合串行化为实时的事件流;
e)过滤所述一个或多个经验证的事件集合以去除冗余的结构化事件有效载荷;
f)将实时的事件流去串行化为经验证的事件集合,并产生按时间顺序的有序的事件流;
g)在按时间顺序的有序的事件流中对经验证的事件集合进行去重复,以去除重复的结构化事件有效载荷;以及
h)使用对所收集的事件信息的单独事件分析来对于实时信号检测处理按时间顺序的有序的事件流,以生成经处理的信息安全结果。
2.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,所述基于云的元件包括基于云的进程。
3.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,所述基于云的元件包括基于云的机器。
4.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,从被监视的基于云的元件收集实时的连续的事件信息包括:从操作系统内核收集实时的连续的事件信息。
5.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,从被监视的基于云的元件收集实时的连续的事件信息包括:从在操作系统内核上运行的容器化平台收集实时的连续的事件信息。
6.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,从被监视的基于云的元件收集实时的连续的事件信息包括:在与所述基于云的元件相同的操作系统上运行的代理处收集实时的连续的事件信息。
7.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,所收集的事件信息包括:与被监视的进程相关联的人类可读名称、进程ID和用户ID中的至少一个。
8.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,所收集的事件信息包括:与被监视的进程相关联的容器名称和容器ID中的至少一个。
9.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,生成结构化事件有效载荷包括:生成从所收集的事件信息获得的加时间戳的事件集合。
10.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,生成结构化事件有效载荷包括:实时地将相关事件类型分组在一起。
11.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,生成结构化事件有效载荷包括:附加元数据以生成可搜索的结构化事件有效载荷。
12.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,处理按时间顺序的有序的事件流包括:一个或多个处理步骤的流水线处理。
13.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,处理按时间顺序的有序的事件流包括:处理时间序列数据以产生时间相关事件流。
14.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,处理按时间顺序的有序的事件流包括:处理原始事件日志记录以产生原始事件日志。
15.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,处理按时间顺序的有序的事件流包括:处理基于规则的事件标识以产生警报。
16.根据权利要求15所述的基于云的操作系统事件和数据访问监视方法,其中,处理基于规则的事件标识包括:处理定制的规则集。
17.根据权利要求1所述的基于云的操作系统事件和数据访问监视方法,其中,处理按时间顺序的有序的事件流包括:生成报告的漏洞和利用分析处理。
18.根据权利要求17所述的基于云的操作系统事件和数据访问监视方法,其中,漏洞和利用分析处理使用概率过滤器来处理数据。
19.一种基于云的操作系统事件和数据访问监视系统,包括:
a)第一处理器,所述第一处理器电耦合到被监视的基于云的元件,并且被配置为从所述被监视的基于云的元件收集实时的连续的事件信息,并基于所收集的事件信息生成一个或多个结构化事件有效载荷;
b)电耦合到第一处理器的第二处理器,所述第二处理器被配置为接收结构化事件有效载荷,验证结构化事件有效载荷以产生一个或多个经验证的事件集合,并过滤经验证的事件集合以去除冗余的结构化事件有效载荷,对过滤后的经验证的事件集合进行去重复以去除重复的结构化事件有效载荷,并将去重复的过滤后的经验证的事件集合串行化以产生按时间顺序的原始事件流;以及
c)第三处理器,所述第三处理器电耦合到第二处理器,并且被配置为使用对去重复的过滤后的经验证的事件集合的单独事件分析来对于实时信号检测处理按时间顺序的原始事件流,以生成经处理的信息安全结果。
20.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,基于云的元件包括基于云的进程。
21.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,基于云的元件包括基于云的机器。
22.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,第一处理器和第二处理器通过因特网电耦合。
23.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,第二处理器包括多个分布式处理器。
24.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,第三处理器包括多个处理器,所述多个处理器对按时间顺序的原始事件流进行流水线处理。
25.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,处理按时间顺序的原始事件流包括:产生时间相关事件流的时间序列数据处理。
26.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,第三处理器生成原始事件日志。
27.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,第三处理器生成警报。
28.根据权利要求27所述的基于云的操作系统事件和数据访问监视系统,其中,警报是基于定制的规则集的。
29.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,第三处理器生成安全报告。
30.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,第三处理器执行概率过滤器进程。
31.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,被监视的基于云的元件包括操作系统内核,并且第一处理器从操作系统内核收集事件信息。
32.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,被监视的基于云的元件包括容器化平台,并且第一处理器从容器化平台收集事件信息。
33.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,第一处理器执行收集事件信息的软件代理。
34.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,所收集的实时的连续的事件信息包括:与被监视的进程相关联的人类可读名称、进程ID和用户ID。
35.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,所收集的实时的连续的事件信息包括:与被监视的进程相关联的容器名称和容器ID。
36.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,经验证的事件集合包括:从所收集的实时的连续的事件信息获得的加时间戳的事件集合。
37.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,经验证的事件集合包括:实时地分组在一起的事件类型。
38.根据权利要求19所述的基于云的操作系统事件和数据访问监视系统,其中,经验证的事件集合包括:可搜索的元数据。
CN201780085458.3A 2016-12-21 2017-12-20 用于基于云的操作系统事件和数据访问监视的系统和方法 Active CN110249314B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662437411P 2016-12-21 2016-12-21
US62/437,411 2016-12-21
US15/846,780 2017-12-19
US15/846,780 US10791134B2 (en) 2016-12-21 2017-12-19 System and method for cloud-based operating system event and data access monitoring
PCT/US2017/067584 WO2018119068A1 (en) 2016-12-21 2017-12-20 System and method for cloud-based operating system event and data access monitoring

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410412859.7A Division CN118133318A (zh) 2016-12-21 2017-12-20 用于基于云的操作系统事件和数据访问监视的系统和方法

Publications (2)

Publication Number Publication Date
CN110249314A true CN110249314A (zh) 2019-09-17
CN110249314B CN110249314B (zh) 2024-04-30

Family

ID=62557011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780085458.3A Active CN110249314B (zh) 2016-12-21 2017-12-20 用于基于云的操作系统事件和数据访问监视的系统和方法

Country Status (5)

Country Link
US (2) US10791134B2 (zh)
EP (2) EP4283929A3 (zh)
KR (2) KR102264288B1 (zh)
CN (1) CN110249314B (zh)
WO (1) WO2018119068A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064869A (zh) * 2021-03-23 2021-07-02 网易(杭州)网络有限公司 日志处理方法、装置、发送端、接收端设备及存储介质
CN117118824A (zh) * 2023-10-20 2023-11-24 成都卓拙科技有限公司 一种日志数据收集方法及设备

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10666443B2 (en) * 2016-10-18 2020-05-26 Red Hat, Inc. Continued verification and monitoring of application code in containerized execution environment
WO2018100432A1 (en) * 2016-12-02 2018-06-07 Secude Ag Data stream surveillance, intelligence and reporting
US20240152612A9 (en) * 2016-12-21 2024-05-09 F5, Inc. System and method for cloud-based operating system event and data access monitoring
CN111742522B (zh) * 2017-12-21 2023-11-24 瑞典爱立信有限公司 用于处理在云环境中部署的网络服务的事件的代理、服务器、核心网络节点及其中的方法
WO2019174048A1 (zh) * 2018-03-16 2019-09-19 华为技术有限公司 容器逃逸检测方法、装置、系统及存储介质
US10749771B2 (en) * 2018-05-18 2020-08-18 Microsoft Technology Licensing, Llc Extensible, secure and efficient monitoring and diagnostic pipeline for hybrid cloud architecture
US11163737B2 (en) * 2018-11-21 2021-11-02 Google Llc Storage and structured search of historical security data
US11023582B2 (en) * 2018-12-19 2021-06-01 EMC IP Holding Company LLC Identification and control of malicious users on a data storage system
US10951496B2 (en) 2018-12-24 2021-03-16 Threat Stack, Inc. System and method for cloud-based control-plane event monitor
US11113270B2 (en) 2019-01-24 2021-09-07 EMC IP Holding Company LLC Storing a non-ordered associative array of pairs using an append-only storage medium
US11368479B2 (en) 2019-09-27 2022-06-21 Musarubra Us Llc Methods and apparatus to identify and report cloud-based security vulnerabilities
KR102122176B1 (ko) * 2020-02-16 2020-06-12 주식회사 케이비시스 향상된 확장성 및 자율성을 갖는 컨테이너 기반 클라우드 시스템 및 클라우드 서비스 제공 방법
US11599546B2 (en) 2020-05-01 2023-03-07 EMC IP Holding Company LLC Stream browser for data streams
US11604759B2 (en) 2020-05-01 2023-03-14 EMC IP Holding Company LLC Retention management for data streams
US11340834B2 (en) 2020-05-22 2022-05-24 EMC IP Holding Company LLC Scaling of an ordered event stream
US11360992B2 (en) 2020-06-29 2022-06-14 EMC IP Holding Company LLC Watermarking of events of an ordered event stream
US20220027250A1 (en) * 2020-07-27 2022-01-27 EMC IP Holding Company LLC Deduplication analysis
US11340792B2 (en) 2020-07-30 2022-05-24 EMC IP Holding Company LLC Ordered event stream merging
US11599420B2 (en) 2020-07-30 2023-03-07 EMC IP Holding Company LLC Ordered event stream event retention
US11513871B2 (en) 2020-09-30 2022-11-29 EMC IP Holding Company LLC Employing triggered retention in an ordered event stream storage system
US11354444B2 (en) * 2020-09-30 2022-06-07 EMC IP Holding Company LLC Access control for an ordered event stream storage system
US11755555B2 (en) 2020-10-06 2023-09-12 EMC IP Holding Company LLC Storing an ordered associative array of pairs using an append-only storage medium
US11323497B2 (en) 2020-10-07 2022-05-03 EMC IP Holding Company LLC Expiration of data streams for application programs in a streaming data storage platform
US11599293B2 (en) 2020-10-14 2023-03-07 EMC IP Holding Company LLC Consistent data stream replication and reconstruction in a streaming data storage platform
US11354054B2 (en) 2020-10-28 2022-06-07 EMC IP Holding Company LLC Compaction via an event reference in an ordered event stream storage system
US11347568B1 (en) 2020-12-18 2022-05-31 EMC IP Holding Company LLC Conditional appends in an ordered event stream storage system
US11816065B2 (en) 2021-01-11 2023-11-14 EMC IP Holding Company LLC Event level retention management for data streams
US11526297B2 (en) 2021-01-19 2022-12-13 EMC IP Holding Company LLC Framed event access in an ordered event stream storage system
US11714614B2 (en) * 2021-02-17 2023-08-01 Microsoft Technology Licensing, Llc Code generation tool for cloud-native high-performance computing
US11740828B2 (en) 2021-04-06 2023-08-29 EMC IP Holding Company LLC Data expiration for stream storages
US11954537B2 (en) * 2021-04-22 2024-04-09 EMC IP Holding Company LLC Information-unit based scaling of an ordered event stream
US11513714B2 (en) 2021-04-22 2022-11-29 EMC IP Holding Company LLC Migration of legacy data into an ordered event stream
US11681460B2 (en) 2021-06-03 2023-06-20 EMC IP Holding Company LLC Scaling of an ordered event stream based on a writer group characteristic
US11735282B2 (en) 2021-07-22 2023-08-22 EMC IP Holding Company LLC Test data verification for an ordered event stream storage system
US11971850B2 (en) 2021-10-15 2024-04-30 EMC IP Holding Company LLC Demoted data retention via a tiered ordered event stream data storage system
US11695696B2 (en) 2021-11-23 2023-07-04 Capital One Services, Llc Prepopulation of caches
US11916787B2 (en) 2021-11-23 2024-02-27 Capital One Services, Llc Stream listening cache updater
US11765252B2 (en) 2021-11-23 2023-09-19 Capital One Services, Llc Prepopulation of call center cache
CN114661563B (zh) * 2022-05-24 2022-10-04 恒生电子股份有限公司 基于流处理框架的数据处理方法以及系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020078381A1 (en) * 2000-04-28 2002-06-20 Internet Security Systems, Inc. Method and System for Managing Computer Security Information
US20110040805A1 (en) * 2009-08-11 2011-02-17 Carter Stephen R Techniques for parallel business intelligence evaluation and management
CN102216922A (zh) * 2008-10-08 2011-10-12 卡沃有限公司 用于n层应用程序的云计算生命周期管理
US20120066769A1 (en) * 2010-09-14 2012-03-15 Mastek (Uk) Ltd. Data security in a cloud computing environment
US20120297061A1 (en) * 2011-05-17 2012-11-22 Applied Broadband, Inc. Method and system for collecting and managing network data
CN103124293A (zh) * 2012-12-31 2013-05-29 中国人民解放军理工大学 一种基于多Agent的云数据安全审计方法
CN103281344A (zh) * 2012-01-14 2013-09-04 国际商业机器公司 用于混合云的服务使用的集成计量的方法和系统
US20130326620A1 (en) * 2013-07-25 2013-12-05 Splunk Inc. Investigative and dynamic detection of potential security-threat indicators from events in big data
CN103746991A (zh) * 2014-01-02 2014-04-23 曙光云计算技术有限公司 云计算网络中的安全事件分析方法及系统
US20140330926A1 (en) * 2013-05-06 2014-11-06 Microsoft Corporation Scalable data enrichment for cloud streaming analytics
US20150106867A1 (en) * 2013-10-12 2015-04-16 Fortinet, Inc. Security information and event management
US20150172321A1 (en) * 2013-12-13 2015-06-18 Palerra, Inc. Systems and Methods for Cloud Security Monitoring and Threat Intelligence
US20150296186A1 (en) * 2014-04-10 2015-10-15 Smartvue Corporation Systems and methods for automated cloud-based analytics for security and/or surveillance
US20150295779A1 (en) * 2014-04-15 2015-10-15 Splunk Inc. Bidirectional linking of ephemeral event streams to creators of the ephemeral event streams
WO2016018382A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Creating a security report for a customer network
CN105989190A (zh) * 2015-03-17 2016-10-05 国际商业机器公司 云基础架构及用于部署云基础架构的方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7912820B2 (en) * 2003-06-06 2011-03-22 Microsoft Corporation Automatic task generator method and system
US8209759B2 (en) 2005-07-18 2012-06-26 Q1 Labs, Inc. Security incident manager
US8079037B2 (en) 2005-10-11 2011-12-13 Knoa Software, Inc. Generic, multi-instance method and GUI detection system for tracking and monitoring computer applications
US8731994B2 (en) 2006-10-06 2014-05-20 Accenture Global Services Limited Technology event detection, analysis, and reporting system
KR20110036420A (ko) * 2009-10-01 2011-04-07 윤성진 클라우드 컴퓨팅 환경을 위한 가상 방화 장치 및 방법
US9047144B2 (en) * 2009-11-04 2015-06-02 International Business Machines Corporation System and method for providing Quality-of-Services in a multi-event processing environment
US20120137367A1 (en) 2009-11-06 2012-05-31 Cataphora, Inc. Continuous anomaly detection based on behavior modeling and heterogeneous information analysis
WO2013036269A1 (en) * 2011-09-09 2013-03-14 Hewlett-Packard Development Company, L.P. Systems and methods for evaluation of events based on a reference baseline according to temporal position in a sequence of events
KR101357135B1 (ko) * 2012-06-14 2014-02-05 (주)아이비즈소프트웨어 로그 정보 수집 장치
KR101454838B1 (ko) 2013-04-25 2014-10-28 한국인터넷진흥원 하이퍼바이저 기반 가상화 네트워크 및 호스트 침입방지 시스템과 연동하는 클라우드 통합 보안 관제 시스템
US9832217B2 (en) * 2014-03-13 2017-11-28 International Business Machines Corporation Computer implemented techniques for detecting, investigating and remediating security violations to IT infrastructure
US10693742B2 (en) 2014-04-15 2020-06-23 Splunk Inc. Inline visualizations of metrics related to captured network data
US9703675B2 (en) 2014-08-11 2017-07-11 Microsoft Technology Licensing, Llc Structured logging and instrumentation framework
US9509708B2 (en) * 2014-12-02 2016-11-29 Wontok Inc. Security information and event management
US10334085B2 (en) * 2015-01-29 2019-06-25 Splunk Inc. Facilitating custom content extraction from network packets
WO2016138067A1 (en) 2015-02-24 2016-09-01 Cloudlock, Inc. System and method for securing an enterprise computing environment
US9722948B2 (en) * 2015-06-26 2017-08-01 Nicira, Inc. Providing quality of service for containers in a virtualized computing environment
US10348517B2 (en) * 2015-10-09 2019-07-09 Openet Telecom Ltd. System and method for enabling service lifecycle based policy, licensing, and charging in a network function virtualization ecosystem
US10210325B2 (en) * 2015-11-23 2019-02-19 Armor Defense Inc. Extracting and detecting malicious instructions on a virtual machine
US20170187785A1 (en) * 2015-12-23 2017-06-29 Hewlett Packard Enterprise Development Lp Microservice with decoupled user interface
US10657146B2 (en) * 2016-09-26 2020-05-19 Splunk Inc. Techniques for generating structured metrics from ingested events

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020078381A1 (en) * 2000-04-28 2002-06-20 Internet Security Systems, Inc. Method and System for Managing Computer Security Information
CN102216922A (zh) * 2008-10-08 2011-10-12 卡沃有限公司 用于n层应用程序的云计算生命周期管理
US20110040805A1 (en) * 2009-08-11 2011-02-17 Carter Stephen R Techniques for parallel business intelligence evaluation and management
US20120066769A1 (en) * 2010-09-14 2012-03-15 Mastek (Uk) Ltd. Data security in a cloud computing environment
US20120297061A1 (en) * 2011-05-17 2012-11-22 Applied Broadband, Inc. Method and system for collecting and managing network data
CN103281344A (zh) * 2012-01-14 2013-09-04 国际商业机器公司 用于混合云的服务使用的集成计量的方法和系统
CN103124293A (zh) * 2012-12-31 2013-05-29 中国人民解放军理工大学 一种基于多Agent的云数据安全审计方法
US20140330926A1 (en) * 2013-05-06 2014-11-06 Microsoft Corporation Scalable data enrichment for cloud streaming analytics
US20130326620A1 (en) * 2013-07-25 2013-12-05 Splunk Inc. Investigative and dynamic detection of potential security-threat indicators from events in big data
US20150106867A1 (en) * 2013-10-12 2015-04-16 Fortinet, Inc. Security information and event management
US20150172321A1 (en) * 2013-12-13 2015-06-18 Palerra, Inc. Systems and Methods for Cloud Security Monitoring and Threat Intelligence
CN103746991A (zh) * 2014-01-02 2014-04-23 曙光云计算技术有限公司 云计算网络中的安全事件分析方法及系统
US20150296186A1 (en) * 2014-04-10 2015-10-15 Smartvue Corporation Systems and methods for automated cloud-based analytics for security and/or surveillance
US20150295779A1 (en) * 2014-04-15 2015-10-15 Splunk Inc. Bidirectional linking of ephemeral event streams to creators of the ephemeral event streams
WO2016018382A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Creating a security report for a customer network
CN105989190A (zh) * 2015-03-17 2016-10-05 国际商业机器公司 云基础架构及用于部署云基础架构的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064869A (zh) * 2021-03-23 2021-07-02 网易(杭州)网络有限公司 日志处理方法、装置、发送端、接收端设备及存储介质
CN113064869B (zh) * 2021-03-23 2023-06-13 网易(杭州)网络有限公司 日志处理方法、装置、发送端、接收端设备及存储介质
CN117118824A (zh) * 2023-10-20 2023-11-24 成都卓拙科技有限公司 一种日志数据收集方法及设备
CN117118824B (zh) * 2023-10-20 2024-02-27 成都卓拙科技有限公司 一种日志数据收集方法及设备

Also Published As

Publication number Publication date
CN110249314B (zh) 2024-04-30
EP3559812B1 (en) 2024-03-27
EP4283929A3 (en) 2024-01-24
US20200404011A1 (en) 2020-12-24
KR102495750B1 (ko) 2023-02-06
US10791134B2 (en) 2020-09-29
EP4283929A2 (en) 2023-11-29
EP3559812A1 (en) 2019-10-30
KR20190090037A (ko) 2019-07-31
US20180176244A1 (en) 2018-06-21
US11283822B2 (en) 2022-03-22
KR102264288B1 (ko) 2021-06-15
KR20210072132A (ko) 2021-06-16
WO2018119068A1 (en) 2018-06-28
EP3559812A4 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
CN110249314A (zh) 用于基于云的操作系统事件和数据访问监视的系统和方法
US11449379B2 (en) Root cause and predictive analyses for technical issues of a computing environment
US9672355B2 (en) Automated behavioral and static analysis using an instrumented sandbox and machine learning classification for mobile security
JP5021886B2 (ja) 設定可能な構成要素からなる企業をアクティブに管理するためのシステムおよび方法
Tien et al. KubAnomaly: Anomaly detection for the Docker orchestration platform with neural network approaches
US10956596B2 (en) System and method for automatically securing sensitive data in public cloud using a serverless architecture
US9697352B1 (en) Incident response management system and method
US9401922B1 (en) Systems and methods for analysis of abnormal conditions in computing machines
US20060161462A1 (en) Method and apparatus for collecting inventory information for insurance purposes
CN108595952A (zh) 一种电力移动应用软件漏洞的检测方法及系统
CN109997143A (zh) 敏感数据的安全共享
US9582776B2 (en) Methods and systems for providing a comprehensive view of it assets as self service inquiry/update transactions
Wongthai et al. Performance measurement of logging systems in infrastructure as a service cloud
US20240152612A9 (en) System and method for cloud-based operating system event and data access monitoring
Kuehn et al. The Notion of Relevance in Cybersecurity: A Categorization of Security Tools and Deduction of Relevance Notions
De Marco et al. Digital evidence management, presentation, and court preparation in the cloud: a forensic readiness approach
CN118133318A (zh) 用于基于云的操作系统事件和数据访问监视的系统和方法
US11947705B2 (en) Device and method for analyzing the performances of an n-tier application
JP7302223B2 (ja) スクリプト検出装置、方法及びプログラム
US20240193519A1 (en) Systems and methods for system-wide granular access risk management
Oo Forensic Investigation on Hadoop Big Data Platform
Ferreira et al. Building GDPR-Compliant Web Applications with RuleKeeper
Kimathi A Platform for monitoring of security and audit events: a test case with windows systems
Arb Oracle Database Performance Improvement: Using Trustworthy Automatic Database Diagnostic Monitor Technology
Kabay et al. Operations Security and Production Controls

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant