CN112507265A - 基于树结构进行异常侦测的方法、装置及相关产品 - Google Patents
基于树结构进行异常侦测的方法、装置及相关产品 Download PDFInfo
- Publication number
- CN112507265A CN112507265A CN202011323586.7A CN202011323586A CN112507265A CN 112507265 A CN112507265 A CN 112507265A CN 202011323586 A CN202011323586 A CN 202011323586A CN 112507265 A CN112507265 A CN 112507265A
- Authority
- CN
- China
- Prior art keywords
- source data
- system operation
- operation log
- service process
- security service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 335
- 238000001514 detection method Methods 0.000 title claims abstract description 259
- 230000008569 process Effects 0.000 claims abstract description 264
- 230000005856 abnormality Effects 0.000 claims abstract description 105
- 230000008859 change Effects 0.000 claims abstract description 58
- 230000002159 abnormal effect Effects 0.000 claims abstract description 47
- 230000007246 mechanism Effects 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 49
- 230000006399 behavior Effects 0.000 claims description 45
- 238000010586 diagram Methods 0.000 description 23
- 230000003993 interaction Effects 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000002547 anomalous effect Effects 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例提供了一种基于树结构进行异常侦测的方法、装置及相关产品。基于树结构进行异常侦测的方法通过获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常,进而判断用户的行为是否异常,以避免遭遇数据灾难以及避免用户受到不可估量的损失。
Description
技术领域
本申请涉及信息技术领域,特别是涉及一种基于树结构进行异常侦测的方法、装置 及相关产品。
背景技术
21世纪是数据信息大发展的时代,移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数据正在迅速膨胀并变大。互联网(社交、搜索、电商)、 移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监 控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据,海量的数 据隐含着巨大的信息。
数据是信息的载体,一旦遭遇数据灾难,可能给用户造成不可估量的损失。因此,提供一种进行异常侦测的方法,从而对用户的行为建立有效的监控。
发明内容
基于上述问题,本申请实施例提供了一种基于树结构进行异常侦测的方法、装置及 相关产品。
本申请实施例公开了如下技术方案:
1、一种基于树结构进行异常侦测的方法,其特征在于,包括:
获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安 全服务进程关联于系统操作日志源数据;
根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系 进行识别以判断所述系统操作日志源数据是否异常。
2、根据权利要求1所述基于树结构进行异常侦测的方法,其特征在于,所述获取安全服务进程树之前,包括:
实时抓取关联于用户实体行为的系统操作日志源数据,并确定控制所述系统操作日 志源数据生成的安全服务进程;
确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化;
根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源 数据的上下文关系。
3、根据权利要求2所述基于树结构进行异常侦测的方法,其特征在于,所述实时抓取关联于用户实体行为的系统操作日志源数据,包括:以事件的方式从数据源获取 关联于用户实体行为的系统操作日志源数据。
4、根据权利要求2所述基于树结构进行异常侦测的方法,其特征在于,所述以事件的方式获取关联于用户实体行为的系统操作日志源数据,包括:对从数据源获取到 的关联于用户实体行为的系统操作日志源数据进行封装处理得到事件,以所述事件为 数据单元获取关联于用户实体行为的系统操作日志源数据。
5、根据权利要求2所述基于树结构进行异常侦测的方法,其特征在于,所述实时抓取关联于用户实体行为的系统操作日志源数据,包括:按照设定的PUSH模型或者 PULL模型实时抓取关联于用户实体行为的系统操作日志源数据。
6、根据权利要求5所述基于树结构进行异常侦测的方法,其特征在于,在所述PUSH模型中设置有日志搜集器,所述日志搜集器的容量需要大于系统操作日志源数据 的最大生成量。
7、根据权利要求5所述基于树结构进行异常侦测的方法,其特征在于,在所述PULL模型中设置有日志搜集器,所述日志搜集器的容量大于系统操作日志源数据的平 均生成量,且根据系统操作日志源数据的实时生成量调整数据收集的吞吐量。
8、根据权利要求2所述基于树结构进行异常侦测的方法,其特征在于,所述确定控制所述系统操作日志源数据生成的安全服务进程,包括:通过进程ID匹配的方式, 确定控制所述系统操作日志源数据生成的安全服务进程。
9、根据权利要求2所述基于树结构进行异常侦测的方法,其特征在于,所述确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化,包括:根据寄存 器中的值、进程的状态以及堆栈中的内容至少其一,确定在生成所述系统操作日志源 数据的过程中所述安全服务进程的变化。
10、根据权利要求2所述基于树结构进行异常侦测的方法,其特征在于,所述根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源数据的 上下文关系,包括:将当前安全服务进程作为安全服务进程树中的父节点,将当前安 全服务进程的下一安全服务进程作为所述父节点的子节点,以确定所述系统操作日志 源数据的上下文关系,其中,所述父节点的特征信息包括所述当前安全服务进程的ID, 以及对应的系统操作日志源数据,所述子节点的特征信息包括所述下一安全服务进程 的ID,以及对应的系统操作日志源数据。
由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓 取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
11、根据权利要求1所述基于树结构进行异常侦测的方法,其特征在于,多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上,以使得每台 服务器上的异常侦测模型可以基于其异常侦测机制判断所述系统操作日志源数据是否 异常。
12、根据权利要求2所述基于树结构进行异常侦测的方法,其特征在于,所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判 断所述系统操作日志源数据是否异常,包括:若所述系统操作日志源数据异常,则生 成报警事件。
13、根据权利要求11所述基于树结构进行异常侦测的方法,其特征在于,多个所述异常侦测模型具有级联的逻辑处理关系;对应地,所述异常侦测判断策略根据所述 级联的逻辑处理关系确定;所述异常侦测模型基于其异常侦测机制对所述系统操作日 志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常,包括:若 上一个异常侦测模型输出表明实时抓取的系统操作日志源数据正常,则由所述上一个 异常侦测模型将实时抓取的系统操作日志源数据转发给下一个异常侦测模型对实时抓 取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
14、根据权利要求11所述基于树结构进行异常侦测的方法,其特征在于,多个所述异常侦测模型具有并行的逻辑处理关系;对应地,所述异常侦测判断策略根据所述 级联的逻辑处理关系确定;所述异常侦测模型基于其异常侦测机制对所述系统操作日 志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常,包括:多 个所述异常侦测模型并行对实时抓取的系统操作日志源数据进行异常侦测判断并输出 侦测结果。
15、一种基于树结构进行异常侦测的装置,其特征在于,包括:
进程树获取单元,用于获取安全服务进程树,所述安全服务进程树根据安全服务进 程的变化生成,所述安全服务进程关联于系统操作日志源数据;
关系确定单元,用于根据安全服务进程树,确定所述系统操作日志源数据的上下文 关系;
关系输入单元,用于将所述系统操作日志源数据的上下文关系输入到异常侦测模型 中;
异常侦测单元,用于使所述异常侦测模型基于其异常侦测机制对所述系统操作日志 源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
16、根据权利要求15所述基于树结构进行异常侦测的装置,其特征在于,所述装置还包括:
数据抓取单元,用于实时抓取关联于用户实体行为的系统操作日志源数据,并确定 控制所述系统操作日志源数据生成的安全服务进程;
进程变化确定单元,用于确定在生成所述系统操作日志源数据的过程中所述安全服 务进程的变化;
进程树建立单元,用于根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源数据的上下文关系。
17、根据权利要求16所述基于树结构进行异常侦测的装置,其特征在于,所述数据抓取单元进一步用于以事件的方式从数据源获取关联于用户实体行为的系统操作日 志源数据。
18、根据权利要求17所述基于树结构进行异常侦测的装置,其特征在于,所述数据抓取单元进一步用于对从数据源获取到的关联于用户实体行为的系统操作日志源数 据进行封装处理得到事件,以所述事件为数据单元获取关联于用户实体行为的系统操 作日志源数据。
19、根据权利要求16所述基于树结构进行异常侦测的装置,其特征在于,所述数据抓取单元进一步用于按照设定的PUSH模型或者PULL模型实时抓取关联于用户实 体行为的系统操作日志源数据。
20、根据权利要求19所述基于树结构进行异常侦测的装置,其特征在于,在所述PUSH模型中设置有日志搜集器,所述日志搜集器的容量需要大于系统操作日志源数据 的最大生成量。
21、根据权利要求19所述基于树结构进行异常侦测的装置,其特征在于,在所述PULL模型中设置有日志搜集器,所述日志搜集器的容量大于系统操作日志源数据的平 均生成量,且根据系统操作日志源数据的实时生成量调整数据收集的吞吐量。
22、根据权利要求16所述基于树结构进行异常侦测的装置,其特征在于,所述数据抓取单元进一步用于通过进程ID匹配的方式,确定控制所述系统操作日志源数据生 成的安全服务进程。
23、根据权利要求16所述基于树结构进行异常侦测的装置,其特征在于,所述进程变化确定单元进一步用于根据寄存器中的值、进程的状态以及堆栈中的内容至少其 一,确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化。
24、根据权利要求16所述基于树结构进行异常侦测的装置,其特征在于,所述进程树建立单元进一步用于将当前安全服务进程作为安全服务进程树中的父节点,将当 前安全服务进程的下一安全服务进程作为所述父节点的子节点,以确定所述系统操作 日志源数据的上下文关系,其中,所述父节点的特征信息包括所述当前安全服务进程 的ID,以及对应的系统操作日志源数据,所述子节点的特征信息包括所述下一安全服 务进程的ID,以及对应的系统操作日志源数据。
25、根据权利要求15所述基于树结构进行异常侦测的装置,其特征在于,多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上,以使得每 台服务器上的异常侦测模型可以基于其异常侦测机制判断所述系统操作日志源数据是 否异常。
26、根据权利要求16所述基于树结构进行异常侦测的装置,其特征在于,所述异常侦测单元进一步用于若所述系统操作日志源数据异常,则生成报警事件。
27、根据权利要求25所述基于树结构进行异常侦测的装置,其特征在于,多个所述异常侦测模型具有级联的逻辑处理关系;对应地,所述异常侦测判断策略根据所述 级联的逻辑处理关系确定;所述异常侦测单元进一步用于:若上一个异常侦测模型输 出表明实时抓取的系统操作日志源数据正常,则由所述上一个异常侦测模型将实时抓 取的系统操作日志源数据转发给下一个异常侦测模型对实时抓取的系统操作日志源数 据进行异常侦测判断并输出侦测结果。
28、根据权利要求25所述基于树结构进行异常侦测的装置,其特征在于,多个所述异常侦测模型具有并行的逻辑处理关系;对应地,所述异常侦测判断策略根据所述 级联的逻辑处理关系确定;所述异常侦测单元进一步用于:多个所述异常侦测模型并 行对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
29、一种电子设备,其特征在于,存储器以及处理器,所述存储器上存储有计算机可执行指令,所述处理器用于执行所述计算机可执行指令执行如下步骤:
实时抓取关联于用户实体行为的系统操作日志源数据,并确定控制所述系统操作日 志源数据生成的安全服务进程;
确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化;
根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源 数据的上下文关系。
30、一种计算计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机可执行指令,所述计算机可执行指令被执行时实施权利要求1-9任一项所述基于树结构 进行异常侦测的方法。
本申请实施例的技术方案中,通过获取安全服务进程树,所述安全服务进程树根据 安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;将所述系统操 作日志源数据的上下文关系输入到异常侦测模型中;所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源 数据是否异常,进而判断用户的行为是否异常,以避免遭遇数据灾难以及避免用户受 到不可估量的损失。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有 技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提 下,还可以根据这些附图获得其他的附图。
图1为本申请实施例一中基于树结构进行异常侦测的方法流程示意图;
图2为本申请实施例二中基于树结构进行异常侦测的方法流程示意图;
图3为本申请实施例三中基于树结构进行异常侦测的方法流程示意图;
图4为本申请实施例四中基于树结构进行异常侦测的方法流程示意图;
图5为本申请实施例五中基于树结构进行异常侦测的方法流程示意图;
图6为本申请实施例六中基于树结构进行异常侦测的方法流程示意图;
图7为本申请实施例七中基于树结构进行异常侦测的装置结构示意图;
图8为本申请实施例八中基于树结构进行异常侦测的装置结构示意图;
图9为本申请实施例九中基于树结构进行异常侦测的装置结构示意图;
图10为本申请实施例十中基于树结构进行异常侦测的装置结构示意图;
图11为本申请实施例十一中基于树结构进行异常侦测的装置结构示意图;
图12为本申请实施例十二中基于树结构进行异常侦测的装置结构示意图;
图13为本申请实施例十三中电子设备的结构示意图;
图14为本申请实施例十四中计算计算机存储介质的示意图;
图15为本申请实施例十五中电子设备的硬件结构示意图。
具体实施方式
实施本申请实施例的任一技术方案必不一定需要同时达到以上的所有优点。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附 图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅 是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通 技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护 的范围。
图1为本申请实施例一中基于树结构进行异常侦测的方法流程示意图;如图1所示, 基于树结构进行异常侦测的方法包括:
S101、获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
本实施例中,所述用户实体行为可以包括:时间、地点、人物、交互、交互的内容。比如用户搜索:在什么时间、什么平台上、哪一个ID、做了搜索、搜索的内容是什么。
本实施例中,可以通过在数据源上加载监测代码(或者又称之为埋点),通过该监测代码监测用户是否点击了注册按钮、用户下了什么订单。
本实施例中,系统操作日志源数据的存在形式不做任何限定,比如为txt文档,或者列表方式。
本实施例中,所述系统操作日志源数据存储在用户所使用的各种终端上。
S102、根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
本实施例中,通过树的这种结构实现了对安全服务进程的有效管理,从而便于在后 续要获取所述安全服务进程及其变化时,直接对安全服务进程树进行解析,可以实现快速的解析、查找等等操作。
本实施例中,通过所述系统操作日志源数据的上下文关系可以确定出用户实体行为 的轨迹。
S103、将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
本实施例中,可以通过根据所述若干类关键日志有效样本数据对神经网络模型(作 为机器学习训练模型)训练从而建立异常监测模型。可选地,所述神经网络模型不做特别限定,比如可以为LSTM。该异常侦测模型在进行异常侦测时,可以基于密度的 方法或者基于距离的方法。
S104、所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文 关系进行识别以判断所述系统操作日志源数据是否异常。
本实施例中,该异常侦测模型在进行异常侦测时,可以基于密度的方法或者基于距 离的方法。
可选地,在异常侦测时,将表征上下文关系的数据点周围的密度与其局部相邻样本 表征上下文关系的数据点周围的密度进行比较,该表征上下文关系的数据点与其邻相邻点的相对密度计为异常得分,该异常得分超过设定的阈值,则表明该表征上下文关 系的数据点为异常,表明用户实体行为异常行为。
可选地,在进行异常侦测时,根据表征上下文关系的数据与相邻数据的距离来判断 一个表征上下文关系的数据是否为异常,比如计算每对表征上下文关系的数据间的距离。如果在给定距离D之内相邻数据少于p个的表征上下文关系的数据为异常的表征 上下文关系的数据,或者,与第k个相邻数据的距离最大的前n个表征上下文关系的 数据为异常的表征上下文关系的数据,或者与k个最邻近样本表征上下文关系的数据 的平均距离最大的表征上下文关系的数据为异常的表征上下文关系的数据。在具体实 施时,D、n、p、k可以根据精度的要求灵活调整。
图2为本申请实施例二中基于树结构进行异常侦测的方法流程示意图;如图2所示, 基于树结构进行异常侦测的方法包括:
S201、实时抓取关联于用户实体行为的系统操作日志源数据,并确定控制所述系统 操作日志源数据生成的安全服务进程;
本实施例中,如前所述,所述用户实体行为可以包括:时间、地点、人物、交互、 交互的内容。比如用户搜索:在什么时间、什么平台上、哪一个ID、做了搜索、搜索 的内容是什么。
本实施例中,如前所述,可以通过在数据源上加载监测代码(或者又称之为埋点),通过该监测代码监测用户是否点击了注册按钮、用户下了什么订单。
本实施例中,系统操作日志源数据的存在形式不做任何限定,比如为txt文档,或者列表方式。
本实施例中,如前所述,所述系统操作日志源数据存储在用户所使用的各种终端上。
可选地,本实施例中,所述实时抓取关联于用户实体行为的系统操作日志源数据,包括:以事件的方式从数据源获取关联于用户实体行为的系统操作日志源数据。
可选地,本实施例中,所述以事件的方式获取关联于用户实体行为的系统操作日志 源数据,包括:对从数据源获取到的关联于用户实体行为的系统操作日志源数据进行封装处理得到事件,以所述事件为数据单元获取关联于用户实体行为的系统操作日志 源数据。
可选地,本实施例中,在进行封装时,配置可选的header以及数据位阵列,所述数据位阵列中存储系统操作日志源样本数据,所述header主要用于系统操作日志源样本 数据的上下文扩展。通过这种结构的事件,从而有效地实现了系统操作日志源样本数 据的传输,提高了数据传输的效率。
可选地,本实施例中,所述确定控制所述系统操作日志源数据生成的安全服务进程, 包括:通过进程ID匹配的方式,确定控制所述系统操作日志源数据生成的安全服务进程,比如可以通过对资源管理器进行监控,以直接从资源管理器中确定出控制所述系 统操作日志源数据生成的安全服务进程。比如,可选地,所述确定控制所述系统操作 日志源数据生成的安全服务进程,包括:通过进程ID匹配的方式,确定控制所述系统 操作日志源数据生成的安全服务进程。由于对于特定操作系统来说,其安全服务进程 一般具有固定的ID,因此,通过进程ID匹配的这种方式,可以快速地确定出控制所述 系统操作日志源数据生成的安全服务进程。
S202、确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化;
可选地,本实施例中,步骤S202中确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化时,包括:根据所述寄存器中的值、进程的状态以及堆栈中 的内容至少其一,确定在生成所述系统操作日志源数据的过程中所述安全服务进程的 变化,从而更为准确地。
进一步地,本实施例中,所述寄存器中的值、进程的状态以及堆栈中的内容至少其一可以按照任务数据结构的方式进行存储,从而在执行步骤S202时,通过对该任务 数据结构进行解析从中直接寄存器中的值、进程的状态以及堆栈中的内容至少其一, 一方面实现了对所述寄存器中的值、进程的状态以及堆栈中的内容至少其一的高效管 理,同时,可以通过该任务数据结构记录所有的所述寄存器中的值、进程的状态以及 堆栈中的内容至少其一,从而在直接可以依据该任务数据结构快速且准确地确定出所 述安全服务进程的变化。
S203、根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源数据的上下文关系。
可选地,本实施例中,所述根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源数据的上下文关系,包括:将当前安全服务进程作为安全 服务进程树中的父节点,将当前安全服务进程的下一安全服务进程作为所述父节点的 子节点,以确定所述系统操作日志源数据的上下文关系,其中,所述父节点的特征信 息包括所述当前安全服务进程的ID,以及对应的系统操作日志源数据,所述子节点的 特征信息包括所述下一安全服务进程的ID,以及对应的系统操作日志源数据。
本实施例中,通过所述系统操作日志源数据的上下文关系可以确定出用户实体行为的轨迹。
S204、获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
S205、根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
S206、将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
S207、所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
本实施例中,步骤S204-步骤S207分别类似图1所示实施例中的步骤S101-步骤104。
图3为本申请实施例三中基于树结构进行异常侦测的方法流程示意图;如图3所示,基于树结构进行异常侦测的方法包括:
S301、实时抓取关联于用户实体行为的系统操作日志源数据,并确定控制所述系统操作日志源数据生成的安全服务进程;
S302、确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化;
本实施例中,步骤S301中实时抓取关联于用户实体行为的系统操作日志源数据时, 包括:按照设定的PUSH模型实时抓取关联于用户实体行为的系统操作日志源数据。
可选地,本实施例中,在所述PUSH模型(或者又称之为主动推送模型)中设置 有日志搜集器,所述日志搜集器的容量需要大于系统操作日志源数据的最大生成量, 从而避免主动推送过来的系统操作日志源数据不能及时被处理而衍生其他的问题,比 如如何在日志搜集器上进行暂存,如果暂存的话,日志搜集器是否还有足够的剩余空 间以及是否能够保存瞬时而至的大量系统操作日志源数据,或者,如果不能够暂存, 需要暂存到其他地方而导致的网络开销等问题。
可选地,本实施例中,在日志搜集器对系统操作日志源数据进行存储处理之前判断日志搜集器的数据接收模式是否正常,如果正常,则日志搜集器接收系统操作日志 源数据,否则,将所述系统操作日志源数据临时存储到一本地硬盘上,等日志搜集器 恢复正常后,再将本地硬盘上暂存的系统操作日志源数据发送到日志搜集器上进行存 储处理。
可选地,本实施例中,所述日志搜集器可以设置在分布式的虚拟机上,以便于可快速地使得所述日志搜集器进行上述存储处理,从而降低了数据处理的延迟。
可选地,上述虚拟机的数量可以有多个,从而形成集群,便于在有系统操作日志源数据需要存储时,按照负载均衡机制,优选具有较小负载的一个或者多个所述日志 搜集器对系统操作日志源数据进行存储处理。
S303、根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源数据的上下文关系。
S304、获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
S305、根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
S306、将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
S307、所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
本实施例中,步骤S303-步骤S307类似上述图2实施例,在此不再赘述。
图4为本申请实施例四中基于树结构进行异常侦测的方法流程示意图;如图4所示,基于树结构进行异常侦测的方法包括:
S401、实时抓取关联于用户实体行为的系统操作日志源数据,并确定控制所述系统操作日志源数据生成的安全服务进程;可选地,步骤S301中实时抓取关联于用户实 体行为的系统操作日志源数据,包括:按照设定的PULL模型实时抓取关联于用户实 体行为的系统操作日志源数据。
可选地,在步骤S301中,在所述PULL模型中设置有日志搜集器,所述日志搜集 器的容量大于系统操作日志源数据的平均生成量,且根据系统操作日志源数据的实时 生成量调整数据收集的吞吐量。
选择PULL模型(业界又称之为拉取模型),相比于PUSH模型,日志搜集器可以 主动根据其自身的存储资源,以拉取系统操作日志源数据,从而可避免大量的的系统 操作日志源数据在设定的时段内逐渐进行存储处理。
可选地,本实施例中,所述日志搜集器可以设置在分布式的虚拟机上,以便于可快速地使得所述日志搜集器进行上述存储处理,从而降低了数据处理的延迟。
可选地,上述虚拟机的数量可以有多个,从而形成集群,便于在有系统操作日志源数据需要存储时,按照负载均衡机制,优选具有较小负载的一个或者多个所述日志 搜集器对系统操作日志源数据进行存储处理。
进一步地,在某一个虚拟上,PULL模型上设置的日志搜集器出现任务调动或者 某个日志搜集器挂掉(统称为异常日志搜集器),就会有其他虚拟机上的日志搜集器接 替其工作,在接替异常日志搜集器时,只要使用同样的系统操作日志源数据即可获取 后续的增量日志,从而对单个日志搜集器的稳定性要求大大降低,只要整个集群持续 有足够的资源,即可实现系统操作日志源数据获取的可靠性。
S402、确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化;
S403、根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源数据的上下文关系。
S404、获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
S405、根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
S406、将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
可选地,本实施例中,多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上,以使得每台服务器上的异常侦测模型可以基于其异常侦测机 制判断所述系统操作日志源数据是否异常。
S407、所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
本实施例中,所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常,包括:若所述系统 操作日志源数据异常,则生成报警事件。所述报警事件可以按照声音或者邮件或者消 息的方式通知用户。
图5为本申请实施例五中基于树结构进行异常侦测的方法流程示意图;如图5所示,基于树结构进行异常侦测的方法包括:
S501、获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
S502、根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
S503、将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
S504、所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
可选地,本实施例中,多个具有先后运行逻辑的所述异常侦测模型按照分布式架构设置在多个后台服务器上。
可选地,本实施例中,多个异常侦测模型主要用于后续从多个维度进行异常侦测,维度比如包括但不限于时间、地点、人物、交互、交互的内容,从而提高异常侦测的 准确性。
可选地,本实施例中,先后运行的逻辑主要是进行异常判断的时序逻辑,比如那个异常侦测模型先运行,那个异常侦测模型后运行,或者那几个异常侦测模型先运行, 那个异常侦测模型后运行,或者按照特定的组合逻辑顺序运行。
可选地,本实施例中,多个所述异常侦测模型具有级联的逻辑处理关系;对应地,所述异常侦测判断策略根据所述级联的逻辑处理关系确定;所述异常侦测模型基于其 异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作 日志源数据是否异常,包括:若上一个异常侦测模型输出表明实时抓取的系统操作日 志源数据正常,则由所述上一个异常侦测模型将实时抓取的系统操作日志源数据转发 给下一个异常侦测模型对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦 测结果,从而可快速地进行异常判断。
图6为本申请实施例六中基于树结构进行异常侦测的方法流程示意图;如图6所示,基于树结构进行异常侦测的方法包括:
S601、获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
S602、根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
S603、将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
S604、所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
可选地,本实施例中,多个所述异常侦测模型具有并行的逻辑处理关系;对应地,所述异常侦测判断策略根据所述级联的逻辑处理关系确定;所述异常侦测模型基于其 异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作 日志源数据是否异常,包括:多个所述异常侦测模型并行对实时抓取的系统操作日志 源数据进行异常侦测判断并输出侦测结果,从而可准确地进行异常判断。
图7为本申请实施例七中基于树结构进行异常侦测的装置结构示意图;如图7所示,其包括:
进程树获取单元701,用于获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
关系确定单元702,用于根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
关系输入单元703,用于将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
异常侦测单元704,用于使所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
本实施例中,所述用户实体行为可以包括:时间、地点、人物、交互、交互的内 容。比如用户搜索:在什么时间、什么平台上、哪一个ID、做了搜索、搜索的内容是 什么。
本实施例中,可以通过在数据源上加载监测代码(或者又称之为埋点),通过该监测代码监测用户是否点击了注册按钮、用户下了什么订单。
本实施例中,系统操作日志源数据的存在形式不做任何限定,比如为txt文档,或者列表方式。
本实施例中,所述系统操作日志源数据存储在用户所使用的各种终端上。
本实施例中,通过树的这种结构实现了对安全服务进程的有效管理,从而便于在后续要获取所述安全服务进程及其变化时,直接对安全服务进程树进行解析,可以实 现快速的解析、查找等等操作。
本实施例中,通过所述系统操作日志源数据的上下文关系可以确定出用户实体行为的轨迹。
本实施例中,可以通过根据所述若干类关键日志有效样本数据对神经网络模型(作 为机器学习训练模型)训练从而建立异常监测模型。可选地,所述神经网络模型不做特别限定,比如可以为LSTM。该异常侦测模型在进行异常侦测时,可以基于密度的 方法或者基于距离的方法。
本实施例中,该异常侦测模型在进行异常侦测时,可以基于密度的方法或者基于距离的方法。
可选地,在异常侦测时,将表征上下文关系的数据点周围的密度与其局部相邻样本表征上下文关系的数据点周围的密度进行比较,该表征上下文关系的数据点与其邻 相邻点的相对密度计为异常得分,该异常得分超过设定的阈值,则表明该表征上下文 关系的数据点为异常,表明用户实体行为异常行为。
可选地,在进行异常侦测时,根据表征上下文关系的数据与相邻数据的距离来判断一个表征上下文关系的数据是否为异常,比如计算每对表征上下文关系的数据间的 距离。如果在给定距离D之内相邻数据少于p个的表征上下文关系的数据为异常的表 征上下文关系的数据,或者,与第k个相邻数据的距离最大的前n个表征上下文关系 的数据为异常的表征上下文关系的数据,或者与k个最邻近样本表征上下文关系的数 据的平均距离最大的表征上下文关系的数据为异常的表征上下文关系的数据。在具体 实施时,D、n、p、k可以根据精度的要求灵活调整。
图8为本申请实施例八中基于树结构进行异常侦测的装置结构示意图;如图8所示,其包括:
数据抓取单元700A,用于实时抓取关联于用户实体行为的系统操作日志源数据,并确定控制所述系统操作日志源数据生成的安全服务进程;
进程变化确定单元700B,用于确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化;
进程树建立单元700C,用于根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源数据的上下文关系。
进程树获取单元701,用于获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
关系确定单元702,用于根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
关系输入单元703,用于将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
异常侦测单元704,用于使所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
可选地,本实施例中,所述数据抓取单元进一步用于以事件的方式从数据源获取关联于用户实体行为的系统操作日志源数据。
可选地,本实施例中,所述数据抓取单元进一步用于对从数据源获取到的关联于用户实体行为的系统操作日志源数据进行封装处理得到事件,以所述事件为数据单元 获取关联于用户实体行为的系统操作日志源数据。
可选地,本实施例中,在进行封装时,配置可选的header以及数据位阵列,所述 数据位阵列中存储系统操作日志源样本数据,所述header主要用于系统操作日志源样 本数据的上下文扩展。通过这种结构的事件,从而有效地实现了系统操作日志源样本 数据的传输,提高了数据传输的效率。
可选地,本实施例中,所述数据抓取单元进一步用于通过进程ID匹配的方式,确定控制所述系统操作日志源数据生成的安全服务进程。比如可以通过对资源管理器进 行监控,以直接从资源管理器中确定出控制所述系统操作日志源数据生成的安全服务 进程。比如,可选地,所述确定控制所述系统操作日志源数据生成的安全服务进程, 包括:通过进程ID匹配的方式,确定控制所述系统操作日志源数据生成的安全服务进 程。由于对于特定操作系统来说,其安全服务进程一般具有固定的ID,因此,通过进 程ID匹配的这种方式,可以快速地确定出控制所述系统操作日志源数据生成的安全服 务进程。
可选地,本实施例中,所述进程变化确定单元进一步用于根据寄存器中的值、进程的状态以及堆栈中的内容至少其一,确定在生成所述系统操作日志源数据的过程中 所述安全服务进程的变化。
进一步地,本实施例中,所述寄存器中的值、进程的状态以及堆栈中的内容至少其一可以按照任务数据结构的方式进行存储,从而通过对该任务数据结构进行解析从 中直接寄存器中的值、进程的状态以及堆栈中的内容至少其一,一方面实现了对所述 寄存器中的值、进程的状态以及堆栈中的内容至少其一的高效管理,同时,可以通过 该任务数据结构记录所有的所述寄存器中的值、进程的状态以及堆栈中的内容至少其 一,从而在直接可以依据该任务数据结构快速且准确地确定出所述安全服务进程的变 化。
可选地,本实施例中,所述进程树建立单元进一步用于将当前安全服务进程作为安全服务进程树中的父节点,将当前安全服务进程的下一安全服务进程作为所述父节 点的子节点,以确定所述系统操作日志源数据的上下文关系,其中,所述父节点的特 征信息包括所述当前安全服务进程的ID,以及对应的系统操作日志源数据,所述子节 点的特征信息包括所述下一安全服务进程的ID,以及对应的系统操作日志源数据。
图9为本申请实施例九中基于树结构进行异常侦测的装置结构示意图;如图9所示,其包括:
数据抓取单元700A,用于实时抓取关联于用户实体行为的系统操作日志源数据,并确定控制所述系统操作日志源数据生成的安全服务进程;
进程变化确定单元700B,用于确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化;
进程树建立单元700C,用于根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源数据的上下文关系。
进程树获取单元701,用于获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
关系确定单元702,用于根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
关系输入单元703,用于将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
异常侦测单元704,用于使所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
可选地,本实施例中,所述数据抓取单元进一步用于按照设定的PUSH模型实时 抓取关联于用户实体行为的系统操作日志源数据。
可选地,本实施例中,在所述PUSH模型中设置有日志搜集器,所述日志搜集器 的容量需要大于系统操作日志源数据的最大生成量,从而避免主动推送过来的系统操 作日志源数据不能及时被处理而衍生其他的问题,比如如何在日志搜集器上进行暂存, 如果暂存的话,日志搜集器是否还有足够的剩余空间以及是否能够保存瞬时而至的大 量系统操作日志源数据,或者,如果不能够暂存,需要暂存到其他地方而导致的网络 开销等问题。
可选地,本实施例中,在日志搜集器对系统操作日志源数据进行存储处理之前判断日志搜集器的数据接收模式是否正常,如果正常,则日志搜集器接收系统操作日志 源数据,否则,将所述系统操作日志源数据临时存储到一本地硬盘上,等日志搜集器 恢复正常后,再将本地硬盘上暂存的系统操作日志源数据发送到日志搜集器上进行存 储处理。
可选地,本实施例中,所述日志搜集器可以设置在分布式的虚拟机上,以便于可快速地使得所述日志搜集器进行上述存储处理,从而降低了数据处理的延迟。
可选地,上述虚拟机的数量可以有多个,从而形成集群,便于在有系统操作日志源数据需要存储时,按照负载均衡机制,优选具有较小负载的一个或者多个所述日志 搜集器对系统操作日志源数据进行存储处理。
图10为本申请实施例十中基于树结构进行异常侦测的装置结构示意图;如图10所示,其包括:
数据抓取单元700A,用于实时抓取关联于用户实体行为的系统操作日志源数据,并确定控制所述系统操作日志源数据生成的安全服务进程;
进程变化确定单元700B,用于确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化;
进程树建立单元700C,用于根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源数据的上下文关系。
进程树获取单元701,用于获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
关系确定单元702,用于根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
关系输入单元703,用于将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
异常侦测单元704,用于使所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
可选地,本实施例中,所述数据抓取单元进一步用于按照设定的PULL模型实时 抓取关联于用户实体行为的系统操作日志源数据。
可选地,本实施例中,在所述PULL模型中设置有日志搜集器,所述日志搜集器 的容量大于系统操作日志源数据的平均生成量,且根据系统操作日志源数据的实时生 成量调整数据收集的吞吐量。选择PULL模型(业界又称之为拉取模型),相比于PUSH 模型,日志搜集器可以主动根据其自身的存储资源,以拉取系统操作日志源数据,从 而可避免大量的的系统操作日志源数据在设定的时段内逐渐进行存储处理。
可选地,本实施例中,所述日志搜集器可以设置在分布式的虚拟机上,以便于可快速地使得所述日志搜集器进行上述存储处理,从而降低了数据处理的延迟。
可选地,上述虚拟机的数量可以有多个,从而形成集群,便于在有系统操作日志源数据需要存储时,按照负载均衡机制,优选具有较小负载的一个或者多个所述日志 搜集器对系统操作日志源数据进行存储处理。
进一步地,在某一个虚拟上,PULL模型上设置的日志搜集器出现任务调动或者 某个日志搜集器挂掉(统称为异常日志搜集器),就会有其他虚拟机上的日志搜集器接 替其工作,在接替异常日志搜集器时,只要使用同样的系统操作日志源数据即可获取 后续的增量日志,从而对单个日志搜集器的稳定性要求大大降低,只要整个集群持续 有足够的资源,即可实现系统操作日志源数据获取的可靠性。
图11为本申请实施例十一中基于树结构进行异常侦测的装置结构示意图;如图11所示,其包括:
进程树获取单元701,用于获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
关系确定单元702,用于根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
关系输入单元703,用于将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
异常侦测单元704,用于使所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
可选地,本实施例中,多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上,以使得每台服务器上的异常侦测模型可以基于其异常侦测机 制判断所述系统操作日志源数据是否异常。
可选地,本实施例中,多个异常侦测模型主要用于后续从多个维度进行异常侦测,维度比如包括但不限于时间、地点、人物、交互、交互的内容,从而提高异常侦测的 准确性。
可选地,本实施例中,先后运行的逻辑主要是进行异常判断的时序逻辑,比如那个异常侦测模型先运行,那个异常侦测模型后运行,或者那几个异常侦测模型先运行, 那个异常侦测模型后运行,或者按照特定的组合逻辑顺序运行。
可选地,本实施例中,所述异常侦测单元进一步用于若所述系统操作日志源数据异常,则生成报警事件。
可选地,本实施例中,多个所述异常侦测模型具有级联的逻辑处理关系;对应地,所述异常侦测判断策略根据所述级联的逻辑处理关系确定;所述异常侦测单元进一步 用于:若上一个异常侦测模型输出表明实时抓取的系统操作日志源数据正常,则由所 述上一个异常侦测模型将实时抓取的系统操作日志源数据转发给下一个异常侦测模型 对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果,从而可快速地 进行异常判断。
图12为本申请实施例十二中基于树结构进行异常侦测的装置结构示意图;如图12所示,其包括:
进程树获取单元701,用于获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
关系确定单元702,用于根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
关系输入单元703,用于将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
异常侦测单元704,用于使所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
可选地,本实施例中,多个所述异常侦测模型具有并行的逻辑处理关系;对应地,所述异常侦测判断策略根据所述级联的逻辑处理关系确定;所述异常侦测单元进一步 用于:多个所述异常侦测模型并行对实时抓取的系统操作日志源数据进行异常侦测判 断并输出侦测结果,从而可准确地进行异常判断。
图13为本申请实施例十三中电子设备的结构示意图;如图13所示,其包括存储 器1301以及处理器1302,所述存储器上存储有计算机可执行指令,所述处理器用于执 行所述计算机可执行指令执行如下步骤:
实时抓取关联于用户实体行为的系统操作日志源数据,并确定控制所述系统操作日志源数据生成的安全服务进程;
确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化;
根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源数据的上下文关系。
除此之外,图13所示的电子设备还可以实施本申请其他实施例中的任意方法,或者任意步骤,详细不再赘述。
图14为本申请实施例十四中计算计算机存储介质的示意图;如图14所示,所述 计算机存储介质上存储有计算机可执行指令,所述计算机可执行指令被执行时实施权 利要求所述基于树结构进行异常侦测的方法。
图15为本申请实施例十五中电子设备的硬件结构示意图;如图15所示,该电子 设备的硬件结构可以包括:处理器1501,通信接口1502,计算机可读介质1503和通 信总线1504;
其中,处理器1501、通信接口1502、计算机可读介质1503通过通信总线1504完 成相互间的通信;
可选的,通信接口1502可以为通信模块的接口,如GSM模块的接口;
其中,处理器1501具体可以配置为运行存储器上存储的可执行程序,从而执行上述任一方法实施例的所有处理步骤或者其中部分处理步骤。
处理器1501可以是通用处理器,包括中央处理器(Central Processing Unit,简称 CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或 者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方 法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的 处理器等。
本申请实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通 信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以 及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能, 一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器710、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此 在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计 算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在 计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法 的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下 载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU) 执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计 算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述 两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、 电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可 读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可 擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申 请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以 被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机 可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承 载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不 限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、 传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。 计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于: 无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机 程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、 C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程 序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立 的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算 机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网 络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部 计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框 可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包 含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换 的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两 个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行, 这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/ 或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来 实现,或者可以用专用硬件与计算机指令的组合来实现。
以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替 换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的 保护范围为准。
Claims (10)
1.一种基于树结构进行异常侦测的方法,其特征在于,包括:
获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
2.根据权利要求1所述基于树结构进行异常侦测的方法,其特征在于,所述获取安全服务进程树之前,包括:
实时抓取关联于用户实体行为的系统操作日志源数据,并确定控制所述系统操作日志源数据生成的安全服务进程;
确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化;
根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源数据的上下文关系。
3.根据权利要求2所述基于树结构进行异常侦测的方法,其特征在于,所述确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化,包括:根据寄存器中的值、进程的状态以及堆栈中的内容至少其一,确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化。
4.根据权利要求2所述基于树结构进行异常侦测的方法,其特征在于,所述根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源数据的上下文关系,包括:将当前安全服务进程作为安全服务进程树中的父节点,将当前安全服务进程的下一安全服务进程作为所述父节点的子节点,以确定所述系统操作日志源数据的上下文关系,其中,所述父节点的特征信息包括所述当前安全服务进程的ID,以及对应的系统操作日志源数据,所述子节点的特征信息包括所述下一安全服务进程的ID,以及对应的系统操作日志源数据。
5.根据权利要求1所述基于树结构进行异常侦测的方法,其特征在于,多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上,以使得每台服务器上的异常侦测模型可以基于其异常侦测机制判断所述系统操作日志源数据是否异常。
6.根据权利要求11所述基于树结构进行异常侦测的方法,其特征在于,多个所述异常侦测模型具有级联的逻辑处理关系;对应地,所述异常侦测判断策略根据所述级联的逻辑处理关系确定;所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常,包括:若上一个异常侦测模型输出表明实时抓取的系统操作日志源数据正常,则由所述上一个异常侦测模型将实时抓取的系统操作日志源数据转发给下一个异常侦测模型对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
7.根据权利要求11所述基于树结构进行异常侦测的方法,其特征在于,多个所述异常侦测模型具有并行的逻辑处理关系;对应地,所述异常侦测判断策略根据所述级联的逻辑处理关系确定;所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常,包括:多个所述异常侦测模型并行对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
8.一种基于树结构进行异常侦测的装置,其特征在于,包括:
进程树获取单元,用于获取安全服务进程树,所述安全服务进程树根据安全服务进程的变化生成,所述安全服务进程关联于系统操作日志源数据;
关系确定单元,用于根据安全服务进程树,确定所述系统操作日志源数据的上下文关系;
关系输入单元,用于将所述系统操作日志源数据的上下文关系输入到异常侦测模型中;
异常侦测单元,用于使所述异常侦测模型基于其异常侦测机制对所述系统操作日志源数据的上下文关系进行识别以判断所述系统操作日志源数据是否异常。
9.一种电子设备,其特征在于,存储器以及处理器,所述存储器上存储有计算机可执行指令,所述处理器用于执行所述计算机可执行指令执行如下步骤:
实时抓取关联于用户实体行为的系统操作日志源数据,并确定控制所述系统操作日志源数据生成的安全服务进程;
确定在生成所述系统操作日志源数据的过程中所述安全服务进程的变化;
根据所述安全服务进程的变化,生成安全服务进程树,以确定所述系统操作日志源数据的上下文关系。
10.一种计算计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机可执行指令,所述计算机可执行指令被执行时实施权利要求1-9任一项所述基于树结构进行异常侦测的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011323586.7A CN112507265B (zh) | 2020-11-23 | 2020-11-23 | 基于树结构进行异常侦测的方法、装置及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011323586.7A CN112507265B (zh) | 2020-11-23 | 2020-11-23 | 基于树结构进行异常侦测的方法、装置及相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112507265A true CN112507265A (zh) | 2021-03-16 |
CN112507265B CN112507265B (zh) | 2024-03-01 |
Family
ID=74959648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011323586.7A Active CN112507265B (zh) | 2020-11-23 | 2020-11-23 | 基于树结构进行异常侦测的方法、装置及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112507265B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113312201A (zh) * | 2021-06-23 | 2021-08-27 | 深信服科技股份有限公司 | 一种异常进程的处置方法及相关装置 |
CN114006775A (zh) * | 2021-12-31 | 2022-02-01 | 北京微步在线科技有限公司 | 一种入侵事件的检测方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106201756A (zh) * | 2016-07-12 | 2016-12-07 | 努比亚技术有限公司 | 日志获取装置、移动终端及方法 |
CN107515778A (zh) * | 2017-08-25 | 2017-12-26 | 武汉大学 | 一种基于上下文感知的起源追踪方法及系统 |
CN107566163A (zh) * | 2017-08-10 | 2018-01-09 | 北京奇安信科技有限公司 | 一种用户行为分析关联的告警方法及装置 |
CN108268354A (zh) * | 2016-12-30 | 2018-07-10 | 腾讯科技(深圳)有限公司 | 数据安全监控方法、后台服务器、终端及系统 |
CN109522147A (zh) * | 2018-11-15 | 2019-03-26 | Oppo广东移动通信有限公司 | 一种记录开机异常信息的方法、装置、存储介质及终端 |
CN110659478A (zh) * | 2018-06-29 | 2020-01-07 | 卡巴斯基实验室股份制公司 | 在隔离的环境中检测阻止分析的恶意文件的方法 |
-
2020
- 2020-11-23 CN CN202011323586.7A patent/CN112507265B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106201756A (zh) * | 2016-07-12 | 2016-12-07 | 努比亚技术有限公司 | 日志获取装置、移动终端及方法 |
CN108268354A (zh) * | 2016-12-30 | 2018-07-10 | 腾讯科技(深圳)有限公司 | 数据安全监控方法、后台服务器、终端及系统 |
CN107566163A (zh) * | 2017-08-10 | 2018-01-09 | 北京奇安信科技有限公司 | 一种用户行为分析关联的告警方法及装置 |
CN107515778A (zh) * | 2017-08-25 | 2017-12-26 | 武汉大学 | 一种基于上下文感知的起源追踪方法及系统 |
CN110659478A (zh) * | 2018-06-29 | 2020-01-07 | 卡巴斯基实验室股份制公司 | 在隔离的环境中检测阻止分析的恶意文件的方法 |
CN109522147A (zh) * | 2018-11-15 | 2019-03-26 | Oppo广东移动通信有限公司 | 一种记录开机异常信息的方法、装置、存储介质及终端 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113312201A (zh) * | 2021-06-23 | 2021-08-27 | 深信服科技股份有限公司 | 一种异常进程的处置方法及相关装置 |
CN114006775A (zh) * | 2021-12-31 | 2022-02-01 | 北京微步在线科技有限公司 | 一种入侵事件的检测方法及装置 |
CN114006775B (zh) * | 2021-12-31 | 2022-04-12 | 北京微步在线科技有限公司 | 一种入侵事件的检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112507265B (zh) | 2024-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112100545A (zh) | 网络资产的可视化方法、装置、设备和可读存储介质 | |
CN106815254B (zh) | 一种数据处理方法和装置 | |
CN109388556B (zh) | 一种测试过程的分析方法及装置 | |
CN114422267B (zh) | 流量检测方法、装置、设备及介质 | |
CN111262851A (zh) | Ddos攻击检测方法、装置、电子设备及存储介质 | |
CN108600172B (zh) | 撞库攻击检测方法、装置、设备及计算机可读存储介质 | |
CN112507265A (zh) | 基于树结构进行异常侦测的方法、装置及相关产品 | |
CN112181835A (zh) | 自动化测试方法、装置、计算机设备及存储介质 | |
CN111415683A (zh) | 语音识别异常告警方法、装置、计算机设备和存储介质 | |
CN110908921A (zh) | 一种游戏问题定位方法、装置、电子设备及存储介质 | |
CN112434245A (zh) | 基于ueba进行异常行为事件的判断方法、装置及相关产品 | |
CN108287859B (zh) | 一种多媒体信息检索方法及装置 | |
CN112364286A (zh) | 基于ueba进行异常侦测的方法、装置及相关产品 | |
CN110781066A (zh) | 用户行为分析方法、装置、设备及存储介质 | |
CN112364284B (zh) | 基于上下文进行异常侦测的方法、装置及相关产品 | |
CN112364285B (zh) | 基于ueba建立异常侦测模型的方法、装置及相关产品 | |
CN112799956B (zh) | 资产识别能力测试方法、装置及系统装置 | |
CN115220131A (zh) | 气象数据质检方法及系统 | |
CN112434244A (zh) | 基于ueba进行日志处理的方法、装置及相关产品 | |
CN113572768B (zh) | 一种僵尸网络家族传播源数量变化异常的分析方法 | |
CN115242606B (zh) | 数据处理方法、装置、服务器、存储介质及程序产品 | |
CN111507734B (zh) | 作弊请求识别方法、装置、电子设备及计算机存储介质 | |
CN112084440B (zh) | 数据校验方法、装置、电子设备和计算机可读介质 | |
CN111404890B (zh) | 流量数据检测方法、系统、存储介质及电子设备 | |
CN117349052A (zh) | 服务异常问题定位方法、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |