CN112364284B - 基于上下文进行异常侦测的方法、装置及相关产品 - Google Patents
基于上下文进行异常侦测的方法、装置及相关产品 Download PDFInfo
- Publication number
- CN112364284B CN112364284B CN202011325519.9A CN202011325519A CN112364284B CN 112364284 B CN112364284 B CN 112364284B CN 202011325519 A CN202011325519 A CN 202011325519A CN 112364284 B CN112364284 B CN 112364284B
- Authority
- CN
- China
- Prior art keywords
- system operation
- operation log
- log data
- context
- anomaly detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 230000005856 abnormality Effects 0.000 title claims abstract description 87
- 238000001514 detection method Methods 0.000 claims abstract description 235
- 230000006399 behavior Effects 0.000 claims abstract description 66
- 230000007246 mechanism Effects 0.000 claims abstract description 45
- 230000002547 anomalous effect Effects 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims description 47
- 230000008859 change Effects 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 39
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 238000013480 data collection Methods 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000013481 data capture Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例提供了一种基于上下文进行异常侦测的方法、装置及相关产品。基于上下文进行异常侦测的方法通过确定系统操作日志数据的上下文关系，所述系统操作日志数据关联于用户实体行为；将确定的系统操作日志数据的上下文关系输入到异常侦测模型中；所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常，进而判断用户的行为是否异常，以避免遭遇数据灾难以及避免用户受到不可估量的损失。
Description
技术领域
本申请涉及信息技术领域，特别是涉及一种基于上下文进行异常侦测的方法、装置及相关产品。
背景技术
21 世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据，海量的数据隐含着巨大的信息。
数据是信息的载体，一旦遭遇数据灾难，可能给用户造成不可估量的损失。因此，提供一种进行异常侦测的方法，从而对用户的行为建立有效的监控。
发明内容
基于上述问题，本申请实施例提供了一种基于上下文进行异常侦测的方法、装置及相关产品。
本申请实施例公开了如下技术方案：
一种基于上下文进行异常侦测的方法，其包括：
确定系统操作日志数据的上下文关系，所述系统操作日志数据关联于用户实体行为；
将确定的系统操作日志数据的上下文关系输入到异常侦测模型中；
所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常。
可选地，在本申请一实施例中，多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上，以使得每台服务器上的异常侦测模型可以基于其异常侦测机制判断所述系统操作日志数据是否异常。
可选地，在本申请一实施例中，多个所述异常侦测模型具有级联的逻辑处理关系；对应地，所述异常侦测机制根据所述级联的逻辑处理关系确定；所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常，包括：若上一个异常侦测模型输出表明实时抓取的系统操作日志数据正常，则由所述上一个异常侦测模型将实时抓取的系统操作日志数据转发给下一个异常侦测模型对实时抓取的系统操作日志数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，多个所述异常侦测模型具有并行的逻辑处理关系；对应地，所述异常侦测机制根据所述级联的逻辑处理关系确定；所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常，包括：多个所述异常侦测模型并行对实时抓取的系统操作日志数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，所述确定系统操作日志数据的上下文关系包括：
实时抓取关联于用户实体行为的系统操作日志数据，并确定控制所述系统操作日志数据生成的安全守护进程；
确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化；
根据所述安全守护进程的变化，绘制安全守护进程树，根据所述安全守护进程树确定所述系统操作日志数据的上下文关系。
可选地，在本申请一实施例中，所述实时抓取关联于用户实体行为的系统操作日志数据，包括：以事件为单位从数据源获取关联于用户实体行为的系统操作日志数据。
可选地，在本申请一实施例中，以事件的方式获取关联于用户实体行为的系统操作日志数据，包括：对从数据源获取到的关联于用户实体行为的系统操作日志数据进行封装处理得到事件，以事件为单位获取关联于用户实体行为的系统操作日志数据。
可选地，在本申请一实施例中，所述实时抓取关联于用户实体行为的系统操作日志数据，包括：按照设定的PUSH模型或者PULL模型实时抓取关联于用户实体行为的系统操作日志数据。
可选地，在本申请一实施例中，在所述PUSH模型中设置有日志收集器，所述日志收集器的容量需要大于系统操作日志数据的最大生成量。
可选地，在本申请一实施例中，在所述PULL模型中设置有日志收集器，所述日志收集器的容量大于系统操作日志数据的平均生成量，且根据系统操作日志数据的实时生成量调整数据收集的吞吐量。
可选地，在本申请一实施例中，所述确定控制所述系统操作日志数据生成的安全守护进程，包括：通过进程ID匹配的方式，确定控制所述系统操作日志数据生成的安全守护进程。
可选地，在本申请一实施例中，所述确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化，包括：根据寄存器中的值、进程的状态以及堆栈中的内容至少其一，确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化。
可选地，在本申请一实施例中，所述根据所述安全守护进程的变化，绘制安全守护进程树包括：将当前安全守护进程作为安全守护进程树中的父节点，将当前安全守护进程的下一安全守护进程作为所述父节点的子节点，以确定所述系统操作日志数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全守护进程的ID，以及对应的系统操作日志数据，所述子节点的特征信息包括所述下一安全守护进程的ID，以及对应的系统操作日志数据。
可选地，在本申请一实施例中，所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常，包括：若所述系统操作日志数据异常，则生成报警事件。
一种基于上下文进行异常侦测的装置，其包括：
关系确定单元，用于确定系统操作日志数据的上下文关系，所述系统操作日志数据关联于用户实体行为；
关系输入单元，用于将所述系统操作日志数据的上下文关系输入到异常侦测模型中；
异常侦测单元，用于使所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常。
可选地，在本申请一实施例中，多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上，以使得每台服务器上的异常侦测模型可以基于其异常侦测机制判断所述系统操作日志数据是否异常。
可选地，在本申请一实施例中，多个所述异常侦测模型具有级联的逻辑处理关系；对应地，所述异常侦测机制根据所述级联的逻辑处理关系确定；所述异常侦测单元进一步用于：若上一个异常侦测模型输出表明实时抓取的系统操作日志数据正常，则由所述上一个异常侦测模型将实时抓取的系统操作日志数据转发给下一个异常侦测模型对实时抓取的系统操作日志数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，多个所述异常侦测模型具有并行的逻辑处理关系；对应地，所述异常侦测机制根据所述级联的逻辑处理关系确定；所述异常侦测单元进一步用于使多个所述异常侦测模型并行对实时抓取的系统操作日志数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，所述装置还包括：
数据抓取单元，用于实时抓取关联于用户实体行为的系统操作日志数据，并确定控制所述系统操作日志数据生成的安全守护进程；
进程变化确定单元，用于确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化；
进程树建立单元，用于根据所述安全守护进程的变化，绘制安全守护进程树，根据所述安全守护进程树确定所述系统操作日志数据的上下文关系。
可选地，在本申请一实施例中，所述数据抓取单元进一步用于以事件为单位从数据源获取关联于用户实体行为的系统操作日志数据。
可选地，在本申请一实施例中，所述数据抓取单元进一步用于对从数据源获取到的关联于用户实体行为的系统操作日志数据进行封装处理得到事件，以事件为单位获取关联于用户实体行为的系统操作日志数据。
可选地，在本申请一实施例中，所述数据抓取单元进一步用于按照设定的PUSH模型或者PULL模型实时抓取关联于用户实体行为的系统操作日志数据。
可选地，在本申请一实施例中，在所述PUSH模型中设置有日志收集器，所述日志收集器的容量需要大于系统操作日志数据的最大生成量。
可选地，在本申请一实施例中，在所述PULL模型中设置有日志收集器，所述日志收集器的容量大于系统操作日志数据的平均生成量，且根据系统操作日志数据的实时生成量调整数据收集的吞吐量。
可选地，在本申请一实施例中，所述数据抓取单元进一步用于通过进程ID匹配的方式，确定控制所述系统操作日志数据生成的安全守护进程。
可选地，在本申请一实施例中，所述进程变化确定单元进一步用于根据寄存器中的值、进程的状态以及堆栈中的内容至少其一，确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化。
可选地，在本申请一实施例中，所述进程树建立单元进一步用于将当前安全守护进程作为安全守护进程树中的父节点，将当前安全守护进程的下一安全守护进程作为所述父节点的子节点，以确定所述系统操作日志数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全守护进程的ID，以及对应的系统操作日志数据，所述子节点的特征信息包括所述下一安全守护进程的ID，以及对应的系统操作日志数据。
可选地，在本申请一实施例中，所述异常侦测单元进一步用于若所述系统操作日志数据异常，则生成报警事件。
一种电子设备，其包括存储器以及处理器，所述存储器上存储有计算机可执行指令，所述处理器用于执行所述计算机可执行指令执行如下步骤：
实时抓取关联于用户实体行为的系统操作日志数据，并确定控制所述系统操作日志数据生成的安全守护进程；
确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化；
根据所述安全守护进程的变化，绘制安全守护进程树，根据所述安全守护进程树确定所述系统操作日志数据的上下文关系。
一种计算计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述计算机可执行指令被执行时实施权利要求1-14任一项所述基于上下文进行异常侦测的方法。本申请实施例的技术方案中，通过确定系统操作日志数据的上下文关系，所述系统操作日志数据关联于用户实体行为；将确定的系统操作日志数据的上下文关系输入到异常侦测模型中；所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常，进而判断用户的行为是否异常，以避免遭遇数据灾难以及避免用户受到不可估量的损失。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一中基于上下文进行异常侦测的方法流程示意图；
图2为本申请实施例二中基于上下文进行异常侦测的方法流程示意图；
图3为本申请实施例三中基于上下文进行异常侦测的方法流程示意图；
图4为本申请实施例四中基于上下文进行异常侦测的方法流程示意图；
图5为本申请实施例五中基于上下文进行异常侦测的方法流程示意图；
图6为本申请实施例六中基于上下文进行异常侦测的方法流程示意图；
图7为本申请实施例七中基于上下文进行异常侦测的装置结构示意图；
图8为本申请实施例八中电子设备的结构示意图；
图9为本申请实施例九中计算计算机存储介质的示意图；
图10为本申请实施例十中电子设备的硬件结构示意图。
具体实施方式
实施本申请实施例的任一技术方案必不一定需要同时达到以上的所有优点。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本申请实施例一中基于上下文进行异常侦测的方法流程示意图；如图1所示，基于上下文进行异常侦测的方法包括：
S101、确定系统操作日志数据的上下文关系，所述系统操作日志数据关联于用户实体行为；
本实施例中，所述用户实体行为可以包括：时间、地点、人物、交互、交互的内容。比如用户搜索：在什么时间、什么平台上、哪一个ID、做了搜索、搜索的内容是什么。
本实施例中，可以通过在数据源上加载监测代码（或者又称之为埋点），通过该监测代码监测用户是否点击了注册按钮、用户下了什么订单。
本实施例中，系统操作日志数据的存在形式不做任何限定，比如为txt文档，或者列表方式。
本实施例中，所述系统操作日志数据存储在用户所使用的各种终端上。
S102、将确定的系统操作日志数据的上下文关系输入到异常侦测模型中；
本实施例中，可以通过根据所述若干类关键日志有效样本数据对神经网络模型（作为机器学习训练模型）训练从而建立异常监测模型。可选地，所述神经网络模型不做特别限定，比如可以为LSTM。该异常侦测模型在进行异常侦测时，可以基于密度的方法或者基于距离的方法。
S103、所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常。
本实施例中，通过所述系统操作日志数据的上下文关系可以确定出用户实体行为的轨迹。
可选地，在异常侦测时，将表征上下文关系的数据点周围的密度与其局部相邻样本表征上下文关系的数据点周围的密度进行比较，该表征上下文关系的数据点与其邻相邻点的相对密度计为异常得分，该异常得分超过设定的阈值，则表明该表征上下文关系的数据点为异常，表明用户实体行为异常行为。
可选地，在进行异常侦测时，根据表征上下文关系的数据与相邻数据的距离来判断一个表征上下文关系的数据是否为异常，比如计算每对表征上下文关系的数据间的距离。如果在给定距离D之内相邻数据少于p个的表征上下文关系的数据为异常的表征上下文关系的数据，或者，与第k个相邻数据的距离最大的前n个表征上下文关系的数据为异常的表征上下文关系的数据，或者与k个最邻近样本表征上下文关系的数据的平均距离最大的表征上下文关系的数据为异常的表征上下文关系的数据。在具体实施时，D、n、p、k可以根据精度的要求灵活调整。
图2为本申请实施例二中基于上下文进行异常侦测的方法流程示意图；如图2所示，基于上下文进行异常侦测的方法包括：
S201、确定系统操作日志数据的上下文关系，所述系统操作日志数据关联于用户实体行为；
S202、将确定的系统操作日志数据的上下文关系输入到异常侦测模型中；
S203、所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常。
可选地，本实施例中，多个具有先后运行逻辑的所述异常侦测模型按照分布式架构设置在多个后台服务器上。
可选地，本实施例中，多个异常侦测模型主要用于后续从多个维度进行异常侦测，维度比如包括但不限于时间、地点、人物、交互、交互的内容，从而提高异常侦测的准确性。
可选地，本实施例中，先后运行的逻辑主要是进行异常判断的时序逻辑，比如那个异常侦测模型先运行，那个异常侦测模型后运行，或者那几个异常侦测模型先运行，那个异常侦测模型后运行，或者按照特定的组合逻辑顺序运行。
可选地，本实施例中，多个所述异常侦测模型具有级联的逻辑处理关系；对应地，所述异常侦测机制根据所述级联的逻辑处理关系确定；所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常，包括：若上一个异常侦测模型输出表明实时抓取的系统操作日志数据正常，则由所述上一个异常侦测模型将实时抓取的系统操作日志数据转发给下一个异常侦测模型对实时抓取的系统操作日志数据进行异常侦测判断并输出侦测结果，从而可快速地进行异常判断。
图3为本申请实施例三中基于上下文进行异常侦测的方法流程示意图；如图3所示，基于上下文进行异常侦测的方法包括：
S301、确定系统操作日志数据的上下文关系，所述系统操作日志数据关联于用户实体行为；
S302、将确定的系统操作日志数据的上下文关系输入到异常侦测模型中；
S303、所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常。
可选地，本实施例中，多个所述异常侦测模型具有并行的逻辑处理关系；对应地，所述异常侦测机制根据所述级联的逻辑处理关系确定；所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常，包括：多个所述异常侦测模型并行对实时抓取的系统操作日志数据进行异常侦测判断并输出侦测结果，从而可准确地进行异常判断。
图4为本申请实施例四中基于上下文进行异常侦测的方法流程示意图；如图4所示，基于上下文进行异常侦测的方法包括：
S401、确定系统操作日志数据的上下文关系，所述系统操作日志数据关联于用户实体行为；
本实施例中，所述确定系统操作日志数据的上下文关系包括：
S411、实时抓取关联于用户实体行为的系统操作日志数据，并确定控制所述系统操作日志数据生成的安全守护进程；
S421、确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化；
S431、根据所述安全守护进程的变化，绘制安全守护进程树，根据所述安全守护进程树确定所述系统操作日志数据的上下文关系。
可选地，本实施例中，所述实时抓取关联于用户实体行为的系统操作日志数据，包括：以事件为单位从数据源获取关联于用户实体行为的系统操作日志数据。
可选地，本实施例中，以事件的方式获取关联于用户实体行为的系统操作日志数据，包括：对从数据源获取到的关联于用户实体行为的系统操作日志数据进行封装处理得到事件，以事件为单位获取关联于用户实体行为的系统操作日志数据。
可选地，本实施例中，在进行封装时，配置可选的header以及数据位阵列，所述数据位阵列中存储系统操作日志源样本数据，所述header主要用于系统操作日志源样本数据的上下文扩展。通过这种结构的事件，从而有效地实现了系统操作日志源样本数据的传输，提高了数据传输的效率。
可选地，本实施例中，所述确定控制所述系统操作日志数据生成的安全守护进程，包括：通过进程ID匹配的方式，确定控制所述系统操作日志数据生成的安全守护进程，比如可以通过对资源管理器进行监控，以直接从资源管理器中确定出控制所述系统操作日志数据生成的安全守护进程。比如，可选地，所述确定控制所述系统操作日志数据生成的安全守护进程，包括：通过进程ID匹配的方式，确定控制所述系统操作日志数据生成的安全守护进程。由于对于特定操作系统来说，其安全守护进程一般具有固定的ID，因此，通过进程ID匹配的这种方式，可以快速地确定出控制所述系统操作日志数据生成的安全守护进程。
可选地，本实施例中，确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化时，包括：根据所述寄存器中的值、进程的状态以及堆栈中的内容至少其一，确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化，从而更为准确地确定出所述安全守护进程的变化。
进一步地，本实施例中，所述寄存器中的值、进程的状态以及堆栈中的内容至少其一可以按照任务数据结构的方式进行存储，通过对该任务数据结构进行解析从中直接寄存器中的值、进程的状态以及堆栈中的内容至少其一，一方面实现了对所述寄存器中的值、进程的状态以及堆栈中的内容至少其一的高效管理，同时，可以通过该任务数据结构记录所有的所述寄存器中的值、进程的状态以及堆栈中的内容至少其一，从而在直接可以依据该任务数据结构快速且准确地确定出所述安全守护进程的变化。
S402、将确定的系统操作日志数据的上下文关系输入到异常侦测模型中；
S403、所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常。
图5为本申请实施例五中基于上下文进行异常侦测的方法流程示意图；如图5所示，基于上下文进行异常侦测的方法包括：
S501、实时抓取关联于用户实体行为的系统操作日志数据，并确定控制所述系统操作日志数据生成的安全守护进程；
本实施例中，步骤S501中实时抓取关联于用户实体行为的系统操作日志数据时，包括：按照设定的PUSH模型实时抓取关联于用户实体行为的系统操作日志数据。
可选地，本实施例中，在所述PUSH模型（或者又称之为主动推送模型）中设置有日志收集器，所述日志收集器的容量需要大于系统操作日志数据的最大生成量，从而避免主动推送过来的系统操作日志数据不能及时被处理而衍生其他的问题，比如如何在日志收集器上进行暂存，如果暂存的话，日志收集器是否还有足够的剩余空间以及是否能够保存瞬时而至的大量系统操作日志数据，或者，如果不能够暂存，需要暂存到其他地方而导致的网络开销等问题。
可选地，本实施例中，在日志收集器对系统操作日志数据进行存储处理之前判断日志收集器的数据接收模式是否正常，如果正常，则日志收集器接收系统操作日志数据，否则，将所述系统操作日志数据临时存储到一本地硬盘上，等日志收集器恢复正常后，再将本地硬盘上暂存的系统操作日志数据发送到日志收集器上进行存储处理。
可选地，本实施例中，所述日志收集器可以设置在分布式的虚拟机上，以便于可快速地使得所述日志收集器进行上述存储处理，从而降低了数据处理的延迟。
可选地，上述虚拟机的数量可以有多个，从而形成集群，便于在有系统操作日志数据需要存储时，按照负载均衡机制，优选具有较小负载的一个或者多个所述日志收集器对系统操作日志数据进行存储处理。
S511、确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化；
S521、根据所述安全守护进程的变化，绘制安全守护进程树；
可选地，本实施例中，所述根据所述安全守护进程的变化，绘制安全守护进程树，根据所述安全守护进程树确定所述系统操作日志数据的上下文关系，包括：将当前安全守护进程作为安全守护进程树中的父节点，将当前安全守护进程的下一安全守护进程作为所述父节点的子节点，以确定所述系统操作日志数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全守护进程的ID，以及对应的系统操作日志数据，所述子节点的特征信息包括所述下一安全守护进程的ID，以及对应的系统操作日志数据。
S531、根据安全守护进程树，确定所述系统操作日志数据的上下文关系；
S502、将确定的系统操作日志数据的上下文关系输入到异常侦测模型中；
S503、所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常。
图6为本申请实施例六中基于上下文进行异常侦测的方法流程示意图；如图6所示，基于上下文进行异常侦测的方法包括：
S611、实时抓取关联于用户实体行为的系统操作日志数据，并确定控制所述系统操作日志数据生成的安全守护进程；可选地，步骤S611中实时抓取关联于用户实体行为的系统操作日志数据，包括：按照设定的PULL模型实时抓取关联于用户实体行为的系统操作日志数据。
可选地，在步骤S611中，在所述PULL模型中设置有日志收集器，所述日志收集器的容量大于系统操作日志数据的平均生成量，且根据系统操作日志数据的实时生成量调整数据收集的吞吐量。
选择PULL模型（业界又称之为拉取模型），相比于PUSH模型，日志收集器可以主动根据其自身的存储资源，以拉取系统操作日志数据，从而可避免大量的的系统操作日志数据在设定的时段内逐渐进行存储处理。
可选地，本实施例中，所述日志收集器可以设置在分布式的虚拟机上，以便于可快速地使得所述日志收集器进行上述存储处理，从而降低了数据处理的延迟。
可选地，上述虚拟机的数量可以有多个，从而形成集群，便于在有系统操作日志数据需要存储时，按照负载均衡机制，优选具有较小负载的一个或者多个所述日志收集器对系统操作日志数据进行存储处理。
进一步地，在某一个虚拟上，PULL模型上设置的日志收集器出现任务调动或者某个日志收集器挂掉（统称为异常日志收集器），就会有其他虚拟机上的日志收集器接替其工作，在接替异常日志收集器时，只要使用同样的系统操作日志数据即可获取后续的增量日志，从而对单个日志收集器的稳定性要求大大降低，只要整个集群持续有足够的资源，即可实现系统操作日志数据获取的可靠性。
S621、确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化；
S631、根据所述安全守护进程的变化，绘制安全守护进程树，根据安全守护进程树，确定所述系统操作日志数据的上下文关系；
S602、将确定的系统操作日志数据的上下文关系输入到异常侦测模型中；
S603、所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常。
可选地，本实施例中，多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上，以使得每台服务器上的异常侦测模型可以基于其异常侦测机制判断所述系统操作日志数据是否异常。
本实施例中，所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常，包括：若所述系统操作日志数据异常，则生成报警事件。所述报警事件可以按照声音或者邮件或者消息的方式通知用户。
图7为本申请实施例七中基于上下文进行异常侦测的装置结构示意图；如图7所示，其包括：
关系确定单元701，用于确定所述系统操作日志数据的上下文关系；
关系输入单元702，用于将所述系统操作日志数据的上下文关系输入到异常侦测模型中；
异常侦测单元703，用于使所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常。
本实施例中，所述用户实体行为可以包括：时间、地点、人物、交互、交互的内容。比如用户搜索：在什么时间、什么平台上、哪一个ID、做了搜索、搜索的内容是什么。
本实施例中，可以通过在数据源上加载监测代码（或者又称之为埋点），通过该监测代码监测用户是否点击了注册按钮、用户下了什么订单。
本实施例中，系统操作日志数据的存在形式不做任何限定，比如为txt文档，或者列表方式。
本实施例中，所述系统操作日志数据存储在用户所使用的各种终端上。
本实施例中，可以通过根据所述若干类关键日志有效样本数据对神经网络模型（作为机器学习训练模型）训练从而建立异常监测模型。可选地，所述神经网络模型不做特别限定，比如可以为LSTM。该异常侦测模型在进行异常侦测时，可以基于密度的方法或者基于距离的方法。
可选地，在一实施例中，通过所述系统操作日志数据的上下文关系可以确定出用户实体行为的轨迹。
可选地，在一实施例中，多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上，以使得每台服务器上的异常侦测模型可以基于其异常侦测机制判断所述系统操作日志数据是否异常。
可选地，在一实施例中，多个所述异常侦测模型具有级联的逻辑处理关系；对应地，所述异常侦测机制根据所述级联的逻辑处理关系确定；所述异常侦测单元进一步用于：若上一个异常侦测模型输出表明实时抓取的系统操作日志数据正常，则由所述上一个异常侦测模型将实时抓取的系统操作日志数据转发给下一个异常侦测模型对实时抓取的系统操作日志数据进行异常侦测判断并输出侦测结果。
可选地，在一实施例中，多个所述异常侦测模型具有并行的逻辑处理关系；对应地，所述异常侦测机制根据所述级联的逻辑处理关系确定；所述异常侦测单元进一步用于使多个所述异常侦测模型并行对实时抓取的系统操作日志数据进行异常侦测判断并输出侦测结果。
可选地，本实施例中，多个异常侦测模型主要用于后续从多个维度进行异常侦测，维度比如包括但不限于时间、地点、人物、交互、交互的内容，从而提高异常侦测的准确性。
可选地，本实施例中，先后运行的逻辑主要是进行异常判断的时序逻辑，比如那个异常侦测模型先运行，那个异常侦测模型后运行，或者那几个异常侦测模型先运行，那个异常侦测模型后运行，或者按照特定的组合逻辑顺序运行。
可选地，在一实施例中，所述装置还包括：
数据抓取单元，用于实时抓取关联于用户实体行为的系统操作日志数据，并确定控制所述系统操作日志数据生成的安全守护进程；
进程变化确定单元，用于确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化；
进程树建立单元，用于根据所述安全守护进程的变化，绘制安全守护进程树，根据所述安全守护进程树确定所述系统操作日志数据的上下文关系。
可选地，在一实施例中，所述数据抓取单元进一步用于以事件为单位从数据源获取关联于用户实体行为的系统操作日志数据。
可选地，在一实施例中，所述数据抓取单元进一步用于对从数据源获取到的关联于用户实体行为的系统操作日志数据进行封装处理得到事件，以事件为单位获取关联于用户实体行为的系统操作日志数据。
可选地，本实施例中，在进行封装时，配置可选的header以及数据位阵列，所述数据位阵列中存储系统操作日志源样本数据，所述header主要用于系统操作日志源样本数据的上下文扩展。通过这种结构的事件，从而有效地实现了系统操作日志源样本数据的传输，提高了数据传输的效率。
可选地，在一实施例中，所述数据抓取单元进一步用于按照设定的PUSH模型或者PULL模型实时抓取关联于用户实体行为的系统操作日志数据。
可选地，在一实施例中，在所述PUSH模型中设置有日志收集器，所述日志收集器的容量需要大于系统操作日志数据的最大生成量。
可选地，本实施例中，在所述PUSH模型（或者又称之为主动推送模型）中设置有日志收集器，所述日志收集器的容量需要大于系统操作日志数据的最大生成量，从而避免主动推送过来的系统操作日志数据不能及时被处理而衍生其他的问题，比如如何在日志收集器上进行暂存，如果暂存的话，日志收集器是否还有足够的剩余空间以及是否能够保存瞬时而至的大量系统操作日志数据，或者，如果不能够暂存，需要暂存到其他地方而导致的网络开销等问题。
可选地，本实施例中，在日志收集器对系统操作日志数据进行存储处理之前判断日志收集器的数据接收模式是否正常，如果正常，则日志收集器接收系统操作日志数据，否则，将所述系统操作日志数据临时存储到一本地硬盘上，等日志收集器恢复正常后，再将本地硬盘上暂存的系统操作日志数据发送到日志收集器上进行存储处理。
可选地，本实施例中，所述日志收集器可以设置在分布式的虚拟机上，以便于可快速地使得所述日志收集器进行上述存储处理，从而降低了数据处理的延迟。
可选地，上述虚拟机的数量可以有多个，从而形成集群，便于在有系统操作日志数据需要存储时，按照负载均衡机制，优选具有较小负载的一个或者多个所述日志收集器对系统操作日志数据进行存储处理。
可选地，在一实施例中，在所述PULL模型中设置有日志收集器，所述日志收集器的容量大于系统操作日志数据的平均生成量，且根据系统操作日志数据的实时生成量调整数据收集的吞吐量。
选择PULL模型（业界又称之为拉取模型），相比于PUSH模型，日志收集器可以主动根据其自身的存储资源，以拉取系统操作日志数据，从而可避免大量的的系统操作日志数据在设定的时段内逐渐进行存储处理。
可选地，本实施例中，所述日志收集器可以设置在分布式的虚拟机上，以便于可快速地使得所述日志收集器进行上述存储处理，从而降低了数据处理的延迟。
可选地，上述虚拟机的数量可以有多个，从而形成集群，便于在有系统操作日志数据需要存储时，按照负载均衡机制，优选具有较小负载的一个或者多个所述日志收集器对系统操作日志数据进行存储处理。
进一步地，在某一个虚拟上，PULL模型上设置的日志收集器出现任务调动或者某个日志收集器挂掉（统称为异常日志收集器），就会有其他虚拟机上的日志收集器接替其工作，在接替异常日志收集器时，只要使用同样的系统操作日志数据即可获取后续的增量日志，从而对单个日志收集器的稳定性要求大大降低，只要整个集群持续有足够的资源，即可实现系统操作日志数据获取的可靠性。
可选地，在一实施例中，所述数据抓取单元进一步用于通过进程ID匹配的方式，确定控制所述系统操作日志数据生成的安全守护进程。
可选地，在一实施例中，所述进程变化确定单元进一步用于根据寄存器中的值、进程的状态以及堆栈中的内容至少其一，确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化。
进一步地，本实施例中，所述寄存器中的值、进程的状态以及堆栈中的内容至少其一可以按照任务数据结构的方式进行存储，通过对该任务数据结构进行解析从中直接寄存器中的值、进程的状态以及堆栈中的内容至少其一，一方面实现了对所述寄存器中的值、进程的状态以及堆栈中的内容至少其一的高效管理，同时，可以通过该任务数据结构记录所有的所述寄存器中的值、进程的状态以及堆栈中的内容至少其一，从而在直接可以依据该任务数据结构快速且准确地确定出所述安全守护进程的变化。
可选地，在一实施例中，所述进程树建立单元进一步用于将当前安全守护进程作为安全守护进程树中的父节点，将当前安全守护进程的下一安全守护进程作为所述父节点的子节点，以确定所述系统操作日志数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全守护进程的ID，以及对应的系统操作日志数据，所述子节点的特征信息包括所述下一安全守护进程的ID，以及对应的系统操作日志数据。
可选地，在一实施例中，所述异常侦测单元进一步用于若所述系统操作日志数据异常，则生成报警事件。
本实施例中，通过所述系统操作日志数据的上下文关系可以确定出用户实体行为的轨迹。
可选地，在异常侦测时，将表征上下文关系的数据点周围的密度与其局部相邻样本表征上下文关系的数据点周围的密度进行比较，该表征上下文关系的数据点与其邻相邻点的相对密度计为异常得分，该异常得分超过设定的阈值，则表明该表征上下文关系的数据点为异常，表明用户实体行为异常行为。
可选地，在进行异常侦测时，根据表征上下文关系的数据与相邻数据的距离来判断一个表征上下文关系的数据是否为异常，比如计算每对表征上下文关系的数据间的距离。如果在给定距离D之内相邻数据少于p个的表征上下文关系的数据为异常的表征上下文关系的数据，或者，与第k个相邻数据的距离最大的前n个表征上下文关系的数据为异常的表征上下文关系的数据，或者与k个最邻近样本表征上下文关系的数据的平均距离最大的表征上下文关系的数据为异常的表征上下文关系的数据。在具体实施时，D、n、p、k可以根据精度的要求灵活调整。
图8为本申请实施例八中电子设备的结构示意图；如图8所示，其包括存储器801以及处理器802，所述存储器上存储有计算机可执行指令，所述处理器用于执行所述计算机可执行指令执行如下步骤：
确定系统操作日志数据的上下文关系，所述系统操作日志数据关联于用户实体行为；
将确定的系统操作日志数据的上下文关系输入到异常侦测模型中；
所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常。
除此之外，图8所示的电子设备还可以实施本申请其他实施例中的任意方法，或者任意步骤，详细不再赘述。
图9为本申请实施例九中计算计算机存储介质的示意图；如图9所示，所述计算机存储介质上存储有计算机可执行指令，所述计算机可执行指令被执行时实施权利要求所述基于上下文进行异常侦测的方法。
图10为本申请实施例十中电子设备的硬件结构示意图；如图10所示，该电子设备的硬件结构可以包括：处理器1001，通信接口1002，计算机可读介质1003和通信总线1004；
其中，处理器1001、通信接口1002、计算机可读介质1003通过通信总线1004完成相互间的通信；
可选的，通信接口1002可以为通信模块的接口，如GSM模块的接口；
其中，处理器1001具体可以配置为运行存储器上存储的可执行程序，从而执行上述任一方法实施例的所有处理步骤或者其中部分处理步骤。
处理器1001可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器710、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分XXX从网络上被下载和安装，和/或从可拆卸介质XXX被安装。在该计算机程序被中央处理单元（CPU）XXX执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (26)
1.一种基于上下文进行异常侦测的方法，其特征在于，包括：
确定系统操作日志数据的上下文关系，所述系统操作日志数据关联于用户实体行为；
将确定的系统操作日志数据的上下文关系输入到异常侦测模型中；
所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常；
所述确定系统操作日志数据的上下文关系包括：
实时抓取关联于用户实体行为的系统操作日志数据，并确定控制所述系统操作日志数据生成的安全守护进程；
确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化；
根据所述安全守护进程的变化，绘制安全守护进程树，根据所述安全守护进程树确定所述系统操作日志数据的上下文关系；
所述实时抓取关联于用户实体行为的系统操作日志数据，包括：以事件为单位从数据源获取关联于用户实体行为的系统操作日志数据；
以事件的方式获取关联于用户实体行为的系统操作日志数据，包括：对从数据源获取到的关联于用户实体行为的系统操作日志数据进行封装处理得到事件，以事件为单位获取关联于用户实体行为的系统操作日志数据；
在进行封装时，配置header以及数据位阵列，所述数据位阵列中存储系统操作日志源样本数据，所述header用于系统操作日志源样本数据的上下文扩展。
2.根据权利要求1所述基于上下文进行异常侦测的方法，其特征在于，多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上，以使得每台服务器上的异常侦测模型可以基于其异常侦测机制判断所述系统操作日志数据是否异常。
3.根据权利要求2所述基于上下文进行异常侦测的方法，其特征在于，多个所述异常侦测模型具有级联的逻辑处理关系；对应地，所述异常侦测机制根据所述级联的逻辑处理关系确定；所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常，包括：若上一个异常侦测模型输出表明实时抓取的系统操作日志数据正常，则由所述上一个异常侦测模型将实时抓取的系统操作日志数据转发给下一个异常侦测模型对实时抓取的系统操作日志数据进行异常侦测判断并输出侦测结果。
4.根据权利要求2所述基于上下文进行异常侦测的方法，其特征在于，多个所述异常侦测模型具有并行的逻辑处理关系；对应地，所述异常侦测机制根据所述级联的逻辑处理关系确定；所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常，包括：多个所述异常侦测模型并行对实时抓取的系统操作日志数据进行异常侦测判断并输出侦测结果。
5.根据权利要求1所述基于上下文进行异常侦测的方法，其特征在于，所述实时抓取关联于用户实体行为的系统操作日志数据，包括：按照设定的PUSH模型或者PULL模型实时抓取关联于用户实体行为的系统操作日志数据。
6.根据权利要求5所述基于上下文进行异常侦测的方法，其特征在于，在所述PUSH模型中设置有日志收集器，所述日志收集器的容量需要大于系统操作日志数据的最大生成量。
7.根据权利要求5所述基于上下文进行异常侦测的方法，其特征在于，在所述PULL模型中设置有日志收集器，所述日志收集器的容量大于系统操作日志数据的平均生成量，且根据系统操作日志数据的实时生成量调整数据收集的吞吐量。
8.根据权利要求1所述基于上下文进行异常侦测的方法，其特征在于，所述确定控制所述系统操作日志数据生成的安全守护进程，包括：通过进程ID匹配的方式，确定控制所述系统操作日志数据生成的安全守护进程。
9.根据权利要求1所述基于上下文进行异常侦测的方法，其特征在于，所述确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化，包括：根据寄存器中的值、进程的状态以及堆栈中的内容至少其一，确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化。
10.根据权利要求1所述基于上下文进行异常侦测的方法，其特征在于，所述根据所述安全守护进程的变化，绘制安全守护进程树包括：将当前安全守护进程作为安全守护进程树中的父节点，将当前安全守护进程的下一安全守护进程作为所述父节点的子节点，以确定所述系统操作日志数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全守护进程的ID，以及对应的系统操作日志数据，所述子节点的特征信息包括所述下一安全守护进程的ID，以及对应的系统操作日志数据。
11.根据权利要求1所述基于上下文进行异常侦测的方法，其特征在于，所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常，包括：若所述系统操作日志数据异常，则生成报警事件。
12.一种基于上下文进行异常侦测的装置，其特征在于，包括：
关系确定单元，用于确定系统操作日志数据的上下文关系，所述系统操作日志数据关联于用户实体行为；
关系输入单元，用于将所述系统操作日志数据的上下文关系输入到异常侦测模型中；
异常侦测单元，用于使所述异常侦测模型基于其异常侦测机制对所述系统操作日志数据的上下文关系进行解析以判断所述系统操作日志数据是否异常；
数据抓取单元，用于实时抓取关联于用户实体行为的系统操作日志数据，并确定控制所述系统操作日志数据生成的安全守护进程；
进程变化确定单元，用于确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化；
进程树建立单元，用于根据所述安全守护进程的变化，绘制安全守护进程树，根据所述安全守护进程树确定所述系统操作日志数据的上下文关系。
13.根据权利要求12所述基于上下文进行异常侦测的装置，其特征在于，多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上，以使得每台服务器上的异常侦测模型可以基于其异常侦测机制判断所述系统操作日志数据是否异常。
14.根据权利要求13所述基于上下文进行异常侦测的装置，其特征在于，多个所述异常侦测模型具有级联的逻辑处理关系；对应地，所述异常侦测机制根据所述级联的逻辑处理关系确定；所述异常侦测单元进一步用于：若上一个异常侦测模型输出表明实时抓取的系统操作日志数据正常，则由所述上一个异常侦测模型将实时抓取的系统操作日志数据转发给下一个异常侦测模型对实时抓取的系统操作日志数据进行异常侦测判断并输出侦测结果。
15.根据权利要求14所述基于上下文进行异常侦测的装置，其特征在于，多个所述异常侦测模型具有并行的逻辑处理关系；对应地，所述异常侦测机制根据所述级联的逻辑处理关系确定；所述异常侦测单元进一步用于使多个所述异常侦测模型并行对实时抓取的系统操作日志数据进行异常侦测判断并输出侦测结果。
16.根据权利要求12所述基于上下文进行异常侦测的装置，其特征在于，所述数据抓取单元进一步用于以事件为单位从数据源获取关联于用户实体行为的系统操作日志数据。
17.根据权利要求16所述基于上下文进行异常侦测的装置，其特征在于，所述数据抓取单元进一步用于对从数据源获取到的关联于用户实体行为的系统操作日志数据进行封装处理得到事件，以事件为单位获取关联于用户实体行为的系统操作日志数据。
18.根据权利要求12所述基于上下文进行异常侦测的装置，其特征在于，所述数据抓取单元进一步用于按照设定的PUSH模型或者PULL模型实时抓取关联于用户实体行为的系统操作日志数据。
19.根据权利要求18所述基于上下文进行异常侦测的装置，其特征在于，在所述PUSH模型中设置有日志收集器，所述日志收集器的容量需要大于系统操作日志数据的最大生成量。
20.根据权利要求18所述基于上下文进行异常侦测的装置，其特征在于，在所述PULL模型中设置有日志收集器，所述日志收集器的容量大于系统操作日志数据的平均生成量，且根据系统操作日志数据的实时生成量调整数据收集的吞吐量。
21.根据权利要求12所述基于上下文进行异常侦测的装置，其特征在于，所述数据抓取单元进一步用于通过进程ID匹配的方式，确定控制所述系统操作日志数据生成的安全守护进程。
22.根据权利要求21所述基于上下文进行异常侦测的装置，其特征在于，所述进程变化确定单元进一步用于根据寄存器中的值、进程的状态以及堆栈中的内容至少其一，确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化。
23.根据权利要求12所述基于上下文进行异常侦测的装置，其特征在于，所述进程树建立单元进一步用于将当前安全守护进程作为安全守护进程树中的父节点，将当前安全守护进程的下一安全守护进程作为所述父节点的子节点，以确定所述系统操作日志数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全守护进程的ID，以及对应的系统操作日志数据，所述子节点的特征信息包括所述下一安全守护进程的ID，以及对应的系统操作日志数据。
24.根据权利要求12所述基于上下文进行异常侦测的装置，其特征在于，所述异常侦测单元进一步用于若所述系统操作日志数据异常，则生成报警事件。
25.一种电子设备，其特征在于，包括：存储器以及处理器，所述存储器上存储有计算机可执行指令，所述处理器用于执行所述计算机可执行指令执行如下步骤：
实时抓取关联于用户实体行为的系统操作日志数据，并确定控制所述系统操作日志数据生成的安全守护进程；
确定在生成所述系统操作日志数据的过程中所述安全守护进程的变化；
根据所述安全守护进程的变化，绘制安全守护进程树，根据所述安全守护进程树确定所述系统操作日志数据的上下文关系。
26.一种计算计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行指令，所述计算机可执行指令被执行时实施权利要求1-11任一项所述基于上下文进行异常侦测的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011325519.9A CN112364284B (zh) | 2020-11-23 | 2020-11-23 | 基于上下文进行异常侦测的方法、装置及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011325519.9A CN112364284B (zh) | 2020-11-23 | 2020-11-23 | 基于上下文进行异常侦测的方法、装置及相关产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112364284A CN112364284A (zh) | 2021-02-12 |
| CN112364284B true CN112364284B (zh) | 2024-01-30 |
Family
ID=74533817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011325519.9A Active CN112364284B (zh) | 2020-11-23 | 2020-11-23 | 基于上下文进行异常侦测的方法、装置及相关产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112364284B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1885224A (zh) * | 2005-06-23 | 2006-12-27 | 福建东方微点信息安全有限责任公司 | 计算机反病毒防护系统和方法 |
| CN105099740A (zh) * | 2014-05-15 | 2015-11-25 | 中国移动通信集团浙江有限公司 | 一种日志管理系统及日志采集方法 |
| CN106201756A (zh) * | 2016-07-12 | 2016-12-07 | 努比亚技术有限公司 | 日志获取装置、移动终端及方法 |
| CN106209893A (zh) * | 2016-07-27 | 2016-12-07 | 中国人民解放军信息工程大学 | 基于业务过程模型挖掘的内部威胁检测系统及其检测方法 |
| WO2016196497A1 (en) * | 2015-06-05 | 2016-12-08 | Apple Inc. | Prediction and notification of changes in the operating context of a computing device |
| CN106961428A (zh) * | 2017-03-15 | 2017-07-18 | 苏州大学 | 一种基于私有云平台的集中式入侵检测系统 |
| CN107515778A (zh) * | 2017-08-25 | 2017-12-26 | 武汉大学 | 一种基于上下文感知的起源追踪方法及系统 |
| CN107566163A (zh) * | 2017-08-10 | 2018-01-09 | 北京奇安信科技有限公司 | 一种用户行为分析关联的告警方法及装置 |
| CN109145592A (zh) * | 2017-06-16 | 2019-01-04 | 卡巴斯基实验室股份制公司 | 检测异常事件的系统和方法 |
| CN110764980A (zh) * | 2019-09-06 | 2020-02-07 | 华为技术有限公司 | 日志处理方法和装置 |
| CN110855461A (zh) * | 2018-08-20 | 2020-02-28 | 北京航天长峰科技工业集团有限公司 | 一种基于关联分析和规则库的日志分析方法 |
| CN110858192A (zh) * | 2018-08-23 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 一种日志查询方法和系统、日志排查系统和查询终端 |
| CN111177095A (zh) * | 2019-12-10 | 2020-05-19 | 中移（杭州）信息技术有限公司 | 日志分析方法、装置、计算机设备及存储介质 |
| CN111400706A (zh) * | 2020-03-10 | 2020-07-10 | 深信服科技股份有限公司 | 一种病毒防御方法、装置、设备及存储介质 |
| CN111651760A (zh) * | 2020-08-04 | 2020-09-11 | 北京志翔科技股份有限公司 | 一种设备安全状态综合分析的方法及计算机可读存储介质 |
| CN111651767A (zh) * | 2020-06-05 | 2020-09-11 | 腾讯科技（深圳）有限公司 | 一种异常行为检测方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111858242B (zh) * | 2020-07-10 | 2023-05-30 | 苏州浪潮智能科技有限公司 | 一种系统日志异常检测方法、装置及电子设备和存储介质 |
-
2020
- 2020-11-23 CN CN202011325519.9A patent/CN112364284B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1885224A (zh) * | 2005-06-23 | 2006-12-27 | 福建东方微点信息安全有限责任公司 | 计算机反病毒防护系统和方法 |
| CN105099740A (zh) * | 2014-05-15 | 2015-11-25 | 中国移动通信集团浙江有限公司 | 一种日志管理系统及日志采集方法 |
| WO2016196497A1 (en) * | 2015-06-05 | 2016-12-08 | Apple Inc. | Prediction and notification of changes in the operating context of a computing device |
| CN106201756A (zh) * | 2016-07-12 | 2016-12-07 | 努比亚技术有限公司 | 日志获取装置、移动终端及方法 |
| CN106209893A (zh) * | 2016-07-27 | 2016-12-07 | 中国人民解放军信息工程大学 | 基于业务过程模型挖掘的内部威胁检测系统及其检测方法 |
| CN106961428A (zh) * | 2017-03-15 | 2017-07-18 | 苏州大学 | 一种基于私有云平台的集中式入侵检测系统 |
| CN109145592A (zh) * | 2017-06-16 | 2019-01-04 | 卡巴斯基实验室股份制公司 | 检测异常事件的系统和方法 |
| CN107566163A (zh) * | 2017-08-10 | 2018-01-09 | 北京奇安信科技有限公司 | 一种用户行为分析关联的告警方法及装置 |
| CN107515778A (zh) * | 2017-08-25 | 2017-12-26 | 武汉大学 | 一种基于上下文感知的起源追踪方法及系统 |
| CN110855461A (zh) * | 2018-08-20 | 2020-02-28 | 北京航天长峰科技工业集团有限公司 | 一种基于关联分析和规则库的日志分析方法 |
| CN110858192A (zh) * | 2018-08-23 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 一种日志查询方法和系统、日志排查系统和查询终端 |
| CN110764980A (zh) * | 2019-09-06 | 2020-02-07 | 华为技术有限公司 | 日志处理方法和装置 |
| CN111177095A (zh) * | 2019-12-10 | 2020-05-19 | 中移（杭州）信息技术有限公司 | 日志分析方法、装置、计算机设备及存储介质 |
| CN111400706A (zh) * | 2020-03-10 | 2020-07-10 | 深信服科技股份有限公司 | 一种病毒防御方法、装置、设备及存储介质 |
| CN111651767A (zh) * | 2020-06-05 | 2020-09-11 | 腾讯科技（深圳）有限公司 | 一种异常行为检测方法、装置、设备及存储介质 |
| CN111651760A (zh) * | 2020-08-04 | 2020-09-11 | 北京志翔科技股份有限公司 | 一种设备安全状态综合分析的方法及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于数据流依赖关系的可信恢复方法;包必显;曾庆凯;;计算机应用(第10期);全文 * |
| 基于相互独立检查点的MPI消息日志系统;庞丽萍, 陈宝利;华中科技大学学报(自然科学版)(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112364284A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112738791B (zh) | 基于5g核心网的用户信息关联回填方法、装置、设备和介质 | |
| CN111581291A (zh) | 数据处理方法、装置、电子设备及可读介质 | |
| CN111752799A (zh) | 一种业务链路跟踪方法、装置、设备及储存介质 | |
| CN112685154A (zh) | 任务流引擎的数据处理方法、任务流引擎、设备和介质 | |
| CN112507265B (zh) | 基于树结构进行异常侦测的方法、装置及相关产品 | |
| CN111930709B (zh) | 数据存储方法、装置、电子设备和计算机可读介质 | |
| CN110347694B (zh) | 一种基于物联网的设备监控方法、装置及系统 | |
| CN116662875A (zh) | 接口测绘方法及装置 | |
| CN111415683A (zh) | 语音识别异常告警方法、装置、计算机设备和存储介质 | |
| CN113791792B (zh) | 应用调用信息的获取方法、设备以及存储介质 | |
| CN116700907B (zh) | 服务调用需求文档存储方法、装置、电子设备和可读介质 | |
| CN108287859B (zh) | 一种多媒体信息检索方法及装置 | |
| CN112364284B (zh) | 基于上下文进行异常侦测的方法、装置及相关产品 | |
| CN113590447B (zh) | 埋点处理方法和装置 | |
| CN112364285B (zh) | 基于ueba建立异常侦测模型的方法、装置及相关产品 | |
| CN115220131A (zh) | 气象数据质检方法及系统 | |
| CN114579054A (zh) | 一种数据处理方法、装置、电子设备及计算机可读介质 | |
| CN110781066B (zh) | 用户行为分析方法、装置、设备及存储介质 | |
| CN110532304B (zh) | 数据处理方法及装置、计算机可读存储介质以及电子设备 | |
| CN112434244A (zh) | 基于ueba进行日志处理的方法、装置及相关产品 | |
| CN112749204A (zh) | 一种读取数据的方法和装置 | |
| CN115801447B (zh) | 基于工业安全的流量解析方法、装置与电子设备 | |
| CN112084440B (zh) | 数据校验方法、装置、电子设备和计算机可读介质 | |
| CN117312761B (zh) | 一种数据片段处理时间计算方法及装置 | |
| CN113765692B (zh) | 限流方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |