CN112364286A - 基于ueba进行异常侦测的方法、装置及相关产品 - Google Patents

基于ueba进行异常侦测的方法、装置及相关产品 Download PDF

Info

Publication number
CN112364286A
CN112364286A CN202011325710.3A CN202011325710A CN112364286A CN 112364286 A CN112364286 A CN 112364286A CN 202011325710 A CN202011325710 A CN 202011325710A CN 112364286 A CN112364286 A CN 112364286A
Authority
CN
China
Prior art keywords
system operation
data
sample data
operation log
abnormality detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011325710.3A
Other languages
English (en)
Inventor
阮安邦
王佳帅
魏明
陈旭明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Octa Innovations Information Technology Co Ltd
Original Assignee
Beijing Octa Innovations Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Octa Innovations Information Technology Co Ltd filed Critical Beijing Octa Innovations Information Technology Co Ltd
Priority to CN202011325710.3A priority Critical patent/CN112364286A/zh
Publication of CN112364286A publication Critical patent/CN112364286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供了一种基于UEBA进行异常侦测的方法、装置及相关产品。基于UEBA进行异常侦测的方法包括：实时抓取关联于用户实体行为的系统操作日志源数据；将实时抓取的系统操作日志源数据输入到异常侦测模型群组中，所述异常侦测模型群组包括多个异常侦测模型；由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。本申请实施例可进行异常侦测，从而对用户的行为建立有效的监控。

Description

基于UEBA进行异常侦测的方法、装置及相关产品
技术领域
本申请涉及安全技术领域，特别是涉及一种基于UEBA进行异常侦测的方法、装置及相关产品。
背景技术
21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器，智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据，海量的数据隐含着巨大的信息。
数据是信息的载体，一旦遭遇数据灾难，可能给用户造成不可估量的损失。因此，亟待提供一种进行异常侦测的方法，从而对用户的行为建立有效的监控。
发明内容
基于上述问题，本申请实施例提供了一种基于UEBA进行异常侦测的方法、装置及相关产品。
本申请实施例公开了如下技术方案：
一种基于UEBA进行异常侦测的方法，其包括：
实时抓取关联于用户实体行为的系统操作日志源数据；
将实时抓取的系统操作日志源数据输入到异常侦测模型群组中，所述异常侦测模型群组包括多个异常侦测模型；
由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，所述多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上。
可选地，在本申请一实施例中，所述由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果，包括：若所述侦测结果表明所述系统操作日志源数据异常，则生成报警事件。
可选地，在本申请一实施例中，多个所述异常侦测模型具有级联的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果，包括：若上一个异常侦测模型输出表明实时抓取的系统操作日志源数据正常，则由所述上一个异常侦测模型将实时抓取的系统操作日志源数据转发给下一个异常侦测模型对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，多个所述异常侦测模型具有并行的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果，包括：多个所述异常侦测模型并行对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，实时抓取关联于用户实体行为的系统操作日志源数据之前包括：获取关联于用户实体行为的系统操作日志源样本数据；根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据；按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据；根据所述若干类关键日志有效样本数据以及机器学习训练模型，建立异常侦测模型。
可选地，在本申请一实施例中，所述获取关联于用户实体行为的系统操作日志源样本数据，包括：以事件的方式从数据源获取关联于用户实体行为的系统操作日志源样本数据。
可选地，在本申请一实施例中，所述以事件的方式获取关联于用户实体行为的系统操作日志源样本数据，包括：对从数据源获取到的关联于用户实体行为的系统操作日志源样本数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的系统操作日志源样本数据。
可选地，在本申请一实施例中，所述根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据，包括：根据所述系统操作日志源样本数据的消息类型，建立多个日志模板；根据建立的多个日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据。
可选地，在本申请一实施例中，所述根据所述系统操作日志源样本数据的消息类型，建立多个日志模板，包括：
根据所述系统操作日志源样本数据中的模板词和参数词确定消息类型；
根据确定出的所述消息类型，建立多个日志模板。
可选地，在本申请一实施例中，所述按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，包括：按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，所述数据分类维度包括所述定量维度以及所述定性维度。
可选地，在本申请一实施例中，所述按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，之前包括：根据系统操作日志源样本数据的数据类型，建立数据定量维度以及定性维度，所述数据类型为字符型和数值型。
一种基于UEBA进行异常侦测的装置，其包括：
实时数据抓取单元，用于实时抓取关联于用户实体行为的系统操作日志源数据；
数据输入单元，用于将实时抓取的系统操作日志源数据输入到异常侦测模型群组中，所述异常侦测模型群组包括多个异常侦测模型；
异常判断单元，用于由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，所述多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上。
可选地，在本申请一实施例中，所述由异常判断单元进一步用于若所述侦测结果表明所述系统操作日志源数据异常，则生成报警事件。
可选地，在本申请一实施例中，多个所述异常侦测模型具有级联的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述异常判断单元进一步用于若上一个异常侦测模型输出表明实时抓取的系统操作日志源数据正常，则由所述上一个异常侦测模型将实时抓取的系统操作日志源数据转发给下一个异常侦测模型对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，多个所述异常侦测模型具有并行的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述异常判断单元进一步用于多个所述异常侦测模型并行对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，所述基于UEBA进行异常侦测的装置还包括：
样本数据获取单元，用于获取关联于用户实体行为的系统操作日志源样本数据；
样本数据解析单元，用于根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据；
样本数据分类单元，用于按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据；
模型建立单元，用于根据所述若干类关键日志有效样本数据以及机器学习训练模型，建立异常侦测模型。
可选地，在本申请一实施例中，所述样本数据获取单元进一步用于以事件的方式从数据源获取关联于用户实体行为的系统操作日志源样本数据。
可选地，在本申请一实施例中，所述书获取单元进一步用于对从数据源获取到的关联于用户实体行为的系统操作日志源样本数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的系统操作日志源样本数据。
可选地，在本申请一实施例中，所述样本数据解析单元进一步用于根据所述系统操作日志源样本数据的消息类型，建立多个日志模板；根据建立的多个日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据。
可选地，在本申请一实施例中，所述样本数据解析单元进一步用于根据所述系统操作日志源样本数据中的模板词和参数词确定消息类型，以及根据确定出的所述消息类型，建立多个日志模板。
可选地，在本申请一实施例中，所述样本数据分类单元进一步用于按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，所述数据分类维度包括所述定量维度以及所述定性维度。
可选地，在本申请一实施例中，所述样本数据分类单元进一步用于根据系统操作日志源样本数据的数据类型，建立数据定量维度以及定性维度，所述数据类型为字符型和数值型。
一种电子设备，其包括：存储器以及处理器，所述存储器上存储有计算机可执行指令，所述处理器用于执行所述计算机可执行指令以执行如下步骤：
实时抓取关联于用户实体行为的系统操作日志源数据；
将实时抓取的系统操作日志源数据输入到异常侦测模型群组中，所述异常侦测模型群组包括多个异常侦测模型；
由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，所述多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上。
可选地，在本申请一实施例中，所述处理器执行在由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果的步骤，包括：若所述侦测结果表明所述系统操作日志源数据异常，则生成报警事件。
可选地，在本申请一实施例中，多个所述异常侦测模型具有级联的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述处理器执行由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果的步骤，包括：若上一个异常侦测模型输出表明实时抓取的系统操作日志源数据正常，则由所述上一个异常侦测模型将实时抓取的系统操作日志源数据转发给下一个异常侦测模型对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，多个所述异常侦测模型具有并行的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述处理器执行由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果，包括：多个所述异常侦测模型并行对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，所述处理器在执行实时抓取关联于用户实体行为的系统操作日志源数据的步骤之前包括：获取关联于用户实体行为的系统操作日志源样本数据；根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据；按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据；根据所述若干类关键日志有效样本数据以及机器学习训练模型，建立异常侦测模型。
可选地，在本申请一实施例中，所述处理器在执行获取关联于用户实体行为的系统操作日志源样本数据的步骤时，包括：以事件的方式从数据源获取关联于用户实体行为的系统操作日志源样本数据。
可选地，在本申请一实施例中，所述处理器在执行以事件的方式获取关联于用户实体行为的系统操作日志源样本数据的步骤，包括：对从数据源获取到的关联于用户实体行为的系统操作日志源样本数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的系统操作日志源样本数据。
可选地，在本申请一实施例中，所述处理器在执行根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据的步骤，包括：根据所述系统操作日志源样本数据的消息类型，建立多个日志模板；根据建立的多个日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据。
可选地，在本申请一实施例中，所述处理器在执行根据所述系统操作日志源样本数据的消息类型，建立多个日志模板的步骤，包括：
根据所述系统操作日志源样本数据中的模板词和参数词确定消息类型；
根据确定出的所述消息类型，建立多个日志模板。
可选地，在本申请一实施例中，所述处理器在执行按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据的步骤，包括：按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，所述数据分类维度包括所述定量维度以及所述定性维度。
可选地，在本申请一实施例中，所述处理器在执行按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据的步骤，之前包括：根据系统操作日志源样本数据的数据类型，建立数据定量维度以及定性维度，所述数据类型为字符型和数值型。
一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述计算机可执行指令被执行时实施权利要求1-12任一项所述基于UEBA进行异常侦测的方法。
本申请实施例的技术方案中，通过实时抓取关联于用户实体行为的系统操作日志源数据；将实时抓取的系统操作日志源数据输入到异常侦测模型群组中，所述异常侦测模型群组包括多个异常侦测模型；由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果，由此可见，提供了一种异常侦测的方案，从而对用户的行为建立有效的监控。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一中基于UEBA进行异常侦测的方法流程示意图；
图2为本申请实施例二中基于UEBA进行异常侦测的方法流程示意图；
图3为本申请实施例三中基于UEBA进行异常侦测的方法流程示意图；
图4为本申请实施例四中基于UEBA进行异常侦测的方法流程示意图；
图5为本申请实施例五中基于UEBA进行异常侦测的装置结构示意图；
图6为本申请实施例六中基于UEBA进行异常侦测的装置结构示意图；
图7为本申请实施例七中基于UEBA进行异常侦测的装置结构示意图；
图8为本申请实施例八中基于UEBA进行异常侦测的装置结构示意图；
图9为本申请实施例九中基于UEBA进行异常侦测的装置结构示意图；
图10为本申请实施例十中基于UEBA进行异常侦测的装置结构示意图；
图11为本申请实施例十一中基于UEBA进行异常侦测的装置结构示意图；
图12为本申请实施例十二中基于UEBA进行异常侦测的装置结构示意图；
图13为本申请实施例十三中基于UEBA进行异常侦测的装置结构示意图；
图14为本申请实施例十四中基于UEBA进行异常侦测的装置结构示意图；
图15为本申请实施例十五中电子设备的结构示意图；
图16为本申请实施例十一中电子设备的硬件结构示意图。
具体实施方式
实施本申请实施例的任一技术方案必不一定需要同时达到以上的所有优点。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本申请实施例一中基于UEBA进行异常侦测的方法流程示意图；如图 1所示，其包括：
S101、实时抓取关联于用户实体行为的系统操作日志源数据；
本实施例中，UEBA业界又称之用户实体行为分析。本实施例中，所述用户实体行为可以包括：时间、地点、人物、交互、交互的内容。比如用户搜索：在什么时间、什么平台上、哪一个ID、做了搜索、搜索的内容是什么。
本实施例中，可以通过在数据源上加载监测代码(或者又称之为埋点)，通过该监测代码监测用户是否点击了注册按钮、用户下了什么订单。
本实施例中，系统操作日志源数据的存在形式不做任何限定，比如为txt文档，或者列表方式。
本实施例中，所述系统操作日志源数据存储在用户所使用的各种终端上。
本实施例中，考虑到所述系统操作日志源数据可能是大量的非结构化数据，直接使用会导致数据处理的效率低下，消耗大量的算力，为此，本实施例中，在获取到所述系统操作日志源数据进行预处理或者预分析，从而实现结构化的目的，后续步骤直接使用结构化的所述系统操作日志源数据，从而提高数据处理的效率，节省算力。
S102、将实时抓取的系统操作日志源数据输入到异常侦测模型群组中，所述异常侦测模型群组包括多个异常侦测模型；
可选地，本实施例中，所述多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上。
可选地，本实施例中，多个异常侦测模型主要用于后续从多个维度进行异常侦测，维度比如包括但不限于时间、地点、人物、交互、交互的内容，从而提高异常侦测的准确性。
本实施例中，先后运行的逻辑主要是进行异常判断的时序逻辑，比如那个异常侦测模型先运行，那个异常侦测模型后运行，或者那几个异常侦测模型先运行，那个异常侦测模型后运行，或者按照特定的组合逻辑顺序运行。
S103、由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，本实施例中，所述由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果，包括：若所述侦测结果表明所述系统操作日志源数据异常，则生成报警事件，所述报警事件可以按照声音或者邮件或者消息的方式通知用户。
本实施例中，所述异常侦测的结果可能是正常或者异常。
图2为本申请实施例二中基于UEBA进行异常侦测的方法流程示意图；如图 2所示，其包括：
S201、实时抓取关联于用户实体行为的系统操作日志源数据；
本实施例中，所述用户实体行为可以包括：时间、地点、人物、交互、交互的内容。比如用户搜索：在什么时间、什么平台上、哪一个ID、做了搜索、搜索的内容是什么。
本实施例中，可以通过在数据源上加载监测代码(或者又称之为埋点)，通过该监测代码监测用户是否点击了注册按钮、用户下了什么订单。
本实施例中，系统操作日志源数据的存在形式不做任何限定，比如为txt文档，或者列表方式。
本实施例中，所述系统操作日志源数据存储在用户所使用的各种终端上。
本实施例中，考虑到所述系统操作日志源数据可能是大量的非结构化数据，直接使用会导致数据处理的效率低下，消耗大量的算力，为此，本实施例中，在获取到所述系统操作日志源数据进行预处理或者预分析，从而实现结构化的目的，后续步骤直接使用结构化的所述系统操作日志源数据，从而提高数据处理的效率，节省算力。
S202、将实时抓取的系统操作日志源数据输入到异常侦测模型群组中，所述异常侦测模型群组包括多个异常侦测模型；
可选地，本实施例中，所述多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上。
可选地，本实施例中，多个异常侦测模型主要用于后续从多个维度进行异常侦测，维度比如包括但不限于时间、地点、人物、交互、交互的内容，从而提高异常侦测的准确性。
本实施例中，先后运行的逻辑主要是进行异常判断的时序逻辑，比如那个异常侦测模型先运行，那个异常侦测模型后运行，或者那几个异常侦测模型先运行，那个异常侦测模型后运行，或者按照特定的组合逻辑顺序运行。
S203、由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，本实施例中，多个所述异常侦测模型具有级联的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果，包括：若上一个异常侦测模型输出表明实时抓取的系统操作日志源数据正常，则由所述上一个异常侦测模型将实时抓取的系统操作日志源数据转发给下一个异常侦测模型对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，本实施例中，所述由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果，包括：若所述侦测结果表明所述系统操作日志源数据异常，则生成报警事件，所述报警事件可以按照声音或者邮件或者消息的方式通知用户。
本实施例中，所述异常侦测的结果可能是正常或者异常。
图3为本申请实施例二中基于UEBA进行异常侦测的方法流程示意图；如图2所示，其包括：
S301、实时抓取关联于用户实体行为的系统操作日志源数据；
本实施例中，所述用户实体行为可以包括：时间、地点、人物、交互、交互的内容。比如用户搜索：在什么时间、什么平台上、哪一个ID、做了搜索、搜索的内容是什么。
本实施例中，可以通过在数据源上加载监测代码(或者又称之为埋点)，通过该监测代码监测用户是否点击了注册按钮、用户下了什么订单。
本实施例中，系统操作日志源数据的存在形式不做任何限定，比如为txt文档，或者列表方式。
本实施例中，所述系统操作日志源数据存储在用户所使用的各种终端上。
本实施例中，考虑到所述系统操作日志源数据可能是大量的非结构化数据，直接使用会导致数据处理的效率低下，消耗大量的算力，为此，本实施例中，在获取到所述系统操作日志源数据进行预处理或者预分析，从而实现结构化的目的，后续步骤直接使用结构化的所述系统操作日志源数据，从而提高数据处理的效率，节省算力。
S302、将实时抓取的系统操作日志源数据输入到异常侦测模型群组中，所述异常侦测模型群组包括多个异常侦测模型；
可选地，本实施例中，所述多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上。
可选地，本实施例中，多个异常侦测模型主要用于后续从多个维度进行异常侦测，维度比如包括但不限于时间、地点、人物、交互、交互的内容，从而提高异常侦测的准确性。
本实施例中，先后运行的逻辑主要是进行异常判断的时序逻辑，比如那个异常侦测模型先运行，那个异常侦测模型后运行，或者那几个异常侦测模型先运行，那个异常侦测模型后运行，或者按照特定的组合逻辑顺序运行。
S303、由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
本实施例中，多个所述异常侦测模型具有并行的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果，包括：多个所述异常侦测模型并行对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
图4为本申请实施例四中基于UEBA进行异常侦测的方法流程示意图；如图1所示，在实时抓取关联于用户实体行为的系统操作日志源数据之前，还包括：
S401、获取关联于用户实体行为的系统操作日志源样本数据；
本实施例中，所述系统操作日志源样本数据直接关联于所述用户实体行为，换言之，通过系统操作日志源样本数据可以间接反映出所述用户实体行为。
本实施例中，所述用户实体行为可以包括：时间、地点、人物、交互、交互的内容。比如用户搜索：在什么时间、什么平台上、哪一个ID、做了搜索、搜索的内容是什么。
本实施例中，可以通过在数据源上加载监测代码(或者又称之为埋点)，通过该监测代码监测用户是否点击了注册按钮、用户下了什么订单。
本实施例中，系统操作日志源样本数据的存在形式不做任何限定，比如为txt 文档，或者列表方式。
本实施例中，所述系统操作日志源样本数据存储在用户所使用的各种终端上。
本实施例中，考虑到所述系统操作日志源样本数据可能是大量的非结构化数据，直接使用会导致数据处理的效率低下，消耗大量的算力，为此，本实施例中，在获取到所述系统操作日志源样本数据进行预处理或者预分析，从而实现结构化的目的，后续步骤直接使用结构化的所述系统操作日志源样本数据，从而提高数据处理的效率，节省算力。
S402、根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据；
本实施中，所述日志模板中定义了一系列的解析规则比如解析的日志关键词、解析的数据步长、数据的格式或者结构，以对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据。或者，所述日志模板又可以称之为数据解析模型。
本实施例中，由于用户所使用的终端从产品形态上千差万别，或者所述终端的操作系统也各不相同，为此，对应每一类产品形态，或者每一类操作系统，分别配置一种日志模板。
S403、按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据；
本实施例中，如前所述，用户实体行为导致的所述用户实体行为通常包括如下五个维度：时间、地点、人物、交互、交互的内容，由此导致关键日志样本数据实际上也可以包括该五个维度。
另外，如前所述，用户实体行为发生的终端具有各种产品形态，或者其具有不同的操作系统，从而导致关键日志样本数据实际上也具有这些方面的维度。
因此，本实施例中，为了有效地反映用户实体行为，可以通过步骤S103的多个数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，关键日志有效样本数据比如又称之为Log Key。
S404、根据所述若干类关键日志有效样本数据以及机器学习训练模型，建立异常侦测模型。
本实施例中，可以通过根据所述若干类关键日志有效样本数据对神经网络模型(作为机器学习训练模型)训练从而建立异常监测模型。具体地，所述神经网络模型不做特别限定，比如可以为LSTM。该异常侦测模型在进行异常侦测时，可以基于密度的方法或者基于距离的方法。
可选地，在基于密度的方法中，定义：正常数据点的密度与其近邻的密度相近，异常点的密度与其近邻的密度相差较大，因此，在异常侦测时，将某一数据点周围的密度与其局部相邻数据点周围的密度进行比较，该数据点与其邻相邻点的相对密度计为异常得分，该异常得分超过设定的阈值，则表明该数据点为异常，表明用户实体行为异常行为。
可选地，在基于距离的方法中，定义：正常数据点具有密集的邻域，异常点则远离其相邻点，即具有较为稀疏的邻域。在进行异常侦测时，根据数据点与相邻点的距离来判断一个数据点是否为异常，比如计算每对数据点间的距离。如果在给定距离D之内相邻点少于p个的数据点为异常数据，或者，与第k个相邻点的距离最大的前n个数据点为异常数据，或者与k个最邻近数据点的平均距离最大的数据点为异常数据。在具体实施时，D、n、p、k可以根据精度的要求灵活调整。
可选地，由于有若干类关键日志有效样本数据，因此，在建立异常侦测模型时，可以基于每一类关键日志有效样本数据建立一个异常侦测模型，以可从多个维度对系统操作日志源样本数据是否异常进行判断，进而侦测用户实体行为的异常情况。
图5为本申请实施例五中基于UEBA进行异常侦测的方法流程示意图；如图5所示，在本实施例中，与上述实施例四不同的是，所述获取关联于用户实体行为的系统操作日志源样本数据，包括：以事件的方式从数据源获取关联于用户实体行为的系统操作日志源样本数据。具体地，本实施例中，基于UEBA进行异常侦测的方法包括如下步骤：
S501、以事件的方式从数据源获取关联于用户实体行为的系统操作日志源样本数据；
可选地，本实施例中，所述以事件的方式获取关联于用户实体行为的系统操作日志源样本数据，包括：对从数据源获取到的关联于用户实体行为的系统操作日志源样本数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的系统操作日志源样本数据。
具体地，本实施例中，在进行封装时，配置可选的header以及数据位阵列，所述数据位阵列中存储系统操作日志源样本数据，所述header主要用于系统操作日志源样本数据的上下文扩展。通过这种结构的事件，从而有效地实现了系统操作日志源样本数据的传输，提高了数据传输的效率。
S502、根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据；
S503、按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据；
S504、根据所述若干类关键日志有效样本数据以及机器学习训练模型，建立异常侦测模型。
本实施例中，步骤分别类似上述实施例一中的步骤S102-S104。当然，在其他是实施例中，也可以采取不同于上述实施例一中的步骤S102-S104来实现步骤 S502-S504。
图6为本申请实施例六中基于UEBA进行异常侦测的方法流程示意图；如图6所示，在本实施例中，与上述实施例四不同的是，所述根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据，包括：根据所述系统操作日志源样本数据的消息类型，建立多个日志模板；根据建立的多个日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据。具体地，本实施例中，基于UEBA进行异常侦测的方法包括如下步骤：
S601、获取关联于用户实体行为的系统操作日志源样本数据；
S612、根据所述系统操作日志源样本数据的消息类型，建立多个日志模板；
S622、根据建立的多个日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据。
可选地，本实施例中，步骤S622中根据所述系统操作日志源样本数据的消息类型，建立多个日志模板，可以包括：
根据所述系统操作日志源样本数据中的模板词和参数词确定消息类型；
根据确定出的所述消息类型，建立多个日志模板。
具体地，本实施例中，消息类型可以理解为一组消息特征相近的系统操作日志源样本数据,所述系统操作日志源样本数据中的模板词和参数词消息类型其原理简单且易于实现。由于可能存在海量的所述系统操作日志源样本数据，通过模板词和参数词这种方式来确定消息类型，可以有效地建立多个日志模板，便于对海量的所述系统操作日志源样本数据进行解析处理从而快速、准确地得到关键日志样本数据。
S603、按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据；
S604、根据所述若干类关键日志有效样本数据以及机器学习训练模型，建立异常侦测模型。
本实施例中，步骤S601、步骤S603-S604可分别参见上述图1实施例的步骤S101、步骤S403-S404。
图7为本申请实施例四中基于UEBA进行异常侦测的方法流程示意图；如图7所示，在本实施例中，与上述实施例四不同的是，所述按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，包括：按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，所述数据分类维度包括所述定量维度以及所述定性维度。具体地，本实施例中，基于UEBA进行异常侦测的方法包括如下步骤：
S701、获取关联于用户实体行为的系统操作日志源样本数据；
S702、根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据；
S703、按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，所述数据分类维度包括所述定量维度以及所述定性维度；
S704、根据所述若干类关键日志有效样本数据以及机器学习训练模型，建立异常侦测模型。
可选地，在一实施例中，所述按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，包括：按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，所述数据分类维度包括所述定量维度以及所述定性维度。
可选地，在一实施例中，所述按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，之前包括：根据系统操作日志源样本数据的数据类型，建立数据定量维度以及定性维度，所述数据类型为字符型和数值型。
本实施例中，比如如地区、性别都是定性维度；如收入、年龄、消费等都是定量维度。本实施例中，通过数据定量维度和定性维度，可以有效地对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，从而使得若干类关键日志有效样本数据的规律更加明显，便于建立准确地异常侦测模型。
图8为本申请实施例八中基于UEBA进行异常侦测的装置结构示意图；如图8所示，其包括：
实时数据抓取单元801，用于实时抓取关联于用户实体行为的系统操作日志源数据；
数据输入单元802，用于将实时抓取的系统操作日志源数据输入到异常侦测模型群组中，所述异常侦测模型群组包括多个异常侦测模型；
异常判断单元803，用于由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，在本实施例中，所述多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上。
可选地，在本实施例中，所述由异常判断单元进一步用于若所述侦测结果表明所述系统操作日志源数据异常，则生成报警事件。
图9为本申请实施例九中基于UEBA进行异常侦测的装置结构示意图；本实施例中，多个所述异常侦测模型具有级联的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述异常判断单元进一步用于若上一个异常侦测模型输出表明实时抓取的系统操作日志源数据正常，则由所述上一个异常侦测模型将实时抓取的系统操作日志源数据转发给下一个异常侦测模型对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
如图9所示，多个所述异常侦测模型具有级联的逻辑处理关系。
图10为本申请实施例十中基于UEBA进行异常侦测的装置结构示意图；本实施例中，多个所述异常侦测模型具有并行的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述异常判断单元进一步用于多个所述异常侦测模型并行对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
如图10所示，多个所述异常侦测模型具有并行的逻辑处理关系。
图11为本申请实施例十一中基于UEBA进行异常侦测的装置结构示意图；如图11所示，除了包括上述图7-9所述的单元外，还包括：
样本数据获取单元1101，用于获取关联于用户实体行为的系统操作日志源样本数据；
样本数据解析单元1102，用于根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据；
样本数据分类单元1103，用于按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据；
模型建立单元1104，用于根据所述若干类关键日志有效样本数据以及机器学习训练模型，建立异常侦测模型。
本实施例中，所述系统操作日志源样本数据直接关联于所述用户实体行为，换言之，通过系统操作日志源样本数据可以间接反映出所述用户实体行为。
本实施例中，所述用户实体行为可以包括：时间、地点、人物、交互、交互的内容。比如用户搜索：在什么时间、什么平台上、哪一个ID、做了搜索、搜索的内容是什么。
本实施例中，可以通过在数据源上加载监测代码(或者又称之为埋点)，通过该监测代码监测用户是否点击了注册按钮、用户下了什么订单。
本实施例中，系统操作日志源样本数据的存在形式不做任何限定，比如为txt 文档，或者列表方式。
本实施例中，所述系统操作日志源样本数据存储在用户所使用的各种终端上。
本实施例中，考虑到所述系统操作日志源样本数据可能是大量的非结构化数据，直接使用会导致数据处理的效率低下，消耗大量的算力，为此，本实施例中，在获取到所述系统操作日志源样本数据进行预处理或者预分析，从而实现结构化的目的，后续步骤直接使用结构化的所述系统操作日志源样本数据，从而提高数据处理的效率，节省算力。
本实施中，所述日志模板中定义了一系列的解析规则比如解析的日志关键词、解析的数据步长、数据的格式或者结构，以对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据。或者，所述日志模板又可以称之为数据解析模型。
本实施例中，由于用户所使用的终端从产品形态上千差万别，或者所述终端的操作系统也各不相同，为此，对应每一类产品形态，或者每一类操作系统，分别配置一种日志模板。
本实施例中，如前所述，用户实体行为导致的所述用户实体行为通常包括如下五个维度：时间、地点、人物、交互、交互的内容，由此导致关键日志样本数据实际上也可以包括该五个维度。
另外，如前所述，用户实体行为发生的终端具有各种产品形态，或者其具有不同的操作系统，从而导致关键日志样本数据实际上也具有这些方面的维度。
因此，本实施例中，为了有效地反映用户实体行为，可以通过步骤S103的多个数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，关键日志有效样本数据比如又称之为Log Key。
本实施例中，可以通过根据所述若干类关键日志有效样本数据对神经网络模型训练从而建立异常监测模型。具体地，所述神经网络模型不做特别限定，比如可以为LSTM。该异常侦测模型在进行异常侦测时，可以基于密度的方法或者基于距离的方法。
可选地，在基于密度的方法中，定义：正常数据点的密度与其近邻的密度相近，异常点的密度与其近邻的密度相差较大，因此，在异常侦测时，将某一数据点周围的密度与其局部相邻数据点周围的密度进行比较，该数据点与其邻相邻点的相对密度计为异常得分，该异常得分超过设定的阈值，则表明该数据点为异常，表明用户实体行为异常行为。
可选地，在基于距离的方法中，定义：正常数据点具有密集的邻域，异常点则远离其相邻点，即具有较为稀疏的邻域。在进行异常侦测时，根据数据点与相邻点的距离来判断一个数据点是否为异常，比如计算每对数据点间的距离。如果在给定距离D之内相邻点少于p个的数据点为异常数据，或者，与第k个相邻点的距离最大的前n个数据点为异常数据，或者与k个最邻近数据点的平均距离最大的数据点为异常数据。在具体实施时，D、n、p、k可以根据精度的要求灵活调整。
可选地，由于有若干类关键日志有效样本数据，因此，在建立异常侦测模型时，可以基于每一类关键日志有效样本数据建立一个异常侦测模型，以可从多个维度对系统操作日志源样本数据是否异常进行判断，进而侦测用户实体行为的异常情况。
图12为本申请实施例十二中基于UEBA进行异常侦测的装置结构示意图；如图12所示，除了包括上述图7-9所述的单元外，还包括：
样本数据获取单元1101，用于获取关联于用户实体行为的系统操作日志源样本数据；
样本数据解析单元1102，用于根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据；
样本数据分类单元1103，用于按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据；
模型建立单元1104，用于根据所述若干类关键日志有效样本数据以及机器学习训练模型，建立异常侦测模型。
可选地，本实施例中，所述样本数据获取单元1101进一步用于以事件的方式从数据源获取关联于用户实体行为的系统操作日志源样本数据。
可选地，本实施例中，所述样本数据获取单元1101进一步用于对从数据源获取到的关联于用户实体行为的系统操作日志源样本数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的系统操作日志源样本数据。
具体地，所述样本数据获取单元1101包括封装子单元1111，所述封装子单元1111用于对从数据源获取到的关联于用户实体行为的系统操作日志源样本数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的系统操作日志源样本数据。
具体地，本实施例中，在进行封装时，配置可选的header以及数据位阵列，所述数据位阵列中存储系统操作日志源样本数据，所述header主要用于系统操作日志源样本数据的上下文扩展。通过这种结构的事件，从而有效地实现了系统操作日志源样本数据的传输，提高了数据传输的效率。
图13为本申请实施例十三中基于UEBA进行异常侦测的装置结构示意图；如图13所示，除了包括上述图7-9所述的单元外，还包括：
样本数据获取单元1101，用于获取关联于用户实体行为的系统操作日志源样本数据；
样本数据解析单元1102，用于根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据；
样本数据分类单元1103，用于按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据；
模型建立单元1104，用于根据所述若干类关键日志有效样本数据以及机器学习训练模型，建立异常侦测模型。
可选地，本实施例中，所述样本数据解析单元1102进一步用于根据所述系统操作日志源样本数据的消息类型，建立多个日志模板；根据建立的多个日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据。
可选地，本实施例中，所述样本数据解析单元1102进一步用于根据所述系统操作日志源样本数据中的模板词和参数词确定消息类型，以及根据确定出的所述消息类型，建立多个日志模板。
具体地，所述样本数据解析单元1102包括消息类型确定子单元1112，以及日志模板建立子单元1122，所述用于根据所述系统操作日志源样本数据中的模板词和参数词确定消息类型，所述日志模板建立子单元1122用于根据确定出的所述消息类型，建立多个日志模板。
具体地，本实施例中，消息类型可以理解为一组消息特征相近的系统操作日志源样本数据,所述系统操作日志源样本数据中的模板词和参数词消息类型其原理简单且易于实现。由于可能存在海量的所述系统操作日志源样本数据，通过模板词和参数词这种方式来确定消息类型，可以有效地建立多个日志模板，便于对海量的所述系统操作日志源样本数据进行解析处理从而快速、准确地得到关键日志样本数据。
图14为本申请实施例十四中基于UEBA进行异常侦测的装置结构示意图；如图14所示，除了包括上述图7-9所述的单元外，还包括：
样本数据获取单元1101，用于获取关联于用户实体行为的系统操作日志源样本数据；
样本数据解析单元1102，用于根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据；
样本数据分类单元1103，用于按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据；
模型建立单元1104，用于根据所述若干类关键日志有效样本数据以及机器学习训练模型，建立异常侦测模型。
可选地，本实施例中，所述样本数据分类单元1103进一步用于按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，所述数据分类维度包括所述定量维度以及所述定性维度。
可选地，本实施例中，所述样本数据分类单元1103进一步用于根据系统操作日志源样本数据的数据类型，建立数据定量维度以及定性维度，所述数据类型为字符型和数值型。
具体地，所述样本数据分类单元1103包括维度确定子单元1113以及数据分类子单元1123，所述维度确定子单元1113用于根据系统操作日志源样本数据的数据类型，建立数据定量维度以及定性维度，所述数据分类子单元1123用于按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据。
本实施例中，比如如地区、性别都是定性维度；如收入、年龄、消费等都是定量维度。本实施例中，通过数据定量维度和定性维度，可以有效地对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，从而使得若干类关键日志有效样本数据的规律更加明显，便于建立准确地异常侦测模型。
图15为本申请实施例十五中电子设备的结构示意图；如图1五所示，所述电子设备包括：存储器1501以及处理器1502，所述存储器上存储有计算机可执行指令，所述处理器用于执行所述计算机可执行指令以执行如下步骤：
实时抓取关联于用户实体行为的系统操作日志源数据；
将实时抓取的系统操作日志源数据输入到异常侦测模型群组中，所述异常侦测模型群组包括多个异常侦测模型；
由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，所述多个具有先后运行逻辑的异常侦测模型按照分布式架构设置在多个后台服务器上。
可选地，在本申请一实施例中，所述处理器执行在由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果的步骤，包括：若所述侦测结果表明所述系统操作日志源数据异常，则生成报警事件。
可选地，在本申请一实施例中，多个所述异常侦测模型具有级联的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述处理器执行由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果的步骤，包括：若上一个异常侦测模型输出表明实时抓取的系统操作日志源数据正常，则由所述上一个异常侦测模型将实时抓取的系统操作日志源数据转发给下一个异常侦测模型对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，多个所述异常侦测模型具有并行的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述处理器执行由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果，包括：多个所述异常侦测模型并行对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
可选地，在本申请一实施例中，所述处理器在执行实时抓取关联于用户实体行为的系统操作日志源数据的步骤之前包括：获取关联于用户实体行为的系统操作日志源样本数据；根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据；按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据；根据所述若干类关键日志有效样本数据以及机器学习训练模型，建立异常侦测模型。
可选地，在本申请一实施例中，所述处理器在执行获取关联于用户实体行为的系统操作日志源样本数据的步骤时，包括：以事件的方式从数据源获取关联于用户实体行为的系统操作日志源样本数据。
可选地，在本申请一实施例中，所述处理器在执行以事件的方式获取关联于用户实体行为的系统操作日志源样本数据的步骤，包括：对从数据源获取到的关联于用户实体行为的系统操作日志源样本数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的系统操作日志源样本数据。
可选地，在本申请一实施例中，所述处理器在执行根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据的步骤，包括：根据所述系统操作日志源样本数据的消息类型，建立多个日志模板；根据建立的多个日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据。
可选地，在本申请一实施例中，所述处理器在执行根据所述系统操作日志源样本数据的消息类型，建立多个日志模板的步骤，包括：
根据所述系统操作日志源样本数据中的模板词和参数词确定消息类型；
根据确定出的所述消息类型，建立多个日志模板。
可选地，在本申请一实施例中，所述处理器在执行按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据的步骤，包括：按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，所述数据分类维度包括所述定量维度以及所述定性维度。
可选地，在本申请一实施例中，所述处理器在执行按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据的步骤，之前包括：根据系统操作日志源样本数据的数据类型，建立数据定量维度以及定性维度，所述数据类型为字符型和数值型。
本申请实施例还提供一种计算机存储介质示意图，所述计算机存储介质上存储有计算机可执行指令，所述计算机可执行指令被执行时实施本申请权利要求任一实施例所述的步骤。
图16为本申请实施例十一中电子设备的硬件结构示意图；如图16所示，该电子设备的硬件结构可以包括：处理器1601，通信接口1602，计算机可读介质 1603和通信总线1604；
其中，处理器1601、通信接口1602、计算机可读介质1603通过通信总线 1604完成相互间的通信；
可选的，通信接口1602可以为通信模块的接口，如GSM模块的接口；
其中，处理器1601具体可以配置为运行存储器上存储的可执行程序，从而执行上述任一方法实施例的所有处理步骤或者其中部分处理步骤。
处理器1501可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块提示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于UEBA进行异常侦测的方法，其特征在于，包括：
实时抓取关联于用户实体行为的系统操作日志源数据；
将实时抓取的系统操作日志源数据输入到异常侦测模型群组中，所述异常侦测模型群组包括多个异常侦测模型；
由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
2.根据权利要求1所述基于UEBA进行异常侦测的方法，其特征在于，所述由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果，包括：若所述侦测结果表明所述系统操作日志源数据异常，则生成报警事件。
3.根据权利要求1所述基于UEBA进行异常侦测的方法，其特征在于，多个所述异常侦测模型具有级联的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果，包括：若上一个异常侦测模型输出表明实时抓取的系统操作日志源数据正常，则由所述上一个异常侦测模型将实时抓取的系统操作日志源数据转发给下一个异常侦测模型对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
4.根据权利要求1所述基于UEBA进行异常侦测的方法，其特征在于，多个所述异常侦测模型具有并行的逻辑处理关系；对应地，所述异常侦测判断策略根据所述级联的逻辑处理关系确定；所述由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果，包括：多个所述异常侦测模型并行对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
5.根据权利要求1-5任一项所述基于UEBA进行异常侦测的方法，实时抓取关联于用户实体行为的系统操作日志源数据之前包括：获取关联于用户实体行为的系统操作日志源样本数据；根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据；按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据；根据所述若干类关键日志有效样本数据以及机器学习训练模型，建立异常侦测模型。
6.根据权利要求6所述基于UEBA进行异常侦测的方法，其特征在于，所述获取关联于用户实体行为的系统操作日志源样本数据，包括：以事件的方式从数据源获取关联于用户实体行为的系统操作日志源样本数据。
7.根据权利要求6所述基于UEBA进行异常侦测的方法，其特征在于，所述根据建立的日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据，包括：根据所述系统操作日志源样本数据的消息类型，建立多个日志模板；根据建立的多个日志模板，对所述系统操作日志源样本数据进行解析处理得到关键日志样本数据。
8.根据权利要求6所述基于UEBA进行异常侦测的方法，其特征在于，所述按照建立的数据分类维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，包括：按照建立的数据定量维度以及定性维度，对所述关键日志样本数据进行分类处理得到若干类关键日志有效样本数据，所述数据分类维度包括所述定量维度以及所述定性维度。
9.一种基于UEBA进行异常侦测的装置，其特征在于，包括：
实时数据抓取单元，用于实时抓取关联于用户实体行为的系统操作日志源数据；
数据输入单元，用于将实时抓取的系统操作日志源数据输入到异常侦测模型群组中，所述异常侦测模型群组包括多个异常侦测模型；
异常判断单元，用于由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
10.一种电子设备，其特征在于，包括：存储器以及处理器，所述存储器上存储有计算机可执行指令，所述处理器用于执行所述计算机可执行指令以执行如下步骤：
实时抓取关联于用户实体行为的系统操作日志源数据；
将实时抓取的系统操作日志源数据输入到异常侦测模型群组中，所述异常侦测模型群组包括多个异常侦测模型；
由所述异常侦测模型群组中的异常侦测模型根据所述异常侦测判断策略对实时抓取的系统操作日志源数据进行异常侦测判断并输出侦测结果。
CN202011325710.3A 2020-11-23 2020-11-23 基于ueba进行异常侦测的方法、装置及相关产品 Pending CN112364286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011325710.3A CN112364286A (zh) 2020-11-23 2020-11-23 基于ueba进行异常侦测的方法、装置及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011325710.3A CN112364286A (zh) 2020-11-23 2020-11-23 基于ueba进行异常侦测的方法、装置及相关产品

Publications (1)

Publication Number Publication Date
CN112364286A true CN112364286A (zh) 2021-02-12

Family

ID=74534373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011325710.3A Pending CN112364286A (zh) 2020-11-23 2020-11-23 基于ueba进行异常侦测的方法、装置及相关产品

Country Status (1)

Country Link
CN (1) CN112364286A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010571A (zh) * 2021-03-12 2021-06-22 北京百度网讯科技有限公司 数据检测方法、装置、电子设备、存储介质和程序产品
CN113923037A (zh) * 2021-10-18 2022-01-11 北京八分量信息科技有限公司 一种基于可信计算的异常检测优化装置、方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108170578A (zh) * 2018-01-08 2018-06-15 武汉斗鱼网络科技有限公司 日志收集方法及装置
CN109508825A (zh) * 2018-11-12 2019-03-22 平安科技（深圳）有限公司 员工行为风险预警方法及相关装置
CN109901991A (zh) * 2019-01-04 2019-06-18 阿里巴巴集团控股有限公司 一种分析异常调用的方法、装置和电子设备
CN110351307A (zh) * 2019-08-14 2019-10-18 杭州安恒信息技术股份有限公司 基于集成学习的异常用户检测方法及系统
CN110928718A (zh) * 2019-11-18 2020-03-27 上海维谛信息科技有限公司 一种基于关联分析的异常处理方法、系统、终端及介质
CN111669379A (zh) * 2020-05-28 2020-09-15 北京天空卫士网络安全技术有限公司 行为异常检测方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108170578A (zh) * 2018-01-08 2018-06-15 武汉斗鱼网络科技有限公司 日志收集方法及装置
CN109508825A (zh) * 2018-11-12 2019-03-22 平安科技（深圳）有限公司 员工行为风险预警方法及相关装置
CN109901991A (zh) * 2019-01-04 2019-06-18 阿里巴巴集团控股有限公司 一种分析异常调用的方法、装置和电子设备
CN110351307A (zh) * 2019-08-14 2019-10-18 杭州安恒信息技术股份有限公司 基于集成学习的异常用户检测方法及系统
CN110928718A (zh) * 2019-11-18 2020-03-27 上海维谛信息科技有限公司 一种基于关联分析的异常处理方法、系统、终端及介质
CN111669379A (zh) * 2020-05-28 2020-09-15 北京天空卫士网络安全技术有限公司 行为异常检测方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010571A (zh) * 2021-03-12 2021-06-22 北京百度网讯科技有限公司 数据检测方法、装置、电子设备、存储介质和程序产品
CN113923037A (zh) * 2021-10-18 2022-01-11 北京八分量信息科技有限公司 一种基于可信计算的异常检测优化装置、方法及系统
CN113923037B (zh) * 2021-10-18 2024-03-26 北京八分量信息科技有限公司 一种基于可信计算的异常检测优化装置、方法及系统

Similar Documents

Publication Publication Date Title
CN107992746B (zh) 恶意行为挖掘方法及装置
CN107545451B (zh) 一种广告推送方法及装置
CN108491720B (zh) 一种应用识别方法、系统以及相关设备
CN111371767B (zh) 恶意账号识别方法、恶意账号识别装置、介质及电子设备
CN111262851A (zh) Ddos攻击检测方法、装置、电子设备及存储介质
CN111813960B (zh) 基于知识图谱的数据安全审计模型装置、方法及终端设备
CN108600172B (zh) 撞库攻击检测方法、装置、设备及计算机可读存储介质
CN112364286A (zh) 基于ueba进行异常侦测的方法、装置及相关产品
CN110222790B (zh) 用户身份识别方法、装置及服务器
CN110222513B (zh) 一种线上活动的异常监测方法、装置及存储介质
US11010687B2 (en) Detecting abusive language using character N-gram features
US11416317B2 (en) Inline categorizing of events
CN110069769A (zh) 应用标签生成方法、装置及存储设备
CN103399957A (zh) 搜索方法、系统、搜索引擎和客户端
CN112507265B (zh) 基于树结构进行异常侦测的方法、装置及相关产品
CN115204889A (zh) 文本处理方法、装置、计算机设备及存储介质
CN114564947A (zh) 轨道交通信号故障运维方法、装置及电子设备
CN112364285B (zh) 基于ueba建立异常侦测模型的方法、装置及相关产品
CN112434245A (zh) 基于ueba进行异常行为事件的判断方法、装置及相关产品
Wu et al. A dynamic information dissemination model based on implicit link and social influence
CN109376287B (zh) 房产图谱构建方法、装置、计算机设备及存储介质
CN112333085B (zh) 社交方法和电子设备
CN109829043A (zh) 词性确认方法、装置、电子设备及存储介质
CN114915434A (zh) 一种网络代理检测方法、装置、存储介质及计算机设备
CN113420230A (zh) 基于群聊的匹配咨询推送方法、相关装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination