CN111913860B - 一种操作行为分析方法及装置 - Google Patents
一种操作行为分析方法及装置 Download PDFInfo
- Publication number
- CN111913860B CN111913860B CN202010680955.1A CN202010680955A CN111913860B CN 111913860 B CN111913860 B CN 111913860B CN 202010680955 A CN202010680955 A CN 202010680955A CN 111913860 B CN111913860 B CN 111913860B
- Authority
- CN
- China
- Prior art keywords
- data
- behavior
- analysis
- abnormal
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 80
- 230000002159 abnormal effect Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 38
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 20
- 238000012098 association analyses Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 25
- 230000005856 abnormality Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 abstract description 170
- 238000010801 machine learning Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000001824 photoionisation detection Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010219 correlation analysis Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000004138 cluster model Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种操作行为分析方法及装置，该方法对海量日志数信息进行自主分析，通过机器学习得到用户行为特征库，并利用用户行为特征库实现自动识别疑似异常的操作行为数据，例如，涉及敏感数据的操作和疑似违规行为。对于疑似异常的操作行为数据进行数据下钻和关联分析得到最终的异常行为数据。在行为分析方式上通过大数据技术采集海量日志信息进行自主分析和探索数据边界，简化人员操作，可以提高细节的用户行为把控及安全风险发现能力。
Description
技术领域
本发明属于计算机技术领域，尤其涉及一种操作行为分析方法及装置。
背景技术
随着信息化发展，某些业务系统每天产生海量的信息数据，其中包含大量个人隐私数据、内部安全数据等敏感数据，如何实现对敏感数据的安全管控与保护，在大数据时代成为数据安全和个人隐私保护亟需解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种操作行为分析方法及装置，以实现对敏感数据的安全管控与保护，公开的具体技术方案如下：
一方面，本申请提供了一种操作行为分析方法，包括：
从业务系统的日志数据中获取待分析的操作行为数据；
利用用户行为特征库中各行为特征与所述待分析的操作行为数据进行对比分析得到疑似异常分析结果；
针对各疑似异常分析结果，对疑似异常的操作行为数据进行数据下钻和关联分析，得到最终的异常行为数据。
另一方面，本申请还提供了一种操作行为分析装置，包括：
获取模块，用于从业务系统的日志数据中获取待分析的操作行为数据；
行为分析模块，用于利用用户行为特征库中各行为特征与所述待分析的操作行为数据进行对比分析得到疑似异常分析结果；
第一异常分析模块，用于针对各疑似异常分析结果，对疑似异常的操作行为数据进行数据下钻和关联分析，得到最终的异常行为数据。
本申请提供的操作行为分析方法，可以实现对海量日志数信息进行自主分析，通过机器学习得到用户行为特征库，并利用用户行为特征库实现自动识别疑似异常的操作行为数据，例如，涉及敏感数据的操作和疑似违规行为。对于疑似异常的操作行为数据进行数据下钻和关联分析得到最终的异常行为数据。在行为分析方式上通过大数据技术采集海量日志信息进行自主分析和探索数据边界，简化人员操作，可以提高细节的用户行为把控及安全风险发现能力。
附图说明
结合附图并参考以下具体实施方式，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1是本申请实施例提供的一种操作行为分析方法的流程图；
图2是本申请实施例提供的一种日志处理过程的流程图；
图3是本申请实施例提供的一种构建用户行为特征库的流程图；
图4是本申请实施例提供的一种主动识别异常行为过程的流程图；
图5是本申请实施例提供的一种检索与分析过程的流程图；
图6是本申请实施例提供的一种操作行为分析装置的结构示意图；
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本申请中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
请参见图1，示出了本申请实施例提供的一种操作行为分析方法的流程图，该方法应用于服务器中，用于分析系统中的用户操作并识别出异常的操作行为。如图1所示，该方法主要包括以下步骤：
S110，从业务系统的日志数据中获取待分析的操作行为数据。
从用户行为原始库中读取操作行为日志数据，并对读取的操作行为日志数据进行解析得到操作行为数据，并将操作行为数据存储至数据库中。
请参见图2，示出了本申请实施例提供的一种日志处理过程的示意图。
如图2所示，读取用户行为原始库分布式存储日志数据表(HBASE)中的日志数据，其中，读取方式可以为编译的MapReduce、Python或Spark Streaming程序。将发送和接收两种类型的日志数据分别存储至不同的HDFS目录中。
然后，分别建立发送和接收的数据仓库处理表(如，图2中的HIVE外联表)，将日志数据按指定时间段分别加载到对应的数据仓库处理表中，例如，将发送型数据存储至只存储发送型数据的HIVE外联表(即，发送型数据表)中；将回复型数据(即，上述的接收型数据)存储至只存储有回复型数据的HIVE外联表(即接收型数据表)中。将发送和接收的数据仓库处理表根据表内的预设字段进行关联，形成数据处理基础表(如图2中的HIVE基础表)。最后，针对数据处理基础表中的数据进行解析，将解析结果存入用户行为基础库中，用户行为基础库中的数据即待分析的操作行为数据。
在一种可能的实现方式中，用户行为基础库可以采用基于HIVE数据库，在HIVE中按时间进行分区，每天为一个增量分区，存储指定时间内(如，400天)的历史数据。
在本申请的一个实施例中，只有获得每条日志数据的正确指令命和输入输出内容，才可能进一步进行敏感行为识别与预警，因此，对数据进行的解析包括：对日志的多种格式进行兼容处理；过滤无效字段后解析得到指令名，以及该指令对应的输入输出内容。
例如，针对本申请所应用的系统所特有的主机翻页指令，可以利用HiveStreaming流式处理框架对翻页指令进行处理，通过按照日志输入的时间进行排序，从而将每一条翻页指令记录都替换为真正的指令。
S120，将待分析的操作行为数据与各行为特征进行对比分析，得到疑似异常分析结果。
对业务系统中的日志数据进行收集和解析后，根据不同应用场景的数据需求，设计时间、地域、用户、操作类型等多个维度的行为指标，针对每一条操作行为数据，从上述的各个维度进行分析，建立用户行为特征库。
此外，还可以定期根据新增的日志数据进行行为特征筛选和转换，以实现动态更新用户行为特征库。
基于用户行为特征库，对新增的操作行为数据进行自动识别和分类，确定异常行为模式。
在本申请的一个实施例中，用户可能存在偶然无意识的一次操作行为违规，因此，可以设置异常行为次数阈值，如果用户在较短时间内出现的异常行为次数高于该阈值，则触发系统报警。该阈值可以根据实际应用需求设定，本申请对此不做限定。
此外，根据业务的特点，构建描述该业务的指令集，并指令集内部的各指令按顺序进行排列得到一串有规则的指令，对得到的一串有规则的指令进行机器学习聚类分析，得到某个岗位对应的指令特征，从而实现识别固定岗位异常指令的效果。
S130，针对各疑似异常分析结果，对疑似异常的操作行为数据进行数据下钻和关联分析，得到最终的异常行为数据。
对于自动识别得到的疑似异常分析结果，可以继续进行数据下钻和关联分析确认该疑似异常的操作行为数据是否异常。
例如，对于疑似异常的操作行为数据，对于该操作行为数据中的指令，点击该指令后，需要显示该指令的具体内容。又如，对于该操作行为数据中的账号(PID)，点击PID后需要展示该PID的特征，包括该PID的画像、时间与频率分布、目前使用状况、与该PID操作过程中的前预设数量个(如，50个)及后预设数量个(如，50个)操作并按时间先后顺序输出。
根据数据下钻得到的各类数据继续判断该操作行为数据是否异常，例如，将该PID当前的操作行为数据与PID画像和历史状态进行比对，判断当前的操作行为数据是否存在异常；又如，通过该PID前后50个操作的列表，确认该PID正在执行的操作是什么，是否存在异常。
例如，对于疑似异常的操作行为数据，对于指令输入输出内容进行相关性分析，确定是否属于异常行为。
本实施例提供的操作行为分析方法，可以实现对海量日志数信息进行自主分析，通过机器学习得到用户行为特征库，并利用用户行为特征库实现自动识别疑似异常的操作行为数据，例如，涉及敏感数据的操作和疑似违规行为。对于疑似异常的操作行为数据进行数据下钻和关联分析得到最终的异常行为数据。在行为分析方式上通过大数据技术采集海量日志信息进行自主分析和探索数据边界，简化人员操作，可以提高细节的用户行为把控及安全风险发现能力。
请参见图3，示出了本申请实施例提供的一种构建用户行为特征库的流程图。
如图3所示，从用户行为基础库(即，图2最终得到的用户行为基础库)中读取用户行为数据，并对用户行为数据进行用户行为特征统计，使用描述性统计分析与图表分析，描述每个账号(PID)的基本特征，形成用户行为指标库，该用户行为指标库中是个体用户特性，例如，个体PID操作行为的时间分布、个体PID指令分布、个体PID操作间隔分布、个体PID操作频率分布。
然后，将个体PID特征输入至用户行为机器学习模型，使用聚类方法(如，K-means聚类)对各个PID的行为指标进行聚类，聚类结束后分析每一类用户的共有且突出的行为特征，然后，为该类用户打上行为特征标签，得到群体用户特征，例如，群体PID时间聚类、群体PID指令聚类、群体PID操作间隔聚类、群体PID操作频率聚类等。使用聚类模型能够从不同维度区分不同PID。
上述的个体用户行为特征和群体用户行为特征形成了用户行为特征库。得到该用户行为特征库后，可以利用该用户行为特征库分析新增的操作行为数据是否可能存在异常。
下面结合图4介绍利用用户行为特征库主动识别异常行为的过程，对于日志中新增的操作行为数据，首先按照图2所示的处理流程进行数据预处理，得到待分析的操作行为数据，与预先建立的用户行为特征库中的各维度的行为特征(如，用户行为基础属性特征、用户行为个体特征、用户行为群体特征)进行比较，通过异常分析规则分析新增的操作行为数据的异常波动，实现主动异常行为识别。
请参见图5，示出了本申请实施例提供的一种检索与分析过程的流程图。
需要说明的是，本实施例介绍的检索与分析过程可以针对主动异常识别得到的疑似异常的操作行为数据进行进一步的分析识别。也可以针对用户全文检索得到的全文检索结果(可能存在异常的操作行为数据)进行进一步的分析和识别。
下面将针对全文检索结果的分析、识别进行介绍。
如图5所示，采集操作行为数据然后存入全文检索数据库(如ES索引入库)。全文检索支持多指标的查询，而且对查询结果具有数据下钻功能。
通过筛选条件从ES索引数据库中搜索得到目标数据，然后对目标数据进行下钻，得到特别数据的特征、历史使用情况，当前使用情况，使用逻辑等，进而判断该操作是否异常。
例如，通过关键字查询，筛选出高频PID，对高频PID进行数据下钻和频率分析，完成预定义的用户行为分析，例如，多条件查询、聚合统计、上下数据关联分析、迭代操作。
其中，迭代操作是指通过嵌套的查询条件，进行迭代查询操作，每一步查询基于上一步查询的输出结果，将多个步骤的指标进行保存计算，将有意义的操作步骤进行保存，实现自定义用户行为迭代分析。
例如，筛选条件可以包括：时间、关键字、PID、指令、客户分类、应用系统等。筛选结果包括账号、PID、时间、指令、预设字段(如，TXNID交易流水号)。
其中，Elasticsearch(ES)是一个分布式可扩展的实时搜索和分析引擎，一个建立在全文搜索引擎Apache Lucene(TM)基础上的搜索引擎。它不仅包括全文搜索功能，还可以进行以下工作：
(1)分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索；
(2)实时分析的分布式搜索引擎；
(3)可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。
本申请中涉及海量的日志信息进行分析和搜索，采用ES索引数据库能够实现在海量数据中快速搜索。
此外，对于全文检索到的目标数据，利用MPP分析数据库进行用户行为多维度分析，得到最终的异常行为识别。
检索与分析过程结合全文检索、下钻、相关性分析，对异常行为进行识别及预警，识别过程主要包括以下几个方面的内容：①建立该PID的历史画像，确认该PID的通常状态，如果该PID当前的行为状态与通常状态不一致，认为该PID可能存在异常行为；②全文检索，查找异常PID；③通过该PID的前后操作列表，确认该PID正在执行的业务；④描述该PID目前行为的特点与分步，对比历史状态，确认该PID是否异常；⑤与指令输入输出内容进行相关性分析，确定是否属于违规操作。最后，综合上述情况确定该PID的操作行为是否异常，是否进行预警。
此外，可以使用表格显示当天识别出的异常行为，列出当前识别的异常行为的相关信息，如，序号、异常类型、行为、操作信息、评分、次数等；其中，异常类型包括岗位匹配等；行为包括航线运力、票面查询等。操作信息可以包括PID、时间、账号、公司属性等。
此外，该操作行为分析方法运行的平台的用户管理和角色权限可以通过分用户、分功能权限、部门权限、数据权限的管理手段，全面保障数据的安全性，实现数据保密分级，按级开放、按级使用。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本申请实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。
应当理解，本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。
相应于上述的操作行为分析方法实施例，本申请还提供了操作行为分析装置实施例。
请参见图6，示出了本申请实施例提供的一种操作行为分析装置的结构示意图，该装置可以包括：获取模块110、行为分析模块120和第一异常分析模块130；
获取模块110，用于从业务系统的日志数据中获取待分析的操作行为数据。
在本申请一种可能的实现方式中，获取模块110具体用于：
从用户行为原始库中获取操作行为日志数据；
将操作行为日志数据中的发送日志数据存储至发送型数据表中，以及，将接收日志数据存储至接收型数据表中；
将发送型数据表中的数据及接收型数据表中的数据，利用预设字段进行关联，得到数据处理基础表，其中，预设字段为同一请求及对应的响应数据中都包含的字段；
对数据处理基础表中的数据进行解析得到待分析的操作行为数据。
在本申请一种可能的实现方式中，获取模块110用于对数据处理基础表中的数据进行解析得到待分析的操作行为数据时，具体用于：
对数据处理基础表中包含的不同格式的数据进行格式兼容处理；
过滤数据处理基础表中数据包含的无效字段，并解析过滤后的数据对应的指令名及输入输出正文。
行为分析模块120，用于利用用户行为特征库中各行为特征与待分析的操作行为数据进行对比分析得到疑似异常分析结果。
在本申请一种可能的实现方式中，行为分析模块120包括：
行为特征获取子模块，用于从待分析的操作行为数据中获取行为特征数据；
特征分析子模块，用于将行为特征数据与行为特征中的各行为特征进行对比分析，得到行为特征数据的异常分值；
确定子模块，用于当异常分值大于设定分值时，确定操作行为数据为疑似异常数据。
在本申请另一种可能的实现方式中，建立用户行为特征库的过程，包括：
获取各个用户对应的历史操作行为数据，统计各历史操作行为数据中各个维度的数据，得到各个用户对应的个体行为指标特征；
对行为指标数据库中的指标数据进行聚类处理，得到各用户所属群体的群体行为指标特征；
还可以包括：获取特定业务的指令集，并确定指令集内各指令的执行顺序，得到岗位异常指令识别模型。
第一异常分析模块130，用于针对各疑似异常分析结果，对疑似异常的操作行为数据进行数据下钻和关联分析，得到最终的异常行为数据。
在本申请一种可能的实现方式中，第一异常分析模块130具体用于：
对于任一疑似异常的操作行为数据，获取该操作行为数据对应的账号；
获取该账号对应的当前行为特点与分步情况，并与该账号的历史行为状态进行比较，判断该账号的当前行为是否异常；
获取该操作行为数据对应的操作指令，以及，获取与操作指令的输入输出内容相关联的内容，依据相关联的内容进行异常分析。
此外，在本申请的另一个实施例中，如图6所示，操作行为分析装置还包括第二异常分析模块140。
第二异常分析模块140，用于从待分析的操作行为数据中筛选出高频用户，并对高频用户进行数据下钻和关联分析，并利用用户行为特征库中的各行为特征判定高频用户是否存在异常操作；
其中，高频用户包括出现频次高于频次阈值、操作时间间隔高于间隔阈值和指令分布特征高于分布阈值中至少一项的用户。
本实施提供的操作行为分析装置，对海量日志数信息进行自主分析，通过机器学习得到用户行为特征库，并利用用户行为特征库实现自动识别疑似异常的操作行为数据，例如，涉及敏感数据的操作和疑似违规行为。对于疑似异常的操作行为数据进行数据下钻和关联分析得到最终的异常行为数据。在行为分析方式上通过大数据技术采集海量日志信息进行自主分析和探索数据边界，简化人员操作，可以提高细节的用户行为把控及安全风险发现能力。
另一方面，本申请还提供了一种电子设备，如图7所示，该电子设备可以包括处理器210、存储器220、通信接口230、输入单元240、显示器250和通信总线260。
处理器210、存储器220、通信接口230、输入单元240、显示器250、均通过通信总线260完成相互间的通信。
在本申请实施例中，该处理器210，可以为中央处理器(Central ProcessingUnit，CPU)，特定应用集成电路，数字信号处理器、现成可编程门阵列或者其他可编程逻辑器件等。
存储器220中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令。处理器210可以调用存储器220中存储的程序，以实现上述任意一种操作行为分析方法。
在一种可能的实现方式中，该存储器220可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、以及至少一个功能(比如声音播放功能、图像播放功能等)所需的应用程序等；存储数据区可存储根据计算机的使用过程中所创建的数据，比如，日志数据、用户访问数据等等。
此外，存储器220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
该通信接口230可以为通信模块的接口，如GSM模块的接口。
本申请还可以包括显示器240和输入单元250等等。
当然，图7所示的电子设备的结构并不构成对本申请实施例中应用服务器的限定，在实际应用中应用服务器可以包括比图7所示的更多或更少的部件，或者组合某些部件。
本申请实施例中的电子设备可以包括但不限于服务器，例如，服务器集群或一台独立的服务器。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
另一方面，本申请还提供了一种电子设备可执行的存储介质，该存储介质中存储有程序，该程序由电子设备执行时使得电子设备执行上述任一种操作行为分析方法。
需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
需要说明的是，本说明书中的各个实施例记载的技术特征可以相互替代或组合，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请各实施例中的装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本申请的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (6)
1.一种操作行为分析方法，其特征在于，包括：
从业务系统的日志数据中获取待分析的操作行为数据；
利用用户行为特征库中各行为特征与所述待分析的操作行为数据进行对比分析得到疑似异常分析结果；
针对各疑似异常分析结果，对疑似异常的操作行为数据进行数据下钻和关联分析，得到最终的异常行为数据；
其中，所述从业务系统的日志数据中获取待分析的操作行为数据，包括：从用户行为原始库中获取操作行为日志数据；将所述操作行为日志数据中的发送日志数据存储至发送型数据表中，以及，将接收日志数据存储至接收型数据表中；将所述发送型数据表中的数据及所述接收型数据表中的数据，利用预设字段进行关联，得到数据处理基础表，其中，所述预设字段为同一请求及对应的响应数据中都包含的字段；对所述数据处理基础表中的数据进行解析得到所述待分析的操作行为数据；
所述利用用户行为特征库中各行为特征与所述待分析的操作行为数据进行对比分析得到疑似异常分析结果，包括：从所述待分析的操作行为数据中获取行为特征数据；将所述行为特征数据与所述用户行为特征库中的各行为特征进行对比分析，得到所述行为特征数据的异常分值，其中，所述用户行为特征库包括各用户对应的个体行为指标特征和各用户所属群体的群体行为指标特征；当所述异常分值大于设定分值时，确定所述操作行为数据为疑似异常数据；对于任一疑似异常的操作行为数据，获取该操作行为数据对应的账号；
所述针对各疑似异常分析结果，对疑似异常的操作行为数据进行数据下钻和关联分析，得到最终的异常行为数据，包括：获取该账号对应的当前行为特点与分步情况，并与该账号的历史行为状态进行比较，判断该账号的当前行为是否异常；获取该操作行为数据对应的操作指令，以及，获取与所述操作指令的输入输出内容相关联的内容，依据所述相关联的内容进行异常分析。
2.根据权利要求1所述的方法，其特征在于，对所述数据处理基础表中的数据进行解析得到所述待分析的操作行为数据，包括：
对所述数据处理基础表中包含的不同格式的数据进行格式兼容处理；
过滤所述数据处理基础表中数据包含的无效字段，并解析过滤后的数据对应的指令名及输入输出正文。
3.根据权利要求1所述的方法，其特征在于，建立所述用户行为特征库的过程，包括：
获取各个用户对应的历史操作行为数据，统计各历史操作行为数据中各个维度的数据，得到各个用户对应的个体行为指标特征；
对所述行为指标数据库中的指标数据进行聚类处理，得到各用户所属群体的群体行为指标特征。
4.根据权利要求1所述的方法，其特征在于，建立所述用户行为特征库的过程，还包括：
获取特定业务的指令集，并确定所述指令集内各指令的执行顺序，得到岗位异常指令识别模型。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从所述待分析的操作行为数据中筛选出高频用户，并对所述高频用户进行数据下钻和关联分析，并利用用户行为特征库中的各行为特征判定所述高频用户是否存在异常操作；
其中，所述高频用户包括出现频次高于频次阈值、操作时间间隔高于间隔阈值和指令分布特征高于分布阈值中至少一项的用户。
6.一种操作行为分析装置，其特征在于，包括：
获取模块，用于从业务系统的日志数据中获取待分析的操作行为数据；
行为分析模块，用于利用用户行为特征库中各行为特征与所述待分析的操作行为数据进行对比分析得到疑似异常分析结果；
第一异常分析模块，用于针对各疑似异常分析结果，对疑似异常的操作行为数据进行数据下钻和关联分析，得到最终的异常行为数据；
其中，所述获取模块具体用于：从用户行为原始库中获取操作行为日志数据；将操作行为日志数据中的发送日志数据存储至发送型数据表中，以及，将接收日志数据存储至接收型数据表中；将发送型数据表中的数据及接收型数据表中的数据，利用预设字段进行关联，得到数据处理基础表，其中，预设字段为同一请求及对应的响应数据中都包含的字段；对数据处理基础表中的数据进行解析得到待分析的操作行为数据；
所述行为分析模块包括：行为特征获取子模块，用于从所述待分析的操作行为数据中获取行为特征数据；特征分析子模块，用于将所述行为特征数据与所述用户行为特征库中的各行为特征进行对比分析，得到所述行为特征数据的异常分值，其中，所述用户行为特征库包括各用户对应的个体行为指标特征和各用户所属群体的群体行为指标特征；确定子模块，用于当所述异常分值大于设定分值时，确定所述操作行为数据为疑似异常数据；
所述第一异常分析模块具体用于：对于任一疑似异常的操作行为数据，获取该操作行为数据对应的账号；获取该账号对应的当前行为特点与分步情况，并与该账号的历史行为状态进行比较，判断该账号的当前行为是否异常；获取该操作行为数据对应的操作指令，以及，获取与操作指令的输入输出内容相关联的内容，依据相关联的内容进行异常分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010680955.1A CN111913860B (zh) | 2020-07-15 | 2020-07-15 | 一种操作行为分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010680955.1A CN111913860B (zh) | 2020-07-15 | 2020-07-15 | 一种操作行为分析方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111913860A CN111913860A (zh) | 2020-11-10 |
| CN111913860B true CN111913860B (zh) | 2024-02-27 |
Family
ID=73281190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010680955.1A Active CN111913860B (zh) | 2020-07-15 | 2020-07-15 | 一种操作行为分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111913860B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115022083B (zh) * | 2022-07-12 | 2024-05-10 | 中国人民银行清算总中心 | 一种异常定界方法和装置 |
| CN115439928A (zh) * | 2022-08-12 | 2022-12-06 | 中国银联股份有限公司 | 一种操作行为识别方法及装置 |
| CN116800515A (zh) * | 2023-07-10 | 2023-09-22 | 福建省远顺智能科技有限公司 | 一种基于人工智能的工业互联网平台安全维护系统 |
| CN117220992B (zh) * | 2023-10-12 | 2024-05-10 | 上海佑瞻智能科技有限公司 | 一种支持商用密码算法的云安全管理监控方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120100146A (ko) * | 2011-03-03 | 2012-09-12 | (주)디지털다임 | 스마트폰 어플리케이션을 이용한 사용자 행동분석 시스템 및 방법 |
| CN107566163A (zh) * | 2017-08-10 | 2018-01-09 | 北京奇安信科技有限公司 | 一种用户行为分析关联的告警方法及装置 |
| CN109687991A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技（深圳）有限公司 | 用户行为识别方法、装置、设备及存储介质 |
| CN109918279A (zh) * | 2019-01-24 | 2019-06-21 | 平安科技（深圳）有限公司 | 电子装置、基于日志数据识别用户异常操作的方法及存储介质 |
| CN110868403A (zh) * | 2019-10-29 | 2020-03-06 | 泰康保险集团股份有限公司 | 一种识别高级持续性攻击apt的方法及设备 |
| CN111125042A (zh) * | 2019-11-13 | 2020-05-08 | 中国建设银行股份有限公司 | 一种确定风险操作事件的方法和装置 |
-
2020
- 2020-07-15 CN CN202010680955.1A patent/CN111913860B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120100146A (ko) * | 2011-03-03 | 2012-09-12 | (주)디지털다임 | 스마트폰 어플리케이션을 이용한 사용자 행동분석 시스템 및 방법 |
| CN107566163A (zh) * | 2017-08-10 | 2018-01-09 | 北京奇安信科技有限公司 | 一种用户行为分析关联的告警方法及装置 |
| CN109687991A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技（深圳）有限公司 | 用户行为识别方法、装置、设备及存储介质 |
| CN109918279A (zh) * | 2019-01-24 | 2019-06-21 | 平安科技（深圳）有限公司 | 电子装置、基于日志数据识别用户异常操作的方法及存储介质 |
| CN110868403A (zh) * | 2019-10-29 | 2020-03-06 | 泰康保险集团股份有限公司 | 一种识别高级持续性攻击apt的方法及设备 |
| CN111125042A (zh) * | 2019-11-13 | 2020-05-08 | 中国建设银行股份有限公司 | 一种确定风险操作事件的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111913860A (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111913860B (zh) | 一种操作行为分析方法及装置 | |
| US11449562B2 (en) | Enterprise data processing | |
| US9418144B2 (en) | Similar document detection and electronic discovery | |
| US11308095B1 (en) | Systems and methods for tracking sensitive data in a big data environment | |
| US20020038430A1 (en) | System and method of data collection, processing, analysis, and annotation for monitoring cyber-threats and the notification thereof to subscribers | |
| CA2919878C (en) | Refining search query results | |
| US20180191759A1 (en) | Systems and methods for modeling and monitoring data access behavior | |
| US20180025061A1 (en) | Bootstrapping the data lake and glossaries with 'dataset joins' metadata from existing application patterns | |
| CN109388637A (zh) | 数据仓库信息处理方法、装置、系统、介质 | |
| CN112000773B (zh) | 基于搜索引擎技术的数据关联关系挖掘方法及应用 | |
| US20180089304A1 (en) | Generating parsing rules for log messages | |
| CN110674360B (zh) | 一种用于数据的溯源方法和系统 | |
| CN105760418B (zh) | 用于对关系数据库表进行交叉列搜索的方法和系统 | |
| EP3198489A1 (en) | Guided data exploration | |
| US9984108B2 (en) | Database joins using uncertain criteria | |
| US10346393B2 (en) | Automatic enumeration of data analysis options and rapid analysis of statistical models | |
| CN107609020B (zh) | 一种基于标注的日志分类的方法和装置 | |
| Bernaschi et al. | Traffic data: exploratory data analysis with Apache Accumulo | |
| CN114254081B (zh) | 企业大数据搜索系统、方法及电子设备 | |
| CN116707834B (zh) | 一种基于云存储的分布式大数据取证与分析平台 | |
| CN113505172B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN110019109B (zh) | 用于处理数据仓库数据的方法及装置 | |
| CN116894022A (zh) | 利用结构化审计日志来提高数据库审计的准确性和效率 | |
| CN115687284A (zh) | 信息处理方法、装置、设备及存储介质 | |
| Zhao et al. | Discovering anomalies and root causes in applications via relevant fields analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |