CN105653427B - 基于行为异常检测的日志监控方法 - Google Patents
基于行为异常检测的日志监控方法 Download PDFInfo
- Publication number
- CN105653427B CN105653427B CN201610125901.2A CN201610125901A CN105653427B CN 105653427 B CN105653427 B CN 105653427B CN 201610125901 A CN201610125901 A CN 201610125901A CN 105653427 B CN105653427 B CN 105653427B
- Authority
- CN
- China
- Prior art keywords
- log
- behavior
- sequence
- frequency
- subsequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
- G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/865—Monitoring of software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种基于行为异常检测的日志监控方法,包括日志预处理步骤和日志异常检测步骤;所述日志预处理步骤为统一日志结构并将日志进行聚类处理;所述异常检测步骤为根据日志聚类结果将日志流转化为行为序列,生成行为模式,获得实时日志流的异常指数;比较异常指数与异常阈值的大小,根据比较结果决定是否发出异常预警。本发明中的方法从日志类型特征出发,分析不同类型的日志产生规律,通过日志信息聚类的方式解决数据量过大的问题,从而实现对日志内容的实时有效分析,且便于实现数据处理的自动化,具有很高的通用性,异常检测成功率高。
Description
技术领域
本发明涉及软件监控技术领域,具体地,涉及一种基于行为异常检测的日志监控方法。
背景技术
如今的软件系统规模越来越庞大,结构越来越复杂,异常和错误的发生变得难以避免。目前一般有两种办法避免软件异常:一是在开发过程中做好软件异常的预防,包括良好的编程习惯,结构化、科学的软件开发流程,以及大量必不可少的单元测试、端到端测试等等;二是在系统运行过程中使用监控系统对软件状态进行实时监控,及时检测到已经发生或即将发生的异常行为,为采取对应措施留出宝贵时间。
日志监控是对软件系统运行中产生的各类日志进行采集、过滤、存储、分析、检测异常的一系列过程,是软件监控系统中的重要组成部分。通过对日志进行不同角度的分析,可以达到管理资源、检测入侵行为和软件异常、控制事务状态、进行事件取证和日志审计等目的。
已有的方案更多的是把注意力放在点异常(point anomaly)上,对日志分析来说即是指单独的一条或一段日志记录出现异常。为了进一步提高预测的准确度,在本专利中,我们引入了行为异常(behavior anomaly)这个概念。行为异常是系统发生错误或工作负载发生变化时表现出的重要特征,可以通过检测日志流中发生的行为异常来判断系统状态。
当前日志分析技术面临着一些挑战,主要表现在:
1)日志数量巨大
如今的大型网站和软件系统,其规模和复杂度都达到了前所未有的程度。考虑到日志产生的速率、处理每条日志所需要的时间以及硬件开销,现有分析技术很难实现对日志内容的实时有效分析。
2)日志结构不固定
日志不遵循特定的格式,有效负载(payload)部分仍然是由程序员手动编写的,并且可能产生不一致,给自动化处理带来不便。
3)日志系统千差万别
面向不同行业的不同业务,通用监控系统存在异常检测准确率不高。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于行为异常检测的日志监控方法。
根据本发明提供的基于行为异常检测的日志监控方法,包括如下步骤:
日志预处理步骤:统一日志结构并将日志进行聚类处理;
日志异常检测步骤:根据日志聚类结果将日志流转化为行为序列,生成行为模式,获得实时日志流的异常指数。
优选地,所述日志预处理步骤包括日志正规化步骤和日志信息聚类步骤。
优选地,日志正规化步骤包括:
步骤A1:重排不规范日志记录,具体地,去除冗余字符,把跨越多行的记录调整为一行;
步骤A2:将日志级别转化为用数字表示,即为每个日志级别赋了一个数字值;
步骤A3:将日志内容去参数化,把日志中的数值参数替换为用占位符表示,统一日志结构。
优选地,所述日志信息聚类步骤包括:
步骤B1:使用基于全连接的凝聚层次聚类方法,把日志归类为不同类型;
步骤B2:在相似度定义方面,使用两条日志记录的编辑距离和日志级别距离作为距离定义标准;
编辑距离是指在两个字符串之间通过字符的插入、删除或替换操作,把一个字符串转换成另外一个字符串所需的最少编辑次数;
日志级别距离:是指两条日志的日志级别所赋数值差的绝对值。
优选地,所述日志异常检测方法包括:日志流转换为行为序列步骤、生成行为模式步骤、计算实时日志流异常指数步骤。
优选地,所述日志流转换为行为序列步骤包括:
步骤C1:根据聚类结果,为每一个日志类型赋一个类型号;
步骤C2:构建日志训练数据集,并把日志训练数据集转化为由时间戳和类型号组成的序列;
步骤C3:给定一个时间间隔,统计每个类型号在时间间隔中的出现次数,得到多个频率序列,即行为序列,其中每个序列对应一个类型。
优选地,所述生成行为模式步骤包括:
步骤D1:令行为序列集为Ti,i∈[1,N],Ti表示第i个行为序列即频率序列,N为日志类型数;其中表示日志类型i在第im个时间单位的日志频率,m为序列长度;
步骤D2:定义长度k的滑动窗口,提取长度m的时间序列Ti中所有的频率子序列:j∈[1,m-k+1],其中表示类型i的第j个频率子序列,表示日志频率,Si表示类型i包含的行为序列集,表示每一个频率子序列,即行为子序列;
步骤D3:取欧氏距离作为两条频率子序列的距离,对相同频率子序列进行统计,把不同类型子序列的形状特征及出现频率作为该类型序列的行为模式;将由子序列集Si得到的行为模式集记为 代表日志类型i的行为模式集中的每一个行为模式;
步骤D4:以子序列出现频率的倒数作为行为模式的异常值,记作其中表示日志类型i的第j个行为模式。
优选地,所述计算实时日志流异常指数步骤包括:
步骤E1:根据给定单位时间间隔和长为k的滑动窗口,实时截取最近k个单位时间的日志序列L,并根据不同日志类型把日志序列拆分成N个日志子序列,记作L={l1,l2...lN},其中每一个元素li表示一个日志子序列,对应一个日志类型;
步骤E2:把L转化为频率序列集,即行为序列集,记作C={c1,c2…cN},每个行为序列ci对应一个行为模式集Pi,其中i∈[1,N];
步骤E3:日志子序列li的异常指数由ci和相似度最高的行为模式共同决定:
得到异常指数计算公式如下:
式中:AnomalyScore(li)表示日志子序列li的异常指数,AnomalyScore(L)表示当前日志流的日常指数,β是平衡因子,表示行为序列ci和行为模式的距离,表示行为序列ci与对应行为模式集Pi中行为模式距离的最小值,为最邻近的行为模式;
步骤E4:比较异常指数与异常阈值的大小,根据比较结果决定是否发出异常预警;所述异常阈值是由专家评估和训练集测试共同得到的异常指数的阈值,当异常指数大于等于异常阈值时,发出异常预警;当异常指数小于异常阈值时,输出异常值。
与现有技术相比,本发明具有如下的有益效果:
1、本发明提供的基于行为异常检测的日志监控方法从日志类型特征出发,分析不同类型的日志产生规律,通过日志信息聚类的方式解决数据量过大的问题,从而实现对日志内容的实时有效分析。
2、本发明提供的基于行为异常检测的日志监控方法,通过数据正规化的方法解决日志结构不固定的问题,便于实现数据处理的自动化。
3、本发明提供的基于行为异常检测的日志监控方法与传统的基于语义的分析方法不同,从日志数据的输出行为特征出发,通过分析行为模式检测异常日志,因此具有很高的通用性。
4、本发明提供的基于行为异常检测的日志监控方法通过日志正规化和日志聚类对数据进行预处理,提出的聚类相似度定义和剪枝策略提高了聚类准确率,优化了聚类粒度;此外,还利用了日志流的行为特征,提高异常检测成功率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为根据本发明的监控方案实现的监控系统整体框架示意图;
图2为日志行为模式的训练流程图;
图3为日志异常检测流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的基于行为异常检测的日志监控方法,大体分为两步:日志数据预处理和日志异常检测。
预处理技术包括日志正规化和日志信息聚类两个步骤。首先通过日志正规化统一日志格式并对日志去参数化,经过去参数化后,拥有不同内容的日志种类数量大大约简;然后通过层次聚类算法把日志划分为不同类型。传统的日志聚类是为了发现聚类结果中的离群点,据此进行异常检测,本发明是为了挖掘不同类型日志的行为模式。以往的日志异常检测主要把注意力放在频率本身,通过频率的期望和方差等统计规律做出点异常(pointanomaly)判断,而本发明侧重于从连续的日志频率子序列中发现行为模式,进行行为异常(behavioral anomaly)判断。本发明提出的异常检测算法其核心在于研究给定时间间隔里日志数据的发生频率以及由连续时间间隔组成的滑动时间窗口中频率的变化特征,即日志行为模式。
具体地,如图1所示,整个监控方案由下到上分别由被监控系统、日志采集模块、存储分析模块和前端展示模块组成。每个模块负责不同的功能,相对独立又彼此联系。其中被监控系统可以是任何大型分布式业务系统;日志采集模块提供了对被监控系统产生的日志进行实时监控和收集的功能;存储分析模块是整个监控系统的核心,对异常检测算法进行了实现;前端展示模块用于查看日志信息,展示系统状态的检测结果。
基于行为异常检测的日志监控流程描述如下:
步骤1:日志预处理;
其中日志预处理包括:日志正规化和日志信息聚类两个步骤。
日志正规化步骤包括:
步骤A1:重排不规范日志记录,具体地,去除冗余字符,把跨越多行的记录调整为一行;
步骤A2:将日志级别转化为数字表示,为了方便日志聚类时候的相似度测量,为每个日志级别赋了一个数字值;
步骤A3:将日志内容去参数化,把日志中的数值参数替换为占位符表示,统一日志结构。
日志信息聚类步骤包括:
步骤B1:使用基于全连接(complete linkage)的凝聚层次聚类方法,把日志归类为不同类型。
步骤B2:在相似度定义方面,使用两条日志记录的编辑距离和日志级别距离作为距离定义标准;
编辑距离是指在两个字符串之间通过字符的插入、删除或替换等编辑操作,把一个字符串转换成另外一个字符串所需的最少编辑次数。
具体地,可以通过优化的动态规划方法计算日志相似度,提高计算效率;下面说明算法的状态转移关系。
设两个字符串S1[1…m]和S2[1…n]。S1长度为m,S2长度为n,分别代表两条日志的有效载荷部分,ED(i,j)表示S1的前缀S1[1…i]和S2的前缀S2[1…j]之间的编辑距离。
初始状态:
ED(0,0)=0
ED(i,0)=i,1≤i≤m
ED(0,j)=j,1≤j≤n
状态转移方程,其中S(i)表示字符串S的第i个字符:
通过DP算法可以得到S1和S2的编辑距离ED(m,n)。正规化的结果记为Edit Ratio(ER):
以此作为两条日志的相异度。
聚类粒度方面,根据生成簇的数目随距离阈值增大而下降的趋势,当下降速度变缓时,取此时的距离阈值作为聚类终止条件,得到最优的聚类粒度。
步骤2:日志异常检测;
其中所述日志异常检测方法包括:日志流转换为行为序列步骤、生成行为模式步骤、计算实时日志流异常指数步骤。
所述日志流转换为行为序列步骤包括:
步骤C1:根据聚类结果,为每一个日志类型赋一个类型号;
步骤C2:把日志训练数据集转化为由时间戳和类型号组成的序列;
步骤C3:给定一个时间间隔,统计每个类型号在时间间隔中的出现次数,得到多个频率序列,即行为序列,其中每个序列对应一个类型。
所述生成行为模式步骤包括:
步骤D1:令行为序列集为Ti,i∈[1,N],N为日志类型数,其中
步骤D2:定义长度k的滑动窗口,提取长度m的时间序列Ti中所有的频率子序列:j∈[1,m-k+1],
步骤D3:取欧氏距离作为两条频率子序列的距离,据此对相同频率子序列进行统计,把不同类型子序列的形状特征及出现频率作为该类型序列的行为模式;将由子序列集Si得到的行为模式集记为
步骤D4:以子序列出现频率的倒数作为行为模式的异常值,记作
所述计算实时日志流异常指数步骤:
步骤E1:根据给定单位时间间隔和长为k的滑动窗口,实时截取最近k个单位时间的日志序列L,并根据不同日志类型把日志序列拆分成N个日志子序列,记作L={l1,l2…lN};
步骤E2:按前述转换方法把L转化为频率序列集,记作C={c1,c2…cN}每个行为序列ci对应一个行为模式集Pi;
步骤E3:日志子序列li的异常指数由ci和与其相似度最高的行为模式共同决定:
得到异常指数计算公式如下:
步骤E4:比较异常指数与异常阈值的大小,根据比较结果决定是否发出异常预警。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (6)
1.一种基于行为异常检测的日志监控方法,其特征在于,包括如下步骤:
日志预处理步骤:统一日志结构并将日志进行聚类处理;
日志异常检测步骤:根据日志聚类结果将日志流转化为行为序列,生成行为模式,获得实时日志流的异常指数;
所述日志异常检测步骤包括:日志流转换为行为序列步骤,生成行为模式步骤,计算实时日志流异常指数步骤;
其中,所述日志流转换为行为序列步骤包括:
步骤C1:根据聚类结果,为每一个日志类型赋一个类型号;
步骤C2:构建日志训练数据集,并把日志训练数据集转化为由时间戳和类型号组成的序列;
步骤C3:给定一个时间间隔,统计每个类型号在时间间隔中的出现次数,得到多个频率序列,即行为序列,其中每个序列对应一个日志类型。
2.根据权利要求1所述的基于行为异常检测的日志监控方法,其特征在于,所述日志预处理步骤包括日志正规化步骤和日志信息聚类步骤。
3.根据权利要求2所述的基于行为异常检测的日志监控方法,其特征在于,日志正规化步骤包括:
步骤A1:重排不规范日志记录,具体地,去除冗余字符,把跨越多行的记录调整为一行;
步骤A2:将日志级别转化为用数字表示,即为每个日志级别赋了一个数字值;
步骤A3:将日志内容去参数化,把日志中的数值参数替换为用占位符表示,统一日志结构。
4.根据权利要求3所述的基于行为异常检测的日志监控方法,其特征在于,所述日志信息聚类步骤包括:
步骤B1:使用基于全连接的凝聚层次聚类方法,把日志归类为不同类型;
步骤B2:在相似度定义方面,使用两条日志记录的编辑距离和日志级别距离作为距离定义标准;
编辑距离是指在两个字符串之间通过字符的插入、删除或替换操作,把一个字符串转换成另外一个字符串所需的最少编辑次数;
日志级别距离:是指两条日志的日志级别所赋数值差的绝对值。
5.根据权利要求1所述的基于行为异常检测的日志监控方法,其特征在于,所述生成行为模式步骤包括:
步骤D1:令行为序列集为Ti,i∈[1,N],Ti表示第i个行为序列即频率序列,N为日志类型数;其中 表示日志类型i在第im个时间单位的日志频率,m为序列长度;
步骤D2:定义长度k的滑动窗口,提取长度m的时间序列Ti中所有的频率子序列:其中表示日志类型i的第j个频率子序列,表示日志频率,Si表示日志类型i包含的行为序列集,表示每一个频率子序列,即行为子序列;
步骤D3:取欧氏距离作为两条频率子序列的距离,对相同频率子序列进行统计,把不同日志类型子序列的形状特征及出现频率作为该日志类型序列的行为模式;将由子序列集Si得到的行为模式集记为 代表日志类型i的行为模式集中的每一个行为模式;
步骤D4:以子序列出现频率的倒数作为行为模式的异常值,记作其中表示日志类型i的第j个行为模式。
6.根据权利要求5所述的基于行为异常检测的日志监控方法,其特征在于,所述计算实时日志流异常指数步骤包括:
步骤E1:根据给定单位时间间隔和长为k的滑动窗口,实时截取最近k个单位时间的日志序列L,并根据不同日志类型把日志序列拆分成N个日志子序列,记作L={l1,l2...lN},其中每一个元素li表示一个日志子序列,对应一个日志类型;
步骤E2:把L转化为频率序列集,即行为序列集,记作C={c1,c2...cN},每个行为序列ci对应一个行为模式集Pi,其中i∈[1,N];
步骤E3:日志子序列li的异常指数由ci和相似度最高的行为模式共同决定:
得到异常指数计算公式如下:
式中:AnomalyScore(li)表示日志子序列li的异常指数,AnomalyScore(L)表示当前日志流的日常指数,β是平衡因子,表示行为序列ci和行为模式的距离,表示行为序列ci与对应行为模式集Pi中行为模式距离的最小值,为最邻近的行为模式;
步骤E4:比较异常指数与异常阈值的大小,根据比较结果决定是否发出异常预警;所述异常阈值是由专家评估和训练集测试共同得到的异常指数的阈值,当异常指数大于等于异常阈值时,发出异常预警;当异常指数小于异常阈值时,输出异常值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610125901.2A CN105653427B (zh) | 2016-03-04 | 2016-03-04 | 基于行为异常检测的日志监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610125901.2A CN105653427B (zh) | 2016-03-04 | 2016-03-04 | 基于行为异常检测的日志监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105653427A CN105653427A (zh) | 2016-06-08 |
CN105653427B true CN105653427B (zh) | 2019-02-22 |
Family
ID=56492202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610125901.2A Active CN105653427B (zh) | 2016-03-04 | 2016-03-04 | 基于行为异常检测的日志监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105653427B (zh) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107666399A (zh) * | 2016-07-28 | 2018-02-06 | 北京京东尚科信息技术有限公司 | 一种监控数据的方法和装置 |
CN106155864B (zh) * | 2016-07-29 | 2018-10-16 | 北京北信源软件股份有限公司 | 一种扩展Apache Log4j日志输出级别的方法 |
CN106326086B (zh) * | 2016-08-18 | 2019-01-11 | 杭州华为数字技术有限公司 | 关键运行日志提取方法及装置 |
CN106375295B (zh) * | 2016-08-30 | 2019-09-13 | 康剑兰 | 数据存储监控方法 |
CN106130806B (zh) * | 2016-08-30 | 2020-05-22 | 上海华通铂银交易市场有限公司 | 数据层实时监控方法 |
CN106372171B (zh) * | 2016-08-30 | 2019-11-29 | 深圳前海新心数字科技有限公司 | 监控平台实时数据处理方法 |
CN106446076B (zh) * | 2016-09-07 | 2019-10-18 | 南京理工大学 | 基于层次聚类的日志审计方法 |
CN106371939B (zh) * | 2016-09-12 | 2019-03-22 | 山东大学 | 一种时序数据异常检测方法及其系统 |
CN106375339B (zh) * | 2016-10-08 | 2019-07-09 | 电子科技大学 | 基于事件滑动窗口的攻击模式检测方法 |
CN107391353B (zh) * | 2017-07-07 | 2020-07-28 | 西安电子科技大学 | 基于日志的复杂软件系统异常行为检测方法 |
CN107623677B (zh) * | 2017-08-08 | 2021-01-01 | 国家电网公司 | 数据安全性的确定方法和装置 |
CN107659560A (zh) * | 2017-08-28 | 2018-02-02 | 国家计算机网络与信息安全管理中心 | 一种用于海量网络数据流日志处理的异常审计方法 |
CN107609330B (zh) * | 2017-08-31 | 2019-12-06 | 中国人民解放军国防科技大学 | 基于门禁日志挖掘的内部威胁异常行为分析方法 |
CN107707545B (zh) * | 2017-09-29 | 2021-06-04 | 深信服科技股份有限公司 | 一种异常网页访问片段检测方法、装置、设备及存储介质 |
CN107784115B (zh) * | 2017-11-09 | 2019-01-22 | 福建省特种设备检验研究院 | 一种基于编辑距离算法的特种设备故障分析方法及系统 |
CN110389874B (zh) * | 2018-04-20 | 2021-01-19 | 比亚迪股份有限公司 | 日志文件异常检测方法和装置 |
CN108710562B (zh) * | 2018-05-10 | 2023-03-31 | 深圳市腾讯网络信息技术有限公司 | 异常记录的合并方法、装置及设备 |
CN108717510A (zh) * | 2018-05-11 | 2018-10-30 | 深圳市联软科技股份有限公司 | 一种通过聚类分析文件异常操作行为的方法、系统及终端 |
CN108616545B (zh) * | 2018-06-26 | 2021-06-29 | 中国科学院信息工程研究所 | 一种网络内部威胁的检测方法、系统及电子设备 |
CN109446265B (zh) * | 2018-09-10 | 2021-07-30 | 上海中交水运设计研究有限公司 | 基于工作流程的复杂异常识别方法和识别系统 |
CN111045902A (zh) * | 2018-10-10 | 2020-04-21 | 中国移动通信集团浙江有限公司 | 服务器的压力测试方法及装置 |
CN109634802B (zh) * | 2018-11-12 | 2023-04-14 | 平安科技(深圳)有限公司 | 进程监控方法及终端设备 |
CN111723825A (zh) * | 2019-03-18 | 2020-09-29 | 顺丰科技有限公司 | 一种客户信息查询异常行为检测方法和装置 |
CN111723118A (zh) * | 2019-03-18 | 2020-09-29 | 顺丰科技有限公司 | 一种运单查询异常行为检测方法和装置 |
CN110502486B (zh) * | 2019-08-21 | 2022-01-11 | 中国工商银行股份有限公司 | 日志处理方法、装置、电子设备和计算机可读存储介质 |
CN110958136A (zh) * | 2019-11-11 | 2020-04-03 | 国网山东省电力公司信息通信公司 | 一种基于深度学习的日志分析预警方法 |
CN113496032A (zh) * | 2020-04-03 | 2021-10-12 | 中国信息安全测评中心 | 基于分布式计算和规则引擎的大数据作业异常监控系统 |
CN111625625A (zh) * | 2020-05-27 | 2020-09-04 | 腾讯科技(深圳)有限公司 | 确定异常日志的方法、装置、计算机设备和存储介质 |
CN111951038A (zh) * | 2020-07-09 | 2020-11-17 | 北京明略昭辉科技有限公司 | 广告监测数据的特征处理方法及装置 |
CN111984516B (zh) * | 2020-09-02 | 2024-01-05 | 大连大学 | 基于sgse-ecc的日志异常检测系统 |
CN112306982B (zh) * | 2020-11-16 | 2021-07-16 | 杭州海康威视数字技术股份有限公司 | 异常用户检测方法、装置、计算设备及存储介质 |
CN112948202A (zh) * | 2021-02-02 | 2021-06-11 | 烽火通信科技股份有限公司 | 应用程序监控方法、装置、设备及可读存储介质 |
CN112905380A (zh) * | 2021-03-22 | 2021-06-04 | 上海海事大学 | 一种基于自动化监控日志的系统异常检测方法 |
CN113076235B (zh) * | 2021-04-09 | 2022-10-18 | 中山大学 | 一种基于状态融合的时序异常检测方法 |
CN114584379B (zh) * | 2022-03-07 | 2023-05-30 | 四川大学 | 基于优化特征提取粒度的日志异常检测方法 |
CN117454373B (zh) * | 2023-11-16 | 2024-07-05 | 深圳市思协科技有限公司 | 一种软件登录身份管理及访问安全控制方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101399658A (zh) * | 2007-09-24 | 2009-04-01 | 北京启明星辰信息技术有限公司 | 一种安全日志分析方法及系统 |
CN101888309A (zh) * | 2010-06-30 | 2010-11-17 | 中国科学院计算技术研究所 | 在线日志分析方法 |
CN103092751A (zh) * | 2012-12-13 | 2013-05-08 | 华中科技大学 | 一种云环境下基于用户行为模型的web应用性能测试系统 |
CN103138986A (zh) * | 2013-01-09 | 2013-06-05 | 天津大学 | 一种基于可视分析的网站异常访问行为的检测方法 |
CN103577464A (zh) * | 2012-08-02 | 2014-02-12 | 百度在线网络技术(北京)有限公司 | 一种搜索引擎坏例的挖掘方法和装置 |
CN104239197A (zh) * | 2014-10-10 | 2014-12-24 | 浪潮电子信息产业股份有限公司 | 一种基于大数据日志分析的管理用户异常行为发现方法 |
CN104317681A (zh) * | 2014-09-02 | 2015-01-28 | 上海交通大学 | 针对计算机系统的行为异常自动检测方法及检测系统 |
CN104811452A (zh) * | 2015-04-30 | 2015-07-29 | 北京科技大学 | 一种基于数据挖掘的自学习分级预警入侵检测系统 |
CN104951555A (zh) * | 2015-06-30 | 2015-09-30 | 浪潮(北京)电子信息产业有限公司 | 一种日志信息管理方法及日志信息管理终端 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8296247B2 (en) * | 2007-03-23 | 2012-10-23 | Three Palm Software | Combination machine learning algorithms for computer-aided detection, review and diagnosis |
-
2016
- 2016-03-04 CN CN201610125901.2A patent/CN105653427B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101399658A (zh) * | 2007-09-24 | 2009-04-01 | 北京启明星辰信息技术有限公司 | 一种安全日志分析方法及系统 |
CN101888309A (zh) * | 2010-06-30 | 2010-11-17 | 中国科学院计算技术研究所 | 在线日志分析方法 |
CN103577464A (zh) * | 2012-08-02 | 2014-02-12 | 百度在线网络技术(北京)有限公司 | 一种搜索引擎坏例的挖掘方法和装置 |
CN103092751A (zh) * | 2012-12-13 | 2013-05-08 | 华中科技大学 | 一种云环境下基于用户行为模型的web应用性能测试系统 |
CN103138986A (zh) * | 2013-01-09 | 2013-06-05 | 天津大学 | 一种基于可视分析的网站异常访问行为的检测方法 |
CN104317681A (zh) * | 2014-09-02 | 2015-01-28 | 上海交通大学 | 针对计算机系统的行为异常自动检测方法及检测系统 |
CN104239197A (zh) * | 2014-10-10 | 2014-12-24 | 浪潮电子信息产业股份有限公司 | 一种基于大数据日志分析的管理用户异常行为发现方法 |
CN104811452A (zh) * | 2015-04-30 | 2015-07-29 | 北京科技大学 | 一种基于数据挖掘的自学习分级预警入侵检测系统 |
CN104951555A (zh) * | 2015-06-30 | 2015-09-30 | 浪潮(北京)电子信息产业有限公司 | 一种日志信息管理方法及日志信息管理终端 |
Non-Patent Citations (2)
Title |
---|
基于Map Reduce的序列模式挖掘算法;刘栋等;《计算机工程》;20120815;第38卷(第15期);43-45 |
基于Web日志的高精度聚类算法;金松河等;《河南科技大学学报:自然科学版》;20060430;第27卷(第2期);49-51 |
Also Published As
Publication number | Publication date |
---|---|
CN105653427A (zh) | 2016-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105653427B (zh) | 基于行为异常检测的日志监控方法 | |
CN111178456B (zh) | 异常指标检测方法、装置、计算机设备和存储介质 | |
CN110347116A (zh) | 一种基于运行数据流的机床状态监测系统与监测方法 | |
CN109615004A (zh) | 一种多源数据融合的防窃电预警方法 | |
CN106383916B (zh) | 基于工业设备预测性维护的数据处理方法 | |
US11443168B2 (en) | Log analysis system employing long short-term memory recurrent neural net works | |
Jiang et al. | A family of joint sparse PCA algorithms for anomaly localization in network data streams | |
CN104408667A (zh) | 一种电能质量综合评估的方法和系统 | |
WO2017034512A1 (en) | Interactive analytics on time series | |
Wang et al. | Research on anomaly detection and real-time reliability evaluation with the log of cloud platform | |
US20220179393A1 (en) | Machine tool evaluation method, machine tool evaluation system and medium | |
Xie et al. | Logm: Log analysis for multiple components of hadoop platform | |
CN113722383A (zh) | 一种基于时序情报调查装置及方法 | |
CN115034278A (zh) | 性能指标异常检测方法、装置、电子设备和存储介质 | |
CN116167370A (zh) | 基于日志时空特征分析的分布式系统异常检测方法 | |
CN118260087A (zh) | 一种数据库查询语句与服务器能耗相关性测量方法 | |
CN117436768A (zh) | 一种基于数据治理的统一监管指标方法 | |
Bailis et al. | Macrobase: Analytic monitoring for the internet of things | |
US20190340540A1 (en) | Adaptive continuous log model learning | |
Feremans et al. | A framework for pattern mining and anomaly detection in multi-dimensional time series and event logs | |
Zhu et al. | A Performance Fault Diagnosis Method for SaaS Software Based on GBDT Algorithm. | |
US11416506B2 (en) | Facilitating temporal data management for anomalous state detection in data centers | |
CN113177040A (zh) | 铝/铜板带材生产全流程大数据清洗与分析方法 | |
CN111475380A (zh) | 一种日志分析方法和装置 | |
KR102509381B1 (ko) | 머신러닝 로그 분석 기반의 smart 로그병합 및 추이예측 시각화 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20200119 Address after: Room 1709, Building No. 8, Binjiang West Road, Jiangyin City, Wuxi City, Jiangsu Province Patentee after: Jiangyin Daily Information Technology Co., Ltd. Address before: 200240 Dongchuan Road, Shanghai, No. 800, No. Patentee before: Shanghai Jiaotong University |
|
TR01 | Transfer of patent right |