CN110806961A - 一种智能预警方法及系统、推荐系统 - Google Patents
一种智能预警方法及系统、推荐系统 Download PDFInfo
- Publication number
- CN110806961A CN110806961A CN201911070627.3A CN201911070627A CN110806961A CN 110806961 A CN110806961 A CN 110806961A CN 201911070627 A CN201911070627 A CN 201911070627A CN 110806961 A CN110806961 A CN 110806961A
- Authority
- CN
- China
- Prior art keywords
- early warning
- log
- information
- text
- key information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000004140 cleaning Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000035945 sensitivity Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000003058 natural language processing Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种智能预警方法及系统、推荐系统，其方法包括：获取服务器的日志信息；对日志文本进行数据清洗；将清洗后的文本进行向量化处理；对向量化的数据进行处理，获得异常的关键信息；根据获得异常的关键信息发出预警提示。本发明针对服务器日志的特有的特征，能够很好挖掘日志中包含的信息，大大提高服务器运维的自动化和智能化程度。
Description
技术领域
本发明涉及服务器运维领域，尤其涉及一种智能预警方法及系统、推荐系统。
背景技术
信息技术的高速发展，让各行各业进行信息化建设越来越多，由于计算机技术和网络技术发展的复杂性，很多信息的处理都集成在后端的服务器上。随着服务器承载的功能越越来多，其集成的技术也越来越复杂，面对的问题比如负载、网络安全、扩容、系统正常运行等也带来越来越多的挑战，对服务器的运维技术要求越越来高，甚至需要有精通各个技术领域的技术专家组件的团队才能保证服务器或平台的正常运行，从而给企业的技术能力和经营成本带来沉重的负担。
因此，针对上述挑战，业界开发各种自动化的运维和检测系统，针对服务器的常见问题，设置一些关键参数和指标，根据流量的动态基线来分析异常，比如CPU的占用率达到某些预先设置的阈值，则视为异常，或者则发出预警通知，提醒管理员，能够很好地帮助管理员技术处理和定位问题。
上述技术方案中，设置阈值判断异常一方面依赖个人经验，另一方面也产生一些潜在问题，阈值设置高，可能会有些问题被忽略，阈值设置的较低，则会由很多不必要的预警通知发生。
更智能一些的运维，通过分析服务器的日志来进行分析发现异常，根据预先设置的关键词来提取。通过分析服务器日志来发现异常，一方面，虽然服务器日志记载都是文本，但和目前自然语言处理技术所处理的文本并不同，当前的自然语言处理的理论和方法并不能完适用在服务器日志这类文本上。另一方面，对过去发生的异常需要具有足够的积累，也是严重依赖经验，而且对于潜在新的异常，无法发现新情况。
因此，在监控预设的异常之外，摆脱经验的依赖，如何发现新的异常以及把新异常作为日常监控的关键参数和指标，从而预先提醒运维人员，及早采取处理措施，是当前需要面对的技术问题。
发明内容
本发明实施例提供一种智能预警方法，包括：
获取服务器的日志信息；
对日志文本进行数据清洗；
将清洗后的文本进行向量化处理；
对向量化的数据进行处理，获得异常的关键信息；
根据获得异常的关键信息发出预警提示。
进一步地，对日志文本进行数据清洗包括：
去除停止词；
对随机内容进行统一化处理：将和聚类结果关联小的随机内容替换成各种类别信息；
提取辅助信息：提取日志文本的非关键信息，根据预警对灵敏度的强度，调整非关键信息的权重。
进一步地，进行向量化处理包括：
将清洗后的文本转化为特征数组；
计算所述特征数组的特征值；
根据分配的权重进行聚合，得到清洗后的文本的特征向量。
进一步地，对向量化的数据进行处理，获得异常的关键信息的步骤包括：
通过快速哈希算法记得获得每条日志的特征哈希值；
根据哈希值计算日志间的特征距离；
根据特征距离对日志进行聚合；
将距离远的日志作为异常的信息。
本发明还公布一种智能预警系统，包括：
读取单元，用以获取服务器的日志信息；
数据清洗单元，用以对日志文本进行数据清洗；
向量化处理单元，将清洗后的文本进行向量化处理；
预警分析单元，用以对向量化的数据进行处理，获得异常的关键信息；
预警提示单元，用以根据获得异常的关键信息发出预警提示。
本发明还公布一种推荐系统，包括上述的智能预警系统、分类单元以及推荐单元，其中：
所述智能预警系统用以发现异常信息；
所述分类单元用于将所述智能预警系统发现的异常信息进行分类；
所述推荐单元用以将符合条件的异常信息推荐到系统作为日常监控的关键信息。
本发明还公布一种电子系统，所述电子系统包括处理器以及存储器，
所述存储器用于存储可执行程序；
所述处理器用于执行所述可执行程序以实现如权利要求1-6任一项所述的功能。
本发明取得的技术效果：
本申请针对服务器日志的特有的特征，能够很好挖掘日志中包含的信息，大大提高服务器运维的自动化和智能化程度，分析各种潜在可能的风险和异常，从而提前发出预警给运维人员，以便尽早发现问题，排除各种异常。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的智能预警方法的流程示意图；
图2为本发明实施例的电子系统结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图中将各步骤描述成顺序的处理，但是其中的许多步骤可以并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排，当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图内的其它步骤。处理可以对应于方法、函数、规程、子例程、子程序等。
实施例一
图1为本发明实施例提供的智能预警方法的流程示意图。本实施例的智能预警方法包括：
步骤S1：获取服务器的日志信息；
步骤S2：对日志文本进行数据清洗；
步骤S3：将清洗后的文本进行向量化处理；
步骤S4:对向量化的数据进行处理，获得异常的关键信息；
步骤S5：根据获得异常的关键信息发出预警提示。
具体的实现方式如下：
步骤S1：
获取服务器的日志信息。
当前的文本分析技术已经有较为成熟的机器学习分支(NLP)方向专门研究和处理文本分析，NLP的各种成熟的算法和库均可以很好地解决日常的文本处理，比如语义分析、情感分析等等，但这类的文本信息通常用来处理符号相同的文本，如小说基本都是文字符号。
但是对于服务器日志和小说这类不同，服务器日志属于半结构化的数据，一般来说，同一类日志有相同的格式，不同类的日志有不同的格式，比如如下的几条服务器日志：
2019/05/221:50:51.293693[INFO]github.com/qbox/streaming/streaming.v2/expsvc/master/scheduler/executor.go:178:schedulerworkloop
2019/05/26 21:50:51 Authenticated:id＝245528011253207504,timeout＝5000
2019/05/26 21:50:51.566600[INFO]github.com/qbox/streaming/streaming.v2/expsvc/master/server.go:85:server manager workloop
2019/05/26 21:50:51.644816[INFO]github.com/qbox/streaming/streaming.v2/expsvc/master/task.go:133:skip task"logdb-VIP_rvaByO7jUnQ2qN0D_0000000000-kodo_z2_req_ebdstripeused_streaming_logdbExport1"that in Readystatus
2019/05/26 21:50:51.698900[INFO]github.com/qbox/streaming/streaming.v2/expsvc/master/task.go:133:skip task"logdb-VIP_Nv5dAenUpz3yW7md_0000000000-bilibililog_export2_bilibililog_1533654623_for_upload_text"that inStopped status
2019/05/26 21:50:52.273170[INFO]github.com/qbox/streaming/streaming.v2/expsvc/master/task.go:166:TASKS_COUNT:3214
2019/05/26 21:50:52.273208[INFO]github.com/qbox/streaming/streaming.v2/expsvc/master/task.go:96:get task elapse,list:6.2292ms,get:648.344962ms,unmarshal:43.183929ms,get parts:290.065346ms
2019/05/26 21:50:52.273222[INFO]github.com/qbox/streaming/streaming.v2/expsvc/master/task.go:76:task manager workloop
2019/05/26 21:50:52.566606[INFO]github.com/qbox/streaming/streaming.v2/expsvc/master/server.go:85:server manager workloop
从上述服务器日志的可以看出，前半段分别为时间、等级、代码行数，后半段是表述服务器日志内容的文本，这类服务器类型的日志包含符号和纯文字语言符号不一样，看起来比较杂乱，和自然语言符号相比，服务器日志属于结构化、模式化程度比较高的文本，具有更强的功能性、场景性和结构模式，但也缺少了和自然语言符合的语法、句法、上下文关联以及语义等特点，因此这类服务器日志并不能完全发挥现有的NLP的各种强大算法。
因此本申请针对服务器日志的特有的特征，提出的新的技术方案，能够很好挖掘日志中包含的信息，大大提高服务器运维的自动化和智能化程度，分析各种潜在可能的风险和异常，从而提前发出预警给运维人员，以便尽早发现问题，排除各种异常。
步骤S2：
由于服务器日志的信息比较多，有的信息是关键信息，有些信息对挖掘和分析异常并没有什么用，因此，需要对服务器的日志文本进行预先清洗，其中，作为一种实施方式，实施上述对对日志文本进行数据清洗包括：
S21：去除停止词，也称为停用词，为提高后面的搜索和处理效率，节省存储空间，根据服务器日志的特点，建立停用词表。以上面的日志为例，日志中的空格分隔符‘’，日志等级两边的‘[]’，以及代码行数后面的‘:’等都属于停用词。他们只是用来增强日志格式的表达，但是对于日志内容的表达没有任何额外的帮助，在实际分析日志的时候就会去掉这些词。
S22：对随机内容进行统一化处理：将和聚类结果关联小的随机内容替换成各种类别信息，从而根据这类信息对聚类分析结果的影响，对这类类别化的信息进行屏蔽，且屏蔽强度会根据不同的灵敏度需求而进行调整。比如：当灵敏度比较低的时候，系统可以将时间戳，数字，行数等信息替换为<TIMESTAMP>,<NUMBER>,<LINENUMBER>等内容；当灵敏度要求比较高的时候，算法仅会将时间替换为<TIMESTAMP>。
S23：提取辅助信息：提取日志文本的非关键信息，根据预警对灵敏度的强度，调整非关键信息的权重。有效提取出来服务器日志的结构信息会对之后的分类起到很大的促进作用。
除了提取关键信息之外，服务器日志中的辅助信息包含如：日志中的标点、统计日志中单词长度分布等。此参数可以根据灵敏度需求，来对不同的信息增加不同的权重，比如当灵敏度比较低的时候，会赋予标点类型和顺序更大的权重。以标点为例，我们可以提取出一条日志中的所有标点，按照顺序组成一个标点序列，这个标点序列就可以看做是一个日志模式，可以根据这个模式进行聚类，例如下面的两条日志:
2019/05/26 21:50:51.644816[INFO]github.com/qbox/streaming/streaming.v2/expsvc/master/task.go:133:skip task"logdb-VIP_rvaByO7jUnQ2qN0D_0000000000-kodo_z2_req_ebdstripeused_streaming_logdbExport1"that in Readystatus
2019/05/26 21:50:51.698900[INFO]github.com/qbox/streaming/streaming.v2/expsvc/master/task.go:133:skip task"logdb-VIP_rvaByO7jUnQ2qN0D_0000000000-kodo_z2_req_ebdstripeused_streaming_logdbExport1"that in Stoppedstatus
他们的模式分别为:
//::.[].///.///.::“-__-_____”
//::.[].///.///.::“-__-_____”
虽然日志内容不同，但是其日志模式是相同的，从而达到聚类效果。
步骤S3：
在完成数据清洗之后，对清洗完成后的文本进行向量化处理包括：
S31：将清洗后的文本转化为特征数组，包括文本中的单词、词组和特征信息(特征信息就是下方提到的64位特征值F)，将这些按照一定的规则(比如先通过特征哈希算法计算出特征哈希值，或者通过一定的权重，将辅助信息和原日志结合，提取出相应的特征值后进行加权转换)转化为由64位的特征值F组成的特征数组。
S32：计算所述特征数组的特征值；
S33：根据分配的权重进行聚合，具体权重可以根据实际需要，通过系统预先设置好，并可以根据用户选择的精度进行调整各种权重的分配，得到清洗后的文本的特征向量。
步骤S4：
首先通过快速特征哈希算法得到每条日志的特征哈希值，之后根据特征哈希值计算出日志间的特征距离，并根据特征距离对日志进行聚合，将特征相似的日志聚类到一起，这样便可以得到几组日志，每组中的日志的特征基本类似。
通常条件下由于系统中正常日志的占比远大于异常日志，系统会着重对日志量较少的数据进行分析。系统会将较少组中的日志模式和关键成分参数提取出来，再根据历史数据中该参数的值的变化趋势来进行分析。
最后根据文本的特征向量，可以计算文本的距离，包括比如指标的距离、数值的距离，而通过距离的计算，将距离近的聚成一类，距离远的，视为异常，从而获得异常的关键信息，进而可以发出预警信息。
实施例二
基于上述的方案，本申请还提供一种对应的智能预警装置，包括：
读取单元，用以获取服务器的日志信息；
数据清洗单元，用以对日志文本进行数据清洗；
向量化处理单元，将清洗后的文本进行向量化处理；
预警分析单元，用以对向量化的数据进行处理，获得异常的关键信息；
预警提示单元，用以根据获得异常的关键信息发出预警提示。
具体实施方式参阅实施例一的详细描述。
实施例三
基于上述实施例二的智能预警装置，本申请还提供一种推荐系统，包括上述实施例的智能预警系统、分类单元以及推荐单元。
所述智能预警系统用以发现异常信息；
所述分类单元用于将所述智能预警系统发现的异常信息进行分类，将这些异常作为指标进行分类，比如计算某段时间内的最大值、最小值、平均值、计数、求和、二阶变化率等，从而可以进行分类。
成功分类后，推荐单元用以将符合条件的异常信息推荐到系统中，作为日常监控的关键信息，从而帮助运维人员确定要关注的指标信息。
请参阅图2，图2为本发明实施例的电子系统结构示意图。本申请实施例还提供一种电子系统，所述电子系统包括处理器以及存储器，所述存储器存储有计算机程序，所述存储器用于存储可执行程序；
所述处理器用于执行所述可执行程序以实现上述智能预警的功能。
计算机程序的载体可以是能够运载程序的任何实体或者装置。例如，载体可以包含存储介质，诸如(ROM例如CDROM或者半导体ROM)或者磁记录介质(例如软盘或者硬盘)。进一步地，载体可以是可传输的载体，诸如电学或者光学信号，其可以经由电缆或者光缆，或者通过无线电或者其它手段传递。当程序具体化为这样的信号时，载体可以由这样的线缆或者装置组成。可替换地，载体可以是其中嵌入有程序的集成电路，所述集成电路适合于执行相关方法，或者供相关方法的执行所用。
应该留意的是，上文提到的实施例是举例说明本公开，而不是限制本公开，并且本领域的技术人员将能够设计许多可替换的实施例，而不会偏离所附权利要求的范围。在权利要求中，任何放置在圆括号之间的参考符号不应被解读为是对权利要求的限制。动词“包括”和其词形变化的使用不排除除了在权利要求中记载的那些之外的元素或者步骤的存在。在元素之前的冠词“一”或者“一个”不排除复数个这样的元素的存在。本公开可以通过包括几个明显不同的组件的硬件，以及通过适当编程的计算机而实现。在列举几种装置的装置权利要求中，这些装置中的几种可以通过硬件的同一项来体现。在相互不同的从属权利要求中陈述某些措施的单纯事实并不表明这些措施的组合不能被用来获益。
如果期望的话，这里所讨论的不同功能可以以不同顺序执行和/或彼此同时执行。此外，如果期望的话，以上所描述的一个或多个功能可以是可选的或者可以进行组合。
如果期望的话，上文所讨论的各步骤并不限于各实施例中的执行顺序，不同步骤可以以不同顺序执行和/或彼此同时执行。此外，在其他实施例中，以上所描述的一个或多个步骤可以是可选的或者可以进行组合。
虽然本公开的各个方面在独立权利要求中给出，但是本公开的其它方面包括来自所描述实施方式的特征和/或具有独立权利要求的特征的从属权利要求的组合，而并非仅是权利要求中所明确给出的组合。
这里所要注意的是，虽然以上描述了本公开的示例实施方式，但是这些描述并不应当以限制的含义进行理解。相反，可以进行若干种变化和修改而并不背离如所附权利要求中所限定的本公开的范围。
本领域普通技术人员应该明白，本公开实施例的装置中的各模块可以用通用的计算装置来实现，各模块可以集中在单个计算装置或者计算装置组成的网络组中，本公开实施例中的装置对应于前述实施例中的方法，其可以通过可执行的程序代码实现，也可以通过集成电路组合的方式来实现，因此本公开并不局限于特定的硬件或者软件及其结合。
本领域普通技术人员应该明白，本公开实施例的装置中的各模块可以用通用的移动终端来实现，各模块可以集中在单个移动终端或者移动终端组成的装置组合中，本公开实施例中的装置对应于前述实施例中的方法，其可以通过编辑可执行的程序代码实现，也可以通过集成电路组合的方式来实现，因此本公开并不局限于特定的硬件或者软件及其结合。
Claims (7)
1.一种智能预警方法，其特征在于，包括：
获取服务器的日志信息；
对日志文本进行数据清洗；
将清洗后的文本进行向量化处理；
对向量化的数据进行处理，获得异常的关键信息；
根据获得异常的关键信息发出预警提示。
2.如权利要求1所述的智能预警方法，其特征在于，对日志文本进行数据清洗包括：
去除停止词；
对随机内容进行统一化处理：将和聚类结果关联小的随机内容替换成各种类别信息；
提取辅助信息：提取日志文本的非关键信息，根据预警对灵敏度的强度，调整非关键信息的权重。
3.如权利要求1所述的智能预警方法，其特征在于，进行向量化处理包括：
将清洗后的文本转化为特征数组；
计算所述特征数组的特征值；
根据分配的权重进行聚合，得到清洗后的文本的特征向量。
4.如权利要求1所述的智能预警方法，其特征在于，对向量化的数据进行处理，获得异常的关键信息的步骤包括：
通过快速哈希算法记得获得每条日志的特征哈希值；
根据哈希值计算日志间的特征距离；
根据特征距离对日志进行聚合；
将距离远的日志作为异常的信息。
5.一种智能预警系统，其特征在于，包括：
读取单元，用以获取服务器的日志信息；
数据清洗单元，用以对日志文本进行数据清洗；
向量化处理单元，将清洗后的文本进行向量化处理；
预警分析单元，用以对向量化的数据进行处理，获得异常的关键信息；
预警提示单元，用以根据获得异常的关键信息发出预警提示。
6.一种推荐系统，其特征在于，包括权利要求5所述的智能预警系统、分类单元以及推荐单元，其中：
所述智能预警系统用以发现异常信息；
所述分类单元用于将所述智能预警系统发现的异常信息进行分类；
所述推荐单元用以将符合条件的异常信息推荐到系统作为日常监控的关键信息。
7.一种电子系统，其特征在于，所述电子系统包括处理器以及存储器，
所述存储器用于存储可执行程序；
所述处理器用于执行所述可执行程序以实现如权利要求1-6任一项所述的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911070627.3A CN110806961A (zh) | 2019-11-05 | 2019-11-05 | 一种智能预警方法及系统、推荐系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911070627.3A CN110806961A (zh) | 2019-11-05 | 2019-11-05 | 一种智能预警方法及系统、推荐系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110806961A true CN110806961A (zh) | 2020-02-18 |
Family
ID=69501103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911070627.3A Pending CN110806961A (zh) | 2019-11-05 | 2019-11-05 | 一种智能预警方法及系统、推荐系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110806961A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112434245A (zh) * | 2020-11-23 | 2021-03-02 | 北京八分量信息科技有限公司 | 基于ueba进行异常行为事件的判断方法、装置及相关产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150089309A1 (en) * | 2013-09-23 | 2015-03-26 | Emc Corporation | Troubleshooting based on log similarity |
| CN106446076A (zh) * | 2016-09-07 | 2017-02-22 | 南京理工大学 | 基于层次聚类的日志审计方法 |
| CN109343995A (zh) * | 2018-10-25 | 2019-02-15 | 金税信息技术服务股份有限公司 | 基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统 |
| CN109388711A (zh) * | 2018-09-05 | 2019-02-26 | 广州视源电子科技股份有限公司 | 日志流聚类的方法和装置 |
| CN109858254A (zh) * | 2019-01-15 | 2019-06-07 | 西安电子科技大学 | 基于日志分析的物联网平台攻击检测系统及方法 |
-
2019
- 2019-11-05 CN CN201911070627.3A patent/CN110806961A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150089309A1 (en) * | 2013-09-23 | 2015-03-26 | Emc Corporation | Troubleshooting based on log similarity |
| CN106446076A (zh) * | 2016-09-07 | 2017-02-22 | 南京理工大学 | 基于层次聚类的日志审计方法 |
| CN109388711A (zh) * | 2018-09-05 | 2019-02-26 | 广州视源电子科技股份有限公司 | 日志流聚类的方法和装置 |
| CN109343995A (zh) * | 2018-10-25 | 2019-02-15 | 金税信息技术服务股份有限公司 | 基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统 |
| CN109858254A (zh) * | 2019-01-15 | 2019-06-07 | 西安电子科技大学 | 基于日志分析的物联网平台攻击检测系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112434245A (zh) * | 2020-11-23 | 2021-03-02 | 北京八分量信息科技有限公司 | 基于ueba进行异常行为事件的判断方法、装置及相关产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200151392A1 (en) | System and method automated analysis of legal documents within and across specific fields | |
| US11068510B2 (en) | Method and system for implementing efficient classification and exploration of data | |
| CN110826648B (zh) | 一种利用时序聚类算法实现故障检测的方法 | |
| US9542255B2 (en) | Troubleshooting based on log similarity | |
| Halibas et al. | Application of text classification and clustering of Twitter data for business analytics | |
| US20240211473A1 (en) | System and method for automated analysis of legal documents within and across specific fields | |
| Lin et al. | Fast dimensional analysis for root cause investigation in a large-scale service environment | |
| US11568344B2 (en) | Systems and methods for automated pattern detection in service tickets | |
| CN113254255B (zh) | 一种云平台日志的分析方法、系统、设备及介质 | |
| CN111813960B (zh) | 基于知识图谱的数据安全审计模型装置、方法及终端设备 | |
| WO2017205936A1 (en) | Classification of log data | |
| CN111931809A (zh) | 数据的处理方法、装置、存储介质及电子设备 | |
| CN106845990B (zh) | 一种规则处理方法和设备 | |
| Kılınç | A spark‐based big data analysis framework for real‐time sentiment prediction on streaming data | |
| US10824694B1 (en) | Distributable feature analysis in model training system | |
| US20230078134A1 (en) | Classification of erroneous cell data | |
| CN109542737A (zh) | 平台告警处理方法、装置、电子装置及存储介质 | |
| Wang et al. | A Log‐Based Anomaly Detection Method with Efficient Neighbor Searching and Automatic K Neighbor Selection | |
| US9600572B2 (en) | Method, computer program and apparatus for analyzing symbols in a computer system | |
| CN117785539A (zh) | 日志数据分析方法、装置、计算机设备及存储介质 | |
| CN110543426A (zh) | 一种软件性能风险检测方法及装置 | |
| CN110806961A (zh) | 一种智能预警方法及系统、推荐系统 | |
| KR20220105792A (ko) | 동적 텍스트 소스를 활용한 ai 기반 의사결정지원 시스템 | |
| CN117390132A (zh) | 一种管理数据与api的方法、系统及存储介质 | |
| Punn et al. | Testing big data application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200218 |