CN101325520A - 基于日志的智能自适应网络故障定位和分析方法 - Google Patents
基于日志的智能自适应网络故障定位和分析方法 Download PDFInfo
- Publication number
- CN101325520A CN101325520A CNA2008101241955A CN200810124195A CN101325520A CN 101325520 A CN101325520 A CN 101325520A CN A2008101241955 A CNA2008101241955 A CN A2008101241955A CN 200810124195 A CN200810124195 A CN 200810124195A CN 101325520 A CN101325520 A CN 101325520A
- Authority
- CN
- China
- Prior art keywords
- node
- chained list
- event times
- log
- total number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000003491 array Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000007621 cluster analysis Methods 0.000 abstract description 6
- 238000007619 statistical method Methods 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000001960 triggered effect Effects 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 16
- 238000007418 data mining Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001932 seasonal effect Effects 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
基于日志的智能自适应网络故障定位和分析方法主要由基于优先级的日志预处理方法、基于时间序列的日志事件聚类分析方法和多维日志统计分析方法组成。海量日志信息首先按照优先级别进行分类存储，然后再根据基于时间序列的日志事件聚类分析方法筛选出关键的事件类型即“策略”的获取，随后再运用多维日志统计分析方法将关键的日志信息呈现在界面上，并触发告警判断机制进行实时告警。该方法具有良好的可扩展性和准确性，且易于与运营商相关的应用接口对接。
Description
技术领域
本发明设计了基于Syslog(系统日志)的网络故障定位的分析模型和方法，主要研究如何对互联网网络设备(交换机、路由器、CMTS)的日志数据进行分析，及时、准确地定位网络质量劣化点，涉及到Syslog协议分析、网络管理以及数据挖掘等技术领域。
背景技术
目前，从外部看，网络环境发生了巨大的变化，经历了由结构的单一到复杂、应用的单一到多样的发展过程，这就要求网络管理员在网络的协议层次结构上对系统管理重新认识，通过适当的策略实现集中式管理，实现事件的实时监控和快速响应的网络管理。但是，网络管理的对象主要由构成网络的硬件和软件组成，包括工作站、服务器、网卡、路由器、交换机等。通常情况下这些设备都分散在不同的地方，而且由于设备众多，要做到实时实地管理需要大量的人力、物力和财力，对网络设备进行远程管理以及对设备状态进行预警有一定困难。因此对于网络管理员来说，网络的运营维护、监测优化成为了一个富有挑战性的问题。
从内部看，各类IT资源、设备飞速膨胀，设备本身产生的日志数量也呈指数级增长。其单独的日志分析结果对安全问题没有太大帮助，而海量日志的产生也使分析成为空想，导致日志只能简单丢弃。如何为不同的网络设备提供统一的事件管理分析平台，打破企业中不同网络设备存在的信息鸿沟，有效地实现全网的服务故障、安全预警、入侵行为的实时发现、入侵事件的动态响应，是摆在众多企业面前亟待解决的问题。
当前的Syslog信息管理和分析机制严重不能适应主动防御网络的要求，主要表现在以下几点：
一、不具备针对网络设备的特点而对接收的Syslog信息进行特别的处理：目前只能按IP地址和时间的不同来区分Syslog信息，不能按照优先级区分和存储Syslog信息。因此大量的普通信息淹没优先级高的信息，使维护人员不能及时发现网络设备的严重事件，延长了突发事件的响应时间。
二、目前的日志审查方式大多以定期方式进行，这样做的缺点是不能及时的分析日志中的信息，尤其在网络故障诊断时，定期审查的方式显得尤为不足。
由上可以看出，采用传统的Syslog信息分析方法很难满足网络管理的需求。因此，必须另辟蹊径。
发明内容
技术问题：本发明的目的是建立基于日志的智能自适应网络故障定位和分析方法，将海量日志数据按照优先级进行存储和深度挖掘，从多个维度分析基于Syslog的日志信息，及时发现网络劣化点，并能动态实时地进行告警。
技术方案：本发明基于日志的智能自适应网络故障定位和分析方法运用多维日志分析方法对日志数据进行统计，采用了哈希表和链表的结构来存储数据，该方法步骤为：
步骤1.统计周期内网络设备日志信息的每个优先级别的事件总数：将周期内的所有发生事件累加，
步骤2.统计事件类型的事件次数最大的N位：这部分采用16位长度的数组作为哈希表，通过将事件类型进行哈希函数运算以后快速定位到相应的链表进行查找，链表中的结点分别保存日志信息的设备地址，源地址，目的地址，事件类型，事件次数；当查找到有相同五元组的结点以后，将事件次数进行累加，若没有查找到相同的结点，则新建一个结点插入链表中；对事件次数排序，存入记录事件类型的事件总数排名前N位的表，
步骤3.统计按源地址分类的事件次数最大的N位：这部分依然采用16位长度的数组作为哈希表，通过将源地址进行哈希函数运算以后快速定位到相应的链表进行查找，链表中的结点保存日志信息的源地址、事件次数；当查找到有相同源地址的结点以后，将事件次数进行累加，若没有查找到相同结点，则新建一个结点插入链表中；对事件次数排序，存入记录源地址的事件总数排名前N位的表，
步骤4.统计按目的地址分类的事件总数最大的N位：这部分依然采用16位长度的数组作为哈希表，通过将目的地址进行哈希函数运算以后快速定位到相应的链表进行查找，链表中的结点保存日志信息的目的地址、事件总数；当查找到有相同目的地址的结点以后，将事件次数进行累加，若没有查找到相同结点，则新建一个结点插入链表中；对事件次数进行排序，存入记录目的地址的事件总数排名前N位的表，
步骤5.统计按端口号分类的事件总数最大的N位：这部分依然采用16位长的数组作为哈希表，链表中的结点用来保存端口号、事件次数；对事件次数进行排序，存入记录端口号的事件总数排名前N位的表，结束。
我们每种数据格式统计事件排名的前N位。管理员能够实时了解到各种统计数据中占比重较大的数据有哪些，有助于发现一些异常情况。
有益效果：通过基于日志的智能自适应网络故障定位和分析方法，我们能够解决以下问题：
(1)快速定位故障，保障网络可靠运行：日志信息分级别呈现，通过预设设备的报警状态值预警，可以帮助管理员及时方便地发现运行异常问题。
(2)加强网络安全等级，提高网络安全系数：可以根据日志数据提供的混合型病毒和蠕虫攻击的行为特征，确定网络攻击源，能对恶意代码入侵提供信息线索，从而实施预防或快速补救措施。
(3)动态添加“策略”，及时发现未知异常：根据以往的行为进行自动学习，并对未知事件进行异常检测，可以帮助管理员发现潜在危险。
附图说明
图1是基于Syslog的网络故障定位和分析的技术框架图。图中给出了日志数据处理的流程和接口。
图2数据挖掘模型。图中给出了数据挖掘在日志信息检测中的应用。
图3哈希表的结构。图中给出了哈希表在多维日志统计分析方法中的应用。
具体实施方式
本发明提出了一个基于Syslog的网络故障定位和分析的技术框架，如图1所示。从图1中可以看出，系统分为四个层次，从下往上依次是：
本文的关键在于数据存储层的日志预处理和业务逻辑层，这里对其实现方法进行详细说明。
1.日志预处理
我们将日志信息按优先级别进行划分和存储，下面就此进行讨论：
分析网络设备发送过来的SysLog日志数据格式，将各项信息提取出来，将设备的日志信息转换为统一的日志事件格式，从而非常方便的支持任意类型设备的事件规格化。Syslog格式是由RFC3164(The BSD syslog Protocol)定义的，并对消息头部进行扩展，是设备产生的基于事件的日志。其格式为：
<优先级>时间戳主机名模块名/级别/信息摘要:内容
<priority>timestamp sysname module/level/digest:content
■优先级
PRI：Priority Value，优先级。PRI中用二进制数的低三位表示Severity Code，高位表示Facility，PRI＝Facility x 8十Severity得到xyz。例如<138>为17×8+2，即表示其Facility为17，Severity为2。具体的Facility和Severity的含义如表1.1和表1.2所示。
| Numerical Code | Facility | 描述 |
| 0 | kernel messages | 内核日志消息 |
| 1 | user-level messages | 随机的用户日志消息 |
| 2 | mail system | 邮件系统日志消息 |
| 3 | system daemons | 系统守护进程日志消息 |
| 4 | security/authorization messages | 安全管理日志消息 |
| 5 | messages generated internally by syslogd | syslogd本身的日志消息 |
| 6 | line printer subsystem | 打印子系统日志消息 |
| 7 | network news subsystem | 新闻服务子系统日志消息 |
| 8 | UUCP subsystem | UUCP子系统日志消息 |
| 9 | clock daemon | 系统始终守护进程日志消息 |
| 10 | security/authorization messages | 私有的安全管理日志消息 |
| 11 | FTP daemon | FTP守护进程日志消息 |
| 12 | NTP subsystem | NTP系统日志消息 |
| 13 | log audit | 日志审计 |
| 14 | log alert | 日志警报 |
| 15 | clock daemon | 系统始终守护进程日志消息 |
| 16 | local use 0(local0) | 保留为本地使用0 |
| 17 | local use 1(local1) | 保留为本地使用1 |
| 18 | local use 2(local2) | 保留为本地使用2 |
| 19 | local use 3(local3) | 保留为本地使用3 |
| 20 | local use 4(local4) | 保留为本地使用4 |
| 21 | local use 5(local5) | 保留为本地使用5 |
| 22 | local use 6(local6) | 保留为本地使用6 |
| 23 | local use 7(local7) | 保留为本地使用7 |
表1.1优先级中Facility的详细信息
| NumericalCode | Severity | 描述 |
| 0 | Emergency：system is unusable | 紧急：系统不可用 |
| 1 | Alert：action must be taken immediately | 告警：应马上行动 |
| 2 | Critical：critical conditions | 严重：有严重情况发生 |
| 3 | Error：error conditions | 错误：错误消息 |
| 4 | Warning：warning conditions | 警告：警告消息 |
| 5 | Notice：normal but significant condition | 通知：正常但重要的消息 |
| 6 | Informational：informational messages | 信息：普通信息 |
| 7 | Debug：debug-level messages | 调试：调试信息(大量) |
表1.2优先级中Severity的详细信息
因此，将网络设备的日志信息划分为八大级别，如表1.3所示，并在数据库中进行分别存储。
| 日志级别 | 日志级别描述 | 系统状态 |
| 0 | 紧急(Emergencies) | 系统不可用 |
| 1 | 告警(Alerts) | 应马上行动 |
| 2 | 严重的(Critical) | 有严重情况发生 |
| 3 | 错误(Errors) | 错误消息 |
| 4 | 警告(Warnings) | 警告消息 |
| 5 | 通知(Notifications) | 正常但重要的消息 |
| 6 | 信息(Informational) | 普通信息 |
| 7 | 调试(debugging) | 调试信息(大量) |
表1.3网络设备日志信息级别
2.业务逻辑层
在业务逻辑层，将数据挖掘运用到日志信息检测中，如图2所示。包括两方面的内容：基于时间序列的增量聚类分析和多维日志统计分析。
■基于时间序列的增量聚类分析
基于时间序列的增量聚类分析主要考虑的是日志信息中关键事件类型的获取即“策略”的获得。“策略”包含了管理员对于一些异常事件的定义和系统运行所需要的参数。聚类分析结果又能够对“策略”库进行补充，这样能够使得系统能够适应环境的变化。
具体方法如下：
1)选择一个固定的统计时间(5分钟，2小时或6小时)作为标准，把一段时间内的日志数据按此标准进行时间域划分，同时把第一个时间域的日志数据分配到第一个类里。
2)对于目前的时间域认为是检测阶段，之前的所有时间域认为是比较阶段。对于检测阶段的日志数据，把它分配到比较阶段的某个类或者一个新类中。该分配是基于一些标准的。例如新日志数据到目前类的重心的距离。在这种情况下，每次添加一个时间域内的日志数据到目前的类中，需要重新计算重心的值。
在分析中，如果出现新的类别，则发出警告。当检测阶段的数据特征与比较阶段的数据特征距离相差超过一个限定值时则认为新的类别产生。管理员在此基础上添加“策略”。
■多维日志统计分析
主要从以下几个方面对日志信息进行统计分析：①计算周期内网络设备的每个优先级别的事件总数；②事件类型的事件总数最大的N位；③按源地址分类的事件总数最大的N位；④按目的地址分类的事件总数最大的N位；⑤按端口号(应用)分类的流量值最大的N位。为了能够快速进行统计，主要采用了哈希表和链表的结构来存储数据。根据统计的类别不同，具体的哈希表的大小和哈希算法会有所不同。主要结构如图3所示。
根据本方法开发出的基于日志的智能自适应网络故障定位和分析方法在广电城域网上得到了具体验证。
系统硬件主要由日志数据库服务器、日志管理服务器、日志管理查询终端三部分组成。考虑到数据备份问题，配置两台高性能数据库服务器作双机热备，同时配置一台日志管理服务器作为核心的日志接收和处理设备。系统的数据库服务器和日志管理服务器部署在网络传输部，日志管理查询终端则可以分布在不同的分支部门供其使用。
数据库服务器为整个系统的核心实体，用于存放所有的原始日志和提炼后的日志信息及其相关系统信息。日志管理服务器接收来自各个设备的日志信息，经过过滤、解析、提取、清洗、挖掘之后，将关键的日志信息呈现在界面上，并触发告警判断机制进行实时告警。同时将信息存储入数据库中。
该方法步骤为：
步骤1.统计周期内网络设备日志信息的每个优先级别的事件总数：将周期内的所有发生事件累加，
步骤2.统计事件类型的事件次数最大的N位：这部分采用16位长度的数组作为哈希表，通过将事件类型进行哈希函数运算以后快速定位到相应的链表进行查找，链表中的结点分别保存日志信息的设备地址，源地址，目的地址，事件类型，事件次数；当查找到有相同五元组的结点以后，将事件次数进行累加，若没有查找到相同的结点，则新建一个结点插入链表中；对事件次数排序，存入记录事件类型的事件总数排名前N位的表，
步骤3.统计按源地址分类的事件次数最大的N位：这部分依然采用16位长度的数组作为哈希表，通过将源地址进行哈希函数运算以后快速定位到相应的链表进行查找，链表中的结点保存日志信息的源地址、事件次数；当查找到有相同源地址的结点以后，将事件次数进行累加，若没有查找到相同结点，则新建一个结点插入链表中；对事件次数排序，存入记录源地址的事件总数排名前N位的表，
步骤4.统计按目的地址分类的事件总数最大的N位：这部分依然采用16位长度的数组作为哈希表，通过将目的地址进行哈希函数运算以后快速定位到相应的链表进行查找，链表中的结点保存日志信息的目的地址、事件总数；当查找到有相同目的地址的结点以后，将事件次数进行累加，若没有查找到相同结点，则新建一个结点插入链表中；对事件次数进行排序，存入记录目的地址的事件总数排名前N位的表，
步骤5.统计按端口号分类的事件总数最大的N位：这部分依然采用16位长的数组作为哈希表，链表中的结点用来保存端口号、事件次数；对事件次数进行排序，存入记录端口号的事件总数排名前N位的表，结束。
Claims (1)
1.一种基于日志的智能自适应网络故障定位和分析方法，其特征在于运用多维日志分析方法对日志数据进行统计，采用哈希表和链表的结构来存储数据，该方法步骤为：
步骤1.统计周期内网络设备日志信息的每个优先级别的事件总数：将周期内的所有发生事件累加，
步骤2.统计事件类型的事件次数最大的N位：这部分采用16位长度的数组作为哈希表，通过将事件类型进行哈希函数运算以后快速定位到相应的链表进行查找，链表中的结点分别保存日志信息的设备地址，源地址，目的地址，事件类型，事件次数；当查找到有相同五元组的结点以后，将事件次数进行累加，若没有查找到相同的结点，则新建一个结点插入链表中；对事件次数排序，存入记录事件类型的事件总数排名前N位的表，
步骤3.统计按源地址分类的事件次数最大的N位：这部分依然采用16位长度的数组作为哈希表，通过将源地址进行哈希函数运算以后快速定位到相应的链表进行查找，链表中的结点保存日志信息的源地址、事件次数；当查找到有相同源地址的结点以后，将事件次数进行累加，若没有查找到相同结点，则新建一个结点插入链表中；对事件次数排序，存入记录源地址的事件总数排名前N位的表，
步骤4.统计按目的地址分类的事件总数最大的N位：这部分依然采用16位长度的数组作为哈希表，通过将目的地址进行哈希函数运算以后快速定位到相应的链表进行查找，链表中的结点保存日志信息的目的地址、事件总数；当查找到有相同目的地址的结点以后，将事件次数进行累加，若没有查找到相同结点，则新建一个结点插入链表中；对事件次数进行排序，存入记录目的地址的事件总数排名前N位的表，
步骤5.统计按端口号分类的事件总数最大的N位：这部分依然采用16位长的数组作为哈希表，链表中的结点用来保存端口号、事件次数；对事件次数进行排序，存入记录端口号的事件总数排名前N位的表，结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101241955A CN101325520B (zh) | 2008-06-17 | 2008-06-17 | 基于日志的智能自适应网络故障定位和分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101241955A CN101325520B (zh) | 2008-06-17 | 2008-06-17 | 基于日志的智能自适应网络故障定位和分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101325520A true CN101325520A (zh) | 2008-12-17 |
| CN101325520B CN101325520B (zh) | 2010-08-18 |
Family
ID=40188862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008101241955A Expired - Fee Related CN101325520B (zh) | 2008-06-17 | 2008-06-17 | 基于日志的智能自适应网络故障定位和分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101325520B (zh) |
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102185710A (zh) * | 2011-04-26 | 2011-09-14 | 中兴通讯股份有限公司 | 一种单板日志的管理方法及日志管理系统 |
| CN102946429A (zh) * | 2012-11-07 | 2013-02-27 | 浪潮电子信息产业股份有限公司 | 一种基于云存储的高效资源动态调度方法 |
| CN103036697A (zh) * | 2011-10-08 | 2013-04-10 | 阿里巴巴集团控股有限公司 | 一种多维度数据去重方法及系统 |
| CN103138989A (zh) * | 2013-02-25 | 2013-06-05 | 武汉华工安鼎信息技术有限责任公司 | 一种海量日志分析系统及方法 |
| CN103200027A (zh) * | 2013-03-01 | 2013-07-10 | 中国工商银行股份有限公司 | 一种定位网络故障的方法、装置及系统 |
| CN101753382B (zh) * | 2010-01-25 | 2013-07-24 | 浪潮通信信息系统有限公司 | 一种自适应网络故障监控定位安全模型的构建方法 |
| CN103401310A (zh) * | 2013-08-07 | 2013-11-20 | 宁波瑞曼特新材料有限公司 | 一种适用于智能变电站一次设备智能化的智能组件 |
| CN103617109A (zh) * | 2013-10-23 | 2014-03-05 | 上海华力微电子有限公司 | 探针机台日志文件的警告处理系统和方法 |
| CN103761173A (zh) * | 2013-12-28 | 2014-04-30 | 华中科技大学 | 一种基于日志的计算机系统故障诊断方法及装置 |
| CN103793479A (zh) * | 2014-01-14 | 2014-05-14 | 上海上讯信息技术股份有限公司 | 日志管理方法及系统 |
| CN104268064A (zh) * | 2014-09-11 | 2015-01-07 | 百度在线网络技术（北京）有限公司 | 产品日志的异常诊断方法和装置 |
| CN104462606A (zh) * | 2014-12-31 | 2015-03-25 | 中国科学院深圳先进技术研究院 | 一种基于日志数据确定诊断处理措施的方法 |
| CN104750694A (zh) * | 2013-12-26 | 2015-07-01 | 北京亿阳信通科技有限公司 | 一种移动网络信息溯源方法和装置 |
| CN104951555A (zh) * | 2015-06-30 | 2015-09-30 | 浪潮(北京)电子信息产业有限公司 | 一种日志信息管理方法及日志信息管理终端 |
| CN105243147A (zh) * | 2015-10-22 | 2016-01-13 | 浪潮(北京)电子信息产业有限公司 | 一种MySQL数据库慢查询日志的管理方法及系统 |
| CN105471659A (zh) * | 2015-12-25 | 2016-04-06 | 华为技术有限公司 | 一种故障根因分析方法和分析设备 |
| CN105528280A (zh) * | 2015-11-30 | 2016-04-27 | 中电科华云信息技术有限公司 | 系统日志与健康监控关系决定日志告警等级的方法及系统 |
| CN105577440A (zh) * | 2015-12-24 | 2016-05-11 | 华为技术有限公司 | 一种网络故障时间定位方法和分析设备 |
| CN105930348A (zh) * | 2016-04-06 | 2016-09-07 | 广州广电运通金融电子股份有限公司 | 一种基于日志分析的故障定位方法及装置 |
| CN106055608A (zh) * | 2016-05-25 | 2016-10-26 | 北京百度网讯科技有限公司 | 自动采集和分析交换机日志的方法和装置 |
| CN106339297A (zh) * | 2016-09-14 | 2017-01-18 | 郑州云海信息技术有限公司 | 一种存储系统故障实时告警的方法及系统 |
| CN107241220A (zh) * | 2017-05-26 | 2017-10-10 | 京信通信系统（中国）有限公司 | 产品老化监控自动分析方法和系统 |
| CN107454614A (zh) * | 2016-05-31 | 2017-12-08 | 迈普通信技术股份有限公司 | 一种定位Modem死机的方法及装置 |
| CN108111557A (zh) * | 2016-11-24 | 2018-06-01 | 杭州海康威视数字技术股份有限公司 | 一种获取云存储系统中数据的方法及装置 |
| CN108984362A (zh) * | 2017-05-31 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 日志采集方法及装置、存储介质、电子设备 |
| CN109766254A (zh) * | 2018-12-17 | 2019-05-17 | 上海华讯网络系统有限公司 | It系统运维监控数据辅助预处理方法和系统 |
| CN110188082A (zh) * | 2019-04-25 | 2019-08-30 | 视联动力信息技术股份有限公司 | 一种日志文件的处理方法及装置 |
| WO2019205697A1 (zh) * | 2018-04-23 | 2019-10-31 | 华为技术有限公司 | 告警日志压缩方法、装置及系统、存储介质 |
| CN110677271A (zh) * | 2019-08-16 | 2020-01-10 | 平安科技（深圳）有限公司 | 基于elk的大数据告警方法、装置、设备及存储介质 |
| CN111555895A (zh) * | 2019-02-12 | 2020-08-18 | 北京数安鑫云信息技术有限公司 | 一种分析网站故障的方法、装置、存储介质及计算机设备 |
| CN112181758A (zh) * | 2020-08-19 | 2021-01-05 | 南京邮电大学 | 一种基于网络拓扑及实时告警的故障根因定位方法 |
| WO2021136317A1 (zh) * | 2019-12-30 | 2021-07-08 | 论客科技（广州）有限公司 | 一种基于组织内部邮件日志分析的安全可视化方法及系统 |
| CN113407592A (zh) * | 2021-06-07 | 2021-09-17 | 深圳明锐理想科技有限公司 | 一种pcb生产线故障定位方法和设备 |
| US11243835B1 (en) | 2020-12-03 | 2022-02-08 | International Business Machines Corporation | Message-based problem diagnosis and root cause analysis |
| CN114024838A (zh) * | 2021-11-26 | 2022-02-08 | 北京天融信网络安全技术有限公司 | 日志处理方法、装置及电子设备 |
| CN114089722A (zh) * | 2021-11-17 | 2022-02-25 | 国家石油天然气管网集团有限公司 | 一种输气站场工控网络通讯故障便携式诊断方法 |
| US11403326B2 (en) | 2020-12-03 | 2022-08-02 | International Business Machines Corporation | Message-based event grouping for a computing operation |
| US11474892B2 (en) | 2020-12-03 | 2022-10-18 | International Business Machines Corporation | Graph-based log sequence anomaly detection and problem diagnosis |
| US11513930B2 (en) | 2020-12-03 | 2022-11-29 | International Business Machines Corporation | Log-based status modeling and problem diagnosis for distributed applications |
| US11599404B2 (en) | 2020-12-03 | 2023-03-07 | International Business Machines Corporation | Correlation-based multi-source problem diagnosis |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11995562B2 (en) | 2020-12-03 | 2024-05-28 | International Business Machines Corporation | Integrating documentation knowledge with log mining for system diagnosis |
| US11797538B2 (en) | 2020-12-03 | 2023-10-24 | International Business Machines Corporation | Message correlation extraction for mainframe operation |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100518076C (zh) * | 2004-01-02 | 2009-07-22 | 联想(北京)有限公司 | 日志统计方法和系统 |
| CN100534084C (zh) * | 2006-07-10 | 2009-08-26 | 北京工业大学 | 远程xml数据更新方法以及系统 |
| CN100518089C (zh) * | 2006-07-19 | 2009-07-22 | 华为技术有限公司 | 安全事件关联分析方法和系统 |
-
2008
- 2008-06-17 CN CN2008101241955A patent/CN101325520B/zh not_active Expired - Fee Related
Cited By (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101753382B (zh) * | 2010-01-25 | 2013-07-24 | 浪潮通信信息系统有限公司 | 一种自适应网络故障监控定位安全模型的构建方法 |
| CN102185710A (zh) * | 2011-04-26 | 2011-09-14 | 中兴通讯股份有限公司 | 一种单板日志的管理方法及日志管理系统 |
| CN103036697A (zh) * | 2011-10-08 | 2013-04-10 | 阿里巴巴集团控股有限公司 | 一种多维度数据去重方法及系统 |
| CN103036697B (zh) * | 2011-10-08 | 2015-07-15 | 阿里巴巴集团控股有限公司 | 一种多维度数据去重方法及系统 |
| CN102946429A (zh) * | 2012-11-07 | 2013-02-27 | 浪潮电子信息产业股份有限公司 | 一种基于云存储的高效资源动态调度方法 |
| CN103138989A (zh) * | 2013-02-25 | 2013-06-05 | 武汉华工安鼎信息技术有限责任公司 | 一种海量日志分析系统及方法 |
| CN103138989B (zh) * | 2013-02-25 | 2016-12-28 | 武汉华工安鼎信息技术有限责任公司 | 一种海量日志分析系统及方法 |
| CN103200027A (zh) * | 2013-03-01 | 2013-07-10 | 中国工商银行股份有限公司 | 一种定位网络故障的方法、装置及系统 |
| CN103401310A (zh) * | 2013-08-07 | 2013-11-20 | 宁波瑞曼特新材料有限公司 | 一种适用于智能变电站一次设备智能化的智能组件 |
| CN103401310B (zh) * | 2013-08-07 | 2016-08-17 | 宁波瑞曼特新材料有限公司 | 一种适用于智能变电站一次设备智能化的智能组件 |
| CN103617109B (zh) * | 2013-10-23 | 2016-04-27 | 上海华力微电子有限公司 | 探针机台日志文件的警告处理系统和方法 |
| CN103617109A (zh) * | 2013-10-23 | 2014-03-05 | 上海华力微电子有限公司 | 探针机台日志文件的警告处理系统和方法 |
| CN104750694A (zh) * | 2013-12-26 | 2015-07-01 | 北京亿阳信通科技有限公司 | 一种移动网络信息溯源方法和装置 |
| CN104750694B (zh) * | 2013-12-26 | 2019-02-05 | 北京亿阳信通科技有限公司 | 一种移动网络信息溯源方法和装置 |
| CN103761173A (zh) * | 2013-12-28 | 2014-04-30 | 华中科技大学 | 一种基于日志的计算机系统故障诊断方法及装置 |
| CN103793479A (zh) * | 2014-01-14 | 2014-05-14 | 上海上讯信息技术股份有限公司 | 日志管理方法及系统 |
| CN104268064A (zh) * | 2014-09-11 | 2015-01-07 | 百度在线网络技术（北京）有限公司 | 产品日志的异常诊断方法和装置 |
| CN104268064B (zh) * | 2014-09-11 | 2018-03-27 | 北京音之邦文化科技有限公司 | 产品日志的异常诊断方法和装置 |
| CN104462606A (zh) * | 2014-12-31 | 2015-03-25 | 中国科学院深圳先进技术研究院 | 一种基于日志数据确定诊断处理措施的方法 |
| CN104462606B (zh) * | 2014-12-31 | 2018-06-22 | 中国科学院深圳先进技术研究院 | 一种基于日志数据确定诊断处理措施的方法 |
| CN104951555A (zh) * | 2015-06-30 | 2015-09-30 | 浪潮(北京)电子信息产业有限公司 | 一种日志信息管理方法及日志信息管理终端 |
| CN105243147A (zh) * | 2015-10-22 | 2016-01-13 | 浪潮(北京)电子信息产业有限公司 | 一种MySQL数据库慢查询日志的管理方法及系统 |
| CN105528280A (zh) * | 2015-11-30 | 2016-04-27 | 中电科华云信息技术有限公司 | 系统日志与健康监控关系决定日志告警等级的方法及系统 |
| CN105577440B (zh) * | 2015-12-24 | 2019-06-11 | 华为技术有限公司 | 一种网络故障时间定位方法和分析设备 |
| CN105577440A (zh) * | 2015-12-24 | 2016-05-11 | 华为技术有限公司 | 一种网络故障时间定位方法和分析设备 |
| CN105471659A (zh) * | 2015-12-25 | 2016-04-06 | 华为技术有限公司 | 一种故障根因分析方法和分析设备 |
| CN105471659B (zh) * | 2015-12-25 | 2019-03-01 | 华为技术有限公司 | 一种故障根因分析方法和分析设备 |
| CN105930348A (zh) * | 2016-04-06 | 2016-09-07 | 广州广电运通金融电子股份有限公司 | 一种基于日志分析的故障定位方法及装置 |
| CN106055608A (zh) * | 2016-05-25 | 2016-10-26 | 北京百度网讯科技有限公司 | 自动采集和分析交换机日志的方法和装置 |
| CN106055608B (zh) * | 2016-05-25 | 2019-06-07 | 北京百度网讯科技有限公司 | 自动采集和分析交换机日志的方法和装置 |
| CN107454614A (zh) * | 2016-05-31 | 2017-12-08 | 迈普通信技术股份有限公司 | 一种定位Modem死机的方法及装置 |
| CN106339297B (zh) * | 2016-09-14 | 2020-10-02 | 郑州云海信息技术有限公司 | 一种存储系统故障实时告警的方法及系统 |
| CN106339297A (zh) * | 2016-09-14 | 2017-01-18 | 郑州云海信息技术有限公司 | 一种存储系统故障实时告警的方法及系统 |
| CN108111557A (zh) * | 2016-11-24 | 2018-06-01 | 杭州海康威视数字技术股份有限公司 | 一种获取云存储系统中数据的方法及装置 |
| CN107241220A (zh) * | 2017-05-26 | 2017-10-10 | 京信通信系统（中国）有限公司 | 产品老化监控自动分析方法和系统 |
| CN108984362A (zh) * | 2017-05-31 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 日志采集方法及装置、存储介质、电子设备 |
| KR102520044B1 (ko) | 2018-04-23 | 2023-04-11 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 경보 로그 압축 방법, 장치, 및 시스템, 및 저장 매체 |
| US11436196B2 (en) | 2018-04-23 | 2022-09-06 | Huawei Technologies Co., Ltd. | Alarm log compression method, apparatus, and system, and storage medium |
| WO2019205697A1 (zh) * | 2018-04-23 | 2019-10-31 | 华为技术有限公司 | 告警日志压缩方法、装置及系统、存储介质 |
| KR20210002602A (ko) * | 2018-04-23 | 2021-01-08 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 경보 로그 압축 방법, 장치, 및 시스템, 및 저장 매체 |
| CN109766254A (zh) * | 2018-12-17 | 2019-05-17 | 上海华讯网络系统有限公司 | It系统运维监控数据辅助预处理方法和系统 |
| CN109766254B (zh) * | 2018-12-17 | 2022-04-08 | 上海华讯网络系统有限公司 | It系统运维监控数据辅助预处理方法和系统 |
| CN111555895A (zh) * | 2019-02-12 | 2020-08-18 | 北京数安鑫云信息技术有限公司 | 一种分析网站故障的方法、装置、存储介质及计算机设备 |
| CN111555895B (zh) * | 2019-02-12 | 2023-02-21 | 北京数安鑫云信息技术有限公司 | 一种分析网站故障的方法、装置、存储介质及计算机设备 |
| CN110188082A (zh) * | 2019-04-25 | 2019-08-30 | 视联动力信息技术股份有限公司 | 一种日志文件的处理方法及装置 |
| CN110677271A (zh) * | 2019-08-16 | 2020-01-10 | 平安科技（深圳）有限公司 | 基于elk的大数据告警方法、装置、设备及存储介质 |
| CN110677271B (zh) * | 2019-08-16 | 2022-06-24 | 平安科技（深圳）有限公司 | 基于elk的大数据告警方法、装置、设备及存储介质 |
| WO2021136317A1 (zh) * | 2019-12-30 | 2021-07-08 | 论客科技（广州）有限公司 | 一种基于组织内部邮件日志分析的安全可视化方法及系统 |
| CN112181758B (zh) * | 2020-08-19 | 2023-07-28 | 南京邮电大学 | 一种基于网络拓扑及实时告警的故障根因定位方法 |
| CN112181758A (zh) * | 2020-08-19 | 2021-01-05 | 南京邮电大学 | 一种基于网络拓扑及实时告警的故障根因定位方法 |
| US11513930B2 (en) | 2020-12-03 | 2022-11-29 | International Business Machines Corporation | Log-based status modeling and problem diagnosis for distributed applications |
| US11403326B2 (en) | 2020-12-03 | 2022-08-02 | International Business Machines Corporation | Message-based event grouping for a computing operation |
| US11474892B2 (en) | 2020-12-03 | 2022-10-18 | International Business Machines Corporation | Graph-based log sequence anomaly detection and problem diagnosis |
| US11599404B2 (en) | 2020-12-03 | 2023-03-07 | International Business Machines Corporation | Correlation-based multi-source problem diagnosis |
| US11243835B1 (en) | 2020-12-03 | 2022-02-08 | International Business Machines Corporation | Message-based problem diagnosis and root cause analysis |
| CN113407592A (zh) * | 2021-06-07 | 2021-09-17 | 深圳明锐理想科技有限公司 | 一种pcb生产线故障定位方法和设备 |
| CN113407592B (zh) * | 2021-06-07 | 2023-11-03 | 深圳明锐理想科技有限公司 | 一种pcb生产线故障定位方法和设备 |
| CN114089722A (zh) * | 2021-11-17 | 2022-02-25 | 国家石油天然气管网集团有限公司 | 一种输气站场工控网络通讯故障便携式诊断方法 |
| CN114089722B (zh) * | 2021-11-17 | 2024-03-26 | 国家石油天然气管网集团有限公司 | 一种输气站场工控网络通讯故障便携式诊断方法 |
| CN114024838A (zh) * | 2021-11-26 | 2022-02-08 | 北京天融信网络安全技术有限公司 | 日志处理方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101325520B (zh) | 2010-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101325520B (zh) | 基于日志的智能自适应网络故障定位和分析方法 | |
| CN106371986A (zh) | 一种日志处理运维监控系统 | |
| Vaarandi | A data clustering algorithm for mining patterns from event logs | |
| CN109902072A (zh) | 一种日志处理系统 | |
| CN111309565B (zh) | 告警处理方法、装置、电子设备以及计算机可读存储介质 | |
| CN100518076C (zh) | 日志统计方法和系统 | |
| CN102918534A (zh) | 查询管道 | |
| Zhe et al. | DoS attack detection model of smart grid based on machine learning method | |
| CN111259073A (zh) | 基于日志、流量和业务访问的业务系统运行状态智能研判系统 | |
| CN105721198A (zh) | 一种视频监控系统日志安全审计方法 | |
| CN104574219A (zh) | 电网业务信息系统运行工况的监测预警方法及系统 | |
| CN111782345B (zh) | 容器云平台日志收集及分析告警方法 | |
| CN108259202A (zh) | 一种ca监测预警方法和ca监测预警系统 | |
| CN112416872A (zh) | 一种基于大数据的云平台日志管理系统 | |
| CN111274276A (zh) | 操作审计方法、装置及电子设备和计算机可读存储介质 | |
| RU180789U1 (ru) | Устройство аудита информационной безопасности в автоматизированных системах | |
| Liu et al. | Big Data architecture for IT incident management | |
| CN107590008A (zh) | 一种通过加权熵判断分布式集群可靠度的方法和系统 | |
| CN114531338A (zh) | 一种基于调用链数据的监控告警和溯源方法及系统 | |
| CN113778671A (zh) | 一种日志数据处理方法、系统及装置 | |
| CN112769755A (zh) | 一种面向威胁检测的dns日志统计特征抽取方法 | |
| CN113608457A (zh) | 一种网络运维监控系统 | |
| CN113037551A (zh) | 一种基于流量切片的涉敏业务快速识别定位方法 | |
| Chandra et al. | Co-designing the failure analysis and monitoring of large-scale systems | |
| CN103401711A (zh) | 基于安全日志的网络状态分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C53 | Correction of patent of invention or patent application | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Pan Inventor after: Zhang Shunyi Inventor after: Li Tian Inventor before: Zhang Shunyi Inventor before: Li Tian Inventor before: Wang Pan |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: ZHANG SHUNYI LI TIAN WANG PAN TO: WANG PAN ZHANG SHUNYI LI TIAN |
|
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20081217 Assignee: Zhongbo Information Technology Research Institute Co., Ltd. Assignor: Nanjing Post & Telecommunication Univ. Contract record no.: 2016320000103 Denomination of invention: Method for locating and analyzing fault of intelligent self-adapting network based on log Granted publication date: 20100818 License type: Exclusive License Record date: 20160307 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: Zhongbo Information Technology Research Institute Co., Ltd. Assignor: Nanjing Post & Telecommunication Univ. Contract record no.: 2016320000103 Date of cancellation: 20160329 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20160519 Address after: 215123, room 188, comprehensive building, 203 Ai Ai Road, Suzhou Industrial Park, Jiangsu, Suzhou Patentee after: RunTrend Technology Inc. Address before: 210003 Nanjing City, Jiangsu Province, the new model road No. 66 Patentee before: Nanjing Post & Telecommunication Univ. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100818 Termination date: 20210617 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |