CN106339303A - 一种运行日志异常分析方法 - Google Patents
一种运行日志异常分析方法 Download PDFInfo
- Publication number
- CN106339303A CN106339303A CN201610705977.2A CN201610705977A CN106339303A CN 106339303 A CN106339303 A CN 106339303A CN 201610705977 A CN201610705977 A CN 201610705977A CN 106339303 A CN106339303 A CN 106339303A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- information
- exception
- running log
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims abstract description 119
- 238000004458 analytical method Methods 0.000 claims abstract description 29
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 230000008676 import Effects 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种运行日志异常分析方法，所述方法通过对应用程序运行日志进行分析，统计程序运行时发生的各种异常信息，生成异常分析报表，以便开发人员对程序异常方便准确的定位，分析异常原因，分析异常出现的频率及异常相关信息。本发明可以更加快捷、准确的对异常问题信息进行收集、统计，对于程序的修改及优化提供便利条件，尤其对异常的风险级别（异常出现的频率）有着直观的体现。
Description
技术领域
本发明涉及应用程序运行分析技术领域，具体涉及一种运行日志异常分析方法。
背景技术
随着应用规模的逐步增大，应用出现的问题也会相应更多，问题也会错综复杂，解决问题的难度也会越来越大。甚至有些时候开发人员没有意识到异常问题而错过修改问题的时机。
传统的开发人员遇到异常问题，日志的位需要手动定位异常置，寻找问题的相关信息，从而分析解决问题。
发明内容
本发明要解决的技术问题是：本发明针对以上问题，提供一种运行日志异常分析方法，可以更加快捷、准确的对异常问题信息进行收集、统计，对于程序的修改及优化提供便利条件，尤其对异常的风险级别（异常出现的频率）有着直观的体现。
可以有效的识别异常信息，收集异常信息，统计分析。将异常问题集中展现，让问题一目了然，提高问题识别效率，对异常的出现频率有着直观的体现，对于程序的修改及优化提供便利条件，从而让应用程序运行的更稳定，提高产品的市场竞争力。
本发明所采用的技术方案为：
一种运行日志异常分析方法，所述方法通过对应用程序运行日志进行分析，统计程序运行时发生的各种异常信息，生成异常分析报表，以便开发人员对程序异常方便准确的定位，分析异常原因，分析异常出现的频率及异常相关信息。
所述运行日志异常分析方法包括步骤如下：
日志文件加载：选择一个或多个文件导入到运行日志异常分析系统中，进行文件加载，用于过滤异常信息，异常信息匹配；
异常信息识别：识别日志文件中所有异常信息，包括自定义异常、系统运行异常；
异常定位：定位异常的出处及异常信息，包括异常的触发时间、异常代码文件名称及行数、异常的描述信息、异常的业务标识、异常的主体、异常的引发异常；
异常信息收集：将定位到的异常信息，进行收集，存储到缓存并同步到指定文件中，用以统计分析；
统计检索：检索异常的信息；
生成报表：根据指定条件分组统计生成报表，其中指定条件包括报表条件和分组条件，报表条件包括：开始时间、结束时间、代码文件名称、异常的业务标识、异常的主体；分组条件包括：异常的主体、异常的业务标识。
所述异常信息识别中的异常信息，系统默认匹配“Exception”关键字，异常信息识别支持日志模版匹配、模糊匹配，异常模版格式匹配规则。
所述统计检索中指定条件包括：开始时间、结束时间、代码文件名称、异常的业务标识、异常的主体，并支持多条件匹配。
所述方法流程如下：
1）首先选择一个或多个日志文件导入日志分析系统，系统加载日志文件；
2）系统根据模版格式将日志中的每条日志分隔出独立的完整的日志信息，然后识别日志中的异常日志；
3）将匹配的日志识别出来并收集异常信息；
4）将收集到的异常信息缓存到内存并备份存储到指定文件中便于以后再次使用；
5）系统根据用户选择生成不同的查询报表。
本发明的有益效果为：
本发明可以更加快捷、准确的对异常问题信息进行收集、统计，对于程序的修改及优化提供便利条件，尤其对异常的风险级别（异常出现的频率）有着直观的体现。
具体实施方式
根据具体实施方式对本发明进一步说明：
实施例1：
一种运行日志异常分析方法，所述方法通过对应用程序运行日志进行分析，统计程序运行时发生的各种异常信息，生成异常分析报表，以便开发人员对程序异常方便准确的定位，分析异常原因，分析异常出现的频率及异常相关信息。
实施例2
在实施例1的基础上，本实施例所述运行日志异常分析方法包括步骤如下：
日志文件加载：选择一个或多个文件导入到运行日志异常分析系统中，进行文件加载，用于过滤异常信息，异常信息匹配；
异常信息识别：识别日志文件中所有异常信息，包括自定义异常、系统运行异常；
异常定位：定位异常的出处及异常信息，包括异常的触发时间、异常代码文件名称及行数、异常的描述信息、异常的业务标识、异常的主体、异常的引发异常（Cause By）；
异常信息收集：将定位到的异常信息，进行收集，存储到缓存并同步到指定文件中，用以统计分析；
统计检索：检索异常的信息；
生成报表：根据指定条件分组统计生成报表，其中指定条件包括报表条件和分组条件，报表条件包括：开始时间、结束时间、代码文件名称、异常的业务标识、异常的主体；分组条件包括：异常的主体、异常的业务标识。
实施例3
在实施例2的基础上，本实施例所述异常信息识别中的异常信息，系统默认匹配“Exception”关键字，异常信息识别支持日志模版匹配、模糊匹配，异常模版格式匹配等规则，
实施例4
在实施例2的基础上，本实施例所述统计检索中用户可以通过指定条件检索需要查询的异常信息，指定条件包括：开始时间、结束时间、代码文件名称、异常的业务标识、异常的主体，并支持多条件匹配。如查看一天内日志报表业务的异常列表，需要选择查询时间和日志报表业务标识即可。
实施例5
在实施例2、3或4的基础上，本实施例所述方法流程如下：
1）首先选择一个或多个日志文件导入日志分析系统，系统加载日志文件；
2）因为程序的运行日志都具有固定的模版格式，系统会根据模版格式将日志中的每条日志分隔出独立的完整的日志信息，然后识别日志中的异常日志；
3）将匹配的日志识别出来并收集异常信息，包括异常的触发时间、异常代码文件名称及行数、异常的描述信息、异常的业务标识、异常的主体、异常的引发异常（Cause By）；
4）将收集到的异常信息缓存到内存并备份存储到指定文件中便于以后再次使用；
用户可以通过指定条件检索需要查询的异常信息，条件支持多条件匹配。条件包括：开始时间、结束时间、代码文件名称、异常的业务标识、异常的主体；如查看一天内日志报表业务的异常列表，需要选择查询时间和日志报表业务标识即可；
用户可以根据不同的检索条件有效的分析不同业务的异常情况、哪种异常频繁的触发、哪个文件的代码有异常问题等等，极大方便用户定位问题、分析问题、从而解决问题；
5）系统根据用户选择生成不同的查询报表。
实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
Claims (5)
1.一种运行日志异常分析方法，其特征在于，所述方法通过对应用程序运行日志进行分析，统计程序运行时发生的各种异常信息，生成异常分析报表，以便开发人员对程序异常方便准确的定位，分析异常原因，分析异常出现的频率及异常相关信息。
2.根据权利要求1所述的一种运行日志异常分析方法，其特征在于，所述运行日志异常分析方法包括步骤如下：
日志文件加载：选择一个或多个文件导入到运行日志异常分析系统中，进行文件加载，用于过滤异常信息，异常信息匹配；
异常信息识别：识别日志文件中所有异常信息，包括自定义异常、系统运行异常；
异常定位：定位异常的出处及异常信息，包括异常的触发时间、异常代码文件名称及行数、异常的描述信息、异常的业务标识、异常的主体、异常的引发异常；
异常信息收集：将定位到的异常信息，进行收集，存储到缓存并同步到指定文件中，用以统计分析；
统计检索：检索异常的信息；
生成报表：根据指定条件分组统计生成报表，其中指定条件包括报表条件和分组条件，报表条件包括：开始时间、结束时间、代码文件名称、异常的业务标识、异常的主体；分组条件包括：异常的主体、异常的业务标识。
3.根据权利要求2所述的一种运行日志异常分析方法，其特征在于，所述异常信息识别中的异常信息，系统默认匹配“Exception”关键字，异常信息识别支持日志模版匹配、模糊匹配，异常模版格式匹配规则。
4.根据权利要求2所述的一种运行日志异常分析方法，其特征在于，所述统计检索中指定条件包括：开始时间、结束时间、代码文件名称、异常的业务标识、异常的主体，并支持多条件匹配。
5.根据权利要求2、3或4任一所述的一种运行日志异常分析方法，其特征在于，所述方法流程如下：
1）首先选择一个或多个日志文件导入日志分析系统，系统加载日志文件；
2）系统根据模版格式将日志中的每条日志分隔出独立的完整的日志信息，然后识别日志中的异常日志；
3）将匹配的日志识别出来并收集异常信息；
4）将收集到的异常信息缓存到内存并备份存储到指定文件中便于以后再次使用；
5）系统根据用户选择生成不同的查询报表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610705977.2A CN106339303A (zh) | 2016-08-23 | 2016-08-23 | 一种运行日志异常分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610705977.2A CN106339303A (zh) | 2016-08-23 | 2016-08-23 | 一种运行日志异常分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106339303A true CN106339303A (zh) | 2017-01-18 |
Family
ID=57825171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610705977.2A Pending CN106339303A (zh) | 2016-08-23 | 2016-08-23 | 一种运行日志异常分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106339303A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766208A (zh) * | 2017-10-27 | 2018-03-06 | 深圳市中润四方信息技术有限公司 | 一种监控业务系统的方法、系统及装置 |
| CN107870850A (zh) * | 2017-08-25 | 2018-04-03 | 成都萌想科技有限责任公司 | 一种高效的互联网应用日志系统 |
| CN108199862A (zh) * | 2017-09-30 | 2018-06-22 | 海南电网有限责任公司 | 一种业务系统报错管理系统及方法 |
| CN108363762A (zh) * | 2018-02-05 | 2018-08-03 | 广州阿里巴巴文学信息技术有限公司 | 一种用户轨迹的收集处理方法、装置和终端设备 |
| CN108874618A (zh) * | 2018-05-04 | 2018-11-23 | 平安科技（深圳）有限公司 | Cognos进程的监控方法、装置、计算机设备和存储介质 |
| CN109284269A (zh) * | 2018-10-17 | 2019-01-29 | Oppo广东移动通信有限公司 | 异常日志分析方法、装置、存储介质及服务器 |
| CN109389483A (zh) * | 2018-08-20 | 2019-02-26 | 国网上海市电力公司 | 一种财务决算疑点问题的智能处理方法 |
| CN110450189A (zh) * | 2019-04-30 | 2019-11-15 | 北京云迹科技有限公司 | 用于机器人的异常处理方法及装置 |
| CN110968493A (zh) * | 2019-12-24 | 2020-04-07 | 上海英方软件股份有限公司 | 一种基于运行日志分析推演程序运行状态的方法及系统 |
| CN113535579A (zh) * | 2021-07-28 | 2021-10-22 | 展讯半导体(成都)有限公司 | 一种异常定位方法及相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1704908A (zh) * | 2004-05-26 | 2005-12-07 | 华为技术有限公司 | 定位程序异常的方法 |
| CN102681931A (zh) * | 2012-05-15 | 2012-09-19 | 天津市天元新泰科技发展有限公司 | 一种日志和异常探针的实现方法 |
| WO2012155455A1 (zh) * | 2011-05-13 | 2012-11-22 | 中兴通讯股份有限公司 | 一种基于web平台的日志分析方法及系统 |
| CN104636240A (zh) * | 2014-12-31 | 2015-05-20 | 广东欧珀移动通信有限公司 | 一种信息报表的获取方法及终端 |
| CN105119762A (zh) * | 2015-09-23 | 2015-12-02 | 普元信息技术股份有限公司 | 云平台基于日志实现交易回放和重做的系统及方法 |
-
2016
- 2016-08-23 CN CN201610705977.2A patent/CN106339303A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1704908A (zh) * | 2004-05-26 | 2005-12-07 | 华为技术有限公司 | 定位程序异常的方法 |
| WO2012155455A1 (zh) * | 2011-05-13 | 2012-11-22 | 中兴通讯股份有限公司 | 一种基于web平台的日志分析方法及系统 |
| CN102681931A (zh) * | 2012-05-15 | 2012-09-19 | 天津市天元新泰科技发展有限公司 | 一种日志和异常探针的实现方法 |
| CN104636240A (zh) * | 2014-12-31 | 2015-05-20 | 广东欧珀移动通信有限公司 | 一种信息报表的获取方法及终端 |
| CN105119762A (zh) * | 2015-09-23 | 2015-12-02 | 普元信息技术股份有限公司 | 云平台基于日志实现交易回放和重做的系统及方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107870850A (zh) * | 2017-08-25 | 2018-04-03 | 成都萌想科技有限责任公司 | 一种高效的互联网应用日志系统 |
| CN108199862A (zh) * | 2017-09-30 | 2018-06-22 | 海南电网有限责任公司 | 一种业务系统报错管理系统及方法 |
| CN107766208B (zh) * | 2017-10-27 | 2021-01-05 | 深圳市中润四方信息技术有限公司 | 一种监控业务系统的方法、系统及装置 |
| CN107766208A (zh) * | 2017-10-27 | 2018-03-06 | 深圳市中润四方信息技术有限公司 | 一种监控业务系统的方法、系统及装置 |
| CN108363762A (zh) * | 2018-02-05 | 2018-08-03 | 广州阿里巴巴文学信息技术有限公司 | 一种用户轨迹的收集处理方法、装置和终端设备 |
| CN108874618A (zh) * | 2018-05-04 | 2018-11-23 | 平安科技（深圳）有限公司 | Cognos进程的监控方法、装置、计算机设备和存储介质 |
| CN108874618B (zh) * | 2018-05-04 | 2022-03-18 | 平安科技（深圳）有限公司 | Cognos进程的监控方法、装置、计算机设备和存储介质 |
| CN109389483A (zh) * | 2018-08-20 | 2019-02-26 | 国网上海市电力公司 | 一种财务决算疑点问题的智能处理方法 |
| CN109284269A (zh) * | 2018-10-17 | 2019-01-29 | Oppo广东移动通信有限公司 | 异常日志分析方法、装置、存储介质及服务器 |
| CN110450189A (zh) * | 2019-04-30 | 2019-11-15 | 北京云迹科技有限公司 | 用于机器人的异常处理方法及装置 |
| CN110450189B (zh) * | 2019-04-30 | 2021-06-08 | 北京云迹科技有限公司 | 用于机器人的异常处理方法及装置 |
| CN110968493A (zh) * | 2019-12-24 | 2020-04-07 | 上海英方软件股份有限公司 | 一种基于运行日志分析推演程序运行状态的方法及系统 |
| CN113535579A (zh) * | 2021-07-28 | 2021-10-22 | 展讯半导体(成都)有限公司 | 一种异常定位方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106339303A (zh) | 一种运行日志异常分析方法 | |
| CN109408347B (zh) | 一种指标实时分析系统及指标实时计算方法 | |
| EP3251010B1 (en) | Space and time efficient threat detection | |
| US11010223B2 (en) | Method and system of automatic event and error correlation from log data | |
| US20210042177A1 (en) | Method And System For Real-Time And Scalable Anomaly Detection And Classification Of Multi-Dimensional Multivariate High-Frequency Transaction Data In A Distributed Environment | |
| US9298773B2 (en) | Nested complex sequence pattern queries over event streams | |
| CN104216948B (zh) | 一种数据模型的差异控制方法 | |
| US9251221B1 (en) | Assigning scores to objects based on search query results | |
| US20180293308A1 (en) | User interface search tool for locating and summarizing data | |
| KR20090033274A (ko) | 업무 프로세스 분석을 위한 정보 처리 방법 및 장치 | |
| CN103984726A (zh) | 一种数据库执行计划的局部修正方法 | |
| US11010362B2 (en) | Method and system for caching a generated query plan for time series data | |
| CN115391082A (zh) | 一种异常数据诊断方法、系统及存储介质 | |
| CN112199423A (zh) | 一种etl数据质量判定与反馈方法 | |
| CN111241144B (zh) | 一种数据处理方法和系统 | |
| JP6002849B2 (ja) | 監視装置、監視方法、および記録媒体 | |
| Rebmann et al. | Unsupervised task recognition from user interaction streams | |
| CN117009180A (zh) | 日志、异常警报信息处理方法及装置 | |
| US11321284B2 (en) | Adapting time series database schema | |
| Ren et al. | On measuring performances of C-SPARQL and CQELS | |
| CN105843961B (zh) | 一种流程与后台数据分离的信息化系统数据库架构方法 | |
| US20150341244A1 (en) | Performance Analysis of a Time-Varying Network | |
| Sambasivan et al. | Categorizing and differencing system behaviours | |
| Rebmann et al. | Recognizing task-level events from user interaction data | |
| Liu et al. | Realtime healthcare services via nested complex event processing technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170118 |
|
| RJ01 | Rejection of invention patent application after publication |