CN110032546A - 一种快速满足临时性日志分析系统及其方法 - Google Patents
一种快速满足临时性日志分析系统及其方法 Download PDFInfo
- Publication number
- CN110032546A CN110032546A CN201910313266.4A CN201910313266A CN110032546A CN 110032546 A CN110032546 A CN 110032546A CN 201910313266 A CN201910313266 A CN 201910313266A CN 110032546 A CN110032546 A CN 110032546A
- Authority
- CN
- China
- Prior art keywords
- log
- module
- provisional
- processing center
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000012800 visualization Methods 0.000 claims description 13
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003694 hair properties Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011012 sanitization Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种快速满足临时性日志分析系统，包括若干个服务器、日志处理中心集群和Web服务端；所述日志处理中心集群包括日志预处理模块和日志通用计算模块；所述日志处理中心集群收集各服务器的日志，并进行分析；所述Web服务端用于提供可视化操作页面给用户，并将日志处理中心集群的处理结果以图表方式呈现。本发明既可以指定过滤条件，搜索满足条件的日志，也可以对满足条件的日志进行多维度的汇总分析。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种快速满足临时性日志分析系统及其方法。
背景技术
随着互联网的发展，系统变得越来越庞大复杂，各种日志越来越多，业务特性分析、系统运营情况、故障定位等都需要分析日志，类似这种触发式日志分析的需求越来越多，对于云厂商更是如此。有时可能需要查询日志记录，有时又可能需要对某个范围的日志进行分析汇总。
此类需求的特点之一是临时性，短期内需要，甚至可能是一次性的；特点之二是突发性，无法像常规需求那样事先提取规则并实现；特点之三是变化性，搜索和计算要求多样化，很难有统一的脚本可用。目前一般是通过临时脚本的编写来达到分析的目的，这种方式有如下3个主要缺点：脚本基本都是一次性的，复用性不强，耗费较多人力资源；无法快速响应这类需求，对于异常定位、排除故障、业务分析等都非常不利；分析的门槛较高，需要此类分析的人员都对脚本较为熟悉。
发明内容
有鉴于此，本发明的目的在于提供一种快速满足临时性日志分析系统，可以快速满足用户各种各样的分析需求，提高这类需求的普适性和灵活性。
为实现上述目的，本发明采用如下技术方案：
一种快速满足临时性日志分析系统，包括若干个服务器、日志处理中心集群和Web服务端；所述日志处理中心集群包括日志预处理模块和日志通用计算模块；所述日志处理中心集群收集各服务器的日志，并进行分析；所述Web服务端用于提供可视化操作页面给用户，并将日志处理中心集群的处理结果以图表方式呈现。
进一步的，所述预处理模块包括日志收集模块、日志解析模块、日志存储模块；所述日志收集模块定时收集各台服务器上产生的原始日志；所述日志解析模块对原始日志解析出日志原有字段并扩展出用户常用字段，并按预设的字段顺序，将日志以文件或压缩文件的形式存储于日志存储模块。
进一步的，所述日志通用计算模块包括通用搜索引擎和通用计算引擎；所述通用搜索引擎实现按字段进行搜索；所述通用计算引擎实现灵活的多维度计算，用户可以指定统计维度和统计操作。
一种快速满足临时性日志分析系统的控制方法，包括以下步骤：
步骤S1:用户通过Web可视化模块发起临时性分析请求；
步骤S2:通过触发通用搜索引擎进行过滤，并判断是否涉及统计分析；若涉及统计分析，则触发通用计算引擎进行统计，并返回统计数据给Web可视化模块；否则直接返回日志记录给Web可视化模块；
步骤S3:Web可视化模块将结果以图表方式呈现给用户。
本发明与现有技术相比具有以下有益效果：
1、本发明可以指定过滤条件，搜索满足条件的日志，也可以对满足条件的日志进行多维度的汇总分析。
2、本发明可以快速满足用户各种各样的分析需求，提高这类需求的普适性和灵活性；
3、本发明可以大大降低日志分析的门槛，用户无须知晓日志格式、日志存储和统计方法等相关内容。
附图说明
图1是本发明系统结构图；
图2是本发明实施例中用户调用日志示意图；
图3是本发明实施例中用户请求处理流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种快速满足临时性日志分析系统，包括若干个服务器、日志处理中心集群和Web服务端；所述日志处理中心集群包括日志预处理模块和日志通用计算模块；所述日志处理中心集群收集各服务器的日志，并进行分析；所述Web服务端用于提供可视化操作页面给用户，并将日志处理中心集群的处理结果以图表方式呈现。
本实施例中，所述预处理模块包括日志收集模块、日志解析模块、日志存储模块；所述日志收集模块定时收集各台服务器上产生的原始日志；所述日志解析模块对原始日志解析出日志原有字段并扩展出用户常用字段，并按预设的字段顺序，将日志以文件或压缩文件的形式存储于日志存储模块。
本实施例中，所述日志通用计算模块是基于Hadoop框架，采用MapReduce的计算模型来实现日志通用计算包括通用搜索引擎和通用计算引擎；所述通用搜索引擎抽象一些常用的过滤规则作为通用搜索引擎的规则，并实现按字段进行搜索；所述通用计算引擎抽象一些常用的统计因子，如求和、计数、平均值 、去重等，同时实现灵活的多维度计算，用户可以指定统计维度和统计操作。
本实施例中，Web可视化模块具体为：用户操作入口，傻瓜式可视化操作界面，提供按字段过滤与统计操作，每个字段都用中文名称标识，同时都配有字段说明。过滤规则和统计操作以直观的方式呈现供用户选择，用户既可以指定过滤条件查询日志记录，也可以指定统计行为对满足条件的日志进行汇总分析，系统返回可视化图表结果给用户。
本实施例中，一种快速满足临时性日志分析系统的控制方法，包括以下步骤：
步骤S1:用户通过Web可视化模块发起临时性分析请求；
步骤S2:通过触发通用搜索引擎进行过滤，并判断是否涉及统计分析；若涉及统计分析，则触发通用计算引擎进行统计，并返回统计数据给Web可视化模块；否则直接返回日志记录给Web可视化模块；
步骤S3:Web可视化模块将结果以图表方式呈现给用户。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (4)
1.一种快速满足临时性日志分析系统，其特征在于：包括若干个服务器、日志处理中心集群和Web服务端；所述日志处理中心集群包括日志预处理模块和日志通用计算模块；所述日志处理中心集群收集各服务器的日志，并进行分析；所述Web服务端用于提供可视化操作页面给用户，并将日志处理中心集群的处理结果以图表方式呈现。
2.根据权利要求1所述一种快速满足临时性日志分析系统，其特征在于：所述预处理模块包括日志收集模块、日志解析模块和日志存储模块；所述日志收集模块定时收集各台服务器上产生的原始日志；所述日志解析模块对原始日志解析出日志原有字段并扩展出用户常用字段，并按预设的字段顺序，将日志以文件或压缩文件的形式存储于日志存储模块。
3.根据权利要求1所述的一种快速满足临时性日志分析系统，其特征在于：所述日志通用计算模块包括通用搜索引擎和通用计算引擎；所述通用搜索引擎实现按字段进行搜索；所述通用计算引擎实现灵活的多维度计算，用户可以指定统计维度和统计操作。
4.一种快速满足临时性日志分析系统的控制方法，其特征在于，包括以下步骤：
步骤S1:用户通过Web可视化模块发起临时性分析请求；
步骤S2:通过触发通用搜索引擎进行过滤，并判断是否涉及统计分析；若涉及统计分析，则触发通用计算引擎进行统计，并返回统计数据给Web可视化模块；否则直接返回日志记录给Web可视化模块；
步骤S3:Web可视化模块将结果以图表方式呈现给用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910313266.4A CN110032546A (zh) | 2019-04-18 | 2019-04-18 | 一种快速满足临时性日志分析系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910313266.4A CN110032546A (zh) | 2019-04-18 | 2019-04-18 | 一种快速满足临时性日志分析系统及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110032546A true CN110032546A (zh) | 2019-07-19 |
Family
ID=67238978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910313266.4A Pending CN110032546A (zh) | 2019-04-18 | 2019-04-18 | 一种快速满足临时性日志分析系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110032546A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838867A (zh) * | 2014-03-20 | 2014-06-04 | 网宿科技股份有限公司 | 日志处理方法和装置 |
| US20180005297A1 (en) * | 2014-12-26 | 2018-01-04 | China Unionpay Co., Ltd. | Analysis and collection system for user interest data and method therefor |
| CN107577588A (zh) * | 2017-09-26 | 2018-01-12 | 北京中安智达科技有限公司 | 一种海量日志数据智能运维系统 |
| CN108874614A (zh) * | 2017-05-11 | 2018-11-23 | 上海宏时数据系统有限公司 | 一种大数据日志智能分析系统及方法 |
| CN109408347A (zh) * | 2018-09-28 | 2019-03-01 | 北京九章云极科技有限公司 | 一种指标实时分析系统及指标实时计算方法 |
-
2019
- 2019-04-18 CN CN201910313266.4A patent/CN110032546A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838867A (zh) * | 2014-03-20 | 2014-06-04 | 网宿科技股份有限公司 | 日志处理方法和装置 |
| US20180005297A1 (en) * | 2014-12-26 | 2018-01-04 | China Unionpay Co., Ltd. | Analysis and collection system for user interest data and method therefor |
| CN108874614A (zh) * | 2017-05-11 | 2018-11-23 | 上海宏时数据系统有限公司 | 一种大数据日志智能分析系统及方法 |
| CN107577588A (zh) * | 2017-09-26 | 2018-01-12 | 北京中安智达科技有限公司 | 一种海量日志数据智能运维系统 |
| CN109408347A (zh) * | 2018-09-28 | 2019-03-01 | 北京九章云极科技有限公司 | 一种指标实时分析系统及指标实时计算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107992398B (zh) | 一种业务系统的监控方法和监控系统 | |
| CN107729210B (zh) | 分布式服务集群的异常诊断方法和装置 | |
| TWI564732B (zh) | A method and apparatus for monitoring user requests to run in a decentralized system | |
| CN110309030A (zh) | 基于ELK和Zabbix的日志分析监控系统和方法 | |
| CN109284251A (zh) | 日志管理方法、装置、计算机设备以及存储介质 | |
| CN114185708A (zh) | 基于分布式链路追踪的数据分析方法、装置和电子设备 | |
| CN110941530B (zh) | 监控数据的获取方法、装置、计算机设备和存储介质 | |
| CN112307057A (zh) | 数据的处理方法及装置、电子设备、计算机存储介质 | |
| CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
| CN105630682A (zh) | 移动终端自动收集及分析崩溃的系统和方法 | |
| CN103246735A (zh) | 一种异常数据处理方法及系统 | |
| CN108509326A (zh) | 一种基于nginx日志的服务状态统计方法及系统 | |
| CN104462606B (zh) | 一种基于日志数据确定诊断处理措施的方法 | |
| CN109495291B (zh) | 调用异常的定位方法、装置和服务器 | |
| CN111209213A (zh) | 应用程序运行时的异常检测方法及系统、设备及存储介质 | |
| CN109409948B (zh) | 交易异常检测方法、装置、设备及计算机可读存储介质 | |
| CN114125015A (zh) | 一种数据采集方法及系统 | |
| CN114265904A (zh) | 一种数据处理方法及云计算平台 | |
| CN116932148B (zh) | 一种基于ai的问题诊断系统及方法 | |
| CN110032546A (zh) | 一种快速满足临时性日志分析系统及其方法 | |
| CN110011845B (zh) | 日志采集方法及系统 | |
| CN110032432B (zh) | 实例的压缩方法和装置、实例的解压方法和装置 | |
| CN116414795A (zh) | 一种票务数据的处理方法及装置 | |
| CN112506886B (zh) | 一种多源业务操作日志采集方法及系统 | |
| CN112286918B (zh) | 数据快速接入转换的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190719 |