CN111753070A - 一种服务器监控日志处理的系统和方法 - Google Patents
一种服务器监控日志处理的系统和方法 Download PDFInfo
- Publication number
- CN111753070A CN111753070A CN202010570766.9A CN202010570766A CN111753070A CN 111753070 A CN111753070 A CN 111753070A CN 202010570766 A CN202010570766 A CN 202010570766A CN 111753070 A CN111753070 A CN 111753070A
- Authority
- CN
- China
- Prior art keywords
- log
- monitoring
- module
- keywords
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 122
- 238000012545 processing Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 238000012216 screening Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 238000012423 maintenance Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提出了一种服务器监控日志处理的系统和方法,该系统包括收集转发模块和集成监控块模。收集转发模块收集原始监控日志，通过配置文件配置原始监控日志，并将配置后的原始监控日志转发至集成监控模块；集成监控平台接收原始监控日志，通过关键词对原始监控日志进行筛选得到中间日志文件；通过关键字对中间日志文件进行日志特征提取生成特征库，基于生成的特征库，采用聚类算法对中间日志文件进行分类得到最终日志文件。基于该系统，还提出日志转发的方法、处理设备和存储介质。本发明以配置文件的形式来兼容不同类型的日志类型，首先通过关键词筛选，然后再进行关键字筛选，相对于通过配置解析规则的方式，效率更高。
Description
技术领域
本发明属于服务器监控技术领域，特别涉及一种服务器监控日志处理的系统和方法。
背景技术
目前，针对服务器管理和监控的软件有很多，而针对不同的服务器，服务器管理和监控软件又是不同的，不同厂家的服务器的管理软件无法相互兼容。在较大的数据中心或者机房中，往往都不是只用一种服务器，而是各种品牌各种型号的服务器混合使用，因此往往一个数据中心中都需要几套管理和监控系统，查找问题等操作，需要每套软件都需要查看和操作，这给服务器的管理和监控带来了很大的不便。
在现有技术中，收集的大部分都是针对自身应用产生的日志进行收集，以硬编码的方式实现。现有技术针对不同品牌不同信号的服务器兼容性比较差，解析方法复杂，运维人员的工作效率很低。
发明内容
为了解决上述技术问题，本发明提出了一种服务器监控日志处理的系统和方法，用于通过配置文件配置原始监控日志，并采用二次筛选的方式进行日志特征提取，易于实现，效率更高，而且对日志的处理更为精确。
为实现上述目的，本发明采用以下技术方案：本发明提出的一种服务器监控日志处理的系统；该系统包括：
收集转发模块和集成监控模块；
所述收集转发模块收集原始监控日志，通过配置文件配置原始监控日志，并将配置后的原始监控日志转发至集成监控模块；
所述集成监控平台接收所述原始监控日志，通过关键词对原始监控日志进行筛选得到中间日志文件；通过关键字对中间日志文件进行日志特征提取生成特征库，基于生成的特征库，采用聚类算法对中间日志文件进行分类得到最终日志文件。
进一步的，所述收集转发模块包括收集模块和转发模块；
所述收集模块用于集原始监控日志，并对监控日志通过配置文件配置原始监控日志的文件路径、文件格式、收集规则和转发规则；
所述转发模块通过进程间通信将配置后的原始监控日志转发至集成监控模块。
进一步的，所述集成监控平台包括日志接收模块、日志处理模块、存储模块和查询模块；
所述日志接收模块用于通过进程间通信接收原始监控日志；
所述日志处理模块用于通过关键词对原始监控日志进行筛选得到中间日志文件；通过关键字对中间日志文件进行日志特征提取生成特征库，基于生成的特征库，采用聚类算法对中间日志文件进行分类得到最终日志文件，选取最终日志文件的中心点，基于最终日志文件的断句和语义分析生成日志模板；
所述存储模块用于根据日志模板对最终日志文件进行解析，并将解析后的数据存储；
所述查询模块用于从不同的维度查询和展示存放在存储模块的最终日志文件。
进一步的，所述集成监控平台还包括告警模块；
所述告警模块用于配置告警规则，对符合告警规则的最终日志文件以不同方式发出告警提示。
进一步的，所述关键词是通过TextRank算法从原始监控日志提取得到。
进一步的，所述通过TextRank算法从原始监控日志提取关键词的公式为：
其中，Si,Sj分别为两个句子，Wk为句子中的词；公式中分子部分的是同时出现在两个句子中的同一个词的个数，公式中分母表达的是对句子中词的个数求对数之和。
一种服务器监控日志处理的方法，是基于一种服务器监控日志处理的系统实现的，包括以下步骤：
接收原始监控日志的配置文件；
通过关键词对原始监控日志进行筛选得到中间日志文件；通过关键字对中间日志文件进行日志特征提取生成特征库，基于生成的特征库，采用聚类算法对中间日志文件进行分类得到最终日志文件。
进一步的，所述方法还包括：
根据日志模板对最终日志文件进行解析，并存储解析后的数据；
从不同的维度查询和展示存放在存储模块的最终日志文件。
一种服务器监控日志处理设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求7或8所述服务器监控日志处理的方法步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求7或8所述服务器监控日处理的方法的步骤。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明提出了一种服务器监控日志处理的系统和方法,该系统包括收集转发模块和集成监控块模。收集转发模块收集原始监控日志，通过配置文件配置原始监控日志，并将配置后的原始监控日志转发至集成监控模块；集成监控平台接收所述原始监控日志，通过关键词对原始监控日志进行筛选得到中间日志文件；通过关键字对中间日志文件进行日志特征提取生成特征库，基于生成的特征库，采用聚类算法对中间日志文件进行分类得到最终日志文件。其中收集转发模块包括收集模块和转发模块，集成监控模块包括日志接收模块、日志解析模块、存储模块和查询模块；集成监控模块还包括告警模块。基于本发明提出的一种服务器监控日志处理的系统，还提出了一种服务器监控日志处理的方法。本发明以配置文件的形式来兼容不同类型的日志类型，可以在不改变原有应用的前提下，将不同品牌不同型号的服务日志进行兼容，可以调高运维人员的工作效率，降低运维成本。首先通过关键词筛选，然后再进行关键字筛选，二次筛选的方式进行日志特征提取，易于实现，效率更高，而且对庞大的日志数据的处理更为细致。相对于通过配置解析规则的方式，更加简单，效率更高，而且对于从未出现过的日志或者未标记过的日志类型也可以识别。
附图说明
如图1为本发明实施例1提出的一种服务器监控日志处理的系统示意图；
如图2为本发明实施例1提出的一种服务器监控日志处理的方法流程图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
本发明实施例1提出了一种服务器监控日志处理的系统，如图1为本发明实施例1提出的一种服务器监控日志处理的系统示意图。该系统包括收集转发模块和集成监控块模。
收集转发模块用于收集原始监控日志，通过配置文件配置原始监控日志，并将配置后的原始监控日志转发至集成监控模块。
收集转发模块包括收集模块和转发模块。收集模块用于收集原始监控日志，并对监控日志通过配置文件配置原始监控日志的文件路径、文件格式、收集规则和转发规则；这种方式可以跨过不同品牌不同型号服务器使用的监控软件的限制，只要配置上对应的规则，就可以收集到所有的监控日志，而不影响服务器中的监控软件运行。
转发模块通过进程间通信将配置后的原始监控日志转发至集成监控模块。不再原有服务器进行分析，这样做的好处是不需要在每台服务上都做日志解析，节省服务器资源，而且统一发送到集成监控平台，便于管理。
集成监控平台用于接收所述原始监控日志，通过关键词对原始监控日志进行筛选得到中间日志文件；通过关键字对中间日志文件进行日志特征提取生成特征库，基于生成的特征库，采用聚类算法对中间日志文件进行分类得到最终日志文件。对分类后的最终日志文件进行解析存储。
集成监控平台包括日志接收模块、日志解析模块、存储模块和查询模块。
日志接收模块用于通过进程间通信接收原始监控日志。
日志解析模块用于通过关键词对原始监控日志进行筛选得到中间日志文件；通过关键字对中间日志文件进行日志特征提取生成特征库，基于生成的特征库，采用聚类算法对中间日志文件进行分类得到最终日志文件。选取最终日志文件的中心点，基于最终日志文件的断句和语义分析生成日志模板；日志解析模块对接收的原始日志文件进行两次筛选。
第一次筛选通过关键词筛选，其中关键词是通过TextRank算法从原始监控日志提取得到。
通过TextRank算法从原始监控日志提取关键词的公式为：
其中，Si,Sj分别为两个句子，Wk为句子中的词；公式中分子部分的是同时出现在两个句子中的同一个词的个数，公式中分母表达的是对句子中词的个数求对数之和。
通过关键字对中间日志文件进行日志特征提取生成特征库，基于生成的特征库，采用聚类算法对中间日志文件进行分类得到最终日志文件。
采用聚类算法分类后的最终日志文件，基于日志文件的断句和语义分析生成日志模板。基于生成的日志模板对不同分类的最终日志文件进行解析，然后将解析后的日志存放到存储设备中。
存储模块用于根据日志模板对最终日志文件进行解析，并将解析后的数据存储；查询模块用于从不同的维度查询和展示存放在存储模块的最终日志文件。查询模块的功能为查询和展示存放在存储模块中的日志，查询模块中定义从不同的维度查询日志，如定位某一台服务器的故障，可以通过IP、品牌、型号等方面进行查询，从而只显示该台服务器日志；如从时间维度排查服务器的故障，可以根据时间节点，查询该时间段中的所有服务器信息，方便排查，而且不需要再单独从某一台服务器去导出监控日志文件，方便快捷。
集成监控平台还包括告警模块，可以配置多种告警方式，如邮件、短信、微信等，方便运维人员实时监控服务器状体，即使不在中作场地，也可以监控服务器运行状态。
基于本发明提出的一种服务器监控日志处理的系统，本发明还提出了一种服务器监控日志处理的方法，如图2给出了一种服务器监控日志处理的方法流程图。
在步骤S201中，接收原始日志文件的配置文件。
在步骤S202中，将配置后的原始监控日志通过进程间通讯转发。
在步骤S203中，通过关键词对原始监控日志进行筛选得到中间日志文件；通过关键字对中间日志文件进行日志特征提取生成特征库，基于生成的特征库，采用聚类算法对中间日志文件进行分类得到最终日志文件。
在步骤S204中，根据日志模块对最终日志文件进行解析，并将解析后的数据存储；配置告警规则，对符合告警规则的最终日志文件以不同方式发出告警提示。
在步骤S205中，从不同的维度查询和展示存放在存储模块的最终日志文件。
本发明还提出了一种服务器监控日志处理设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现服务器监控日志处理的方法步骤。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现服务器监控日处理的方法的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种服务器监控日志处理的系统，其特征在于，包括收集转发模块和集成监控模块；
所述收集转发模块收集原始监控日志，通过配置文件配置原始监控日志，并将配置后的原始监控日志转发至集成监控模块；
所述集成监控平台接收所述原始监控日志，通过关键词对原始监控日志进行筛选得到中间日志文件；通过关键字对中间日志文件进行日志特征提取生成特征库，基于生成的特征库，采用聚类算法对中间日志文件进行分类得到最终日志文件。
2.根据权利要求1所述的一种服务器监控日志处理的系统，其特征在于，所述收集转发模块包括收集模块和转发模块；
所述收集模块用于集原始监控日志，并对监控日志通过配置文件配置原始监控日志的文件路径、文件格式、收集规则和转发规则；
所述转发模块通过进程间通信将配置后的原始监控日志转发至集成监控模块。
3.根据权利要求1所述的一种服务器监控日志处理的系统，其特征在于，所述集成监控平台包括日志接收模块、日志处理模块、存储模块和查询模块；
所述日志接收模块用于通过进程间通信接收原始监控日志；
所述日志处理模块用于通过关键词对原始监控日志进行筛选得到中间日志文件；通过关键字对中间日志文件进行日志特征提取生成特征库，基于生成的特征库，采用聚类算法对中间日志文件进行分类得到最终日志文件，选取最终日志文件的中心点，基于最终日志文件的断句和语义分析生成日志模板；
所述存储模块用于根据日志模板对最终日志文件进行解析，并将解析后的数据存储；
所述查询模块用于从不同的维度查询和展示存放在存储模块的最终日志文件。
4.根据权利要求3所述的一种服务器监控日志处理的系统，其特征在于，所述集成监控平台还包括告警模块；
所述告警模块用于配置告警规则，对符合告警规则的最终日志文件以不同方式发出告警提示。
5.根据权利要求1所述的一种服务器监控日志处理的系统，其特征在于，所述关键词是通过TextRank算法从原始监控日志提取得到。
6.根据权利要求5所述的一种服务器监控日志处理的系统，其特征在于，所述通过TextRank算法从原始监控日志提取关键词的公式为：
其中，Si,Sj分别为两个句子，Wk为句子中的词；公式中分子部分的是同时出现在两个句子中的同一个词的个数，公式中分母表达的是对句子中词的个数求对数之和。
7.一种服务器监控日志处理的方法，是基于权利要求1至6任意一项所述的一种服务器监控日志处理的系统实现的，其特征在于，包括以下步骤：
接收原始监控日志的配置文件；
通过关键词对原始监控日志进行筛选得到中间日志文件；通过关键字对中间日志文件进行日志特征提取生成特征库，基于生成的特征库，采用聚类算法对中间日志文件进行分类得到最终日志文件。
8.根据权利要求7所述的一种服务器监控日志处理的方法，其特征在于，所述方法还包括：
根据日志模板对最终日志文件进行解析，并存储解析后的数据；
从不同的维度查询和展示存放在存储模块的最终日志文件。
9.一种服务器监控日志处理设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求7或8所述服务器监控日志处理的方法步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求7或8所述服务器监控日志处理的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010570766.9A CN111753070A (zh) | 2020-06-21 | 2020-06-21 | 一种服务器监控日志处理的系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010570766.9A CN111753070A (zh) | 2020-06-21 | 2020-06-21 | 一种服务器监控日志处理的系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111753070A true CN111753070A (zh) | 2020-10-09 |
Family
ID=72676546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010570766.9A Withdrawn CN111753070A (zh) | 2020-06-21 | 2020-06-21 | 一种服务器监控日志处理的系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753070A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115080355A (zh) * | 2022-07-20 | 2022-09-20 | 北京未来智安科技有限公司 | 一种监控日志的生成方法及装置 |
| CN115460072A (zh) * | 2022-08-25 | 2022-12-09 | 浪潮云信息技术股份公司 | 集日志收集、解析、存储与服务为一体的日志处理系统 |
| CN116069595A (zh) * | 2023-04-06 | 2023-05-05 | 华能信息技术有限公司 | 一种基于日志的运维监控方法 |
-
2020
- 2020-06-21 CN CN202010570766.9A patent/CN111753070A/zh not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115080355A (zh) * | 2022-07-20 | 2022-09-20 | 北京未来智安科技有限公司 | 一种监控日志的生成方法及装置 |
| CN115080355B (zh) * | 2022-07-20 | 2022-11-29 | 北京未来智安科技有限公司 | 一种监控日志的生成方法及装置 |
| CN115460072A (zh) * | 2022-08-25 | 2022-12-09 | 浪潮云信息技术股份公司 | 集日志收集、解析、存储与服务为一体的日志处理系统 |
| CN116069595A (zh) * | 2023-04-06 | 2023-05-05 | 华能信息技术有限公司 | 一种基于日志的运维监控方法 |
| CN116069595B (zh) * | 2023-04-06 | 2023-06-09 | 华能信息技术有限公司 | 一种基于日志的运维监控方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107577588B (zh) | 一种海量日志数据智能运维系统 | |
| US8676965B2 (en) | Tracking high-level network transactions | |
| CN110716910B (zh) | 一种日志管理方法、装置、设备和存储介质 | |
| CN111753070A (zh) | 一种服务器监控日志处理的系统和方法 | |
| EP4099170B1 (en) | Method and apparatus of auditing log, electronic device, and medium | |
| CN110740141A (zh) | 一体化网络安全态势感知方法、装置及计算机设备 | |
| CN110263009B (zh) | 日志分类规则的生成方法、装置、设备及可读存储介质 | |
| CN112148772A (zh) | 告警根因识别方法、装置、设备和存储介质 | |
| CN112636957B (zh) | 基于日志的预警方法、装置、服务器及存储介质 | |
| CN106341257B (zh) | 一种自定义日志解析规则并自动解析日志的装置 | |
| WO2023284132A1 (zh) | 一种云平台日志的分析方法、系统、设备及介质 | |
| CN112445775A (zh) | 一种光刻机的故障分析方法、装置、设备和存储介质 | |
| CN113657088A (zh) | 接口文档解析方法、装置、电子设备以及存储介质 | |
| CN112306820A (zh) | 一种日志运维根因分析方法、装置、电子设备及存储介质 | |
| CN111581057B (zh) | 一种通用日志解析方法、终端设备及存储介质 | |
| US20240004778A1 (en) | Method for processing command, device for processing command, and electronic device | |
| CN112883088B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN115913655B (zh) | 一种基于流量分析和语义分析的Shell命令注入检测方法 | |
| CN110727565B (zh) | 一种网络设备平台信息收集方法及系统 | |
| CN115757045A (zh) | 一种交易日志分析方法、系统及装置 | |
| CN115168310A (zh) | 一种ldap系统中的日志管理方法、设备、介质及系统 | |
| CN114756301A (zh) | 日志处理方法、装置和系统 | |
| CN114546780A (zh) | 数据监控方法、装置、设备、系统及存储介质 | |
| CN111695031A (zh) | 基于标签的搜索方法、装置、服务器及存储介质 | |
| CN110932896A (zh) | 日志倒排索引的创建方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201009 |