CN106844172A - 一种高效定位系统故障的日志记录方法及系统 - Google Patents
一种高效定位系统故障的日志记录方法及系统 Download PDFInfo
- Publication number
- CN106844172A CN106844172A CN201611232151.5A CN201611232151A CN106844172A CN 106844172 A CN106844172 A CN 106844172A CN 201611232151 A CN201611232151 A CN 201611232151A CN 106844172 A CN106844172 A CN 106844172A
- Authority
- CN
- China
- Prior art keywords
- log
- log information
- thread
- daily record
- alignment system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种高效定位系统故障的日志记录方法及系统，日志管理进行模块通过创建独立的日记记录线程和日志压缩线程来对日志信息进行处理，可以提升对日志信息的记录效率，缩短记录时间；还方便后续对相关的日志信息进行快速查找。
Description
技术领域
本发明涉及通讯技术领域，尤其涉及一种高效定位系统故障的日志记录方法及系统。
背景技术
在现代运维体系中，规模化的应用系统与网络设备需要自动化的监管系统进行管理，对系统日志信息的监管就是其中重要的一个环节。当系统发生故障时，需要查看处理系统日志，然而在一定规模的架构中，每天设备、系统及应用程序等产生的日志量以亿作单位计算，面对如此庞大的信息量，在故障排查时费时费力。
专利号为CN201410602323的专利公开了一种基于规则的日志服务方法，包括：将系统划分成不同的子系统或模块；将系统输出日志信息划分为不同级别；按不同的子系统或模块预先设置可输出日志信息的级别；按预先设置的可输出日志信息级别输出日志信息。
专利号为CN201010621779的专利公开了一种入职的处理方法和设备，包括：日志服务器接收网元设备通过Syslog消息发送的日志信息；所述日志服务器通过预设程序处理所述日志信息，并根据处理结果存储相应的日志。
专利号为CN201310740549.X的专利公开了一种基于日志的计算机系统故障诊断方法及装置，包括：故障日志收集、故障日志分析和故障日志关联分析，故障日志收集用于收集集群内所有硬件和软件的故障日志，并统一存入日志服务器；故障日志分析对故障日志进行过滤，提取日志的模板信息，并对日志按照故障类型进行分类；故障日志关联分析利用日志分析的结果并结合时间窗口进行故障原因分析，把由同一故障引起的相关故障日志聚为一类，并试图找到这类故障的根源。
上述三篇专利文献均没有设置独立线程专门用来记录日志文件，不能很好地提高日志存储效率。
发明内容
本发明所要解决的技术问题是：提供一种可高效定位系统故障的日志记录方法及系统。
为了解决上述技术问题，本发明采用的技术方案为：一种高效定位系统故障的日志记录方法，包括：
日志管理进程模块创建日志记录线程和日志压缩线程；
日志管理进程模块接收并解析日志公共库发送过来的日志信息；
通过所述日志记录线程和日志压缩线程对所述日志信息进行处理。
本发明还涉及一种高效定位系统故障的日志记录系统，包括：
日志公共库，用于将日志信息发送至日志管理进程模块；
日志管理进程模块，用于创建日志记录线程和日志压缩线程；接收并解析日志信息；所述日志记录线程和日志压缩线程用于对所述日志信息进行处理。
本发明的有益效果在于：日志管理进行模块通过创建独立的日记记录线程和日志压缩线程来对日志信息进行处理，可以提升对日志信息的记录效率，缩短记录时间。
附图说明
图1为本发明高效定位系统故障的日志记录方法的流程图；
图2为本发明实施例一的高效定位系统故障的日志记录方法的流程图；
图3为本发明高效定位系统故障的日志记录系统的框图；
图4为本发明实施例二的高效定位系统故障的日志记录系统的框图。
标号说明：
1、日志公共库；2、日志管理进程模块；3、业务模块；11、日志记录接口；21、日志记录线程；22、日志压缩线程；23、唤醒缓冲模块；24、Flash模块；25、设备异常启动日志处理线程；26、日志上传处理线程。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
本发明最关键的构思在于：创建独立的日记记录线程和日志压缩线程来对日志信息进行处理，可以提升对日志信息的记录效率。
请参照图1，一种高效定位系统故障的日志记录方法，包括：
日志管理进程模块创建日志记录线程和日志压缩线程；
日志管理进程模块接收并解析日志公共库发送过来的日志信息；
通过所述日志记录线程和日志压缩线程对所述日志信息进行处理。
从上述描述可知，本发明的有益效果在于：日志管理进行模块通过创建独立的日记记录线程和日志压缩线程来对日志信息进行处理，可以提升对日志信息的记录效率，缩短记录时间。
进一步的，日志公共库向日志管理进程模块发送日志信息之前还包括：记录日志信息，并判断所述日志信息是否大于存储等级，若是，则丢弃；若否，则进行封装。
由上述描述可知，日志公共库需要根据日志信息的重要性对日志信息进行选择，丢弃不必要的日志信息，并且在发送之前将日志信息进行封装可以提高数据的安全性，也便于发送。
进一步的，日志管理进程模块接收日志公共库发送过来的日志信息之前还包括：日志管理进程模块读取日志配置文件，初始化日志记录线程和日志压缩线程。
由上述描述可知，对日志记录线程和日志压缩线程进行初始化，有利于提高记录日志信息时的运行效率。
进一步的，通过所述日志记录线程和日志压缩线程对所述日志信息进行处理之前，还包括：将日志信息存放到对应的唤醒缓冲区，并激活日志记录线程。
由上述描述可知，将日志信息存放到唤醒缓冲区可以提高运行和响应效率，避免了将日志信息直接写入文件而花费较长的时间。
进一步的，所述日志记录线程对日志信息进行处理的过程包括：判断日志信息大小是否超过阈值，若是，则激活日志压缩线程；若否，则将唤醒缓冲区的日志信息保存到对应的日志文件中。
由上述描述可知，对不同大小的日志信息进行区分处理，可以减小日志信息丢失的概率及减小日志信息因占用过多系统内存造成运行异常问题。
进一步的，所述日志压缩线程对日志信息进行处理的过程包括：对大小超过阈值的日志信息进行压缩，并将所述日志信息的压缩包保存至Flash模块。
由上述描述可知，对较大的日志信息进行压缩可以有效利用有限的存储空间存储更多的日志信息。
进一步的，当Flash模块的日志占用率超过预设值时，删除最早的日志信息压缩包。
由上述描述可知，对日志信息进行老化处理可以保证Flash模块能存储最新的日志信息。
进一步的，当设备异常需要重启时，在设备重启完成前，记录并压缩异常启动日志信息，然后存储到Flash模块。
由上述描述可知，对设备异常启动的日志信息进行记录和保存，有利于后续查找异常启动原因。
本发明提供的另一技术方案为：
请参照图3，一种高效定位系统故障的日志记录系统，包括：
日志公共库，用于将日志信息发送至日志管理进程模块；
日志管理进程模块，用于创建日志记录线程和日志压缩线程；接收并解析日志信息；所述日志记录线程和日志压缩线程用于对所述日志信息进行处理。
进一步的，所述日志管理进程模块还包括唤醒缓冲模块和Flash模块，所述唤醒缓冲模块用于临时存放日志信息，所述Flash模块用于存储日志信息压缩包。
实施例一
请参照图1及图2，本发明的实施例一为：一种高效定位系统故障的日志记录方法，包括如下内容：
首先，进行各业务模块的日志信息记录，所述业务模块包括无线资源控制模块、无线资源管理模块和操作管理维护模块等等。各个业务模块通过日志公共库的日志记录接口来记录各自的日志信息，然后日志记录接口对记录的日志信息的级别进行判断，若是日志信息的级别大于存储等级，则所述日志信息将被丢弃，若日志信息的级别小于等于存储等级，则日志公共库会将所述日志信息进行封装，封装成特定的socket消息，然后发送给日志管理进行模块。
然后，日志管理进程模块接收并解析日志公共库发送过来的日志信息。在此之前，日志管理进程模块还需要创建独立的日志记录线程和日志压缩线程，然后读取日志配置文件，初始化相关的数据结构以及日志记录线程和日志压缩线程。日志管理进程模块解析了socket消息后，将解析的日志信息存放到对应的唤醒缓冲区，然后激活日志记录线程。
所述日志记录线程对日志信息进行区分处理，具体包括：判断日志信息大小是否超过阈值，若是，则激活日志压缩线程，若否，则将唤醒缓冲区的日志信息记录到对应的日志文件里，对日志信息进行分类保存，以便后续查找。本实施例中，所述阈值可根据系统大小设定不同的值。日志压缩线程激活后，日志压缩线程将大小超过阈值的信息进行压缩，然后将日志信息的压缩包保存至Flash模块，当Flash模块的日志信息占用率超过限制大小时，对日志信息进行老化处理，即删除最早的日志信息压缩包。
本实施例中，所述日志管理进程模块还创建设备异常启动日志处理线程，当设备发生异常需要重启时，所述设备异常启动日志处理线程捕获异常信号，然后接收各个业务模块因异常需要重启设备的日志信息，在设备重启完成之前，将所述日志信息进行记录，并压缩保存至Flash模块中。
本实施例中，所述日志管理进程模块还创建日志上传处理线程，将保存的日志信息上传至云端或者其他存储设备。
当设备系统发生故障时，可通过日志记录线程在对应的日志文件中找出不同类别、不同存储等级的日志信息；若是要查找较大的日志信息，则可在Flash模块中查找相关的日志信息压缩包；另外，若是要查看设备重启的日志信息，也可以在Flash模块中查找。本实施例中的日志记录方法既能对日志信息进行较快的分类记录、保存，还方便后续对相关的日志信息进行快速查找。
实施例二
请参照图3及图4，本发明的实施例二与实施例一种的高效定位系统故障的日志记录方法相对应，为一种高效定位系统故障的日志记录系统，包括：
业务模块3，用于通过日志公共库1的日志记录接口11来记录各自的日志信息；
日志公共库1，用于将日志信息发送至日志管理进程模块2；在发送之前还用于判断所述日志信息是否大于存储等级，若是，则丢弃；若否，则进行封装；
日志管理进程模块2，用于创建日志记录线程21和日志压缩线程22；接收并解析日志信息；所述日志记录线程21和日志压缩线程22用于对所述日志信息进行处理。日志记录线程21对日志信息进行处理的过程包括：判断日志信息大小是否超过阈值，若是，则激活日志压缩线程22；若否，则将唤醒缓冲区23的日志信息保存到对应的日志文件中。所述日志压缩线程22对日志信息进行处理的过程包括：对大小超过阈值的日志信息进行压缩，并将所述日志信息的压缩包保存至Flash模块24；当Flash模块24的日志占用率超过预设值时，删除最早的日志信息压缩包。本实施例中，所述唤醒缓冲模块23用于临时存放日志信息。
本实施例中，所述日志管理进程模块2还用于创建设备异常启动日志处理线程25和创建日志上传处理线程26，所述设备异常启动日志处理线程25用于对异常启动的日志信息进行记录、压缩保存至Flash模块24中；所述日志上传处理线程26用于将日志信息上传至云端或其他存储设备。
综上所述，本发明提供的一种高效定位系统故障的日志记录方法及系统，通过设置独立的线程对日志信息进行区分处理，既能对日志信息进行较快的分类记录、保存，还方便后续对相关的日志信息进行快速查找。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种高效定位系统故障的日志记录方法，其特征在于，包括：
日志管理进程模块创建日志记录线程和日志压缩线程；
日志管理进程模块接收并解析日志公共库发送过来的日志信息；
通过所述日志记录线程和日志压缩线程对所述日志信息进行处理。
2.根据权利要求1所述的高效定位系统故障的日志记录方法，其特征在于，日志公共库向日志管理进程模块发送日志信息之前还包括：记录日志信息，并判断所述日志信息是否大于存储等级，若是，则丢弃；若否，则进行封装。
3.根据权利要求1所述的高效定位系统故障的日志记录方法，其特征在于，日志管理进程模块接收日志公共库发送过来的日志信息之前还包括：日志管理进程模块读取日志配置文件，初始化日志记录线程和日志压缩线程。
4.根据权利要求1所述的高效定位系统故障的日志记录方法，其特征在于，通过所述日志记录线程和日志压缩线程对所述日志信息进行处理之前，还包括：将日志信息存放到对应的唤醒缓冲区，并激活日志记录线程。
5.根据权利要求4所述的高效定位系统故障的日志记录方法，其特征在于，所述日志记录线程对日志信息进行处理的过程包括：判断日志信息大小是否超过阈值，若是，则激活日志压缩线程；若否，则将唤醒缓冲区的日志信息保存到对应的日志文件中。
6.根据权利要求5所述的高效定位系统故障的日志记录方法，其特征在于，所述日志压缩线程对日志信息进行处理的过程包括：对大小超过阈值的日志信息进行压缩，并将所述日志信息的压缩包保存至Flash模块。
7.根据权利要求6所述的高效定位系统故障的日志记录方法，其特征在于，当Flash模块的日志占用率超过预设值时，删除最早的日志信息压缩包。
8.根据权利要求6或7所述的高效定位系统故障的日志记录方法，其特征在于，当设备异常需要重启时，在设备重启完成前，记录并压缩异常启动日志信息，然后存储到Flash模块。
9.一种高效定位系统故障的日志记录系统，其特征在于，包括：
日志公共库，用于将日志信息发送至日志管理进程模块；
日志管理进程模块，用于创建日志记录线程和日志压缩线程；接收并解析日志信息；所述日志记录线程和日志压缩线程用于对所述日志信息进行处理。
10.根据权利要求9所述的高效定位系统故障的日志记录系统，其特征在于，所述日志管理进程模块还包括唤醒缓冲模块和Flash模块，所述唤醒缓冲模块用于临时存放日志信息，所述Flash模块用于存储日志信息压缩包。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611232151.5A CN106844172A (zh) | 2016-12-28 | 2016-12-28 | 一种高效定位系统故障的日志记录方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611232151.5A CN106844172A (zh) | 2016-12-28 | 2016-12-28 | 一种高效定位系统故障的日志记录方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106844172A true CN106844172A (zh) | 2017-06-13 |
Family
ID=59113011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611232151.5A Pending CN106844172A (zh) | 2016-12-28 | 2016-12-28 | 一种高效定位系统故障的日志记录方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106844172A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110048900A (zh) * | 2019-05-29 | 2019-07-23 | 努比亚技术有限公司 | 日志管理方法、移动终端及计算机可读存储介质 |
| CN110134538A (zh) * | 2019-05-10 | 2019-08-16 | 重庆天蓬网络有限公司 | 快速定位问题日志的方法、装置、介质和电子设备 |
| CN112953753A (zh) * | 2019-12-24 | 2021-06-11 | 深圳市明源云科技有限公司 | 一种数据采集方法、装置、终端设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101087210A (zh) * | 2007-05-22 | 2007-12-12 | 网御神州科技（北京）有限公司 | 高性能的Syslog日志处理和存储方法 |
| CN102970158A (zh) * | 2012-11-05 | 2013-03-13 | 广东睿江科技有限公司 | 日志存储与处理的方法及日志服务器 |
| CN103488558A (zh) * | 2013-09-17 | 2014-01-01 | 北京思特奇信息技术股份有限公司 | 一种基于log4j日志框架自动采集应用异常的装置及方法 |
| CN105204979A (zh) * | 2015-07-28 | 2015-12-30 | 维沃移动通信有限公司 | 安卓日志的记录方法及移动终端 |
| CN106095864A (zh) * | 2016-06-03 | 2016-11-09 | 中国工商银行股份有限公司 | 一种日志处理系统及方法 |
-
2016
- 2016-12-28 CN CN201611232151.5A patent/CN106844172A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101087210A (zh) * | 2007-05-22 | 2007-12-12 | 网御神州科技（北京）有限公司 | 高性能的Syslog日志处理和存储方法 |
| CN102970158A (zh) * | 2012-11-05 | 2013-03-13 | 广东睿江科技有限公司 | 日志存储与处理的方法及日志服务器 |
| CN103488558A (zh) * | 2013-09-17 | 2014-01-01 | 北京思特奇信息技术股份有限公司 | 一种基于log4j日志框架自动采集应用异常的装置及方法 |
| CN105204979A (zh) * | 2015-07-28 | 2015-12-30 | 维沃移动通信有限公司 | 安卓日志的记录方法及移动终端 |
| CN106095864A (zh) * | 2016-06-03 | 2016-11-09 | 中国工商银行股份有限公司 | 一种日志处理系统及方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134538A (zh) * | 2019-05-10 | 2019-08-16 | 重庆天蓬网络有限公司 | 快速定位问题日志的方法、装置、介质和电子设备 |
| CN110048900A (zh) * | 2019-05-29 | 2019-07-23 | 努比亚技术有限公司 | 日志管理方法、移动终端及计算机可读存储介质 |
| CN110048900B (zh) * | 2019-05-29 | 2023-07-25 | 努比亚技术有限公司 | 日志管理方法、移动终端及计算机可读存储介质 |
| CN112953753A (zh) * | 2019-12-24 | 2021-06-11 | 深圳市明源云科技有限公司 | 一种数据采集方法、装置、终端设备及存储介质 |
| CN112953753B (zh) * | 2019-12-24 | 2023-11-28 | 深圳市明源云链互联网科技有限公司 | 一种数据采集方法、装置、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9876696B2 (en) | Method and system for processing browser crash information | |
| EP2503733B1 (en) | Data collecting method, data collecting apparatus and network management device | |
| CN104965754A (zh) | 任务调度方法及任务调度装置 | |
| CN112527879B (zh) | 基于Kafka的实时数据抽取方法及相关设备 | |
| CN103699580A (zh) | 数据库同步方法及装置 | |
| CN106844172A (zh) | 一种高效定位系统故障的日志记录方法及系统 | |
| US11113142B2 (en) | Early risk detection and management in a software-defined data center | |
| CN107346270B (zh) | 基于实时计算的基数估计的方法和系统 | |
| CN111782486A (zh) | 一种基于动态配置的告警实现方法及其系统 | |
| CN111651595A (zh) | 一种异常日志处理方法及装置 | |
| CN115357450A (zh) | 基于人工智能的节点维护方法、装置、计算机设备及介质 | |
| CN113254445A (zh) | 实时数据存储方法、装置、计算机设备及存储介质 | |
| CN114118295A (zh) | 一种异常检测模型训练方法、异常检测方法、装置及介质 | |
| CN115237857A (zh) | 日志处理方法、装置、计算机设备及存储介质 | |
| CN113420032A (zh) | 一种日志的分类存储方法及装置 | |
| CN105159820A (zh) | 一种系统日志数据传输方法及装置 | |
| US8682899B2 (en) | Apparatus and method for managing systems each including a plurality of configuration items | |
| CN103678314A (zh) | 基于关联规则提取的海量数据处理系统、设备及方法 | |
| CN113742174B (zh) | 云手机应用监控方法、装置、电子设备和存储介质 | |
| CN113468023A (zh) | 监控方法、装置、介质及电子设备 | |
| CN106649068A (zh) | 一种系统故障日志记录方法及系统 | |
| CN110019045B (zh) | 日志落地方法及装置 | |
| CN115525392A (zh) | 容器监控方法、装置、电子设备及存储介质 | |
| CN112818204A (zh) | 一种业务的处理方法、装置、设备及存储介质 | |
| CN110764931A (zh) | Ota网站上传凭证的处理方法、系统、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170613 |