CN109684145A - 一种自动化处理日志的方法、装置以及计算机存储介质 - Google Patents
一种自动化处理日志的方法、装置以及计算机存储介质 Download PDFInfo
- Publication number
- CN109684145A CN109684145A CN201811605742.1A CN201811605742A CN109684145A CN 109684145 A CN109684145 A CN 109684145A CN 201811605742 A CN201811605742 A CN 201811605742A CN 109684145 A CN109684145 A CN 109684145A
- Authority
- CN
- China
- Prior art keywords
- log
- script
- memory test
- processing
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2268—Logging of test results
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种自动化处理日志的方法、装置以及计算机存储介质,所述方法包括:进行内存测试时,编写日志处理脚本;执行所述脚本,遍历所有内存测试日志;对所述内存测试日志自动执行日志收集和/或清空处理。本发明实现了自动进行日志处理,从而可以实现自动化的测试,节约内存的测试时间,方便内存测试的进行,并获得稳定的报错信息,提高测试效率。
Description
技术领域
本发明涉及服务器技术领域,特别涉及一种自动化处理日志的方法、装置以及计算机存储介质。
背景技术
内存是服务器系统的关键组成部分,与CPU进行沟通的桥梁,用于暂时存放CPU中的运算数据,以及与硬盘等外部存储器交换的数据。计算机中所有程序的运行都是在内存中进行的,因此内存的性能对服务器整体的性能影响非常大。
由于内存性能的影响之重,所以在服务器的测试中内存测试时非常重要的,并且需要很多项测试来对内存的性能等各项指标进行判定。其中判定测试是否通过的条件之一是需要查看系统日志中error和ecc报错,来判断是否有内存报错,并且每一项内存测试完成后都需要清空报错日志,来进行下一项测试。目前的内存测试中,每一项测试后均需要手动进行报错日志的查看、清空。需要耗费很多时间和精力,不利于测试的快速进行。另外,日志的报错只能查看,没有自动保存,清空后就无法再次查看此次测试中的报错。
基于此,急需一种可以自动化处理日志的方法,可以自动进行报错日志的收集和/或清空,方便操作并且能够保存。
发明内容
有鉴于此,本发明的目的是提供一种自动化处理日志的方法,能够自动进行报错日志的收集和/或清空,可以实现自动化的测试,节约内存的测试时间,方便内存测试的进行,并获得稳定的报错信息,提高测试效率;本发明的另一目的是提供一种自动化处理日志的装置及计算机存储介质,均具有上述有益效果。
为解决上述技术问题,本发明提供了一种自动化处理日志的方法,所述方法包括:
进行内存测试时,编写日志处理脚本;
执行所述脚本,遍历所有内存测试日志;
对所述内存测试日志自动执行日志收集和/或清空处理。
优选地,所述日志处理脚本为日志收集脚本和/或日志清空脚本。
优选地,当所述日志处理脚本为日志收集脚本时,所述方法进一步包括:
若遍历的当前内存测试日志中存在报错信息,则将所述报错信息写入报错文档;
判断是否已遍历所有内存测试日志;
若是,则输出报错文档,否则,继续遍历所述内存测试日志。
优选地,当所述日志处理脚本为日志清空脚本时,所述方法进一步包括:
清空遍历的当前内存测试日志;
判断是否已遍历所有内容测试日志;
若是,则结束流程,否则,继续遍历所述内存测试日志。
优选地,所述方法应用于Linux环境。
为解决上述技术问题,本发明还提供了一种自动化处理日志的装置,所述装置包括:
脚本编写模块,用于进行内存测试时,编写日志处理脚本;
脚本执行模块,用于执行所述脚本,遍历所有内存测试日志;
日志处理模块,用于对所述内存测试日志自动执行日志收集和/或清空处理。
优选地,所述日志处理脚本为日志收集脚本和/或日志清空脚本。
优选地,所述日志处理模块还包括:
日志收集单元,用于若遍历的当前内存测试日志中存在报错信息,则将所述报错信息写入报错文档;判断是否已遍历所有内存测试日志;若是,则输出报错文档,否则,继续遍历所述内存测试日志。
优选地,所述日志处理模块还包括:
日志清空单元,用于清空遍历的当前内存测试日志;判断是否已遍历所有内容测试日志;若是,则结束流程,否则,继续遍历所述内存测试日志。
为解决上述技术问题,本发明还提供了一种计算机存储介质,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种自动化处理日志的方法的步骤,
本发明的有益效果:
本发明通过编写脚本,自动进行报错日志的收集与清空,并自动输出报错文档,可以实现自动化的测试,节约内存的测试时间,方便内存测试的进行,并获得稳定的报错信息,提高测试效率。
附图说明
为了更清楚地说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种自动化处理日志的方法流程图;
图2为本发明实施例提供的一种自动化处理日志的装置结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的核心是提供一种自动化处理日志的方法,能够自动进行报错日志的收集和/或清空,可以实现自动化的测试,节约内存的测试时间,方便内存测试的进行,并获得稳定的报错信息,提高测试效率;本发明的另一目的是提供一种自动化处理日志的装置及计算机存储介质,均具有上述有益效果。
为了使本领域技术人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种自动化处理日志的方法流程图,如图1所示,一种自动化处理日志的方法包括:
S101:进行内存测试时,编写日志处理脚本;
具体地,在Linux环境下进行内存测试时,可以编写日志收集脚本和/或日志清空脚本,自动化进行报错日志的收集与清空。其中日志收集脚本可以表示为脚本error.sh,日志清空脚本可以表示为:脚本null.sh。
S102:执行所述脚本,遍历所有内存测试日志;
具体地,执行日志处理脚本,遍历内存测试产生的所有日志,从而收集日志中的报错信息,并自动输出至保存文档,和/或遍历内存测试产生的所有日志,自动化清空所有日志内容。
S103:对所述内存测试日志自动执行日志收集和/或清空处理;
具体地,若日志处理脚本为日志收集脚本时,如error.sh脚本,自动执行日志收集的操作如下:
查看log文件messages中error报错信息,有报错,写入errorlog.txt文档
cat/var/log/messages|grep-ierror>>errorlog.txt;
查看log文件messages中ecc报错信息,有报错,写入errorlog.txt文档
cat/var/log/messages|grep-i ecc>>errorlog.txt;
查看log文件mcelog中error报错信息,有报错,写入errorlog.txt文档
cat/var/log/mcelog|grep-i error>>errorlog.txt;
查看log文件mcelog中ecc报错信息,有报错,写入errorlog.txt文档
cat/var/log/mcelog|grep-i ecc>>errorlog.txt;
查看log文件dmesg中error报错信息,有报错,写入errorlog.txt文档
cat/var/log/dmesg|grep-i error>>errorlog.txt;
查看log文件dmesg中ecc报错信息,有报错,写入errorlog.txt文档
cat/var/log/dmesg|grep-i ecc>>errorlog.txt;done
结束。
执行脚本error.sh,即可自动化进行日志中报错的收集,并自动输出errorlog.txt文档,查看errorlog.txt文档即可看到所有报错信息,并实现了报错信息的自动保存。
若日志处理脚本为日志清空脚本时,如null.sh脚本,自动执行日志清空的操作如下:
清空日志messages
cat/dev/null>/var/log/messages;
清空日志dmesg
cat/dev/null>/var/log/dmesg;
清空日志mcelog
cat/dev/null>/var/log/mcelog;done
结束。
执行脚本null.sh,即可自动化清空日志。
本发明实施例提供的自动化处理日志的方法,通过编写脚本,自动进行报错日志的收集与清空,并自动输出报错文档,可以实现自动化的测试,节约内存的测试时间,方便内存测试的进行,并获得稳定的报错信息,提高测试效率。
图2为本发明实施例提供的一种自动化处理日志的装置结构图,如图2所示,一种自动化处理日志的装置包括:
脚本编写模块21,用于进行内存测试时,编写日志处理脚本;
具体地,在Linux环境下进行内存测试时,可以编写日志收集脚本和/或日志清空脚本,自动化进行报错日志的收集与清空。其中日志收集脚本可以表示为脚本error.sh,日志清空脚本可以表示为:脚本null.sh。
脚本执行模块22,用于执行所述脚本,遍历所有内存测试日志;
日志处理模块23,用于对所述内存测试日志自动执行日志收集和/或清空处理。
具体地,所述日志处理模块23还包括:
日志收集单元,用于若遍历的当前内存测试日志中存在报错信息,则将所述报错信息写入报错文档;判断是否已遍历所有内存测试日志;若是,则输出报错文档,否则,继续遍历所述内存测试日志。
进一步地,所述日志处理模块23还可以包括:
日志清空单元,用于清空遍历的当前内存测试日志;判断是否已遍历所有内容测试日志;若是,则结束流程,否则,继续遍历所述内存测试日志。
本发明实施例提供的自动化处理日志的装置,具有上述自动化处理日志的方法的有益效果。
为解决上述技术问题,本发明还提供一种计算机存储介质,计算机存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述自动化处理日志的方法的步骤。
本发明实施例提供的计算机可读存储介质,具有上述自动化处理日志的方法的有益效果。
以上对本发明所提供的自动化处理日志的方法、装置及计算机存储介质进行了详细介绍。本文中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
Claims (10)
1.一种自动化处理日志的方法,其特征在于,所述方法包括:
进行内存测试时,编写日志处理脚本;
执行所述脚本,遍历所有内存测试日志;
对所述内存测试日志自动执行日志收集和/或清空处理。
2.根据权利要求1所述的方法,其特征在于,所述日志处理脚本为日志收集脚本和/或日志清空脚本。
3.根据权利要求2所述的方法,当所述日志处理脚本为日志收集脚本时,所述方法进一步包括:
若遍历的当前内存测试日志中存在报错信息,则将所述报错信息写入报错文档;
判断是否已遍历所有内存测试日志;
若是,则输出报错文档,否则,继续遍历所述内存测试日志。
4.根据权利要求2所述的方法,其特征在于,当所述日志处理脚本为日志清空脚本时,所述方法进一步包括:
清空遍历的当前内存测试日志;
判断是否已遍历所有内容测试日志;
若是,则结束流程,否则,继续遍历所述内存测试日志。
5.根据权利要求1-4任一项所述方法,其特征在于,所述方法应用于Linux环境。
6.一种自动化处理日志的装置,其特征在于,所述装置包括:
脚本编写模块,用于进行内存测试时,编写日志处理脚本;
脚本执行模块,用于执行所述脚本,遍历所有内存测试日志;
日志处理模块,用于对所述内存测试日志自动执行日志收集和/或清空处理。
7.根据权利要求6所述的装置,其特征在于,所述日志处理脚本为日志收集脚本和/或日志清空脚本。
8.根据权利要求7所述的装置,其特征在于,所述日志处理模块还包括:
日志收集单元,用于若遍历的当前内存测试日志中存在报错信息,则将所述报错信息写入报错文档;判断是否已遍历所有内存测试日志;若是,则输出报错文档,否则,继续遍历所述内存测试日志。
9.根据权利要求7所述的装置,其特征在于,所述日志处理模块还包括:
日志清空单元,用于清空遍历的当前内存测试日志;判断是否已遍历所有内容测试日志;若是,则结束流程,否则,继续遍历所述内存测试日志。
10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的自动化处理日志的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811605742.1A CN109684145A (zh) | 2018-12-27 | 2018-12-27 | 一种自动化处理日志的方法、装置以及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811605742.1A CN109684145A (zh) | 2018-12-27 | 2018-12-27 | 一种自动化处理日志的方法、装置以及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109684145A true CN109684145A (zh) | 2019-04-26 |
Family
ID=66189826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811605742.1A Pending CN109684145A (zh) | 2018-12-27 | 2018-12-27 | 一种自动化处理日志的方法、装置以及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109684145A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120191660A1 (en) * | 2011-01-26 | 2012-07-26 | Viaforensics | Systems, methods, apparatuses, and computer program products for forensic monitoring |
CN105653435A (zh) * | 2015-12-28 | 2016-06-08 | 曙光信息产业(北京)有限公司 | 一种网络文件系统nfs的性能测试方法和装置 |
CN107832352A (zh) * | 2017-10-23 | 2018-03-23 | 中国银行股份有限公司 | 日志自动处理方法、装置、存储介质及设备 |
CN108199862A (zh) * | 2017-09-30 | 2018-06-22 | 海南电网有限责任公司 | 一种业务系统报错管理系统及方法 |
-
2018
- 2018-12-27 CN CN201811605742.1A patent/CN109684145A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120191660A1 (en) * | 2011-01-26 | 2012-07-26 | Viaforensics | Systems, methods, apparatuses, and computer program products for forensic monitoring |
CN105653435A (zh) * | 2015-12-28 | 2016-06-08 | 曙光信息产业(北京)有限公司 | 一种网络文件系统nfs的性能测试方法和装置 |
CN108199862A (zh) * | 2017-09-30 | 2018-06-22 | 海南电网有限责任公司 | 一种业务系统报错管理系统及方法 |
CN107832352A (zh) * | 2017-10-23 | 2018-03-23 | 中国银行股份有限公司 | 日志自动处理方法、装置、存储介质及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5723208B2 (ja) | コールバックを用いたソフトウェアの動的計測のためのフェイルセーフメカニズム | |
US20190303270A1 (en) | Scalable Execution Tracing For Large Program Codebases | |
US8631280B2 (en) | Method of measuring and diagnosing misbehaviors of software components and resources | |
CN107506451A (zh) | 用于数据交互的异常信息监控方法及装置 | |
US10007571B2 (en) | Policy based dynamic data collection for problem analysis | |
US8694834B2 (en) | Preventing log wrap with debug scripts | |
Turnbull | The art of monitoring | |
CN103870536A (zh) | 用于内存数据库处理的系统和方法 | |
US8918762B2 (en) | Generating test plans and test cases from service-oriented architecture and process models | |
KR20150118963A (ko) | 큐 모니터링 및 시각화 | |
CN108959055A (zh) | xfs文件系统的读写性能测试方法、装置及设备 | |
CN112559525B (zh) | 数据检查系统、方法、装置和服务器 | |
CN109241187A (zh) | 基于Kafka消息队列的MongoDB日志采集和分析系统 | |
CN108205587A (zh) | 一种日志监测方法及系统 | |
Plazonic et al. | Jobstats: A Slurm-Compatible Job Monitoring Platform for CPU and GPU Clusters | |
CN108491165A (zh) | 一种用于分级存储的数据迁移方法及系统 | |
CN108763043A (zh) | 一种存储设备中压力测试数据的获取方法、装置及系统 | |
CN109684145A (zh) | 一种自动化处理日志的方法、装置以及计算机存储介质 | |
US11016762B2 (en) | Determining caller of a module in real-time | |
CN115408383A (zh) | 高并发数据入库方法、装置、电子设备及存储介质 | |
CN107247804A (zh) | 运维大数据分析方法、装置及系统 | |
CN110019045A (zh) | 日志落地方法及装置 | |
Kpodjedo et al. | Recovering the evolution stable part using an ecgm algorithm: Is there a tunnel in mozilla? | |
US10310927B2 (en) | Operating a trace procedure for a computer program | |
US20160041900A1 (en) | Testing integrated business systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190426 |