CN105159817A - 一种日志文件处理系统及方法 - Google Patents
一种日志文件处理系统及方法 Download PDFInfo
- Publication number
- CN105159817A CN105159817A CN201510549490.5A CN201510549490A CN105159817A CN 105159817 A CN105159817 A CN 105159817A CN 201510549490 A CN201510549490 A CN 201510549490A CN 105159817 A CN105159817 A CN 105159817A
- Authority
- CN
- China
- Prior art keywords
- information
- monitoring
- journal file
- module
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志文件处理系统及方法，该处理系统包括主干过程信息文件模块、读写监测信息文件模块和模拟量实时采集信息文件模块；主干过程信息文件模块用于记录系统测试的过程信息；读写监测信息文件模块用于监测指定读写接口的输入输出信息；模拟量实时采集信息文件模块用于记录测试过程中模拟量实时采集信息；本发明提供的日志文件处理方法，采用监测指针指示缓冲区内的日志文件的数量，当其超过阈值时则将缓冲区清零，解决日志文件不断累积造成内存溢出问题；并为每条测试记录加上时间标签，指示故障发生时间，便于准确高效的定位故障信息。
Description
技术领域
本发明属于测控技术领域，更具体地，涉及一种日志文件处理系统及方法。
背景技术
日志文件详细记录了系统运行过程中发生的事件，日志文件处理系统主要应用于产品的维护和测试阶段，若设备出现异常，开发人员和测试人员可以根据日志文件来定位错误信息高效明确的日志文件可以辅助专业人员快速有效地定位系统故障，然后根据这些信息对系统操作做出纠正，从而优化系统的性能。
现有技术中的日志文件处理系统具有以下缺陷：日志文件内容繁杂，很难及时地定位问题故障；日志文件内容巨大，如果不及时清除，文件积累在系统中，容易造成内存溢出。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种日志文件处理系统及处理方法，其目的在于提高日志文件查询效率以及解决日志文件不能及时清理造成的内存溢出问题。
为实现上述目的，按照本发明的一个方面，提供了一种日志文件处理系统，用于记录测试系统在测试过程生成的日志文件，包括并列的主干过程信息文件模块、读写监测信息文件模块和模拟量实时采集信息文件模块；
其中，主干过程信息文件模块用于记录系统测试的过程信息；读写监测信息文件模块用于记录指定读写接口的输入输出信息；模拟量实时采集信息文件模块用于记录测试过程中模拟量实时采集信息；日志文件系统如此设计，上述三个信息文件模块相互独立，分类记录测试过程中产生的测试信息，开发人员可针对性的对各模块查询其记录的各类测试信息。
优选的，主干过程信息文件模块记录的过程信息包括测试步骤、各测试步骤的开始信息、过程信息和结束信息。
优选的，测试步骤的开始信息包括系统操作的开始提醒、模拟输入输出或数字输入输出的初始化操作提醒、线程池函数的开启提示、过程变量的初始信息；模拟输入输出的初始化指的是模拟板卡参数的设置，包括通道、样本数、采样率、超时时间等；数字输入输出的初始化指的是数字板卡参数的设置，包括通道、样本数、采样率、超时时间等；线程池函数的开启指的是线程开启的时间和相关操作；过程变量指的是中间变量的变化过程；结束信息包括该系统操作的结束提醒、测试结论及收尾处理信息提示；其中，收尾处理包括线程池释放，文件句柄释放，任务的释放，通道的关闭，端口的清零操作。
优选的，读写监测信息文件模块记录指定读写接口的稳定性测试信息，用于实时监测系统算法在执行过程中出现的工作情况。
优选的，模拟量实时采集信息文件模块记录模拟量端口实时值的采集信息。
按照本发明的另一个方面，还提供了一种日志文件处理方法，包括以下步骤：
(1)在系统测试开始的同时，判断监测指针的值是否大于等于预设阈值；若是，自动清除缓冲区内所有的日志文件，同时将监测指针置零，进入步骤(2)；若否，直接进入步骤(2)；
(2)创建日志文件处理系统，包括三个日志文件模块：主干过程信息文件模块、读写监测信息文件模块和模拟量实时采集信息文件模块；
其中，主干过程信息文件模块用于记录系统测试的过程信息；读写监测信息文件模块用于监测指定读写接口的输入输出信息；模拟量实时采集信息文件模块用于记录测试过程中模拟量实时采集信息；
(3)以“时间标签+测试信息”的格式保存每条测试记录；采用时间标签记录测试记录的日期信息；
(4)根据系统发出的写请求，将测试记录写入相应的日志文件模块；
具体的，系统测试的过程信息写入主干过程信息文件模块；指定读写接口的输入输出信息写入读写监测信息文件模块；模拟量实时采集信息写入模拟量实时采集信息文件模块；
(5)当用户发出日志查询请求时，根据用户的日志查询请求定位到对应的测试模块，根据日志文件查找用户关心的测试信息。
优选地，步骤(1)中，监测指针的初值为0，监测指针的预设阈值为100；采用监测指针的值指示缓冲区内日志文件数目，每生成一个日志文件，监测指针自动累加1。
优选的，步骤(3)中记录的测试信息包括系统测试的过程信息、指定读写接口的稳定性测试信息以及相关模拟量端口实时值的采集信息；过程信息包括所有的测试步骤及每个测试步骤的开始信息、过程信息和结束信息；
其中，开始信息包括某系统操作的开始提醒、模拟输入输出和数字输入输出的初始化、线程池函数的开启和过程变量的初始信息；过程信息指的是重要中间变量的变化过程；结束信息包括该系统操作的结束提醒、测试结论及收尾处理信息提示；收尾处理包括线程池、文件句柄、任务的释放，通道的关闭和端口清零操作的时间。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明提供的日志文件处理系统，包括并列的主干过程信息文件模块、读写监测信息文件模块和模拟量实时采集信息文件模块三个模块，三个模块相互独立；将测试过程中产生的信息分类分别记录在该系统的各模块里；与现有技术里将所有测试信息记录在同一模块里的处理系统相比，采用本发明，开发人员可针对性的对各模块查询其记录的各类测试信息，提高查询效率，以更快的定位故障；
(2)本发明提供的日志文件处理方法，采用监测指针指示缓冲区内已存的日志文件数量；当监测指针的值超过预设的阈值，则缓冲区自动清除其存储的日志文件，有效地防止日志文件不断累积造成内存溢出；
(3)本发明提供的日志文件处理方法，每个测试记录均具有时间标签，开发人员通过日志文件可方便清楚的查看到错误发生时间，准确定位故障；
(4)应用本发明提供的日志文件处理系统及方法，开发维护人员可及时、准确地定位错误信息，诊断系统应用问题，提高了开发测试效率。
附图说明
图1是实施例提供的日志文件处理系统与某型号尾段测试仪系统连接示意图；
图2是实施例中对某型号尾段测试仪测试过程日志文件的处理流程。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例中，应用本发明提供的日志文件处理系统为某种航天型号尾段测试仪实时准确的记录处理测试信息；实施例里日志文件处理系统与尾段测试仪以及待测系统的测试连接关系如图1所示，尾段测试仪与读写板卡之间通信所生成的信息由读写监测信息文件模块存储；测试仪与A/D板卡和D/A板卡之间通信所生成的信息由模拟量实时采集信息文件模块存储；尾段测试仪在测试过程生成的测试信息由主干过程信息文件模块存储；测试过程中，将所有涉及到板卡操作的测试信息保存于对应的模块，分类存储便于测试信息的快速定位；
实施例中，日志文件处理的流程如图2所示，在实施例里，监测指针的预设阈值为100；具体步骤如下：
(1)在系统测试开始时，判断监测指针的值是否大于等于100，若是，自动清除缓冲区内所有的日志文件，同时将监测指针置零，进入步骤(2)；若否，直接进入步骤(2)；
(2)创建日志文件处理系统，包括三个日志文件模块：logPro模块、I/OLog模块和queryLog模块；
其中，logPro模块对应主干过程信息文件模块，用于记录系统测试的过程信息；I/OLog模块对应读写监测信息文件模块，用于监测指定读写接口的输入输出信息；queryLog模块对应模拟量实时采集信息文件模块，用于记录测试过程中模拟量实时采集信息；
(3)以“时间标签+测试信息”的格式保存每条测试记录；以下是实施例中logPro模块中的部分测试记录示例：
2015-05-0715:30:16.218:--开始AD测试--
2015-05-0715:30:16.726:--开启RS422数据数据接收线程--
2015-05-0715:30:16.726:--开启模拟量采集--
2015-05-0715:30:17.308:角度：-0.000116
2015-05-0715:30:17.808:角度：-0.000118
2015-05-0715:30:18.308:角度：-0.000122
2015-05-0715:30:18.808:角度：-0.000254
2015-05-0715:30:19.308:角度：-0.000243
2015-05-0715:30:19.808:角度：-0.000239
2015-05-0715:30:20.308:角度：-0.000270
2015-05-0715:30:20.807:角度：-0.000337
2015-05-0715:30:21.307:角度：-0.000323
2015-05-0715:30:21.807:角度：-0.000179
2015-05-0715:30:22.307:角度：-0.000093
2015-05-0715:30:22.809:角度：-0.000257
2015-05-0715:30:23.308:角度：-0.000318
2015-05-0715:30:23.808:角度：-0.000210
2015-05-0715:30:24.308:角度：-0.000230
2015-05-0715:30:24.620:--关闭ai—
上述每条测试记录均包括时间标签与测试信息；时间标签记录该条测试记录的日期和时间，测试信息包括系统测试的过程信息、指定读写接口的稳定性测试信息以及相关模拟量端口实时值的采集信息；
过程信息包括所有的测试步骤及每个测试步骤的开始信息、过程信息和结束信息；
其中，开始信息包括某系统操作的开始提醒、模拟输入输出或数字输入输出的初始化操作提醒、线程池函数的开启提示和过程变量的初始信息；过程信息指的是重要中间变量的变化过程；结束信息包括该系统操作的结束提醒、测试结论及收尾处理信息提示；收尾处理包括线程池、文件句柄、任务的释放、通道的关闭和端口清零操作；
以上述测试记录为例，说明如下：
2015-05-0715:30:16.218:--开始AD计测试--，该项记录的是在2015-05-0715:30:16.218时间点系统测试的开始提示；
2015-05-0715:30:16.726:--开启RS422数据数据接收线程--，该项记录的是在2015-05-0715:30:16.726时间点线程池函数的开启提示；
2015-05-0715:30:16.726:--开启模拟量采集--，该项记录的是在2015-05-0715:30:16.726时间点模拟量采集的开始提示；
2015-05-0715:30:24.620:--关闭ai--，该项记录的是在2015-05-0715:30:24.620的时间点该系统操作的结束提示；
其余则是记录的测试过程中过程信息的变化以及变化发生的时间点；
(4)根据系统发出的写请求，将测试信息写入相应的日志文件模块；
具体的，系统测试的过程信息写入logPro模块；指定读写接口的输入输出信息写入I/OLog模块；模拟量实时采集信息写入queryLog模块；
(5)当用户提出日志查询请求时，根据用户需求定位到相应的测试模块，打开日志文件，查找用户关心的测试信息。
本发明将日志文件处理系统模块化，分类记录系统测试过程中发生的事件，方便软件开发和维护人员及时准确地定位错误信息，诊断系统故障；同时，为每个测试记录增加时间标签，提升了日志文件处理系统的实时性。
本发明实施例提供的日志文件处理系统，采用监测指针指示缓冲器内日志文件数量，当监测指针值大于预设的阈值100，时缓冲区的日志文件自动清除，可有效地防止日志文件不断累积造成内存溢出。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种日志文件处理系统，用于记录测试系统在测试过程生成的日志文件，其特征在于，包括并列的主干过程信息文件模块、读写监测信息文件模块和模拟量实时采集信息文件模块；
所述主干过程信息文件模块用于记录系统测试的过程信息；所述读写监测信息文件模块用于记录指定读写接口的输入输出信息；所述模拟量实时采集信息文件模块用于记录测试过程中模拟量实时采集信息。
2.如权利要求1所述的日志文件处理系统，其特征在于，所述主干过程信息文件模块记录的过程信息包括测试步骤、各测试步骤的开始信息、过程信息和结束信息。
3.如权利要求2所述的日志文件处理系统，其特征在于，所述主干过程信息文件模块记录的测试步骤的开始信息包括系统操作的开始提醒、模拟输入输出或数字输入输出的初始化操作提醒、线程池函数的开启提示、过程变量的初始信息。
4.如权利要求1所述的日志文件处理系统，其特征在于，所述读写监测信息文件模块记录指定读写接口的稳定性测试信息，用于实时监测系统算法在执行过程中出现的工作情况。
5.如权利要求1所述的日志文件处理系统，其特征在于，所述模拟量实时采集信息文件模块记录模拟量端口实时值的采集信息。
6.一种日志文件处理方法，其特征在于，包括以下步骤：
(1)在系统测试开始的同时，判断监测指针的值是否大于等于预设阈值；若是，清除缓冲区内所有的日志文件，并将监测指针的值置零，进入步骤(2)；若否，直接进入步骤(2)；
(2)创建日志文件处理系统，包括三个日志文件模块：主干过程信息文件模块、读写监测信息文件模块和模拟量实时采集信息文件模块；
(3)以“时间标签+测试信息”的格式保存每条测试记录；采用时间标签记录测试记录的日期信息；
(4)根据系统发出的写请求，将测试记录写入相应的日志文件模块；
(5)当用户发出日志查询请求时，根据用户的日志查询请求定位到对应的测试模块，根据日志文件查找用户关心的测试信息。
7.如权利要求6的日志文件处理方法，其特征在于，所述步骤(1)中，监测指针的初值为0，监测指针的预设阈值为100；采用监测指针的值指示缓冲区内日志文件数目，每生成一个日志文件，监测指针自动累加1。
8.如权利要求6的日志文件处理方法，其特征在于，所述步骤(3)中记录的测试信息包括系统测试的过程信息、指定读写接口的稳定性测试信息以及相关模拟量端口实时值的采集信息；过程信息包括所有的测试步骤及每个测试步骤的开始信息、过程信息和结束信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510549490.5A CN105159817B (zh) | 2015-08-31 | 2015-08-31 | 一种日志文件处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510549490.5A CN105159817B (zh) | 2015-08-31 | 2015-08-31 | 一种日志文件处理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105159817A true CN105159817A (zh) | 2015-12-16 |
| CN105159817B CN105159817B (zh) | 2018-06-26 |
Family
ID=54800679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510549490.5A Active CN105159817B (zh) | 2015-08-31 | 2015-08-31 | 一种日志文件处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105159817B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105740406A (zh) * | 2016-01-28 | 2016-07-06 | 北京致远协创软件有限公司 | 一种信息标引和检索方法 |
| CN106445761A (zh) * | 2016-11-09 | 2017-02-22 | 上海斐讯数据通信技术有限公司 | 基于ssh协议定时记录cpu和内存的测试方法及系统 |
| JP2018018122A (ja) * | 2016-07-25 | 2018-02-01 | 富士通株式会社 | 情報処理プログラム、情報処理装置および情報処理方法 |
| CN107995234A (zh) * | 2016-10-26 | 2018-05-04 | 北京国双科技有限公司 | 数据传输方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080100328A1 (en) * | 2006-10-31 | 2008-05-01 | Ibm Corporation | Method and Apparatus for Testing to Determine Minimum Operating Voltages in Electronic Devices |
| CN102035896A (zh) * | 2010-12-31 | 2011-04-27 | 北京航空航天大学 | 一种适用于软件系统的基于ttcn－3的分布式测试框架 |
| CN102799514A (zh) * | 2011-05-24 | 2012-11-28 | 中兴通讯股份有限公司 | 一种日志记录管理方法和系统 |
| CN103064905A (zh) * | 2012-12-18 | 2013-04-24 | 武汉华中数控股份有限公司 | 一种数控系统的日志管理方法 |
-
2015
- 2015-08-31 CN CN201510549490.5A patent/CN105159817B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080100328A1 (en) * | 2006-10-31 | 2008-05-01 | Ibm Corporation | Method and Apparatus for Testing to Determine Minimum Operating Voltages in Electronic Devices |
| CN102035896A (zh) * | 2010-12-31 | 2011-04-27 | 北京航空航天大学 | 一种适用于软件系统的基于ttcn－3的分布式测试框架 |
| CN102799514A (zh) * | 2011-05-24 | 2012-11-28 | 中兴通讯股份有限公司 | 一种日志记录管理方法和系统 |
| CN103064905A (zh) * | 2012-12-18 | 2013-04-24 | 武汉华中数控股份有限公司 | 一种数控系统的日志管理方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105740406A (zh) * | 2016-01-28 | 2016-07-06 | 北京致远协创软件有限公司 | 一种信息标引和检索方法 |
| JP2018018122A (ja) * | 2016-07-25 | 2018-02-01 | 富士通株式会社 | 情報処理プログラム、情報処理装置および情報処理方法 |
| CN107995234A (zh) * | 2016-10-26 | 2018-05-04 | 北京国双科技有限公司 | 数据传输方法及装置 |
| CN107995234B (zh) * | 2016-10-26 | 2021-08-10 | 北京国双科技有限公司 | 数据传输方法及装置 |
| CN106445761A (zh) * | 2016-11-09 | 2017-02-22 | 上海斐讯数据通信技术有限公司 | 基于ssh协议定时记录cpu和内存的测试方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105159817B (zh) | 2018-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105159817A (zh) | 一种日志文件处理系统及方法 | |
| CN107729210A (zh) | 分布式服务集群的异常诊断方法和装置 | |
| US10598702B2 (en) | Similarity detection of abnormal waveforms using PMU measurement | |
| CN109471845A (zh) | 日志管理方法、服务器及计算机可读存储介质 | |
| CN102280125B (zh) | 一种对异常关机所丢失数据进行恢复的方法及硬盘录像机 | |
| CN102147268A (zh) | 一体化全景数据记录分析系统 | |
| CN102981944B (zh) | 一种基于文件系统的日志存储方法 | |
| CN104866619A (zh) | 数据仓库的数据监控方法和系统 | |
| CN102594581B (zh) | 一种日志数据的记录方法 | |
| CN107908513A (zh) | 一种存储介质和存储设备性能的测试方法、装置及设备 | |
| CN114154035A (zh) | 一种动环监控的数据处理系统 | |
| CN104484131A (zh) | 多磁盘服务器的数据处理装置及对应的处理方法 | |
| CN106372153A (zh) | 一种基于日志文件系统的记录设备故障诊断方法 | |
| CN107819328A (zh) | 一种电网故障数据的存储方法及装置 | |
| CN104516953B (zh) | 一种用于电力调度自动化海量报文的黑匣子系统 | |
| CN115793990A (zh) | 存储器健康状态确定方法、装置、电子设备及存储介质 | |
| CN102880718A (zh) | 一种灵活日志的存贮和获取方法 | |
| CN104238540A (zh) | 用于系统异常诊断的信息采集方法、装置及医疗设备 | |
| CN104317907A (zh) | 对用于评估铁路运输能力的数据进行处理的方法 | |
| CN107247505A (zh) | 一种易于查看的云服务器电源blackbox设计方法 | |
| CN102546235B (zh) | 云计算环境下面向web应用的性能诊断方法和系统 | |
| CN112906727B (zh) | 用于实时在线检测虚拟机状态的方法和系统 | |
| CN108847714A (zh) | 一种高压直流输电暂态数据录波装置及控制保护装置 | |
| CN104598574A (zh) | 一种海量gps数据存储的方法及装置 | |
| CN103245915A (zh) | 基于实时pmu数据的励磁系统在线监视方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |