CN101789174B - 一种日志的监测方法及装置 - Google Patents
一种日志的监测方法及装置 Download PDFInfo
- Publication number
- CN101789174B CN101789174B CN 200910244105 CN200910244105A CN101789174B CN 101789174 B CN101789174 B CN 101789174B CN 200910244105 CN200910244105 CN 200910244105 CN 200910244105 A CN200910244105 A CN 200910244105A CN 101789174 B CN101789174 B CN 101789174B
- Authority
- CN
- China
- Prior art keywords
- resolved
- log record
- record
- time
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
Landscapes
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志的监测方法及装置，涉及智能交通系统技术领域。为了解决现有技术中，由于目前日志监测的过程需要对整个日志文件内容进行解析，从而需要占用大量的系统资源，而且监测的效率也较低的问题而发明。本发明实施例提供了一种日志的监测方法，该方法包括：获取日志文件中待解析的日志记录；判断所述待解析的日志记录的时间是否超出预设解析时间；如果所述待解析的日志记录的时间未超出预设解析时间，则解析所述待解析的日志记录；如果所述待解析的日志记录的时间超出预设解析时间，则停止日志监测。采用本发明可以降低系统资源的占用量，提高系统监测的效率。
Description
技术领域
本发明涉及智能交通系统技术领域，尤其涉及一种日志的监测方法及装置。
背景技术
目前，智能交通系统(ITS)领域中运营系统上运行程序都各自拥有自己的日志的记录。其中，所述记录的日志包括各种程序处理进度记录，操作记录等等。这些日志对于系统中的各个程序的运维，程序运行分析，程序状态监控具有重要意义。其中，所述运营系统上运行程序的日志监测过程具体为：获取所述运营系统上运行程序的日志文件的全部内容；根据所述获取到的日志文件的全部内容进行顺序解析，给出解析结果；根据所述解析结果，进行相应的处理。
在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：由于目前日志监测的过程需要对整个日志文件内容进行解析，从而需要占用大量的系统资源，而且监测的效率也较低。这样，当程序运行异常或者数据量异常时，无法及时报警。
发明内容
本发明的实施例提供一种日志的监测方法及装置。
为达到上述目的，本发明的实施例采用如下技术方案：
一种日志的监测方法，包括：
获取日志文件中待解析的日志记录；
判断所述待解析的日志记录的时间是否超出预设解析时间；
如果所述待解析的日志记录的时间未超出预设解析时间，则解析所述待解析的日志记录；
如果所述待解析的日志记录的时间超出预设解析时间，则停止日志监测。
一种日志的监测装置，包括：
日志记录获取单元，用于获取日志文件中待解析的日志记录；
判断单元，用于判断所述待解析的日志记录的时间是否超出预设解析时间；
解析单元，用于如果所述待解析的日志记录的时间未超出预设解析时间，则解析所述待解析的日志记录；
监测停止单元，用于如果所述待解析的日志记录的时间超出预设解析时间，则停止日志监测。
本发明实施例提供的日志的监测方法及装置，通过获取日志文件中待解析的日志记录；判断所述待解析的日志记录的时间是否超出预设解析时间；如果所述待解析的日志记录的时间未超出预设解析时间，则解析所述待解析的日志记录；如果所述待解析的日志记录的时间超出预设解析时间，则停止日志监测。与现有技术相比，本发明实施例仅仅对所述日志文件中的待解析的日志记录进行解析监测，而无需对整个日志文件进行解析监测，从而大大降低了系统资源的占用量，提高了监测的效率，并及时将运行异常或者数据量异常的情况进行报警。
附图说明
图1为本发明实施例提供的一种日志的监测方法流程图；
图2为本发明实施例提供的一种日志的监测方法中所述获取日志文件中待解析的日志记录的具体实现流程图；
图3为本发明实施例提供的一种日志的监测方法的具体实现流程图；
图4为本发明实施例提供的一种日志的监测装置结构示意图。
具体实施方式
下面结合附图对本发明实施例日志的监测方法及装置进行详细描述。
如图1所示，为本发明实施例提供的一种日志的监测方法，该方法包括：
101：获取日志文件中待解析的日志记录；
102：判断所述待解析的日志记录的时间是否超出预设解析时间；
103：如果所述待解析的日志记录的时间未超出预设解析时间，则解析所述待解析的日志记录；
104：如果所述待解析的日志记录的时间超出预设解析时间，则停止日志监测。
需要注意的是，所述待解析的日志记录包括：开始字段信息、时间字段信息、优先级字段信息、程序名称及版本字段信息、监测数据字段信息、扩展字段信息以及结束字段信息。其具体格式如下：
[#|Time|level|程序名称及版本|message|可选项1|可选项2|...|可选项n|#]
其中，上述待解析的日志记录的符号具体表示含义如下表1所示。
表1
如图2所示，为本发明实施例提供的一种日志的监测方法中所述获取日志文件中待解析的日志记录的具体实现流程；该流程包括：
201：获取所述待解析的日志记录的记载时间与当前系统时间的时间间隔；例如：系统可以先解析所述待解析的日志记录中的时间字段信息Time，如该日志记录的产生时间和产生日期；然后，读取系统当前的日期与时间；将所述系统当前的日期与时间和所述Time中的日志记录的产生时间和产生日期进行比较计算，获取时间间隔。
202：按照所述时间间隔由短到长的顺序，依次提取所述待解析的日志记录。也就是说从距当前系统时间间隔最短的日志记录开始进行提取。
需要注意的是，该流程还可以包括：
记录所述第一次提取所述待解析的日志记录的位置。该步骤可以用于系统再次打开所述日志文件时，确定读取所述日志文件的起始位置。
如图3所示，为本发明实施例提供的一种日志的监测方法的具体实现流程；设该流程中的日志记录格式如表1所示，该方法的具体流程如下：
301：打开日志文件，获取所述日志文件的长度。
302：清除历史错误或警报信息，并将所述清除的历史数据信息发送到日志文件进行记录；
303：判断所述日志文件是否是第一次被打开；如果是第一次被打开，则执行步骤304；如果不是第一次被打开，则执行步骤305。
304：读取所述日志文件的全部内容；具体的讲，就是从存储所述日志文件的存储器中该日志文件的起始位置一直读取到该日志文件的结束位置；将所述读取到的日志文件读入到内存中，以便进一步进行数据处理。
305：读取所述日志文件新增的日志记录；具体的讲，系统中可以记录所述日志文件上次打开时，所述日志文件的结束位置；本次所读取的内容是从上次打开时日志文件的结束位置到本次打开所述日志文件的结束位置。
306：当读取到所述日志文件的内容后，从所述日志文件的最后一条日志记录的数据向前逐条读取所述日志记录，即从所述日志文件的最后一条日志记录“#]”符号向前查找“[#”符号，得到所述日志文件的最后一条日志记录；依次查找到倒数第二条、倒数第三条记录等等。
307：读取一条日志记录；例如：该步骤可以获取所述待解析的日志记录的记载时间与当前系统时间的时间间隔；按照所述时间间隔由短到长的顺序，依次提取所述待解析的日志记录。
308：判断所述待解析的日志记录的时间是否超出预设解析时间；例如：可以设置预设解析时间为距当前系统日期时间5分钟以内的日志记录；则判断当前所读取到的日志记录的日期时间与当前系统的日期时间差，是否在所述设置的预设解析时间的5分钟以内。如果在所述预设解析时间内，则执行如下步骤；如果超出所述预设解析时间，则执行步骤314。
309：根据所读取到的日志记录，判断其优先级LEVEL类型；如果是类型一，例如：WARN、ERROR或FATAL类型，则执行步骤310；如果是类型二INFO类型，则执行步骤311。
310：获取MESSAGE字段中的内容，将所述内容以历史错误或警报信息的形式发送；执行步骤314。
311：判断所述日志记录的中MESSAGE字段是否存在数据信息标识；如果存在，则执行步骤312。
312：解析数据信息标识，给出日志监测结果并将其发送，执行步骤313。
313：判断所述读取的日志文件内容是否处理完毕；如果处理完毕，则。
314：结束监测流程。
如图4所示，为本发明实施例提供的一种日志的监测装置；该装置包括：
日志记录获取单元401，用于获取日志文件中待解析的日志记录；
判断单元402，用于判断所述待解析的日志记录的时间是否超出预设解析时间；
解析单元403，用于如果所述待解析的日志记录的时间未超出预设解析时间，则解析所述待解析的日志记录；
监测停止单元404，用于如果所述待解析的日志记录的时间超出预设解析时间，则停止日志监测。
需要注意的是，当所述待解析的日志记录包括：开始字段信息、时间字段信息、优先级字段信息、程序名称及版本字段信息、监测数据字段信息、扩展字段信息以及结束字段信息时，所述日志记录获取单元401，包括：
时间间隔获取子单元，用于获取所述待解析的日志记录的记载时间与当前系统时间的时间间隔；
日志记录提取子单元，用于按照所述时间间隔由短到长的顺序，依次提取所述待解析的日志记录。
还需要注意的是，所述日志记录获取单元401，还包括：
位置记录子单元，用于记录所述第一次提取所述待解析的日志记录的位置。
还需要注意的是，所述解析单元403，包括：
信息获取子单元，用于获取所述待解析的日志记录中的优先级字段信息；
类型信息判断子单元，用于判断所述优先级字段信息的类型；
信息解析子单元，用于根据所述优先级字段信息中的类型，对所述待解析的日志记录中的监测数据字段信息进行解析处理，给出日志监测结果。
还需要注意的是，该装置，还包括：
信息发送单元，用于发送所述日志监测结果；
日志处理进程判断单元，用于判读所述待解析的日志记录是否处理完毕；
所述监测停止单元，用于如果所述待解析的日志记录处理完毕，则结束监测流程；
所述日志记录获取单元，用于如果所述待解析的日志记录未处理完毕，则继续获取日志文件中待解析的日志记录。
本发明实施例提供的日志的监测方法及装置，通过获取日志文件中待解析的日志记录；判断所述待解析的日志记录的时间是否超出预设解析时间；如果所述待解析的日志记录的时间未超出预设解析时间，则解析所述待解析的日志记录；如果所述待解析的日志记录的时间超出预设解析时间，则停止日志监测。与现有技术相比，本发明实施例仅仅对所述日志文件中的待解析的日志记录进行解析监测，而无需对整个日志文件进行解析监测，从而大大降低了系统资源的占用量，提高了监测的效率，并及时将运行异常或者数据量异常的情况进行报警。
通过以上的实施方式的描述，本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括如上述方法实施例的步骤，所述的存储介质，如：FLASH、ROM/RAM、磁碟、光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种日志的监测方法，其特征在于，
获取日志文件中待解析的日志记录；
判断所述待解析的日志记录的时间是否超出预设解析时间；
如果所述待解析的日志记录的时间未超出预设解析时间，则解析所述待解析的日志记录；
如果所述待解析的日志记录的时间超出预设解析时间，则停止日志监测；
所述获取日志文件中待解析的日志记录包括：
获取所述待解析的日志记录的记载时间与当前系统时间的时间间隔；
按照所述时间间隔由短到长的顺序，依次提取所述待解析的日志记录。
2.根据权利要求1所述的日志的监测方法，其特征在于，所述待解析的日志记录包括：开始字段信息、时间字段信息、优先级字段信息、程序名称及版本字段信息、监测数据字段信息、扩展字段信息以及结束字段信息。
3.根据权利要求2所述的日志的监测方法，其特征在于，所述获取日志文件中待解析的日志记录的步骤，还包括：
记录第一次提取所述待解析的日志记录的位置。
4.根据权利要求2至3中任意一项所述的日志的监测方法，其特征在于，所述解析所述待解析的日志记录的步骤，包括：
获取所述待解析的日志记录中的优先级字段信息；
判断所述优先级字段信息的类型；
根据所述优先级字段信息中的类型，对所述待解析的日志记录中的监测数据字段信息进行解析处理，给出日志监测结果。
5.根据权利要求4所述的日志的监测方法，其特征在于，该方法，还包括：
发送所述日志监测结果；
判读所述待解析的日志记录是否处理完毕；
如果所述待解析的日志记录处理完毕，则结束监测流程；
如果所述待解析的日志记录未处理完毕，则继续获取日志文件中待解析的日志记录。
6.一种日志的监测装置，其特征在于，包括：
日志记录获取单元，用于获取日志文件中待解析的日志记录；
判断单元，用于判断所述待解析的日志记录的时间是否超出预设解析时间；
解析单元，用于如果所述待解析的日志记录的时间未超出预设解析时间，则解析所述待解析的日志记录；
监测停止单元，用于如果所述待解析的日志记录的时间超出预设解析时间，则停止日志监测；
所述日志记录获取单元，包括：
时间间隔获取子单元，用于获取所述待解析的日志记录的记载时间与当前系统时间的时间间隔；
日志记录提取子单元，用于按照所述时间间隔由短到长的顺序，依次提取所述待解析的日志记录。
7.根据权利要求6所述的日志的监测装置，其特征在于，所述待解析的日志记录包括：开始字段信息、时间字段信息、优先级字段信息、程序名称及版本字段信息、监测数据字段信息、扩展字段信息以及结束字段信息。
8.根据权利要求7所述的日志的监测装置，其特征在于，所述日志记录获取单元，还包括：
位置记录子单元，用于记录第一次提取所述待解析的日志记录的位置。
9.根据权利要求7或8所述的日志的监测装置，其特征在于，所述解析单元，包括：
信息获取子单元，用于获取所述待解析的日志记录中的优先级字段信息；
类型信息判断子单元，用于判断所述优先级字段信息的类型；
信息解析子单元，用于根据所述优先级字段信息中的类型，对所述待解析的日志记录中的监测数据字段信息进行解析处理，给出日志监测结果。
10.根据权利要求9所述的日志的监测装置，其特征在于，该装置，还包括：
信息发送单元，用于发送所述日志监测结果；
日志处理进程判断单元，用于判读所述待解析的日志记录是否处理完毕；
所述监测停止单元，用于如果所述待解析的日志记录处理完毕，则结束监测流程；
所述日志记录获取单元，用于如果所述待解析的日志记录未处理完毕，则继续获取日志文件中待解析的日志记录。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200910244105 CN101789174B (zh) | 2009-12-29 | 2009-12-29 | 一种日志的监测方法及装置 |
| PCT/CN2010/079518 WO2011079690A1 (zh) | 2009-12-29 | 2010-12-07 | 一种日志的监测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200910244105 CN101789174B (zh) | 2009-12-29 | 2009-12-29 | 一种日志的监测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101789174A CN101789174A (zh) | 2010-07-28 |
| CN101789174B true CN101789174B (zh) | 2013-07-24 |
Family
ID=42532375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200910244105 Active CN101789174B (zh) | 2009-12-29 | 2009-12-29 | 一种日志的监测方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN101789174B (zh) |
| WO (1) | WO2011079690A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101789174B (zh) * | 2009-12-29 | 2013-07-24 | 北京世纪高通科技有限公司 | 一种日志的监测方法及装置 |
| CN102164050B (zh) * | 2011-05-16 | 2014-01-22 | 北京星网锐捷网络技术有限公司 | 日志解析方法及日志解析节点设备 |
| CN104283719A (zh) * | 2014-10-28 | 2015-01-14 | 北京国双科技有限公司 | 一种日志的处理方法、装置及服务器 |
| CN105787115A (zh) * | 2016-03-23 | 2016-07-20 | 广州市高科通信技术股份有限公司 | 一种分析城市信号交通控制系统的方法和装置 |
| CN106202307B (zh) * | 2016-07-01 | 2019-10-11 | 百势软件(北京)有限公司 | 一种批量日志保存方法及装置 |
| CN111435308A (zh) * | 2019-01-11 | 2020-07-21 | 北京确安科技股份有限公司 | 一种获取探针台程序名称的方法及装置 |
| CN111949609A (zh) * | 2020-08-06 | 2020-11-17 | 云和恩墨(北京)信息技术有限公司 | 对日志文件的检索方法、装置、终端及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1815451A (zh) * | 2005-01-31 | 2006-08-09 | 华为技术有限公司 | 日志信息管理方法及系统 |
| CN101505245A (zh) * | 2009-03-06 | 2009-08-12 | 成都市华为赛门铁克科技有限公司 | 一种发送日志信息的方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6792427B2 (en) * | 2001-06-22 | 2004-09-14 | International Business Machines Corporation | Rules-based, automatic generation of journal entries |
| US20050222987A1 (en) * | 2004-04-02 | 2005-10-06 | Vadon Eric R | Automated detection of associations between search criteria and item categories based on collective analysis of user activity data |
| CN100449326C (zh) * | 2005-03-16 | 2009-01-07 | 西门子（中国）有限公司 | 监测日志的记录方法及系统 |
| CN100383750C (zh) * | 2006-06-07 | 2008-04-23 | 中国科学院计算技术研究所 | 一种面向大规模计算系统的高可信日志系统实现方法 |
| CN101136798A (zh) * | 2007-10-16 | 2008-03-05 | 中兴通讯股份有限公司 | 一种数据配置自动化测试系统和方法 |
| CN101789174B (zh) * | 2009-12-29 | 2013-07-24 | 北京世纪高通科技有限公司 | 一种日志的监测方法及装置 |
-
2009
- 2009-12-29 CN CN 200910244105 patent/CN101789174B/zh active Active
-
2010
- 2010-12-07 WO PCT/CN2010/079518 patent/WO2011079690A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1815451A (zh) * | 2005-01-31 | 2006-08-09 | 华为技术有限公司 | 日志信息管理方法及系统 |
| CN101505245A (zh) * | 2009-03-06 | 2009-08-12 | 成都市华为赛门铁克科技有限公司 | 一种发送日志信息的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011079690A1 (zh) | 2011-07-07 |
| CN101789174A (zh) | 2010-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101789174B (zh) | 一种日志的监测方法及装置 | |
| WO2001063486A3 (en) | Method and system for extracting, analyzing, storing, comparing and reporting on data stored in web and/or other network repositories and apparatus to detect, prevent and obfuscate information removal from information servers | |
| CN103412859B (zh) | 基于媒资管理系统的海量视频快速检索方法和装置 | |
| CN114979314B (zh) | 一种汽车can数据自动解析方法及系统、计算机可读存储介质、电子设备 | |
| KR100961179B1 (ko) | 디지털 포렌식 방법 및 장치 | |
| CN102880718B (zh) | 一种灵活日志的存贮和获取方法 | |
| CN106326358A (zh) | 一种基于大数据的车辆通行信息的查询方法及装置 | |
| CN102170650B (zh) | 信令或事件的显示系统及其过滤和恢复方法 | |
| CN103532737A (zh) | 一种处理多种类型告警的方法、装置及系统 | |
| CN103258028A (zh) | 一种基于内容特征的视频分级分区存储系统 | |
| CN102073682B (zh) | 一种基于编码方式的文档数据恢复系统及其快速恢复方法 | |
| CN111782589A (zh) | 一种用于操作历史重现的数据模型的构建方法及系统 | |
| CN110457225A (zh) | 一种定位项目代码bug的方法、设备和介质 | |
| CN108874645A (zh) | 一种整合fio性能数据的方法及系统 | |
| WO2011074813A3 (ko) | 건강 보험 선순환 흑자 구조 달성을 위한 건강 보험 정보 제공 시스템, 방법, 및 그 기록매체 | |
| CN114218347A (zh) | 多个文件内容的快速索引查找方法 | |
| CN107332725B (zh) | 一种快速解析pcap报文的方法 | |
| CN110781160B (zh) | 基于VMware虚拟化文件系统损坏的数据恢复方法 | |
| CN113468379A (zh) | 数据源的处理方法、装置及智能分析平台 | |
| CN109408277B (zh) | 一种aep内存的数据块链路特性测试方法 | |
| CN104239236A (zh) | 旁路转换缓冲缺失的处理方法及旁路转换缓冲 | |
| CN106897465B (zh) | 一种文件审计方法及系统 | |
| CN112256802A (zh) | 一种海洋微生物信息的自动采集方法和设备 | |
| CN117389980B (zh) | 日志文件分析方法及装置、计算机设备和可读存储介质 | |
| CN108614747B (zh) | 基于irig106标准存储的数据恢复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |