CN103226509B - 一种系统日志自动分析的方法 - Google Patents
一种系统日志自动分析的方法 Download PDFInfo
- Publication number
- CN103226509B CN103226509B CN201310119901.8A CN201310119901A CN103226509B CN 103226509 B CN103226509 B CN 103226509B CN 201310119901 A CN201310119901 A CN 201310119901A CN 103226509 B CN103226509 B CN 103226509B
- Authority
- CN
- China
- Prior art keywords
- file
- journal
- sample file
- event
- analytic system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明涉及半导体制造领域，尤其涉及一种系统日志自动分析的方法，通过在日志文件中添加相应的注释形成样本文件，并利用该样本文件对学习分析系统进行培训后，采用培训后的学习分析系统对样本文件进行分析，并判断分析结果是否符合工艺需求，不符合则继续利用样本文件对学习分析系统进行培训，直至分析结果符合工艺需求后，利用培训过的学习分析系统对日志文件进行分析，以获取工艺需求的信息，即通过按照固定的格式和对人工智能系统进行简单的训练，就能针对新的系统的日志文件进行分析，以从日志文件中获得工艺需求的有效信息，进而有效的降低了因不断的开发新的日志分析系统所花费的大量时间和人力成本。
Description
技术领域
本发明涉及半导体制造领域，尤其涉及一种系统日志自动分析的方法。
背景技术
目前，很多信息系统为了解决在长时间运行过程中出现的异常（如软件异常或者数据异常等），往往都设置有相应的异常处理机制，从而达到确保系统正常运转的目的，如系统在处理这些异常的时候会将当时的状况记录到系统的日志文件当中，以避免发生异常时产生的数据丢失，还能利用日志文件中的异常数据帮助系统解决高频问题。
日志文件的主要目的是为了帮助系统开发人员定位和解决问题，但是使用者往往也能利用日志文件中异常数据进行系统异常的处理，但随着运行时间的增加，日志文件所包含的信息量会越来越多，使用者想要从日志文件中获得有效信息的困难也越来越高。
当前比较通用的做法，就是通过针对不同的系统开发不同的日志分析系统，以将使用者关注的信息从日志文件中提取出来，生产使用者所关心的报告。
但是，随着生产信息化自动化的层度日益提高，信息系统越来越多，且各类信息系统产生的日志文件开始呈现出爆炸性的增长，相应的所要开发的日志系统也会越来越多，而工程技术人员则每天需要花大量的时间分析海量的日志文件，以从中提取真正有效的信息，使得获得日志中有效信息的成本也越来越高；而由于这些真正有效的信息数量比较少，即虽然发生频率比较低，但由于其对生产有着极大的影响，使得如何快速方便的将各种不同的日志文件中的有效信息提取出来就成为当前业界急需解决的一个重大课题。
中国专利（公布号：CN102164050A）公开了一种日志解析方法及日志解析接点设备，主要通过解析节点获得日志以及用于指示日志中未解析内容的待匹配偏移；并利用存储的第一正则表达式，对所述待匹配偏移所指示的未解析内容进行解析，获得与第一正则表达式匹配的字段信息；以及判断是否存在下级解析节点；在判断结果为否，且所述解析节点预先存储有事件类型信息时，所述解析节点将所述事件类型信息确定为所述日志所记录事件的事件类型信息，其中，所述事件类型信息是根据所述日志传递到所述解析节点所经过的路径上包含的至少一个解析节点存储的正则表达式能从日志中解析出的字段信息而确定的，但其并没有公开与从各种不同的日志文件中的有效提取信息相关的技术特征。
中国专利（公布号：CN102768636A）公开了一种日志解析方法及装置，以解决现有技术将日志解析与日志格式绑定的问题。所述方法包括：输入原始日志；按照日志解码配置表中设置的字段分解顺序及各字段所对应的分解策略，对所述原始日志进行字段分解，分解后得到各字段的内容；将所述各字段的内容作为日志解析结果输出。本发明提供的可配置方式具有较高的灵活性，一旦日志格式发生变化、过滤规则变化、输出内容变化，都可通过重新设置各配置表来满足解析需求，而无需修改代码，因此大大降低了技术人员的工作量，还避免了多套代码存在的代码重复率高的问题，最大程度上减少了代码开发量，缩短了开发上线周期，但其并没有公开与从各种不同的日志文件中的有效提取信息相关的技术特征。
发明内容
针对上述存在的问题，本发明公开了一种系统日志自动分析的方法，其中，包括以下步骤：
步骤S1：提供一样本文件和一日志文件地址；
步骤S2：利用所述样本文件对一学习分析系统进行训练；
步骤S3：被训练过的学习分析系统根据所述日志文件地址获取日志文件，并对所述日志文件进行分析，输出日志文件分析结果；
其中，所述样本文件是所述日志文件的范例。
上述的系统日志自动分析的方法，其中，所述步骤S2中还包括：
步骤S21：所述学习分析系统根据所述日志文件地址，判断学习分析系统是否学习过该日志文件地址下的日志文件的样本文件；
若所述学习分析系统没有学习过该样本文件，则进行步骤S22；若所述学习分析系统学习过该样本文件，则进行步骤S23；
步骤S22：所述学习分析系统获取并学习所述样本文件；
步骤S23：所述学习分析系统对所述样本文件进行解析，并输出样本文件分析结果；
步骤S24：判断所述样本文件分析结果是否与预设信息相对应；
若所述样本文件分析结果与预设信息相对应，则进行步骤S3；若所述样本文件分析结果与预设信息不对应，则进行步骤S25；
步骤S25：所述学习分析系统输出错误信息，根据该错误信息对所述样本文件进行修正后，该学习分析系统重新获取并学习修正后的样本文件，并继续步骤S24。
上述的系统日志自动分析的方法，其中，步骤S24中的预设信息为根据工艺需求从所述样本文件所包含的信息中筛选出的有效信息。
上述的系统日志自动分析的方法，其中，所述预设信息包括事件发生时间和/或事件结束时间和/或事件名称和/或事件涉及数据名称和/或事件发生时的状态和/或事件发生的原因和/或错误代码。
上述的系统日志自动分析的方法，其中，所述样本文件与所述日志文件均包括事件发生时间和/或事件结束时间和/或事件名称和/或事件涉及数据名称和/或事件发生时的状态和/或事件发生的原因和/或错误代码。
上述的系统日志自动分析的方法，其中，所述事件发生时的状态包括错误、正常、通过和失败。
上述的系统日志自动分析的方法，其中，所述学习分析系统为人工智能系统，该人工智能系统根据日志文件格式设定，通过学习后该人工智能系统自动完成对相应日志文件的解析。
上述的系统日志自动分析的方法，其中，还包括：根据系统要求的格式通过在所述日志文件中加入相应的注释得到所述样本文件。
综上所述，本发明一种系统日志自动分析的方法，通过在日志文件中添加相应的注释形成样本文件，并利用该样本文件对学习分析系统进行培训后，采用培训后的学习分析系统对样本文件进行分析，并判断分析结果是否符合工艺需求，不符合则继续利用样本文件对学习分析系统进行培训，直至分析结果符合工艺需求后，利用培训过的学习分析系统对日志文件进行分析，以获取工艺需求的信息，即通过按照固定的格式和对人工智能系统进行简单的训练，就能针对新的系统的日志文件进行分析，以从日志文件中获得工艺需求的有效信息，进而有效的降低了因不断的开发新的日志分析系统所花费的大量时间和人力成本。
附图说明
图1为实施例中系统日志自动分析的方法的流程示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明：
目前每个信息系统中的日志文件都保存在固定的位置且设置有固定的格式，虽然各个系统的开发人员的习惯和使用的规范不尽相同，但绝大多数信息系统中的日志文件中都会包括以下几个要件：
a．事件发生和结束的时间；
b．事件名称以及该事件涉及到的数据的名称；
c．事件发生时的状态，如错误（Error）、正常（OK）、通过（Pass）和/或失败（Fail）等状态；
d．时间发生的原因和错误代码；
由于，上述的四个要件是工程人员日常工作中关心的要点，这就要求将这些要件从繁杂的日志文件中解析出来，以便于发生事件原因的分析和处理。
人工智能主要研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，通过采用最新的人工智能的算法形成的人工智能系统，由于其具备学习能力，通过对该人工智能系统进行训练，能够使得该人工智能系统获得不同系统的日志格式，然后自动对相应系统的日志文件进行解析，以获得工艺需求的信息。
图1为实施例中系统日志自动分析的方法的流程示意图；如图1所示，一种系统日志自动分析的方法，主要利用上述的人工智能系统作为学习分析系统进行系统日志文件的分析，具体包括以下步骤：
首先，提供信息系统保存日志文件的地址（路径）和一个样本文件，该样本文件是上述日志文件地址下保存的日志文件的范本，是根据系统要求的格式通过在日志文件中加入相应的注释得到范本以作为后续学习分析系统训练的样本文件，如系统要求获取上述的四个要件（a、b、d和d），则任选一上述日志文件，并在该日志文件中记录有四个要件的位置处加上注释；其中，还要根据系统的要求事先从上述的样本文件提取出预设信息，该预设信息为根据工艺需求从样本文件所包含的信息中筛选出的有效信息，一般包括上述的四个要件如事件发生时间和/或事件结束时间和/或事件名称和/或事件涉及数据名称和/或事件发生时的状态和/或事件发生的原因和/或错误代码等信息。
其次，学习分析系统（上述的人工智能系统）根据日志文件地址判断是否已经学习过该地址下日志文件的样本文件；如没有学习过该日志文件的样本文件，则获取并学习该样本文件，而若学习过该日志文件的样本文件，则直接学习该样本文件，即该人工智能系统通过上述添加的注释，自动学习和分析该样本文件的信息，提取并输出添加有注释处的信息，进而获得该样本文件的分析结果。
之后，将分析结果与预置信息进行比对，如果分析结果的信息与预置信息相对应，则说明该人工智能系统训练步骤完成，可直接进行日志文件的分析；而若分析结果的信息与预置信息不适应，则说明该人工智能系统还存在一定的缺陷，需要进一步的训练，同时该人工智能系统输出错误信息。
然后，根据上述的错误信息对样本文件和/或人工智能系统进行修订后，利用修订后的样本文件再次对人工智能系统再次进行训练（如样本文件不进行修订则直接利用原先的样本文件再次进行训练），并将再次输出的样本文件分析结果与预置信息进行比对，重复上述的信息比对和修订步骤，直至分析结果的信息与预置信息相适应，完成人工智能系统的训练步骤。
最后，利用训练后的人工智能系统根据信息系统保存日志文件的地址，获取并分析该地址下所有的日志文件，并将日志文件分析结果输出，以便于工程人员对信息系统中发生的事件进行分析和处理。
其中，上述的样本文件与日志文件中均包含有事件发生时间和/或事件结束时间和/或事件名称和/或事件涉及数据名称和/或事件发生时的状态和/或事件发生的原因和/或错误代码，且事件发生时的状态包括错误（Error）、正常（OK）、通过（Pass）和失败（Fail）。
下面就以具体的实例进行详细的说明：
首先，选一原始日志：
---BeginonFriMar900:00:002012------------------------------
InlineStandardLoader:ReleaseVersion2.1.0.8DateWedSep1500:37:582010
DataFile:20120308_235701.inline.csv
ControlFile:/kla-tencor/adb/loader/config/inlineloader.cfg
LDR-02032:Foundnon-numericdatainMEASUREDATAARRAYfield[Line:1]
[106]rowsprocessed,[98]rowsloaded,[8]rowsdataerror,[0]rowsneedreload
---EndonFriMar900:00:012012(Elapsed0minutes1seconds)。
然后，在上述的原始日志中添加注释，得到样本文件：
#StartTime#---BeginonFriMar900:00:002012------------------------------
#Ignore#nlineStandardLoader:ReleaseVersion2.1.0.8DateWedSep1500:37:582010
#FileName#DataFile:20120308_235701.inline.csv
#Message#LDR-02032:Foundnon-numericdatainMEASUREDATAARRAYfield[Line:1]
#Statue#[106]rowsprocessed,[98]rowsloaded,[8]rowsdataerror,[0]rowsneedreload
#EndTime#:---EndonFriMar900:00:012012(Elapsed0minutes1seconds)
然后，利用人工智能系统，对该样本文件进行学习后，分析得到样本分析结果：
StartTime：2012/03/0900:00:00
FileName：20120308_235701.inline.csv
Message：LDR-02032:Foundnon-numericdatainMEASUREDATAARRAYfield[Line:1]
若是预置信息与分析结果相适应（如预置信息只包括StartTime、FileName和Message三个信息），则表明该人工智能系统完成训练步骤，若不相适应（如预置信息只包括StartTime、FileName、Message和EndTime等），则该人工智能系统输出缺少一栏EndTime的错误信息，并根据该错误信息对样本文件和/或人工智能系统进行修订后，再次进行训练动作，直至预置信息与分析结果相适应。
最后，利用训练过的人工智能系统完成日志文件的分析和处理。
综上所述，由于采用了上述技术方案，本发明实施例提出一种系统日志自动分析的方法，通过在日志文件中添加相应的注释形成样本文件，并利用该样本文件对学习分析系统进行培训后，采用培训后的学习分析系统对样本文件进行分析，并判断分析结果是否符合工艺需求，不符合则继续利用样本文件对学习分析系统进行培训，直至分析结果符合工艺需求后，利用培训过的学习分析系统对日志文件进行分析，以获取工艺需求的信息，即通过按照固定的格式和对人工智能系统进行简单的训练，就能针对新的系统的日志文件进行分析，以从日志文件中获得工艺需求的有效信息，进而有效的降低了因不断的开发新的日志分析系统所花费的大量时间和人力成本。
通过说明和附图，给出了具体实施方式的特定结构的典型实施例，基于本发明精神，还可作其他的转换。尽管上述发明提出了现有的较佳实施例，然而，这些内容并不作为局限。
对于本领域的技术人员而言，阅读上述说明后，各种变化和修正无疑将显而易见。因此，所附的权利要求书应看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等价的范围与内容，都应认为仍属本发明的意图和范围内。
Claims (7)
1.一种系统日志自动分析的方法，其特征在于，包括以下步骤：
步骤S1：提供一样本文件和一日志文件地址；
步骤S2：利用所述样本文件对一学习分析系统进行训练；
步骤S3：被训练过的学习分析系统根据所述日志文件地址获取日志文件，并对所述日志文件进行分析，输出日志文件分析结果；
其中，所述样本文件是所述日志文件的范例；
所述步骤S2中还包括：
步骤S21：所述学习分析系统根据所述日志文件地址，判断学习分析系统是否学习过该日志文件地址下的日志文件的样本文件；
若所述学习分析系统没有学习过该样本文件，则进行步骤S22；若所述学习分析系统学习过该样本文件，则进行步骤S23；
步骤S22：所述学习分析系统获取并学习所述样本文件；
步骤S23：所述学习分析系统对所述样本文件进行解析，并输出样本文件分析结果；
步骤S24：判断所述样本文件分析结果是否与预设信息相对应；
若所述样本文件分析结果与预设信息相对应，则进行步骤S3；若所述样本文件分析结果与预设信息不对应，则进行步骤S25；
步骤S25：所述学习分析系统输出错误信息，根据该错误信息对所述样本文件进行修正后，该学习分析系统重新获取并学习修正后的样本文件，并继续步骤S24。
2.根据权利要求1所述的系统日志自动分析的方法，其特征在于，步骤S24中的预设信息为根据工艺需求从所述样本文件所包含的信息中筛选出的有效信息。
3.根据权利要求2所述的系统日志自动分析的方法，其特征在于，所述预设信息包括事件发生时间和/或事件结束时间和/或事件名称和/或事件涉及数据名称和/或事件发生时的状态和/或事件发生的原因和/或错误代码。
4.根据权利要求1-3中任意一项所述的系统日志自动分析的方法，其特征在于，所述样本文件与所述日志文件均包括事件发生时间和/或事件结束时间和/或事件名称和/或事件涉及数据名称和/或事件发生时的状态和/或事件发生的原因和/或错误代码。
5.根据权利要求4所述的系统日志自动分析的方法，其特征在于，所述事件发生时的状态包括错误、正常、通过和失败。
6.根据权利要求4所述的系统日志自动分析的方法，其特征在于，所述学习分析系统为人工智能系统，该人工智能系统根据日志文件格式设定，通过学习后该人工智能系统自动完成对相应日志文件的解析。
7.根据权利要求4所述的系统日志自动分析的方法，其特征在于，还包括：根据系统要求的格式通过在所述日志文件中加入相应的注释得到所述样本文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310119901.8A CN103226509B (zh) | 2013-04-08 | 2013-04-08 | 一种系统日志自动分析的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310119901.8A CN103226509B (zh) | 2013-04-08 | 2013-04-08 | 一种系统日志自动分析的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103226509A CN103226509A (zh) | 2013-07-31 |
| CN103226509B true CN103226509B (zh) | 2016-03-30 |
Family
ID=48836968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310119901.8A Active CN103226509B (zh) | 2013-04-08 | 2013-04-08 | 一种系统日志自动分析的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103226509B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110297846B (zh) * | 2019-05-28 | 2021-08-20 | 北京奇艺世纪科技有限公司 | 一种日志特征处理系统、方法、电子设备及存储介质 |
| CN111913865A (zh) * | 2020-08-18 | 2020-11-10 | 中科方德软件有限公司 | 一种Linux操作系统日志自动分析方法 |
| CN112286896B (zh) * | 2020-11-19 | 2024-02-06 | 北京百家科技集团有限公司 | 一种日志文件处理方法、装置、计算机设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102263790A (zh) * | 2011-07-18 | 2011-11-30 | 华北电力大学 | 一种基于集成学习的入侵检测方法 |
| CN102541913A (zh) * | 2010-12-15 | 2012-07-04 | 中国人民解放军国防科学技术大学 | 面向Web的VSM分类器训练、OSSP页面识别及OSS资源提取方法 |
-
2013
- 2013-04-08 CN CN201310119901.8A patent/CN103226509B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102541913A (zh) * | 2010-12-15 | 2012-07-04 | 中国人民解放军国防科学技术大学 | 面向Web的VSM分类器训练、OSSP页面识别及OSS资源提取方法 |
| CN102263790A (zh) * | 2011-07-18 | 2011-11-30 | 华北电力大学 | 一种基于集成学习的入侵检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于支持向量机的机器学习研究;刘华煜;《中国优秀硕士学位论文全文数据库·信息科技辑》;20060315(第3期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103226509A (zh) | 2013-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20140122535A1 (en) | Extracting Semantic Relationships from Table Structures in Electronic Documents | |
| CN102236693A (zh) | 确定文档之间的相似度的方法和设备 | |
| CN102521232B (zh) | 一种互联网元数据的分布式采集处理系统及方法 | |
| CN103226509B (zh) | 一种系统日志自动分析的方法 | |
| CN105335246B (zh) | 一种基于问答网站分析的程序崩溃缺陷自动修复方法 | |
| CN105022803A (zh) | 一种提取网页正文内容的方法及系统 | |
| CN111068336B (zh) | 游戏译文版本的生成方法、装置、电子设备及存储介质 | |
| TW201520813A (zh) | 惡意程式清除之行動內容資料管理裝置和方法 | |
| CN107977205A (zh) | Gui界面自动创建方法及系统 | |
| Grzanic et al. | Distribution network model platform: A first case study | |
| CN105159831A (zh) | 一种软件代码质量自动监控方法 | |
| CN104462540A (zh) | 网页信息抽取方法 | |
| CN106406913A (zh) | 一种从项目中提取代码的方法及系统 | |
| Choptiany et al. | An interdisciplinary perspective on carbon capture and storage assessment methods | |
| US10121150B2 (en) | Compliance as a service for an organization | |
| CN102819489A (zh) | 一种缺陷驱动的软件可靠性设计方法 | |
| CN103617122B (zh) | 一种源代码的比对方法 | |
| Cao et al. | Implementation of domain-oriented microservices decomposition based on node-attributed network | |
| Eyal-Salman et al. | Recovering traceability links between feature models and source code of product variants | |
| CN103164532A (zh) | 电网模型数据的分类分块抽取方法及系统 | |
| Su | Capturing exploration to improve software architecture documentation | |
| Al-Msie'deen et al. | Supporting software documentation with source code summarization | |
| CA2959310C (en) | Image based transfer of wellsite data between devices in a petroleum field | |
| Davet et al. | Tracking the functions of AI as paradata & pursuing archival accountability | |
| CN103106217A (zh) | 一种留言信息的处理方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |