CN106656607A - 设备日志解析方法、系统及具有该系统的服务器端 - Google Patents
设备日志解析方法、系统及具有该系统的服务器端 Download PDFInfo
- Publication number
- CN106656607A CN106656607A CN201611227445.9A CN201611227445A CN106656607A CN 106656607 A CN106656607 A CN 106656607A CN 201611227445 A CN201611227445 A CN 201611227445A CN 106656607 A CN106656607 A CN 106656607A
- Authority
- CN
- China
- Prior art keywords
- parsing
- device log
- daily record
- template
- parsing template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种设备日志解析方法、系统及具有该系统的服务器端，所述设备日志解析方法包括：为输入的设备日志选定一用于解析日志的解析模板；所选定的解析模板包括手动选择的解析模板和自动匹配的解析模板，其中，所述手动选择的解析模板还包括已存储的解析模板和自定义的解析模板；将选定的解析模板与该设备日志绑定；根据与该设备日志绑定的解析模板中包括的多个解析参数，将所述设备日志解析成结构化数据，以供操作人员从解析出的结构化数据中获取所需相关信息。本发明所述设备日志解析方法、系统及具有该系统的服务器端针对不同的日志格式可以通用，降低了日志数据挖掘的难度。
Description
技术领域
本发明属于计算机日志信息处理技术领域，涉及一种解析方法和系统，特别是涉及一种设备日志解析方法、系统及具有该系统的服务器端。
背景技术
随着信息技术的发展和数据挖掘的兴起，如何挖掘数据中的价值在业界备受关注。而机器或应用系统产生的海量日志中包含的系统的运行状态、用户操作行为等相关信息，蕴含着丰富的价值，所以日志数据受到越来越多的重视。
机器或系统产生的原始日志为字符串形式，无法从中获取到数据挖掘所需的相关信息，所以要对日志进行解析，即将非结构化的日志数据转换为结构化的数据，这个过程称之为解析。非结构化数据指的是原始日志，结构化数据指的是将原始日志转化为键值对(key-value)的形式的数据，key为日志中的关键字段，value为关键字段的信息。
目前在日志解析技术方面存在如下缺陷：
第一，不同的机器或系统生成的日志格式多种多样。现有解决技术需要针对不同的日志格式开发相应的解析方法，不能通用。当日志格式发生变化时，需要开发人员重新开发新的日志解析方法，造成扩展性差、维护成本高。
第二，相关的日志解析方法由于对技术有较高要求，只有开发人员掌握，无法让普通用户也能够解析自定义的日志格式。造成无开发人员的企业或单位，无法自己解析其关注的相关日志数据，提高了日志数据挖掘的难度。
因此，如何提供一种设备日志解析方法、系统及具有该系统的服务器端，以解决现有日志解析技术针对不同的日志格式需要开发相应的解析方法，无法通用，无法使普通用户解析其关注的相关日志数据，提高了日志数据挖掘的难度等缺陷，实已成为本领域从业者亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种设备日志解析方法、系统及具有该系统的服务器端，用于解决现有日志解析技术针对不同的日志格式需要开发相应的解析方法，无法通用，无法使普通用户解析其关注的相关日志数据，提高了日志数据挖掘的难度的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种设备日志解析方法，所述设备日志解析方法包括以下步骤：为输入的设备日志选定一用于解析日志的解析模板；所选定的解析模板包括手动选择的解析模板和自动匹配的解析模板，其中，所述手动选择的解析模板还包括已存储的解析模板和自定义的解析模板；将选定的解析模板与该设备日志绑定；根据与该设备日志绑定的解析模板中包括的多个解析参数，将所述设备日志解析成结构化数据，以供操作人员从解析出的结构化数据中获取所需相关信息。
于本发明的一实施例中，若为输入的设备日志选定所述自定义的解析模板，所述设备日志解析方法还包括生成自定义的解析模板的步骤；所述生成自定义的解析模板的步骤包括：从所述设备日志中选取日志样本；为所述选取的日志样本设置用以组成解析模板的解析参数；其中，所述为所述选取的日志样本设置用以组成解析模板的解析参数的步骤包括：为所选取的日志样本设置用于提供解码所述日志样本的解码规则的解码格式，并验证该解码格式；判断经过解码格式解码的所述选取的日志样本是否为多行日志，若否，直接为所选取的日志样本设置用于层级解析所述日志样本的解析方式，并验证所述解析方式；若是，为所选取的日志样本设置日志多行合并规则，验证所述日志多行合并规则，并为经过多行合并后的所选取的日志样本设置用于层级解析所述日志样本的解析方式，并验证所述解析方式；将所验证的解码格式、设置的日志多行合并规则、及设置的解析方式组成自定义的解析模板，为该自定义的解析模板设置模板名称并将其保存。
于本发明的一实施例中，所述将选定的解析模板与该设备日志绑定的步骤包括：判断所述选定的解析模板是否为自动匹配的解析模板，若是，对所输入的设备日志以预设采样间隔进行采样，以获取采样后的设备日志；获取所有的解析模板，应用获取到的所有解析模板对采样后的设备日志进行解析；计算所有解析模板解析采样后的设备日志的匹配度，并选择匹配度最高的解析模板作为用于解析所输入的设备日志的解析模板；将所选择的解析模板与所输入的设备日志绑定。
于本发明的一实施例中，当为输入的设备日志选定已存储的解析模板中任意一条解析模板时，则将该解析模板与所输入的设备日志直接绑定；当为输入的设备日志选定自定义的解析模板时，则将自定义的解析模板与所输入的设备日志直接绑定。
于本发明的一实施例中，所述解析参数包括解码格式、日志多行合并规则、和/或以先后顺序编排的解析方式；所述根据与该设备日志绑定的解析模板中包括的多个解析参数，将所述设备日志解析成结构化数据的步骤包括：根据所述解码格式对所述设备日志进行解码，以产生解码后的设备日志；根据所述日志多行合并规则对解码后的设备日志，逐行进行处理，以产生多行合并的设备日志；根据以先后顺序编排的解析方式，对所述多行合并的设备日志逐层解析，输出键值对形式的结构化数据。
于本发明的一实施例中，所述日志多行合并规则为行匹配正则表达式时，所述根据所述日志多行合并规则对解码后的设备日志，逐条进行处理的步骤包括：过滤所述解码后的设备日志中的每行日志，若当前处理的是第N行日志，判断第N行日志是否与所述行匹配正则表达式匹配；若是，则第N行日志仍属于一设备日志；若否，则第N行日志属于另一设备日志的首行；其中，N大于等于1；若当期处理的是第N+1行日志，判断第N+1行日志是否与所述行匹配正则表达式匹配，若是，则第N+1行日志仍属于另一设备日志；若否，则表示所述另一设备日志已结束，第N+1行日志属于又一设备日志的首行。
于本发明的一实施例中，所述以先后顺序编排的解析方式为M个解析方式；其中，M大于等于1；所述根据以先后顺序编排的解析方式，对所述设备日志逐层解析，输出键值对形成的结构化数据的步骤包括：若当前的解析方式为所述M个解析方式中的第M1个解析方式，获取第M1个解析方式中要解析的目标字段名，方法类型，方法配置；M1小于等于M；检测当前需解析的设备日志中该目标字段名是否存在，若否，直接跳过当前解析的设备日志；若是，则根据方法类型选择解析方式的插件，并使用所选择的解析方式的插件对所述目标字段名对应的字段值和所述方法配置进行解析；对多行合并的设备日志循环解析，以输出键值对形式的结构化数据。
本发明另一方面提供一种日志解析系统，所述日志解析系统包括：选择模块，用于为输入的设备日志选定一用于解析日志的解析模板；绑定模块，用于将选定的解析模板与该设备日志绑定；解析模块，用于根据与该设备日志绑定的解析模板中包括的多个解析参数，将所述设备日志解析成结构化数据，以供操作人员从解析出的结构化数据中获取所需相关信息。
于本发明的一实施例中，所述日志解析系统还包括解析模板管理模块，用于管理所述解析模板，包括对所述解析模板进行增加，删除，修改，查找，和/或复制。
本发明又一方面提供一种服务器端，所述服务器端包括所述的日志解析系统。
如上所述，本发明所述的设备日志解析方法、系统及具有该系统的服务器端，具有以下有益效果：
1、不同的输入日志的编码格式可能不相同，本发明的方法和装置可以解码并解析不同编码格式日志信息，无需针对不同的编码格式重复开发。
2、单条日志可能由多行信息组成，传统的解析方法无法处理日志多行的情况，本发明方法和装置可以通过设置行匹配正则表达式将多行日志合并为一条日志。
3、针对不同系统或应用产生的日志格式多种多样，且没有固定格式的情况，本发明提出的方法中包括一种根据任意日志样例通过层级配置解析规则的方式来生成解析模板的方法，可以简单高效地生成解析任意日志格式的解析模板，大大降低开发和维护的成本。
附图说明
图1显示为本发明的设备日志解析方法于一实施例中的流程示意图。
图2显示为本发明的设备日志解析方法中自定义的解析模板的生成流程示意图。
图3显示为本发明的设备日志解析方法中S2的流程示意图。
图4显示为本发明的设备日志解析方法中S3的流程示意图。
图5显示为本发明的设备日志解析系统于一实施例中的原理结构示意图。
图6显示为本发明的服务器端的原理结构示意图。
元件标号说明
1 设备日志解析系统
11 选择模块
12 绑定模块
13 解析模块
14 解析模板管理模块
131 日志解码器
132 日志合并器
133 日志解析器
S1～S3 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明所提供的设备日志解析方法、系统及具有该系统的服务器端的技术原理为：
首先，为输入日志选择解析模板。选择日志解析模板分为：手动选择解析模板或自动匹配选择解析模板两种。手动选择解析模板，直接从已存解析模板中选择一条和当前日志输入绑定。自动选择解析模板，则系统会根据对当前的输入日志进行采样，然后对用已存的所有解析模板对输入日志进行解析，计算出每个解析模板解析当前日志的匹配度，选择匹配度最高的解析模板绑定当前输入日志。
如果没有匹配当前日志的解析模板，可以选择生成新的日志解析模板。方法如下：输入原始的日志文本样例，选择相应的编码格式，验证解码；对于同一条日志包含多行的格式，选择多行合并，并设置行匹配正则表达式，验证日志行合并。对解码和行合并后的日志选择解析方法，验证解析，返回字段名和字段信息对应的key-value解析结果。选择上一步解析key-value结果中字段名，再继续选择需要的解析方法，进行解析。重复此针对子字段进行层级解析的过程，直至提取出所有需要的字段信息和字段值格式。设置解析模板名，并保存为解析模板。
当为日志选定了解析模板后，输入原始日志。系统根据原始日志绑定的解析模板，获取到刚解析模板中包含的解码方法、日志行合并方法和字段解析方法。先根据解析模板中的解码方法对原始文本日志进行解码；解码后的文本日志再根据行合并方法中的配置匹配每一个行日志，将相关行合并为一行日志；再根据解析模板中的组合的字段解析方法，将日志进入每个解析方法流水线中。流水线中每个环节是一个针对某个字段的解析方法，原始文本日志默认整条日志字段为message字段。日志经过整个水流线的解析方法解析后，将key-value的已解析的结构化日志输出。
实施例一
本实施例提供一种设备日志解析方法，所述设备日志解析方法包括以下步骤：
为输入的设备日志选定一用于解析日志的解析模板；
将选定的解析模板与该设备日志绑定；
根据与该设备日志绑定的解析模板中包括的多个解析参数，将所述设备日志解析成结构化数据，以供操作人员从解析出的结构化数据中获取所需相关信息。
以下将结合图示对本实施例所述的设备日志解析方法进行详细描述。本实施例提供一种设备日志解析方法，请参阅图1，显示为设备日志解析方法于一实施例中的流程示意图。如图1所示，所述日志解析方法包括以下几个步骤：
S1，为输入的设备日志选定一用于解析日志的解析模板。所选定的解析模板包括手动选择的解析模板和自动匹配的解析模板，其中，所述手动选择的解析模板还包括已存储的解析模板和自定义的解析模板。在本实施例中，若为输入的设备日志选定自定义的解析模板，S1还包括生成自定义的解析模板的步骤。请参阅图2，显示为自定义的解析模板的生成流程示意图。如图2所示，所述生成自定义的解析模板的步骤包括：
S11’，从所述设备日志中选取日志样本。日志样本为带输入的设备日志的一部分日志文本，可以为一条日志，也可以为多条日志。
S12’，为所述选取的日志样本设置用以组成解析模板的解析参数。所述解析参数解码格式、日志多行合并规则、和/或以先后顺序编排的解析方式。其中，所述为所述选取的日志样本设置用以组成解析模板的解析参数的步骤包括：
S121’，为所选取的日志样本设置用于提供解码所述日志样本的解码规则的解码格式，并验证该解码格式。在本实施例中，所述解码格式包括UTF-8、GBK等。
S122’，判断经过解码格式解码的所述选取的日志样本是否为多行日志，
若否，执行S123’直接为所选取的日志样本设置用于层级解析所述日志样本的解析方式，并验证所述解析方式；
若是，执行S124’，为所选取的日志样本设置日志多行合并规则，验证所述日志多行合并规则，并为经过多行合并后的所选取的日志样本设置用于层级解析所述日志样本的解析方式，并验证所述解析方式。在本实施例中，若一条日志为一行，那么无需设置多行合并规则。若一条日志包括多行，则需要设置多行合并规则。在本实施例中，日志多行合并规则选择行匹配正则表达式。如果该行日志不匹配行匹配正则表达式则认为是新的一行，如果下一行日志匹配行匹配正则表达式，则认为下一行归属于上一行日志，直至某一行不匹配行匹配正则表达式表示该条日志才结束。在本实施例中，可以先解析出日志的某些字段信息，然后在上一层解析结果的基础上再次选择解析方式进行进一步的解析，最终将整条日志信息完整的转化为结构化数据。层级解析分为首层解析，首层解析针对的是步骤S123’和S124’中输出的结果，即message字段的值。为message字段选择一个解析方式，解析方式可以是正则解析、Json解析等。对日志首层解析后，返回的结果为key-value的解析结果。在从这个key-value的解析结果中选择要继续解析的字段名，选择一个解析方式，针对该字段名对应的字段值进行相应的解析。
S125’，将所验证的解码格式、设置的日志多行合并规则、及设置的解析方式组成自定义的解析模板，为该自定义的解析模板设置模板名称并将其保存。
以下将以Nginx的访问日志：64.233.161.99-anyrobot[18/Mar/2013:23:30:42+0800]"GET/stats/abc？config＝myconfig HTTP/1.1"200 899"http://192.168.1.1/pv/""Mozilla/4.0(compatible；MSIE 6.0；Windows XXX；Maxthon)"为例，对该条日志进行解析，首先需要为该日志样例选择相应的解析模板，如果系统中没有解析模板则可以生成的自定义的解析模板。本发明的系统装置中已经内置了多种解析模板，包括Nginx的访问日志解析模板，本实施例中为了更好更详细的展示自定义的解析模板的生成过程，所以不选择内置的已存在的解析模板。Nginx的访问日志样例的自定义的解析模板的生成过程如下：
首先，为Nginx的访问日志样例设置用于提供解码所述日志样本的解码规则的解码格式，每个解析模板都包含针对日志解码的配置信息，默认为UTF-8。本实施例中的日志样例为UTF-8编码，选择系统默认值。
接着，判断经过解码格式解码的Nginx的访问日志样例是否为多行日志，由于该Nginx的访问日志为单行日志，不存在一条日志分布在多行的情况，所以不进行日志合并，此时输出的结果集为key-value字典Result:
{'message':'64.233.161.99-anyrobot[18/Mar/2013:23:30:42+0800]"GET/stats/abc？config＝myconfig HTTP/1.1"200 899"http://192.168.1.1/pv/""Mozilla/4.0(compatible；MSIE 6.0；Windows XXX；Maxthon)"'},
字典Result中仅包含一个字段'message',字段'message'对应的值即为原始日志。
然后，针对'message'字段的值进行解析，'message'为一个字符串文本，选择正则解析抽取出里面的字段信息，设置的行匹配正则表达式为：
％{IPORHOST:访问主机IP}％{HTTPDUSER:访问登录名}％{HTTPDUSER:访问用户}\[％{HTTPDATE:时间戳}\]"(？:％{WORD:请求方式}％{NOTSPACE:访问请求}(？<HTTP版本>\S+)？|％{DATA:rawrequest})"％{NUMBER:状态码}(？:％{NUMBER:字节数}|-)(％{QS:来源页面}％{QS:终端信息})？
使用此正则解析表示对key-value结果字典Result中的'message'字段进行解析，解析后的结果替换原来的Result字典。本实施例中为了方便展示，key-value结果字典Result如表1所示。
表1：key-value结果字典Result
以上正则解析结果中的字段名"终端信息"的值为一个字符串，为该条访问日志的浏览器信息，可以针对该字段再次进行解析，从中提取出浏览器相关的信息。所以，设置解析字段名为"终端信息"，选择解析方式为正则解析，正则表达式如下：
"(？<浏览器标识>.*\))((？<渲染引擎>\S+)(？<浏览器>.*)")|(？<浏览器标识>.*)"正则解析后的结果如表2所示。
表2：正则解析结果
从表2的解析结果中可以看到针对"终端信息"解析出了浏览器标识信息。
以上解析结果中的访问主机信息为64.233.161.99，但是多数可视化信息平台需要的主机信息是Geo解析后的相关信息，所以还需要针对主机IP进行Geo解析。选择解析目标字段为"访问主机IP"，选择解析方式为Geo解析，解析后结果如下：
表3：Geo解析的结果
如上面结果所示，根据Geo解析的结果，已经将IP字段解析为地理位置信息。
将上述设置的解析参数：解码格式、多行合并规则以及多个解析方式组成了一个完成的解析模板，以形成自定义的解析模板。
S2，将选定的解析模板与该设备日志绑定。请参阅图3，显示为S2的流程示意图。如图3所示，所述S2具体包括以下几个步骤：
S21，判断所述选定的解析模板是否为自动匹配的解析模板，若是，则执行S22，若否，则执行S26，即当为输入的设备日志选定已存储的解析模板中任意一条解析模板时，则将该解析模板与所输入的设备日志直接绑定；或当为输入的设备日志选定自定义的解析模板时，则将自定义的解析模板与所输入的设备日志直接绑定。
S22，对所输入的设备日志以预设采样间隔进行采样，以获取采样后的设备日志。所述预设采样间隔为整数，表示每一隔预定数量的日志采样一条设备日志。预设采样间隔为0时表示使用全部原始日志。
S23，获取所有的解析模板，应用获取到的所有解析模板对采样后的设备日志进行解析；
S24，计算所有解析模板解析采样后的设备日志的匹配度，并选择匹配度最高的解析模板作为用于解析所输入的设备日志的解析模板；
S25，将所选择的解析模板与所输入的设备日志绑定。
S3，根据与该设备日志绑定的解析模板中包括的多个解析参数，将所述设备日志解析成结构化数据，以供操作人员从解析出的结构化数据中获取所需相关信息。所述解析参数包括解码格式、日志多行合并规则、和/或以先后顺序编排的解析方式。请参阅图4，显示为S3的流程示意图。如图4所示，所述S3具体包括以下几个步骤：
S31，根据所述解码格式对所述设备日志进行解码，以产生解码后的设备日志。
S32，根据所述日志多行合并规则对解码后的设备日志，逐行进行处理，以产生多行合并的设备日志。在本实施例中，所述日志多行合并规则采用行匹配正则表达式(MLReg)。所述根据所述日志多行合并规则对解码后的设备日志，逐条进行处理的步骤包括：
过滤所述解码后的设备日志中的每行日志，若当前处理的是第N行日志，判断第N行日志是否与所述行匹配正则表达式MLReg匹配；若是，则第N行日志仍属于一设备日志；若否，则第N行日志属于另一设备日志的首行；其中，N大于等于1；
若当期处理的是第N+1行日志，判断第N+1行日志是否与所述行匹配正则表达式MLReg匹配，若是，则第N+1行日志仍属于另一设备日志；若否，则表示所述另一设备日志已结束，第N+1行日志属于又一设备日志的首行。
S33，根据以先后顺序编排的解析方式，对所述多行合并的设备日志逐层解析，输出键值对形式的结构化数据。在本实施例中，所述以先后顺序编排的解析方式为M个解析方式；其中，M大于等于1。例如包括，Json解析、xm解析、正则解析、csv解析、kv解析、URI解析、syslog_piri解析、时间戳解析、UserAgent解析、Mutate解析等。
具体地，所述根据以先后顺序编排的解析方式，对所述设备日志逐层解析，输出键值对形成的结构化数据的步骤包括：
若当前的解析方式为所述M个解析方式中的第M1个解析方式，获取第M1个解析方式中要解析的目标字段名，方法类型，方法配置；
检测当前需解析的设备日志中该目标字段名是否存在，若否，直接跳过当前解析的设备日志；若是，则根据方法类型选择解析方式的插件，并使用所选择的解析方式的插件对所述目标字段名对应的字段值和所述方法配置进行解析。
对多行合并的设备日志循环解析，以输出键值对(key-value)形式的结构化数据。
本实施例所述的设备日志解析方法可以达到以下技术效果：
1、不同的输入日志的编码格式可能不相同，本发明的方法和装置可以解码并解析不同编码格式日志信息，无需针对不同的编码格式重复开发。
2、单条日志可能由多行信息组成，传统的解析方法无法处理日志多行的情况，本发明方法和装置可以通过设置行匹配正则表达式将多行日志合并为一条日志。
3、针对不同系统或应用产生的日志格式多种多样，且没有固定格式的情况，本发明提出的方法中包括一种根据任意日志样例通过层级配置解析规则的方式来生成解析模板的方法，可以简单高效地生成解析任意日志格式的解析模板，大大降低开发和维护的成本。
实施例二
本实施例提供一种设备日志解析系统，请参阅图5，显示为设备日志解析系统于一实施例中的原理结构示意图。如图1所示，所述设备日志解析系统1包括：选择模块11、绑定模块12、及解析模块13。
所述选择模块11用于为输入的设备日志选定一用于解析日志的解析模板。所选定的解析模板包括手动选择的解析模板和自动匹配的解析模板，其中，所述手动选择的解析模板还包括已存储的解析模板和自定义的解析模板。在本实施例中，若所述选择模块11为输入的设备日志选定自定义的解析模板，那么所述选择模块11还具有生成自定义的解析模板的功能。
所述选择模块11具体用于从所述设备日志中选取日志样本。日志样本为带输入的设备日志的一部分日志文本，可以为一条日志，也可以为多条日志；为所述选取的日志样本设置用以组成解析模板的解析参数。所述解析参数解码格式、日志多行合并规则、和/或以先后顺序编排的解析方式。
具体地，所述选择模块11用于为所选取的日志样本设置用于提供解码所述日志样本的解码规则的解码格式，并验证该解码格式。在本实施例中，所述解码格式包括UTF-8、GBK等。
判断经过解码格式解码的所述选取的日志样本是否为多行日志，若否，直接为所选取的日志样本设置用于层级解析所述日志样本的解析方式，并验证所述解析方式；若是，为所选取的日志样本设置日志多行合并规则，验证所述日志多行合并规则，并为经过多行合并后的所选取的日志样本设置用于层级解析所述日志样本的解析方式，并验证所述解析方式。在本实施例中，若一条日志为一行，那么无需设置多行合并规则。若一条日志包括多行，则需要设置多行合并规则。在本实施例中，日志多行合并规则选择行匹配正则表达式。如果该行日志不匹配行匹配正则表达式则认为是新的一行，如果下一行日志匹配行匹配正则表达式，则认为下一行归属于上一行日志，直至某一行不匹配行匹配正则表达式表示该条日志才结束。在本实施例中，可以先解析出日志的某些字段信息，然后在上一层解析结果的基础上再次选择解析方式进行进一步的解析，最终将整条日志信息完整的转化为结构化数据；最后将所验证的解码格式、设置的日志多行合并规则、及设置的解析方式组成自定义的解析模板，为该自定义的解析模板设置模板名称并将其保存。
与所述选择模块11连接的绑定模块12用于将选定的解析模板与该设备日志绑定。具体地，所述绑定模块12用于判断所述选定的解析模板是否为自动匹配的解析模板，若是，则对所输入的设备日志以预设采样间隔进行采样，以获取采样后的设备日志。所述预设采样间隔为整数，表示每一隔预定数量的日志采样一条设备日志。预设采样间隔为0时表示使用全部原始日志；获取所有的解析模板，应用获取到的所有解析模板对采样后的设备日志进行解析；计算所有解析模板解析采样后的设备日志的匹配度，并选择匹配度最高的解析模板作为用于解析所输入的设备日志的解析模板；将所选择的解析模板与所输入的设备日志绑定在一起，若否，则直接绑定，即当为输入的设备日志选定已存储的解析模板中任意一条解析模板时，则将该解析模板与所输入的设备日志直接绑定；或当为输入的设备日志选定自定义的解析模板时，则将自定义的解析模板与所输入的设备日志直接绑定。
与所述选择模块11和绑定模块12连接的解析模块13用于根据与该设备日志绑定的解析模板中包括的多个解析参数，将所述设备日志解析成结构化数据，以供操作人员从解析出的结构化数据中获取所需相关信息。其中，所述解析参数包括解码格式、日志多行合并规则、和/或以先后顺序编排的解析方式。
继续参阅图5，所述解析模块13包括日志解码器131、日志合并器132、及日志解析器133。
其中，所述日志解码器131用于根据所述解码格式对所述设备日志进行解码，以产生解码后的设备日志。
与所述日志解码器131连接的日志合并器132用于根据所述日志多行合并规则对解码后的设备日志，逐行进行处理，以产生多行合并的设备日志。在本实施例中，所述日志多行合并规则采用行匹配正则表达式(MLReg)。所述日志合并器132具体用于过滤所述解码后的设备日志中的每行日志，若当前处理的是第N行日志，判断第N行日志是否与所述行匹配正则表达式MLReg匹配；若是，则第N行日志仍属于一设备日志；若否，则第N行日志属于另一设备日志的首行；其中，N大于等于1；若当期处理的是第N+1行日志，判断第N+1行日志是否与所述行匹配正则表达式MLReg匹配，若是，则第N+1行日志仍属于另一设备日志；若否，则表示所述另一设备日志已结束，第N+1行日志属于又一设备日志的首行。
与所述日志合并器132连接的日志解析器133用于根据以先后顺序编排的解析方式，对所述多行合并的设备日志逐层解析，输出键值对形式的结构化数据。在本实施例中，所述以先后顺序编排的解析方式为M个解析方式；其中，M大于等于1。Json解析、xm解析、正则解析、csv解析、kv解析、URI解析、syslog_piri解析、时间戳解析、UserAgent解析、Mutate解析等。因此，在本实施例中，所述日志解析器131包括多种解析单元，例如Json解析单元、xm解析单元、正则解析单元、csv解析单元、kv解析单元、URI解析单元、syslog_piri解析单元、时间戳解析单元、UserAgent解析单元、Mutate解析单元等。
具体地，所述日志解析器133用于若当前的解析方式为所述M个解析方式中的第M1个解析方式，获取第M1个解析方式中要解析的目标字段名，方法类型，方法配置；其中，M1小于等于M。检测当前需解析的设备日志中该目标字段名是否存在，若否，直接跳过当前解析的设备日志；若是，则根据方法类型选择解析方式的插件，并使用所选择的解析方式的插件对所述目标字段名对应的字段值和所述方法配置进行解析。对多行合并的设备日志循环解析，以输出键值对(key-value)形式的结构化数据。
在本实施例中，还包括与所述选择模块11连接的解析模板管理模块14，该解析模板管理模块14用于管理所述解析模板，包括对所述解析模板进行增加，删除，修改，查找，和/或复制等操作。
本实施例还提供一种包括上述设备日志解析系统1的服务器端2，如图6所示。
综上所述，本发明所述的设备日志解析方法、系统及具有该系统的服务器端可以达到以下技术效果：
1、不同的输入日志的编码格式可能不相同，本发明的方法和装置可以解码并解析不同编码格式日志信息，无需针对不同的编码格式重复开发。
2、单条日志可能由多行信息组成，传统的解析方法无法处理日志多行的情况，本发明方法和装置可以通过设置行匹配正则表达式将多行日志合并为一条日志。
3、针对不同系统或应用产生的日志格式多种多样，且没有固定格式的情况，本发明提出的方法中包括一种根据任意日志样例通过层级配置解析规则的方式来生成解析模板的方法，可以简单高效地生成解析任意日志格式的解析模板，大大降低开发和维护的成本。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种设备日志解析方法，其特征在于，所述设备日志解析方法包括以下步骤：
为输入的设备日志选定一用于解析日志的解析模板；所选定的解析模板包括手动选择的解析模板和自动匹配的解析模板，其中，所述手动选择的解析模板还包括已存储的解析模板和自定义的解析模板；
将选定的解析模板与该设备日志绑定；
根据与该设备日志绑定的解析模板中包括的多个解析参数，将所述设备日志解析成结构化数据，以供操作人员从解析出的结构化数据中获取所需相关信息。
2.根据权利要求1所述的设备日志解析方法，其特征在于：若为输入的设备日志选定所述自定义的解析模板，所述设备日志解析方法还包括生成自定义的解析模板的步骤；
所述生成自定义的解析模板的步骤包括：
从所述设备日志中选取日志样本；
为所述选取的日志样本设置用以组成解析模板的解析参数；
其中，所述为所述选取的日志样本设置用以组成解析模板的解析参数的步骤包括：
为所选取的日志样本设置用于提供解码所述日志样本的解码规则的解码格式，并验证该解码格式；
判断经过解码格式解码的所述选取的日志样本是否为多行日志，若否，直接为所选取的日志样本设置用于层级解析所述日志样本的解析方式，并验证所述解析方式；若是，为所选取的日志样本设置日志多行合并规则，验证所述日志多行合并规则，并为经过多行合并后的所选取的日志样本设置用于层级解析所述日志样本的解析方式，并验证所述解析方式；
将所验证的解码格式、设置的日志多行合并规则、及设置的解析方式组成自定义的解析模板，为该自定义的解析模板设置模板名称并将其保存。
3.根据权利要求1所述的设备日志解析方法，其特征在于：所述将选定的解析模板与该设备日志绑定的步骤包括：
判断所述选定的解析模板是否为自动匹配的解析模板，若是，对所输入的设备日志以预设采样间隔进行采样，以获取采样后的设备日志；
获取所有的解析模板，应用获取到的所有解析模板对采样后的设备日志进行解析；
计算所有解析模板解析采样后的设备日志的匹配度，并选择匹配度最高的解析模板作为用于解析所输入的设备日志的解析模板；
将所选择的解析模板与所输入的设备日志绑定。
4.根据权利要求3所述的设备日志解析方法，其特征在于：当为输入的设备日志选定已存储的解析模板中任意一条解析模板时，则将该解析模板与所输入的设备日志直接绑定；当为输入的设备日志选定自定义的解析模板时，则将自定义的解析模板与所输入的设备日志直接绑定。
5.根据权利要求3所述的设备日志解析方法，其特征在于：所述解析参数包括解码格式、日志多行合并规则、和/或以先后顺序编排的解析方式；
所述根据与该设备日志绑定的解析模板中包括的多个解析参数，将所述设备日志解析成结构化数据的步骤包括：
根据所述解码格式对所述设备日志进行解码，以产生解码后的设备日志；
根据所述日志多行合并规则对解码后的设备日志，逐行进行处理，以产生多行合并的设备日志；
根据以先后顺序编排的解析方式，对所述多行合并的设备日志逐层解析，输出键值对形式的结构化数据。
6.根据权利要求5所述的设备日志解析方法，其特征在于：所述日志多行合并规则为行匹配正则表达式时，所述根据所述日志多行合并规则对解码后的设备日志，逐条进行处理的步骤包括：
过滤所述解码后的设备日志中的每行日志，若当前处理的是第N行日志，判断第N行日志是否与所述行匹配正则表达式匹配；若是，则第N行日志仍属于一设备日志；若否，则第N行日志属于另一设备日志的首行；其中，N大于等于1；
若当期处理的是第N+1行日志，判断第N+1行日志是否与所述行匹配正则表达式匹配，若是，则第N+1行日志仍属于另一设备日志；若否，则表示所述另一设备日志已结束，第N+1行日志属于又一设备日志的首行。
7.根据权利要求5所述的设备日志解析方法，其特征在于：所述以先后顺序编排的解析方式为M个解析方式；其中，M大于等于1；
所述根据以先后顺序编排的解析方式，对所述设备日志逐层解析，输出键值对形成的结构化数据的步骤包括：
若当前的解析方式为所述M个解析方式中的第M1个解析方式，获取第M1个解析方式中要解析的目标字段名，方法类型，方法配置；M1小于等于M；
检测当前需解析的设备日志中该目标字段名是否存在，若否，直接跳过当前解析的设备日志；若是，则根据方法类型选择解析方式的插件，并使用所选择的解析方式的插件对所述目标字段名对应的字段值和所述方法配置进行解析；
对多行合并的设备日志循环解析，以输出键值对形式的结构化数据。
8.一种设备日志解析系统，其特征在于，所述设备日志解析系统包括：
选择模块，用于为输入的设备日志选定一用于解析日志的解析模板；
绑定模块，用于将选定的解析模板与该设备日志绑定；
解析模块，用于根据与该设备日志绑定的解析模板中包括的多个解析参数，将所述设备日志解析成结构化数据，以供操作人员从解析出的结构化数据中获取所需相关信息。
9.根据权利要求8所述的设备日志解析系统，其特征在于：所述设备日志解析系统还包括解析模板管理模块，用于管理所述解析模板，包括对所述解析模板进行增加，删除，修改，查找，和/或复制。
10.一种服务器端，其特征在于，所述服务器端包括如权利要求9所述的设备日志解析系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611227445.9A CN106656607A (zh) | 2016-12-27 | 2016-12-27 | 设备日志解析方法、系统及具有该系统的服务器端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611227445.9A CN106656607A (zh) | 2016-12-27 | 2016-12-27 | 设备日志解析方法、系统及具有该系统的服务器端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106656607A true CN106656607A (zh) | 2017-05-10 |
Family
ID=58832782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611227445.9A Pending CN106656607A (zh) | 2016-12-27 | 2016-12-27 | 设备日志解析方法、系统及具有该系统的服务器端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106656607A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273269A (zh) * | 2017-06-12 | 2017-10-20 | 北京奇虎科技有限公司 | 日志解析方法及装置 |
| CN107919981A (zh) * | 2017-10-31 | 2018-04-17 | 江苏省未来网络创新研究院 | 一种多厂商缓存日志的分析方法 |
| CN108228417A (zh) * | 2017-11-30 | 2018-06-29 | 北京九五智驾信息技术股份有限公司 | 车联网日志处理方法及处理装置 |
| CN109308289A (zh) * | 2018-09-27 | 2019-02-05 | 厦门服云信息科技有限公司 | 一种日志解析模板及基于该模板的日志解析方法 |
| CN109688027A (zh) * | 2018-12-24 | 2019-04-26 | 努比亚技术有限公司 | 一种数据采集方法、装置、设备、系统及存储介质 |
| CN110188160A (zh) * | 2019-05-31 | 2019-08-30 | 联想(北京)有限公司 | 数据存储方法和数据读取方法 |
| CN110263009A (zh) * | 2019-06-21 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 日志分类规则的生成方法、装置、设备及可读存储介质 |
| CN111190872A (zh) * | 2019-12-24 | 2020-05-22 | 杭州安恒信息技术股份有限公司 | 一种可继承可扩展的数据处理方法及其对解析日志的应用 |
| CN111258969A (zh) * | 2018-11-30 | 2020-06-09 | 中国移动通信集团浙江有限公司 | 一种互联网访问日志解析方法及装置 |
| CN111625616A (zh) * | 2020-05-11 | 2020-09-04 | 苏州盈数智能科技有限公司 | 一种能够海量存储的企业级的数据管理系统 |
| CN112350861A (zh) * | 2020-10-29 | 2021-02-09 | 深圳市广和通无线股份有限公司 | 日志获取方法、装置、计算机设备和存储介质 |
| CN112463772A (zh) * | 2021-02-02 | 2021-03-09 | 北京信安世纪科技股份有限公司 | 日志处理方法、装置、日志服务器及存储介质 |
| CN112632960A (zh) * | 2021-01-06 | 2021-04-09 | 北京启明星辰信息安全技术有限公司 | 基于动态字段模板的日志解析方法及系统 |
| CN112988670A (zh) * | 2021-05-11 | 2021-06-18 | 长扬科技（北京）有限公司 | 一种日志数据的处理方法和装置 |
| CN113660250A (zh) * | 2021-08-12 | 2021-11-16 | 杭州安恒信息技术股份有限公司 | 基于web应用防火墙的防御方法、装置、系统和电子装置 |
| TWI772926B (zh) * | 2020-10-19 | 2022-08-01 | 財團法人資訊工業策進會 | 日誌處理裝置及其日誌處理方法 |
| CN116542558A (zh) * | 2023-04-27 | 2023-08-04 | 上海数禾信息科技有限公司 | 业务指标计算方法、装置、计算机设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101237326A (zh) * | 2008-02-29 | 2008-08-06 | 华为技术有限公司 | 设备日志实时解析的方法、装置和系统 |
| CN104239475A (zh) * | 2014-09-03 | 2014-12-24 | 北京优特捷信息技术有限公司 | 一种时间序列数据分析方法及装置 |
| CN105095304A (zh) * | 2014-05-19 | 2015-11-25 | 华为技术有限公司 | 日志模板生成方法及设备 |
| US20150339032A1 (en) * | 2014-05-21 | 2015-11-26 | International Business Machines Corporation | Automated analysis and visualization of complex data |
| CN105740121A (zh) * | 2016-01-26 | 2016-07-06 | 中国银行股份有限公司 | 一种日志文本监控与预警方法、装置 |
| CN106055585A (zh) * | 2016-05-20 | 2016-10-26 | 北京神州绿盟信息安全科技股份有限公司 | 一种日志解析方法及装置 |
| CN106202323A (zh) * | 2016-06-30 | 2016-12-07 | 北京奇虎科技有限公司 | 一种日志的处理方法和装置 |
-
2016
- 2016-12-27 CN CN201611227445.9A patent/CN106656607A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101237326A (zh) * | 2008-02-29 | 2008-08-06 | 华为技术有限公司 | 设备日志实时解析的方法、装置和系统 |
| CN105095304A (zh) * | 2014-05-19 | 2015-11-25 | 华为技术有限公司 | 日志模板生成方法及设备 |
| US20150339032A1 (en) * | 2014-05-21 | 2015-11-26 | International Business Machines Corporation | Automated analysis and visualization of complex data |
| CN104239475A (zh) * | 2014-09-03 | 2014-12-24 | 北京优特捷信息技术有限公司 | 一种时间序列数据分析方法及装置 |
| CN105740121A (zh) * | 2016-01-26 | 2016-07-06 | 中国银行股份有限公司 | 一种日志文本监控与预警方法、装置 |
| CN106055585A (zh) * | 2016-05-20 | 2016-10-26 | 北京神州绿盟信息安全科技股份有限公司 | 一种日志解析方法及装置 |
| CN106202323A (zh) * | 2016-06-30 | 2016-12-07 | 北京奇虎科技有限公司 | 一种日志的处理方法和装置 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273269A (zh) * | 2017-06-12 | 2017-10-20 | 北京奇虎科技有限公司 | 日志解析方法及装置 |
| CN107273269B (zh) * | 2017-06-12 | 2021-04-23 | 北京奇虎科技有限公司 | 日志解析方法及装置 |
| CN107919981A (zh) * | 2017-10-31 | 2018-04-17 | 江苏省未来网络创新研究院 | 一种多厂商缓存日志的分析方法 |
| CN108228417B (zh) * | 2017-11-30 | 2022-01-28 | 北京九五智驾信息技术股份有限公司 | 车联网日志处理方法及处理装置 |
| CN108228417A (zh) * | 2017-11-30 | 2018-06-29 | 北京九五智驾信息技术股份有限公司 | 车联网日志处理方法及处理装置 |
| CN109308289A (zh) * | 2018-09-27 | 2019-02-05 | 厦门服云信息科技有限公司 | 一种日志解析模板及基于该模板的日志解析方法 |
| CN111258969B (zh) * | 2018-11-30 | 2023-08-15 | 中国移动通信集团浙江有限公司 | 一种互联网访问日志解析方法及装置 |
| CN111258969A (zh) * | 2018-11-30 | 2020-06-09 | 中国移动通信集团浙江有限公司 | 一种互联网访问日志解析方法及装置 |
| CN109688027A (zh) * | 2018-12-24 | 2019-04-26 | 努比亚技术有限公司 | 一种数据采集方法、装置、设备、系统及存储介质 |
| CN110188160A (zh) * | 2019-05-31 | 2019-08-30 | 联想(北京)有限公司 | 数据存储方法和数据读取方法 |
| CN110188160B (zh) * | 2019-05-31 | 2021-10-22 | 联想(北京)有限公司 | 数据存储方法和数据读取方法 |
| CN110263009B (zh) * | 2019-06-21 | 2024-01-16 | 深圳前海微众银行股份有限公司 | 日志分类规则的生成方法、装置、设备及可读存储介质 |
| CN110263009A (zh) * | 2019-06-21 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 日志分类规则的生成方法、装置、设备及可读存储介质 |
| CN111190872A (zh) * | 2019-12-24 | 2020-05-22 | 杭州安恒信息技术股份有限公司 | 一种可继承可扩展的数据处理方法及其对解析日志的应用 |
| CN111190872B (zh) * | 2019-12-24 | 2023-06-02 | 杭州安恒信息技术股份有限公司 | 一种可继承可扩展的数据处理方法及其对解析日志的应用 |
| CN111625616A (zh) * | 2020-05-11 | 2020-09-04 | 苏州盈数智能科技有限公司 | 一种能够海量存储的企业级的数据管理系统 |
| CN111625616B (zh) * | 2020-05-11 | 2024-02-06 | 苏州盈数智能科技有限公司 | 一种能够海量存储的企业级的数据管理系统 |
| TWI772926B (zh) * | 2020-10-19 | 2022-08-01 | 財團法人資訊工業策進會 | 日誌處理裝置及其日誌處理方法 |
| US11734320B2 (en) | 2020-10-19 | 2023-08-22 | Institute For Information Industry | Log processing device and log processing method |
| CN112350861B (zh) * | 2020-10-29 | 2023-06-20 | 深圳市广和通无线股份有限公司 | 日志获取方法、装置、计算机设备和存储介质 |
| CN112350861A (zh) * | 2020-10-29 | 2021-02-09 | 深圳市广和通无线股份有限公司 | 日志获取方法、装置、计算机设备和存储介质 |
| CN112632960A (zh) * | 2021-01-06 | 2021-04-09 | 北京启明星辰信息安全技术有限公司 | 基于动态字段模板的日志解析方法及系统 |
| CN112463772A (zh) * | 2021-02-02 | 2021-03-09 | 北京信安世纪科技股份有限公司 | 日志处理方法、装置、日志服务器及存储介质 |
| CN112988670A (zh) * | 2021-05-11 | 2021-06-18 | 长扬科技（北京）有限公司 | 一种日志数据的处理方法和装置 |
| CN113660250A (zh) * | 2021-08-12 | 2021-11-16 | 杭州安恒信息技术股份有限公司 | 基于web应用防火墙的防御方法、装置、系统和电子装置 |
| CN116542558A (zh) * | 2023-04-27 | 2023-08-04 | 上海数禾信息科技有限公司 | 业务指标计算方法、装置、计算机设备和存储介质 |
| CN116542558B (zh) * | 2023-04-27 | 2024-06-04 | 上海数禾信息科技有限公司 | 业务指标计算方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106656607A (zh) | 设备日志解析方法、系统及具有该系统的服务器端 | |
| CN102184184B (zh) | 一种网页动态信息获取方法 | |
| US20180268312A1 (en) | Method and system for incrementally learning log patterns on heterogeneous logs | |
| Fauri et al. | From system specification to anomaly detection (and back) | |
| CN104598232B (zh) | 一种Web应用跨设备捕捉‑回放方法 | |
| DE102012216841A1 (de) | Verfahren und Vorrichtung zur Durchführung von Sicherheitstests hinsichtlich von Protokollimplementierungen | |
| CN111090417B (zh) | 二进制文件解析方法、装置、设备及介质 | |
| CN103873583A (zh) | 基于云平台针对互联网用户行为进行分析的方法和系统 | |
| CN104750663B (zh) | 页面中文本乱码的识别方法及装置 | |
| CN102866911B (zh) | Mashup应用建立方法及装置 | |
| US20180039666A1 (en) | Log Query User Interface | |
| Mehdi et al. | Semantic rule-based equipment diagnostics | |
| CN109145027A (zh) | 数据统计方法、装置、设备及计算机可读存储介质 | |
| CN109408763B (zh) | 一种对不同模板的简历进行管理的方法及系统 | |
| CN109446042A (zh) | 一种用于智能用电设备的日志管理方法及系统 | |
| CN115828180A (zh) | 一种基于解析优化和时序卷积网络的日志异常检测方法 | |
| CN112286815A (zh) | 一种接口测试脚本的生成方法及其相关设备 | |
| Skarpathiotaki et al. | Cross-industry process standardization for text analytics | |
| CN117422429B (zh) | 一种基于互联网的研发机构协同服务平台 | |
| Sun et al. | A transformation‐based approach to testing concurrent programs using UML activity diagrams | |
| CN113609427A (zh) | 一种无接口情况下的系统数据资源提取方法及系统 | |
| CN106407475A (zh) | 内容筛选方法、装置及服务器 | |
| Bouras et al. | A tool for automating network simulation and processing tracing data files | |
| CN112015906A (zh) | 网络配置知识图谱的构建方案 | |
| US20190340540A1 (en) | Adaptive continuous log model learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |