CN111190872B - 一种可继承可扩展的数据处理方法及其对解析日志的应用 - Google Patents

Abstract

本发明公开了一种可继承可扩展的数据处理方法，包括以下步骤：1）将日志中通用的解析方式直接写入一个父解析规则中；2）将父解析规则与若干子解析规则之间构建相关性，使解析表达式不同的子解析规则通过继承的方式，直接获得父解析规则中的解析方式；3）子解析规则中对父解析规则不满足的解析方式，可以对父解析规则进行重新改写，实现对父解析规则的扩展。本发明还将此数据处理方法应用于日志的解析过程中，对解析规则进行优化，减少解析规则中的冗余部分，方便解析规则的管理与新增，减少解析规则编写人员重复作业内容，减少解析规则数量，提升系统性能，通过继承方式解决不同解析规则中表达相同含义字段取值困难的问题。

Description

一种可继承可扩展的数据处理方法及其对解析日志的应用

技术领域

本发明涉及计算机数据处理技术领域，具体是指一种可继承可扩展的数据处理方法及其对日志的解析方法。

背景技术

互联设备每天都会产生大量的日志文件，这些日志文件一般是非结构化的。在大数据技术领域，常常需要对日志进行解析，将非结构化日志解析为结构化的数据，便于数据的统计和分析等。

目前的日志解析规则的编写主要通过，解析表达式(比如正则表达式)和赋值字段部分组成。此种方式会导致不同的解析规则中可能会存在相同的处理逻辑。虽然已经存在一些模块化解析规则的方式，来提高解析规则的复用性，从而减少解析规则之间的冗余，来减轻冗余的现象。但是对于一些相似的日志(比如字段赋值规律完全相同)，只是使用的解析表达式不同，在此类情况下，由于解析表达式的不同，所以需要重复编写两个规则，以适配不同的日志格式，然后再重写相同的字段赋值规则。如果此时的字段赋值规则过于复杂，那么就需要解析规则的编写人员，花费接近两倍的时间来完成这个任务(每一种日志都需要重复编写一次字段赋值规则)。同时将类似的内容重复写成两种规则，从而剥离了解析规则之间的相关性，增加了解析规则的数量。随着时间的推移会导致解析规则数量越来越多，同时规则内部的冗余也会越来越严重，从而给相关人员带来管理上的负担。

目前使用较多的是模块化的解析规则方式，即将解析规则根据使用方式的不同进行拆分。比如对时间”Oct1010:10:10”格式转换成“2019-10-1010:10:10”格式的解析规则单独封装为一篇解析规则，在某一篇解析规则需要使用到这类格式的时间处理时可以声明调用此篇解析规则。

在此例子中，将具体的处理逻辑交由特定的解析规则来处理，编写解析规则的人员可以不需要重复编写处理时间格式的解析规则逻辑。并且可以减少解析规则的数量(重复的解析规则逻辑可以单独抽离出来形成模块)。还有通过界面可是话的方式，提供用户多级匹配的方式，专利201810183464.9，名称为《日志解析方法、系统及设备》通过响应于用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件，在所述日志样本所属类型对应的自定义规则集中添加基于所述第一解析规则配置事件中用户自定义的第一配置参数生成的第一解析规则；根据所述第一解析规则，对所述日志样本进行解析得到第一解析结果；在所述可视化表格的空闲行中展示所述第一解析结果。使用了自定义规则集和界面可视化来减轻用户编写解析规则的难度和提高自定义解析规则的复用度。

虽然上述的方法已经可以大大减少解析规则中相同逻辑的规则重复出现，解析规则相互之间过于冗余的问题。但对于字段赋值和字段取值的不一致性问题还是存在。下面对于字段赋值和字段取值不一致性进行说明。

对于字段赋值而言，存在一些相似的日志(比如字段赋值规律完全相同)，只是使用的解析表达式不同，在此类情况下，由于解析表达式的不同，所以需要重复编写两个规则，以适配不同的日志格式，然后再重写相同的字段赋值规则。如果此时的字段赋值规则过于复杂，那么就需要解析规则的编写人员，花费接近两倍的时间来完成这个任务(每一种日志都需要重复编写一次字段赋值规则)。

而字段取值的不一致性带来的问题可能会更为明显。在解析规则中往往需要加入一些标签字段用于区分不同的厂商、设备型号，方便在后续的数据分析中可以直接进行筛选。但是这些打标签的字段取值相较于从日志中直接提取的取值而言过于依赖于解析人员。比如同样是针对于同一个厂商的两种不同设备，由两个解析人员负责编写解析规则，如果两人没有进行信息同步，其中一个解析人员可能会在productName(厂商名称)字段上写上厂商的中文名称，而另外一个解析人员可能更加倾向于使用厂商的英文名称，在这种情况下虽然取值代表的含义相同，但是在不同规则中相同字段表达相同含义时确实会存在不同的取值。

发明内容

针对现有技术的不足，本发明的目的在于提供一种可继承可扩展的数据处理方法，该数据处理方法可以让解析人员将一些通用的方式直接写在父解析规则中，而子解析规则可以通过继承而直接获得父解析规则中这些通用方式，同时子规则中对于父规则中不满足的操作也可以重新进行改写，从而达到了对父规则进行扩展的能力。

本发明的另一个目的在于提供上述可继承可扩展的数据处理方法在日志解析方面的具体应用。

为了实现上述目的，本发明通过下述技术方案实现：一种可继承可扩展的数据处理方法，包括以下步骤：

(1)将日志中通用的解析方式直接写入一个父解析规则中；

(2)将父解析规则与若干子解析规则之间构建相关性，使解析表达式不同的子解析规则通过继承的方式，直接获得父解析规则中的解析方式；

(3)子解析规则中对父解析规则不满足的解析方式，可以对父解析规则进行重新改写，实现对父解析规则的扩展。

本技术方案的工作原理为，可以让解析人员将一些通用的方式直接写在父解析规则中，而子解析规则可以通过继承而直接获得父解析规则中的这些通用的方式。

比如针对字段赋值问题，解析人员就可以将字段重复赋值的操作全部写到一个父解析规则中，而针对解析表达式不同但赋值规则相同的子规则，解析人员只需要将不同的子解析规则继承于同一个字段赋值的父解析规则就可以获得完全相同字段赋值方式，此时只需要重新解析规则的解析表达式即可。

而对于字段取值不一致问题，解析人员可以写一个父解析规则，将需要子解析规则保持一致的字段在此赋值，并且保证子解析规则继承于此父解析规则，那么子解析规则中此类字段的取值也都将保持一致，并且在后续改动这些字段的取值时只需要改动一个父解析规则，而不需要改动所有的子规则。

同时子规则中对于父规则中不满足的操作也可以重新进行改写，包括解析表达式，字段赋值等操作，从而达到了对父规则进行扩展的能力。

为了更好地实现该数据处理方法，进一步地，所述步骤(1)中通用的日志解析方式包括日志中字段赋值以及日志中字段取值。

为了更好地实现该数据处理方法，进一步地，所述步骤(3)中子解析规则对父解析规则进行重新改写的方式包括解析表达式、字段赋值。

上述述的一种可继承可扩展数据处理方法对解析日志的应用，包括以下步骤：

(1)将日志中通用的解析方式构建成父解析规则类；

(2)输入相关的子解析规则表达式；

(3)根据子解析规则表达式，生成相应的解析规则对象；

(4)根据解析规则对象匹配父解析规则类，生成相应的子解析规则；

(5)将生成的子解析规则加载系统，然后用其对日志进行解析，输出解析结果。

为了更好地实现该日志解析方法的具体应用，进一步地，所述步骤(2)中，所述输入的解析规则表达式包括JSON格式、XML格式、YSML格式、WDDX格式。

为了更好地实现该日志解析方法的具体应用，进一步地，其特征在于，所述步骤(4)中，生成相应的子解析规则的具体过程为：

(3.1)根据解析规则对象，判断生成的规则是否存在依赖的父解析规则类；

(3.2)如果存在父解析规则类依赖，则判断所依赖的父解析规则类是否已经生成；

(3.3)如果依赖的父解析规则类已经生成，则直接读取父解析规则类，作为生成的子解析规则；如果依赖的父解析规则类没有生成，则通过读取父解析规则表达式，生成子解析规则类，并将其作为新的父解析规则，加入原有的父解析规则类中保存；

(3.4)如果不存在父解析规则类依赖，则直接通过解析规则对象，生成新的子解析规则，并将该子解析规则的当前表达式中重写的内容覆盖原父解析规则类中冲突的内容，对原父解析规则类进行扩展。

为了更好地实现该日志解析方法的具体应用，进一步地，所述步骤(5)中，将生成的解析规则类加载系统的具体过程为：将生成的子解析规则通过生成的规则类实例化规则对象，使得该子解析规则可以被系统加载并使用。

为了更好地实现该日志解析方法的具体应用，进一步地，所述步骤(5)中，将生成的子解析规则加载系统后，用其对日志进行解析的过程为，系统加载子解析规则后，通过解析规则对象所保存的解析表达式对日志中的字段进行提取，根据字段映射规则对提取后的字段进行映射。

为了更好地实现该日志解析方法的具体应用，进一步地，所述步骤(5)中，日志解析完成后，将解析完成后的字段进行输出到后续处理系统。

本发明与现有技术相比，具有以下优点及有益效果：

(1)本发明提供的数据处理方法在应用于日志解析中后，对解析规则对象的解析规则方法进行了优化，从而减少解析规则中的冗余部分的存在，方便解析规则的管理与新增；

(2)本发明可以让解析人员将一些通用的方式直接写在父解析规则中，而子解析规则可以通过继承而直接获得父解析规则中的这些通用的方式，减少解析规则编写人员用于重复编写相同内容的时间，减少了编写人员的工作量，提高了工作效率；

(3)本发明所述数据处理方法应用于日志解析后，可以在后续改动这些字段的取值时只需要改动一个父解析规则，而不需要改动所有的子规则减少解析规则数量，从而提升系统性能；并通过继承方式解决了不同解析规则中表达相同含义字段取值不一致的问题；

(4)本发明所述数据处理方法应用于日志解析后，可以在相关子规则中可以重写父规则的相关内容从而达到对解析规则进行扩展，在解析规则之间构建起相关性，减轻用户编写解析规则的难度和提高自定义解析规则的复用度，适宜广泛推广应用。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更为明显：

图1为本发明中日志解析过程的流程图；

图2为本发明中日志解析过程中子解析规则生成流程图；

图3为实施例6中父解析规则与子解析规则之间的关系图；

图4为实施例6中最终生成的子规则的属性图。

具体实施方式

为使本发明的目的、工艺条件及优点作用更加清楚明白，结合以下实施实例，对本发明作进一步详细说明，但本发明的实施方式不限于此，在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的范围内，此处所描述的具体实施实例仅用以解释本发明，并不用于限定本发明。

实施例1：

本实施例公开了一种可继承可扩展的数据处理方法，包括以下步骤：

(1)将日志中通用的解析方式直接写入一个父解析规则中；

(2)将父解析规则与若干子解析规则之间构建相关性，使解析表达式不同的子解析规则通过继承的方式，直接获得父解析规则中的解析方式；

(3)子解析规则中对父解析规则不满足的解析方式，可以对父解析规则进行重新改写，实现对父解析规则的扩展。

其中，所述步骤(1)中通用的日志解析方式包括日志中字段赋值以及日志中字段取值；所述步骤(3)中子解析规则对父解析规则进行重新改写的方式包括解析表达式、字段赋值。

实施例2：

本实施例基于上述数据处理方法，将其应用于日记的解析过程中，具体流程如图1所示，包括以下步骤：

(1)将日志中通用的解析方式构建成父解析规则类；

(2)输入相关的子解析规则表达式；

(3)根据子解析规则表达式，生成相应的解析规则对象；

(4)根据解析规则对象匹配父解析规则类，生成相应的子解析规则；

(5)将生成的子解析规则加载系统，然后用其对日志进行解析，输出解析结果。

其中，所述步骤(2)中，所述输入的解析规则表达式包括JSON格式、XML格式、YSML格式、WDDX格式。

实施例3：

本实施例在上述实施例的基础上，进一步限定了生成相应的子解析规则的具体过程，如图2所示，

(3.1)根据解析规则对象，判断生成的规则是否存在依赖的父解析规则类；

(3.2)如果存在父解析规则类依赖，则判断所依赖的父解析规则类是否已经生成；

(3.3)如果依赖的父解析规则类已经生成，则直接读取父解析规则类，作为生成的子解析规则；如果依赖的父解析规则类没有生成，则通过读取父解析规则表达式，生成子解析规则类，并将其作为新的父解析规则，加入原有的父解析规则类中保存；

(3.4)如果不存在父解析规则类依赖，则直接通过解析规则对象，生成新的子解析规则，并将该子解析规则的当前表达式中重写的内容覆盖原父解析规则类中冲突的内容，对原父解析规则类进行扩展。本实施例其他部分与上述实施例相同，这里不再赘述。

实施例4：

本实施例在上述实施例的基础上，进一步限定了将生成的子解析规则加载系统后，对日志的解析处理过程：

将生成的解析规则类加载系统的具体过程为：将生成的子解析规则通过生成的规则类实例化规则对象，使得该子解析规则可以被系统加载并使用。

将生成的子解析规则加载系统后，用其对日志进行解析的过程为，系统加载子解析规则后，通过解析规则对象所保存的解析表达式对日志中的字段进行提取，根据字段映射规则对提取后的字段进行映射。

日志解析完成后，将解析完成后的字段进行输出到后续处理系统。本实施例其他部分与上述实施例相同，这里不再赘述。

实施例5：

本实施例在上述实施例的基础上，使用该数据处理方法进行日志解析的具体实例如下：

在已经存在如下父解析规则表达式，以Json格式为例：

此解析规则表达式声明解析规则名称为SuperExample,没有所依赖的父解析规则，可以提取<14>2019-10-31 10:00:01localhost…此种形式开头的日志的头部并且将时间2019-10-31 10:00:01赋值给startTime和endTime字段，将localhost赋值给hostName字段，同时会打上一个标签字段deviceSendProductName值为SuperTest。

实施例6：

本实施例提供一个继承SuperExample解析规则的子解析规则作为例，其中，此实施例中的父解析规则与子解析规则之间的关系如图3所示，最终生成的子解析规则如4所示：

子解析规则表达式，声明子解析规则名称为SubExample,继承于SuperExample,同时重写了解析规则的正则表达式和预判表达式，对于字段的赋值，修改了startTime的取值方式(同时也会改动endTime的取值，因为endTime的取值是依赖于startTime的)，新增了srcAddress字段，最后改写了标签字段deviceSendProductName字段的取值为SubTest。

如果将生成后的子规则再转换成单一不含继承的解析规则表达式应该如下：

/>

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种可继承可扩展的数据处理方法，其特征在于，包括以下步骤：

（1）将日志中通用的解析方式直接写入一个父解析规则中；

（2）将父解析规则与若干子解析规则之间构建相关性，使解析表达式不同的子解析规则通过继承的方式，直接获得父解析规则中的解析方式；

（3）子解析规则中对父解析规则不满足的解析方式，可以对父解析规则进行重新改写，实现对父解析规则的扩展。

2.根据权利要求1所述的一种可继承可扩展的数据处理方法，其特征在于，所述步骤（1）中通用的日志解析方式包括日志中字段赋值以及日志中字段取值。

3.根据权利要求1或2所述的一种可继承可扩展的数据处理方法，其特征在于，所述步骤（3）中子解析规则对父解析规则进行重新改写的方式包括解析表达式、字段赋值。

4.一种应用如权利要求1~3任一项所述的一种可继承可扩展数据处理方法处理解析日志的方法，包括以下步骤：

（1）将日志中通用的解析方式构建成父解析规则类；

（2）输入相关的子解析规则表达式；

（3）根据子解析规则表达式，生成相应的解析规则对象；

（4）根据解析规则对象匹配父解析规则类，生成相应的子解析规则；

（5）将生成的子解析规则加载系统，然后用其对日志进行解析，输出解析结果。

5.根据权利要求4所述的一种应用可继承可扩展数据处理方法处理解析日志的方法，其特征在于，所述步骤（2）中，所述输入的解析规则表达式包括JSON格式、XML格式、YSML格式、WDDX格式。

6.根据权利要求4或5所述的一种应用可继承可扩展数据处理方法处理解析日志的方法，其特征在于，所述步骤（4）中，生成相应的子解析规则的具体过程为：

（3.1）根据解析规则对象，判断生成的规则是否存在依赖的父解析规则类；

（3.2）如果存在父解析规则类依赖，则判断所依赖的父解析规则类是否已经生成；

（3.3）如果依赖的父解析规则类已经生成，则直接读取父解析规则类，作为生成的子解析规则；如果依赖的父解析规则类没有生成，则通过读取父解析规则表达式，生成子解析规则类，并将其作为新的父解析规则，加入原有的父解析规则类中保存；

（3.4）如果不存在父解析规则类依赖，则直接通过解析规则对象，生成新的子解析规则，并将该子解析规则的当前表达式中重写的内容覆盖原父解析规则类中冲突的内容，对原父解析规则类进行扩展。

7.根据权利要求6所述的一种应用可继承可扩展数据处理方法处理解析日志的方法，其特征在于，所述步骤（5）中，将生成的解析规则类加载系统的具体过程为：将生成的子解析规则通过生成的规则类实例化规则对象，使得该子解析规则可以被系统加载并使用。

8.根据权利要求7所述的一种应用可继承可扩展数据处理方法处理解析日志的方法，其特征在于，所述步骤（5）中，将生成的子解析规则加载系统后，用其对日志进行解析的过程为，系统加载子解析规则后，通过解析规则对象所保存的解析表达式对日志中的字段进行提取，根据字段映射规则对提取后的字段进行映射。

9.根据权利要求8所述的一种应用可继承可扩展数据处理方法处理解析日志的方法，其特征在于，所述步骤（5）中，日志解析完成后，将解析完成后的字段进行输出到后续处理系统。

Images