CN110908972B

CN110908972B - 一种日志数据预处理方法、装置、电子设备和存储介质

Info

Publication number: CN110908972B
Application number: CN201911132134.8A
Authority: CN
Inventors: 姜昆; 尹子杰; 王可攀; 彭喜喜
Original assignee: Addnewer Corp
Current assignee: Addnewer Corp
Priority date: 2019-11-19
Filing date: 2019-11-19
Publication date: 2022-09-02
Anticipated expiration: 2039-11-19
Also published as: CN110908972A

Abstract

本申请实施例涉及一种日志数据预处理方法、装置、电子设备和存储介质，包括：依次遍历日志数据的列表；确定日志数据的列表中每一行的日志数据是否在存储器数据结构中存在；若确定某一行的日志数据在存储器数据结构中不存在；将行的日志数据的数据键添加至存储器数据结构中，所述数据键对应的数字值计为一；若确定某一行的日志数据在所述存储器数据结构中已存在；则把所述数据键对应的数字值加一，本申请实施例中通过引进存储器数据结构对日志数据进行预处理，提前将相同的行日志数据进行统计，提升了数据处理的效率，优化了日志数据的处理过程，减少了日志数据处理过程中依次处理行数据时资源的占用率。

Description

一种日志数据预处理方法、装置、电子设备和存储介质

技术领域

本发明实施例涉及日志数据处理技术领域，具体涉及一种日志预处理方法、装置、电子设备和存储介质。

背景技术

广告业务中会产生海量日志数据，如何能将这些进行数据高效快速的统计，生成数据报表展现给用户是个很大的挑战。在进行数据统计过程中，由于数据量巨大，导致统计时间长，加大报表延时，并过多占用系统资源，使服务器处理效率和并发性降低。

发明人在实现本发明的过程中发现：目前的提高数据处理速度的方案主要是投入更多的服务器资源，以提高数据处理和查询的速度，减少客户等待时间，但是上述方法投入服务器资源大，并没有优化数据处理的过程，导致使部分投入的服务器资源得不到充分的利用，使数据处理效率不能达到预期的效果。

发明内容

本发明的至少一个实施例提供了一种日志数据预处理方法、装置、电子设备和存储介质，解决了数据处理效率不能达到预期效果的问题。

第一方面，本发明实施例提出了一种日志数据预处理方法，包括：

依次遍历日志数据的列表；

确定日志数据的列表中每一行的日志数据是否在存储器数据结构中存在；

若确定某一行的日志数据在存储器数据结构中不存在；

将行的日志数据的数据键添加至存储器数据结构中，数据键对应的数字值计为一；

若确定某一行的日志数据在存储器数据结构中已存在；则把数据键对应的数字值加一。

在一些实施例中，上述日志数据预处理方法中，依次遍历日志数据的每一行之前，还包括：将日志数据的列表中的每一行的日志数据进行排序。

在一些实施例中，上述日志数据预处理方法中，将日志数据的列表中的每一行的日志数据进行排序，包括：

以数字键相同的行相邻为原则将日志数据的列表中的每一行的日志数据进行排序。

在一些实施例中，上述日志数据预处理方法还包括：若确定某一行的日志数据与对应的下一行的日志数据不相同，将行的日志数据对应的存储器数据结构中的数据键和数据键对应的数字值保存至目标表中，然后将存储器数据结构中的数据键和数据键对应的数字值删除。

在一些实施例中，上述日志数据预处理方法中的数字值位于数字键的后面。

第二方面，本发明实施例还提供了一种日志数据预处理装置，包括：

遍历模块：用于依次遍历日志数据的列表；

确定模块：用于确定日志数据的列表中每一行的日志数据是否在存储器数据结构中存在；

计数模块：用于若确定某一行的日志数据在存储器数据结构中不存在；

加法模块：用于若确定某一行的日志数据在存储器数据结构中已存在；则把数据键对应的数字值加一。

在一些实施例中，上述日志数据预处理装置还包括排序模块：用于依次遍历日志数据的每一行之前，将日志数据的列表中的每一行的日志数据进行排序。

在一些实施例中，上述预处理装置中将日志数据的列表中的每一行的日志数据进行排序，包括：

第三方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器；

处理器通过调用存储器存储的程序或指令，用于执行上述日志预处理方法的步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储程序或指令，程序或指令使计算机执行上述日志预处理方法的步骤。

本发明实施例的优点在于：依次遍历日志数据的列表；确定日志数据的列表中每一行的日志数据是否在存储器数据结构中存在；若确定某一行的日志数据在存储器数据结构中不存在；将行的日志数据的数据键添加至存储器数据结构中，所述数据键对应的数字值计为一；若确定某一行的日志数据在所述存储器数据结构中已存在；则把所述数据键对应的数字值加一，通过引进存储器数据结构对日志数据进行预处理，提前将相同的行日志数据进行统计，提升了数据处理的效率，优化了日志数据的处理过程，减少了日志数据处理过程中依次处理行数据时资源的占用率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种日志数据预处理方法的流程示意图之一；

图2是本发明实施例提供的一种日志数据预处理方法的流程示意图之二；

图3是本发明实施例提供的一种日志数据预处理装置的结构示意图；

图4为本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

图1是本发明实施例提供的一种日志数据预处理方法的流程示意图之一。

图2是本发明实施例提供的一种日志数据预处理方法的流程示意图之二。

第一方面，结合图1和图2，本发明实施例提出了一种日志数据预处理方法，包括：

S101：依次遍历日志数据的列表；

S102：确定日志数据的列表中每一行的日志数据是否在存储器数据结构中存在；

S103：若确定某一行的日志数据在存储器数据结构中不存在，将行的日志数据的数据键添加至存储器数据结构中，数据键对应的数字值计为一；

S104：若确定某一行的日志数据在存储器数据结构中已存在；则把数据键对应的数字值加一。

具体的，本申请实施例中以如下列表中的日志数据为例进行说明：

Push	2019-01-01	C3753CAC7429786300962236BAD7B409	112.64.61.111
				Push	2019-01-01	CD1C2379F453F2F44696501D3FCB271D	120.23.177.242
Push	2019-01-01	C3753CAC7429786300962236BAD7B409	112.64.61.111
				Push	2019-01-01	C188FE01AFA004E33D0E26064AC05428	112.28.166.121
Push	2019-01-01	CD1C2379F453F2F44696501D3FCB271D	120.23.177.242
				Push	2019-01-01	C188FE01AFA004E33D0E26064AC05428	112.28.166.121

本申请实施例中需要对上述日志数据列表中的数据聚合count操作，以生成新的数据结果用于后续数据处理，经过处理后的结果集样例如下：

Push	2019-01-01	C3753CAC7429786300962236BAD7B409	112.64.61.111	2
					Push	2019-01-01	CD1C2379F453F2F44696501D3FCB271D	120.23.177.242	2
Push	2019-01-01	C188FE01AFA004E33D0E26064AC05428	112.28.166.121	2

最后一列为count结果，即数字键，表示与这行的每一列数据完全相同的日志一共有多少行，例如和第一行全部相同的数据行一共有2个。

为了取得数字值结果，本申请实施例在存储器数据结构中创建并维持一个如下的数据结构:

上面存储器数据结构中，以行作为数据键，后面数字为数字值，例如：

键：push,2019-01-01,C3753CAC7429786300962236BAD7B409,112.64.61.111

数字值：2

初始时，存储器数据结构是空的，如下：

本申请实施例从从第一行开始遍历log列表，一直到最后一行。

步骤如下：

第一步，处理第一行，将第一行的行数据作为数据键，然后确定行数据是否在存储器数据结构中存在，如果不存在，则将这行添加到存储器数据结构中，并将后面的数字值记为1。如果这行数据已经在存储器数据结构中了，就将存储器数据结构中的这行数据后面的数字值增加1，例如原来是1，再增加1就是2，将新的数字值2记到这行后面。

初始时，存储器数据结构为空，里面也不存在第一行的数据，所以将第一行的数据增加到存储器数据结构中，并将结果数字记为1。

如下：

第二步，处理第二行数据，第二行的数据处理操作跟第一步操作一样，到存储器数据结构中确定是否存在第二行的数据，若不存在，将第二行的行数据也添加到存储器数据结构中，如下：

第三步，处理第三行，方法和第一步一样，确定第三行的数据是否在存储器数据结构中存在，若存储器数据结构中已存在这行的数据，则直接将这行的数据后面的数据加1，得到数字值2，然后将数字值2存入对应行后面。如下：

第四步，依次对每一行都进行上述的操作，一直到数据的最后一行结束，最终得到以下的数据结构：

第五步，将最终得到的存储器数据结构中的结果保存，最终得到下表：

在一些实施例中，上述日志数据预处理方法中，S101依次遍历日志数据的每一行之前，还包括：将日志数据的列表中的每一行的日志数据进行排序。

具体的，本申请实施例中在数据处理前，先对数据以数字键相同的行相邻为原则排序，得到排序后的数据如下:

Push	2019-01-01	C3753CAC7429786300962236BAD7B409	112.64.61.111
				Push	2019-01-01	C3753CAC7429786300962236BAD7B409	112.64.61.111
Push	2019-01-01	C188FE01AFA004E33D0E26064AC05428	112.28.166.121
				Push	2019-01-01	C188FE01AFA004E33D0E26064AC05428	112.28.166.121
Push	2019-01-01	CD1C2379F453F2F44696501D3FCB271D	120.23.177.242
				Push	2019-01-01	CD1C2379F453F2F44696501D3FCB271D	120.23.177.242

初始状态，存储器数据结构为空结构，如下：

最终数据结果表也为空，如下：

当日志数据经过处理排序之后，本申请实施例中优化了数据处理的步骤，将存储器数据结构的数据的大小降到最低，因为日志数据是经过排序的，所有相同的行都是相邻的，如果某行数据相邻的下一行跟自身行不同，则说明本行数据是自身相同行的最后一行，使得中间结果数据结构最少只保留1个键就能完成对数据结果统计。

第二步，处理第二行数据，将第二行数据与数据结构中唯一的一条跟比较。

如果相同，则将存储器数据结构中唯一的一个数字键，后面的结果加1，例如原来是1，再增加1就是2，将新的结果2记到这行后面。

如果不相同，则说明这条数据已经是自身相同行数据的最后一条，以后不会出现，自身相同行的所有数据已经统计完毕，可以将结果从存储器数据结构中保存到最终目标表，然后将存储器数据结构中的这条数据删除，此时存储器数据结构为空。然后按照第一步方法处理，将第二行的数据作为数据键，数字值为1，存入存储器数据结构。

此时处理第二行，对比的结果是相同，存储器数据结构的数字值2

存储器数据结构中只保留与第一行相同的结果，如下：

最终目标表结果是空，如下：

第三步，处理第三行，方法和第二步一样，将第三行的数据与存储器数据结构中唯一的一条跟比较。

第三行比较的结果是不相同，按照第二步的方法，不相同则说明，与第一行相同的所有行都已经统计完毕，将结果从存储器数据结构的唯一一条条数据，也就是第一行的行日志数据保存到最终目标表，然后将存储器数据结构中的数据删除。

此时存储器数据结构为空。然后按照第一步方法处理，将第三行的数据作为数据键，数字值为1，存入存储器数据结构。

此时存储器数据结构中，如下：

最终目标表存放从存储器数据结构中保存下来的第一行最终数据结果，如下：

Push

2019-01-01

C3753CAC7429786300962236BAD7B409

112.64.61.111

2

第四步，按照上面的处理流程一直按顺序处理到最后一行。

最后一行处理完成，此时，存储器数据结构和最终目标表中的数据如下：

数据结构中，如下：

Push	2019-01-01	C3753CAC7429786300962236BAD7B409	112.64.61.111	2
					Push	2019-01-01	C188FE01AFA004E33D0E26064AC05428	112.28.166.121	2

第五步，将存储器数据结构中的数据(1条)存入最终目标表，则最终目标表中将得到所有的结果，并将存储器数据结构中的数据删除。

此时存储器数据结构为空，如下：

最终得到下表：

Push	2019-01-01	C3753CAC7429786300962236BAD7B409	112.64.61.111	2
					Push	2019-01-01	C188FE01AFA004E33D0E26064AC05428	112.28.166.121	2
Push	2019-01-01	CD1C2379F453F2F44696501D3FCB271D	120.23.177.242	2

进一步的，通过上述排序的处理过程，存储器数据结构始终保持很小的资源消耗即只有一条日志数据，有效的减少了服务器资源的占用。并且，在日志数据处理的过程中就能得到部分最终结果。

图3是本发明实施例提供的一种日志数据预处理装置的结构示意图。

第二方面，结合图3，本发明实施例还提供了一种日志数据预处理装置，包括：

遍历模块201：用于依次遍历日志数据的列表；

确定模块202：用于确定日志数据的列表中每一行的日志数据是否在存储器数据结构中存在；

计数模块203：用于若确定某一行的日志数据在存储器数据结构中不存在；

加法模块204：用于若确定某一行的日志数据在存储器数据结构中已存在；则把数据键对应的数字值加一。

图4为本发明实施例提供的电子设备的硬件结构示意图，如图4所示，该电子设备可以包括手机、PAD的智能终端，该电子设备包括：

一个或多个处理器301，图4中以一个处理器301为例；

存储器302；

所述电子设备还可以包括：输入装置303和输出装置304。

所述电子设备中的处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图3中以通过总线连接为例。

存储器302作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的应用程序的界面显示方法对应的程序指令/模块(例如，附图2所示的遍历模块201、确定模块202、计数模块203和加法模块204)。处理器301通过运行存储在存储器302中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的界面显示方法。

存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置303可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。

本发明实施例还提供一种包含计算机可读存储介质，该计算机可读存储介质存储程序或指令，该程序或指令使计算机执行行时用于执行一种日志数据的预处理方法，该方法包括：

依次遍历日志数据的列表；

若确定某一行的日志数据在存储器数据结构中不存在；

可选的，该计算机可执行指令在由计算机处理器执行时还可以用于执行本发明任意实施例所提供的日志数据的预处理方法的技术方案。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例所述的方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims

1.一种日志数据预处理方法，其特征在于，包括：

以数字键相同的行相邻为原则将日志数据的列表中的每一行的日志数据进行排序；

依次遍历所述日志数据的列表；

确定所述日志数据的列表中每一行的日志数据是否在存储器数据结构中存在；

若确定某一行的日志数据在所述存储器数据结构中不存在；

将所述行的日志数据的数据键添加至所述存储器数据结构中，所述数据键对应的数字值计为一；

若确定某一行的日志数据在所述存储器数据结构中已存在；则把所述数据键对应的数字值加一；

若确定所述某一行的日志数据与对应的下一行的日志数据不相同，将所述行的日志数据对应的存储器数据结构中的数据键和所述数据键对应的数字值保存至目标表中，然后将所述存储器数据结构中的数据键和所述数据键对应的数字值删除。

2.根据权利要求1所述的数据预处理方法，其特征在于，所述数字值位于所述数字键的后面。

3.一种日志数据预处理装置，其特征在于，包括：

排序模块：用于以数字键相同的行相邻为原则将日志数据的列表中的每一行的日志数据进行排序；

遍历模块：用于依次遍历所述日志数据的列表；

确定模块：用于确定所述日志数据的列表中每一行的日志数据是否在存储器数据结构中存在；

计数模块：用于若确定某一行的日志数据在所述存储器数据结构中不存在；

加法模块：用于若确定某一行的日志数据在所述存储器数据结构中已存在；则把所述数据键对应的数字值加一；

4.一种电子设备，其特征在于，包括：处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至2任一项所述方法的步骤。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至2任一项所述方法的步骤。