CN106407350A

CN106407350A - 错误日志信息过滤方法及装置

Info

Publication number: CN106407350A
Application number: CN201610805362.7A
Authority: CN
Inventors: 程遥
Original assignee: Guangzhou Shiyuan Electronics Thecnology Co Ltd; Guangzhou Shirui Electronics Co Ltd
Current assignee: Guangzhou Shiyuan Electronics Thecnology Co Ltd; Guangzhou Shirui Electronics Co Ltd
Priority date: 2016-09-05
Filing date: 2016-09-05
Publication date: 2017-02-15

Abstract

本发明涉及一种错误日志信息过滤方法及装置，在获取到错误日志后，对其进行识别，获取错误日志信息的特征文本值，当在预设错误日志数据库中查找到与所述特征文本值相同的已存储特征文本值时，检测所述已存储特征文本值是否被标记为已处理，若是，则将所述特征文本值对应的所述错误日志信息过滤。通过检测所述已存储特征文本值是否被标记为已处理，即可知已存储特征文本值对应的错误日志信息是否已被处理了，若已被处理了，相当于上述特征文本值对应的与已存储特征文本值对应的错误日志信息相同的错误日志信息已被处理，无需再对相同的错误日志信息进行处理，将其过滤，以减少错误日志信息的量，从而提高对错误日志信息处理的工作效率。

Description

错误日志信息过滤方法及装置

技术领域

本发明涉及数据处理技术领域，特别涉及一种错误日志信息过滤方法及装置。

背景技术

系统在发生错误时会上传错误日志信息，一般为一段表示错误的文本，例如，当用户删除一个文件(X.txt)发生权限错误时，该软件会上传错误日志信息，如“删除文件错误；文件路径：C\文件夹\X.txt；错误原因：权限不足”，当用户删除另一文件(Y.txt)时可能发生同样的权限错误，此时，软件会上传错误日志信息，如“删除文件错误；文件路径：C\文件夹\Y.txt；错误原因：权限不足”。此时，错误日志信息系统上就会存在两条错误记录，而这两条错误记录所表示的是同一个错误问题，即权限不足问题。尽管如此，开发人员还是需要完整地检查这两个错误，以免漏掉其中一个。

然而，在实际开发当中，可能会有成千上万的用户遇到同样的错误，并上传相似的错误日志信息，从而会得到大量的错误日志信息，而每条错误日志信息可能包括多个字符，如此一来，开发人员要想看完这些错误日志信息并进行处理，则需要庞大工作量，导致错误日志信息处理工作效率不高。

发明内容

基于此，有必要针对错误日志信息量大导致处理效率低的问题，提供一种减少错误日志信息量以提高处理效率的错误日志信息过滤方法及装置。

一种错误日志信息过滤方法，包括以下步骤：

获取错误日志信息；

对所述错误日志信息进行识别，获取所述错误日志信息的特征文本值；

当在预设错误日志数据库中查找到与所述特征文本值相同的已存储特征文本值时，检测所述已存储特征文本值是否被标记为已处理；

若是，则将所述特征文本值对应的所述错误日志信息过滤。

本发明还提供一种错误日志信息过滤装置，包括：

信息获取模块，用于获取错误日志信息；

特征获取模块，用于对所述错误日志信息进行识别，获取所述错误日志信息的特征文本值；

检测模块，用于当在预设错误日志数据库中查找到与所述特征文本值相同的已存储特征文本值时，检测所述已存储特征文本值是否被标记为已处理；

过滤模块，当所述检测模块的检测结果为是时，则将所述特征文本值对应的所述错误日志信息过滤。

上述错误日志信息过滤方法及装置，在获取到错误日志后，对其进行识别，获取错误日志信息的特征文本值，当在预设错误日志数据库中查找到与所述特征文本值相同的已存储特征文本值时，检测所述已存储特征文本值是否被标记为已处理，若是，则将所述特征文本值对应的所述错误日志信息过滤。也就是说，由于上述特征文本值与上述已存储特征文本值是相同的，其对应的错误日志信息也是相同的，那么通过检测所述已存储特征文本值是否被标记为已处理，即可知已存储特征文本值对应的错误日志信息是否已被处理了，若已被处理了，相当于上述特征文本值对应的与已存储特征文本值对应的错误日志信息相同的错误日志信息已被处理，无需再对相同的错误日志信息进行处理，将其过滤，以减少错误日志信息的量，从而提高对错误日志信息处理的工作效率。

附图说明

图1为一种实施例的错误日志信息过滤方法的流程图；

图2为另一种实施例的错误日志信息过滤方法的流程图；

图3为另一种实施例的错误日志信息过滤方法中对错误日志信息进行识别，获取错误日志信息的特征文本值的步骤的子流程图；

图4为一种实施例的错误日志信息过滤装置的模块图；

图5为另一种实施例的错误日志信息过滤装置的模块图；

图6为另一种实施例的错误日志信息过滤装置中特征获取模块的子模块图。

具体实施方式

请参阅图1，提供一种实施例的错误日志信息过滤方法，包括以下步骤：

S110：获取错误日志信息。

在系统开发或使用过程中，难免会发生错误，在错误发生时，会产生错误日志信息，为了确保系统准确性，需要不断对系统进行调试，错误日志信息是日常调试过程中需要用到的信息，即根据错误日常信息，用户可知开发的系统出现了哪些错误，根据这些错误日志信息进行处理，可确保系统的准确性。然而，在实际应用中，可能会发生成千上万的错误，则错误日志信息量较大，用户处理时需要进行大量工作，效率低，从而，在本实施例中，通过对错误日志信息进行过滤，减少错误日志信息量，以减少处理错误日志信息的工作量，那么，首先需要获取错误日志信息。

S120：对错误日志信息进行识别，获取错误日志信息的特征文本值。

获取错误日志信息之后，需要其进行识别，即获取能够表征错误日志信息的特征文本值，通过特征文本值能表征待滤波错误日志信息，也就是说，只要知道特征文本值即可知道是哪种错误日志信息，类似于用户识别，可通过用户的姓名、身高和指纹等特征信息来表征用户，即不同用户对应不同特征信息，通过这些特征可识别用户，在本实施例中，通过识别错误日志信息，即可获取表征日志信息的特征文本值。

S130：在预设错误日志数据库中查找是否存在与特征文本值相同的已存储特征文本值。

当在预设错误日志数据库中查找到与特征文本值相同的已存储特征文本值时，执行以下步骤：

S140：检测已存储特征文本值是否被标记为已处理。

若是，则执行步骤S150：将特征文本值对应的错误日志信息过滤。

通过特征文本值可表征错误日志信息，从而，相同的特征文本值对应的错误日志信息是相同的，即单个特征文本值对应一类错误日志信息。从而通过查找预设错误日志数据库是否存在与特征文本值相同的已存储特征文本值，即可检测到之前是否已获取到了相同类别的错误日志信息，若已存在，表示之前已获取了相同类别的错误日志信息，此时，再检测已存储特征文本值是否被标记为已处理，当已被标记为已处理，相当于，该已存储特征文本值对应的一类错误日志信息已被处理了，由于特征文本值与已存储特征文本值是相同的，即无需在对与上述已存储特征文本值相同的特征文本值的错误日志信息进行处理，从而，将特征文本值对应的错误日志信息过滤，忽略上述错误日志信息，减少错误日志信息量，从而可提高后续处理工作效率。

上述错误日志信息过滤方法，在获取到错误日志后，对其进行识别，获取错误日志信息的特征文本值，当在预设错误日志数据库中查找到与所述特征文本值相同的已存储特征文本值时，检测所述已存储特征文本值是否被标记为已处理，若是，则将所述特征文本值对应的所述错误日志信息过滤。也就是说，由于上述特征文本值与上述已存储特征文本值是相同的，其对应的错误日志信息也是相同的，那么通过检测所述已存储特征文本值是否被标记为已处理，即可知已存储特征文本值对应的错误日志信息是否已被处理了，若已被处理了，相当于上述特征文本值对应的与已存储特征文本值对应的错误日志信息相同的错误日志信息已被处理，无需再对相同的错误日志信息进行处理，将其过滤，以减少错误日志信息的量，从而提高对错误日志信息处理的工作效率。

请参阅图2，在其中一个实施例中，检测特征文本值是否被标记为已处理的步骤S240之后，当已存储特征文本值未被标记为已处理时，执行以下步骤：

S260：将错误日志信息与已存储特征文本值关联存储于预设错误日志数据库。

S270：分别对单个已存储特征文本值对应的错误日志信息进行单次处理，并将已存储特征文本值标记为已处理。

当已存储特征文本值未被标记为已处理时，表示已存储特征文本特征值对应的错误日志信息没有被处理，由于上述特征文本值与该已存储特征文本值相同，其对应的错误日志信息相同，也就是说和特征文本值对应的错误日志信息相同的错误还未被处理，此时，对获取的错误日志信息进行处理，即通过将错误日志信息与已存储特征文本值关联存储于预设错误日志数据库，不同的错误日志信息被分为不同类，相同的错误日志被分为同类，由于大量的错误日志信息可存在不同，从而，在预设错误日志数据库中可包括多个特征文本值，每个特征文本值对应的不同类别的错误，相同类别的错误日志信息对应一个相同的特征文本值。通过分别对每个已存储特征文本值对应的错误日志信息进行单次处理，即每个已存储特征文本值对应的错误日志信息都进行一次处理，即将相同类的错误日志信息处理一次，以提高处理效率，并将已存储特征文本值标记为已处理。

在其中一个实施例中，在预设错误日志数据库中查找是否存在与特征文本值相同的已存储特征文本值的步骤S230之后，当在预设错误日志数据库中未查找到与特征文本值相同的已存储特征文本值时，执行步骤以下步骤：

S280：将错误日志信息与特征文本值关联。

当在预设错误日志数据库中未查找到与特征文本值相同的已存储特征文本值时，表示之前未获取到与上述特征文本值对应的错误日志信息相同类别的错误日志信息，也就是说，获得的错误日志信息是新的之前未出现过的错误，将新的错误日志信息与特征文本值关联，即建立错误日志信息与特征文本值的对应关系。在本实施例中，将错误日志信息与特征文本值关联之后，还包括步骤S290：将错误日志信息与特征文本值存储于预设错误日志数据库中。以便后续查找以及读取处理。

请参阅图3，在其中一个实施例中，对错误日志信息进行识别，获取错误日志信息的特征文本值的步骤S320包括：

S321：根据预设匹配规则，通过正则表达式将错误日志信息匹配出对应的特征文本。

S322：对特征文本进行哈希处理，获取哈希值，将所述哈希值作为所述特征文本的特征文本值。

正则表达式，又称正规表示法或常规表示法，正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。通常被用来检索、替换一些符合某个模式的文本。例如，原始文本为“abc aaaa”，希望每次遇到abc时，将abc后面的文本替换为efg，即预先可设置匹配规则，根据预设匹配规则，通过正则表达式将原始文本匹配出的字符串为“abcefg”。在本实施例中，可预先设定匹配规则获得预设匹配规则，再通过正则表达式将错误日志信息匹配出对应的特征文本，对特征文本进行哈希处理，获取特征文本值，也就是获得错误日志信息对应的特征文本值。例如，错误日志信息为“^错误码:(\d\d\d\d)”，通过正则表达式将该错误日志信息匹配为“错误码：7683”，将其中对区别不同错误没有实际作用的信息“错误码：”去掉，获取到错误日志信息对应的特征文本为“7683”，将该特征文本进行哈希处理，获得对应的哈希值，将哈希值作为错误日志信息的特征文本值。其中，哈希处理是通过哈希函数将特征文本映射为某个值，即哈希值，特征文本相同，对应的哈希值相同。

请参阅图4，本发明还提供一种实施例的错误日志信息过滤装置，包括：

信息获取模块410，用于获取错误日志信息。

特征获取模块420，用于对错误日志信息进行识别，获取错误日志信息的特征文本值。

检测模块430，用于当在预设错误日志数据库中查找到与特征文本值相同的已存储特征文本值时，检测已存储特征文本值是否被标记为已处理。

过滤模块440，当检测模块的检测结果为是时，则将特征文本值对应的错误日志信息过滤。

上述错误日志信息过滤装置，在获取到错误日志后，对其进行识别，获取错误日志信息的特征文本值，当在预设错误日志数据库中查找到与所述特征文本值相同的已存储特征文本值时，检测所述已存储特征文本值是否被标记为已处理，若是，则将所述特征文本值对应的所述错误日志信息过滤。也就是说，由于上述特征文本值与上述已存储特征文本值是相同的，其对应的错误日志信息也是相同的，那么通过检测所述已存储特征文本值是否被标记为已处理，即可知已存储特征文本值对应的错误日志信息是否已被处理了，若已被处理了，相当于上述特征文本值对应的与已存储特征文本值对应的错误日志信息相同的错误日志信息已被处理，无需再对相同的错误日志信息进行处理，将其过滤，以减少错误日志信息的量，从而提高对错误日志信息处理的工作效率。

请参阅图5，在其中一个实施例中，上述错误日志信息过滤装置还包括：

关联存储模块550，用于当检测模块的检测结果为否时，将错误日志信息与已存储特征文本值关联存储于预设错误日志数据库。

标记模块560，用于分别对单个已存储特征文本值对应的错误日志信息进行单次处理，并将已存储特征文本值标记为已处理。

在其中一个实施例中，上述错误日志信息过滤装置还包括：

关联模块570，用于当在预设错误日志数据库中未查找到与所述特征文本值相同的已存储特征文本值时，将错误日志信息与特征文本值关联。

当在预设错误日志数据库中未查找到与特征文本值相同的已存储特征文本值时，表示之前未获取到与上述特征文本值对应的错误日志信息相同类别的错误日志信息，也就是说，获得的错误日志信息是新的之前未出现过的错误，将新的错误日志信息与特征文本值关联，即建立错误日志信息与特征文本值的对应关系。在本实施例中，上述错误日志信息过滤装置还包括存储模块580，用于关联模块将错误日志信息与特征文本值关联后，将错误日志信息与特征文本值存储于预设错误日志信息数据库中，以便后续查找以及读取处理。

请参阅图6，在其中一个实施例中，特征获取模块包括：

匹配模块621，用于根据预设匹配规则，通过正则表达式将错误日志信息匹配出对应的特征文本。

特征文本值获取模块622，用于对特征文本进行哈希处理，获取哈希值，将哈希值作为特征文本的特征文本值。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种错误日志信息过滤方法，其特征在于，包括以下步骤：

获取错误日志信息；

若是，则将所述特征文本值对应的所述错误日志信息过滤。

2.根据权利要求1所述的错误日志信息过滤方法，其特征在于，还包括步骤：

当所述已存储特征文本值未被标记为已处理时，将所述错误日志信息与所述已存储特征文本值关联；

分别对单个所述已存储特征文本值对应的错误日志信息进行单次处理，并将所述已存储特征文本值标记为已处理。

3.根据权利要求1所述的错误日志信息过滤方法，其特征在于，还包括步骤：

当在预设错误日志数据库中未查找到与所述特征文本值相同的已存储特征文本值时，将所述错误日志信息与所述特征文本值关联。

4.根据权利要求3所述的错误日志信息过滤方法，其特征在于，将所述错误日志信息与所述特征文本值关联之后，还包括步骤：

将所述错误日志信息与所述特征文本值存储于所述预设错误日志数据库中。

5.根据权利要求1所述的错误日志信息过滤方法，其特征在于，所述对所述错误日志信息进行识别，获取所述错误日志信息的特征文本值的步骤包括：

根据预设匹配规则，通过正则表达式将所述错误日志信息匹配出对应的特征文本；

对所述特征文本进行哈希处理，获取哈希值，将所述哈希值作为所述特征文本的特征文本值。

6.一种错误日志信息过滤装置，其特征在于，包括：

信息获取模块，用于获取错误日志信息；

7.根据权利要求6所述的错误日志信息过滤装置，其特征在于，还包括：

关联存储模块，用于当所述检测模块的检测结果为否时，将所述错误日志信息与所述已存储特征文本值关联存储于所述预设错误日志数据库；

标记模块，用于分别对单个所述已存储特征文本值对应的错误日志信息进行单次处理，并将所述已存储特征文本值标记为已处理。

8.根据权利要求6所述的错误日志信息过滤装置，其特征在于，还包括：

关联模块，用于当在预设错误日志数据库中未查找到与所述特征文本值相同的已存储特征文本值时，将所述错误日志信息与所述特征文本值关联。

9.根据权利要求8所述的错误日志信息过滤装置，其特征在于，还包括：

存储模块，用于所述关联模块对所述错误日志信息与所述特征文本值关联后，将所述错误日志信息与所述特征文本值存储于所述预设错误日志信息数据库中。

10.根据权利要求6所述的错误日志信息过滤装置，其特征在于，所述特征获取模块包括：

匹配模块，用于根据预设匹配规则，通过正则表达式将所述错误日志信息匹配出对应的特征文本；

特征文本值获取模块，用于对所述特征文本进行哈希处理，获取哈希值，将所述哈希值作为所述特征文本的特征文本值。