CN107844515A - 数据合规检查方法及装置 - Google Patents

Abstract

本发明实施例提供了一种数据合规检查方法及装置，本发明实施例的方法首先自动筛满足预定条件选数据文件，读取数据文件中的字段，之后在读取到的所有字段中筛选出需要检查的待检查字段，并在对待检查字段进行预处理之后，将处理后的待检查字段存储到第一列表中，最后根据预定规则对第一列表中的每个待检查字段进行合规检查，得到检查结果。此技术方案能够对数据进行准确地、自动化地合规检查，节省了大量的人力和时间，提高了数据合规检查的效率。

Description

数据合规检查方法及装置

技术领域

本发明实施例涉及技术数据管理领域，并且更具体地，涉及一种数据合规检查方法及装置。

背景技术

随着网络技术的发展及广泛应用，数据的数量越来越庞大，数据检查与管理的任务也越来越繁重。在数量庞大的数据中，除正常数据之外，还存在一写不符合既定规则的数据，即不合规数据，例如数据长度不在预定长度范围内的数据，又例如，数据格式不符合预定格式的数据等等。这些数据不仅造成内存的浪费，更会导致使用这些数据的应用程序在执行中产生错误，例如，导致某一系统无法进行生产、无法进行查询检索、无法进行数据定位、无法浏览准确数据等等。因此对这些不合规数据的检查变得非常重要。

目前，对着数据进行合规检查一般采用人工的方式，即需要人对数据的各个字段逐一核对，由于数据量巨大，这种人工核对的检查方式造成了时间以及人力的严重消耗。

发明内容

本发明实施例提供一种数据合规检查方法及装置，其能够自动对数据进行准确地合规检查，从而节省了大量的人力和时间，提高了数据合规检查的效率。

第一方面，本发明实施例提供了一种数据合规检查方法，所述方法包括如下步骤：

筛选出满足预定条件的数据文件，并读取各个所述数据文件中的字段，

从所述字段中筛选出需要检查的字段，并作为待检查字段；

对各个所述待检查字段进行预处理；

将预处理后的所述待检查字段存储在第一列表中；

检查所述第一列表中的每个所述待检查字段是否符合预定规则。

结合第一方面，在第一种可能的实现方式中，所述筛选出满足预定条件的数据文件之前，所述方法还包括如下步骤：

对于每个所述数据文件，读取当前数据文件的目录，并将当前数据文件的目录存储在第二列表中。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述筛选出满足预定条件的数据文件，并读取各个所述数据文件中的字段，具体包括如下步骤：

根据所述第二列表中存储的目录的顺序，依次判断每个所述目录对应的数据文件是否满足预定条件；

如果当前目录对应的数据文件满足预定条件，则根据当前目录，读取与其对应的数据文件中的字段。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述筛选出满足预定条件的数据文件具体为：

筛选出具有预定文件扩展名的数据文件。

结合第一方面，在第四种可能的实现方式中，所述检查所述第一列表中的每个所述待检查字段是否符合预定规则之前，所述方法还包括如下步骤：

对于所述第一列表中的每个待检查字段，根据其所属的数据文件，为当前待检查字段设置位移偏移量，并利用所述位移偏移量形成当前待检查字段的地址；

所述检查所述第一列表中的每个所述待检查字段是否符合预定规则具体为：根据每个待检查字段的地址，检查每个所述待检查字段是否符合预定规则。

结合第一方面或第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述检查所述第一列表中的每个所述待检查字段是否符合预定规则具体为：

检查每个所述待检查字段的长度是否满足预定长度条件，或

检查每个所述待检查字段是否为预定内容。

第二方面，本发明实施例还提供了一种数据合规检查装置，所述装置包括：

字段读取单元，用于筛选出满足预定条件的数据文件，并读取各个所述数据文件中的字段；

待检查字段确定单元，用于从所述字段中筛选出需要检查的字段，并作为待检查字段；

字段预处理单元，用于对各个所述待检查字段进行预处理；

第一存储单元，用于将预处理后的所述待检查字段存储在第一列表中；

合规检查单元，用于检查所述第一列表中的每个所述待检查字段是否符合预定规则。

结合第二方面，在第一种可能的实现方式中，所述数据合规检查装置还包括：

第二存储单元，用于对于每个所述数据文件，读取当前数据文件的目录，并将当前数据文件的目录存储在第二列表中。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述字段读取单元包括：

判定子单元，用于根据所述第二列表中存储的目录的顺序，依次判断每个所述目录对应的数据文件是否满足预定条件；

读取子单元，用于在当前目录对应的数据文件满足预定条件时，根据当前目录，读取与其对应的数据文件中的字段。

结合第二方面，在第三种可能的实现方式中，所述数据合规检查装置还包括：

地址确定单元，用于对于所述第一列表中的每个待检查字段，根据其所属的数据文件，为当前待检查字段设置位移偏移量，并利用所述位移偏移量形成当前待检查字段的地址；

所述合规检查单元还用于根据每个待检查字段的地址，检查每个所述待检查字段是否符合预定规则。

在本发明实施例的上述技术方案中，首先自动筛满足预定条件选数据文件，读取数据文件中的字段，之后在读取到的所有字段中筛选出需要检查的待检查字段，并在对待检查字段进行预处理之后，将处理后的待检查字段存储到第一列表中，最后根据预定规则对第一列表中的每个待检查字段进行合规检查，得到检查结果。此技术方案能够对数据进行准确地、自动化地合规检查，节省了大量的人力和时间，提高了数据合规检查的效率。

附图说明

为了更清楚的说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性的示出了根据本发明一实施例的数据合规检查方法的流程图。

图2示意性的示出了根据本发明再一实施例的数据合规检查方法的流程图。

图3示意性的示出了根据本发明又一实施例的数据合规检查方法中服务器接收到日志文件的示意图。

图4示意性的示出了根据本发明又一实施例的数据合规检查方法中数据合规检查结果示意图。

图5示意性的示出了根据本发明一实施例的数据合规检查装置框图。

图6示意性的示出了根据本发明再一实施例的数据合规检查装置框图。

图7示意性的示出了根据本发明又一实施例的数据合规检查装置框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种数据合规检查方法，如图1所示，该方法包括如下步骤：

110、筛选出满足预定条件的数据文件，并读取各个数据文件中的字段，

这里的数据文件可以是日志文件或其他的数据文件。由于实际的合规检查中不需要对所有的数据文件都进行检查，因此在检查之前首先对数据文件进行筛选。步骤110中筛选出满足预定条件的数据文件就是筛选出需要进行合规检查的数据文件。

这里的预定条件可以根据实际的检查需求灵活设定，例如只检查扩展名为.log的数据文件，那么此步骤中满足预定条件的数据文件就是扩展名为.log的文件。

这里的数据文件中的数据可以是非经资质的数据，或其他任何场景下的数据，本发明实施例对此并不进行限定。

120、从字段中筛选出需要检查的字段，并作为待检查字段；

一个数据文件中并不是所有的字段都需要进行合规检查，例如只需要检查某些重要的字段，对于不重要的字段没有必要进行检查，又例如只检查某一种特定场景下需要特别关注的字段，其他字段不需要进行检查，因此就需要从读取得到的所有字段中进行筛选，确定待检查字段。

另外，针对其中的一部分字段进行检查不仅可以提高检查效率，避免不必要资源的浪费，同时也实现提高了检查操作的可实现性。

在得到待检查字段后，优选的可以将所有的字段存储在一个字符串中。

130、对各个待检查字段进行预处理；

每个待检测字段中除文字外，可能还存在标点等其他符号，这些符号对合规检查没有意义，因此可以将这些符号删除，或直接筛选出各个待检查字段中的文字。

140、将预处理后的待检查字段存储在第一列表中；

150、检查第一列表中的每个待检查字段是否符合预定规则；

此步骤是实际的合规检查步骤，这里的预定规则根据实际的场景需求可以灵活设定，例如这里的预定规则是针对字段长度的规则，或是对字段内容的规则。在对一个数据文件的所有字段进行检查时，预定规则可以包括若干个，例如在检查时同时对一部分字段进行长度合规性检查，对另一部分字段进行内容合规性检查。

综上，本发明实施例的技术方案能够对数据进行准确地、自动化地合规检查，节省了大量的人力和时间，提高了数据合规检查的效率。

在一个实施例中，如图2所示，筛选出满足预定条件的数据文件之前，即步骤110之前，数据合规检查方法还包括如下步骤：

100、对于每个数据文件，读取当前数据文件的目录，并将当前数据文件的目录存储在第二列表中。在具体读取目录时，可以根据当前数据文件的目录级数，通过对应级数的for循环遍历所有的目录，并将目录存储在第二列表中。

根据第二列表中存储的目录即可读取对应部分的字段。

本实施例中，步骤110的筛选出满足预定条件的数据文件，并读取各个数据文件中的字段具体为：

1101、根据第二列表中存储的目录的顺序，依次判断每个目录对应的数据文件是否满足预定条件；

1102、如果当前目录对应的数据文件满足预定条件，则根据当前目录，读取与其对应的数据文件中的字段。

本实施例实现了根据目录获取数据文件的字段的方法，当然也可以利用其他的手段获取数据文件中的字段，本发明对此并不进行限定。

在一个实施例中，检查第一列表中的每个待检查字段是否符合预定规则之前，即步骤150之前，数据合规检查方法还包括如下步骤：

对于第一列表中的每个待检查字段，根据其所属的数据文件，为当前待检查字段设置位移偏移量，并利用位移偏移量形成当前待检查字段的地址。

此步骤为第一列表中的每个待检测字段设置了地址，从而能够准确的找到待检测字段。

步骤150中检查第一列表中的每个待检查字段是否符合预定规则具体为：根据每个待检查字段的地址，找到待检测字段，之后检查每个待检查字段是否符合预定规则。

在一个实施例中，检查第一列表中的每个待检查字段是否符合预定规则具体为：

检查每个待检查字段的长度是否满足预定长度条件，或

检查每个待检查字段是否为预定内容。

本发明实施例并不对预定规则进行限定，根据实际场景的需求可以灵活设置预定规则。

上述实施例的数据合规检查方法，首先自动筛满足预定条件选数据文件，读取数据文件中的字段，之后在读取到的所有字段中筛选出需要检查的待检查字段，并在对待检查字段进行预处理之后，将处理后的待检查字段存储到第一列表中，最后根据预定规则对第一列表中的每个待检查字段进行合规检查，得到检查结果。此技术方案能够对数据进行准确地、自动化地合规检查，节省了大量的人力和时间，提高了数据合规检查的效率。

下面介绍一个实施例，其是上述实施例的步骤的实现。

本实施以日志文件作为数据文件进行说明。

步骤一、进入日志文件目录，因为日志文件存放目录有三级，这里通过三次for循环，当前日志文件的遍历所有目录，并将目录保存到第二列表中。

程序实现如下：

步骤二、根据步骤一得到的目录，读取日志文件的内容，过滤掉不需要的字段，并存放在第一列表中。

程序实现如下：

步骤三、根据存储的日志文件内容，即根据第一列表中存储的字段，对列表中字段通过偏移的方法来针对需要关注的字段进行合规检查，并打印信息。

程序实现如下：

图3是本实施例中服务器接收到日志文件的示意图。图4是本实施例的数据合规检查方法的检查结果示意图。

本实施例通过自动化的合规检查，可以自动检查上报的所有数据，检查总的字段长度及各个字段的规格。并可以输出检查信息。从而减少测试人员的操作时间和花费的精力，提供效率。

另外，本实施例只需要修改其中的部分代码或预定规则，就可以针对其他的数据文件进行合规检查，灵活性强。

对应于上述实施例的数据合规检查方法，本发明实施例还公开了一种数据合规检查装置，如图5所示，该数据合规检查装置包括：

字段读取单元，用于筛选出满足预定条件的数据文件，并读取各个数据文件中的字段；

待检查字段确定单元，用于从字段中筛选出需要检查的字段，并作为待检查字段；

字段预处理单元，用于对各个待检查字段进行预处理；

第一存储单元，用于将预处理后的待检查字段存储在第一列表中；

合规检查单元，用于检查第一列表中的每个待检查字段是否符合预定规则。

本实施例的装置能够对数据进行准确地、自动化地合规检查，节省了大量的人力和时间，提高了数据合规检查的效率。

在一个实施例中，如图6所示，数据合规检查装置还包括：

第二存储单元，用于对于每个数据文件，读取当前数据文件的目录，并将当前数据文件的目录存储在第二列表中。

字段读取单元包括：

判定子单元，用于根据第二列表中存储的目录的顺序，依次判断每个目录对应的数据文件是否满足预定条件；

读取子单元，用于在当前目录对应的数据文件满足预定条件时，根据当前目录，读取与其对应的数据文件中的字段。

在一个实施例中，如图7所示，数据合规检查装置还包括：

地址确定单元，用于对于第一列表中的每个待检查字段，根据其所属的数据文件，为当前待检查字段设置位移偏移量，并利用位移偏移量形成当前待检查字段的地址；

合规检查单元还用于根据每个待检查字段的地址，检查每个待检查字段是否符合预定规则。

本发明实施例中的装置是与本发明实施例中的方法对应的产品，本发明实施例中的方法的每一个步骤均由本发明实施例中的装置的部件完成，因此对于相同的部分不再进行赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据合规检查方法，其特征在于，所述方法包括如下步骤：

筛选出满足预定条件的数据文件，并读取各个所述数据文件中的字段，

从所述字段中筛选出需要检查的字段，并作为待检查字段；

对各个所述待检查字段进行预处理；

将预处理后的所述待检查字段存储在第一列表中；

检查所述第一列表中的每个所述待检查字段是否符合预定规则。

2.根据权利要求1所述的数据合规检查方法，其特征在于，所述筛选出满足预定条件的数据文件之前，所述方法还包括如下步骤：

对于每个所述数据文件，读取当前数据文件的目录，并将当前数据文件的目录存储在第二列表中。

3.根据权利要求2所述的数据合规检查方法，其特征在于，所述筛选出满足预定条件的数据文件，并读取各个所述数据文件中的字段，具体包括如下步骤：

根据所述第二列表中存储的目录的顺序，依次判断每个所述目录对应的数据文件是否满足预定条件；

如果当前目录对应的数据文件满足预定条件，则根据当前目录，读取与其对应的数据文件中的字段。

4.根据权利要求3所述的数据合规检查方法，其特征在于，所述筛选出满足预定条件的数据文件具体为：

筛选出具有预定文件扩展名的数据文件。

5.根据权利要求1所述的数据合规检查方法，其特征在于，所述检查所述第一列表中的每个所述待检查字段是否符合预定规则之前，所述方法还包括如下步骤：

对于所述第一列表中的每个待检查字段，根据其所属的数据文件，为当前待检查字段设置位移偏移量，并利用所述位移偏移量形成当前待检查字段的地址；

所述检查所述第一列表中的每个所述待检查字段是否符合预定规则具体为：根据每个待检查字段的地址，检查每个所述待检查字段是否符合预定规则。

6.根据权利要求1或5所述的数据合规检查方法，其特征在于，所述检查所述第一列表中的每个所述待检查字段是否符合预定规则具体为：

检查每个所述待检查字段的长度是否满足预定长度条件，或

检查每个所述待检查字段是否为预定内容。

7.一种数据合规检查装置，其特征在于，所述装置包括：

字段读取单元，用于筛选出满足预定条件的数据文件，并读取各个所述数据文件中的字段；

待检查字段确定单元，用于从所述字段中筛选出需要检查的字段，并作为待检查字段；

字段预处理单元，用于对各个所述待检查字段进行预处理；

第一存储单元，用于将预处理后的所述待检查字段存储在第一列表中；

合规检查单元，用于检查所述第一列表中的每个所述待检查字段是否符合预定规则。

8.根据权利要求7所述的数据合规检查装置，其特征在于，所述数据合规检查装置还包括：

第二存储单元，用于对于每个所述数据文件，读取当前数据文件的目录，并将当前数据文件的目录存储在第二列表中。

9.根据权利要求8所述的数据合规检查装置，其特征在于，所述字段读取单元包括：

判定子单元，用于根据所述第二列表中存储的目录的顺序，依次判断每个所述目录对应的数据文件是否满足预定条件；

读取子单元，用于在当前目录对应的数据文件满足预定条件时，根据当前目录，读取与其对应的数据文件中的字段。

10.根据权利要求7所述的数据合规检查装置，其特征在于，所述数据合规检查装置还包括：

地址确定单元，用于对于所述第一列表中的每个待检查字段，根据其所属的数据文件，为当前待检查字段设置位移偏移量，并利用所述位移偏移量形成当前待检查字段的地址；

所述合规检查单元还用于根据每个待检查字段的地址，检查每个所述待检查字段是否符合预定规则。