CN110096625A - 数据合规检查方法和装置 - Google Patents

Abstract

本发明提供一种数据合规检查方法及装置，属于技术数据管理技术领域，其可解决现有的合规检查仅能针对单一数据源的数据进行检查，且检查操作复杂的不足。本发明数据合规检查方法，包括：从异构数据源中获取待查字段；对待查字段进行合规检查。

Description

数据合规检查方法和装置

技术领域

本发明涉及技术数据管理技术领域，具体地，涉及一种数据合规检查方法和装置。

背景技术

数据合规检查是指对数据中包含的秘密或隐私信息进行特殊处理，达到数据变形的效果，使得攻击者无法从中直接获得敏感信息。在医疗、电力、金融、电信等诸多行业中，数据合规检查都有着广泛的应用。

相关技术中，数据合规检查只针对单一的数据源，例如数据来自于文本文件存储平台、Oracal、Mysql数据库、其他平台等，没有进行对异构数据源的数据进行合规检查。同时，对不同的数据源的数据进行合规检查时，需要使用不同的检查模型，采取不同的合规检查方法，编写不同的程序，例如：对数据库中的数据进行检查时，需要在数据库中编写SQL合规检查脚本；对文本文件中的数据进行检查时，需要人为合规检查测评或需要编写程序或Shell脚本；对其他平台或设备的数据进行检查时，需要首先编写对应的接口接收数据，然后再对接收的数据进行检查。

可见，上述数据合规检查要求用户掌握多种数据合规检查的方法和对应的开发能力，使用门槛较高，且需要大量的人力时间成本，效率地下。

发明内容

本发明至少部分解决现有的数据合规检查仅能针对单一数据源的数据进行检查，且检查操作复杂的不足，提供了一种能够对异构数据源中的数据进行合规检查，检查操作简单的数据合规检查方法和装置。

解决本发明技术问题所采用的技术方案是一种数据合规检查方法，包括：

从异构数据源中获取待查字段；

对所述待查字段进行合规检查。

可选地，所述从异构数据源中获取待查字段，包括：

将所述异构数据源中的字段的存储目录显示在图形界面中；

识别用户对所述图形界面的操作指令，根据所述操作指令获取所述待查字段，所述操作指令用于指示对所述异构数据源中的字段的选择。

可选地，所述对所述待查字段进行合规检查，包括：

设置所述待查字段的检查规则，所述检查规则包括：数据字典、字段长度、数值范围、字段的上级存储目录之一或组合；

基于所述检查规则进行所述待查字段的合规检查。

可选地，所述对所述待查字段进行合规检查，包括：存储所述待查字段的检查日志，所述检查日志包括：所述待查字段、所述待查字段对应的检查规则、所述待查字段对应的检查结果、所述检查结果的存储路径之一或组合。

可选地，在所述对所述待查字段进行合规检查之后，还包括：根据预设统计条件，统计所述待查字段的数量。

解决本发明技术问题所采用的技术方案是一种数据合规检查装置，包括：

数据获取模块，用于从异构数据源中获取待查字段；

多个检查单元，每个检查单元与所述异构数据源中一数据源对应，用于基于所述检查规则进行所述待查字段的合规检查。

可选地，所述数据获取模块包括：

目录单元，用于向所述数据合规检查装置的图形化界面输出字段的存储目录；

识别单元，用于识别用户对所述图形界面的操作指令，根据所述操作指令获取所述待查字段，所述操作指令用于指示用户指定的待查字段。

可选地，所述字段检查模块包括：

规则设置单元，用于设置所述待查字段的检查规则，所述检查规则包括：数据字典、字段长度、数值范围、字段的上级存储目录之一或组合；

检查单元，用于基于所述检查规则进行所述待查字段的合规检查。

可选地，所述字段检查模块包括日志记录单元，用于记录所述待查字段的检查日志，所述检查日志包括：所述待查字段、所述待查字段对应的检查规则、所述待查字段对应的检查结果、所述检查结果的存储路径之一或组合。

可选地，所述数据合规检查装置还包括统计模块，用于根据预设统计条件，统计所述待查字段的数量。

本发明数据合规检查方法和装置，从异构数据源中获取待查字段，实现了对来自不同数据源的数据进行合规检查，同时，用户无需掌握检查装置的使用开发和使用脚本、程序，降低了数据合规检查的技术门槛，提升了用户的产品使用体验。

附图说明

图1为本发明数据合规检查方法的一种流程图；

图2为本发明数据合规检查方法的另一种流程图；

图3为本发明数据合规检查装置的一种结构框图；

其中的附图标记说明：01、数据获取模块；011、目录单元；012、识别单元；02、字段检查模块；021、规则设置单元；022、检查单元；023、日志记录单元；03、统计模块。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种数据合规检查方法和装置作进一步详细描述。

实施例1：

参加图1至2，本实施例提供一种数据合规检查方法，该方法例如运行在数据合规检查装置中对异构数据源中的数据进行合规检查，该方法可以包括以下步骤。

步骤11、从异构数据源中获取待查字段。

该步骤中，异构数据源可以包括数据服务公共平台、私有数据平台、其他平台设备等，异构数据源中的数据的数据类型可以包括文本格式、数据库格式，如Oracal、Mysql数据库的记录。

步骤12、对待查字段进行合规检查。

该步骤中，数据合规检测装置中预置了多个与常见数据源(如文本文件、数据库)一一对应的检查模型，当获取到待查字段后，与待查字段对应的检查模型会自动对待查字段进行合规检查。

上述方案，能够对异构数据源的数据进行合规检查，同时用户无需掌握数据合规检查的脚本编辑、程序编辑的技术，降低了数据合规检查的技术门槛，提升了用户对数据合规检查服务的体验。

可选地，上述步骤11包括：

步骤11a、将异构数据源中的字段的存储目录显示在图形界面中；

该步骤中，以异构数据源中的多个数据源作为“字段”存储的根目录，根目录下有多级子目录，例如在数据库数据源的根目录下，子目录可以是某一表；再例如，在文本的文件的数据源的根目录下，子目录可以是某一文件夹或某一txt文件或word文件，“字段”存储在某一级子目录下，例如，“字段”存储在某一表中，“字段”存储在某一txt文件上。

步骤11b、识别用户对图形界面的操作指令，根据操作指令获取待查字段，操作指令用于指示对异构数据源中的字段的选择。

该步骤中，图形化界面输出多个数据源根目录，用户执行点击数据源根目录，以完成对待查数据源的指定，同样，执行点击待查数据源下的多级子目录，完成对待查子目录(文本文件、数据表)的指定，在图形化界面输出某一待查子目录中的数据，其中包含多个字段，同样，执行点击字段，完成对待查字段的指定。

上述方案，用户在图形化界面上进行简单的操作即可获取异构数据源中的字段，获取到的字段即为待查字段，同时，待查字段是由用户指定的，因此，避免了遗漏需要被检查的字段，也避免了无需检查的字段被检查，从而造成检查资源的浪费。

可选地，上述步骤12包括：

步骤12a、设置待查字段的检查规则，检查规则包括：数据字典、字段长度、数值范围、字段的上级存储目录之一或组合。

该步骤中，检查规则的设置包括两方面设置的，第一，设置待查字段的检查项目，例如对待查字段进行数据字典、字段长度、数值范围、字段的上级存储目录4项检查项目中的部分检查项目或者进行全部检查项目。第二，设置各项检查项目的参考值，其中，可以对数据字典进行编辑，这里的同一个子目录是指的待查字段的上一级存储目录，例如，对于文本格式的待查字段，上一级存储目录是指待查字段所在的文件，如txt文件、word文件，那么上级存储目录的参考值是指txt文件、word文件的文件名；对于数据库格式的待查字段，上一级存储目录的参考值是指待查字段在其所在表中的行数。

上述检查规则的设置可以通过数据合规检查装置的图形化界面完成，例如，通过图形化界面输出一检查规则设置表，在表里选择相应的检测项目以及编辑各个检查项目的参考值即可。

需要说明的是，存储在同一个子目录里的待查字段的检查规则相同，在对当前待查字段进行合规检查时，可以采用上次相同数据源的待查字段进行合规检查时所采用的规则，从而无需再次设置检查规则。

步骤12b、基于检查规则进行待查字段的合规检查。

上述方案，用户可以定制待查字段进行多个(4个)检查项目的检查，且可以个性化的设置各个检查项目的参考值，从而增加了待查字段的检查结果的准确性。

特别地，上述步骤12a中，设置待查字段的检查规则之后，对检查规则进行检查的步骤，当检查规则检查合格后，才能进行步骤12b。

可选地，上述步骤12包括：步骤12c、存储待查字段的检查日志，检查日志包括：待查字段、待查字段对应的检查规则、待查字段对应的检查结果、检查结果的存储路径之一或组合。

该步骤中，检查日志总结而言是在待查数据进行合规检查过程中的各种相关数据。

上述方案，用户可以通过数据合规检查装折叠装置的图形化界面查看检查日志，故能够及时了解数据检查的情况，便于进行用户责任审计，实现了安全责任的可追溯化。

可选地，在步骤12a中，设置待查字段的检查规则之后，还包括设置待查字段的检查结果的存储路径。该存储路径可以和待查字段的检查日志的存储路径相同。

可选地，在步骤12之后，还包括：步骤13、根据预设统计条件，统计待查字段的数量。

该步骤中，预设的统计条件可以是日期、用户，例如2019年3月1日进行的数据合规检查的待查字段的数量，2018年1月1日至2018年12月31日这一年进行的数据合规检查的待查字段的数量；再例如某用户进行的数据合规检查的待查字段的数量，某用户在2019年3月4日至6日这段期间内进行的数据合规检查的待查字段的数量。

实施例2：

参加图3，本实施例提供一种数据合规检查装置，包括：

数据获取模块01，用于从异构数据源中获取待查字段；

字段检查模块02，包括多个检查单元，每个检查单元与异构数据源中一数据源对应，用于对数据源中的待查字段进行合规检查。

可选地，数据获取模块01包括：

目录单元011，用于向数据合规检查装置的图形化界面输出字段的存储目录；

识别单元012，用于识别用户对图形界面的操作指令，根据操作指令获取待查字段，操作指令用于指示用户指定的待查字段。

可选地，字段检查模块02包括：

规则设置单元021，用于设置待查字段的检查规则，检查规则包括：数据字典、字段长度、数值范围、字段的上级存储目录之一或组合；

多个检查单元022，每个检查单元022与异构数据源中一数据源对应，用于基于检查规则进行待查字段的合规检查。

可选地，字段检查模块02包括日志记录单元023，用于记录待查字段的检查日志，检查日志包括：待查字段、待查字段对应的检查规则、待查字段对应的检查结果、检查结果的存储路径之一或组合。

可选地，数据合规检查装置还包括统计模块03，用于根据预设统计条件，统计待查字段的数量。

上述方案的数据合规检查装置可执行以上的方法，故其能够对异构数据源的数据进行合规检查，同时用户无需掌握数据合规检查的脚本编辑、程序编辑的技术，提升了用户对数据合规检查服务的体验。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种数据合规检查方法，其特征在于，包括：

从异构数据源中获取待查字段；

对所述待查字段进行合规检查。

2.根据权利要求1所述的数据合规检查方法，其特征在于，所述从异构数据源中获取待查字段，包括：

将所述异构数据源中的字段的存储目录显示在图形界面中；

识别用户对所述图形界面的操作指令，根据所述操作指令获取所述待查字段，所述操作指令用于指示对所述异构数据源中的字段的选择。

3.根据权利要求1所述的数据合规检查方法，其特征在于，所述对所述待查字段进行合规检查，包括：

设置所述待查字段的检查规则，所述检查规则包括：数据字典、字段长度、数值范围、字段的上级存储目录之一或组合；

基于所述检查规则进行所述待查字段的合规检查。

4.根据权利要求1所述的数据合规检查方法，其特征在于，所述对所述待查字段进行合规检查，包括：存储所述待查字段的检查日志，所述检查日志包括：所述待查字段、所述待查字段对应的检查规则、所述待查字段对应的检查结果、所述检查结果的存储路径之一或组合。

5.根据权利要求1所述的数据合规检查方法，其特征在于，在所述对所述待查字段进行合规检查之后，还包括：根据预设统计条件，统计所述待查字段的数量。

6.一种数据合规检查装置，其特征在于，包括：

数据获取模块，用于从异构数据源中获取待查字段；

字段检查模块，用于对所述数据源中的待查字段进行合规检查。

7.根据权利要求6所述的数据合规检查装置，其特征在于，

所述数据获取模块包括：

目录单元，用于向所述数据合规检查装置的图形化界面输出字段的存储目录；

识别单元，用于识别用户对所述图形界面的操作指令，根据所述操作指令获取所述待查字段，所述操作指令用于指示用户指定的待查字段。

8.根据权利要求6所述的数据合规检查装置，其特征在于，

所述字段检查模块包括：

规则设置单元，用于设置所述待查字段的检查规则，所述检查规则包括：数据字典、字段长度、数值范围、字段的上级存储目录之一或组合；

多个检查单元，每个检查单元与所述异构数据源中一数据源对应，用于基于所述检查规则进行所述待查字段的合规检查。

9.根据权利要求6所述的数据合规检查装置，其特征在于，

所述字段检查模块包括日志记录单元，用于记录所述待查字段的检查日志，所述检查日志包括：所述待查字段、所述待查字段对应的检查规则、所述待查字段对应的检查结果、所述检查结果的存储路径之一或组合。

10.根据权利要求6所述的数据合规检查装置，其特征在于，

所述数据合规检查装置还包括统计模块，用于根据预设统计条件，统计所述待查字段的数量。