CN110543483A - 一种数据稽核方法、装置及电子设备 - Google Patents

Abstract

本发明实施例公开了一种数据稽核方法、装置及电子设备，用于解决现有技术无法精确获知每个表中每条数据记录的稽核结果，无法对一张表的数据进行整体把关的问题。该数据稽核方法包括：获取待稽查数据表；基于所述待稽查数据表，从指定数据库中获取所述待稽查数据表对应的稽核配置；基于所述稽核配置，对所述待稽查数据表中的待稽核数据记录进行稽核校验；输出各所述待稽核数据记录的稽核结果，能够精确获知每个表中每条数据记录的稽核结果，可以对一张表的数据进行整体把关。

Description

一种数据稽核方法、装置及电子设备

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据稽核方法、装置及电子设备。

背景技术

目前稽核的源数据往往在运营商生产系统中分别存放在关系数据库(Oracle)、分布式数据库(HBASE\HIVE\GreenPlum)、内存库(Qcubic)、Kafka、ES及文件等，数据源较多且数据格式不统一。现有的稽核系统主要以稽核核心Oracle数据库关系数据库为主，通过开发存储过程和稽核SQL语句完成数据的稽核处理。

现有的数据稽核方法是面对大量的表数据的稽核，由于数据源较多且数据格式不统一，故存在多种稽核规则，针对每个稽核规则得到稽核结果，致使各个稽核规则得到的稽核结果是分开的，无法精确获知每个表中每条数据记录的稽核结果，无法对一张表的数据进行整体把关。

发明内容

本发明实施例提供一种数据稽核方法、装置及电子设备，用于解决现有技术无法精确获知每个表中每条数据记录的稽核结果，无法对一张表的数据进行整体把关的问题。

本发明实施例采用下述技术方案：

第一方面，提供了一种数据稽核方法，所述方法包括：

获取待稽查数据表；

基于所述待稽查数据表，从指定数据库中获取所述待稽查数据表对应的稽核配置；

基于所述稽核配置，对所述待稽查数据表中的待稽核数据记录进行稽核校验；

输出各所述待稽核数据记录的稽核结果。

第二方面，提供了一种数据稽核装置，所述数据稽核装置包括：

表获取模块，用于获取待稽查数据表；

配置获取模块，用于基于所述待稽查数据表，从指定数据库中获取所述待稽查数据表对应的稽核配置；

稽核模块，用于基于所述稽核配置，对所述待稽查数据表中的待稽核数据记录进行稽核校验；

输出模块，用于输出各所述待稽核数据记录的稽核结果。

第三方面，提供了一种电子设备，包括：存储器，存储有计算机程序指令；

处理器，当所述计算机程序被所述处理器执行时实现如上述所述的数据稽核方法。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行时实现如上述所述的数据稽核方法。

本发明实施例采用的上述至少一个技术方案能够达到以下有益效果：

本发明实施例提供的数据稽核方法，通过对所述待稽查数据表中的待稽核数据记录进行稽核校验，输出各待稽核数据记录的稽核结果，能够精确获知每个表中每条数据记录的稽核结果，可以对一张表的数据进行整体把关。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书的一个实施例提供的数据稽核方法流程示意图；

图2为本说明书的一个实施例提供的数据稽核方法的实际应用场景示意图；

图3为本说明书的一个实施例提供的数据稽核装置结构示意图；

图4为本说明书一个实施例提供的电子设备结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明实施例提供一种数据稽核方法、装置及电子设备，以解决现有技术无法精确获知每个表中每条数据记录的稽核结果，无法对一张表的数据进行整体把关的问题。本发明实施例提供一种数据稽核方法，该方法的执行主体，可以但不限于应用程序、电子设备或能够被配置为执行本发明实施例提供的该方法的装置或系统。

为便于描述，下文以该方法的执行主体为能够执行该方法的电子设备为例，对该方法的实施方式进行介绍。可以理解，该方法的执行主体为电子设备只是一种示例性的说明，并不应理解为对该方法的限定。

图1为本发明实施例提供的数据稽核方法的流程图，图1的方法可以应用于自动测试程序，可以由电子设备执行，如图1所示，该方法可以包括：

步骤101、获取待稽查数据表。

该待稽查数据表包含待稽核数据。

在执行步骤101之前，本发明实施例提供的数据稽核方法包括将待稽查数据表从各种业务系统对应的关系型数据库、文件和消息队列中的至少一个，存储到指定数据库中。

示例性的，各种业务系统对应的关系型数据库可以包括mysql数据库，oracle数据库和DB2数据库等。各种业务系统对应的消息队列可以为kafka等。指定数据库可以为hive库。

具体的，将待稽核数据对应的待稽查数据表通过sqoop在Hadoop(Hive)与关系型数据库之间进行数据传递。

本步骤中，获取待稽查数据表的具体实现可以为，响应于用户在稽核配置界面上的选取操作，从指定数据库中选取待稽查数据表。

步骤102、基于待稽查数据表，从指定数据库中获取待稽查数据表对应的稽核配置。

该稽核配置可以包括对待稽查数据表的字段稽核配置和对待稽查数据表的整体数据稽核配置。其中，

字段稽核配置可以包括空值稽核、记录数稽核、唯一性稽核、数据格式稽核、逻辑性稽核、一致性稽核、码表稽核、自定义稽核共八大类稽核。例如，所有字段的空值验证，身份证字段的身份证验证、日期字段的日期验证、手机号字段的手机号验证，数据字段的数据范围验证、码表字段的码表验证、地区字段的区域验证，等等。

数据稽核配置可以包括日期稽核、正则表达式稽核、udf函数稽核；其中，udf函数稽核是用户可以根据自己的实际情况，通过编写代码的形式完成复杂数据质量验证。

本步骤具体可实现为：基于待稽查数据表中每个目标字段对应的数据，创建至少一个目标字段对应的至少一条待稽核数据记录的稽核任务；基于稽核任务，响应于用户在规则配置界面上的选取操作，从指定数据库中获取待稽查数据表对应的稽核配置。

也就是说，首先，响应于用户在稽核配置页面上对要稽查的库，及要稽查的数据表的第一选择操作，选取待稽查数据表；再响应于用户在稽核配置页面上对待稽查数据表目标字段的第二选取操作，选取待稽查数据表的目标字段(如图2所示)，并创建至少一个目标字段对应的至少一条待稽核数据记录的稽核任务；再响应于用户在规则配置界面上的第三选取操作，从指定数据库中获取待稽查数据表对应的稽核配置(如图2所示)；最后，响应于用户在规则配置界面上的触发操作，在规则配置界面上可以试运行所配置的稽核规则是否正确，也可以终止执行中的稽核任务，还可以预览这个稽核任务的所有的稽核规则生成的SQL语句，以方便定位问题，无需过多的操作，简单易用。

步骤103、基于稽核配置，对待稽查数据表中的待稽核数据记录进行稽核校验。

本步骤中，对待稽查数据表中的待稽核数据记录进行稽核校验可以根据数据的属性设定稽核校验方式，例如，针对大量数据可以进行分批次稽核校验，针对数值数据可以选取范围进行稽核校验，另外，既可以对待稽核数据记录进行定时稽核校验，也可以对待稽核数据记录进行周期性稽核校验。

本步骤具体可实现为，通过调用if else条件语句，判断待稽查数据表中的每一条待稽核数据记录所要稽核的目标字段满足什么稽核规则不满足什么稽核规则，以及结合调用合并字符串函数(CONCAT())把一条待稽核数据记录所包含的目标字段满足什么稽核规则，不满足什么稽核规则进行统计。

步骤104、输出各待稽核数据记录的稽核结果。

该稽核结果可以包括每条待稽核数据记录对应的稽核结果；或者，每条待稽核数据记录对应的稽核结果和待稽查数据表中每个目标字段的稽核结果。

本步骤可实现为，通过调用if else条件语句，判断待稽查数据表中的每一条待稽核数据记录所要稽核的目标字段满足什么稽核规则不满足什么稽核规则，得到每条待稽核数据记录的稽核结果，并生成包含有每条待稽核数据记录的稽核结果的稽核报告。

示例性的，假设待稽查数据表A，该待稽查数据表A具有两个目标字段，分别为name和age；该待稽查数据表A具有三条待稽核数据记录，分别为：1、小明，22；2、null(空)，25；3、小明，null(空)；

如果待稽查数据表A中目标字段name配置了唯一性稽核和非空稽核，目标字段age配置了非空稽核，则生成包含有每条待稽核数据记录的稽核结果的稽核报告如表1所示。

表1

audit_result	name	age
			name不满足唯一性稽核	小明	22
name不满足非空稽核		25
			name不满足唯一性稽核|age不满足非空稽核	小明

进一步的，本步骤可以同时结合调用合并字符串函数(CONCAT())把一条待稽核数据记录所包含的目标字段满足什么稽核规则，不满足什么稽核规则进行统计，得到每个目标字段的稽核结果，并生成包含有每条待稽核数据记录的稽核结果，及每个目标字段的稽核结果的稽核报告。

沿用上述示例，可以得到表2的稽核报告，如表2所示：

表2

本发明实施例提供的数据稽核方法，通过对待稽查数据表中的待稽核数据记录进行稽核校验，输出各待稽核数据记录的稽核结果，能够精确获知每个表中每条数据记录的稽核结果，从而提高数据稽核的精准度，同时，可以对一张表的数据进行整体把关。

作为一个实施例，步骤104具体可实现为：

基于稽核结果，获取满足稽核规则的数据记录和不满足稽核规则的数据记录；

将满足稽核规则的数据记录存储在第一存储位置；

将不满足稽核规则的数据记录，及其对应的稽核结果，生成稽核报告并存储在第二存储位置，第二存储位置与第一存储位置不同。

具体可实现为，通过调用SQL1语句获得所有满足稽核规则的数据记录，存入的到固定库，通过调用SQL2语句获取不满足任意稽核规则的数据记录生成表或者错误数据文档。

本发明实施例通过将满足稽核规则的数据记录和不满足稽核规则的数据记录及其对应的稽核结果分别存储在不同位置，便于开发人员基于不满足稽核规则的数据记录进行一一分析排查，减少了开发人员的工作量。

这里需要补充的是，在稽核监控页面，用户可以分批次下载每一批次的稽核报告，也可以合并多批次的稽核报告进行下载；还可以下载详细的质量报告；并且还可以查看每个稽核规则满足的数据条数和不满足的数据记录条数、稽核的总数据记录条数以及满足任意稽核规则的数据记录条数。以及每个稽核任务、稽核规则的执行时长、合格率、开始介绍数据等。

以上说明书部分详细介绍了数据稽核方法实施例，如图3所示，本说明书还提供了一种数据稽核装置，如图3所示，该数据稽核装置300包括：

表获取模块301，用于获取待稽查数据表；

配置获取模块302，用于基于所述待稽查数据表，从指定数据库中获取所述待稽查数据表对应的稽核配置；

稽核模块303，用于基于所述稽核配置，对所述待稽查数据表中的待稽核数据记录进行稽核校验；

输出模块304，用于输出各所述待稽核数据记录的稽核结果。

可选地，作为一个实施例，所述配置获取模块302可以包括：

创建单元，用于基于所述待稽查数据表中每个目标字段对应的数据，创建所述至少一个所述目标字段对应的所述至少一条待稽核数据记录的稽核任务；

配置获取单元，用于基于所述稽核任务，响应于用户在规则配置界面上的选取操作，从指定数据库中获取所述待稽查数据表对应的稽核配置。

可选地，作为一个实施例，所述稽核配置包括对所述待稽查数据表的字段稽核配置和对所述待稽查数据表的整体数据稽核配置。

可选地，作为一个实施例，所述输出模块304可以包括：

记录获取单元，用于基于所述稽核结果，获取满足所述稽核规则的数据记录和不满足所述稽核规则的数据记录；

第一存储单元，用于将满足所述稽核规则的数据记录存储在第一存储位置；

第二存储单元，用于将不满足所述稽核规则的数据记录，及其对应的稽核结果，生成稽核报告并存储在第二存储位置，所述第二存储位置与所述第一存储位置不同。

可选地，作为一个实施例，所述稽核结果包括：

每条所述待稽核数据记录对应的稽核结果；或者，

每条所述待稽核数据记录对应的稽核结果和所述待稽查数据表中每个目标字段的稽核结果。

可选地，作为一个实施例，该数据稽核装置300可以包括：

存储模块305，用于将待稽查数据表从各种业务系统对应的关系型数据库、文件和消息队列中的至少一个，存储到所述指定数据库中。

可选地，作为一个实施例，所述表获取模块301可以包括：

选取单元，用于响应于用户在稽核配置界面上的选取操作，从所述指定数据库中选取所述待稽查数据表。

本发明实施例提供的数据稽核方法，通过对待稽查数据表中的待稽核数据记录进行稽核校验，输出各待稽核数据记录的稽核结果，能够精确获知每个表中每条数据记录的稽核结果，从而提高数据稽核的精准度，同时，可以对一张表的数据进行整体把关。

下面将结合图4详细描述根据本发明实施例的电子设备。参考图4，在硬件层面，电子设备包括处理器，可选地，包括内部总线、网络接口、存储器。其中，如图4所示，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括实现其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成转发聊天信息的装置。处理器，执行存储器所存放的程序，并具体用于执行本说明书前文所述的方法实施例的操作。

上述图1至图2所示实施例揭示的方法、电子设备执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

图4所示的电子设备还可执行图1至图2的方法，并实现数据稽核方法在图1至图2所示实施例的功能，本发明实施例在此不再赘述。

当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述各个方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据稽核方法，其特征在于，包括：

获取待稽查数据表；

基于所述待稽查数据表，从指定数据库中获取所述待稽查数据表对应的稽核配置；

基于所述稽核配置，对所述待稽查数据表中的待稽核数据记录进行稽核校验；

输出各所述待稽核数据记录的稽核结果。

2.根据权利要求1所述的方法，其特征在于，基于所述待稽查数据表，从指定数据库中获取所述待稽查数据表对应的稽核配置，包括：

基于所述待稽查数据表中每个目标字段对应的数据，创建所述至少一个所述目标字段对应的所述至少一条待稽核数据记录的稽核任务；

基于所述稽核任务，响应于用户在规则配置界面上的选取操作，从指定数据库中获取所述待稽查数据表对应的稽核配置。

3.根据权利要求1或2所述的方法，其特征在于，所述稽核配置包括对所述待稽查数据表的字段稽核配置和对所述待稽查数据表的整体数据稽核配置。

4.根据权利要求1所述的方法，其特征在于，所述输出各所述待稽核数据记录的稽核结果，包括：

基于所述稽核结果，获取满足所述稽核规则的数据记录和不满足所述稽核规则的数据记录；

将满足所述稽核规则的数据记录存储在第一存储位置；

将不满足所述稽核规则的数据记录，及其对应的稽核结果，生成稽核报告并存储在第二存储位置，所述第二存储位置与所述第一存储位置不同。

5.根据权利要求1所述的方法，其特征在于，所述稽核结果包括：

每条所述待稽核数据记录对应的稽核结果；或者，

每条所述待稽核数据记录对应的稽核结果和所述待稽查数据表中每个目标字段的稽核结果。

6.根据权利要求1所述的方法，其特征在于，在获取待稽查数据表之前，包括：

将待稽查数据表从各种业务系统对应的关系型数据库、文件和消息队列中的至少一个，存储到所述指定数据库中。

7.根据权利要求1所述的方法，其特征在于，所述获取待稽查数据表，包括：

响应于用户在稽核配置界面上的选取操作，从所述指定数据库中选取所述待稽查数据表。

8.一种数据稽核装置，其特征在于，包括：

表获取模块，用于获取待稽查数据表；

配置获取模块，用于基于所述待稽查数据表，从指定数据库中获取所述待稽查数据表对应的稽核配置；

稽核模块，用于基于所述稽核配置，对所述待稽查数据表中的待稽核数据记录进行稽核校验；

输出模块，用于输出各所述待稽核数据记录的稽核结果。

9.一种电子设备，其特征在于，包括：

存储器，存储有计算机程序指令；

处理器，当所述计算机程序被所述处理器执行时实现如权利要求1至7任一项所述的数据稽核方法。

10.一种计算机可读存储介质，其特征在于，

所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行时实现如权利要求1至7任一项所述的数据稽核方法。