CN116414814A - 数据检核方法、装置、设备、存储介质和程序产品 - Google Patents

Abstract

本发明公开了一种数据检核方法、装置、设备、存储介质和程序产品，涉及数据处理技术领域，该数据检核方法包括：针对待检核数据的数据定义信息，创建与待检核数据匹配的数据模板；生成与数据模板匹配的模板结构化查询语言SQL语句；模板SQL语句用于查询与数据模板关联的待检核数据；响应于用户针对模板SQL语句提供的数据检核规则，通过数据检核规则对模板SQL语句关联的待检核数据进行数据检核。本发明实施例通过创建数据模板进行数据检核，与业务程序不存在代码耦合，还可以根据实际检核需求灵活配置数据检核规则，能够适配较为复杂的数据检核场景。

Description

数据检核方法、装置、设备、存储介质和程序产品

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据检核方法、装置、设备、存储介质和程序产品。

背景技术

伴随着社会数字化的趋势，各行业的信息系统随着时间的推移累积了越来越多的数据。若其中存在大量问题数据，则可能引发生产问题或者生产事故，只有不断提升累积数据的质量，才能保证数据的价值。

现有数据检核方式通常将数据检核需求在业务程序中实现，存在严重的代码耦合，且无法灵活根据实际检核需求进行配置变更，无法适配较为复杂的数据检核场景。

发明内容

本发明实施例提供一种数据检核方法、装置、设备和存储介质，用以解决现有方法中，数据验核需求在业务程序中实现，存在严重的代码耦合、无法灵活根据实际检核需求进行变更问题。

第一方面，本发明实施例提供了一种数据检核方法，包括：

针对待检核数据的数据定义信息，创建与所述待检核数据匹配的数据模板；

生成与所述数据模板匹配的模板结构化查询语言SQL语句；模板SQL语句用于查询与所述数据模板关联的待检核数据；

响应于用户针对所述模板SQL语句提供的数据检核规则，通过所述数据检核规则对所述模板SQL语句关联的待检核数据进行数据检核。

第二方面，本发明实施例还提供了一种数据检核装置，包括：

数据模板确定模块，用于根据待检核数据的数据定义信息，创建与所述待检核数据匹配的数据模板；

模板SQL确定模块，用于生成与所述数据模板匹配的模板结构化查询语言SQL语句；模板SQL语句用于查询与所述数据模板关联的待检核数据；

数据检核模块，用于响应于用户针对所述模板SQL语句提供的数据检核规则，通过所述数据检核规则对所述模板SQL语句关联的待检核数据进行数据检核。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的数据检核方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据检核方法。

第五方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本发明实施例中任一所述的数据检核方法。

本发明实施例中，根据待检核数据的数据定义信息，创建与待检核数据匹配的数据模板，并生成与数据模板匹配的模板查询SQL语句，响应于用户针对模板SQL语句提供的数据检核规则对模板SQL语句关联的待检核数据进行数据检核，解决了现有技术中在业务代码中实现数据检核，数据验核与业务系统耦合在一起，具有代码侵入性，且无法灵活根据实际检核需求进行配置变更的技术问题，本申请提供的技术方案不仅与业务程序不存在代码耦合，还可以根据实际检核需求进行检核规则的灵活配置，能够适配较为复杂的数据检核场景，提高数据检核效率和扩展性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的数据检核方法的流程图；

图2为本申请实施例提供的数据检核方法的流程图；

图3为本申请实施例提供的数据检核方法的流程图；

图4为本申请实施例提供的数据检核装置的流程图；

图5为用来实施本发明实施例的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

下面以具体实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图1为本申请实施例提供的数据检核方法的流程图，本实施例可适用于通过构建数据模板进行数据检核的情况，该方法可以由数据检核装置来执行，该数据检核装置可以采用硬件和/或软件的形式实现，该数据检核装置可配置于各种通用计算设备中，例如，计算设备是客户端设备或服务器设备，客户端设备例如平板电脑和台式电脑等。如图1所示，该方法包括：

步骤110、针对待检核数据的数据定义信息，创建与待检核数据匹配的数据模板。

其中，待检核数据是指需要对数据质量进行检核的数据，示例性的，待检核数据包括需要对数据的准确性、完整性以及一致性中的至少一项进行检核的数据。

数据定义信息用于定义需要进行质量检核的数据范围，数据定义信息可以包括待检核数据的数据源信息和基于数据源信息的数据标识信息。示例性的，数据源信息包括，数据库类型、数据库连接以及数据源名称等定义数据源等信息，数据标识信息是在确定数据源的基础上进一步定义数据表名称以及数据字段等信息。

本发明实施例中，为实现待检核数据的复用，可以针对有数据检核需求的数据定义信息创建数据模板。具体的，在获取到用户提供的待检核数据的数据定义信息后，依据数据定义信息创建与当前待检核数据匹配的数据模板，数据模板至少包括模板编号、模板名称、数据表、检核字段等信息。在下一次需要对同样的待检核数据进行数据检核时，可以通过选择与其对应的数据模板的方式来选择源数据，无需在每次对同样待检核数据进行检核时都重复繁琐的数据定义过程。

其中，数据模板中的数据表信息是指待检核数据位于数据库中的表名称，数据模板中的检核字段信息是指待检核数据位于数据库中所在表中的字段名称。数据模板中的数据表以及检核字段可以是在预先提供的下拉框选项中选择定义，也可以通过手动输入结构化查询语言(StructuredQueryLanguage，简称SQL)语句的方式定义。

除此之外，在一些数据检核场景下，常常需要针对一项或者多项数据字段来对定义的待检核数据继续进行筛选。例如，需要根据时间信息筛选出在设定时间点之后的数据，或者是根据地域信息筛选出所需地域关联的数据等。此时，仅通过上述数据定义信息无法实现数据的进一步筛选，可以在创建数据模板时，在数据定义信息的基础上增加条件表达式，来进一步筛选需要进行质量检核的数据。

步骤120、生成与数据模板匹配的模板结构化查询语言SQL语句；模板SQL语句用于查询与数据模板关联的待检核数据。

其中，模板SQL语句用于查询与数据模板关联的待检核数据，模板SQL语句是数据库语言中代表查询功能的语句，例如以Select为标志词的数据库语言。

本发明实施例中，根据数据模板中的数据表信息和检核字段信息，生成与数据模板中数据表信息和检核字段信息相匹配的数据查询语句，该数据查询语句即为模板SQL语句。模板SQL语句用于查询与数据模板中数据表信息和检核字段信息相关联的待检核数据。

除此之外，若待检核数据不仅存在于一个数据表中，则需要对多个数据表进行关联查询才能得到全部待检核数据。此时，用户可以在配置数据模板的基础上，进一步基于该数据模板配置关联表信息，例如，配置关联表名称、关联字段以及关联方式等。进一步的，在生成与数据模板匹配的模板SQL语句时，需要在模板SQL语句中增加关联表的关联查询部分。

可选的，生成与数据模板匹配的模板结构化查询语言SQL语句的过程，还包括：

通过条件/分组表达式进一步对待检核数据进行筛选，示例性的，可通过条件表达式筛选出符合条件的待检核数据，例如，条件表达式可对检核字段中有关日期的字段进行限定，筛选出最近一年的待检核数据，可通过分组表达式把检核字段中相同的日期数据归为一个分组，例如，把年度字段为2021的待检核数据化为一个组别。通过条件/分组表达式进一步对待检核数据进行筛选，可以有效筛选出无关数据，减少了数据的处理量。

步骤130、响应于用户针对模板SQL语句提供的数据检核规则，通过数据检核规则对模板SQL语句关联的待检核数据进行数据检核。

其中，数据检核规则用于对待检核数据进行质量检核，数据检核规则是用户自定义的数据质量符合标准的规则。示例性的，一个数据库中存在年度投入预算使用概况表，表中存在年度，项目编号，项目名称等字段信息，数据验核规则可对数据表中的字段信息的数据质量进行检核，发现数据表中存在问题的数据。可选的，可以依据数据表中规定的字段的属性信息对数据表中的字段信息进行检核，例如，年度投入预算使用概况表中，年度以及项目名称可以看作主属性，则数据检核规则可以设置为对年度和项目名称字段进行非空校验。

具体的，响应于用户针对模板SQL语句提供的自定义数据检核规则，由模板SQL语句以及对应的数据检核规则，构建数据检核SQL语句，通过运行数据检核SQL语句，实现对模板SQL语句关联的待检核数据的数据检核，数据检核规则中可包括模板SQL语句中关联的多个待检核数据的检核规则。

可选的，通过数据检核规则对模板SQL语句关联的待检核数据进行数据检核，还包括：

模板SQL语句可以多次复用配置不同的数据检核规则，针对不同的数据检核规则，模板SQL语句可以多次复用配置不同的数据检验规则对模板SQL语句中关联的待检核数据进行数据检核，无需再次重新生成模板SQL语句，使用户更加灵活的根据需要检核的模板SQL语句中关联的待检核数据依次配置不同的数据检核规则执行数据检核任务，提高数据检核的灵活性和数据检核的效率。

可选的，除了响应于用户针对模板SQL语句提供的数据检核规则，通过数据检核规则对模板SQL语句关联的待检核数据进行数据检核之外，还包括：

响应于用户提供的自定义数据检核SQL语句，通过运行自定义数据检核SQL语句进行数据检核。

本可选的实施例中，用户也可以直接提供自定义数据检核SQL语句进行数据检核，此时的数据检核无需建立在创建数据模板的基础上。

本发明实施例，根据待检核数据的数据定义信息，创建与待检核数据匹配的数据模板，并生成与数据模板匹配的模板查询SQL语句，响应于用户针对模板SQL语句提供的数据检核规则对模板SQL语句关联的待检核数据进行数据检核，解决了现有技术中在业务代码中实现数据检核，数据验核与业务系统耦合在一起，具有代码侵入性，且无法灵活根据实际检核需求进行配置变更的技术问题，本申请提供的技术方案不仅与业务程序不存在代码耦合，还可以根据实际检核需求进行检核规则的灵活配置，提高数据检核效率和扩展性。

图2为本发明实施例提供的一种数据检核方法的流程图，本实施例在上述实施例的基础上进一步细化，提供了针对待检核数据的数据定义信息，创建与待检核数据匹配的数据模板的具体步骤，以及在创建与待检核数据匹配的数据模板之前的具体步骤。如图2所示，该方法包括：

步骤210、获取用户基于数据配置选项选择的数据定义信息；和/或，获取用户通过数据定义SQL语句提供的数据定义信息。

具体的，用户可以基于数据配置选项选择数据源信息，数据源信息填写完毕后，可以先做测试连接，当数据检核装置和数据源连接成功后保存数据源信息。用户也可通过自主写入数据定义SQL语句与数据源建立连接，该数据定义SQL语句中包括数据源信息和其数据源信息的数据标识信息。

数据配置选项中存在至少一个数据源信息，能够实现配置多种类型的数据源，对多种数据源进行数据检核。

步骤220、在待检核数据的数据定义信息中提取数据源信息以及基于数据源信息的数据标识信息。

本发明实施例中，在创建数据模板时，提取用户提供的数据定义信息中的数据源信息，以及基于数据源信息的数据标识信息。通过数据源信息和数据标识信息可以确定待检核数据的数据范围，以针对该数据范围创建可以复用的数据模板。

可选的，数据源信息包括数据库类型、数据库连接、数据驱动类型、数据源名称、用户名以及密码中的至少一项，数据标识信息包括数据表名称以及数据字段中的至少一项。

步骤230、根据数据源信息和数据标识信息，创建与待检核数据匹配的数据模板。

具体的，数据模板是针对有数据检核需求的数据信息进行创建的，数据模板至少包括模板编号、模板名称、数据表、检核字段等信息，通过数据模板中的数据表信息选取待检核数据位于数据库中的表名称，通过数据模板中的检核字段信息选取待检核数据位于数据库中所在表中的字段名称。可选的，数据模板中的数据表以及检核字段可以通过下拉框来确定选取的数据表信息和检核字段信息，也可以通过手动输入SQL语句的方式定义。

可选的，数据模板中还包括条件表达式信息，通过条件表达式进一步对检核字段进行条件限定，筛选出符合条件的待检核数据，例如，条件表达式可对检核字段中有关日期的字段进行限定，筛选出日期为2021年的待检核数据，通过条件表达式可精准查询出符合条件的待检核数据，降低了无效数据的干扰，提高了数据处理的效率。

步骤240、生成与数据模板匹配的模板SQL语句；模板SQL语句用于查询与所述数据模板关联的待检核数据。

步骤250、响应于用户针对模板SQL语句提供的数据检核规则，通过数据检核规则对模板SQL语句关联的待检核数据进行数据检核。

步骤260、对数据检核过程中的问题数据进行输出。

具体的，在通过数据检核规则对模板SQL语句关联的待检核数据进行数据检核的过程中对发现的不符合数据检核规则的问题数据进行输出。

步骤270、根据问题数据和问题数据关联的问题类型，生成数据检核报告。

具体的，根据输出的不符合数据检核规则的问题数据和问题数据关联的问题类型，生成数据检核报告，用户可根据数据检核报告对问题数据进行排查分析，及时修正处理问题数据，以实现数据质量持续提升的闭环管理。

本发明实施例的技术方案，通过针对存在数据检核需求的数据库创建与数据库中待检核数据匹配的数据模板，并生成与数据模板匹配的模板查询SQL语句，响应于用户针对模板SQL语句提供的数据检核规则对模板SQL语句关联的待检核数据进行数据检核，并生成数据检核报告，以便用户能及时发现数据问题并修正处理，以实现数据质量持续提升的闭环管理，解决了现有技术中需要在系统业务代码中实现各种数据检核规则，存在严重的代码耦合的问题，并且本申请支持针对多种类型的数据库创建数据模板，可实现对不同的数据源做相应的数据检核任务。

图3为本发明实施例提供的一种数据检核方法的流程图，本实施例在上述实施例的基础上进一步细化，提供了生成与数据模板匹配的模板结构化查询语言SQL语句的具体步骤，以及响应于用户针对模板SQL语句提供的数据检核规则，通过数据检核规则对模板SQL语句关联的待检核数据进行数据检核的具体步骤。如图3所示，该方法包括：

步骤310、针对待检核数据的数据定义信息，创建与所述待检核数据匹配的数据模板。

步骤320、获取用户针对数据模板配置的至少一个关联表信息。

其中，关联表是指同一数据库内与创建数据模板过程中选取的数据表存在关联关系的其他数据表，可选的，关联表信息包括关联表名称、关联字段、关联类型以及关联条件中的至少一项。

具体的，选择一个需要关联的数据模板，本实例中选择的即为上述过程中创建的数据模板，通过关联表名称确定与数据模板中选取的数据表进行关联的数据表，通过关联字段确定关联表中的字段信息，通过关联类型和关联条件确定关联表与数据模板中选取的数据表的关联查询方式。可选的，数据模板可以与多个关联表分别进行关联查询，能够适配较为复杂的数据检核场景，提高了检验任务的可拓展性。

步骤330、基于关联表信息和数据模板，生成与数据模板匹配的模板SQL语句。

具体的，基于关联表信息和数据模板中的存在的信息，如数据表信息和检核字段信息，生成与数据模板匹配的模板SQL语句，可选的，模板SQL语句是关联表与数据模板中选取的数据表进行多表关联查询的语句。

步骤340、获取用户针对模板SQL语句提供的至少一项数据检核规则。

具体的，数据检核规则是指用户自定义的数据质量符合标准的规则，示例性的，一个数据库中存在年度投入预算使用概况表，表中存在年度，项目编号，项目名称等字段信息，数据验核规则可对数据表中的字段信息的数据质量进行检核，发现数据表中存在问题的数据。可选的，可以依据数据表中规定的字段的属性信息对数据表中的字段信息进行检核，例如，年度投入预算使用概况表中，年度以及项目名称可以看作主属性，则数据检核规则可以设置为对年度和项目名称字段进行非空校验，待检验规则可对数据表中任一字段数据设置检核规则。

步骤350、基于模板SQL语句和每一项数据检核规则，分别构建数据检核SQL语句。

具体的，基于模板SQL语句和每一项针对数据表中的字段数据设置的检核规则作为查询条件，分别构建一个完整的SQL查询语句作为数据检核SQL语句。

步骤360、通过运行数据检核SQL语句对模板SQL语句关联的待检核数据进行数据检核。

具体的，通过运行数据检核SQL语句对模板SQL语句关联的待检核数据进行数据检核，该数据检核SQL语句的查询结果即为待检核数据中不符合检核规则的数据。

步骤370、基于数据检核规则和模板SQL语句，创建数据检核任务。

步骤380、按照设定的数据检核周期，执行数据检核任务。

具体的，系统的持续运行将导致数据按照不同的频率进行着累积或刷新，有些数据是实时更新，有些则按天、按月、按季度、按年度等进行定时更新或装载，因此，数据检核也是一个持续性的任务，可以根据检核对象实际的刷新频率设定不同的检核时间，灵活根据用户需要在不同时点进行数据检核任务，并输出数据检核报告，用户可根据报告对问题数据进行排查分析，及时修正处理问题数据，以实现数据质量持续提升的闭环管理。

本发明实施例的技术方案，通过配置关联表信息与数据模板进行关联，能够适配较为复杂的数据检核场景，解决了现有技术中数据检核没有独立于业务系统，且数据检核规则较单一，如单表检核等，对于较复杂的场景则无法支持配置化实现，整体缺乏灵活性及扩展性的问题，且本申请通过定时任务调度，灵活根据用户需要在不同时点进行数据检核任务，并输出数据检核报告，用户可根据报告对问题数据进行排查分析，及时修正处理问题数据，以实现数据质量持续提升的闭环管理。

图4为本发明实施例提供的一种数据检核装置的结构示意图。该装置可以由硬件和/或软件的方式来实现，可执行本发明任意实施例所提供的一种数据检核方法，具备执行方法相应的功能模块和有益效果。如图4所示，该装置包括：

数据模板确定模块410，用于根据待检核数据的数据定义信息，创建与所述待检核数据匹配的数据模板；

模板SQL确定模块420，用于生成与所述数据模板匹配的模板结构化查询语言SQL语句；模板SQL语句用于查询与所述数据模板关联的待检核数据；

数据检核模块430，用于响应于用户针对所述模板SQL语句提供的数据检核规则，通过所述数据检核规则对所述模板SQL语句关联的待检核数据进行数据检核。

本发明实施例根据待检核数据的数据定义信息，创建与待检核数据匹配的数据模板，并生成与数据模板匹配的模板查询SQL语句，响应于用户针对模板SQL语句提供的数据检核规则对模板SQL语句关联的待检核数据进行数据检核，解决了现有技术中在业务代码中实现数据检核，数据验核与业务系统耦合在一起，具有代码侵入性，且无法灵活根据实际检核需求进行配置变更的技术问题，本申请提供的技术方案与不仅与业务程序不存在代码耦合，还可以根据实际检核需求进行检核规则的灵活配置，提高数据检核效率和扩展性。

可选的，数据模板确定模块410，具体用于：

在待检核数据的数据定义信息中提取数据源信息以及基于所述数据源信息的数据标识信息；

根据所述数据源信息和所述数据标识信息，创建与所述待检核数据匹配的数据模板。

可选的，模板SQL确定模块420，具体用于：

获取用户针对所述数据模板配置的至少一个关联表信息；

基于所述关联表信息和所述数据模板，生成与所述数据模板匹配的模板SQL语句。

可选的，数据检核模块430，具体用于：

获取用户针对所述模板SQL语句提供的至少一项数据检核规则；

基于模板SQL语句和每一项数据检核规则，分别构建数据检核SQL语句；

通过运行所述数据检核SQL语句对所述模板SQL语句关联的待检核数据进行数据检核。

可选的，数据检核装置还包括：

数据定义信息获取模块，用于在创建与所述待检核数据匹配的数据模板之前，获取用户基于数据配置选项选择的数据定义信息；和/或，

获取用户通过数据定义SQL语句提供的数据定义信息。

可选的，数据检核装置还包括：

任务创建模块，用于在通过运行所述数据检核SQL语句对所述模板SQL语句关联的待检核数据进行数据检核之后，基于所述数据检核规则和模板SQL语句，创建数据检核任务；

任务执行模块，用于按照设定的数据检核周期，执行所述数据检核任务。

可选的，数据检核装置还包括：

自定义数据检核模块，用于响应于用户提供的自定义数据检核SQL语句，通过运行所述自定义数据检核SQL语句进行数据检核。

可选的，数据源信息包括数据库类型、数据库连接、数据驱动类型、数据源名称、用户名以及密码中的至少一项，所述数据标识信息包括数据表名称以及数据字段中的至少一项。

可选的，所述关联表信息包括关联表名称、关联字段、关联类型以及关联条件中的至少一项。

可选的，数据检核装置还包括：

问题数据输出模块，用于在通过所述数据检核规则对所述模板SQL语句关联的待检核数据进行数据检核之后，对数据检核过程中的问题数据进行输出；

数据检核报告生成模块，用于根据所述问题数据和问题数据关联的问题类型，生成数据检核报告。

本发明实施例所提供的数据检核装置可执行本发明任意实施例所提供的数据检核方法，具备执行数据检核方法相应的功能模块和有益效果。

图5示出了可以用来实施本发明实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM12以及RAM13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据检核方法。

在一些实施例中，数据检核方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM13并由处理器11执行时，可以执行上文描述的数据检核方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据检核方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从分布式存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该分布式存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

本发明实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现如本申请任一实施例所提供的数据检核方法。

计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (16)

1.一种数据检核方法，其特征在于，包括：

针对待检核数据的数据定义信息，创建与所述待检核数据匹配的数据模板；

生成与所述数据模板匹配的模板结构化查询语言SQL语句；模板SQL语句用于查询与所述数据模板关联的待检核数据；

响应于用户针对所述模板SQL语句提供的数据检核规则，通过所述数据检核规则对所述模板SQL语句关联的待检核数据进行数据检核。

2.根据权利要求1所述的方法，其特征在于，针对待检核数据的数据定义信息，创建与所述待检核数据匹配的数据模板，包括：

在待检核数据的数据定义信息中提取数据源信息以及基于所述数据源信息的数据标识信息；

根据所述数据源信息和所述数据标识信息，创建与所述待检核数据匹配的数据模板。

3.根据权利要求1所述的方法，其特征在于，生成与所述数据模板匹配的模板结构化查询语言SQL语句，包括：

获取用户针对所述数据模板配置的至少一个关联表信息；

基于所述关联表信息和所述数据模板，生成与所述数据模板匹配的模板SQL语句。

4.根据权利要求1所述的方法，其特征在于，响应于用户针对所述模板SQL语句提供的数据检核规则，通过所述数据检核规则对所述模板SQL语句关联的待检核数据进行数据检核，包括：

获取用户针对所述模板SQL语句提供的至少一项数据检核规则；

基于模板SQL语句和每一项数据检核规则，分别构建数据检核SQL语句；

通过运行所述数据检核SQL语句对所述模板SQL语句关联的待检核数据进行数据检核。

5.根据权利要求1所述的方法，其特征在于，在创建与所述待检核数据匹配的数据模板之前，还包括：

获取用户基于数据配置选项选择的数据定义信息；和/或，

获取用户通过数据定义SQL语句提供的数据定义信息。

6.根据权利要求4所述的方法，其特征在于，在通过运行所述数据检核SQL语句对所述模板SQL语句关联的待检核数据进行数据检核之后，还包括：

基于所述数据检核规则和模板SQL语句，创建数据检核任务；

按照设定的数据检核周期，执行所述数据检核任务。

7.根据权利要求1所述的方法，其特征在于，还包括：

响应于用户提供的自定义数据检核SQL语句，通过运行所述自定义数据检核SQL语句进行数据检核。

8.根据权利要求2所述的方法，其特征在于，所述数据源信息包括数据库类型、数据库连接、数据驱动类型、数据源名称、用户名以及密码中的至少一项，所述数据标识信息包括数据表名称以及数据字段中的至少一项。

9.根据权利要求3所述的方法，其特征在于，所述关联表信息包括关联表名称、关联字段、关联类型以及关联条件中的至少一项。

10.根据权利要求1-9任一项所述的方法，其特征在于，在通过所述数据检核规则对所述模板SQL语句关联的待检核数据进行数据检核之后，还包括：

对数据检核过程中的问题数据进行输出；

根据所述问题数据和问题数据关联的问题类型，生成数据检核报告。

11.一种数据检核装置，其特征在于，包括：

数据模板确定模块，用于根据待检核数据的数据定义信息，创建与所述待检核数据匹配的数据模板；

模板SQL确定模块，用于生成与所述数据模板匹配的模板结构化查询语言SQL语句；模板SQL语句用于查询与所述数据模板关联的待检核数据；

数据检核模块，用于响应于用户针对所述模板SQL语句提供的数据检核规则，通过所述数据检核规则对所述模板SQL语句关联的待检核数据进行数据检核。

12.根据权利要求11所述的装置，其特征在于，所述数据模板确定模块，具体用于：

在待检核数据的数据定义信息中提取数据源信息以及基于所述数据源信息的数据标识信息；

根据所述数据源信息和所述数据标识信息，创建与所述待检核数据匹配的数据模板。

13.根据权利要求11所述的装置，其特征在于，所述模板SQL确定模块，具体用于：

获取用户针对所述数据模板配置的至少一个关联表信息；

基于所述关联表信息和所述数据模板，生成与所述数据模板匹配的模板SQL语句。

14.一种电子设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-10中任一项所述的数据检核方法。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的数据检核方法。

16.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-10中任一项所述的数据检核方法。

Images