CN111177176A - 数据检测方法、装置及存储介质 - Google Patents

Abstract

本发明实施例提供了一种数据检测方法、装置及存储介质，电子设备通过获取待测数据库的数据表信息，其包含有该待测数据库存储的至少一个数据表，以及各数据表包含的字段信息，响应针对至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面后，用户可以进行选择，电子设备响应针对该规则配置界面的操作，得到包含目标数据检测表对应的不同字段信息的规则配置信息的目标数据检测规则后，利用结构化查询语言SQL，可以将目标数据检测规则自动转换为数据检测脚本，不需要用户手动编写复杂的数据检测脚本，降低了对用户能力要求，提高了脚本制定效率及准确性，以及数据检测方法的普适性。

Description

数据检测方法、装置及存储介质

技术领域

本发明涉及大数据分析领域，具体涉及一种数据检测方法、装置及存储介质。

背景技术

在如今的大数据时代，为了提高数据处理效率，大部分业务应用都会先进行数据抽取操作，即从源数据系统抽取目标数据系统需要的数据，再根据业务需求对抽取到的数据进行处理。

现有技术中，通常是针对目标业务对数据质量的检测要求，由技术人员采用结构化查询语言(Structured Query Language，SQL)编写相应的数据检测脚本，通过执行该数据检测脚本，得到针对目标业务的数据质量检测结果，如筛选出满足业务要求的数据、不满足业务要求的数据等等。

可见，现有的这种数据检测方法中，需要技术人员熟练掌握SQL语言，才能够编写出合适的数据检测脚本，以满足该目标业务的数据检测需求，这对其应用范围具有很大局限性。

发明内容

有鉴于此，本发明实施例提供一种数据检测方法、装置及存储介质，电子设备针对待测数据库的数据表信息，输出相应的规则配置界面，以使得用户能够直接选择输入各数据表的各字段信息的检测规则内容，进而利用结构化查询语言，将目标数据检测规则自动生成数据检测脚本，无需手动编码，且能够实现对不同类型的数据库的数据检测，满足不同业务的数据检测需求，提高了数据检测方法的普适性。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例提供了一种数据检测方法，所述方法包括：

获取待测数据库的数据表信息，所述数据表信息包括所述待测数据库存储的至少一个数据表，以及所述数据表包含的字段信息；

响应针对所述至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面；

响应于针对所述规则配置界面的操作，得到目标数据检测规则，所述目标数据检测规则包括所述目标数据表对应的不同字段信息的规则配置信息；

利用结构化查询语言，将所述目标数据检测规则转换为目标数据检测脚本。

在一些实施例中，所述响应针对所述至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面，包括：

响应针对所述至少一个数据表的选择操作，得到目标数据表，并输出所述目标数据表对应的字段信息；

响应于针对任一字段信息的配置请求，输出相应的字段规则配置界面。

在一些实施例中，所述响应于针对所述规则配置界面的操作，得到目标数据检测规则，包括：

响应于针对所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板，所述字段检测模板包含针对相应字段信息的至少一条规则描述信息；

利用所述目标数据表对应的各字段信息的字段检测模板，生成针对所述待测数据库的目标数据检测规则。

在一些实施例中，响应于针对所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板，包括：

响应于针对所述字段规则配置界面的输入操作，以列表形式对得到的规则描述信息进行展示；

响应于模板生成指令，对相应字段规则配置界面展示的所有规则描述信息进行整合处理，得到相应字段信息的字段检测模板。

在一些实施例中，所述响应于针对所述规则配置界面的操作，得到目标数据检测规则，还包括：

从已有的字段信息模板中，检测是否存在与任一所述字段信息相匹配的字段信息模板；

若存在，读取与所述字段信息相匹配的字段信息模板；

若存在不匹配的字段信息，所述响应于针对所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板，包括：

响应于针对所述不匹配的字段信息对应的所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板。

本发明还提供了一种数据检测方法，所述方法包括：

响应电子设备发送的数据检测请求，获取存储的数据表信息，所述数据表信息包括：至少一个数据表以及所述数据表包含的字段信息；

将所述数据表信息反馈至所述电子设备，由所述电子设备生成针对所述数据表信息的目标数据检测脚本，所述目标数据检测脚本是利用结构化查询语言，由目标数据检测规则转换得到的，所述目标数据检测规则包含所述目标数据表对应的不同字段信息的规则配置信息；

调用并执行所述目标数据检测脚本，得到数据检测结果。

在一些实施例中，所述调用并执行所述目标数据检测脚本，得到数据检测结果，包括：

调用并执行所述目标数据检测脚本，检测是否存在与任一数据表的任一字段信息的规则配置信息相匹配的目标数据；

对得到的所述至少一个数据表各自的数据检测结果进行统计，利用统计结果生成数据检测报表；

将所述数据检测报表反馈至所述电子设备进行展示。

本发明实施例还提供了一种数据检测装置，所述装置包括：

数据表信息获取模块，用于获取待测数据库的数据表信息，所述数据表信息包括所述待测数据库存储的至少一个数据表，以及所述数据表包含的字段信息；

规则配置界面输出模块，用于响应针对所述至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面；

目标数据检测规则获取模块，用于响应于针对所述规则配置界面的操作，得到目标数据检测规则，所述目标数据检测规则包括所述目标数据表对应的不同字段信息的规则配置信息；

数据检测脚本获取模块，用于利用结构化查询语言，将所述目标数据检测规则转换为数据检测脚本。

本发明实施例还提供了一种数据检测装置，所述装置包括：

数据检测请求响应模块，用于响应电子设备发送的数据检测请求，获取存储的数据表信息，所述数据表信息包括：至少一个数据表以及所述数据表包含的字段信息；

数据表信息反馈模块，用于将所述数据表信息反馈至所述电子设备，由所述电子设备生成针对所述数据表信息的目标数据检测脚本，所述目标数据检测脚本是利用结构化查询语言，由目标数据检测规则转换得到的，所述目标数据检测规则包含所述目标数据表对应的不同字段信息的规则配置信息；

数据检测模块，用于执行所述电子设备反馈的所述目标数据检测脚本，得到数据检测结果。

本发明实施例还提供了一种存储介质，其上存储有程序，所述程序由处理器调用并执行，实现上所述的数据检测方法。

基于上述技术方案，本发明实施例提出了一种数据检测方法、装置及存储介质，电子设备通过获取待测数据库的数据表信息，输出可视化的规则配置界面，供用户自主配置各字段的检测规则，之后，利用SQL语言，将得到的数据检测规则自动转换为数据检测脚本，不需要用户手动编写复杂的数据检测脚本，大大提高了脚本制定效率及准确性，也不需要用户具备SQL脚本编写技能，提高了数据检测方法的普适性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了实现本申请提出的数据检测方法的系统结构示意图；

图2示出了适用于本申请提出的数据检测方法的一种电子设备的硬件结构示意图；

图3示出了本申请提出的数据检测方法的一可选示例的流程图；

图4a示出了本申请提出的数据检测方法中，待测数据库的数据表选择界面的一可选示例的界面示意图；

图4b示出了本申请提出的数据检测方法中，待测数据库的数据表详细信息的界面示意图；

图4c示出了本申请提出的数据检测方法中，所选择的目标数据表的字段信息展示界面示意图；

图4d示出了本申请提出的数据检测方法中，一种字段规则配置界面示意图；

图4e示出了本申请提出的数据检测方法中，一种字段规则配置界面示意图；

图4f示出了本申请提出的数据检测方法中，一种字段规则配置界面示意图；

图4g示出了本申请提出的数据检测方法中，一种字段规则配置界面示意图；

图5示出了本申请提出的数据检测方法的又一可选示例的信令流程图；

图6示出了本申请提出的数据检测方法中，数据检测报表界面示意图；

图7示出了本申请提出的数据检测装置的一可选示例的结构图；

图8示出了本申请提出的数据检测装置的又一可选示例的结构图；

图9示出了本申请提出的数据检测装置的又一可选示例的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。而且，应当理解，本发明中使用的“系统”、“设备”“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。

另外，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。

其中，在本发明实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本发明实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

针对背景技术部分提出的技术问题，本发明希望各应用场景中的普通业务人员(不能熟练掌握SQL语言(Structured Query Language，结构化查询语言)的用户)，能够基于不同业务需求，灵活选择与该业务需求对应的至少一类待检测数据对应的检测规则，从而依据业务人员的选择操作，自动生成满足该业务需求的数据检测脚本，不需要掌握SQL语言，来手动编写该数据检测脚本，极大降低了对业务人员的能力要求，提高了本发明提出的数据检测方法的应用普适性，具体实现过程可以参照下文相应实施例的描述。

在一些实施例的实际应用中，由于同一应用场景或类似应用场景下，针对不同业务所检测的数据类型可能会出现重叠的情况，如在业务1也可以需要检测A、B、C等多种类型数据，业务2可能需要检测B、C、E、F等多种类型的数据，业务3可能需要检测B、C、D、E、G等多种类型的数据，可见，针对几种业务的数据检测应用中，都需要检测B和C这两种类型的数据，可以共享这两类数据检测时所依据的检测规则。

因此，本发明可以依据业务应用统计结果、人工智能(Artificial Intelligence，AI)分析结果等，预先获取用于实现不同类型数据检测，所依据的检测规则的数据结构，本发明对实现不同检测规则的数据结构的获取方法不做限定，主要对如何利用至少一个检测规则，自动生成满足具体业务需求的数据检测脚本的过程进行说明。

其中，人工智能作为计算机科学的一个综合技术，如云计算、分布式存储、大数据处理技术、操作/交互系统等技术，既包含硬件层面的技术也包含软件层面的技术，主要是在计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向应用。

本发明实施例提出的数据检测方法可能涉及人工智能的机器学习/深度学习技术，其是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，通常可能包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术，本发明可以根据实际需求选择使用，本发明不做详述。

在一些实施例中，对于业务办理过程中所需要的数据库或数据库服务器等等数据源，以及业务人员操作使用的终端等，可以是分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。

其中，对于预先获取的支持不同类型数据的检测规则实现的数据结构，也可以存储至上述分布式系统中的节点，对于不同领域的任一业务人员，可以通过终端访问分布式系统的节点，以获取该分布式系统记录的、该业务人员当前所选择的数据结构反馈至该终端，以使该终端能够呈现与该数据结构对应类型数据的检测规则，以供业务人员选择，进而据此生成满足当前业务需求的数据检测脚本。

在一些实施例中，对于上述获取的数据检测脚本，终端也可以同步至分布式系统，以供其他业务人员调用执行，实现对实现同一数据筛选目的的目标数据筛选规则的共享，且保证了目标数据筛选规则的安全性及可靠性。

参照图1，示出了实现本发明提出的数据检测方法的一可选示例的系统结构示意图，该系统可以包括数据库100及电子设备200，其中：

继上述分析，数据库100可以是待检测数据的数据源，根据应用需要，其可以是本地数据库，也可以是云端的服务器，本发明对该数据库的类型及其存储的数据内容不做限定，在不同应用场景下，或是同一应用场景的不同业务的应用中，数据库100的存储的内容可能不同，且本发明对该数据库存储的数据的来源方式不做限定。

本发明中，数据库100可以是关系型数据库，即建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据，具体采用SQL语言执行对关系型数据库的检索和操作。在一些实施例中，该关系型数据库具体可以是MS Access(Microsoft Office Access)、MySQL、Oracle等数据库，根据需要，本发明的数据库100可以支持ODBC(Open Database Connectivity，开放数据库互连)方式的数据读写。

ODBC是一种数据库访问接口标准，开发数据库互连定义了访问数据库API(Application Programming Interface，应用程序编程接口)的一个规范，这些API可以独立于具体的编程语言。在实际应用中，电子设备中的应用程序通过使用ODBC，能够使用相同的源代码和各种各样的数据库进行交互，以使得开发者不需要以特殊的数据库管理系统DBMS为目标，或了解不同支撑背景的数据库的详细细节，就能够开发和发布客户/服务器应用程序。

电子设备200可以是用户进行数据检测规则配置操作的终端设备，如笔记本电脑、台式电脑、智能手机、个人数字助理(personal digital assistant，PDA)等等，可以依据具体应用场景中的硬件配置确定，本发明对该电子设备200的具体产品类型不做限定。

结合上述分析，以机关单位这一应用场景为例，工作人员可以利用电子设备200通过ODBC技术连接数据库100，自动读取数据库信息，如数据库中的数据表的字段、类型、长度等基本信息，该数据库信息可以展示在电子设备200的操作界面上，以使工作人员依据当前业务检测需求，从中选择出待检测的数据表，之后，电子设备100可以对数据表中各基本信息的检测规则进行可视化，如输出可视化检测规则配置界面，工作人员只需要在相应的检测规则配置界面中，输入当前业务检测要求，电子设备即可依据工作人员的操作，自动生成每一类数据表基本信息的检测规则，进而由此自动生成相应的数据检测脚本，以实现对数据库存储数据的逐条检测。

其中，电子设备200具体可以通过客户端实现对数据库的访问，该客户端可以是电子设备安装的，针对当前应用场景的业务办理的专用应用程序，也可以是网页应用程序，如浏览器，客户端可以通过浏览器进入数据库所在的应用平台，获取数据库存储的数据表信息，本发明对该客户端的类型不做限定。

在一些实施例中，为了使本发明提出的数据检测方法适用于更多的业务应用程序，可以将实现该数据检测方法的程序功能模块，嵌入不同行业的业务办理所使用的业务应用程序中，以使该业务应用程序能够支持已有业务办理功能的同时，也能够具有本发明提出的数据检测功能，本发明对如何该嵌入过程的实现方法不做详述。

举例说明：对于企业中的人事办理应用程序，如企业微信或其他企业即时通讯软件等，可以满足企业内容员工之间的交流，员工也能够据此访问企业应用平台查询/下载信息等，管理人员还能够据此实现对员工考勤等功能，若需要使用该应用程序进行某些数据的质量检测，可以启动事先嵌入该应用程序的实现本发明提出的数据检测方法的程序模块，输出可视化检测规则配置界面，由管理人员在该检测规则配置界面上，完成检测规则的配置，进而自动转换为数据检测脚本，通过执行该数据检测脚本，满足管理人员当前的数据检测需求，不需要管理人员启动数据抽取工具，手动编写该数据检测脚本并执行。

基于上述分析，参照图2示出了本发明实施例提出的一种电子设备的硬件结构示意图，该电子设备可以包括但并不局限于：显示设备210、输入设备220、通信接口230、存储器240及处理器250，其中：

显示设备210、输入设备220、通信接口230、存储器240及处理器250各自的数量可以是至少一个，且存储器240和处理器250可以通过通信总线彼此相连，显示设备210、输入设备220、通信接口230也可以连接至通信总线，本发明对这几部分的具体连接方式不作限定。

显示设备210可以包括触摸式或非触摸式显示屏，本发明对该显示屏的类型不做限定。在本发明实际应用中，显示设备210可以输出数据库中各数据表及其基本信息、检测规则配置界面、数据检测结果等信息，可以参照下文方法实施例相应部分的描述，本发明在此不做详述。

输入设备220可以包括感应触摸显示面板(如触摸式显示屏)上的触摸事件的触摸感应单元、键盘、鼠标、摄像头、拾音器等设备中的至少一个，可以依据电子设备的产品类型，以及用户使用电子设备输入信息的使用习惯等因素确定。

通信接口230可以是如GSM模块、WIFI模块、GPRS模块等通信模块的接口，用以实现与其他设备(如数据库、其他电子设备等)的数据交互，还可以包括如USB接口、串/并口等接口，用于实现电子设备内部组成部件之间的数据交互，可以根据该电子设备的产品类型确定，本发明不做一一详述。

存储器240可以用于存储实现本发明提出的数据检测方法的程序。具体可能包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件等。

在一些实施例的实现方式中，存储器240可以包括程序存储区和数据存储区，该程序存储区可以存储操作系统、以及至少一个功能(如显示功能)所需的应用程序、实现本发明提出的数据检测方法的程序等；数据存储区可以存储电子设备使用过程中所产生的数据，如数据检测结果、数据检测脚本等。

处理器250可以用于加载并执行存储器240存储的程序，以实现本发明任一实施例提出的数据检测方法的各个步骤，具体实现过程可以参照下文方法实施例相应部分的描述。

在一些实施例中，上述处理器250可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路(application-specific integrated circuit，ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。

应该理解的是，图2所示的电子设备的结构并不构成对本发明实施例中电子设备的限定，在实际应用中电子设备可以包括比图2所示的更多或更少的部件，或者组合某些部件，如包括扬声器、振动机构、灯等设备中的至少一个的输出设备等等，本发明在此不做一一列举。

基于上图1所示的系统架构，参照图3，示出了本发明提出的数据检测方法的一可选示例的流程图，该方法可以适用于电子设备，具体可以由电子设备中的客户端执行该数据检测方法，本发明对该电子设备的产品类型及结构组成不做限定，可以参照但并不局限于上图2所示的电子设备，如图3所示，该数据检测方法可以包括：

步骤S11，获取待测数据库的数据表信息；

其中，待检测数据库的数据表信息可以包括：该待检测数据库包含的至少一个数据表，如业务表1、业务表2、业务表3等等，以及每一个数据表所具有的字段定义等字段信息，如字段名称、类型、长度等等，可以依据具体应用场景下，待检测数据库包含数据内容、类型等确定，本发明对该数据表信息包含的内容不做限定。

结合上文描述的系统架构可知，该待测数据库可以是电子设备本地的数据库，也可以是位于云端的服务器，本发明可以依据该待测数据库的类型，确定电子设备获取数据表信息的通信方式，如有线通信方式或无线通信方式等，本发明对步骤S11的具体实现过程不做详述。

实际应用中，某应用场景下的业务人员，可以通过电子设备中的客户端，如用于实现数据检测的专用应用程序，或者是电子设备安装的浏览器等客户端，访问数据库，建立该电子设备与该数据库之间的通信连接。在一些实施例的实现方式中，如上述分析，电子设备的客户端可以通过ODBC技术实现与数据库的通信连接，自动读取数据库中的数据表信息。

步骤S12，响应于针对至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面；

本实施例中，电子设备的客户端得到待测数据库的数据表信息后，可以展示出来，以供用户从中选择当前业务需要的至少一个数据表，参照图4a所示的数据表选择界面示意图，该数据表选择界面可以展示待测数据库的数据库表清单，如图4a所示，其可以罗列展示待测数据库包含的每一个数据表的中文名称、英文名称以及各数据表的编号、还可以显示待测数据库包含的数据表的总数量等字段信息，以使得用户能够由此了解待测数据库包含的数据表信息的基本情况。

其中，由于本实施例支持用户根据当前业务需求，从展示的数据库表清单中，选择配置相应数据检测规则所需要的数据表，所以，如图4a左侧表格的最后一列，可以输出针对相应数据表的操作类型，“添加”，若需要使用“业务表1”，用户可以点击“添加”，从而将该“业务表1”添加到图4a右侧的待分析数据库表中，相应地，在待分析数据库表的界面中，也可以针对每一个待分析数据表，设置“删除”的操作按钮，以方便用户更改所选择的数据表，但并不局限于图4a所示的操作方式。

其中，在如图4a所示的数据表选择界面中，若用户需要查看某一个或多个数据表信息的详细内容，可以点击该数据表的英文名称，如“AAA”，客户端可以输出该数据表详细信息，如图4b所示，但并不局限于图4b所示的数据表信息的内容，可以根据实际情况灵活调整。可见，用户在选择确定本次数据检测规则所依据的数据表信息过程中，通过可视化的界面，能够实时了解所选择的数据表信息的内容，方便及时调整，提高由此配置而成的数据检测规则的可靠性。

按照如图4a所示的数据表选择方式，完成针对当前业务的数据表的选择操作后，即确定制定实现当前业务的数据检测处理时，所依据的数据检测规则的数据表后，可以进入下一步，如点击图4a所示界面中的“下一步”按钮，以继续配置该数据检测规则的内容，如图4c所示的数据表配置界面，但并不局限于图4c所示的界面样式及内容，可以根据实际需求进行调整，本发明仅以图4c所示的数据表配置界面为例进行说明，其可以包括用户所选择的目标数据表清单，还可以包括用于展示每一个目标数据表的数据表信息的字段界面，且在数据表的字段界面中，可以展示该数据表包含的字段数量、字段中英文名称、字段长度、所适配的分析规则类型、分析规则描述等内容，针对每一个字段的内容，可以通过点击对应行的“配置”操作按钮，展示相应字段的规则配置界面，如图4d所示的字符规则配置界面、图4e所示的数值规则配置界面、图4f所示的日期规则配置界面以及图4g所示的其他规则配置界面等，但各字段的规则配置界面并不局限于图4d～图4g所示的规则配置界面的内容，可以依据数据包包含的字段类型确定，本发明仅以字符、数值、日期、其它四种不同的配置界面为例进行示意性说明。

步骤S13，响应于针对该规则配置界面的操作，得到目标数据检测规则；

参照图4d～图4g所示的规则配置界面，每一个规则配置规则界面可以根据相应字段信息，提供至少一种监测配置的内容，如长度限制、是否空值、值域范围等，也可以根据字典或数据无标准实施检测，具体可以依据实际需求调整。对于配置的各字段的检测规则，可以以列表形式展示，具体可以保持为模板，以便将其快速复制到同类型的数据字段检测规则中，以生成数据检测脚本，本发明对针对各字段的检测规则的模板的生成方法不做限定。

以字符这一数据表字段为例进行说明，当用户需要在字符字段的规则配置界面中添加相应的规则描述，可以直接在其规则配置界面的规则描述一栏中输入“不允许空值”、“3到6个字符，包含字符(；)，数量为2到4个”等描述内容；也可以在图4d中上半部分的配置框中，按照提示在包含字符、字符类型等规则填写框中，填写或选择本次输入的规则描述内容，再点击“添加”按钮，将由此生成的规则描述内容，依序添加到规则列表中，之后，用户可以点击“保存为模板”按钮，电子设备可以依据确定的当前字段的规则描述，生成针对当前字段的规则模板。依次循环，可以正常针对目标数据表中的每一个字段，生成相应的规则模板

需要说明，由于不同字段的规则描述往往是不同，用于生成相应规则描述的分析规则内容也会有所差异，具体可以依据该字段在具体业务的数据检测中的特性确定，并不局限于本发明给出的内容。

步骤S14，利用结构化查询语言，将该目标数据检测规则转换为数据检测脚本；

通过上述方式，用户可以通过电子设备的客户端输出的可视化界面，根据不同字段，配置相应的检测规则，进而由此生成满足当前业务需求的数据检测规则，之后，可以按照SOL语言，将数据检测规则转换为SQL脚本字符串，即数据检测脚本，具体转换过程不做详述。

步骤S15，将该数据检测脚本发送至待测数据库执行，以得到该待测数据库的数据检测结果。

电子设备的客户端可以通过ODBC技术连接数据库，将针对当前业务生成的数据检测脚本发送至该数据库，这样，数据库响应数据检测指令，可以执行该数据检测脚本中的条件，对待测数据库中的数据进行逐条检测，判断该数据是否符合用户配置的检测规则，得到相应的数据检测结果，本发明对数据库如何利用数据检测脚本进行检测，得到数据检测结果的过程不做详述。

综上所述，本实施例中，电子设备可以通过获取待测数据库的数据表信息，输出可视化的规则配置界面，供用户自主配置各字段的检测规则，之后，利用SQL语言，将得到的数据检测规则自动转换为数据检测脚本，不需要用户手动编写复杂的数据检测脚本，大大提高了脚本制定效率及准确性，也不需要用户具备SQL脚本编写技能，提高了数据检测方法的普适性。

基于上述分析，参照图5，本发明还提出了数据检测方法的又一可选示例的信令流程图，如图5所示，该方法可以包括但并不局限于以下步骤：

步骤S21，客户端向数据库发送数据检测请求；

当用户需要进行数据检测时，可以启动电子设备的客户端，通过开放数据库互连OBDC方式，实现电子设备与数据库之间的通信连接，具体实现过程不做详述。

步骤S22，数据库响应该数据检测请求，获取数据表信息；

该数据表信息可以包括至少一个数据表以及所述数据表包含的字段信息，该字段信息可以包括字段中文名、字段英文名、字段类型、字段长度等信息，本发明对该字段信息包含的内容不作限定，可以依据相应数据表的内容确定。

步骤S23，数据库将数据表信息反馈至电子设备的客户端；

步骤S24，客户端响应针对多个数据表的选择操作，得到目标数据表，并输出目标数据表对应的字段信息；

需要说明，本发明主要对数据库包含多个数据表的情况下，如何实现对数据库的数据检测过程进行说明，对于数据库包含一个数据表的情况下，实现对该数据库的数据检测过程类似，本发明不再赘述。

参照上图4a所示的规则配置界面，用户可以从左侧所示的该数据包含的所有数据表中，选择本次需要的目标数据表，并展示在右侧所示的界面，且用户可以点击任一个数据表，通过如图4b所示的界面展示所选择的数据表的所有字段信息。当然，根据实际需要，用户可以更新该数据表的字段信息，如更新字段英文名、字段中文名、字段数、记录数等信息，本发明对字段信息的更新方法不做详述。

步骤S25，客户端响应于针对任一字段信息的配置请求，输出相应的字段规则配置界面；

参照上图4c，用户从待分析数据库表中选择任一目标数据表，如名称为CCC的业务表3，可以在当前界面输出相应的字段配置界面，用户可以在该字段配置界面输入该数据表对应的各字段的相关信息，如图4c右侧所示的数据库表字段，其可以直观展示该数据表中各字段的具体内容，但并不局限于图4c所示的字段配置界面。

步骤S26，客户端响应于针对字段规则配置界面的输入操作，生成相应字段信息的字段检测模板；

其中，字段检测模板可以包含针对相应字段信息的至少一条规则描述信息，具体生成过程可以结合上图4d～图4g，以及实施例相应部分的描述，本实施例不再赘述。

在一些实施例中，结合上图4d～图4g，上述步骤S26具体可以包括：响应于针对字段规则配置界面的输入操作，以列表形式对得到的规则描述信息进行展示，待确定完成对各字段的规则配置后，用户可以点击“保存为模板”按钮，客户端可以响应于模板生成指令，对相应字段规则配置界面展示的所有规则描述信息进行整合处理，得到相应字段信息的字段检测模板，具体实现过程不做限定，且本发明对该字段检测模板的格式不做限定，可以依据相应的字段的规则描述信息确定。

在一些实施例中，对于上传的字段检测模板，可以快速复制应用到同类型的数据字段检测规则中，也就是说，在对其他数据表的同类型的数据字段进行字段规则配置时，可以直接使用该字段检测模板，用户不需要重复配置，减少了工作量，提高了数据检测脚本生成效率。

基于此，本发明在响应于针对规则配置界面的操作，得到目标数据检测规则过程中，可以先从已有的字段信息模板中，检测是否存在与任一字段信息相匹配的字段信息模板，若存在，直接读取与该字段信息相匹配的字段信息模板；若同时也存在不匹配的字段信息，再响应于针对不匹配的字段信息对应的字段规则配置界面的输入操作，生成相应字段信息的字段检测模板。

步骤S27，客户端利用目标数据表对应的各字段信息的字段检测模板，生成针对数据库的目标数据检测规则；

步骤S28，客户端利用结构化查询语言，将目标数据检测规则转换为目标数据检测脚本；

可见，本发明是针对每一个数据表的每一字段，都会利用相应的可视化配置界面，快速且准确得到相应的规则信息，该配置过程可以依据当前应用场景的具体业务检测需求实现，且用户只需要按照要求选择即可，不需要编写程序代码，客户端可以利用得到的配置的各规则信息，按照SQL语言语法，自动生成满足当前业务检测需求的目标数据检测脚本，极大降低了数据检测脚本生成难度，降低了对用户的编码能力的要求，提高了数据检测脚本的生成效率，并提升了数据检测方法的普适性。

需要说明，本发明对如何利用利用结构化查询语言，将目标数据检测规则转换为目标数据检测脚本的方法不做详述。

步骤S29，数据库调用并执行目标数据检测脚本，检测是否存在与任一数据表的任一字段信息的规则配置信息相匹配的目标数据；

在执行目标数据检测脚本过程中，可以按照该目标检测脚本包含的检测规则，对数据库存储的数据进行逐条检测，以得到符合用户配置的检测规则的目标数据，以及不符合用户配置的检测规则的非目标数据。根据实际需要，可以分别记录符合检测规则以及不符合检测规则的记录数，具体记录主键等信息，可以依据具体检测要求确定。

步骤S210，数据库对得到的所述至少一个数据表各自的数据检测结果进行统计，利用统计结果生成数据检测报表；

参照图6所示的数据检测报表界面，本实施例可以按照数据表，针对每一个数据表对应的多条数据进行检测，从而得到每一个数据表对应的数据检测结果，如图6中的每一个数据表对应的总字段数、分析字段数、总记录数、合格记录数、表合格率等信息，但并不局限于图6所示的数据检测报表的格式及内容，本发明仅以图6所示的数据检测报表进行示意性说明。

步骤S211，数据库将数据检测报表反馈至客户端；

步骤S212，客户端输出该数据检测报表。

本实施例将生成的包含各数据表的数据检测结果的数据检测报表反馈至客户端进行展示，以使用户能够更加直观得知本次对数据库存储的数据的检测结果，能够查看每一个数据表的具体分析统计信息，由此得知该数据库中整体的数量质量情况，免去了以往用户逐个数据表收集质量数据的繁复工序，减少了人工工作量，提高了工作效率。

其中，用户在查看数据检测报表时，可以按照任一字段信息，对其展示的各数据表的数据检测结果进行排序，以使用户更加直观、快速得知各数据表的数据检测情况，便于用户从全局把控存储至数据库中的数据质量。且根据需要，可以将得到的一个或多个数据表的数据检测结果导出为表格文件。

参照图7，示出了本发明提出的数据检测装置的一可选示例的结构示意图，该装置可以应用于电子设备，该装置可以包括：

数据表信息获取模块31，用于获取待测数据库的数据表信息，所述数据表信息包括所述待测数据库存储的至少一个数据表，以及所述数据表包含的字段信息；

规则配置界面输出模块32，用于响应针对所述至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面；

目标数据检测规则获取模块33，用于响应于针对所述规则配置界面的操作，得到目标数据检测规则，所述目标数据检测规则包括所述目标数据表对应的不同字段信息的规则配置信息；

数据检测脚本获取模块34，用于利用结构化查询语言，将所述目标数据检测规则转换为数据检测脚本。

在一些实施例中，如图8所示，上述规则配置界面输出模块32可以包括：

目标数据表获取单元321，用于响应针对所述至少一个数据表的选择操作，得到目标数据表，并输出所述目标数据表对应的字段信息；

字段规则配置界面输出单元322，用于响应于针对任一字段信息的配置请求，输出相应的字段规则配置界面。

相应地，上述目标数据检测规则获取模块33可以包括：

字段检测模板生成单元331，用于响应于针对所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板，所述字段检测模板包含针对相应字段信息的至少一条规则描述信息；

在一些实施例的实现方式中，该字段检测模板生成单元331可以包括：

规则描述信息展示单元，用于响应于针对所述字段规则配置界面的输入操作，以列表形式对得到的规则描述信息进行展示；

规则描述信息整合单元，用于响应于模板生成指令，对相应字段规则配置界面展示的所有规则描述信息进行整合处理，得到相应字段信息的字段检测模板。

目标数据检测规则生成单元332，用于利用所述目标数据表对应的各字段信息的字段检测模板，生成针对所述待测数据库的目标数据检测规则。

在一些实施例的实际应用中，本发明提供的数据检测装置还可以包括：

字段信息模板检测模块，用于从已有的字段信息模板中，检测是否存在与任一所述字段信息相匹配的字段信息模板；

字段信息模板读取模块，用于在字段信息模板检测模块的检测结果为存在的情况下，读取与所述字段信息相匹配的字段信息模板；

若存在不匹配的字段信息，上述字段检测模板生成单元331具体用于响应于针对所述不匹配的字段信息对应的所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板。

参照图9，示出了本发明提出的数据检测装置的又一可选示例的结构示意图，该装置可以应用于数据库，本发明对该数据库的产品类型不做限定，该装置可以包括：

数据检测请求响应模块41，用于响应电子设备发送的数据检测请求，获取存储的数据表信息，所述数据表信息包括：至少一个数据表以及所述数据表包含的字段信息；

数据表信息反馈模块42，用于将所述数据表信息反馈至所述电子设备，由所述电子设备生成针对所述数据表信息的目标数据检测脚本，所述目标数据检测脚本是利用结构化查询语言，由目标数据检测规则转换得到的，所述目标数据检测规则包含所述目标数据表对应的不同字段信息的规则配置信息；

数据检测模块43，用于执行所述电子设备反馈的所述目标数据检测脚本，得到数据检测结果。

在一些实施例中，该数据检测模块43可以包括：

目标数据监测单元，用于调用并执行目标数据检测脚本，检测是否存在与任一数据表的任一字段信息的规则配置信息相匹配的目标数据；

数据检测报表生成单元，用于对得到的所述至少一个数据表各自的数据检测结果进行统计，利用统计结果生成数据检测报表；

数据检测报表反馈单元，用于将所述数据检测报表反馈至所述电子设备进行展示。

需要说明的是，关于上述装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。

本发明还提供了一种存储介质，其上可以存储程序，该程序可以被处理器调用并加载，以实现上述从电子设备角度或从数据库角度提供的方法实施例所描述的数据检测方法的各个步骤，具体实现过程可以参照上述相应实施例的描述。

最后，需要说明，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、电子设备、数据库而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据检测方法，其特征在于，所述方法包括：

获取待测数据库的数据表信息，所述数据表信息包括所述待测数据库存储的至少一个数据表，以及所述数据表包含的字段信息；

响应针对所述至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面；

响应于针对所述规则配置界面的操作，得到目标数据检测规则，所述目标数据检测规则包括所述目标数据表对应的不同字段信息的规则配置信息；

利用结构化查询语言，将所述目标数据检测规则转换为目标数据检测脚本。

2.根据权利要求1所述的方法，其特征在于，所述响应针对所述至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面，包括：

响应针对所述至少一个数据表的选择操作，得到目标数据表，并输出所述目标数据表对应的字段信息；

响应于针对任一字段信息的配置请求，输出相应的字段规则配置界面。

3.根据权利要求2所述的方法，其特征在于，所述响应于针对所述规则配置界面的操作，得到目标数据检测规则，包括：

响应于针对所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板，所述字段检测模板包含针对相应字段信息的至少一条规则描述信息；

利用所述目标数据表对应的各字段信息的字段检测模板，生成针对所述待测数据库的目标数据检测规则。

4.根据权利要求3所述的方法，其特征在于，响应于针对所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板，包括：

响应于针对所述字段规则配置界面的输入操作，以列表形式对得到的规则描述信息进行展示；

响应于模板生成指令，对相应字段规则配置界面展示的所有规则描述信息进行整合处理，得到相应字段信息的字段检测模板。

5.根据权利要求3或4所述的方法，其特征在于，所述响应于针对所述规则配置界面的操作，得到目标数据检测规则，还包括：

从已有的字段信息模板中，检测是否存在与任一所述字段信息相匹配的字段信息模板；

若存在，读取与所述字段信息相匹配的字段信息模板；

若存在不匹配的字段信息，所述响应于针对所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板，包括：

响应于针对所述不匹配的字段信息对应的所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板。

6.一种数据检测方法，其特征在于，所述方法包括：

响应电子设备发送的数据检测请求，获取存储的数据表信息，所述数据表信息包括：至少一个数据表以及所述数据表包含的字段信息；

将所述数据表信息反馈至所述电子设备，由所述电子设备生成针对所述数据表信息的目标数据检测脚本，所述目标数据检测脚本是利用结构化查询语言，由目标数据检测规则转换得到的，所述目标数据检测规则包含所述目标数据表对应的不同字段信息的规则配置信息；

调用并执行所述目标数据检测脚本，得到数据检测结果。

7.根据权利要求6所述的方法，其特征在于，所述调用并执行所述目标数据检测脚本，得到数据检测结果，包括：

调用并执行所述目标数据检测脚本，检测是否存在与任一数据表的任一字段信息的规则配置信息相匹配的目标数据；

对得到的所述至少一个数据表各自的数据检测结果进行统计，利用统计结果生成数据检测报表；

将所述数据检测报表反馈至所述电子设备进行展示。

8.一种数据检测装置，其特征在于，所述装置包括：

数据表信息获取模块，用于获取待测数据库的数据表信息，所述数据表信息包括所述待测数据库存储的至少一个数据表，以及所述数据表包含的字段信息；

规则配置界面输出模块，用于响应针对所述至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面；

目标数据检测规则获取模块，用于响应于针对所述规则配置界面的操作，得到目标数据检测规则，所述目标数据检测规则包括所述目标数据表对应的不同字段信息的规则配置信息；

数据检测脚本获取模块，用于利用结构化查询语言，将所述目标数据检测规则转换为数据检测脚本。

9.一种数据检测装置，其特征在于，所述装置包括：

数据检测请求响应模块，用于响应电子设备发送的数据检测请求，获取存储的数据表信息，所述数据表信息包括：至少一个数据表以及所述数据表包含的字段信息；

数据表信息反馈模块，用于将所述数据表信息反馈至所述电子设备，由所述电子设备生成针对所述数据表信息的目标数据检测脚本，所述目标数据检测脚本是利用结构化查询语言，由目标数据检测规则转换得到的，所述目标数据检测规则包含所述目标数据表对应的不同字段信息的规则配置信息；

数据检测模块，用于执行所述电子设备反馈的所述目标数据检测脚本，得到数据检测结果。

10.一种存储介质，其上存储有程序，其特征在于，所述程序由处理器调用并执行，实现如权利要求1～5任一项所述的数据检测方法，或者如权利要求6或7所述的数据检测方法。

Images