CN113051262A - 一种数据质检方法、装置、设备及存储介质 - Google Patents
一种数据质检方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113051262A CN113051262A CN202110486056.2A CN202110486056A CN113051262A CN 113051262 A CN113051262 A CN 113051262A CN 202110486056 A CN202110486056 A CN 202110486056A CN 113051262 A CN113051262 A CN 113051262A
- Authority
- CN
- China
- Prior art keywords
- quality inspection
- template
- database
- user
- database statement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 abstract description 10
- 238000003908 quality control method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Factory Administration (AREA)
Abstract
本申请公开了一种数据质检方法、装置、设备及存储介质，具体的，响应于用户针对候选质检规则模板的模板选择操作，获取目标质检规则模板，并响应于用户针对该候选质检规则模板中模板参数的参数值输入操作，获取模板参数的参数值；对获取的目标质检规则模板以及参数值进行自动拼接，生成数据库语句，从而执行生成的数据库语句以对数据库中的数据进行质检。如此，一方面，自动化生成数据库语句的效率通常比用户手动开发数据库语句的效率更高，从而可以提高整体的数据质检效率，降低质检成本；另一方面，用户所需执行的操作更加简单、便捷，降低了对于用户的技术水平要求，提高了用户使用体验。
Description
技术领域
本申请涉及数据库技术领域，特别是涉及一种数据质检方法、装置、设备及存储介质。
背景技术
在大数据时代，海量数据的存储和管理问题成为人们日益关注的重要问题。例如，在存储某企业集团的相关数据时，数据库中不仅存储有现有集团内的各业务系统数据，还包括集团内采集并使用的外部数据、以及各类具有使用与分析价值的非结构化数据。由于这些数据通常来源于不同的系统，并且多个系统对同一数据的记录也可能有差异，同时部分数据的质量可能较低，通常情况下，数据库中存储的数据可能存在“数据不准、数据不通、数据不全”等问题。
因此，实际应用时，通常会对数据库中存储的数据进行质检，以对数据库中的数据不准、数据不全、数据不一致等问题进行挖掘，从而通过进一步的数据整改等方式，以提高数据质量。但是，数据质检过程通常耗时较长、质检效率较低。
发明内容
本申请实施例提供了一种数据质检方法、装置、设备及存储介质，以减少数据质检过程的耗时，提高质检效率。
第一方面，本申请实施例提供了一种数据质检方法，所述方法包括：
响应于用户针对候选质检规则模板的模板选择操作，获取目标质检规则模板，以及响应于用户针对所述目标质检规则模板中模板参数的参数值输入操作，获取所述模板参数的参数值；
对所述目标质检规则模板以及所述参数值进行拼接，生成数据库语句；
执行所述数据库语句，以质检数据库中的数据。
在一种可能的实施方式中，所述目标质检规则模板包括模板类型、数据库语句段以及模板参数。
在一种可能的实施方式中，所述方法还包括：
在所述用户执行所述模板选择操作以及所述参数值输入操作之前，创建所述候选质检规则模板。
在一种可能的实施方式中，所述方法还包括：
对所述数据库语句进行正确性校验；
则，所述执行所述数据库语句，包括：
当所述数据库语句通过所述正确性校验后，执行所述数据库语句。
在一种可能的实施方式中，所述方法还包括：
在所述用户执行所述模板选择操作以及所述参数值输入操作之前，呈现数据库语句生成界面，所述数据库语句生成界面所显示的内容包括所述候选质检规则模板。
在一种可能的实施方式中，所述方法还包括：
呈现执行所述数据库语句所得到的质检结果。
第二方面，本申请实施例提供了一种数据质检装置，所述装置包括：
获取模块，用于响应于用户针对候选质检规则模板的模板选择操作，获取目标质检规则模板，以及响应于用户针对所述目标质检规则模板中模板参数的参数值输入操作，获取所述模板参数的参数值；
拼接模块，用于对所述目标质检规则模板以及所述参数值进行拼接，生成数据库语句；
执行模块，用于执行所述数据库语句，以质检数据库中的数据。
在一种可能的实施方式中，所述目标质检规则模板包括模板类型、数据库语句段以及模板参数。
在一种可能的实施方式中，所述装置还包括：
创建模块，用于在所述用户执行所述模板选择操作以及所述参数值输入操作之前，创建所述候选质检规则模板。
在一种可能的实施方式中，所述装置还包括：
校验模块，用于对所述数据库语句进行正确性校验；
则，所述执行模块，具体用于当所述数据库语句通过所述正确性校验后，执行所述数据库语句。
在一种可能的实施方式中，所述装置还包括：
界面呈现模块，用于在所述用户执行所述模板选择操作以及所述参数值输入操作之前，呈现数据库语句生成界面，所述数据库语句生成界面所显示的内容包括所述候选质检规则模板。
在一种可能的实施方式中，所述装置还包括：
结果呈现模块，用于呈现执行所述数据库语句所得到的质检结果。
第三方面，本申请实施例还提供了一种设备，包括：处理器和存储器；
所述存储器，用于存储指令或计算机程序；
所述处理器，用于执行所述指令或计算机程序，执行上述第一方面任意一项所述的数据质检方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，包括指令或计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面任意一项所述的数据质检方法。
在本申请实施例的上述实现方式中，响应于用户针对候选质检规则模板的模板选择操作，获取目标质检规则模板，并响应于用户针对该候选质检规则模板中模板参数的参数值输入操作，获取模板参数的参数值；然后，对获取的目标质检规则模板以及参数值进行自动拼接，生成数据库语句，从而通过执行生成的数据库语句以对数据库中的数据进行质检。由于在生成数据库语句的过程中，用户所需执行的操作为针对质检规则模板的选择操作以及模板参数的输入操作，这相比于用户直接定制化开发数据库语句的方式而言，一方面，自动化生成数据库语句的效率通常比用户手动开发数据库语句的效率更高，从而可以提高整体的数据质检效率，降低质检成本；另一方面，用户所需执行的操作更加简单、便捷，降低了对于用户的技术水平要求，提高了用户使用体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例中一应用场景示意图；
图2为本申请实施例中一种数据质检方法流程示意图；
图3为本申请实施例中一示例性数据库语句生成界面示意图；
图4为本申请实施例中一种数据质检装置结构示意图；
图5为本申请实施例中一种设备的硬件结构示意图。
具体实施方式
通常情况下，数据库中可能会包括不同的数据库表，并且不同数据库表可以用于存储不同来源的数据，如可以利用数据库表1存储现有集团内的各业务系统数据，利用数据库表2存储集团内采集并使用的外部数据等。因此，在对数据库中的数据进行质检时，针对同一质检任务，用户通常需要针对每个数据库表单独定制专门的数据库语句，这就使得数据质检过程会因为用户定制不同的数据库语句而耗时较长，从而导致质检效率较低、成本较高。
基于此，本申请实施例提供了一种数据质检方法，以提高数据质检效率，降低质检成本。具体实现时，可以响应于用户针对候选质检规则模板的模板选择操作，获取目标质检规则模板，并响应于用户针对该候选质检规则模板中模板参数的参数值输入操作，获取模板参数的参数值；然后，对获取的目标质检规则模板以及参数值进行自动拼接，生成数据库语句，从而通过执行生成的数据库语句以对数据库中的数据进行质检。由于在生成数据库语句的过程中，用户所需执行的操作为针对质检规则模板的选择操作以及模板参数的输入操作，这相比于用户直接定制化开发数据库语句的方式而言，一方面，自动化生成数据库语句的效率通常比用户手动开发数据库语句的效率更高，从而可以提高整体的数据质检效率，降低质检成本；另一方面，用户所需执行的操作更加简单、便捷，降低了对于用户的技术水平要求，提高了用户使用体验。
作为一种示例，本申请实施例可以应用于如图1所示的示例性应用场景。在该场景中，数据库100利用多个数据库表进行数据存储和记录，并可以对外提供客户端101，该客户端101可以与用户200进行交互。当用户需要对数据库100中存储的数据进行质检时，用户200可以在该客户端101上对多个候选质检规则模板进行选择，以确定用于此次质检数据的目标质检规则模板，同时，用户200还可以在该客户端101上已选择的目标质检规则模板中的模板参数赋予实际的参数值；这样，数据库100可以对目标质检规则模板以及参数值进行拼接，生成数据库语句，并通过进一步执行该数据库语句，以实现对数据库100中的数据进行质检。
可以理解的是，上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。比如，在其它可能的应用场景中，客户端101可以不属于数据库100中的一部分；或者，可以在数据库100中配置单独的设备来实现数据质检过程等。总之，本申请可以适用于任何可适用的场景中，而不限于上述场景示例。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面将结合附图对本申请实施例中的各种非限定性实施方式进行示例性说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
参阅图2，图2示出了本申请实施例中一种数据质检方法的流程示意图，该方法可以应用于如图1所示的数据库100，或者应用于数据库100中单独配置的设备等。为便于描述，图2所示实施例中以数据库执行数据质检方法为例进行示例性说明。图2所示的数据质检方法具体可以包括：
S201：响应于用户针对候选质检规则模板的模板选择操作，数据库100获取目标质检规则模板，并响应于用户针对该目标质检规则模板中模板参数的参数值输入操作，获取该模板参数的参数值。
本实施例中，数据库100可以向用户提供多个不同的候选质检规则模板，并且不同的候选质检规则模板可以用于生成不同的数据库语句或者作为同一数据库语句中的不同组成部分。比如，数据库100提供的多个候选质检规则模板中，可以包括用于数据查询的质检规则模板、用于时间筛选的质检规则模板等、用于筛选数据值大小的质检规则模板。
示例性地，每个候选质检规则模板中可以包括模板类型、数据库语句段以及模板参数。其中，模板类型，是指该候选质检规则模板所属的数据库语句的类别，如属于增加、删除、查询、修改、条件语句等类别；数据库语句段，是指一段通用的数据库语句，如select Afrom B等，表征从数据库100的表B中查询A，其中，B指代数据库100中任意表的名称，A指代该表B中的任意一列数据信息。模板参数，即为数据库语句段中作为变量的参数，如前述举例select A from B中的A、B等。
在进一步可能的实施方式中，每个候选质检规则模板还可以包括质检规则模板的编号、质检规则模板的名称等，以便数据库100对不同候选质检规则模板进行区分和管理。当然，上述对于候选质检规则模板的介绍仅作为一种示例性说明，实际应用时，候选质检规则模板的具体实现方式不限于上述示例，比如，候选质检规则模板中可以不包括模板类型等，可以基于上述候选质检规则模板的实现示例进行其它变换。
实际应用中，这些候选质检规则模板可以被预先创建，例如可以由开发人员预先创建多个候选质检规则模板，然后，可以在数据库100中存储这些候选质检规则模板。
在一种可能的实施方式中，数据库100可以向用户呈现数据库语句生成界面，如可以通过图1中的客户端101呈现数据库语句生成界面等。其中，数据库语句生成界面所显示的内容中包括一个或者多个候选质检规则模板(具体可以是候选质检规则模板的名称)，如图3所示；相应的，用户可以在该数据库语句生成界面上对候选质检规则模板进行选择，例如图3所示，可以是将光标移动至候选质检规则模板3并点击该候选质检规则模板3实现选择。如此，数据库100可以基于用户所执行的模板选择操作，确定用户所选的候选质检规则模板(为便于描述，以下称之为目标质检规则模板)。
然后，用户还可以为选中的目标质检规则模板中的模板参数赋予实际的参数值，这样，数据库100可以根据用户针对模板参数所执行的参数值输入操作，确定目标质检规则模板中模板参数的参数值。举例来说，假设用户所选择的目标质检规则模板为：select Afrom B，则用户可以进一步为模板参数A赋予参数值people.name，为模板参数B赋予参数值people，以期望从数据库100中的people表中查询name列的数据。
值得注意的是，用户为模板参数输入的参数值，可以是数据库语句中的值，如前述举例中的people.name以及people等。实际应用时，用户为模板参数输入的参数值，也可以是中文内容，例如，用户可以为模板参数A输入的参数值为“名字”、为模板参数B输入的参数值为“人”。此时，数据库100可以利用预先配置的数据字典，确定用户输入的中文表示的参数值在数据库语句中对应的英文表示的参数值，其中，该数据字典中记录有同一参数值的(在数据库语句中的)英文表示以及(用户输入的)中文表示之间的对应关系。这样，用户在为模板参数进行赋值时，可以输入中文表示，降低了对于用户的学习成本；相应的，数据库100可以自动将用户输入的中文表示的参数值转换为英文表示的参数值。
S202：数据库100对获取的目标质检规则模板以及参数值进行拼接，生成数据库语句。
数据库100可以将步骤S201中获取的目标质检规则模板以及该目标质检规则模板中模板参数对应的参数值进行拼接，得到数据库语句。例如，当用户选择的目标质检规则模板为select A from B，并且A和B的参数值分别为people.name以及people时，该拼接得到的数据库语句可以是select people.name from people。
在一种可能的实施方式中，用户所选择的目标质检规则模板的数量可以是多个，从而数据库100可以将多个目标质检规则模板以及每个目标质检规则模板中模板参数对应的参数值进行拼接，得到一个数据库语句。举例来说，假设用户所选择的目标质检规则模板包括select A from B，以及where C>a(表征查找出数据库表中C列值大于a的数据)，并且，用户为多个目标质检规则模板参数赋予的参数值分别为A->people.name、B->people、C->age(年龄)、a->25。这样，数据库100在拼接目标质检规则模板以及相应的参数值所得到的数据库语句，具体可以是select people.name from people where age>25，表示查询数据库的表people中年龄大于25岁的人名。其中，不同目标质检规则模板之间的拼接规则，可以由开发人员预先按照数据库语句的表达规范进行设定，本实施例对于该拼接规则的具体实现不再赘述。
实际应用时，用户可以发起质检任务，并且一个质检任务中可以包括用户所选择的多个目标质检规则模板。例如，用户可以创建质检任务，并在该质检任务下，依次选择多个目标质检规则模板，并为每个目标质检规则模板中的模板参数进行赋值。这样，数据库100可以将属于同一质检任务的多个目标质检规则模板进行拼接，生成一个数据库语句。
进一步的，用户还可以为该质检任务设置任务名称、生效时间以及任务周期类型。其中，任务名称用于对质检任务进行标识；生效时间用于指示数据库100执行该质检任务的时间；任务周期类型，用于指示数据库100执行该质检任务的周期(如1个星期、1个月等)，即每隔多长时间执行该质检任务。这样，数据库100可以在生效时间所指示的时刻开始执行质检任务。可选地，数据库100在执行管理各质检任务时，还可以为每个质检任务分配任务编号，以对多个质检任务进行区分。
S203：数据库100执行数据库语句，以质检数据库中的数据。
具体实现时，数据库100可以对生成的数据库语句进行语法分析以及语义分析。其中，语法分析，是指利用数据库语言的语法规则校验该数据库语句是否存在语法错误；语义分析，是指分析该数据库语句的语义是否合法。当数据库语句的语法以及语义均合法后，数据库100可以根据该数据库语句生成逻辑计划树，该逻辑计划树指示了对数据进行计算、分析以及访问等操作的逻辑执行计划。然后，数据库100可以通过一个或者多个优化器对计划树进行优化，并执行优化后所得到的逻辑计划树，得到相应的质检结果。
在进一步可能的实施方式中，数据库100还可以将得到的质检结果呈现给用户。例如，数据库100可以在前述数据库语句生成界面中的特定区域内呈现该质检结果，或者可以是单独创建的界面中呈现该质检结果，或者通过可视化文件(如excle文件等)的方式将质检结果呈现给用户等。本实施例中，对于数据库100将质检结果呈现给用户的具体实现方式并不进行限定。
数据库100在生成数据库语句后，可以先对该数据库语句进行正确性校验，如校验该数据库语句中的执行条件是否合理、校验用户发起的质检任务与用户所选择的质检规则模板是否匹配等。当确定数据库语句通过正确性校验后，数据库100再执行该数据库语句。实际应用时，数据库100也可以是将生成的数据库语句呈现给特定的客户端，如审核人员的客户端等，以便由审核人员对该数据库语句进行人工校验，从而数据库100在确定该数据库语句通过人工的正确性校验后，再执行该数据库语句。本实施例中，对于校验数据库语句的具体实现方式并不进行限定。
由于在生成数据库语句的过程中，用户所需执行的操作为针对质检规则模板的选择操作以及模板参数的输入操作，这相比于用户直接定制化开发数据库语句的方式而言，一方面，自动化生成数据库语句的效率通常比用户手动开发数据库语句的效率更高，从而可以提高整体的数据质检效率，降低质检成本；另一方面，用户所需执行的操作更加简单、便捷，降低了对于用户的技术水平要求，提高了用户使用体验。
此外，本申请实施例还提供了一种数据质检装置。参阅图4，图4示出了本申请实施例中一种数据质检装置结构示意图，该装置400包括：
获取模块401，用于响应于用户针对候选质检规则模板的模板选择操作，获取目标质检规则模板，以及响应于用户针对所述目标质检规则模板中模板参数的参数值输入操作，获取所述模板参数的参数值；
拼接模块402，用于对所述目标质检规则模板以及所述参数值进行拼接，生成数据库语句；
执行模块403，用于执行所述数据库语句，以质检数据库中的数据。
在一种可能的实施方式中，所述目标质检规则模板包括模板类型、数据库语句段以及模板参数。
在一种可能的实施方式中，所述装置400还包括：
创建模块，用于在所述用户执行所述模板选择操作以及所述参数值输入操作之前，创建所述候选质检规则模板。
在一种可能的实施方式中，所述装置还包括：
校验模块，用于对所述数据库语句进行正确性校验；
则，所述执行模块，具体用于当所述数据库语句通过所述正确性校验后，执行所述数据库语句。
在一种可能的实施方式中，所述装置400还包括：
界面呈现模块，用于在所述用户执行所述模板选择操作以及所述参数值输入操作之前，呈现数据库语句生成界面，所述数据库语句生成界面所显示的内容包括所述候选质检规则模板。
在一种可能的实施方式中，所述装置400还包括：
结果呈现模块，用于呈现执行所述数据库语句所得到的质检结果。
需要说明的是，上述装置各模块、单元之间的信息交互、执行过程等内容，由于与本申请实施例中方法实施例基于同一构思，其带来的技术效果与本申请实施例中方法实施例相同，具体内容可参见本申请实施例前述所示的方法实施例中的叙述，此处不再赘述。
本实施例中在生成数据库语句的过程中，用户所需执行的操作为针对质检规则模板的选择操作以及模板参数的输入操作，这相比于用户直接定制化开发数据库语句的方式而言，一方面，自动化生成数据库语句的效率通常比用户手动开发数据库语句的效率更高，从而可以提高整体的数据质检效率，降低质检成本；另一方面，用户所需执行的操作更加简单、便捷，降低了对于用户的技术水平要求，提高了用户使用体验。
此外，本申请实施例还提供了一种设备。参阅图5，图5示出了本申请实施例中一种设备的硬件结构示意图，该设备500可以包括处理器501以及存储器502。
其中，所述存储器502，用于存储指令或计算机程序；
所述处理器501，用于根据所述指令或所述计算机程序执行上述方法实施例中所述的数据质检方法。
具体的，处理器501可以根据指令或计算机程序执行如下步骤：
响应于用户针对候选质检规则模板的模板选择操作，获取目标质检规则模板，以及响应于用户针对所述目标质检规则模板中模板参数的参数值输入操作，获取所述模板参数的参数值；
对所述目标质检规则模板以及所述参数值进行拼接，生成数据库语句；
执行所述数据库语句，以质检数据库中的数据。
在一种可能的实施方式中，所述目标质检规则模板包括模板类型、数据库语句段以及模板参数。
在一种可能的实施方式中，处理器501还可以根据指令或计算机程序执行如下步骤：
在所述用户执行所述模板选择操作以及所述参数值输入操作之前，创建所述候选质检规则模板。
在一种可能的实施方式中，处理器501还可以根据指令或计算机程序执行如下步骤：
对所述数据库语句进行正确性校验；
则，处理器501可以根据指令或计算机程序具体执行如下步骤：
当所述数据库语句通过所述正确性校验后，执行所述数据库语句。
在一种可能的实施方式中，处理器501还可以根据指令或计算机程序执行如下步骤：
在所述用户执行所述模板选择操作以及所述参数值输入操作之前，呈现数据库语句生成界面，所述数据库语句生成界面所显示的内容包括所述候选质检规则模板。
在一种可能的实施方式中，处理器501还可以根据指令或计算机程序执行如下步骤：
呈现执行所述数据库语句所得到的质检结果。
需要说明的是，上述设备中处理器501的具体执行内容，由于与本申请实施例中方法实施例基于同一构思，其带来的技术效果与本申请实施例中方法实施例相同，具体内容可参见本申请实施例前述所示的方法实施例中的叙述，此处不再赘述。
另外，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方法实施例中所述的数据质检方法。并且，由于其与本申请实施例中方法实施例基于同一构思，其带来的技术效果与本申请实施例中方法实施例相同，具体内容可参见本申请实施例前述所示的方法实施例中的叙述，此处不再赘述。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本申请示例性的实施方式，并非用于限定本申请的保护范围。
Claims (10)
1.一种数据质检方法，其特征在于，所述方法包括：
响应于用户针对候选质检规则模板的模板选择操作，获取目标质检规则模板，以及响应于用户针对所述目标质检规则模板中模板参数的参数值输入操作，获取所述模板参数的参数值；
对所述目标质检规则模板以及所述参数值进行拼接，生成数据库语句；
执行所述数据库语句，以质检数据库中的数据。
2.根据权利要求1所述的方法，其特征在于，所述目标质检规则模板包括模板类型、数据库语句段以及模板参数。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述用户执行所述模板选择操作以及所述参数值输入操作之前，创建所述候选质检规则模板。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述数据库语句进行正确性校验；
则，所述执行所述数据库语句，包括：
当所述数据库语句通过所述正确性校验后，执行所述数据库语句。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述用户执行所述模板选择操作以及所述参数值输入操作之前，呈现数据库语句生成界面，所述数据库语句生成界面所显示的内容包括所述候选质检规则模板。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
呈现执行所述数据库语句所得到的质检结果。
7.一种数据质检装置，其特征在于，所述装置包括：
获取模块，用于响应于用户针对候选质检规则模板的模板选择操作，获取目标质检规则模板，以及响应于用户针对所述目标质检规则模板中模板参数的参数值输入操作，获取所述模板参数的参数值；
拼接模块，用于对所述目标质检规则模板以及所述参数值进行拼接，生成数据库语句；
执行模块，用于执行所述数据库语句，以质检数据库中的数据。
8.根据权利要求7所述的系统，其特征在于，所述装置还包括：
创建模块，用于在所述用户执行所述模板选择操作以及所述参数值输入操作之前，创建所述候选质检规则模板。
9.一种设备，其特征在于，包括：处理器和存储器；
所述存储器，用于存储指令或计算机程序；
所述处理器，用于执行所述指令或计算机程序，执行权利要求1-6任意一项所述的数据质检方法。
10.一种计算机可读存储介质，其特征在于，包括指令或计算机程序，当其在计算机上运行时，使得计算机执行以上权利要求1-6任意一项所述的数据质检方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110486056.2A CN113051262B (zh) | 2021-04-30 | 2021-04-30 | 一种数据质检方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110486056.2A CN113051262B (zh) | 2021-04-30 | 2021-04-30 | 一种数据质检方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113051262A true CN113051262A (zh) | 2021-06-29 |
| CN113051262B CN113051262B (zh) | 2024-01-26 |
Family
ID=76518122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110486056.2A Active CN113051262B (zh) | 2021-04-30 | 2021-04-30 | 一种数据质检方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113051262B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114860699A (zh) * | 2022-04-06 | 2022-08-05 | 深圳坐标软件集团有限公司 | 数据质量检测方法、装置、设备和存储介质 |
| CN116975044A (zh) * | 2023-09-21 | 2023-10-31 | 云粒智慧科技有限公司 | 质检规则确定方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107180097A (zh) * | 2017-05-16 | 2017-09-19 | 沈阳国源科技发展有限公司 | 确权登记成果数据的质检方法及装置 |
| CN107862451A (zh) * | 2017-11-01 | 2018-03-30 | 泰华智慧产业集团股份有限公司 | 基于Shape数据的地下管线质量判定方法和系统 |
| CN108319687A (zh) * | 2018-02-01 | 2018-07-24 | 中国农业银行股份有限公司 | 一种基于js拖拽技术的sql规则生成器 |
| CN109446218A (zh) * | 2018-09-25 | 2019-03-08 | 中国平安人寿保险股份有限公司 | Sql语句生成方法、装置及计算机可读存储介质 |
| CN111241073A (zh) * | 2018-11-29 | 2020-06-05 | 阿里巴巴集团控股有限公司 | 一种数据质量检查方法及装置 |
-
2021
- 2021-04-30 CN CN202110486056.2A patent/CN113051262B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107180097A (zh) * | 2017-05-16 | 2017-09-19 | 沈阳国源科技发展有限公司 | 确权登记成果数据的质检方法及装置 |
| CN107862451A (zh) * | 2017-11-01 | 2018-03-30 | 泰华智慧产业集团股份有限公司 | 基于Shape数据的地下管线质量判定方法和系统 |
| CN108319687A (zh) * | 2018-02-01 | 2018-07-24 | 中国农业银行股份有限公司 | 一种基于js拖拽技术的sql规则生成器 |
| CN109446218A (zh) * | 2018-09-25 | 2019-03-08 | 中国平安人寿保险股份有限公司 | Sql语句生成方法、装置及计算机可读存储介质 |
| CN111241073A (zh) * | 2018-11-29 | 2020-06-05 | 阿里巴巴集团控股有限公司 | 一种数据质量检查方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114860699A (zh) * | 2022-04-06 | 2022-08-05 | 深圳坐标软件集团有限公司 | 数据质量检测方法、装置、设备和存储介质 |
| CN116975044A (zh) * | 2023-09-21 | 2023-10-31 | 云粒智慧科技有限公司 | 质检规则确定方法、装置、设备和存储介质 |
| CN116975044B (zh) * | 2023-09-21 | 2023-12-22 | 云粒智慧科技有限公司 | 质检规则确定方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113051262B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11977859B2 (en) | Automatically generating machine learning models for software tools that operate on source code | |
| US9898280B2 (en) | Automatic code review and code reviewer recommendation | |
| US9779133B2 (en) | Contextual debugging of SQL queries in database-accessing applications | |
| CN111832236B (zh) | 一种芯片回归测试方法、系统、电子设备及存储介质 | |
| EP4322009A1 (en) | Test case generation method, apparatus and device | |
| US20190303107A1 (en) | Automated software programming guidance | |
| US8832125B2 (en) | Extensible event-driven log analysis framework | |
| US20190303115A1 (en) | Automated source code sample adaptation | |
| CN111158656B (zh) | 基于因果树法的测试代码生成方法及装置 | |
| CN110955409B (zh) | 在云平台上创建资源的方法和装置 | |
| US9940215B2 (en) | Automatic correlation accelerator | |
| US9582270B2 (en) | Effective feature location in large legacy systems | |
| CN111143228B (zh) | 基于决策表法的测试代码生成方法及装置 | |
| CN114610286A (zh) | 开发文档的生成方法、装置、计算机设备及存储介质 | |
| EP4184330A1 (en) | Code analysis method and system, and computing device | |
| CN113051262B (zh) | 一种数据质检方法、装置、设备及存储介质 | |
| CN106484389B (zh) | 动作流分段管理 | |
| Agarwal et al. | Copilot Evaluation Harness: Evaluating LLM-Guided Software Programming | |
| CN110990285A (zh) | 一种ui自动化测试方法及装置 | |
| CN116661758B (zh) | 一种优化日志框架配置的方法、装置、电子设备及介质 | |
| US12093686B2 (en) | Code maintenance system | |
| WO2019193479A1 (en) | Cognitive robotic system for test data management activities and method employed thereof | |
| US20190317877A1 (en) | Application state monitoring | |
| CN115048083A (zh) | 组件的可视化方法、装置、存储介质及电子设备 | |
| CN114461514A (zh) | 一种基于低代码的自动化测试方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |