CN113468034A - 数据质量评估方法、装置、存储介质和电子设备 - Google Patents
数据质量评估方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN113468034A CN113468034A CN202110765722.6A CN202110765722A CN113468034A CN 113468034 A CN113468034 A CN 113468034A CN 202110765722 A CN202110765722 A CN 202110765722A CN 113468034 A CN113468034 A CN 113468034A
- Authority
- CN
- China
- Prior art keywords
- data
- evaluation
- evaluated
- rule
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000011156 evaluation Methods 0.000 claims abstract description 328
- 230000015654 memory Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001303 quality assessment method Methods 0.000 claims description 10
- 238000013523 data management Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Tourism & Hospitality (AREA)
- Computer Hardware Design (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供的数据质量评估方法、装置、存储介质和电子设备，属于数据治理技术领域。该方法可以获取待评估数据，并对待评估数据进行数据探查，得到待评估数据对应的数据信息，响应于对目标评估指标的选取指令，确定待评估数据对应的目标评估指标，根据目标评估指标与评估规则之间的关联关系，确定出待评估数据对应的目标评估规则，并根据目标评估规则和数据信息对待评估数据进行质量评估，得到待评估数据对应的规则评估分数，根据各个目标评估规则对应的规则权重，分别确定待评估数据对应的各个指标评估分数，并根据各个目标评估指标对应的指标权重，确定待评估数据对应的质量评估分数。从而可以提高对数据进行质量评估的效率和准确率。
Description
技术领域
本申请实施例涉及数据治理技术领域，尤其涉及一种数据质量评估方法、装置、存储介质和电子设备。
背景技术
随着大数据时代的到来，伴随着的是多种多样的数据爆炸式增长。同时，数据的价值已在企业中得到广泛的重视。但是不是所有的数据都有价值，目前企业中的数据普遍存在的数据质量问题有：数据不规范、数据不准确、数据不完整、数据不一致等。数据质量的好坏直接影响数据的价值，高质量的数据在业务、管理、决策中都发挥着不可或缺的作用。
相关技术中大多采用人工手动的方法对数据进行统计分析，得到对数据进行质量评估的质量评分。但是，采用人工方式效率较低，并且容易得到错误的评估结果。
发明内容
为解决现有存在的技术问题，本申请实施例提供了一种数据质量评估方法、装置、存储介质和电子设备，可以提高对数据进行质量评估的效率和准确率。
为达到上述目的，本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种数据质量评估方法，所述方法包括：
获取待评估数据，对所述待评估数据进行数据探查，得到所述待评估数据对应的数据信息；
响应对目标评估指标的选取指令，确定所述待评估数据对应的至少一个目标评估指标；
根据所述目标评估指标与评估规则之间的关联关系，确定所述待评估数据对应的目标评估规则；
根据所述目标评估规则和所述数据信息对所述待评估数据进行质量评估，得到所述待评估数据对应的规则评估分数和质量评估信息；
根据所述目标评估指标包括的各个目标评估规则对应的规则权重，确定所述待评估数据对应的各个目标评估指标的指标评估分数，并根据各个目标评估指标对应的指标权重，确定所述待评估数据对应的质量评估分数。
本申请实施例提供的数据质量评估方法，可以获取待评估数据，并对待评估数据进行数据探查，得到待评估数据对应的数据信息，响应于对目标评估指标的选取指令，可以确定待评估数据对应的至少一个目标评估指标，根据目标评估指标与评估规则之间的关联关系，确定出待评估数据对应的目标评估规则，并根据目标评估规则和数据信息对待评估数据进行质量评估，得到待评估数据对应的规则评估分数和质量评估信息，再根据目标评估指标包括的各个目标评估规则对应的规则权重，确定待评估数据对应的各个目标评估指标的指标评估分数，并根据各个目标评估指标对应的指标权重，确定待评估数据对应的质量评估分数。由于可以根据多个目标评估指标对应的目标评估规则自动地对数据进行质量评估，从而可以提高对数据进行质量评估的效率，以及得到较为准确的数据质量评估结果。
在一种可选的实施例中，所述根据所述目标评估规则和所述数据信息对所述待评估数据进行质量评估，包括：
根据所述目标评估规则中的描述信息，确定所述描述信息对应的规则内容，并根据所述规则内容和所述数据信息对所述待评估数据进行质量评估。
在该实施例中，可以根据目标评估规则中的描述信息，确定描述信息对应的规则内容，并根据规则内容和数据信息对待评估数据进行质量评估。由于可以通过对数据进行数据探查，得到数据信息，并根据多个评估规则对应的规则内容和数据信息较为精确地对数据进行质量评估，从而可以提高对数据进行质量评估的准确率。
在一种可选的实施例中，所述根据所述目标评估规则中的描述信息，确定所述描述信息对应的规则内容，包括：
若所述描述信息指示所述规则内容位于数据标准知识库中，则从所述数据标准知识库中查找到所述规则内容。
在该实施例中，如果描述信息指示规则内容位于数据标准知识库中，则从数据标准知识库中查找到规则内容。从而可以扩展对数据进行质量评估的评估规则，进而可以发现数据中存在的更多的质量问题，提高对数据进行质量评估的准确度。
在一种可选的实施例中，所述从所述数据标准知识库中查找到所述规则内容，包括：
将所述待评估数据与所述数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定所述待评估数据对应的目标标准数据格式和目标标准数据类型，并根据所述目标标准数据格式和目标标准数据类型确定所述目标评估规则对应的规则内容；或
将所述待评估数据与所述数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定所述待评估数据对应的目标标准数据格式和目标标准数据类型，并在数据元规则知识库中，查找与所述目标标准数据格式和所述目标标准数据类型相匹配的规则内容。
在该实施例中，可以将待评估数据与数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定待评估数据对应的目标标准数据格式和目标标准数据类型，并根据目标标准数据格式和目标标准数据类型确定目标评估规则对应的规则内容，或将待评估数据与数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定待评估数据对应的目标标准数据格式和目标标准数据类型，并在数据元规则知识库中，查找与目标标准数据格式和目标标准数据类型相匹配的规则内容。由于增加了数据标准知识库和数据元规则知识库，从而可以扩大对数据进行质量评估的检测范围，以发现数据中存在的更多的质量问题。
在一种可选的实施例中，所述根据所述目标评估指标包括的各个目标评估规则对应的规则权重，确定所述待评估数据对应的各个目标评估指标的指标评估分数，并根据各个目标评估指标对应的指标权重，确定所述待评估数据对应的质量评估分数，包括：
根据所述目标评估指标包括的各个目标评估规则对应的规则权重，对各个规则评估分数进行加权平均，得到所述待评估数据对应的各个目标评估指标的指标评估分数；
根据各个目标评估指标对应的指标权重，对各个指标评估分数进行加权平均，得到所述待评估数据对应的质量评估分数。
在该实施例中，可以根据目标评估指标包括的各个目标评估规则对应的规则权重，对各个规则评估分数进行加权平均，得到待评估数据对应的各个目标评估指标的指标评估分数，以及根据各个目标评估指标对应的指标权重，对各个指标评估分数进行加权平均，得到待评估数据对应的质量评估分数。由于可以得到在各个目标评估指标下的数据质量评估分数以及根据各个目标评估指标得到对数据进行质量评估的综合质量评估分数，从而可以得到较为全面而准确的数据质量评估结果。
在一种可选的实施例中，所述目标评估指标包括的各个目标评估规则对应的规则权重和所述各个目标评估指标对应的指标权重是通过层次分析法构建判断矩阵得到的。
在该实施例中，由于目标评估指标包括的各个目标评估规则对应的规则权重和各个目标评估指标对应的指标权重是通过层次分析法构建判断矩阵得到的，从而可以得到较为合理的规则权重和指标权重。
在一种可选的实施例中，所述确定所述待评估数据对应的质量评估分数之后，所述方法还包括：
输出所述待评估数据对应的质量评估结果；所述质量评估结果包括所述待评估数据对应的各个目标评估指标的指标评估分数、所述待评估数据对应的质量评估分数和所述待评估数据对应的质量评估信息中的部分或全部。
在该实施例中，在确定待评估数据对应的质量评估分数之后，还可以输出待评估数据对应的质量评估结果。其中，质量评估结果中可以包括待评估数据对应的各个目标评估指标的指标评估分数、待评估数据对应的质量评估分数和待评估数据对应的质量评估信息中的部分或全部。由于输出的质量评估结果包括有指标评估分数、综合质量评估分数和质量评估信息，从而可以提高对数据进行质量评估的准确率。
第二方面，本申请实施例还提供了一种数据质量评估装置，包括：
数据信息获取单元，用于获取待评估数据，对所述待评估数据进行数据探查，得到所述待评估数据对应的数据信息；
评估指标确定单元，用于响应对目标评估指标的选取指令，确定待评估数据对应的至少一个目标评估指标；
评估规则确定单元，用于根据所述目标评估指标与评估规则之间的关联关系，确定所述待评估数据对应的目标评估规则；
第一结果确定单元，用于根据所述目标评估规则和所述数据信息对所述待评估数据进行质量评估，得到所述待评估数据对应的规则评估分数和质量评估信息；
第二结果确定单元，用于根据所述目标评估指标包括的各个目标评估规则对应的规则权重，确定所述待评估数据对应的各个目标评估指标的指标评估分数，并根据各个目标评估指标对应的指标权重，确定所述待评估数据对应的质量评估分数。
在一种可选的实施例中，所述第一结果确定单元，具体用于：
根据所述目标评估规则中的描述信息，确定所述描述信息对应的规则内容，并根据所述规则内容和所述数据信息对所述待评估数据进行质量评估。
在一种可选的实施例中，所述第一结果确定单元，还用于：
若所述描述信息指示所述规则内容位于数据标准知识库中，则从所述数据标准知识库中查找到所述规则内容。
在一种可选的实施例中，所述第一结果确定单元，还用于：
将所述待评估数据与所述数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定所述待评估数据对应的目标标准数据格式和目标标准数据类型，并根据所述目标标准数据格式和目标标准数据类型确定所述目标评估规则对应的规则内容；或
将所述待评估数据与所述数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定所述待评估数据对应的目标标准数据格式和目标标准数据类型，并在数据元规则知识库中，查找与所述目标标准数据格式和所述目标标准数据类型相匹配的规则内容。
在一种可选的实施例中，所述第二结果确定单元，具体用于：
根据所述目标评估指标包括的各个目标评估规则对应的规则权重，对各个规则评估分数进行加权平均，得到所述待评估数据对应的各个目标评估指标的指标评估分数；
根据各个目标评估指标对应的指标权重，对各个指标评估分数进行加权平均，得到所述待评估数据对应的质量评估分数。
在一种可选的实施例中，所述目标评估指标包括的各个目标评估规则对应的规则权重和所述各个目标评估指标对应的指标权重是通过层次分析法构建判断矩阵得到的。
在一种可选的实施例中，所述装置还包括评估结果输出单元，用于：
输出所述待评估数据对应的质量评估结果；所述质量评估结果包括所述待评估数据对应的各个目标评估指标的指标评估分数、所述待评估数据对应的质量评估分数和所述待评估数据对应的质量评估信息中的部分或全部。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面的数据质量评估方法。
第四方面，本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现第一方面的数据质量评估方法。
第二方面至第四方面中任意一种实现方式所带来的技术效果可参见第一方面中对应的实现方式所带来的技术效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据质量评估方法的流程图；
图2为本申请实施例提供的另一种数据质量评估方法的流程图；
图3为本申请实施例提供的一种数据质量评估装置的结构示意图；
图4为本申请实施例提供的另一种数据质量评估装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
需要说明的是，本申请的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面将结合附图，对本申请实施例提供的技术方案进行详细说明。
本申请实施例提供了一种数据质量评估方法，如图1所示，包括如下步骤：
步骤S101，获取待评估数据，对待评估数据进行数据探查，得到待评估数据对应的数据信息。
可以获取待评估数据，并对待评估数据进行数据探查，得到待评估数据对应的数据探查分析结果，即待评估数据对应的数据信息。具体地，数据探查是通过自动探查、算法辅助、人工确认和可修改的方式提供数据定义的方式。数据探查分析结果主要包括：数据基本情况(数据量、存储大小、存储位置)、数据表信息(数据表分类、数据表结构信息、数据表分区信息)、字段信息(主键信息、外键信息、关键业务字段)、数据标准探查(标准数据元、标准数据项)等等。
步骤S102，响应对目标评估指标的选取指令，确定待评估数据对应的至少一个目标评估指标。
评估指标可以包括规范性指标、准确性指标、一致性指标和完整性指标。在获取到待评估数据后，响应于用户选择规范性指标、准确性指标、一致性指标和完整性指标中的至少一个评估指标的选取指令，可以确定出待评估数据对应的至少一个目标评估指标。
步骤S103，根据目标评估指标与评估规则之间的关联关系，确定待评估数据对应的目标评估规则。
每个评估指标中都可以包括有多个评估规则，并且，评估规则与评估指标之间存在有关联关系。因此，可以根据评估规则与评估指标之间的关联关系，来确定出目标评估指标对应的目标评估规则。例如，规范性指标的定义可以是检测数据是否符合数据规范，规范性指标包括的评估规则可以为分别对数据的表名、表注释、字段名、字段注释、字段类型的规范性进行检测；准确性指标的定义可以是基于数据元值域的规范要求，检测数据内容是否准确，准确性指标包括的评估规则可以为分别对数据的长度、格式、值域、类型、逻辑的准确性进行检测；一致性指标的定义可以是检测具有关联关系的字段是否一致，一致性指标包括的评估规则可以为对码值关联的一致性进行检测；完整性指标的定义可以是检测数据是否完整，完整性指标包括的评估规则可以为对数据的丢失和遗漏现象进行检测。假设确定待评估数据对应的目标评估指标为规范性指标和准确性指标，则可以分别根据规范性指标和准确性指标与评估规则之间的关联关系，确定待评估数据对应的目标评估规则为分别对待评估数据的表名、表注释、字段名的规范性进行检测，以及分别对待评估数据的长度、格式、类型的准确性进行检测。
步骤S104，根据目标评估规则和数据信息对待评估数据进行质量评估，得到待评估数据对应的规则评估分数和质量评估信息。
可以根据目标评估规则中的描述信息，确定出描述信息对应的规则内容，并根据该规则内容和待评估数据对应的数据信息对待评估数据进行质量评估。其中，如果描述信息指示规则内容位于数据标准知识库中，则可以从数据标准知识库中查找到该规则内容。
具体地，当目标评估规则为规范性指标、一致性指标和完整性指标下的评估规则时，可以将待评估数据与数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定待评估数据对应的目标标准数据格式和目标标准数据类型，并根据目标标准数据格式和目标标准数据类型确定目标评估规则对应的规则内容。例如，目标评估规则的描述信息为对待评估数据的命名的规范性进行检测，且该描述信息指示数据对应的规范表名需要从数据标准知识库中获取，则可以将待评估数据与数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定出待评估数据对应的目标标准数据格式和目标标准数据类型，即确定出待评估数据是何种数据以及待评估数据的详细数据信息，并根据目标标准数据格式和目标标准数据类型，在数据标准知识库中查找到对应的规则内容，然后可以根据该规则内容对待评估数据进行检测。
当目标评估规则为准确性指标下的评估规则时，可以将待评估数据与数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定待评估数据对应的目标标准数据格式和目标标准数据类型，并在数据元规则知识库中，查找与目标标准数据格式和目标标准数据类型相匹配的规则内容。例如，目标评估规则的描述信息为对待评估数据的长度的准确性进行检测，且该描述信息指示准确的数据长度需要从数据标准知识库中获取，则可以将待评估数据与数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定出待评估数据对应的目标标准数据格式和目标标准数据类型，并根据目标标准数据格式和目标标准数据类型，在数据标准知识库中查找到对应的规则内容，如果该规则内容位于数据元规则知识库中，则需要在数据元规则知识库中查找到对应的规则内容，然后根据该规则内容对待评估数据进行检测。
在一种实施例中，如果描述信息指示规则内容不位于数据标准知识库中，即可以直接根据描述信息确定出对应的规则内容，则可以根据该规则内容和待评估数据对应的数据信息对待评估数据进行质量评估。例如，目标评估规则可以为对码值关联的一致性进行检测，通过对待评估数据进行数据探查可以得到待评估数据对应的数据信息，且根据该数据信息确定出待评估数据中包括的码和值，则可以该目标评估规则对待评估数据中的码和值的码值关联的一致性进行质量评估。
根据目标评估规则和待评估数据对应的数据信息对待评估数据进行质量评估后，可以得到待评估数据对应的规则评估分数和质量评估信息。其中，待评估数据对应的规则评估分数为根据目标评估规则对应的分数计算逻辑计算得到的分数，例如，当目标评估规则为对数据的长度的准确性进行检测时，对数据的长度有效性分数计算的逻辑可以是：符合长度检测标准的数据总量/(参与检测的字段个数*检测行数)。待评估数据对应的质量评估信息为根据目标评估规则对应的规则内容确定待评估数据存在的问题信息，该问题信息中可以包括根据待评估数据对应的规则评估分数，确定出的待评估数据存在的问题等级，例如，根据待评估数据对应的规则评估分数可以确定出待评估数据存在的问题等级为高、中、低、信息，并且，若待评估数据对应的规则评估分数为(0～20)分，则可以确定待评估数据对应的问题等级为高，若待评估数据对应的规则评估分数为[20～60)分，则可以确定待评估数据对应的问题等级为中，若待评估数据对应的规则评估分数为[60～100)分，则可以确定待评估数据对应的问题等级为低，若待评估数据对应的规则评估分数为100分，则可以确定待评估数据对应的问题等级为信息。
步骤S105，根据目标评估指标包括的各个目标评估规则对应的规则权重，确定待评估数据对应的各个目标评估指标的指标评估分数，并根据各个目标评估指标对应的指标权重，确定待评估数据对应的质量评估分数。
可以根据目标评估指标包括的各个目标评估规则对应的规则权重，对各个规则评估分数进行加权平均，得到待评估数据对应的各个目标评估指标的指标评估分数。然后，根据各个目标评估指标对应的指标权重，对各个指标评估分数进行加权平均，得到待评估数据对应的质量评估分数。
例如，待评估数据对应的目标评估指标为A指标和B指标，且A指标包括的评估规则为A1和A2，B指标包括的评估规则为B1、B2和B3。待评估数据对应的评估规则A1的规则评估分数为90分，待评估数据对应的评估规则A2的规则评估分数为60分，待评估数据对应的评估规则B1的规则评估分数为40分，待评估数据对应的评估规则B2的规则评估分数为100分，待评估数据对应的评估规则B3的规则评估分数为80分。A指标对应的指标权重为0.7，B指标对应的指标权重为0.3，评估规则A1对应的规则权重为0.6，评估规则A2对应的规则权重为0.4，评估规则B1对应的规则权重为0.4，评估规则B2对应的规则权重为0.3，评估规则B3对应的规则权重为0.3。则可以得到待评估数据对应的A指标的指标评估分数为90×0.6+60×0.4＝78分，待评估数据对应的B指标的指标评估分数为40×0.4+100×0.3+80×0.3＝70分，待评估数据对应的质量评估分数为78×0.7+70×0.3＝75.6分。
其中，目标评估指标包括的各个目标评估规则对应的规则权重和各个目标评估指标对应的指标权重是通过层次分析法构建判断矩阵得到的。
层次分析法(AnalyticHierarchy Process，AHP)是对定性问题进行定量分析的一种简单、灵活、实用的多准则决策方法，其主要内容是判断矩阵的构建及其一致性检验。
从对计量数据质量实际感知程度和理论认为重要程度两方面进行专家打分，打分采用1-9等比标度法形成判断矩阵，判断矩阵标度及含义如下表所示，按照表格形成判断矩阵A后，层次分析法权重求解一致性检验过程如下：
判断矩阵标度及含义可以如表1所示：
判断矩阵A为
计算特征向量和最大特征值，通过数据归一化分别计算得到每个评估指标对应的指标权重和每个评估规则对应的规则权重。
采用方根法求解判断矩阵A的特征向量近似解和最大特征值，求解过程首先是计算判断矩阵每一行元素的乘积的n次方根为
进行归一化处理，获得每个评估指标对应的指标权重和每个评估规则对应的规则权重。计算每行乘积n次方根与方根和的商，构成特征向量Wi＝(w1，w2，…，wn)T，
计算判断矩阵A的最大特征值λmax，
其中，A为判断矩阵，(AW)i表示向量AW的第i个元素。
检验判断矩阵的一致性。一致性检验指标CR的计算公式为：
其中，RI为随机一致性指标，可查表获得。若CR<0.1，则A通过一致性检验；如果不通过，必须修正原判断矩阵，直到一致性检验通过，此时特征向量近似解即为各个元素的权重系数。
在一种实施例中，在确定出待评估数据对应的质量评估分数之后，还可以输出待评估数据对应的质量评估结果。该质量评估结果中可以包括待评估数据对应的各个目标评估指标的指标评估分数、待评估数据对应的质量评估分数和待评估数据对应的质量评估信息中的部分或全部。
在另一种实施例中，在对待评估数据进行质量评估之前，可以获取待评估数据。具体地，当待评估数据为表时，可以按照以下过程获取待评估数据：首先，录入数据源基本信息：数据源基本信息主要是业务系统用于存储数据的数据库配置信息，包括但不限于：ip地址、数据库名称、用户名、密码等等；其次，采集表结构：通过数据源配置信息，采集数据库中的表结构信息，用于后续数据探查；最后，添加待质量评估的表：可以单张或批量添加待质量评估的表，添加到待数据探查和质量评估的列表中。
本申请实施例提供的数据质量评估方法，可以获取待评估数据，并对待评估数据进行数据探查，得到待评估数据对应的数据信息，响应于对目标评估指标的选取指令，确定待评估数据对应的至少一个目标评估指标，根据目标评估指标与评估规则之间的关联关系，确定出待评估数据对应的目标评估规则，并根据目标评估规则和数据信息对待评估数据进行质量评估，得到待评估数据对应的规则评估分数和质量评估信息，再根据目标评估指标包括的各个目标评估规则对应的规则权重，确定待评估数据对应的各个目标评估指标的指标评估分数，并根据各个目标评估指标对应的指标权重，确定待评估数据对应的质量评估分数。由于可以根据多个评估指标对应的评估规则自动地对数据进行质量评估，从而可以提高对数据进行质量评估的效率，以及得到较为准确的数据质量评估结果。
在一些实施例中，本申请提出的数据质量评估方法还可以按照图2中示出的过程进行实现。如图2所示，可以包括如下步骤：
步骤S201，构建数据标准知识库和数据元规则知识库。
其中，数据标准知识库中可以包括：数据元、限定词、数据字典、数据项等等。数据元规则知识库中可以包括：通用数据质量规则，例如，身份证18位长度校验规则、邮箱格式校验规则、日期类型数据格式校验规则等等，和自定义数据质量规则。当通用数据质量规则不满足数据质量检测时，可通过用户自定义质量规则对数据的质量进行检测。
并且，可以对数据标准知识库和数据元规则知识库中包括的知识进行持续性更新。
步骤S202，构建数据质量评估指标体系。
数据质量评估指标体系中可以包括多个评估指标，每个评估指标下包括有多个评估规则，可以根据每个评估规则对应的规则内容对数据进行质量评估。在对数据进行质量评估时，用户可以根据业务需求，选择数据质量评估的指标体系。
在本申请实施例中，数据质量评估体系中可以包括：规范性、准确性、一致性、完整性。其中，规范性主要根据数据治理规范、数据元标准、数据项标准等，对数据的表名、表注释、字段名、字段注释、字段类型进行校验数据是否规范；准确性主要基于数据元值域规范要求，对数据从长度、格式、值域、类型、逻辑上进行校验数据内容是否准确；一致性主要是检测具有关联关系的字段是否一致，例如：码值关联的一致性；完整性主要检测数据信息是否完整，数据是不是出现丢失、遗漏现象。
步骤S203，基于AHP计算指标权重。
通过数据质量评估指标体系间的层次关系，通过构造判断矩阵，计算得到每个评估指标对应的指标权重和每个评估规则对应的规则权重。
其中，数据质量评估指标体系由可以一个三级指标构成，第一级指标为评估指标，第二级指标为中间评估指标，第三级指标为评估规则。例如，评估指标为指标A、指标B和指标C，则指标A可以包括有2个中间评估指标A1和A2，指标B可以包括有1个中间评估指标B1，指标C可以包括有3个中间评估指标C1、C2和C3。中间评估指标A1可以包括评估规则A11和A12共2个评估规则，中间评估指标A2可以包括评估规则A21、A22和A23共3个评估规则，中间评估指标B1可以包括评估规则B11和B12共2个评估规则，中间评估指标C1可以包括评估规则C11、C12和C13共3个评估规则，中间评估指标C2可以包括评估规则C21和C22共2个评估规则，中间评估指标C3可以包括评估规则C31、C32、C33和C34共4个评估规则。则可以基于AHP分别计算得到评估指标A、B和C对应的指标权重，中间评估指标A1、A2、B1、C1、C2和C3对应的指标权重，评估规则A11、A12、A21、A22、A23、B11、B12、C11、C12和C13对应的规则权重。并且，每个中间评估指标下包括的评估规则对应的规则权重之和等于1，每个评估指标下包括的中间评估指标对应的指标权重之和等于1，每个评估指标对应的指标权重之和等于1。
步骤S204，构建数据质量评估模型。
基于用户所选择的质量评估指标体系，对指标权重和规则权重做归一化处理，并结合不同数据的特性，建立最优模型。
步骤S205，基于数据质量评估模型对数据进行质量评估。
构建得到的数据质量评估模型可以为：G＝f(W，E，V)。
具体公式可以为：G＝(W1⊙F1⊙E1)(W2⊙F2⊙E2)(W3⊙F3⊙E3)V。
其中，
G为质量评估分数，W为权重，可以包括三级权重，即包括评估指标对应的指标权重，中间评估指标对应的指标权重和评估规则对应的规则权重，并且，权重大小代表指标重要程度。E为指标集标记位，通过E可以实现评估指标动态选择的效果，即通过E可以选择三级指标中的任一级指标。V为三级指标量化结果。F为归一化矩阵，用于调节选择矩阵变化带来的权重变化。
在构建完成数据质量评估模型后，可以基于该数据质量评估模型对数据进行质量评估。
步骤S206，输出质量评估结果。
通过数据质量评估模型对数据进行质量评估，可以得到数据对应的质量评估结果，该质量评估结果可以包括数据质量综合分数、各质量评估指标分数、问题等级和问题数据明细。其中，问题数据明细可以包括有检查的数据量、有问题的数据条数、问题码、问题数据示例等。并且，得到的质量评估结果可以通过可视化的方式进行展示。
本申请实施例提供的数据质量评估方法，与现有技术相比，可以具有以下优点：
一，通过构造知识库，可以持续沉淀对数据标准和质量检测规则的认识和积累，且知识库可以随着项目能够复用，极大推动整个数据治理体系的效率。
二，将数据的规范性纳入到数据质量的检测中，一定程度上约束用户行为，推动数据标准化建设。
三，通过将数据探查作为数据质量评估的前提，可以加深对数据信息的深挖和对数据的理解。并通过数据探查进行数据对标，通过对标后的数据元匹配相对应的数据元检测规则，不用预设检测字段，扩大数据的质量检测范围，发现更多数据质量问题。
与图1所示的数据质量评估方法基于同一发明构思，本申请实施例中还提供了一种数据质量评估装置。由于该装置是本申请数据质量评估方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见上述方法的实施，重复之处不再赘述。
图3示出了本申请实施例提供的一种数据质量评估装置的结构示意图，如图3所示，该数据质量评估装置包括数据信息获取单元301、评估指标确定单元302、评估规则确定单元303、第一结果确定单元304和第二结果确定单元305。
其中，数据信息获取单元301，用于获取待评估数据，对待评估数据进行数据探查，得到待评估数据对应的数据信息；
评估指标确定单元302，响应对目标评估指标的选取指令，确定待评估数据对应的至少一个目标评估指标；
评估规则确定单元303，用于根据目标评估指标与评估规则之间的关联关系，确定待评估数据对应的目标评估规则；
第一结果确定单元304，用于根据目标评估规则和数据信息对待评估数据进行质量评估，得到待评估数据对应的规则评估分数和质量评估信息；
第二结果确定单元305，用于根据评估指标包括的各个评估规则对应的规则权重，确定待评估数据对应的各个评估指标的指标评估分数，并根据各个评估指标对应的指标权重，确定待评估数据对应的质量评估分数。
在一种可选的实施例中，第一结果确定单元304，具体用于：
根据目标评估规则中的描述信息，确定描述信息对应的规则内容，并根据规则内容和数据信息对待评估数据进行质量评估。
在一种可选的实施例中，第一结果确定单元304，还用于：
若描述信息指示规则内容位于数据标准知识库中，则从数据标准知识库中查找到规则内容。
在一种可选的实施例中，第一结果确定单元304，还用于：
将待评估数据与数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定待评估数据对应的目标标准数据格式和目标标准数据类型，并根据目标标准数据格式和目标标准数据类型确定第二目标评估规则对应的规则内容；或
将待评估数据与数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定待评估数据对应的目标标准数据格式和目标标准数据类型，并在数据元规则知识库中，查找与目标标准数据格式和目标标准数据类型相匹配的规则内容。
在一种可选的实施例中，第二结果确定单元305，具体用于：
根据评估指标包括的各个评估规则对应的规则权重，对各个规则评估分数进行加权平均，得到待评估数据对应的各个评估指标的指标评估分数；
根据各个评估指标对应的指标权重，对各个指标评估分数进行加权平均，得到待评估数据对应的质量评估分数。
在一种可选的实施例中，评估指标包括的各个评估规则对应的规则权重和各个评估指标对应的指标权重是通过层次分析法构建判断矩阵得到的。
在一种可选的实施例中，如图4所示，上述装置还可以包括评估结果输出单元401，用于：
输出待评估数据对应的质量评估结果；质量评估结果包括待评估数据对应的各个评估指标的指标评估分数、待评估数据对应的质量评估分数和待评估数据对应的质量评估信息中的部分或全部。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。该电子设备可以用于对数据进行质量评估。在一种实施例中，该电子设备可以是服务器，也可以是终端设备或其他电子设备。在该实施例中，电子设备的结构可以如图5所示，包括存储器501，通讯模块503以及一个或多个处理器502。
存储器501，用于存储处理器502执行的计算机程序。存储器501可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器501可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器501也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器501是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器501可以是上述存储器的组合。
处理器502，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器502，用于调用存储器501中存储的计算机程序时实现上述数据质量评估方法。
通讯模块503用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器501、通讯模块503和处理器502之间的具体连接介质。本公开实施例在图5中以存储器501和处理器502之间通过总线504连接，总线504在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线504可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的数据质量评估方法。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种数据质量评估方法，其特征在于，所述方法包括：
获取待评估数据，对所述待评估数据进行数据探查，得到所述待评估数据对应的数据信息；
响应对目标评估指标的选取指令，确定所述待评估数据对应的至少一个目标评估指标；
根据所述目标评估指标与评估规则之间的关联关系，确定所述待评估数据对应的目标评估规则；
根据所述目标评估规则和所述数据信息对所述待评估数据进行质量评估，得到所述待评估数据对应的规则评估分数和质量评估信息；
根据所述目标评估指标包括的各个目标评估规则对应的规则权重，确定所述待评估数据对应的各个目标评估指标的指标评估分数，并根据各个目标评估指标对应的指标权重，确定所述待评估数据对应的质量评估分数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标评估规则和所述数据信息对所述待评估数据进行质量评估，包括：
根据所述目标评估规则中的描述信息，确定所述描述信息对应的规则内容，并根据所述规则内容和所述数据信息对所述待评估数据进行质量评估。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标评估规则中的描述信息，确定所述描述信息对应的规则内容，包括：
若所述描述信息指示所述规则内容位于数据标准知识库中，则从所述数据标准知识库中查找到所述规则内容。
4.根据权利要求3所述的方法，其特征在于，所述从所述数据标准知识库中查找到所述规则内容，包括：
将所述待评估数据与所述数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定所述待评估数据对应的目标标准数据格式和目标标准数据类型，并根据所述目标标准数据格式和目标标准数据类型确定所述目标评估规则对应的规则内容；或
将所述待评估数据与所述数据标准知识库中的标准数据格式和标准数据类型进行匹配，确定所述待评估数据对应的目标标准数据格式和目标标准数据类型，并在数据元规则知识库中，查找与所述目标标准数据格式和所述目标标准数据类型相匹配的规则内容。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标评估指标包括的各个目标评估规则对应的规则权重，确定所述待评估数据对应的各个目标评估指标的指标评估分数，并根据各个目标评估指标对应的指标权重，确定所述待评估数据对应的质量评估分数，包括：
根据所述目标评估指标包括的各个目标评估规则对应的规则权重，对各个规则评估分数进行加权平均，得到所述待评估数据对应的各个目标评估指标的指标评估分数；
根据各个目标评估指标对应的指标权重，对各个指标评估分数进行加权平均，得到所述待评估数据对应的质量评估分数。
6.根据权利要求5所述的方法，其特征在于，所述目标评估指标包括的各个目标评估规则对应的规则权重和所述各个目标评估指标对应的指标权重是通过层次分析法构建判断矩阵得到的。
7.根据权利要求1～6中任一项所述的方法，其特征在于，所述确定所述待评估数据对应的质量评估分数之后，所述方法还包括：
输出所述待评估数据对应的质量评估结果；所述质量评估结果包括所述待评估数据对应的各个目标评估指标的指标评估分数、所述待评估数据对应的质量评估分数和所述待评估数据对应的质量评估信息中的部分或全部。
8.一种数据质量评估装置，其特征在于，包括：
数据信息获取单元，用于获取待评估数据，对所述待评估数据进行数据探查，得到所述待评估数据对应的数据信息；
评估指标确定单元，用于响应对目标评估指标的选取指令，确定所述待评估数据对应的至少一个目标评估指标；
评估规则确定单元，用于根据所述目标评估指标与评估规则之间的关联关系，确定所述待评估数据对应的目标评估规则；
第一结果确定单元，用于根据所述目标评估规则和所述数据信息对所述待评估数据进行质量评估，得到所述待评估数据对应的规则评估分数和质量评估信息；
第二结果确定单元，用于根据所述目标评估指标包括的各个目标评估规则对应的规则权重，确定所述待评估数据对应的各个目标评估指标的指标评估分数，并根据各个目标评估指标对应的指标权重，确定所述待评估数据对应的质量评估分数。
9.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1～7中任一项所述的方法。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1～7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110765722.6A CN113468034A (zh) | 2021-07-07 | 2021-07-07 | 数据质量评估方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110765722.6A CN113468034A (zh) | 2021-07-07 | 2021-07-07 | 数据质量评估方法、装置、存储介质和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113468034A true CN113468034A (zh) | 2021-10-01 |
Family
ID=77878702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110765722.6A Pending CN113468034A (zh) | 2021-07-07 | 2021-07-07 | 数据质量评估方法、装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113468034A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114547101A (zh) * | 2022-01-13 | 2022-05-27 | 北京元年科技股份有限公司 | 数据中台的数据质量评估方法、装置、设备及存储介质 |
| CN114580982A (zh) * | 2022-05-07 | 2022-06-03 | 昆仑智汇数据科技(北京)有限公司 | 一种工业设备的数据质量的评估方法、装置及设备 |
| CN115080552A (zh) * | 2022-06-21 | 2022-09-20 | 北京友友天宇系统技术有限公司 | 数据质量评价方法、装置、设备和计算机可读存储介质 |
| CN116204515A (zh) * | 2022-12-21 | 2023-06-02 | 广州城市规划技术开发服务部有限公司 | 一种基于数据质量定义的数据质量量化计算方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140379409A1 (en) * | 2013-06-21 | 2014-12-25 | International Business Machines Corporation | Systems engineering solution analysis |
| CN107368957A (zh) * | 2017-07-04 | 2017-11-21 | 广西电网有限责任公司电力科学研究院 | 一种设备状态监测数据质量评测体系的构建方法 |
| CN109492683A (zh) * | 2018-10-30 | 2019-03-19 | 国网湖南省电力有限公司 | 一种针对广域量测电力大数据数据质量的快速在线评估方法 |
| CN109522746A (zh) * | 2018-11-07 | 2019-03-26 | 平安医疗健康管理股份有限公司 | 一种数据处理方法、电子设备及计算机存储介质 |
| CN111143623A (zh) * | 2019-12-31 | 2020-05-12 | 科技谷（厦门）信息技术有限公司 | 一种大数据环境下的数据质量监控方法 |
| CN111339215A (zh) * | 2019-05-31 | 2020-06-26 | 北京东方融信达软件技术有限公司 | 结构化数据集质量评价模型生成方法、评价方法及装置 |
-
2021
- 2021-07-07 CN CN202110765722.6A patent/CN113468034A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140379409A1 (en) * | 2013-06-21 | 2014-12-25 | International Business Machines Corporation | Systems engineering solution analysis |
| CN107368957A (zh) * | 2017-07-04 | 2017-11-21 | 广西电网有限责任公司电力科学研究院 | 一种设备状态监测数据质量评测体系的构建方法 |
| CN109492683A (zh) * | 2018-10-30 | 2019-03-19 | 国网湖南省电力有限公司 | 一种针对广域量测电力大数据数据质量的快速在线评估方法 |
| CN109522746A (zh) * | 2018-11-07 | 2019-03-26 | 平安医疗健康管理股份有限公司 | 一种数据处理方法、电子设备及计算机存储介质 |
| CN111339215A (zh) * | 2019-05-31 | 2020-06-26 | 北京东方融信达软件技术有限公司 | 结构化数据集质量评价模型生成方法、评价方法及装置 |
| CN111143623A (zh) * | 2019-12-31 | 2020-05-12 | 科技谷（厦门）信息技术有限公司 | 一种大数据环境下的数据质量监控方法 |
Non-Patent Citations (3)
| Title |
|---|
| LIHUA KONG 等: "A Data Quality Evaluation Index for Data Journals", BIGSDM 2018, 31 December 2019 (2019-12-31), pages 291 - 300 * |
| 刘芳;李敏;任洪敏;周兆明;: "基于规则库的数据质量评估方法", 计算机系统应用, no. 11, 15 November 2017 (2017-11-15), pages 165 - 169 * |
| 程芳等: "基于业务规则的数据质量管理方法研究", 标准科学, no. 2, 31 December 2018 (2018-12-31), pages 1 - 4 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114547101A (zh) * | 2022-01-13 | 2022-05-27 | 北京元年科技股份有限公司 | 数据中台的数据质量评估方法、装置、设备及存储介质 |
| CN114547101B (zh) * | 2022-01-13 | 2023-04-28 | 北京元年科技股份有限公司 | 数据中台的数据质量评估方法、装置、设备及存储介质 |
| CN114580982A (zh) * | 2022-05-07 | 2022-06-03 | 昆仑智汇数据科技(北京)有限公司 | 一种工业设备的数据质量的评估方法、装置及设备 |
| CN115080552A (zh) * | 2022-06-21 | 2022-09-20 | 北京友友天宇系统技术有限公司 | 数据质量评价方法、装置、设备和计算机可读存储介质 |
| CN116204515A (zh) * | 2022-12-21 | 2023-06-02 | 广州城市规划技术开发服务部有限公司 | 一种基于数据质量定义的数据质量量化计算方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113468034A (zh) | 数据质量评估方法、装置、存储介质和电子设备 | |
| CN107341716B (zh) | 一种恶意订单识别的方法、装置及电子设备 | |
| CN110210508B (zh) | 模型生成方法、异常流量检测方法、装置、电子设备、计算机可读存储介质 | |
| CN107766467B (zh) | 一种信息检测方法、装置、电子设备及存储介质 | |
| CN112346993B (zh) | 一种情报分析引擎的测试方法、装置及设备 | |
| CN112818162A (zh) | 图像检索方法、装置、存储介质和电子设备 | |
| CN110348215B (zh) | 异常对象识别方法、装置、电子设备及介质 | |
| CN117312688B (zh) | 基于时空资产目录的跨源数据检索方法、介质及设备 | |
| CN109214634A (zh) | 一种信息处理方法、装置及信息处理可读介质 | |
| CN118037035A (zh) | 企业风险识别方法、装置、计算机设备及存储介质 | |
| CN111581235B (zh) | 识别常见关联关系的方法及系统 | |
| CN113656354A (zh) | 日志分类方法、系统、计算机设备和可读存储介质 | |
| CN117272145A (zh) | 转辙机的健康状态评估方法、装置和电子设备 | |
| CN111783883A (zh) | 一种异常数据的检测方法及装置 | |
| CN112883267A (zh) | 基于深度学习的数据热度统计方法及装置 | |
| CN112034139A (zh) | 岩爆倾向性等级的判别方法、装置及电子设备 | |
| CN113986970B (zh) | 一种基于基线库数据的量费计算结果检测方法 | |
| CN113159537B (zh) | 电网新技术项目的评估方法、装置和计算机设备 | |
| CN115204501A (zh) | 企业评估方法、装置、计算机设备和存储介质 | |
| CN114782224A (zh) | 基于用户特征的网页考评作弊监测方法、装置及电子设备 | |
| CN114491699A (zh) | 基于拓展区间数的三维cad软件易用性量化方法及装置 | |
| CN113886373A (zh) | 一种数据处理方法、装置及电子设备 | |
| CN113407411A (zh) | 一种直播场景中线上数据的准确性监测装置及方法 | |
| CN117933832B (zh) | 航天器地面等效性试验的指标权重评估方法 | |
| Zyga | Data selection as the basis for better value modelling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |