CN106503206A - 一种基于熵权法的通用数据质量评估方法 - Google Patents

Abstract

本发明涉及一种基于熵权法的通用数据质量评估方法，包括以下步骤：（1）根据评估指标，建立指标数据质量评估模型；（2）根据评估指标模型，结合数据质量评估场景，优化评估指标权重；（3）应用评估模型核查数据质量。本发明解决了数据质量核查规则维护管理工作量大、核查算法复用困难等问题，与以往传统的数据质量核查工作方式相比，采用本方法可有效减少人工脚本编写工作量、提高工作成果复用度，平均工作效率提升在46%以上。

Description

一种基于熵权法的通用数据质量评估方法

技术领域

本发明涉及数据质量评估技术领域，具体涉及一种基于熵权法的通用数据质量评估方法。

背景技术

长期以来，由于数据质量涉及包括业务在内的多种复杂因素，很难使用一种通用的方法进行评估，目前普遍采用的是基于核查规则的方式，通过在数据准确性、完整性、及时性、一致性等质量维度下定义核查规则，计算通过核查规则验证的数据量占总数据量的比重评估和量化数据质量，采用该方式，主要存在以下问题：1、管理与维护大量与业务相关的数据质量规则超出了IT部门的工作范围与能力范围；2、复杂的规则配置操作使业务部门望而生畏；3、数据质量规则基于具体的数据项定义，且同一数据项往往涉在不同维度涉及多项质量规则，维护工作繁琐、量大。

发明内容

本发明的目的在于提供一种基于熵权法的通用数据质量评估方法，解决数据质量核查规则维护管理工作量大、核查算法复用困难等问题。

为实现上述目的，本发明采用了以下技术方案：

一种基于熵权法的通用数据质量评估方法，包括以下步骤：

(1)根据评估指标，建立指标数据质量评估模型；

(2)根据评估指标模型，结合数据质量评估场景，优化评估指标权重；

(3)应用评估模型核查数据质量。

所述指标包括合规性、及时性、准确性、一致性和完整性。

所述合规性指标的数据质量评估模型，采用以下公式：

其中，S_da表示合规率，n表示评估数据表个数，D_dq表示一个数据中违反规则的记录或字段个数，C_r表示一个数据表的实际记录或字段个数。

所述及时性指标的数据质量评估模型，采用以下公式：

其中，S_tt表示数据表及时率，T_q表示违反规则的数据表个数，n表示评估数据表个数。

所述准确性指标的数据质量评估模型，采用以下公式：

其中，S′_da表示准确率，n表示评估数据表个数，D_dq表示一个数据中违反规则的记录或字段个数，C_r表示一个数据表的实际记录或字段个数。

所述一致性指标的数据质量评估模型，采用以下公式：

其中，S_dcons表示一致率，n表示评估数据表个数，D′_dq表示一个数据中违反规则的记录个数，C_r′表示一个数据表的实际记录个数。

所述完整性指标的数据质量评估模型，采用以下公式：

其中，S_dcom表示完整率，n表示评估数据表个数，D_dq表示一个数据中违反规则的记录或字段个数，C_r表示一个数据表的实际记录或字段个数。

上述步骤中，步骤(2)，所述根据评估指标模型，结合数据质量评估场景，优化评估指标权重，具体包括以下步骤：

(21)应用专家评分法确定各项数据质量度量指标对核查对象的适用程度；

(22)通过数据标准化消除专家评分过程中的个性化差异；

(23)通过信息熵评估各项数据质量度量指标包含的信息量；

(24)综合适用程度和信息量得到指标权重。

上述步骤中，步骤(3)，所述应用评估模型核查数据质量，具体包括以下步骤：

(31)根据指标数据质量评估模型，确定数据质量核查组件；

(32)根据指标权重配置数据质量核查组件参数；

(33)设定数据质量核查范围；

(34)执行数据质量核查过程。

由上述技术方案可知，本发明可应用于政府机关、企事业单位等各类社会组织的信息化数据治理、数据分析挖掘、数据交易评估等工作。通过建立通用的数据质量评估模型、标准化的质量核查过程，以一致的方法定义数据质量、建立数据质量评价指标，结合具体场景借助熵权法优化各质量评估指标权重，支撑数据问题的根因分析，并可结合信息化技术固化形成通用数据质量核查组件和自动化工具，解决了数据质量核查规则维护管理工作量大、核查算法复用困难等问题。与以往传统的数据质量核查工作方式相比，采用本方法可有效减少人工脚本编写工作量、提高工作成果复用度，平均工作效率提升在46％以上。

附图说明

图1是本发明的流程图；

图2是本发明步骤2的流程图；

图3是本发明步骤3的流程图。

具体实施方式

下面结合附图对本发明做进一步说明：

信息熵是用来度量随机变量不确定程度，可以用来解决信息量的度量问题，如果某评价指标的熵越小，说明该指标提供的信息量就越大，在综合评价中所起的作用就越大，权重就越高；应用评估模型核查数据质量是指基于信息化技术，将通用数据质量评估模型的各评估维度、评估指标的算法固化为程序组件，提供可灵活调用的核查数据接入接口和核查控制接口，结合前两个过程结果，应用程序将各组件动态组合，在具体的数据质量评估场景中完成数据质量评估模型的实例化，运行以产生数据质量评估结果。

如图1～3所示，一种基于熵权法的通用数据质量评估方法，包括以下步骤：

S1：根据评估指标，建立指标数据质量评估模型，该指标包括合规性、及时性、准确性、一致性和完整性；

S11：合规性是指数据符合既有格式、规范，值域有效的程度，数据合规性指标的数据质量评估模型，采用以下公式：

其中，S_da表示合规率，n表示评估数据表个数，D_dq表示一个数据中违反规则的记录或字段个数，C_r表示一个数据表的实际记录或字段个数。

S12：及时性是指用户在正确的时间，获得所需数据的能力和程度，与数据可用性相关，该及时性指标的数据质量评估模型，采用以下公式：

其中，S_tt表示数据表及时率，T_q表示违反规则的数据表个数，n表示评估数据表个数。

S13：准确性是指数据符合预期规则的程度，通常可基于常识、硬性规定和技术标准进行定义，该准确性指标的数据质量评估模型，采用以下公式：

其中，S′_da表示准确率，n表示评估数据表个数，D_dq表示一个数据中违反规则的记录或字段个数，C_r表示一个数据表的实际记录或字段个数。

S14：一致性是指同类数据间、或同一数据随时间变化情况下，对等效数据集的符合程度，该一致性指标的数据质量评估模型，采用以下公式：

其中，S_dcons表示一致率，n表示评估数据表个数，D′_dq表示一个数据中违反规则的记录个数，C_r′表示一个数据表的实际记录个数。

S15：完整性是指数据对数据模型及数据关联关系的符合程度，该完整性指标的数据质量评估模型，采用以下公式：

其中，S_dcom表示完整率，n表示评估数据表个数，D_dq表示一个数据中违反规则的记录或字段个数，C_r表示一个数据表的实际记录或字段个数。

S2：根据评估指标模型，结合数据质量评估场景，优化评估指标权重；

确定各项评估指标权重是指结合数据质量评估场景，应用信息熵对通用数据质量模型各维度、指标权重进行优化，信息熵是用来度量随机变量不确定程度，可以用来解决信息量的度量问题，如果某评价指标的熵越小，说明该指标提供的信息量就越大，在综合评价中所起的作用就越大，权重就越高。

通用数据质量模型是一个关于数据质量评估指标的全量集合，在实际的质量核查工作中不可能、也不必要全部采用，需结合具体情况，运用熵权法确定各指标权重，通过加权平均计算对通用质量评估模型进行优化、裁剪，具体过程如下：

S21：应用专家评分法确定各项数据质量度量指标对核查对象的适用程度：

指标专家评分是指邀请3个以上专家对各数据质量指标的重要性进行评价，专家基于本人经验以及对数据质量核查工作的认识，将各指标分为0－不必要，1－次要的，2－一般，3－重要的四个等级，形成专家评份表。

S22：通过数据标准化消除专家评分过程中的个性化差异：

数据标准化是指运用归一法对多位专家的评分结果进行综合分析，形成指标得分标准化表，假设给定了k个指标X₁，X₂，...，X_k，其中X_i＝{x₁，x₂，...，x_n}。假设对各指标数据标准化后的值为Y₁，Y₂，...，Y_k，那么

S23：通过信息熵评估各项数据质量度量指标包含的信息量

计算信息熵是指基于计算公式将各指标数据标准化得分值代入计算得到各项数据质量评估指标信息熵。其中如果p_ij＝0，则定义

S24：综合适用程度和信息量得到指标权重

确定指标权重是指根据信息熵确定各指标在质量核查工作中的权重，假设计算出各个指标的信息熵为E₁，E₂，...，E_k，通过信息熵计算各指标的权重：最后基于层次分析法构建适用于质量核查工作需要的、经优化的数据质量评估模型。

S3：应用评估模型核查数据质量。

应用评估模型核查数据质量是指基于信息化技术，将通用数据质量评估模型的各评估维度、评估指标的算法固化为程序组件，提供可灵活调用的核查数据接入接口和核查控制接口，结合前两个过程结果，应用程序将各组件动态组合，在具体的数据质量评估场景中完成数据质量评估模型的实例化，运行以产生数据质量评估结果。

如前所述，在实际核查工作中，涉及的数据质量指标项、各指标项的计算规则间差异较大，目前主要采用针对各指标项编写个性化核查脚本的方式进行，存在工作量大、成果难以复用等问题，本发明基于组件化“拼装”思路，将数据质量核查工作分解到具体的指标计算方法，同时分离数据接入接口和控制接口，提高了核查规则复用度：

S31：依据通用数据质量度量指标开发数据质量核查组件:

数据质量核查组件开发是以每一核查指标为单位，将各个评估指标的算法固化为程序组件，并按照统一规格提供核查控制接口、核查控制参数、数据接入接口、结果输出接口，参照通用数据质量评估模型形成数据质量核查组件集合。

S32：基于指标权重配置数据质量核查组件参数:

配置数据接口和控制接口是指以前一阶段优化评估权重的结果为输入，通过编写驱动程序和配置文件完成数据质量核查组件的组装，构建形成面向特定需求的数据质量核查应用。

S33：确定数据质量核查范围:

接入数据是指完成待核查数据库的连接，并设定核查业务数据范围。

S34：执行数据质量核查过程：

执行核查运算是指通过驱动程序和控制接口依次调用各数据质量核查组件，依据核查情况生成异动数据快照和核查结果，完成数据质量核查工作的过程。

本发明所述的基于熵权法的通用数据质量评估方法，可为企业数据质量核查工作开展提供全过程指引，将数据质量模型、数据质量规则管理简化为组件和参数的管理，同时提高了核查工作的规范程度、减少了脚本编写工作与人工出错机会，可为企业级数据治理、数据分析挖掘、数据交易评估等工作提供有力支撑。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.一种基于熵权法的通用数据质量评估方法，其特征在于，包括以下步骤：

(1)根据评估指标，建立指标数据质量评估模型；

(2)根据评估指标模型，结合数据质量评估场景，优化评估指标权重；

(3)应用评估模型核查数据质量。

2.根据权利要求1所述的基于熵权法的通用数据质量评估方法，其特征在于：所述指标包括合规性、及时性、准确性、一致性和完整性。

3.根据权利要求2所述的基于熵权法的通用数据质量评估方法，其特征在于：所述合规性指标的数据质量评估模型，采用以下公式：

$S_{da}=(1-\frac{{\mathrm{\Σ}}_1^n{D}_{dq}}{{\mathrm{\Σ}}_1^n{C}_r})\×100\%$

其中，S_da表示合规率，n表示评估数据表个数，D_dq表示一个数据中违反规则的记录或字段个数，C_r表示一个数据表的实际记录或字段个数。

4.根据权利要求2所述的基于熵权法的通用数据质量评估方法，其特征在于：所述及时性指标的数据质量评估模型，采用以下公式：

$S_{tt}=(1-\frac{T_q}{n})\×100\%$

其中，S_tt表示数据表及时率，T_q表示违反规则的数据表个数，n表示评估数据表个数。

5.根据权利要求2所述的基于熵权法的通用数据质量评估方法，其特征在于：所述准确性指标的数据质量评估模型，采用以下公式：

$S_{da}^{\′}=(1-\frac{{\mathrm{\Σ}}_1^n{D}_{dq}}{{\mathrm{\Σ}}_1^n{C}_r})\×100\%$

其中，S′_da表示准确率，n表示评估数据表个数，D_dq表示一个数据中违反规则的记录或字段个数，C_r表示一个数据表的实际记录或字段个数。

6.根据权利要求2所述的基于熵权法的通用数据质量评估方法，其特征在于：所述一致性指标的数据质量评估模型，采用以下公式：

$S_{dcons}=(1-\frac{{\mathrm{\Σ}}_1^n{D}_{dq}^{\′}}{{\mathrm{\Σ}}_1^n{C}_r^{\′}})\×100\%$

其中，S_dcons表示一致率，n表示评估数据表个数，D′_dq表示一个数据中违反规则的记录个数，C′_r表示一个数据表的实际记录个数。

7.根据权利要求2所述的基于熵权法的通用数据质量评估方法，其特征在于：所述完整性指标的数据质量评估模型，采用以下公式：

$S_{dcom}=(1-\frac{{\mathrm{\Σ}}_1^n{D}_{dq}}{{\mathrm{\Σ}}_1^n{C}_r})\×100\%$

其中，S_dcom表示完整率，n表示评估数据表个数，D_dq表示一个数据中违反规则的记录或字段个数，C_r表示一个数据表的实际记录或字段个数。

8.根据权利要求1所述的基于熵权法的通用数据质量评估方法，其特征在于：步骤(2)，所述根据评估指标模型，结合数据质量评估场景，优化评估指标权重，具体包括以下步骤：

(21)应用专家评分法确定各项数据质量度量指标对核查对象的适用程度；

(22)通过数据标准化消除专家评分过程中的个性化差异；

(23)通过信息熵评估各项数据质量度量指标包含的信息量；

(24)综合适用程度和信息量得到指标权重。

9.根据权利要求1所述的基于熵权法的通用数据质量评估方法，其特征在于：步骤(3)，所述应用评估模型核查数据质量，具体包括以下步骤：

(31)根据指标数据质量评估模型，确定数据质量核查组件；

(32)根据指标权重配置数据质量核查组件参数；

(33)设定数据质量核查范围；

(34)执行数据质量核查过程。