CN115719181A - 一种数据质量的分析方法及装置 - Google Patents

Abstract

本申请提供了一种数据质量的分析方法及装置，方法包括：创建数据质量评分卡，建数据质量评分卡指示了待评估对象；响应于对数据质量评分卡执行的规则配置操作，从预创建的多项核验规则中，确定数据质量评分卡所关联的至少一项目标核验规则，核验规则用于对数据进行质量核验；运行数据质量评分卡，以根据每项目标核验规则，对待评估对象对应的待分析数据进行数据质量评分，得到待评估对象对应的数据质量评分。本申请通过创建的数据质量评分卡完成对数据的质量分析，减少人力成本，简化数据质量评估过程。

Description

一种数据质量的分析方法及装置

技术领域

本申请涉及数据分析技术领域，尤其涉及一种数据质量的分析方法及装置。

背景技术

现有技术中，对于系统数据质量的验证过程，不同的系统需要配置不同的验证规则，例如验证核心数据有无重复、客户身份信息是否缺失、客户联系方式是否为空，对于不同的数据质量验证规则，需要工作人员手动进行后台验证程序的撰写，耗费人力，且数据质量验证过程极其复杂。

发明内容

有鉴于此，本申请的目的在于至少提供一种数据质量的分析，通过创建的数据质量评分卡完成对数据的质量分析，减少人力成本，简化数据质量评估过程。

本申请主要包括以下几个方面：

第一方面，本申请实施例提供一种数据质量的分析方法，方法包括：

创建数据质量评分卡，数据质量评分卡用于对待评估对象进行质量评分；根据待评估对象类型，从预创建的多项核验规则中，确定数据质量评分卡所关联的至少一项目标核验规则，核验规则用于对数据进行质量核验；运行数据质量评分卡，以根据每项目标核验规则，对待评估对象对应的待分析数据进行数据质量评分，以得到待评估对象对应的数据质量评分。

在一种可能的实施方式中，待评估对象类型包括自定义类型和非自定义类型，非自定义类型表示待评估对象为多个预设待评估对象中的其中一个，自定义类型表示待评估对象为创建数据质量评分卡时自定义产生，其中，根据待评估对象类型，从预创建的多项核验规则中，确定数据质量评分卡所关联的至少一项目标核验规则的步骤包括：若待评估对象类型为自定义类型，则响应于针对数据质量评分卡执行的规则关联操作，确定数据质量评分卡所关联的至少一项目标核验规则；若待评估对象类型为非自定义类型，则针对预创建的每项核验规则，若该项核验规则所指示的待评估对象与数据质量评分卡所指示的待评估对象一致，则将该项核验规则确定为数据质量评分卡所关联的目标核验规则。

在一种可能的实施方式中，通过以下方式得到待评估对象对应的数据质量评分：确定每项目标核验规则在数据质量评分卡中对应的第一规则权重；针对每项目标核验规则，运行该目标核验规则以对待分析数据进行核验，并获取待分析数据在该项目标核验规则下的第一原始评分；针对每项目标核验规则，计算第一原始评分与该目标核验规则对应的第一规则权重之间的第一乘积，第一乘积表示该目标核验规则对待分析数据的核验结果；对各目标核验规则对应的第一乘积进行累加求和，确定第一和值，将第一和值确定为待分析数据在数据质量评分卡下的数据质量评分。

在一种可能的实施方式中，确定每项目标核验规则在数据质量评分卡中对应的第一规则权重的步骤包括：从该目标核验规则中提取每个预设规则权重因素对应的参数属性；根据该目标核验规则中每个预设规则权重因素对应的参数属性，确定该目标核验规则在该预设规则权重因素下的预设权重得分；确定每个预设规则权重因素对应的预设权重值；根据每个预设规则权重因素对应的预设权重值以及该目标核验规则在每个预设规则权重因素下对应的预设权重得分，确定该项目标核验规则对应的第一规则权重。

在一种可能的实施方式中，通过以下方式确定每项目标核验规则对应的第一规则权重：确定该项目标核验规则在每个预设权重因素下的第一子规则权重；将该项目标核验规则对应的各第一子规则权重之间的和值确定为第一规则权重；其中，通过以下方式确定该项目标核验规则在每个预设权重因素下的第一子规则权重：获取该预设规则权重因素对应的预设权重值以及该项目标核验规则在该预设权重因素下的预设权重得分；计算数据质量评分卡所关联的全部目标核验规则在该预设权重因素下对应的预设权重得分之间的第二和值；确定该项目标核验规则在该预设权重因素下的预设权重得分与该预设权重因素对应的预设权重值之间的第二乘积；将第二乘积与第二和值之间的比值确定为该项目标核验规则在该预设权重因素下的第一子规则权重。

在一种可能的实施方式中，待分析数据包括多条数据记录，其中，通过以下方式确定待分析数据在每项目标核验规则下的第一原始评分：确定符合该项目标核验规则的正确数据记录数量；计算正确数据记录数量与全部数据记录数量之间的第一比值；将第一比值与预设分值之间的第三乘积确定为该项目标核验规则对应的第一原始评分。

在一种可能的实施方式中，针对待评估对象类型为非自定义类型的多个数据质量评分卡，方法还包括：按照预设复合维度对多个数据质量评分卡进行聚合处理，得到预设复合维度下的复合数据评分卡，复合维度指示数据质量评分卡中待评估对象所属类别，复合数据评分卡包括多个子数据质量评分卡，每个子数据质量评分卡由同一待评估对象下的多个数据质量评分卡组合形成；运行复合数据评分卡，得到复合数据评分卡对应的综合数据质量评分。

在一种可能的实施方式中，通过以下方式确定复合数据评分卡对应的综合数据质量评分：针对每个子数据质量评分卡，获取其中每个数据质量评分卡所关联的每个目标核验规则对应的第一规则权重以及第一原始评分，确定其中各目标核验规则对应的第一规则权重之间的第三和值，将每个目标核验规则对应的第一规则权重与第三和值之间的比值，确定为该目标核验规则在该子数据质量评分卡中的第二规则权重；针对每个子数据质量评分卡，分别计算其中每个目标核验规则对应的相对权重与对应的第一原始评分之间的第四乘积，将多个第四乘积之间的和值确定为该子数据质量评分卡对应的第二原始评分；针对每个子数据质量评分卡，确定该子数据质量评分卡中各目标核验规则对应的第二规则权重之间的第一平均规则权重；对全部子数据质量评分卡对应的第一平均规则权重进行累加求均值处理，得到第二平均规则权重；针对每个子数据质量评分卡，将第一平均规则权重与第二平均规则权重之间的比值确定为该子数据质量评分卡对应的权重系数，将该子数据质量评分卡对应的第二原始评分与权重系数之间的乘积确定为该子数据质量评分卡对应的第三原始评分；利用预设数量激励因子对每个子数据质量评分卡对应的第三原始评分进行调整，以确定每个数据质量评分卡对应的原始综合评分；将所有原始综合评分之间的和值确定为复合数据评分卡对应的综合数据质量评分。

在一种可能的实施方式中，利用预设数量激励因子对每个子数据质量评分卡对应的第三原始评分进行调整，以确定每个数据质量评分卡对应的原始综合评分的步骤包括：获取预设数量激励因子对应的预设上限值和预设下限值；根据每个子数据质量评分卡中目标核验规则数量，确定对应的规则数量最大值和规则数量最小值；根据预设上限值和预设下限值、规则数量最大值和规则数量最小值，以及该子数据质量评分卡所关联的目标核验规则数量，确定该子数据质量评分卡对应的数量激励因子；将数量激励因子与原始综合评分之间的乘积，确定为该评分卡分组对应的子目标评分；

其中，通过以下方式确定每个子数据质量评分卡对应的数量激励因子：计算数量激励因子对应的预设上限值与预设下限值之间的第一差值；计算全部子数据质量评分卡中目标核验规则对应的规则数量最大值与全部子数据质量评分卡目标核验规则对应的规则数量最小值之间的第二差值；确定第一差值与第二差值之间的第二比值；计算该子数据质量评分卡所关联的目标核验规则数量与规则数量最小值之间的第三差值；确定第二比值与第三差值之间的第五乘积，将第五乘积与规则数量最小值确定为该子数据质量评分卡对应的数量激励因子。

第二方面，本申请还提供一种数据质量的分析装置，装置包括：

创建模块，用于创建数据质量评分卡，建数据质量评分卡指示了待评估对象；关联模块，用于响应于对数据质量评分卡执行的规则配置操作，从预创建的多项目标核验规则中，确定数据质量评分卡所关联的至少一项目标核验规则，目标核验规则用于对数据进行质量核验；运行模块，用于运行数据质量评分卡，以根据每项目标核验规则，对待评估对象对应的待分析数据进行数据质量评分，得到待评估对象对应的数据质量评分。

本申请实施例提供的一种数据质量的分析方法及装置，方法包括：创建数据质量评分卡，建数据质量评分卡指示了待评估对象；响应于对数据质量评分卡执行的规则配置操作，从预创建的多项核验规则中，确定数据质量评分卡所关联的至少一项目标核验规则，核验规则用于对数据进行质量核验；运行数据质量评分卡，以根据每项目标核验规则，对待评估对象对应的待分析数据进行数据质量评分，得到待评估对象对应的数据质量评分。本申请通过自定义的数据质量评分卡，自动化的完成对数据质量的评估计算，减少人力成本，简化数据质量评估过程的同时，提高数据质量评估的准确性。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种数据质量的分析方法的流程图一；

图2示出了本申请实施例提供的一种确定数据质量评分的步骤的流程图；

图3示出了本申请实施例所提供的一种数据质量的分析方法的流程图二；

图4示出了本申请实施例提供的一种数据质量的分析装置结构示意图；

图5示出了本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。

现有技术中，对于系统数据质量的验证过程，不同的系统需要配置不同的验证规则，例如验证核心数据有无重复、客户身份信息是否缺失、客户联系方式是否为空，对于不同的数据质量验证规则，需要工作人员手动进行后台验证程序的撰写，耗费人力，导致数据质量验证过程极其复杂。

且数据验证规则之间没有具体的关联，无法获取待分析数据在全部数据验证规则下的综合评分。

基于此，本申请实施例提供了一种数据质量的分析，创建的数据质量评分卡完成对数据的质量分析，减少人力成本，简化数据质量评估过程，具体如下：

请参阅图1，图1示出了本申请实施例所提供的一种数据质量的分析方法的流程图一。如图1所示，本申请实施例提供的数据质量方法，应用于服务器，包括以下步骤：

S100、创建数据质量评分卡。

其中，数据质量评分卡用于对待评估对象进行质量评分。

在一优选实施例中，服务器显示有数据分析管理界面，数据分析管理界面包括评分卡创建标识，其中，通过以下方式创建数据质量评分卡：

响应于对评分卡创建标识执行的选择操作，显示评分卡创建界面，评分卡创建界面包括多个评分卡参数配置项，响应于对多个评分卡参数配置项执行的配置操作，确定各评分卡参数对应的参数值，由各评分卡参数对应的参数值形成数据质量评分卡对应的评分卡信息，相应于对评分卡信息执行的保存操作，完成对数据质量评分卡的创建。

其中，多个评分卡参数配置项包括但不限于以下项中的至少一项：评分卡名称配置项、评分卡描述配置区域、待评估对象所属类别配置项、待评估对象配置项、待评估对象类型配置项、评估周期配置项、下次评估日期配置项、提出部门配置项以及评分卡规则执行正确占比配置项。

其中，将创建完成的数据质量评分卡在数据分析管理界面进行显示。

S200、根据待评估对象类型，从预创建的多项目标核验规则中，确定数据质量评分卡所关联的至少一项目标核验规则。

其中，核验规则用于对数据进行质量核验，核验规则指示了对应的规则验证对象，待评估对象类型包括自定义类型和非自定义类型，非自定义类型表示待评估对象为多个预设待评估对象中的其中一个，自定义类型表示待评估对象为创建数据质量评分卡时自定义产生，不属于多个预设待评估对象中的任意一个。

在一优选实施例中，根据待评估对象类型，从预创建的多项核验规则中，确定数据质量评分卡所关联的至少一项目标核验规则的步骤包括：

若待评估对象类型为自定义类型，则响应于针对数据质量评分卡执行的规则关联操作，确定数据质量评分卡所关联的至少一项目标核验规则。

在一具体实施例中，在评分卡创建界面，通过待评估对象类型配置项配置待评估对象类型，若待评估对象类型为自定义类型，则可在评分卡描述配置区域完成对待评估对象的自定义配置，此时，待评估对象所属类别配置项、待评估对象配置项属于不可配置状态。

具体的，针对待评估对象类型为自定义类型的数据质量评分卡，响应于在数据分析管理界面对数据质量评分卡执行的选择操作规则关联操作，显示规则关联界面，规则关联界面包括预创建的多项核验规则，响应于对目标核验规则执行的选择操作，将目标核验规则关联至数据质量评分卡。

若待评估对象类型为非自定义类型，则针对预创建的每项核验规则，若该项核验规则所指示的待评估对象与数据质量评分卡所指示的待评估对象一致，则将该项核验规则确定为数据质量评分卡所关联的目标核验规则。

在一具体实施例中，若待评估对象类型为非自定义类型，此时，待评估对象所属类别配置项和待评估对象配置项处于可配置状态，通过对待评估对象所属类别配置项和待评估对象配置项的配置操作，可从多个预设待评估对象所属类别中确定目标待评估对象所属类别，从目标待评估对象所属类别对应的多个预设待评估对象中，确定数据质量评分卡对应的待评估对象。

具体的，若待评估对象类型为非自定义类型，针对预创建的每项核验规则，若该项核验规则所指示的待评估对象与数据质量评分卡所指示的待评估对象一致，则将该项核验规则确定为目标核验规则，并将至少一项目标核验规则自动关联至数据质量评分卡。

在一优选实施例中，数据分析管理界面还包括评估对象管理标识，通过以下方式创建多个预设待评估对象：

响应于对评估对象管理标识执行的选择操作，显示多个预设待评估对象所属类别标识，针对每个预设待评估对象所属类别标识，响应于对该预设待评估对象所属类别标识执行的选择操作，显示对应的待评估对象设置界面，响应于在待评估对象设置界面执行的配置操作，在该预设待评估对象所属类别下添加对应的待评估对象。

在一具体实施例中，预设待评估对象所属类别包括但不限于以下项中的至少一项：评估系统、评估部门、评估主题和评估维度，其中，评估系统所包括的待评估对象包括多个待评估系统，评估部门所包括的待评估对象包括多个待评估部门，例如公司授信部门、零售信贷部门、财务企划部门、金融市场部门等，评估主题所包括的待评估对象包括多个评估主题，例如团体、产品、协议、财务、资源项等，评估维度所包括的待评估对象包括多个评估维度，例如规范性、完整性、准确性、一致性等。

S300、运行数据质量评分卡，以根据每项目标核验规则，对待评估对象对应的待分析数据进行数据质量评分，以得到待评估对象对应的数据质量评分。

在一优选实施例中，请参阅图2，图2示出了本申请实施例提供的一种确定数据质量评分的步骤的流程图。如图2所示，通过以下方式得到待评估对象对应的数据质量评分：

S3100、确定每项目标核验规则在数据质量评分卡中对应的第一规则权重。

在一具体实施例中，确定每项目标核验规则在数据质量评分卡中对应的第一规则权重的步骤包括：

从该目标核验规则中提取每个预设规则权重因素对应的参数属性。

具体的，预先设置有多个规则权重因素，多个规则权重因素包括多个技术规则权重因素和多个业务规则权重因素，核验规则包括技术规则以及与技术规则相关联的业务规则，具体的，数据分析管理界面还包括技术规则创建标识和业务规则创建标识。

在一优选实施例中，通过以下方式创建核验规则：

响应于对技术规则创建标识执行的选择操作，显示技术规则配置界面，技术规则配置界面包括多个技术规则权重因素配置项、业务规则关联配置项和核验SQL语句配置项，响应于对业务规则关联配置项执行的配置操作，从多个预设业务规则中确定与技术规则相关联的目标业务规则，其中，业务规则指示了数据衡量对象，数据衡量对象即核验规则所要完成的任务目标，例如数据衡量对象为“验证客户号的唯一性”，技术规则是实现所关联的业务规则的底层逻辑，响应于对多个技术规则权重因素配置项执行的配置操作，确定预先设置的各技术规则权重因素对应的参数属性，接收针对核验SQL语句配置项执行的配置操作，生成用于实现目标业务规则的核验SQL语句，由配置好的技术规则及其关联的业务规则，形成核验规则。

在另一优选实施例中，通过以下方式创建业务规则：

响应于对业务规则创建标识执行的选择操作，显示业务规则配置界面，业务规则配置界面包括多个业务规则权重因素配置项，响应于对多个业务规则权重因素配置项执行的配置操作，确定预先设置的各业务规则权重因素对应的参数属性，以形成对应的业务规则。

具体的，由技术规则权重因素配置项配置生成对应的技术规则权重因素，由业务规则权重因素配置项配置生成对应的业务规则权重因素。

规则权重因素包括但不限于以下项中的至少一项：评估维度、规则重要程度、约束类型、数据类别和应用系统，其中，评估维度和数据类别属于业务规则权重因素，规则重要程度、约束类型和应用系统属于技术规则权重因素。

其中，每个规则权重因素预先设置有不同的多个参数属性，每个参数属性对应不同的参数值，指示了参数属性对应的权重得分。

数据分析管理界面还包括评估参数管理标识，其中，通过以下方式确定多个规则权重因素以及每个规则权重因素对应的参数属性及参数属性下的权重值和权重得分：

响应于对评估参数管理标识执行的选择操作，显示评估参数显示界面，评估参数显示界面包括评估参数配置标识，响应于对评估参数配置标识执行的选择操作，生成评估多个评估参数配置项，响应于对每个评估参数配置项执行的配置操作，生成评估参数配置信息，评估参数配置信息可以指示每个规则权重因素对应的权重值或规则权重因素下每个参数属性对应的权重得分。

其中，多个评估参数配置项包括参数类型配置项、参数属性配置项和参数值配置项，其中，评估参数配置信息包括参数类型、参数属性和参数值，参数类型包括但不限于以下项中的至少一项：问题类别、评估维度、规则重要程度、约束类型、权重得分、权重占比、数量激励因子、数据类别和应用系统，参数属性可以根据所配置的参数类型进行配置，例如，参数类型为权重占比，则其对应的参数属性可以配置评估维度、规则重要程度、约束类型数据类别和应用系统这五项，并且可以分别配置对应的参数值，在这一示例中，参数值指示了对应的具体的权重占比，例如，配置好的评估参数配置信息为(参数类型：权重占比，参数属性：规则重要程度，参数值：15％)，表示规则重要程度对应的权重占比为15％，该配置可以获取每个规则权重因素对应的权重值。

若配置好的评估参数配置信息为(参数类型：规则重要程度，参数属性：规则重要程度高，参数值：120)，表示规则重要程度对应的参数属性中，规则重要程度高对应的权重得分为120分，该配置可以获取规则权重因素下每个参数属性对应的权重得分。

确定每个规则权重因素对应的预设权重值。

在一具体实施方式中，根据上述预先配置好的多个评估参数配置信息，可确定每个规则权重因素对应的预设权重值。

根据每个预设规则权重因素对应的预设权重值以及该目标核验规则在每个预设规则权重因素下对应的预设权重得分，确定该项目标核验规则对应的第一规则权重。

在一优选实施例中，通过以下方式确定每项目标核验规则对应的第一规则权重：

确定该项目标核验规则在每个预设权重因素下的第一子规则权重，将该项目标核验规则对应的各第一子规则权重之间的和值确定为第一规则权重。

其中，通过以下方式确定该项目标核验规则在每个预设权重因素下的第一子规则权重：

获取该预设规则权重因素对应的预设权重值以及该项目标核验规则在该预设权重因素下的预设权重得分，计算数据质量评分卡所关联的全部目标核验规则在该预设权重因素下对应的预设权重得分之间的第二和值，确定该项目标核验规则在该预设权重因素下的预设权重得分与该预设权重因素对应的预设权重值之间的第二乘积，将第二乘积与第二和值之间的比值确定为该项目标核验规则在该预设权重因素下的第一子规则权重。

在一具体实施例中，通过以下公式确定每项目标核验规则对应的第一规则权重：

在该公式中，W_i表示第i项目标核验规则对应的第一规则权重，a_j％表示第j个预设规则权重因素对应的预设权重值，N表示预设规则权重因素的数量。

表示第i项目标核验规则在第j个预设权重因素下的预设权重得分，n表示数据质量评分卡所关联的目标核验规则的数量，

表示全部n项目标核验规则在第j个预设权重因素下的预设权重得分之间的第二和值，

表示第j个预设权重因素对应的第一子规则权重，

表示第i项目标核验规则对应的各第一子规则权重之间的和值。

在一具体实施例中，在第i＝1项目标核验规则中，若j＝2，且第1个规则权重因素为规则重要程度，第2个规则权重因素为评估维度，规则重要程度对应的预设权重值a₁％为25％，评估维度对应的预设权重值a₂％为75％，若第1项目标核验规则中规则重要程度对应的参数属性为重要程度中，若第1项目标核验规则中评估维度对应的参数属性为唯一性，则第1项目标核验规则中规则重要程度对应的预设权重得分

为100，第1项目标核验规则中评估维度唯一性对应的预设权重得分

为80。

若第2项数据目标核验规则中规则重要程度对应的参数属性为重要程度高，若目标核验规则中评估维度对应的参数属性为一致性，则第2项目标核验规则中规则重要程度对应的预设权重得分

为120，第2项目标核验规则中评估维度一致性对应的预设权重得分

为80，则利用上述公式，计算得到

S3200、针对每项目标核验规则，运行该目标核验规则以对待分析数据进行核验，并获取待分析数据在该项目标核验规则下的第一原始评分。

在一具体实施例中，待分析数据包括多条数据记录，其中，通过以下方式确定待分析数据在每项目标核验规则下的第一原始评分：

确定符合该项目标核验规则的正确数据记录数量，计算正确数据记录数量与全部数据记录数量之间的第一比值，将第一比值与预设分值之间的第三乘积确定为该项目标核验规则对应的第一原始评分。

在一具体实施例中，通过以下公式确定每项目标核验规则下的第一原始评分：

在该公式中，S_o表示预设分值，Num_true表示每项目标核验规则下的正确数据记录数量，Num_whole表示全部数据记录，R_ei表示第i项目标核验规则对应的第一原始评分。

S3300、针对每项目标核验规则，计算第一原始评分与该目标核验规则对应的第一规则权重之间的第一乘积。

其中，第一乘积表示该目标核验规则对待分析数据的核验结果。

S3400、对各目标核验规则对应的第一乘积进行累加求和，确定第一和值，将第一和值确定为待分析数据在数据质量评分卡下的数据质量评分。

在一具体实施例中，可以通过以下公式确定待分析数据在数据质量评分卡下的数据质量评分：

在该公式中，R_o表示待分析数据在数据质量评分卡下的数据质量评分，R_ei表示第i项目标核验规则对应的第一原始评分，W_i表示第i项目标核验规则对应的第一规则权重。

请参阅图3，图3示出了本申请实施例所提供的一种数据质量的分析方法的流程图二。如图3所示，针对待评估对象类型为非自定义类型的多个数据质量评分卡，方法还包括：

S400、按照预设复合维度对多个数据质量评分卡进行聚合处理，得到预设复合维度下的复合数据评分卡。

在一具体实施例中，待评估对象所属类别包括但不限于应用系统、主题、评估维度和评估部门，在创建评估对象时，就已经关联了对应的类别，本申请中，对属于同一类别的数据质量评分卡可以进行聚合处理，以得到复合数据评分卡。

其中，复合维度指示数据质量评分卡中待评估对象所属类别，复合数据评分卡包括多个子数据质量评分卡，每个子数据质量评分卡由同一待评估对象下的多个数据质量评分卡组合形成，例如预设复合维度为应用系统，且待评估对象可能包括CM系统、OF系统，由于每个系统所创建的数据质量评分卡可能不止一个，例如，CM系统包括对应的多个数据质量评分卡，这样，在应用系统类别下，由CM系统包括的多个数据质量评分卡形成CM系统对应的子数据质量评分卡。

S410、运行复合数据评分卡，得到所述复合数据评分卡对应的综合数据质量评分。

在一具体实施例中，通过以下方式确定复合数据评分卡对应的综合数据质量评分：

针对每个子数据质量评分卡，获取其中每个数据质量评分卡所关联的每个目标核验规则对应的第一规则权重以及第一原始评分，确定其中各目标核验规则对应的第一规则权重之间的第三和值，将每个目标核验规则对应的第一规则权重与第三和值之间的比值，确定为该目标核验规则在该子数据质量评分卡中的第二规则权重。

针对每个子数据质量评分卡，分别计算其中每个目标核验规则对应的第二规则权重与对应的第一原始评分之间的第四乘积，将多个第四乘积之间的和值确定为该子数据质量评分卡对应的第二原始评分。

在一具体实施例中，可以通过以下公式确定每个子数据质量评分卡对应的第二原始评分：

在该公式中，S_t表示第t张子数据质量评分卡对应的第二原始评分，M表示第t张子数据质量评分卡中目标核验规则的数量，R_etm表示第m项目标核验规则在其所属的第t张子数据质量评分卡中对应的评分，实际上R_etm即为其在所属的数据质量评分卡中对应的第一原始评分，W_tm表示第m项目标核验规则在第t张子数据质量评分卡中对应的第二规则权重。

其中，通过以下公式确定第二规则权重：

在该公式中，Q表示第t张子数据质量评分卡中目标核验规则的数量，W_pm表示第m项目标核验规则在第p张数据质量评分卡中对应的第一规则权重，

表示各目标核验规则对应的第一规则权重之间的第三和值。

针对每个子数据质量评分卡，确定该子数据质量评分卡中各目标核验规则对应的第二规则权重之间的第一平均规则权重，对全部子数据质量评分卡对应的第一平均规则权重进行累加求均值处理，得到第二平均规则权重，针对每个子数据质量评分卡，将第一平均规则权重与第二平均规则权重之间的比值确定为该子数据质量评分卡对应的权重系数，将该子数据质量评分卡对应的第二原始评分与权重系数之间的乘积确定为该子数据质量评分卡对应的第三原始评分。

在一具体实施例中，通过以下公式确定每个子数据质量评分卡对应的第三原始评分：

在该公式中，S_tC表示第t张子数据质量评分卡对应的第三原始评分，

表示第t张子数据质量评分卡中各目标核验规则对应的第二规则权重之间的第一平均规则权重，

表示全部子数据质量评分卡T中第一平均规则权重对应的均值，即第二平均规则权重。

在另一优选实施例中，利用预设数量激励因子对每个子数据质量评分卡对应的第三原始评分进行调整，以确定每个数据质量评分卡对应的原始综合评分。

在一优选实施例中，利用预设数量激励因子对每个子数据质量评分卡对应的第三原始评分进行调整，以确定每个数据质量评分卡对应的原始综合评分的步骤包括：

获取预设数量激励因子对应的预设上限值和预设下限值，根据每个子数据质量评分卡中目标核验规则数量，确定对应的规则数量最大值和规则数量最小值，根据预设上限值和预设下限值、规则数量最大值和规则数量最小值，以及该子数据质量评分卡所关联的目标核验规则数量，确定该子数据质量评分卡对应的数量激励因子，将数量激励因子与原始综合评分之间的乘积，确定为该评分卡分组对应的子目标评分。

在一具体实施例中，可以预先通过评估参数配置界面配置对应的数量激励因子对应的上限值和下限值，具体的，参数类型配置项设置为数量激励因子，参数属性配置项设置为上限和下限，通过参数值配置项可配置对应的上限值和下限值。

在一优选实施例中，通过以下方式确定每个子数据质量评分卡对应的数量激励因子：

计算数量激励因子对应的预设上限值与预设下限值之间的第一差值，计算全部子数据质量评分卡中目标核验规则对应的规则数量最大值与全部子数据质量评分卡目标核验规则对应的规则数量最小值之间的第二差值，确定第一差值与第二差值之间的第二比值，计算该子数据质量评分卡所关联的目标核验规则数量与规则数量最小值之间的第三差值，确定第二比值与第三差值之间的第五乘积，将第五乘积与规则数量最小值确定为该子数据质量评分卡对应的数量激励因子。

具体的，通过以下公式确定每个子数据质量评分卡对应的数量激励因子：

在该公式中，upper表示数量激励因子的预设上限值，lower表示数量激励因子的预设下限值，λ_t表示第t个子数据质量评分卡对应的数量激励因子。

Y_max表示全部子数据质量评分卡中目标核验规则对应的规则数量最大值，Y_min表示全部子数据质量评分卡目标核验规则对应的规则数量最小值，Y_t表示第t个子数据质量评分卡所关联的目标核验规则数量。

将所有原始综合评分之间的和值确定为所述复合数据评分卡对应的综合数据质量评分。

基于同一申请构思，本申请实施例中还提供了与上述实施例提供的一种数据质量的分析方法对应的装置，由于本申请实施例中的装置解决问题的原理与本申请上述实施例的数据质量的分析方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

请参阅图4，图4示出了本申请实施例提供的一种数据质量的分析装置结构示意图。如图4所示，装置包括：

创建模块500，用于创建数据质量评分卡，数据质量评分卡指示了待评估对象；

关联模块510，用于响应于对数据质量评分卡执行的规则配置操作，从预创建的多项目标核验规则中，确定数据质量评分卡所关联的至少一项目标核验规则，目标核验规则用于对数据进行质量核验；

运行模块520，用于运行数据质量评分卡，以根据每项目标核验规则，对待评估对象对应的待分析数据进行数据质量评分，得到待评估对象对应的数据质量评分。

基于同一申请构思，请参阅图5，图5示出了本申请实施例提供的一种电子设备的结构示意图，电子设备600包括：处理器610、存储器620和总线630，所述存储器620存储有所述处理器610可执行的机器可读指令，当电子设备600运行时，所述处理器610与所述存储器620之间通过所述总线630进行通信，所述机器可读指令被所述处理器610运行时执行如上述实施例中任一所述的数据质量的分析方法的步骤。

基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的数据质量的分析方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据质量的分析方法，其特征在于，所述方法包括：

创建数据质量评分卡，所述数据质量评分卡用于对待评估对象进行质量评分；

根据待评估对象类型，从预创建的多项核验规则中，确定数据质量评分卡所关联的至少一项目标核验规则，核验规则用于对数据进行质量核验；

运行所述数据质量评分卡，以根据每项目标核验规则，对所述待评估对象对应的待分析数据进行数据质量评分，以得到待评估对象对应的数据质量评分。

2.根据权利要求1所述的方法，其特征在于，所述待评估对象类型包括自定义类型和非自定义类型，非自定义类型表示待评估对象为多个预设待评估对象中的其中一个，自定义类型表示待评估对象为创建数据质量评分卡时自定义产生，

其中，根据待评估对象类型，从预创建的多项核验规则中，确定数据质量评分卡所关联的至少一项目标核验规则的步骤包括：

若待评估对象类型为自定义类型，则响应于针对数据质量评分卡执行的规则关联操作，确定数据质量评分卡所关联的至少一项目标核验规则；

若待评估对象类型为非自定义类型，则针对预创建的每项核验规则，若该项核验规则所指示的待评估对象与数据质量评分卡所指示的待评估对象一致，则将该项核验规则确定为数据质量评分卡所关联的目标核验规则。

3.根据权利要求1所述的方法，其特征在于，通过以下方式得到待评估对象对应的数据质量评分：

确定每项目标核验规则在所述数据质量评分卡中对应的第一规则权重；

针对每项目标核验规则，运行该目标核验规则以对所述待分析数据进行核验，并获取所述待分析数据在该项目标核验规则下的第一原始评分；

针对每项目标核验规则，计算所述第一原始评分与该目标核验规则对应的第一规则权重之间的第一乘积，所述第一乘积表示该目标核验规则对所述待分析数据的核验结果；

对各目标核验规则对应的所述第一乘积进行累加求和，确定第一和值，将所述第一和值确定为所述待分析数据在数据质量评分卡下的数据质量评分。

4.根据权利要求3所述的方法，其特征在于，所述确定每项目标核验规则在所述数据质量评分卡中对应的第一规则权重的步骤包括：

从该目标核验规则中提取每个预设规则权重因素对应的参数属性；

根据该目标核验规则中每个预设规则权重因素对应的参数属性，确定该目标核验规则在该预设规则权重因素下的预设权重得分；

确定每个预设规则权重因素对应的预设权重值；

根据每个预设规则权重因素对应的预设权重值以及该目标核验规则在每个预设规则权重因素下对应的预设权重得分，确定该项目标核验规则对应的第一规则权重。

5.根据权利要求4所述的方法，其特征在于，通过以下方式确定每项目标核验规则对应的第一规则权重：

确定该项目标核验规则在每个预设权重因素下的第一子规则权重；

将该项目标核验规则对应的各第一子规则权重之间的和值确定为第一规则权重；

其中，通过以下方式确定该项目标核验规则在每个预设权重因素下的第一子规则权重：

获取该预设规则权重因素对应的预设权重值以及该项目标核验规则在该预设权重因素下的预设权重得分；

计算数据质量评分卡所关联的全部目标核验规则在该预设权重因素下对应的预设权重得分之间的第二和值；

确定该项目标核验规则在该预设权重因素下的预设权重得分与该预设权重因素对应的预设权重值之间的第二乘积；

将所述第二乘积与所述第二和值之间的比值确定为该项目标核验规则在该预设权重因素下的第一子规则权重。

6.根据权利要求2所述的方法，其特征在于，所述待分析数据包括多条数据记录，

其中，通过以下方式确定所述待分析数据在每项目标核验规则下的第一原始评分：

确定符合该项目标核验规则的正确数据记录数量；

计算所述正确数据记录数量与全部数据记录数量之间的第一比值；

将所述第一比值与预设分值之间的第三乘积确定为该项目标核验规则对应的第一原始评分。

7.根据权利要求3所述的方法，其特征在于，针对待评估对象类型为非自定义类型的多个数据质量评分卡，所述方法还包括：

按照预设复合维度对多个数据质量评分卡进行聚合处理，得到预设复合维度下的复合数据评分卡，复合维度指示数据质量评分卡中待评估对象所属类别，复合数据评分卡包括多个子数据质量评分卡，每个子数据质量评分卡由同一待评估对象下的多个数据质量评分卡组合形成；

运行所述复合数据评分卡，得到所述复合数据评分卡对应的综合数据质量评分。

8.根据权利要求7所述的方法，其特征在于，通过以下方式确定所述复合数据评分卡对应的综合数据质量评分：

针对每个子数据质量评分卡，获取其中每个数据质量评分卡所关联的每个目标核验规则对应的第一规则权重以及第一原始评分，确定其中各目标核验规则对应的第一规则权重之间的第三和值，将每个目标核验规则对应的第一规则权重与所述第三和值之间的比值，确定为该目标核验规则在该子数据质量评分卡中的第二规则权重；

针对每个子数据质量评分卡，分别计算其中每个目标核验规则对应的相对权重与对应的第一原始评分之间的第四乘积，将多个第四乘积之间的和值确定为该子数据质量评分卡对应的第二原始评分；

针对每个子数据质量评分卡，确定该子数据质量评分卡中各目标核验规则对应的第二规则权重之间的第一平均规则权重；

对全部子数据质量评分卡对应的第一平均规则权重进行累加求均值处理，得到第二平均规则权重；

针对每个子数据质量评分卡，将所述第一平均规则权重与所述第二平均规则权重之间的比值确定为该子数据质量评分卡对应的权重系数，将该子数据质量评分卡对应的第二原始评分与所述权重系数之间的乘积确定为该子数据质量评分卡对应的第三原始评分；

利用预设数量激励因子对每个子数据质量评分卡对应的第三原始评分进行调整，以确定每个数据质量评分卡对应的原始综合评分；

将所有原始综合评分之间的和值确定为所述复合数据评分卡对应的综合数据质量评分。

9.根据权利要求8所述的方法，其特征在于，利用预设数量激励因子对每个子数据质量评分卡对应的第三原始评分进行调整，以确定每个数据质量评分卡对应的原始综合评分的步骤包括：

获取预设数量激励因子对应的预设上限值和预设下限值；

根据每个子数据质量评分卡中目标核验规则数量，确定对应的规则数量最大值和规则数量最小值；

根据所述预设上限值和预设下限值、规则数量最大值和规则数量最小值，以及该子数据质量评分卡所关联的目标核验规则数量，确定该子数据质量评分卡对应的数量激励因子；

将所述数量激励因子与所述原始综合评分之间的乘积，确定为该评分卡分组对应的子目标评分；

其中，通过以下方式确定每个子数据质量评分卡对应的数量激励因子：

计算数量激励因子对应的预设上限值与预设下限值之间的第一差值；

计算全部子数据质量评分卡中目标核验规则对应的规则数量最大值与全部子数据质量评分卡目标核验规则对应的规则数量最小值之间的第二差值；

确定所述第一差值与所述第二差值之间的第二比值；

计算该子数据质量评分卡所关联的目标核验规则数量与所述规则数量最小值之间的第三差值；

确定所述第二比值与所述第三差值之间的第五乘积，将所述第五乘积与所述规则数量最小值确定为该子数据质量评分卡对应的数量激励因子。

10.一种数据质量的分析装置，其特征在于，所述装置包括：

创建模块，用于创建数据质量评分卡，所述建数据质量评分卡指示了待评估对象；

关联模块，用于响应于对数据质量评分卡执行的规则配置操作，从预创建的多项目标核验规则中，确定数据质量评分卡所关联的至少一项目标核验规则，目标核验规则用于对数据进行质量核验；

运行模块，用于运行所述数据质量评分卡，以根据每项目标核验规则，对所述待评估对象对应的待分析数据进行数据质量评分，得到待评估对象对应的数据质量评分。

Images