CN111427974A - 数据质量评估管理方法和装置 - Google Patents

Abstract

本发明提供了一种数据质量评估管理方法和装置，通过获取元数据，对元数据进行清洗得到目标数据，将目标数据定义为文本型和/或数据型数据并储存于数据库中，数据库中包括AI运算工程，AI运算工程中具有若干预设算法模型；基于若干预设算法模型对目标数据进行计算处理，以得到目标数据的统计结果、表属性和数据类型；根据统计结果、表属性和数据类型，生成目标数据的质量评估结果并发送至客户端。该数据质量评估管理方法和装置打破传统多重复杂规则的技术门槛限制，融入AI人工智能技术，自动剖析数据变化的特征，满足不同用户和数据类型，自动生成多种类型质量报告，凭借数据标准化、验证、丰富、重复数据的探索能力，确保提供源本数据质量的信息。

Description

数据质量评估管理方法和装置

技术领域

本发明属于计算机技术领域，尤其涉及一种数据质量评估管理方法、装置、电子设备及可存储介质。

背景技术

数据质量评估是保证数据应用的基础，衡量数据质量的指标体系典型的指标有：完整性（数据是否缺失）、规范性（数据是否按照要求的规则存储）、一致性（数据的值是否存在信息含义上的冲突）、准确性（数据是否错误）、唯一性（数据是否是重复的）、时效性（数据是否按照时间的要求进行更新），其是描述数据价值含量的指标。

现有技术中，由于不同数据的多样化和复杂化，需要不断提升正则表达式库与模型库的准确度，技术上面临重大挑战，因而评估的准确率难以保证，这对数据价值的发现是比较致命的。

发明内容

本发明实施例的第一目的在于提供一种数据质量评估管理方法，旨在解决现有的数据质量评估方法准确率低的问题。

本发明实施例是这样实现的，一种数据质量评估管理方法，应用于服务端，包括：

获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中，所述数据库中包括AI运算工程，所述AI运算工程中具有若干预设算法模型；

基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型；

根据所述统计结果、表属性和数据类型，生成所述目标数据的质量评估结果并发送至客户端。

在一个实施例中，所述基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型包括：计算数据缺失统计、数据偏差统计、表注释统计、录入错误统计得到所述统计结果；根据数据流向、数据访问特点、数据量、数据增长量、数据更新频率、数据生命周期，使用TSNE算法和/或神经网络算法对表分类得到所述表属性；根据数据库中记录的数据类型将string型数据摘出，将所述string型数据分为数值型string数据和文本型string数据并打标得到所述数据类型。

在一个实施例中，所述获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中包括：从关系型数据库中获取所述元数据，对所述元数据中存在的脏数据进行解析、判断和预处理以清洗掉所述脏数据得到所述目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中。

在一个实施例中，所述若干预设算法模型包括：数据缺失建模算法、分位数定义识别异常数据的数据偏差算法、文本语义设别算法、数据录入错误设别算法、表注释设别算法和表属性识别算法。

本发明实施例的另一目的在于提供一种数据质量评估管理装置，包括：

数据获取模块，用于获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中，所述数据库中包括AI运算工程，所述AI运算工程中具有若干预设算法模型；

数据处理模块，用于基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型；

结果生成模块，用于根据所述统计结果、表属性和数据类型，生成所述目标数据的质量评估结果并发送至客户端。

在一个实施例中，所述基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型包括：计算数据缺失统计、数据偏差统计、表注释统计、录入错误统计得到所述统计结果；根据数据流向、数据访问特点、数据量、数据增长量、数据更新频率、数据生命周期，使用TSNE算法和/或神经网络算法对表分类得到所述表属性；根据数据库中记录的数据类型将string型数据摘出，将所述string型数据分为数值型string数据和文本型string数据并打标得到所述数据类型。

在一个实施例中，所述获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中包括：从关系型数据库中获取所述元数据，对所述元数据中存在的脏数据进行解析、判断和预处理以清洗掉所述脏数据得到所述目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中。

在一个实施例中，所述若干预设算法模型包括：数据缺失建模算法、分位数定义识别异常数据的数据偏差算法、文本语义设别算法、数据录入错误设别算法、表注释设别算法和表属性识别算法。

本发明实施例的又一目的在于提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述数据质量评估管理方法的步骤。

本发明实施例的再一目的在于一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述数据质量评估管理方法的步骤。

与现有技术相比，本发明的有益效果是：本发明实施例提供的一种数据质量评估管理方法，应用于服务端，获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中，所述数据库中包括AI运算工程，所述AI运算工程中具有若干预设算法模型；基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型；根据所述统计结果、表属性和数据类型，生成所述目标数据的质量评估结果并发送至客户端。通过将元数据进行清洗整理得到需评估的目标数据，使得待评估数据更有针对性，评估结果更精准；通过在AI运算工程中预设多种算法模型对目标数据进行计算评估，可以自动剖析数据变化的特征发现数据异常问题，对数据进行准确的统计分析；通过对目标数据的统计结果、表属性和数据类型生成目标数据的质量评估结果并发送至客户端进行展示，使得该数据的评估结果可视化更好，便于用户的管理和使用。该数据质量评估管理方法打破传统多重复杂规则的技术门槛限制，融入AI人工智能技术，自动剖析数据变化的特征，揭示各种关系，更好地发现问题，满足不同用户和数据类型，自动生成多种类型质量报告，凭借数据标准化、验证、丰富、重复数据的探索能力，确保提供源本数据质量的信息。

本发明实施例提供的数据质量评估管理装置、电子设备及可存储介质具有与本发明实施例的数据质量管理方法相同的有益效果。

附图说明

图1为本发明实施例提供的一种数据质量评估管理方法的实现流程；

图2为本发明实施例提供的一种数据质量评估管理装置的主要模块示意图；

图3是本发明实施例提供的一种数据质量评估管理方法评估的数据质量结论结果呈现图；

图4是本发明实施例提供的一种数据质量评估管理方法评估的数据质量结论结果呈现图；

图5为本发明实施例提供的可以应用于其中的示例性系统架构图；

图6为适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图；

图7为本发明实施例提供的一种数据质量评估管理方法的AI运算工程的架构示例图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和 / 或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。

需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以互相组合。

为了进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。

图1示出了本发明实施例提供的一种数据质量评估管理方法的实现流程，为了便于说明，仅示出与本发明实施例相关的部分，详述如下：

一种数据质量评估管理方法，应用于服务端，包括：

S101：获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中，所述数据库中包括AI运算工程，所述AI运算工程中具有若干预设算法模型；

S102：基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型；

S103：根据所述统计结果、表属性和数据类型，生成所述目标数据的质量评估结果并发送至客户端。

在步骤S101中，获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中，所述数据库中包括AI运算工程，所述AI运算工程中具有若干预设算法模型。对所述元数据进行清洗可以清洗掉元数据中的脏数据，脏数据即为进行质量评估不需要的数据，由此可以减少分析计算量，只对影响评估结果的数据进行分析计算。将所述目标数据定义为文本型数据和/或数据型数据，有利于数据的存储和数据存储后的查询。在这里，数据库可以用来存储目标数据，数据库中可以包括有AI运算工程，AI运算工程中设有多种算法模型，用来对目标数据进行分析计算，以得出目标数据的评估统计结果，且预设的算法模型可以进行更新，以不断的提升对目标数据的评估准确性。

在步骤S102中，基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型，由此可以根据目标数据的统计结果、表属性和数据类型，对应的生成目标数据的质量评估结果，进行展示，在这里，不同的表属性、数据类型具有不同的方式实现，生成不同的统计结果，展示不同的评估效果，以便于用户直观的观看目标数据的质量评估结果，方便用户的管理和应用。

在步骤103中，根据所述统计结果、表属性和数据类型，生成所述目标数据的质量评估结果并发送至客户端。由此可以便于用户直观的观看评估结果，对评估结果进行应用。

本发明实施例提供的一种数据质量评估管理方法，应用于服务端，通过获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中，所述数据库中包括AI运算工程，所述AI运算工程中具有若干预设算法模型；基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型；根据所述统计结果、表属性和数据类型，生成所述目标数据的质量评估结果并发送至客户端。通过将元数据进行清洗整理得到需评估的目标数据，使得待评估数据更有针对性，评估结果更精准；通过在AI运算工程中预设多种算法模型对目标数据进行计算评估，可以自动剖析数据变化的特征发现数据异常问题，对数据进行准确的统计分析；通过对目标数据的统计结果、表属性和数据类型生成目标数据的质量评估结果并发送至客户端进行展示，使得该数据的评估结果可视化更好，便于用户的管理和使用。该数据质量评估管理方法打破传统多重复杂规则的技术门槛限制，融入AI人工智能技术，自动剖析数据变化的特征，揭示各种关系，更好地发现问题，满足不同用户和数据类型，自动生成多种类型质量报告，凭借数据标准化、验证、丰富、重复数据的探索能力，确保提供源本数据质量的信息。

在一个实施例中，所述基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型包括：计算数据缺失统计、数据偏差统计、表注释统计、录入错误统计得到所述统计结果；根据数据流向、数据访问特点、数据量、数据增长量、数据更新频率、数据生命周期，使用TSNE算法和/或神经网络算法对表分类得到所述表属性；根据数据库中记录的数据类型将string型数据摘出，将所述string型数据分为数值型string数据和文本型string数据并打标得到所述数据类型。在这里，TSEN（t-distributed stochastic neighbor embedding，是用于降维的一种机器学习算法），String 型数据是指引用型类型数据。由此可以完整的对目标数据的完整性（数据是否缺失）、规范性（数据是否按照要求的规则存储）、一致性（数据的值是否存在信息含义上的冲突）、准确性（数据是否错误）、唯一性（数据是否是重复的）、时效性（数据是否按照时间的要求进行更新）进行评估，以得到目标数据的准确评估统计结果、表属性和数据类型，便于后续步骤生成精准的评估结果。

在一个实施例中，所述获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中包括：从关系型数据库中获取所述元数据，对所述元数据中存在的脏数据进行解析、判断和预处理以清洗掉所述脏数据得到所述目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中。在这里，所述关系型数据库可以为ODPS、MySQL、Oracle等关系型数据库，可以通过直接连接至ODPS、MySQL、Oracle等关系型数据库进行获取所述元数据。对所述元数据中存在的脏数据进行解析、判断和预处理以清洗掉所述脏数据得到所述目标数据，预处理是指对解析和判断后的数据进行初步的处理以形成满足条件的数据进行后续的数据质量评估的过程。

在一个实施例中，所述若干预设算法模型包括：数据缺失建模算法、分位数定义识别异常数据的数据偏差算法、文本语义设别算法、数据录入错误设别算法、表注释设别算法和表属性识别算法。如图7所示，为本发明实施例提供的一种数据质量评估管理方法的AI运算工程的架构示例图，AI运算工程中集成了数据缺失建模算法、分位数定义识别异常数据的数据偏差算法、文本语义设别算法、数据录入错误设别算法、表注释设别算法和表属性识别算法，以形成缺失统计模型、数据偏差统计模型、数据录入错误模型、文本语义识别模型、表注释识别模型、表属性识别模型等AI能力，分别用于计算数据缺失统计、数据偏差统计、文本语义识别（设别文本逻辑走向以判断数据类型）、录入错误统计得到所述统计结果、表注释统计和表属性判断，由此可以将目标数据的统计结果汇总输出，以实现精准的数据评估管理。

如图3所示，为本发明实施例提供的一种数据质量评估管理方法评估的数据质量结论结果呈现图（以字段名为主），其主要可视化数据包括：字段名、字段状态、数据缺失率（%）、数据异常率（%）（数据偏差率和录入错误率）、可能标签值（个）、数据标签、主外键关系、操作等；如图4所示，为本发明实施例提供的一种数据质量评估管理方法评估的数据质量结论结果呈现图（以表名为主），其主要可视化数据包括：表名、总行数（行）、字段个数（个）、数据重复数（个）、字段空值数、字段类型不符数（个），字段无注（个）、数据采样率（%）、表状态、表属性等。图3和图4所示结果可以作为一个质量评估结果展示于客户端以便用户查看和应用。

由此，本发明实施例提供的一种数据质量评估管理方法，应用于服务端，通过获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中，所述数据库中包括AI运算工程，所述AI运算工程中具有若干预设算法模型；基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型；根据所述统计结果、表属性和数据类型，生成所述目标数据的质量评估结果并发送至客户端。通过将元数据进行清洗整理得到需评估的目标数据，使得待评估数据更有针对性，评估结果更精准；通过在AI运算工程中预设多种算法模型对目标数据进行计算评估，可以自动剖析数据变化的特征发现数据异常问题，对数据进行准确的统计分析；通过对目标数据的统计结果、表属性和数据类型生成目标数据的质量评估结果并发送至客户端进行展示，使得该数据的评估结果可视化更好，便于用户的管理和使用。该数据质量评估管理方法打破传统多重复杂规则的技术门槛限制，融入AI人工智能技术，自动剖析数据变化的特征，揭示各种关系，更好地发现问题，满足不同用户和数据类型，自动生成多种类型质量报告，凭借数据标准化、验证、丰富、重复数据的探索能力，确保提供源本数据质量的信息。零门槛、简单易用，用户只需连接数据源，无需编写代码，用户完全不需要掌握复杂的AI算法、建模及参数调优由系统后台自动完成；提高效率，利用AI数据探索，相当于专业的AI团队，工作效率提升了几十倍，降低人员对负责数据库知识门槛，降低企业大量成本；丰富算法，深化TENSRFLOW等深度学习框架性能，100余种算法组件，覆盖回归、分类、文本与数值分析、ER工程等算法；提高数据可用性，将大规模、碎片化的多源异构数据进行关联，揭示数据间复杂关系，释放潜在数据价值。

图2示出了本发明实施例提供的一种数据质量评估管理装置的主要模块示意图，为了便于说明，仅示出与本发明实施例相关的部分，详述如下：

一种数据质量评估管理装置200，包括：

数据获取模块201，用于获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中，所述数据库中包括AI运算工程，所述AI运算工程中具有若干预设算法模型；

数据处理模块202，用于基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型；

结果生成模块203，用于根据所述统计结果、表属性和数据类型，生成所述目标数据的质量评估结果并发送至客户端。

在这里，获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中，所述数据库中包括AI运算工程，所述AI运算工程中具有若干预设算法模型。对所述元数据进行清洗可以清洗掉元数据中的脏数据，脏数据即为进行质量评估不需要的数据，由此可以减少分析计算量，只对影响评估结果的数据进行分析计算。将所述目标数据定义为文本型数据和/或数据型数据，有利于数据的存储和数据存储后的查询。在这里，数据库可以用来存储目标数据，数据库中可以包括有AI运算工程，AI运算工程中设有多种算法模型，用来对目标数据进行分析计算，以得出目标数据的评估统计结果，且预设的算法模型可以进行更新，以不断的提升对目标数据的评估准确性。

在这里，基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型，由此可以根据目标数据的统计结果、表属性和数据类型，对应的生成目标数据的质量评估结果，进行展示，在这里，不同的表属性、数据类型具有不同的方式实现，生成不同的统计结果，展示不同的评估效果，以便于用户直观的观看目标数据的质量评估结果，方便用户的管理和应用。

在这里，根据所述统计结果、表属性和数据类型，生成所述目标数据的质量评估结果并发送至客户端。由此可以便于用户直观的观看评估结果，对评估结果进行应用。

本发明实施例提供的一种数据质量评估管理装置，应用于服务端，包括数据获取模块201，用于获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中，所述数据库中包括AI运算工程，所述AI运算工程中具有若干预设算法模型；数据处理模块202，用于基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型；结果生成模块203，用于根据所述统计结果、表属性和数据类型，生成所述目标数据的质量评估结果并发送至客户端。通过将元数据进行清洗整理得到需评估的目标数据，使得待评估数据更有针对性，评估结果更精准；通过在AI运算工程中预设多种算法模型对目标数据进行计算评估，可以自动剖析数据变化的特征发现数据异常问题，对数据进行准确的统计分析；通过对目标数据的统计结果、表属性和数据类型生成目标数据的质量评估结果并发送至客户端进行展示，使得该数据的评估结果可视化更好，便于用户的管理和使用。该数据质量评估管理方法打破传统多重复杂规则的技术门槛限制，融入AI人工智能技术，自动剖析数据变化的特征，揭示各种关系，更好地发现问题，满足不同用户和数据类型，自动生成多种类型质量报告，凭借数据标准化、验证、丰富、重复数据的探索能力，确保提供源本数据质量的信息。

在一个实施例中，所述基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型包括：计算数据缺失统计、数据偏差统计、表注释统计、录入错误统计得到所述统计结果；根据数据流向、数据访问特点、数据量、数据增长量、数据更新频率、数据生命周期，使用TSNE算法和/或神经网络算法对表分类得到所述表属性；根据数据库中记录的数据类型将string型数据摘出，将所述string型数据分为数值型string数据和文本型string数据并打标得到所述数据类型。在这里，TSEN（t-distributed stochastic neighbor embedding，是用于降维的一种机器学习算法），String 型数据是指引用型类型数据。由此可以完整的对目标数据的完整性（数据是否缺失）、规范性（数据是否按照要求的规则存储）、一致性（数据的值是否存在信息含义上的冲突）、准确性（数据是否错误）、唯一性（数据是否是重复的）、时效性（数据是否按照时间的要求进行更新）进行评估，以得到目标数据的准确评估统计结果、表属性和数据类型，便于后续步骤生成精准的评估结果。

在一个实施例中，所述获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中包括：从关系型数据库中获取所述元数据，对所述元数据中存在的脏数据进行解析、判断和预处理以清洗掉所述脏数据得到所述目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中。在这里，所述关系型数据库可以为ODPS、MySQL、Oracle等关系型数据库，可以通过直接连接至ODPS、MySQL、Oracle等关系型数据库进行获取所述元数据。对所述元数据中存在的脏数据进行解析、判断和预处理以清洗掉所述脏数据得到所述目标数据，预处理是指对解析和判断后的数据进行初步的处理以形成满足条件的数据进行后续的数据质量评估的过程。

在一个实施例中，所述若干预设算法模型包括：数据缺失建模算法、分位数定义识别异常数据的数据偏差算法、文本语义设别算法、数据录入错误设别算法、表注释设别算法和表属性识别算法。如图7所示，为本发明实施例提供的一种数据质量评估管理方法的AI运算工程的架构示例图，AI运算工程中集成了数据缺失建模算法、分位数定义识别异常数据的数据偏差算法、文本语义设别算法、数据录入错误设别算法、表注释设别算法和表属性识别算法，以形成缺失统计模型、数据偏差统计模型、数据录入错误模型、文本语义识别模型、表注释识别模型、表属性识别模型等AI能力，分别用于计算数据缺失统计、数据偏差统计、文本语义识别（设别文本逻辑走向以判断数据类型）、录入错误统计得到所述统计结果、表注释统计和表属性判断，由此可以将目标数据的统计结果汇总输出，以实现精准的数据评估管理。

本发明实施例的又一目的在于提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述数据质量评估管理方法的步骤。

本发明实施例的再一目的在于一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述数据质量评估管理方法的步骤。

图5示出了可以应用本发明实施例的数据质量评估管理方法或数据质量评估管理装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所发送的往来消息提供支持的后台管理服务器。后台管理服务器可以在接收到终端设备请求后进行分析等处理，并将处理结果反馈给终端设备。

需要说明的是，本发明实施例所提供的数据质量评估管理方法一般由服务器505执行，相应地，数据质量评估管理装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的计算机系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元（CPU）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储部分608加载到随机访问存储器（RAM）603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元（CPU）601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括确定模块、提取模块、训练模块和筛选模块 。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，确定模块还可以被描述为“确定候选用户集的模块”。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据质量评估管理方法，应用于服务端，其特征在于，包括：

获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中，所述数据库中包括AI运算工程，所述AI运算工程中具有若干预设算法模型；

基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型；

根据所述统计结果、表属性和数据类型，生成所述目标数据的质量评估结果并发送至客户端。

2.根据权利要求1所述的数据质量评估管理方法，其特征在于，所述基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型包括：计算数据缺失统计、数据偏差统计、表注释统计、录入错误统计得到所述统计结果；根据数据流向、数据访问特点、数据量、数据增长量、数据更新频率、数据生命周期，使用TSNE算法和/或神经网络算法对表分类得到所述表属性；根据数据库中记录的数据类型将string型数据摘出，将所述string型数据分为数值型string数据和文本型string数据并打标得到所述数据类型。

3.根据权利要求1所述的数据质量评估管理方法，其特征在于，所述获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中包括：从关系型数据库中获取所述元数据，对所述元数据中存在的脏数据进行解析、判断和预处理以清洗掉所述脏数据得到所述目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中。

4.根据权利要求3所述的数据质量评估管理方法，其特征在于，所述若干预设算法模型包括：数据缺失建模算法、分位数定义识别异常数据的数据偏差算法、文本语义设别算法、数据录入错误设别算法、表注释设别算法和表属性识别算法。

5.一种数据质量评估管理装置，其特征在于，包括：

数据获取模块，用于获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中，所述数据库中包括AI运算工程，所述AI运算工程中具有若干预设算法模型；

数据处理模块，基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型；

结果生成模块，用于根据所述统计结果、表属性和数据类型，生成所述目标数据的质量评估结果并发送至客户端。

6.根据权利要求5所述的数据质量评估管理装置，其特征在于，

所述基于所述若干预设算法模型对所述目标数据进行计算处理，以得到所述目标数据的统计结果、表属性和数据类型包括：计算数据缺失统计、数据偏差统计、表注释统计、录入错误统计得到所述统计结果；根据数据流向、数据访问特点、数据量、数据增长量、数据更新频率、数据生命周期，使用TSNE算法和/或神经网络算法对表分类得到所述表属性；根据数据库中记录的数据类型将string型数据摘出，将所述string型数据分为数值型string数据和文本型string数据并打标得到所述数据类型。

7.根据权利要求5所述的数据质量评估管理装置，其特征在于，所述获取元数据，对所述元数据进行清洗以得到目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中包括：从关系型数据库中获取所述元数据，对所述元数据中存在的脏数据进行解析、判断和预处理以清洗掉所述脏数据得到所述目标数据，将所述目标数据定义为文本型和/或数据型数据并储存于数据库中。

8.根据权利要求5所述的数据质量评估管理装置，其特征在于，所述若干预设算法模型包括：数据缺失建模算法、分位数定义识别异常数据的数据偏差算法、文本语义设别算法、数据录入错误设别算法、表注释设别算法和表属性识别算法。

9.一种数据质量评估管理的电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至4中任一项权利要求所述的数据质量评估管理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至4中任一项权利要求所述的数据质量评估管理方法的步骤。

Images