CN110472109B - 动态化数据质量分析方法及平台系统 - Google Patents

Abstract

本申请实施例适用于大数据技术领域，公开了一种动态化数据质量分析方法及平台系统，其中，方法包括：获取待分析数据；动态配置和/或动态增加待分析数据对应的质量分析策略；根据质量分析策略，为待分析数据打上质量标签，生成标签数据。本申请实施例通过获取待分析数据，为待分析数据打上质量标签，得出质量分析结果，舍弃了传统的硬编码形式，数据质量维护容易、可统一管理以及灵活配置。

Description

动态化数据质量分析方法及平台系统

技术领域

本申请属于大数据技术领域，尤其涉及一种动态化数据质量分析方法及平台系统。

背景技术

当今社会，数据量正迅猛增长，数据的表示形式千变万化，标志着我们已经进入了大数据时代。而大数据时代的到来，对数据管理和从数据中提取有价值的信息提出了挑战。数据质量是有效分析和利用大数据的前提，是大数据产生跨区域、跨行业和跨部门价值的保障。

大数据是企业决策的基础，但是，单纯的数据量的积累不会对企业产生任何益处，只有建立适当的分析模型，并运用相应的技术手段，对大量的数据进行有效的深入加工，以此来发现隐含在大量数据中的信息并加以利用进而指导企业做出相关决策，才能将大数据的真正效用发挥到极致。

然而，目前的业务系统的数据质量分析基本都使用硬编码形式实现，存在数据质量规则维护困难、缺乏统一管理以及不够灵活等问题。

发明内容

本申请实施例提供一种动态化数据质量分析方法及平台系统，以解决数据质量规则维护困难、缺乏统一管理以及不够灵活等问题问题。

第一方面，本申请实施例提供一种动态化数据质量分析方法，包括：

获取待分析数据；

动态配置和/或动态增加所述待分析数据对应的质量分析策略；

根据所述质量分析策略，为所述待分析数据打上质量标签，生成标签数据。

结合第一方面，在一种可能的实现方式中，所述动态配置和/或动态增加所述待分析数据对应的质量分析策略，包括：

从所述待分析数据的元数据中确定目标元数据，所述目标元数据为需要进行质量分析的元数据；

判断是否存在目标元数据对应的目标质量分析策略；

当存在所述目标质量分析策略时，通过动态配置将所述目标质量分析策略作为所述质量分析策略；

当不存在所述目标质量分析策略时，动态增加所述目标元数据对应的质量分析策略。

结合第一方面，在一种可能的实现方式中，在判断出存在所述目标质量分析策略之后，还包括：

判断所述目标质量分析策略是否可用于所述目标元数据；

当所述质量分析规则可用于所述目标元数据时，进入将所述目标质量分析策略作为所述质量分析策略的步骤。

结合第一方面，在一种可能的实现方式中，所述动态增加所述目标元数据对应的质量分析策略，包括：

判断所述元数据是否满足质量分析策略的使用要求；

当所述元数据满足所述使用要求时，判断所述目标元数据是否为结构化数据；

当所述目标元数据为结构化数据时，动态配置并启用所述目标元数据对应的质量分析规则；

当所述目标元数据为非结构化数据时，选择与所述目标元数据对应的算法，并设定算法参数，启用所述目标元数据对应的质量分析算法。

结合第一方面，在一种可能的实现方式中，在所述判断所述元数据是否满足质量分析策略的使用要求之后，还包括：

当所述元数据不满足所述使用要求时，确定缺少的元数据；

根据所述缺少的元数据新增元数据表达式后，进入所述判断所述目标元数据是否为结构化数据的步骤。

结合第一方面，在一种可能的实现方式中，在所述获取待分析数据之后，还包括：

为所述待分析数据分配全局唯一ID。

结合第一方面，在一种可能的实现方式中，所述根据所述质量分析策略，为所述待分析数据打上质量标签，生成标签数据，包括：

根据所述全局唯一ID和所述质量分析策略，为所述待分析数据中的相应数据打上质量标签，生成所述标签数据。

结合第一方面，在一种可能的实现方式中，在所述根据所述质量分析策略，为所述待分析数据打上质量标签，生成标签数据之后，还包括：

根据查询指令，输出质量分析结果明细；

和/或，根据所述标签数据和报告参数，基于相适应的算法或规则自动生成质量分析报告。

第二方面，本申请实施例提供一种动态化数据质量分析平台系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的方法。

第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述的方法。

本申请实施例通过获取待分析数据，为待分析数据打上质量标签，得出质量分析结果，舍弃了传统的硬编码形式，数据质量维护容易、可统一管理以及灵活配置。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种动态化数据质量分析方法的流程示意框图；

图2为本申请实施例提供的数据获取过程的示意图；

图3为本申请实施例提供的步骤S102的具体流程示意框图；

图4为本申请实施例提供的步骤S305的具体流程示意框图；

图5为本申请实施例提供的质量分析规则与算法动态配置过程示意图；

图6为本申请实施例提供的一种动态化数据质量分析方法的另一流程示意框图；

图7为本申请实施例提供的待分析原始数据和质量标签的关系图；

图8为本申请实施例提供的质量分析结果明细输出过程的示意图；

图9为本申请实施例提供的数据质量报告产生方法示意图；

图10为本申请实施例提供的一种动态化数据质量分析装置的结构示意框图；

图11为本申请实施例提供的动态化数据质量分析平台系统的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

实施例一

本申请实施例提供的数据质量分析方法可以应用于动态化数据质量分析平台系统，该平台系统的表现形式可以是任意的，例如，该平台系统可以为本地服务器系统或云服务器系统，也可以是嵌入式系统。该平台系统可以包括一个或多个终端设备。本申请实施例对终端设备的具体类型不作任何限制。

请参见图1，为本申请实施例提供的一种动态化数据质量分析方法的流程示意框图，该方法可以包括以下步骤：

步骤S101、获取待分析数据。

可以理解的是，上述待分析数据是指需要进行质量分析的数据，其可以是任意数据。例如，该待分析数据为人员信息数据，其包括但不限于姓名、年龄、性别、身份证号码以及手机号码等数据。

具体应用中，数据质量分析平台系统可以从第三方系统主动获取该待分析数据，即数据质量分析平台系统可以通过第三方系统提供的服务或者数据同步工具等方式，从第三方系统主动获取数据；也可以从第三方系统被动获取该待分析数据，即数据质量分析平台系统基于自身提供服务或者同步工具等方式，从第三方系统被动获取数据。

参见图2示出的数据获取过程的示意图，如图2所示，其包括N个第三方系统和暂存数据库，暂存数据库和N个第三方系统之间通过数据同步方式进行数据传输，该数据同步方式可以为但不限于REST服务、SOAP服务、消息中间件、ETL工具或者其他数据同步工具，暂存数据库为数据质量分析平台系统的数据库。其中，如果数据同步方式是由第三方系统提供，则质量分析平台可通过这些方式主动获取数据，如果由数据质量分析平台提供，则质量分析平台被动接收待分析数据。

当然，待分析数据也可以已经存储在数据质量分析平台系统本地，数据质量分析平台只需要从数据库中读取该待分析数据即可。也就是说，待分析数据的获取方式可以任意的，在此不作限定。

步骤S102、动态配置和/或动态增加待分析数据对应的质量分析策略。

需要说明的是，上述质量分析策略是指用于为所述待分析数据中需要分析的数据进行质量分析的规则或算法。其中，待分析数据包括多个属性的数据，这多个属性可能均需要进行质量分析，也可能只有一个或其中几个需要进行质量分析，需要对哪些属性的数据进行分析由质量分析需求确定。例如，待分析数据为人员信息，其包括姓名、年龄、性别、身份证号码以及手机号码等多个属性，在一些情况下，只需要对身份证号码进行质量分析，而在另一些情况下，也可以对全部属性的数据进行质量分析。

待分析数据中需要进行质量分析的属性数据可能包括结构化数据和非结构化数据的一种或多种。例如，对于人员信息数据，需要进行质量分析的数据包括年龄、性别、身份证号码以及头像图像，其中，年龄、性别和身份证号码为结构化数据，头像图像为非结构化数据。

对结构化数据进行质量分析需要利用质量分析规则，例如，对于手机号码，对应的质量分析规则为“手机号码不为空”和“手机号码长度等于13”；而对非结构化数据进行质量分析，则需要利用与非结构化数据对应的分析算法。例如，对于图像这一类非结构化数据，需要分析图像清晰度是否大于70，则需要选用图像清晰度分析算法对图像进行分析。非结构化数据除了图像之后，还可以包括文本、声音等数据，每个非结构化数据均有其对应的专有算法，例如，文本分析算法、图像分析算法、声音分析算法等。

值得指出的是，上述动态配置和/或动态增加质量分析策略的过程可以是根据待分析数据，动态增加所需的质量分析规则或质量分析算法，即通过动态生成所需的质量分析规则或算法以获取到相应的质量分析策略。也就是说，系统中不存在所需的质量分析规则或质量分析算法时，动态增加所需的质量分析规则或质量分析算法；可以是从已有的质量分析规则或算法中选择需要的规则或算法，其中，已有的质量分析规则或质量分析算法可以是人为预先创建的，也可以是之前分析其他数据时已经创建过的规则或算法。也就是说，如果系统已存在所需的质量分析规则或质量分析算法，可以通过对已有的质量分析规则或质量分析算法进行动态配置，以获取到相应的质量分析算法或质量分析规则；也可以是对于需要分析的数据，如果已经存在需要的质量分析规则或质量分析算法，则选择需要的规则或算法进行动态配置，如果不存在需要的质量分析规则或质量分析算法，则动态增加对应的规则或算法，其具体过程可以包括：基于待分析数据的元数据，确定出需要进行质量分析的元数据，判断是否已存在所需要的质量分析规则或质量分析算法，如果存在，则对获取到所需的质量分析规则或质量分析算法进行动态配置；如果不存在，则动态增加生成所需的质量分析规则或质量分析算法。

简而言之，如果已经存在所需的质量分析策略，则可以选择所需的质量分析规则或质量分析算法后，再对选择的质量分析规则或质量分析算法进行动态配置，得到用于质量分析的规则或算法。如果不存在所需的质量分析策略，则可以动态增加所需的质量分析规则，其中，动态增加过程中，对于结构化数据，则根据质量分析需求动态配置相应的质量分析规则，对于非结构化数据，则动态增加相应的质量分析算法，并配置算法参数，得到所需的质量分析算法。当然，在一些情况下，可能仅存在部分所需的质量分析策略，此时，则对部分存在的质量分析规则进行动态配置，对于缺少的质量分析策略进行动态增加。

步骤S103、根据质量分析策略，为待分析数据打上质量标签，生成标签数据。

具体地，在获取到质量分析策略之后，执行该质量分析策略，为待分析数据打上质量标签，得到包括质量标签的标签数据。在得到标签数据之后，还可以将该标签数据存储至质量标签结果集。

需要说明的是，上述质量标签的类型可以包括但不限于完整性、规范性、一致性、准确性、唯一性、关联性、及时性以及逻辑性等问题类型。可以预先对质量标签进行定义，预定义质量标签可以包括定义质量标签编码、定义质量标签名称、定义质量标签描述、定义对应文号、定义质量标签类型和定义对应参数代码等等。

标签数据可以包括质量标签和对应的数据。在一些实施例中，在获取待分析数据之后，可以为该待分析数据分配一个全局唯一ID，此时，所生成的标签数据为全局唯一ID+对应的数据+质量标签。

例如，待分析数据为人员信息，对人员信息中的元数据“手机号码”配置了两种规则“手机号码长度等于11”和“手机号码不为空”，并且设定这两种规则的执行顺序为同时，形成手机号码质量分析规则集。此时，根据手机号码质量分析规则集同时执行两种规则：“判断手机号码长度是否等于11”和“判断手机号码是否不为空”。如果手机号码不等于11则打上质量标签，例如规范性异常；同时判断手机号码是否为空，如果为空则打上质量标签，例如，规范性异常。生成包括手机号码数据+质量标签的标签数据。最后将打上质量标签的手机号码数据存储到质量标签结果集。

可以看出，本申请实施例通过获取待分析数据，为待分析数据打上质量标签，得出质量分析结果，舍弃了传统的硬编码形式，数据质量维护容易、可统一管理以及灵活配置。

实施例二

基于上述实施例一，参见图3示出的步骤S102的具体流程示意框图，上述动态配置和/或动态增加待分析数据对应的质量分析策略的具体过程可以包括：

步骤S301、从待分析数据的元数据中确定目标元数据，目标元数据为需要进行质量分析的元数据。

需要说明的是，目标元数据是指待分析数据的元数据中需要进行质量分析的数据。例如，待分析数据为人员信息，其包括姓名、年龄、性别、身份证号码、手机号码、头像图像和学历等元数据，目标元数据为身份证号码、手机号码以及头像图像。目标元数据是由实际分析需求确定，即根据质量分析需求确定出哪些数据需要进行质量分析。通过对待分析数据的元数据进行分析，可以得知待分析数据包括哪些类型的元数据以及确定哪些元数据需要进行质量分析。

步骤S302、判断是否存在目标元数据对应的目标质量分析策略；当存在目标质量分析策略时，进入步骤S303；反之，当不存在目标质量分析策略时，进入步骤S305。

具体地，在确定出目标元数据中之后，判断现有是否存在与目标元数据对应的目标质量分析策略，如果存在，则可以动态配置目标质量分析策略，然后再利用该目标质量分析策略进行质量分析，不用重新增加新的质量分析策略；如果不存在，则可以动态增加新的质量分析策略。

需要说明的是，上述目标质量分析策略是预先生成的，其可以是分析其他数据过程中自动创建的规则。例如，当前待分析数据为人员信息数据，需要对人员信息数据中的身份证号码进行质量分析；之前某个时间段对另一个数据进行质量分析时，生成了“身份证准确性分析”的质量分析规则，此时，则可以直接用之前生成的“身份证准确性分析”的质量分析规则对身份证号码进行分析，不用重新生成新的质量分析规则。当然，上述目标质量分析策略也可以是人为预先生成的。

其中，目标质量分析策略可以包括结构化数据对应的质量分析规则和非结构化数据对应的质量分析算法中的一种或多种。

步骤S303、判断目标质量分析策略是否可用于目标元数据；当目标质量分析策略可用于目标元数据时，进入步骤S304；反之，当目标质量分析策略不可用于目标元数据时，则进入步骤S305。

具体地，在判断出存在所需要的质量分析策略之后，还可以进一步判断存在的目标质量分析策略是否可用于当前的目标元数据，如果不适用当前的目标元数据，则需要动态增加质量分析策略。

其中，判断目标质量分析策略是否可用于目标元数据可以通过将质量分析规则参数或算法参数与待分析数据中的目标元数据进行映射。例如，对人员信息中的身份证号码，需判断身份证号码的准确性，身份证号码为结构化数据。判断是否存在判断身份证号码准确性的质量分析规则，如存在则选择已有的判断身份证准确性性的质量分析规则，再将已有的判断身份证准确性的参数，该参数例如为身份证号码或证件号码，与待分析数据中身份证号码进行映射，之后设定执行多个质量分析规则的顺序，最后形成质量分析规则集。

需要说明的是，在确定出目标质量分析策略之后，可以直接沿用之前的目标质量分析策略的执行顺序，也可以重新设置执行顺序。例如，存在手机号码的质量分析规则：“手机号码长度等于11”和“手机号码不为空”，原有的执行顺序是先执行“手机号码长度等于11”的规则，后执行“手机号码不为空”规则，此时，可以直接沿用之前的执行顺序，也可以设置两种规则的执行顺序为同时执行。

步骤S304、通过动态配置将目标质量分析策略作为质量分析策略。

步骤S305、动态增加目标元数据对应的质量分析策略。

具体地，如果不存在所需要的质量分析策略，则需要根据需求动态配置新的质量分析策略。其中，对于结构化数据和非结构化数据，质量分析策略的配置过程会有相应的不同，故在进行配置之前需要判断数据结构类型，然后则根据数据结构类型动态配置相应的质量分析策略。

在一些实施例中，参见图4示出的步骤S305的具体流程示意框图，上述动态增加目标元数据对应的质量分析策略的具体过程可以包括：

步骤S401、判断元数据是否满足质量分析策略的使用要求；当元数据满足使用要求时，进入步骤S402，反之，当元数据不满足使用要求时，则进入步骤S405。

需要说明的是，上述判断元数据是否满足质量分析策略的使用要求可以具体为判断元数据中是否存在需要进行质量分析的元数据，如果存在需要进行质量分析的元数据，则该元数据满足使用要求，反之，如果不存在需要进行质量分析的元数据，则该元数据不满足使用要求。

例如，待分析数据的元数据包括姓名、年龄、身份证号码、手机号码和学历，但是，人员信息的质量分析规则中包括性别的分析规则，即需要对性别数据进行质量分析，此时，由于待分析数据中的元数据中没有存在“性别”元数据，则可以认为现有元数据不符合使用要求，为了使其满足使用要求，可以通过新增元数据表达式，即新增“性别”的表达式。

步骤S402、判断目标元数据是否为结构化数据；当目标元数据为结构化数据时，进入步骤S403，反之，当目标元数据为非结构化数据时，进入步骤S404。

可以理解的是，数据结构类型可以包括结构化数据和非结构化数据。结构化数据可以例如包括姓名、年龄、性别以及身份证号码等，非结构化数据可以例如包括图像、声音、文本等。

步骤S403、动态配置并启用与目标元数据对应的质量分析规则。

具体地，对于结构化数据，首先动态配置规则，然后再编辑质量分析规则。还可以再设定执行质量分析规则的顺序，顺序设定可选同时或优先级执行，优先级执行时需具体指明执行的优先级，最后形成可有序执法的质量分析规则集。

例如，目标元数据为手机号码，判断“手机号码”是否为结构化数据；当判断出手机号码为结构化数据时，对手机号码配置一个或多个规则，例如，配置规则有“手机号码长度等于13”和“手机号码不为空”；然后，再设定规则执行顺序，例如，设定为同时执行。

步骤S404、选择与目标元数据对应的算法，并设定算法参数，启用目标元数据对应的质量分析算法。

具体地，对于非结构化数据，则需要选择对应的质量分析算法，然后再根据需要设定该算法的参数，以生成用于为非结构化数据进行质量分析的质量分析算法。

例如，目标元数据为头像图像，判断“头像图像”是否为结构化数据；当判断出头像图像为非结构化数据时，则动态加载所需的算法，其中，动态加载的算法中的算法可包括但不限于：文本分析算法、图像分析算法以及声音分析算法等，也就是说，不同类别的非结构化数据有其对应的算法。选择与“头像图像”对应的图像分析算法，然后设定“清晰度大于70”和“图像背景为白色”的算法参数；再设定这两种规则的执行顺序，例如，设定为优先级执行，即先分析清晰度是否大于70，再判断图像背景是否为白色。

步骤S405、确定缺少的元数据。

需要说明的是，上述缺少的元数据是相对于质量分析需求而言，例如，需要对“性别”的数据进行分析，但是现有元数据中缺少了“性别”元数据，则可以认为“性别”为缺少的元数据。

步骤S406、根据缺少的元数据新增元数据表达式后，返回上述步骤S402。

需要说明的是，新增元数据表达式是指在现有元数据中新增加对应的元数据，例如，假如缺少的元数据为“性别”，则在现有元数据中增加“性别”的元数据表达式。新增之后，则可以返回步骤S402，进入动态配置质量分析策略的相应流程。

为了更好地介绍质量分析策略动态配置的过程，下面将结合图5示出的质量分析规则与算法动态配置过程示意图进行介绍说明。

如图5所示，首先分析待分析数据中的元数据，通过对元数据进行分析，可以确定出元数据包括哪些信息以及确定出需要进行质量分析的元数据；判断是否已存在需要的质量分析规则或算法，如果存在，则选择需要的质量分析规则或算法，并将质量分析规则参数或算法参数与待分析数据的元数据进行映射，其中，该映射过程也可以看作是动态配置过程；然后再设定规则或算法的执行顺序，形成质量分析规则集或算法集；如果不存在，则判断现有元数据是否满足质量分析规则或算法使用，如果否，则新增元数据表达式，然后在判断是否为结构化数据：如果是，则判断需要分析的数据是否为结构化数据；如果是结构化数据，则动态配置规则，再编辑质量规则，设定执行顺序，形成质量分析规则数据集；如果是非结构化数据，则动态加载所需的对应算法，动态加载算法的过程也可以看作是动态增加的过程；然后设定相关的算法参数，再设定执行顺序，形成质量分析算法数据集。

可以看出，通过动态配置和/或增加质量分析规则和质量分析算法，可以提高数据质量分析效率。

实施例三

参见图6，为本申请实施例提供的一种动态化数据质量分析方法的另一流程示意框图，该方法可以包括以下步骤：

步骤S601、获取待分析数据。

步骤S602、为待分析数据分配全局唯一ID。

可以理解的是，获取待分析数据存储到数据暂存库后，可以对每条数据配置一个“全局唯一ID”，往后打上质量标签的步骤均是在全局唯一ID上进行。每条待分析数据的全局唯一ID均不同，打上质量标签后可以通过全局唯一ID得知质量标签对应哪条待分析原始数据。

当然，在一些实施例中，也可以不为待分析数据分配全局唯一ID。

步骤S603、动态配置和/或动态增加待分析数据对应的质量分析策略。

步骤S604、根据质量分析策略，为待分析数据打上质量标签，生成标签数据。

需要说明的是，上述标签数据是指打上质量标签之后的数据，其可以包括质量标签和相应的数据。在一些情况下，上述标签数据还可以包括全局唯一ID，即标签数据为全局唯一ID+对应的数据+质量标签。在一些实施例中，上述根据质量分析策略，为待分析数据打上质量标签，生成标签数据可以包括：根据全局唯一ID和质量分析策略，为待分析数据中的相应数据打上质量标签，生成标签数据。

参见图7，为待分析原始数据和质量标签的关系图。如图7所示，待分析原始数据包括元数据P1、P2、P3、P4......Pn，给每条数据配置一个全局唯一ID，变为“全局唯一ID+P1+P2+P3”，后续打上质量标签等步骤是通过全局唯一ID进行，最终获得质量标签“全局唯一ID+P5+质量标签”。其中，通过全局唯一ID可映射包括全部元数据P1、P2、P3、P4......Pn的原始数据。P5是指元数据对应的数据。

具体应用中，除给每条待分析数据一个全局唯一ID外，也可在定义输入模型属性中给每条数据配置一个唯一标识，唯一标识可为一个或多个元数据，唯一标识的目的是为了不获得每条数据的全部元数据，在此不作限定。

步骤S605、根据查询指令，输出质量分析结果明细。

需要说明的是，上述查询指令可以包括全局唯一ID、数据ID或者其他查询条件。该查询指令可以是用户通过第三方系统输入的，数据质量分析平台接收到该查询指令之后，可以从质量标签结果集中查找出对应的明细信息，然后返回至第三方系统。

参见图8示出的质量分析结果明细输出过程的示意图，根据全局唯一ID、数据ID或其他查询条件，可从质量标签结果集查询需要的数据质量分析结果明细，通过暴露REST服务或SOAP服务，或直接将数据质量分析结果明细写入消息中间件，第三方系统可以直接访问REST服务或SOAP服务，或直接接入消息中间件获取数据质量分析结果明细。

步骤S606、根据标签数据和报告参数，基于相适应的算法或规则自动生成质量分析报告。

需要说明的是，上述报告参数可以包括但不限于报告形式和时间等信息。上述相适应的算法或规则可以具体例如为聚类算法或数据统计方法等。

参见图9，为数据质量报告产生方法示意图，首先从质量标签结果集获取单位时间内质量标签，通过一系列的分析算法得到相关结论，从而根据需要输出报告。其中，数据质量分析报告可采用PC电子书格式和手机电子书格式，PC电子书格式包括但不限于PDF、LIT、EXE、CHM、ABM、EPUB以及CAJ等；手机电子书格式包括但不限于UMD以及JAR等。

上述标签数据存储在质量标签结果集中，根据报告参数中的时间参数可以获取到一定时间段内的数据，从而输出相应的质量分析报告。例如，从质量标签结果集获取2019年1月1号到2019年6月30号的人员信息手机号码标记“逻辑性”的质量标签，可通过例如聚类算法或数据统计等方法得到相关结论，输出所需要格式的报告。

需要说明的是，上述步骤S605和S606之间的执行顺序可以是任意的。

可以看出，通过获取待分析数据，为待分析数据打上质量标签，得出质量分析结果，舍弃了传统的硬编码形式，数据质量维护容易、可统一管理以及灵活配置。此外，还为待分析数据分配全局唯一ID和自动输出质量分析结果，提高了使用体验和质量分析效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例四

参见图10，为本申请实施例提供的一种动态化数据质量分析装置的结构示意框图，该装置可以包括：

数据获取模块101，用于获取待分析数据；

策略获取模块102，用于动态配置和/或动态增加待分析数据对应的质量分析策略；

质量分析模块103，用于根据质量分析策略，为待分析数据打上质量标签，生成标签数据。

在一种可能的实现方式中，上述策略获取模块可以包括：

确定单元，用于从待分析数据的元数据中确定目标元数据，目标元数据为需要进行质量分析的元数据；

第一判断单元，用于判断是否存在目标元数据对应的目标质量分析策略；

作为单元，用于当存在目标质量分析策略时，将目标质量分析策略作为质量分析策略；

动态增加单元，用于当不存在目标质量分析规则时，动态增加目标元数据对应的质量分析策略。

在一种可能的实现方式中，上述策略获取模块还可以包括：

第二判断单元，用于判断目标质量分析策略是否可用于目标元数据；

进入单元，用于当质量分析规则可用于目标元数据时，进入将目标质量分析策略作为质量分析策略的步骤。

在一种可能的实现方式中，上述动态增加单元可以包括：

第一判断子单元，用于判断元数据是否满足质量分析策略的使用要求；

第二判断子单元，用于当元数据满足使用要求时，判断目标元数据是否为结构化数据；

配置子单元，用于当目标元数据为结构化数据时，动态配置并启用与目标元数据对应的质量分析规则；

算法生成子单元，用于当目标元数据为非结构化数据时，选择与目标元数据对应的算法，并设定算法参数，启用目标元数据对应的质量分析算法。

在一种可能的实现方式中，上述动态增加单元还可以包括：

确定子单元，用于当元数据不满足使用要求时，确定缺少的元数据；

新增子单元，用于根据缺少的元数据新增元数据表达式后，进入判断目标元数据是否为结构化数据的步骤。

在一种可能的实现方式中，上述装置还可以包括：

ID分配模块，用于为待分析数据分配全局唯一ID。

在一种可能的实现方式中，上述质量分析模块可以包括：

生成单元，用于根据全局唯一ID和质量分析策略，为待分析数据中的相应数据打上质量标签，生成标签数据。

在一种可能的实现方式中，上述装置还可以包括：

输出模块，用于根据查询指令，输出质量分析结果明细；

和/或，报告生成模块，用于根据标签数据和报告参数，基于相适应的算法或规则自动生成质量分析报告。

需要说明的是，上述数据质量分析装置与上述数据质量分析方法一一对应，相关介绍请参见上文相应内容，在此不再赘述。此外，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

实施例五

图11为本申请一实施例提供的动态化数据质量分析平台系统的结构示意图。如图11所示，该实施例的数据质量分析平台11包括：至少一个处理器110(图11中仅示出一个)处理器、存储器111以及存储在所述存储器111中并可在所述至少一个处理器110上运行的计算机程序112，所述处理器110执行所述计算机程序112时实现上述任意各个数据质量分析方法实施例中的步骤。

所述数据质量分析平台11可以是云端服务器等计算设备。该数据质量分析平台可包括，但不仅限于，处理器110、存储器111。本领域技术人员可以理解，图11仅仅是数据质量分析平台11的举例，并不构成对数据质量分析平台11的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器110可以是中央处理单元(Central Processing Unit，CPU)，该处理器110还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器111在一些实施例中可以是所述数据质量分析平台系统11的内部存储单元，例如数据质量分析平台系统11的硬盘或内存。所述存储器111在另一些实施例中也可以是所述数据质量分析平台系统11的外部存储设备，例如所述数据质量分析平台11系统上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器111还可以既包括所述数据质量分析平台系统11的内部存储单元也包括外部存储设备。所述存储器111用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种动态化数据质量分析方法，其特征在于，包括：

从第三方获取待分析数据；

动态配置和/或动态增加所述待分析数据对应的质量分析策略；

根据所述质量分析策略，为所述待分析数据打上质量标签，生成标签数据；

根据第三方输入的查询指令，输出质量分析结果明细，并返回第三方；

所述动态配置和/或动态增加所述待分析数据对应的质量分析策略，包括：

从所述待分析数据的元数据中确定目标元数据，所述目标元数据为需要进行质量分析的元数据；

判断是否存在目标元数据对应的目标质量分析策略；

当存在所述目标质量分析策略时，通过动态配置将所述目标质量分析策略作为所述质量分析策略；

当不存在所述目标质量分析策略时，动态增加所述目标元数据对应的质量分析策略；

所述动态增加所述目标元数据对应的质量分析策略，包括：

判断所述元数据是否满足质量分析策略的使用要求；

当所述元数据满足所述使用要求时，判断所述目标元数据是否为结构化数据；

当所述目标元数据为结构化数据时，动态配置并启用与所述目标元数据对应的质量分析规则；

当所述目标元数据为非结构化数据时，选择与所述目标元数据对应的算法，并设定算法参数，启用所述目标元数据对应的质量分析算法；

在所述判断所述元数据是否满足质量分析策略的使用要求之后，还包括：

当所述元数据不满足所述使用要求时，确定缺少的元数据；

根据所述缺少的元数据新增元数据表达式后，进入所述判断所述目标元数据是否为结构化数据的步骤，所述新增元数据表达式是在元数据中增加对应的元数据。

2.如权利要求1所述的动态化数据质量分析方法，其特征在于，在判断出存在所述目标质量分析策略之后，还包括：

判断所述目标质量分析策略是否可用于所述目标元数据；

当所述目标质量分析策略可用于所述目标元数据时，进入将所述目标质量分析策略作为所述质量分析策略的步骤。

3.如权利要求1所述的动态化数据质量分析方法，其特征在于，在所述获取待分析数据之后，还包括：

为所述待分析数据分配全局唯一ID。

4.如权利要求3所述的动态化数据质量分析方法，其特征在于，所述根据所述质量分析策略，为所述待分析数据打上质量标签，生成标签数据，包括：

根据所述全局唯一ID和所述质量分析策略，为所述待分析数据中的相应数据打上质量标签，生成所述标签数据。

5.如权利要求1至4任一项所述的动态化数据质量分析方法，其特征在于，在所述根据所述质量分析策略，为所述待分析数据打上质量标签，生成标签数据之后，还包括：

根据所述标签数据和报告参数，基于相适应的算法或规则自动生成质量分析报告。

6.一种动态化数据质量分析平台系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。

Images