CN113242157B - 一种分布式处理环境下的集中式数据质量监测方法 - Google Patents

Abstract

本发明提出了一种分布式处理环境下的集中式数据质量监测方法，本申请涉及一种数据质量监测方法，尤其涉及一种分布式处理环境下的集中式数据质量监测方法，属于数据分析技术领域。根据实际监测需要配置待监测的数据灵活配置监测规则，对待监测数据进行监测，数据质量监测服务获取待监测数据后，把待监测数据集进行分块，让多个计算节点对分布式内存上的数据同时根据配置并行计算，然后将对多个计算节点上的计算结果进行汇总后生成监测结果，生成数据质量监测报告，从而辅助运维人员快速发现数据质量问题进而跟踪解决，以此提升实时数据中心平台的数据质量；解决了现有技术中存在的数据质量监测方法配置不灵活且不利于管理的技术问题。

Description

一种分布式处理环境下的集中式数据质量监测方法

技术领域

本申请涉及一种数据质量监测方法，尤其涉及一种分布式处理环境下的集中式数据质量监测方法，属于数据分析技术领域。

背景技术

随着网络技术的日益发展和网络应用的日渐广泛，维护和保障网络安全的重要性愈发凸显。而在网络安全分析工作过程中，相关数据的支撑性和重要性不言而喻。而分析工作得到结论的有效性和准确性则全都取决与所要分析挖掘的数据是否是高质量的，一个低质量的数据不仅无法体现数据价值,而且可能会使分析结果与实际情况背道而驰。因此必须保证支撑业务分析工作相关数据的数据质量，保证数据的完整性、正确性、一致性和可靠性，为实际网络安全分析工作提供可信的数据环境。

然而，实际工作中使用的数据是从多个业务系统中集成产生的，这些系统搭建时间不同，数据库设计也为遵循统一的标准，往往存在不良的数据库模式设计，例如缺少完整性约束和缺少正确的数据检验逻辑等情况，使得积累的业务数据存在大量的质量问题，在对于这些异构数据进行集成时难以在源头控制数据质量，容易出现脏数据。同时集成过来的多种数据往往需要通过各种复杂的分析过程后才能产生对实际工作具有支撑价值的结果数据，而分析过程主要是在后台进行，对于使用者来说并不透明，分析结果的准确性也难以进行验证。因此需要一种数据质量监控手段来对多源异构数据和多分析过程结果数据进行验证，以保证最后的数据是正确的、可靠的、能准确地反映客观现实的高质量数据。

现有的数据质量监测一般是预设数据监测埋点获取待监测数据，然后把待监测数据存储到关系型数据库中，然后使用SQL语句进行质量检测完成数据质量监测任务。这种数据质量监测方法配置不灵活且不利于管理，同时在数据量过大时，容易出现数据库宕机或者检测超时等问题。

发明内容

为解决现有技术中存在的数据质量监测方法配置不灵活且不利于管理的技术问题，本发明提供了一种分布式处理环境下的集中式数据质量监测方法，根据实际监测需要配置待监测的数据灵活配置监测规则，通过数据质量监测服务获取待监测数据后，让多个计算节点对分布式内存上的数据同时根据配置并行计算，然后将对多个计算节点上的计算结果进行汇总后生成监测结果，从而辅助运维人员快速发现数据质量问题进而跟踪解决，以此提升实时数据中心平台的数据质量，为实时数据业务应用提供更好的支撑，提高实时数据中心的数据质量，弥补了现有技术的不足。

一种分布式处理环境下的集中式数据质量监测方法，包括以下步骤：

S110.根据实际监测需要配置待监测数据的监测规则组合；

S120.初始化分布式服务器下的集中式数据质量监测服务；

S130.数据质量监测服务获取待监测数据；

S140.数据质量监测服务读取配置好的规则内容对数据进行动态监测，按照监测结果生成数据质量监测记录。

优选的，步骤S110所述根据实际监测需要配置待监测数据的监测规则组合具体包括以下步骤：

S210.按照待监测数据配置质量监测任务；

S220.按照待监测的数据字段内容配置字段监测规则；

S230.按照待监测数据的数据处理过程配置数据检测运算规则；

S240.按照待监测数据配置数据监测预警阈值。

优选的，步骤S120所述初始化分布式服务器下的集中式数据质量监测服务具体包括以下步骤：

S310.创建数据采集服务，数据采集服务用于收集待监测数据；

S320.创建数据质量监测服务，数据质量监测服务用于读取配置规则对待监测数据进行监测；

S330.创建监测预警服务，监测预警服务用于在数据质量监测过程中数据问题数量超过阈值后发出预警信息。

优选的，步骤S130所述数据质量监测服务获取待监测数据具体通过主动和被动两种方式获取。

优选的，步骤S130所述被动获取待监测数据的具体方法是，通过数据质量监测服务提供的统一接口被动获取待监测数据；步骤S130所述主动获取待监测数据的具体方法是，通过数据采集服务主动对数据存储中的待监测数据进行实时获取或者离线获取。

优选的，步骤S140所述数据质量监测服务读取配置好的规则内容对数据进行动态监测，按照监测结果生成数据质量监测记录具体包括以下步骤：

S410.把待监测数据集进行分块，并按照服务器负载分配到多个计算节点进行分析；

S420.各个计算节点对待监测数据按照预先配置的监测规则进行监测生成各自的监测结果；

S430.整合各节点的监测结果得到最终的监测结果集，生成数据质量监测报告。

优选的，步骤S410所述按照服务器负载分配到多个计算节点进行分析具体包括，每条数据字段的质量分析、数据处理过程的数据质量分析；所述数据处理过程的数据质量分析包括，一致性检测、完整性检测、格式化检测以及数据重复性检测。

优选的，步骤S210所述按照待监测数据配置质量监测任务具体包括，按照实际监测需要配置定时执行监测任务、实时执行监测任务；

步骤S220所述按照待监测的数据字段内容配置字段监测规则具体包括，空值检测、值域检查、字符串长度检查、日期格式校验、IP地址校验、域名校验、邮箱检查、字符串正则检查、数字格式检查，或者进行自定义规则对字段内容进行校验。

步骤S230所述按照待监测数据的数据处理过程配置数据检测运算规则具体包括，求和运算检测、最值运算检测、平均值运算、分组运算检，或者进行自定义规则对字段内容进行校验。

优选的，步骤S310所述创建数据采集服务，用于收集待监测数据的获取方式包括，实时数据获取和离线数据获取两种；所述实时数据获取包括直连数据库查询、调用API接口获取；所述离线数据获取是通过对离线数据文件进行读取后实现。

优选的，步骤S330所述在数据监测过程中数据问题数量超过阈值后发出预警信息时，同时保存相关的错误数据。

本发明的有益效果如下：一种分布式处理环境下的集中式数据质量监测方法，根据实际监测需要配置待监测的数据灵活配置监测规则，通过数据质量监测服务获取待监测数据后，让多个计算节点对分布式内存上的数据同时根据配置并行计算，然后将对多个计算节点上的计算结果进行汇总后生成监测结果，从而辅助运维人员快速发现数据质量问题进而跟踪解决，以此提升实时数据中心平台的数据质量，为实时数据业务应用提供更好的支撑，提高实时数据中心的数据质量。解决了现有技术中存在的数据质量监测方法配置不灵活且不利于管理的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明所述的数据质量监测方法流程示意图；

图2为本发明所述的数据质量监测方法中配置数据监测规则的流程示意图；

图3为本发明所述的数据质量监测方法中初始化数据质量监测服务的流程示意图；

图4为本发明所述的数据质量监测方法中数据动态监测流程示意图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例、参照图1-4，说明本实施例，本实施例的一种分布式处理环境下的集中式数据质量监测方法，包括以下步骤：

步骤110、根据实际监测需要配置待监测数据的监测规则组合；针对不同类型的待监测数据所对应的对象的性质或特性，策略性配置相关的监测任务和数据检测规则组合，组合中至少需要包含一种数据检测规则对监测数据进行检测；同时还可以配置预警阈值，在数据监测过程中如果数据超过了预设阈值，则会进行预警；具体包括以下步骤：

步骤210、按照待监测数据配置质量监测任务；监测任务可以按照实际监测需要配置定时执行监测任务、实时执行监测任务等多种方式，同时按照待监测数据的数据量可以配置数据质量检测方式为抽样检测或者全量检测。

步骤220、按照待监测的数据字段内容配置字段监测规则；字段内容监测规则主要对待处理的数据和处理完成的数据进行检验，验证每条数据中各个字段存储的数据是否正确。可以配置的规则主要包括空值检测、值域检查、字符串长度检查、日期格式校验、IP地址校验、域名校验、邮箱检查、字符串正则检查、数字格式检查等多种校验规则，也可进行自定义规则对字段内容进行校验。

步骤230、按照待监测数据的数据处理过程配置数据检测运算规则；数据运算检测规则主要是用于对处理过程产生的数据进行检验，主要通过对比原始数据通过正常数据流程和运算检测规则产生的两种数据结果是否一致来进行验证，验证主要采用抽样验证的方式，减少计算资源的消耗。可以配置的运算检测规则主要包括求和运算检测、最值运算检测、平均值运算、分组运算检测等多种校验规则，也可进行自定义规则对字段内容进行校验。

步骤240、按照待监测数据配置数据监测预警阈值；监测预警阈值可以根据实际数据情况按照不同的处理过程所述指标值进行确定，当所述数据观测指标在实际监测时超过预定的阈值时，则会进行预警。

步骤120、初始化分布式服务器下的集中式数据质量监测服务；初始化数据质量监测服务主要包括创建数据采集服务、数据质量监测服务和监测预警服务；具体包括以下步骤：

步骤310、创建数据采集服务，数据采集服务用于收集待监测数据；初始化创建的数据采集服务主要用于数据质量监测服务主动收集待监测数据，获取方式包括实时数据获取和离线数据获取两种，其中实时数据获取包括直连数据库查询、调用API接口获取等；离线数据获取则主要通过对离线数据文件进行读取后实现。还可以采用实时与离线配合的方式获取。

步骤320、创建数据质量监测服务，数据质量监测服务用于读取配置规则对待监测数据进行监测；创建数据质量监测服务主要初始化一个数据质量监控引擎，同时提供了监控任务的全生命周期管理，服务可读取上述质量监测任务相关配置创建监控任务，然后在监控引擎中执行数据质量监控任务。

步骤330、建监测预警服务，监测预警服务用于在数据质量监测过程中数据问题数量超过阈值后发出预警信息；监测预警服务在数据监控任务执行过程中被使用，当数据质量监测服务发现监测的数据不符合预先配置好的质量检测规则时，例如数据唯一性、数据格式错误、数据处理运算结果与校验结果不一致等问题，将会发出预警信息并保存相关的错误数据。

步骤130、数据质量监测服务获取待监测数据；数据质量监测服务通过主动和被动两种方式获取待监测数据，被动接收待监测数据具体是通过数据采集服务提供的统一接口被动接收待监测数据；主动接收待监测数据具体是通过数据采集服务主动对数据存储中的待监测数据进行获取。

步骤140、数据质量监测服务读取配置好的规则内容对数据进行动态监测，按照监测结果生成数据质量监测记录；数据质量监测服务获取数据后，结合现有大数据分布式存储以及分布式计算特性把数据进行分块处理后下发给多个计算节点进行分析，分析内容包括每条数据字段的质量、数据处理过程的数据质量等，数据质量检查主要包括有一致性检测、完整性检测(字段长度、内容大小、内容匹配、空值)、格式化检测(IP格式、域名格式、邮箱格式、MD5特征码、日期时间格式以及数字格式检查)以及数据重复性检测等多个方面；具体包括以下步骤：

步骤410、把待监测数据集进行分块，并按照服务器负载分配到多个计算节点进行分析；将监测获得的待监测数据源进行分块，通过服务器的多线程处理能力，对分片进行并发处理，提高异构数据的处理速度。分片时需要考虑服务器的处理能力，避免分片数量过少导致线程闲置或者分片数量过多等待时间过长的情况，同时也考虑到同一类型的数据分片时需要分配到相同的片区，方便后续运算验证。

本实施例中，预设一种集群运算框架，如：Spark、MapReduce等，通过集群运算框架搭配集群管理员和分布式的存储系统，能够实现对大规模数据的分布式并行计算。在这些集群运算框架中，数据集是构成集群运算框架和实现分布式并行计算的基础。

步骤420、各个计算节点对待监测数据按照预先配置的监测规则进行监测生成各自的监测结果；各计算节点获取到待监测的数据后，读取配置好的监测数据检验规则，对每条数据的各个字段按照字段规则进行检验，然后对同一类型的数据进行抽样后使用定义好的运算规则进行计算，计算结果对比实际运算产生的结果，生成相关数据的监测信息，其中在对数据进行检验时出现超出阈值的或者错误严重的数据，则调用监测预警服务进行预警。

步骤430、整合各节点的监测结果得到最终的监测结果集，生成数据质量监测报告；按照分块时的信息，整合各节点形成的监测结果，对整合的结果再次分析，从而数据质量监测报告。

本发明的工作原理：根据实际监测需要配置待监测的数据灵活配置监测规则，通过数据质量监测服务读取配置规则对待监测数据进行监测，数据质量监测服务获取待监测数据后，把待监测数据集进行分块，让多个计算节点对分布式内存上的数据同时根据配置并行计算，然后将对多个计算节点上的计算结果进行汇总后生成监测结果，生成数据质量监测报告，从而辅助运维人员快速发现数据质量问题进而跟踪解决，以此提升实时数据中心平台的数据质量，为实时数据业务应用提供更好的支撑，提高实时数据中心的数据质量。

需要说明的是，在以上实施例中，只要不矛盾的技术方案都能够进行排列组合，本领域技术人员能够根据排列组合的数学知识穷尽所有可能，因此本发明不再对排列组合后的技术方案进行一一说明，但应该理解为排列组合后的技术方案已经被本发明所公开。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。

Claims (1)

1.一种分布式处理环境下的集中式数据质量监测方法，其特征在于，包括以下步骤：

S110. 根据实际监测需要配置待监测数据的监测规则组合，组合中至少需要包含一种数据检测规则对监测数据进行检测，同时配置预警阈值，具体包括以下步骤：

步骤210、按照待监测数据配置质量监测任务；监测任务按照实际监测需要配置定时执行监测任务或实时执行监测任务，同时按照待监测数据的数据量配置数据质量检测方式为抽样检测或者全量检测；

步骤220、按照待监测的数据字段内容配置字段监测规则；字段内容监测规则是对待处理的数据和处理完成的数据进行检验，验证每条数据中各个字段存储的数据是否正确；配置的规则包括空值检测、值域检查、字符串长度检查、日期格式校验、IP地址校验、域名校验、邮箱检查、字符串正则检查、数字格式检查，或自定义规则对字段内容进行校验；

步骤230、按照待监测数据的数据处理过程配置数据检测运算规则；用于对处理过程产生的数据进行检验，对比原始数据通过正常数据流程和运算检测规则产生的两种数据结果是否一致进行验证，验证采用抽样验证的方式，减少计算资源的消耗；配置的运算检测规则包括求和运算检测、最值运算检测、平均值运算、分组运算检测；

步骤240、按照待监测数据配置数据监测预警阈值；监测预警阈值根据实际数据情况按照不同的处理过程的指标值进行确定，当数据观测指标在实际监测时超过预定的阈值时，则会进行预警；

S120. 初始化分布式服务器下的集中式数据质量监测服务；初始化数据质量监测服务包括创建数据采集服务、数据质量监测服务和监测预警服务；具体包括以下步骤：

步骤310、创建数据采集服务，数据采集服务用于收集待监测数据；初始化创建的数据采集服务用于数据质量监测服务主动收集待监测数据，获取方式包括实时数据获取和离线数据获取两种，其中实时数据获取包括直连数据库查询、调用API接口获取；离线数据获取通过对离线数据文件进行读取后实现，或采用实时与离线配合的方式获取；

步骤320、创建数据质量监测服务，数据质量监测服务用于读取配置规则对待监测数据进行监测；创建数据质量监测服务初始化一个数据质量监控引擎，提供监控任务的全生命周期管理，服务读取质量监测任务相关配置创建监控任务，在监控引擎中执行数据质量监控任务；

步骤330、创建监测预警服务，监测预警服务用于在数据质量监测过程中数据问题数量超过阈值后发出预警信息；监测预警服务在数据监控任务执行过程中被使用，当数据质量监测服务发现监测的数据不符合预先配置好的质量检测规则时，将会发出预警信息并保存相关的错误数据；

S130. 数据质量监测服务获取待监测数据；数据质量监测服务通过主动和被动两种方式获取待监测数据，被动接收待监测数据具体是通过数据采集服务提供的统一接口被动接收待监测数据；主动接收待监测数据具体是通过数据采集服务主动对数据存储中的待监测数据进行获取；

S140. 数据质量监测服务读取配置好的规则内容对数据进行动态监测，按照监测结果生成数据质量监测记录；数据质量监测服务获取数据后，结合大数据分布式存储以及分布式计算特性把数据进行分块处理后下发给多个计算节点进行分析，分析内容包括每条数据字段的质量、数据处理过程的数据质量，数据处理过程的数据质量分析包括有一致性检测、完整性检测、格式化检测以及数据重复性检测，具体包括以下步骤：

步骤410、把待监测数据进行分块，并按照服务器负载分配到多个计算节点进行分析；将监测获得的待监测数据进行分块，通过服务器的多线程处理能力，对分片进行并发处理；

步骤420、各个计算节点对待监测数据按照预先配置的监测规则进行监测生成各自的监测结果；各计算节点获取到待监测的数据后，读取配置好的监测数据检验规则，对每条数据的各个字段按照字段规则进行检验，对同一类型的数据进行抽样后使用定义好的运算规则进行计算，计算结果对比实际运算产生的结果，生成相关数据的监测信息，其中在对数据进行检验时出现超出阈值的或者错误严重的数据，则调用监测预警服务进行预警；

步骤430、整合各节点的监测结果得到最终的监测结果集，生成数据质量监测报告；按照分块时的信息，整合各节点形成的监测结果，对整合的结果再次分析，生成数据质量监测报告。

Images