CN114911681A - 一种基于数据元标准的数据模型监测方法及设备 - Google Patents

Abstract

本申请公开了一种基于数据元标准的数据模型监测方法及设备，用以解决现有的业务数据利用率及维护效率较低的技术问题。方法包括：创建数据元标准；其中，所述数据元标准用于指示数据模型内数据元的属性信息；获取所述数据模型内存在的数据类型，并根据所述数据类型选择所述数据模型对应的数据元标准；通过所选择的数据元标准对所述数据模型进行值域异常检测，以确定所述数据模型内的数据是否符合所选择的数据元标准；若否，则运行预设数据模型规则，生成数据分析报告；根据所述数据分析报告，定位问题数据，并根据所选择的数据元标准对所述数据模型内的问题数据进行修改；再次运行所述预设数据模型规则，直至所述数据模型内不存在所述问题数据。

Description

一种基于数据元标准的数据模型监测方法及设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种基于数据元标准的数据模型监测方法及设备。

背景技术

随着网络和信息技术的不断普及应用，全国各地都在大力推进新型智慧城市建设进程。政府及企业间根据各项目建设的需求进行规划各个业务系统，且业务数据具有规模大，种类多和价值高等特点。数据量爆炸式增长，针对不同的业务系统与业务需求，也产生了多种不同类型的数据源，如关系型数据源，HBase数据源，时序数据源。不同数据源因设计方式不同，对数据类型的定义及分类不同。由于跨部门的业务数据交换越来越频繁，对业务系统的数据模型规范化的需求也越来越明显。

现有的业务系统对数据模型的建设缺乏一致性、准确性、规范性，即使有本地标准，则需人工检查，数据维护所需的付出与产生的价值不成正比，且不同数据库采用不同的引擎，对字段、格式、命名方法也各不相同，致使业务数据的利用及维护效率较低，也就无法实现真正的数据共享，资源公用。

发明内容

本申请实施例提供了一种基于数据元标准的数据模型监测方法，用以解决现有的业务数据利用率及维护效率较低的技术问题。

一方面，本申请实施例提供了一种基于数据元标准的数据模型监测方法，所述方法包括：创建数据元标准；其中，所述数据元标准用于指示数据模型内数据元的属性信息；获取所述数据模型内存在的数据类型，并根据所述数据类型选择所述数据模型对应的数据元标准；通过所选择的数据元标准对所述数据模型进行值域异常检测，以确定所述数据模型内的数据是否符合所选择的数据元标准；若否，则运行预设数据模型规则，生成数据分析报告；根据所述数据分析报告，定位问题数据，并根据所选择的数据元标准对所述数据模型内的问题数据进行修改；再次运行所述预设数据模型规则，直至所述数据模型内不存在所述问题数据。

在本说明书的一个或多个实施例中，所述创建数据元标准，具体包括：在所述数据模型对应的业务系统内，直接输入所述数据元标准；或者，将所述数据元标准整理成表格形式，再将所述表格导入所述业务系统。

在本说明书的一个或多个实施例中，所述数据元的属性信息至少包括以下任一项或者多项：数据类型、数据长度、数据精度、是否为空以及值域。

在本说明书的一个或多个实施例中，在创建所述数据元标准之后，所述方法还包括：通过所述数据元标准对业务系统内的所有数据模型进行监测，生成落标报告；其中，所述落标报告中至少包括以下任一项或者多项：所述数据模型对应的数据类型、所述数据模型对应的数据元标准以及所述数据模型的位置。

在本说明书的一个或多个实施例中，所述预设数据规则用于指示所述数据模型内的数据质量；所述预设数据模型规则至少包括以下任一项或者多项：空值规则、值域规则、重复数据规则、格式规范规则、数据关联性规则、值长度规则、数目规则、数据类型规则、主键规则、逻辑一致性规则、数据及时性规则以及阈值规则。

在本说明书的一个或多个实施例中，在运行预设数据模型规则之后，所述方法还包括：确定所述预设数据模型规则运行出错；获取错误信息，并基于所述错误信息生成提示信息；将所述提示信息发送至指定邮箱。

在本说明书的一个或多个实施例中，生成数据分析报告之后，所述方法还包括：将所述数据分析报告与所述提示信息一同发送至所述指定邮箱，以便于数据质量管理员定位所述问题数据。

在本说明书的一个或多个实施例中，在运行预设数据模型规则之后，所述方法还包括：确定所述预设数据模型规则的运行过程是否满足预设报告条件；若是，则生成提示信息，并将所述提示信息发送至指定邮箱。

在本说明书的一个或多个实施例中，所述预设报告条件用于指示所述预设模型规则的运行过程完整度；所述预设报告条件至少包括运行错误记录数大于预设阈值。

另一方面，本申请实施例还提供了一种基于数据元标准的数据模型监测设备，所述设备包括：处理器；以及，存储器，其上存储有可执行指令，当所述可执行指令被执行时，使得所述处理器执行如上述的一种基于数据元标准的数据模型监测方法。

本申请实施例提供的一种基于数据元标准的数据模型监测方法及设备，具有以下有益效果：

通过创建数据元标准，将业务系统内的业务数据进行规范，使得不同的业务系统之间的数据能够实现共享，提高数据的利用率，同时，能够通过预设数据模型规则，对数据模型内的问题数据进行快速、准确的定位，使得数据管理员可以及时了解问题数据，对问题数据进行维护，提升了业务数据的维护效率，并且，在业务数据统一规范的前提下，数据维护人员可以通过统一的方式或者标准对业务数据进行维护，这样一来，就减轻了数据维护人员的工作压力。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种基于数据元标准的数据模型监测方法流程图；

图2为本申请实施例提供的一种导入业务系统的表格示意图；

图3为本申请实施例提供的一种基于数据元标准的数据模型监测设备结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的一种基于数据元标准的数据模型监测方法流程图。如图1所示，本申请实施例提供的数据模型监测方法，至少包括以下执行步骤：

步骤101、创建数据元标准。

互联网数据标准化，包含数据元标准管理和数据模型管理。数据元标准管理是指对互联网数据标准化定义，是根据国际或行标建立起数据元标准规范；数据模型管理是指，依据数据元标准规范创建业务逻辑标准模型。

本申请实施例提供的数据模型监测方法，其执行主体可以是数据模型所在的业务系统对应的服务器。由于数据模型监测方法是基于数据元标准实现的，因此，本申请实施例中，需要先创建数据元标准，这个创建出的数据元标准将至少作为需要进行数据交互的多个业务系统需要遵守的标准。

标准数据元是元数据管理的重要输入，标准数据元管理将数据标准定义映射到元数据信息上；标准数据元是数据质量监测规则的制定依据，通过标准化的方式对数据元的属性进行定义。因此，本申请实施例中的数据元标准用于指示数据模型内数据的属性信息，即将数据模型内数据的属性进行统一，给出一个标准规范。

进一步地，在本申请的一个示例中，可以采用直接在业务系统内添加或者输入数据元标准的方式，也可以将数据源标准整理成excel表格形式，然后通过excel表格导入业务系统的方式创建数据元标准，对数据模型内的数据类型、数据长度、数据精度、是否为空、值域等属性信息进行设置/定义。通过excel文件导入业务系统方式创建的示例如图2所示。

步骤102、根据数据类型选择所述数据模型对应的数据元标准。

前述创建的数据元标准是各种数据类型对应的标准，而在一个业务系统中，通常存在一种或多种不同的数据类型，因此，需要确定待监测的数据模型对应的数据类型，然后基于该数据类型确定与之对应的数据元标准。例如，前述创建的数据元标准如图2所示，但是在待监测的数据模型中，仅存在数据类型为字符型的数据，这样一来，仅需要将字符型数据对应的数据元标准，也即表格中的第一行，提取出来作为数据模型对应的数据元标准。

步骤103、对所述数据模型进行值域异常检测。

确定完数据模型对应的数据元标准之后，通过该数据元标准对数据模型进行值域异常性检测，本申请实施例中的值域异常性检测主要是检测数据模型内的数据是否符合该数据模型对应的数据元标准，若符合，则说明该数据模型内的数据符合统一的标准，可以与同样符合标准的其他业务系统进行数据交互。

在本申请实施例的一种或多种可能实现方式中，数据云标准不仅可以对数据模型内的数据进行值域异常性检测，也可以根据所定义的数据元标准对数据模型进行常规监测，生成落标报告，在落标报告中展示数据模型对应的数据元标准、数据模型对应的数据类型以及数据模型的位置等信息。

步骤104、运行预设数据模型规则，定位问题数据。

如果上述步骤中的值域异常性检测没有通过，即数据模型中的数据不符合数据元标准，则需要运行预设数据模型规则，找到/定位问题数据。具体地，可以通过运行预设数据模型规则，生成数据模型对应的详细的数据分析报告，在数据分析报告中定位问题数据。在本申请的一个示例中，预设数据规则用于指示数据模型内的数据质量。

在本申请实施例的一种或多种可能实现方式中，通过运行预设数据模型规则，实现对数据质量的监控。预设数据模型规则中包括，空值规则：规定数据应为非空值；值域规则：规定(字符、整型、浮点、时间类型数据)数据属于一个固定范围内，且有枚举、最大值最小值两种范围方式。重复数据规则：数据根据某一依据判断是否唯一性。格式规范规则：数据应符合业务系统预定义的格式规范要求，如邮箱、固定电话等。数据关联性规则：数据是否在另一数据集范围内。值长度规则：数据的长度是否符合预定义的长度范围。数目规则：数据行数是否符合业务预期。字段类型规则：数据类型是否符合业务系统预定义的字段类型。主键规则：模型表是否有主键。逻辑一致性规则：规定某一模型的数据应与其他模型的一个或多个数据满足一定的逻辑关系。数据及时性规则：数据产生和流转应达到管理和使用的时效要求。阈值规则：(数值型、日期型、时间戳型)数据应符合业务系统预定义的量纲要求。

步骤105、修改数据模型，并继续运行预设数据模型规则。

在找到问题数据之后，基于数据元标准对数据模型进行修改，也即，修改数据模型内的问题数据，修改后再次运行预设数据模型规则，校验数据，直至前述问题数据消除，以使数据模型内的业务数据达到统一标准，进而提高业务数据利用率及维护效率。

在本申请实施例的一种或多种可能实现方式中，当运行预设数据模型规则出错时，系统会获取运行错误信息以生成提示信息，并将该提示信息发送至指定邮箱，同时，也会将生成的数据分析报告一同进行发送，帮助数据质量管理员快速定位问题数据。

进一步地，当运行预设数据模型规则满足预设报告条件时，也会向指定邮箱发送提示信息，其中预设报告条件用于指示预设模型规则的运行过程完整度，可从完整性、唯一性、有效性、准确性、一致性、及时性、可获取性、错误记录数等维度进行设置。在本申请的一个示例中，预设报告条件至少包括运行错误记录数大于预设阈值，即在运行出错次数过多时，进行报告。

以上为本申请实施例中的方法实施例，基于同样的发明构思，本申请实施例还提供了一种基于数据元标准的数据模型监测设备，其结构如图3所示。

图3为本申请实施例提供的一种基于数据元标准的数据模型监测设备结构图。如图3所示，设备包括：处理器，以及存储器，其上存储有可执行指令，当所述可执行指令被执行时，使得所述处理器执行如前述方式实施例描述的一种基于数据元标准的数据模型监测方法。

在本申请实施例的一种或多种可能实现方式中，上述可执行指令被配置为：创建数据元标准；其中，所述数据元标准用于指示数据模型内数据元的属性信息；获取所述数据模型内存在的数据类型，并根据所述数据类型选择所述数据模型对应的数据元标准；通过所选择的数据元标准对所述数据模型进行值域异常检测，以确定所述数据模型内的数据是否符合所选择的数据元标准；若否，则运行预设数据模型规则，生成数据分析报告；根据所述数据分析报告，定位问题数据，并根据所选择的数据元标准对所述数据模型内的问题数据进行修改；再次运行所述预设数据模型规则，直至所述数据模型内不存在所述问题数据。

本申请实施例提供的基于数据元标准的数据模型监测方法及设备，具有以下优点：

1.创建了数据元标准，在业务系统添加新的数据模型时，可以为数据模型设置数据元标准，选择的数据元标准要和数据模型的数据类型相匹配。通过数据元标准，将业务系统内数据模型中的业务数据进行统一，使其可以与遵循同样标准的业务系统进行数据交互，提高了业务数据的利用率，统一的标准数据，也提升了数据管理员的维护效率。

2.提供了完整、高质量的标准数据，能够为决策支持和精细化管理等提供支撑，同时，提供了12类规则评价体系(预设数据模型规则)，全方位满足行业个性化的质检需求。当数据产生质量问题时，系统生成提示信息实现自动告警，为数据管理者提供详细的数据质量分析报告，便于数据管理者快速、准确的定位问题数据。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于数据元标准的数据模型监测方法，其特征在于，所述方法包括：

创建数据元标准；其中，所述数据元标准用于指示数据模型内数据元的属性信息；

获取所述数据模型内存在的数据类型，并根据所述数据类型选择所述数据模型对应的数据元标准；

通过所选择的数据元标准对所述数据模型进行值域异常检测，以确定所述数据模型内的数据是否符合所选择的数据元标准；

若否，则运行预设数据模型规则，生成数据分析报告；

根据所述数据分析报告，定位问题数据，并根据所选择的数据元标准对所述数据模型内的问题数据进行修改；

再次运行所述预设数据模型规则，直至所述数据模型内不存在所述问题数据。

2.根据权利要求1所述的一种基于数据元标准的数据模型监测方法，其特征在于，所述创建数据元标准，具体包括：

在所述数据模型对应的业务系统内，直接输入所述数据元标准；或者，

将所述数据元标准整理成表格形式，再将所述表格导入所述业务系统。

3.根据权利要求1所述的一种基于数据元标准的数据模型监测方法，其特征在于，

所述数据元的属性信息至少包括以下任一项或者多项：数据类型、数据长度、数据精度、是否为空以及值域。

4.根据权利要求1所述的一种基于数据元标准的数据模型监测方法，其特征在于，在创建所述数据元标准之后，所述方法还包括：

通过所述数据元标准对业务系统内的所有数据模型进行监测，生成落标报告；

其中，所述落标报告中至少包括以下任一项或者多项：所述数据模型对应的数据类型、所述数据模型对应的数据元标准以及所述数据模型的位置。

5.根据权利要求1所述的一种基于数据元标准的数据模型监测方法，其特征在于，

所述预设数据规则用于指示所述数据模型内的数据质量；

所述预设数据模型规则至少包括以下任一项或者多项：空值规则、值域规则、重复数据规则、格式规范规则、数据关联性规则、值长度规则、数目规则、数据类型规则、主键规则、逻辑一致性规则、数据及时性规则以及阈值规则。

6.根据权利要求1所述的一种基于数据元标准的数据模型监测方法，其特征在于，在运行预设数据模型规则之后，所述方法还包括：

确定所述预设数据模型规则运行出错；

获取错误信息，并基于所述错误信息生成提示信息；

将所述提示信息发送至指定邮箱。

7.根据权利要求6所述的一种基于数据元标准的数据模型监测方法，其特征在于，生成数据分析报告之后，所述方法还包括：

将所述数据分析报告与所述提示信息一同发送至所述指定邮箱，以便于数据质量管理员定位所述问题数据。

8.根据权利要求1所述的一种基于数据元标准的数据模型监测方法，其特征在于，在运行预设数据模型规则之后，所述方法还包括：

确定所述预设数据模型规则的运行过程是否满足预设报告条件；

若是，则生成提示信息，并将所述提示信息发送至指定邮箱。

9.根据权利要求8所述的一种基于数据元标准的数据模型监测方法，其特征在于，

所述预设报告条件用于指示所述预设模型规则的运行过程完整度；

所述预设报告条件至少包括运行错误记录数大于预设阈值。

10.一种基于数据元标准的数据模型监测设备，其特征在于，所述设备包括：

处理器；

以及，存储器，其上存储有可执行指令，当所述可执行指令被执行时，使得所述处理器执行如权利要求1-9任一项所述的一种基于数据元标准的数据模型监测方法。

Images