CN114969115A - 基于标准化元数据体系的数据管理方法和系统 - Google Patents

Abstract

本发明提供了一种基于标准化元数据体系的数据管理方法和系统，包括：步骤1：对多源系统及当前数据平台的数据进行调研整理，得到元数据信息；步骤2：将元数据信息导入预设标准化元数据管理体系中，得到统计信息任务；步骤3：根据统计信息，获取表与字段统计信息；步骤4：将表与字段统计信息通过业务导入审批流程和测试流程；步骤5：对元数据信息进行开发脚本自动补全表、字段注释、表别名，以及规范数据开发脚本格式；步骤6：对表与字段统计信息的查看功能进行数据开发；步骤7：校验数据开发脚本；步骤8：根据数据下发版本维护并管理元数据管理体系。本发明提供了数据加工辅助开发提示与校验功能，保证了文档的准确性和时效性。

Description

基于标准化元数据体系的数据管理方法和系统

技术领域

本发明涉及数据管理技术领域，具体地，涉及一种基于标准化元数据体系的数据管理方法和系统。

背景技术

由于金融数据敏感性与安全性，金融数据加工处理类平台系统设计及开发人员无法对生产环境采集的上游系统数据进行全面分析工作，在面对多个上游系统不同的数据质量及测试环境数据无法实现仿真时，前期源系统调研及测试环境数据分析过程中无法得到与生产环境完全匹配的数据类型与异常数据场景。设计开发人员在未充分理解数据，测试造数较为困难情况下仍会导致开发效率低且版本下发质量不高，对生产数据大部分只能做到填补异常场景。

另外传统数据类系统开发项目多采取人工编写文档管理方式，建立源系统表级、字段级到数据加工的层映射文档、标准化码表文档，往往需要花费较大人工及管理成本，需要项目组成员实时管理并更新以保证文档的准确性。

专利文献CN112579578A(申请号：CN201910926596.0)公开了一种基于元数据的数据质量管理方法、装置、系统、服务器及存储介质，通过确定数据对应的校验规则以及质量检查任务，进而根据确定出的校验规则以及质量检查任务对数据进行校验，并对校验结果进行分析，确定出分析结果并输出。

然而在大多数实际系统建设及迭代阶段，由于开发人员流动性及项目组人员素质不一情况，难以高效并准确保证一套以文档记录的项目组数据资产。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于标准化元数据体系的数据管理方法和系统。

根据本发明提供的基于标准化元数据体系的数据管理方法，包括：

步骤1：对多源系统及当前数据平台的数据进行调研整理，得到元数据信息；

步骤2：将元数据信息导入预设标准化元数据管理体系中，得到统计信息任务；

步骤3：根据统计信息，通过任务调度平台按预设配置频率拉起批量，得到表与字段统计信息；

步骤4：将表与字段统计信息通过业务导入审批流程，在审批完成后进入测试流程；

步骤5：读入测试后的元数据信息到WEB端开发工具内存中缓存，进行开发脚本自动补全表、字段注释、表别名，以及规范数据开发脚本格式；

步骤6：对表与字段统计信息的查看功能进行数据开发，并分析数据开发时的生产数据场景；

步骤7：校验数据开发脚本，通过扫描脚本中关键字，结合元数据统计信息根据开发经验配置异常和关注点的程序提示；

步骤8：根据数据下发版本维护并管理元数据管理体系。

优选的，所述步骤2包括如下步骤：

步骤2.1：通过预设标准化元数据管理体系，基于元数据信息形成元数据基本信息表、元数据版本信息表、表统计信息表和字段统计信息表；

步骤2.2：进行元数据表映射，得到表别名、表统计信息列，根据元数据字段自定义统计规则，得到统计结果和字段统计信息列。

优选的，所述步骤3包括如下步骤：

步骤3.1：读取元数据管理体系自动对应的统计信息sql脚本；

步骤3.2：配置并确定定时任务由调度平台根据批量窗口定时拉起生成的定时任务脚本；

步骤3.3：将统计执行得到的统计信息生成写入元数据管理体系中。

优选的，所述步骤4包括如下步骤：

步骤4.1：通过前台展示元数据统计信息；

步骤4.2：导出生产环境统计信息，并发起业务审批；

步骤4.3：导出生产统计信息，并将统计信息导入元数据管理体系中。

优选的，所述步骤7包括如下步骤：

步骤7.1：对异常数据开发场景进行程序校验，输入为DDL/DML关键字和统计信息，输出为经验性提示信息；

步骤7.2：配置随实际开发过程中异常场景不断抽象并扩展数据校验功能，包括单表操作异常到多表关联异常经验性扩展。

根据本发明提供的基于标准化元数据体系的数据管理系统，包括：

模块M1：对多源系统及当前数据平台的数据进行调研整理，得到元数据信息；

模块M2：将元数据信息导入预设标准化元数据管理体系中，得到统计信息任务；

模块M3：根据统计信息，通过任务调度平台按预设配置频率拉起批量，得到表与字段统计信息；

模块M4：将表与字段统计信息通过业务导入审批流程，在审批完成后进入测试流程；

模块M5：读入测试后的元数据信息到WEB端开发工具内存中缓存，进行开发脚本自动补全表、字段注释、表别名，以及规范数据开发脚本格式；

模块M6：对表与字段统计信息的查看功能进行数据开发，并分析数据开发时的生产数据场景；

模块M7：校验数据开发脚本，通过扫描脚本中关键字，结合元数据统计信息根据开发经验配置异常和关注点的程序提示；

模块M8：根据数据下发版本维护并管理元数据管理体系。

优选的，所述模块M2包括：

模块M2.1：通过预设标准化元数据管理体系，基于元数据信息形成元数据基本信息表、元数据版本信息表、表统计信息表和字段统计信息表；

模块M2.2：进行元数据表映射，得到表别名、表统计信息列，根据元数据字段自定义统计规则，得到统计结果和字段统计信息列。

优选的，所述模块M3包括：

模块M3.1：读取元数据管理体系自动对应的统计信息sql脚本；

模块M3.2：配置并确定定时任务由调度平台根据批量窗口定时拉起生成的定时任务脚本；

模块M3.3：将统计执行得到的统计信息生成写入元数据管理体系中。

优选的，所述模块M4包括：

模块M4.1：通过前台展示元数据统计信息；

模块M4.2：导出生产环境统计信息，并发起业务审批；

模块M4.3：导出生产统计信息，并将统计信息导入元数据管理体系中。

优选的，所述模块M7包括：

模块M7.1：对异常数据开发场景进行程序校验，输入为DDL/DML关键字和统计信息，输出为经验性提示信息；

模块M7.2：配置随实际开发过程中异常场景不断抽象并扩展数据校验功能，包括单表操作异常到多表关联异常经验性扩展。

与现有技术相比，本发明具有如下的有益效果：

本发明通过构建系统化的源数据系统及数据加工平台自身加工形成的元数据标准体系，形成数据平台标准化数据资产管理体系，提供数据加工辅助开发提示与校验功能，开发效率和版本下发质量高，而且需要花费的人工及管理成本低，保证了文档的准确性和时效性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明方法流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例：

本发明提供了一种系统化的元数据标准化管理体系、配置化表级/字段级统计信息收集系统；基于元数据标准化体系自动补全并标准化数据开发(SQL/HQL)任务脚本中表和字段注释、表别名；基于元数据统计信息辅助开发人员编写数据开发(SQL/HQL)任务脚本时信息查看、提示、校验等功能。

如图1，主要流程设计为：

步骤1：多源系统及当前数据平台自身数据表元信息调研整理，形成标准数据管理模板文档。

步骤2：将步骤1得到的元数据信息导入本发明设计提供的标准化元数据管理体系。

步骤3：根据步骤2得到的标准化元数据管理体系信息自动定时生成统计信息任务，并由调度平台自动按配置指定频率拉起批量得到表与字段统计信息。

步骤4：将步骤3得到的表和字段的统计信息通过业务导出审批流程审批后导入测试环境本发明元数据数据库体系管理库。

步骤5：读入步骤4得到的元数据信息到WEB端开发工具内存中缓存，提供开发脚本自动补全表、字段注释，表别名与规范数据开发脚本格式功能。

步骤6：读入步骤4得到的元数据信息到WEB端开发工具内存中缓存，提供数据开发所处理的表与字段查看统计信息，分析所加工表与字段生产实际情况以检查数据开发时难以完全考虑的生产数据场景，提升所加工处理的数据理解。

步骤7：校验数据开发(SQL/HQL)脚本，通过扫描脚本中DML/DDL关键字结合步骤4得到的元数据统计信息体系根据开发经验配置抽象的程序提示可能存在的异常及需要关注点。

步骤8：根据数据下发版本自动维护并管理元数据管理系统体系。绑定数据下发(SQL/HQL)脚本，生成维护本发明元数据管理系统体系(基本信息表、元数据版本信息表、表统计信息表、字段统计信息表等元数据管理体系结构)对应下发的版本内容。

所述步骤1包括如下步骤：

步骤1.1：直连读取多个多源(MYSQL/ORACLE/HIVE/MPP等)测试环境需采集表元数据信息；

步骤1.2：人工及程序跑批推测确认及补齐元数据表及字段基本信息包括(表中文名称、表英文名称、表注释、字段中文名称、字段英文名称、字段类型、字段注释、主外键、是否索引、是否码值等信息)，构建形成源数据系统准确模板文档。

所述步骤2包括如下步骤：

步骤2.1：读取导入步骤1得到的元数据信息到本发明元数据数据库体系(形成包括元数据基本信息表、元数据版本信息表、表统计信息表、字段统计信息表等元数据管理体系结构)；

步骤2.2：除步骤1导入信息外自动增加元数据“表”映射表别名、表统计信息列及元数据“字段”自定义统计规则、自定义统计结果等字段统计信息列；

步骤2.3：配置表/字段元数据是否统计信息以减少不必要的统计信息采集任务开销，配置业务及技术重点关注字段维度的自定义统计规则，配置说明{规则，操作}，示例{isnull,count}，{group by,count/sum}，{strlen<＝>x,count}，支持WEB交互页面配置与展示达到按需配置；

所述步骤3包括如下步骤：

步骤3.1：读取步骤2元数据数据库体系自动对应的统计信息sql脚本；

步骤3.2：配置并确定定时任务由调度平台根据批量窗口定时拉起生成的定时任务脚本；

步骤3.3：将统计执行得到的统计信息生成写入本发明元数据数据库体系。

所述步骤4包括如下步骤：

步骤4.1：前台展示元数据统计信息；

步骤4.2：导出生产环境统计信息业务审批发起；

步骤4.3：审批选择满足监管及业务审核要求的统计信息数据；

步骤4.4：生产统计信息执行导出；

步骤4.5：统计信息导入本发明元数据数据库体系。

所述步骤7包括如下步骤：

步骤7.1：抽象异常数据开发场景为程序校验功能(输入：1.DDL/DML关键字，2.统计信息；输出：经验性提示信息)。例如：update/delete table T where a＝x处理的数据量超过50w(阈值可设置)提示异常信息(自定义配置)；

步骤7.2：配置可随实际开发过程中异常场景不断抽象并扩展数据校验功能，可包括单表操作异常到多表关联异常经验性扩展。

根据本发明提供的基于标准化元数据体系的数据管理系统，包括：模块M1：对多源系统及当前数据平台的数据进行调研整理，得到元数据信息；模块M2：将元数据信息导入预设标准化元数据管理体系中，得到统计信息任务；模块M3：根据统计信息，通过任务调度平台按预设配置频率拉起批量，得到表与字段统计信息；模块M4：将表与字段统计信息通过业务导入审批流程，在审批完成后进入测试流程；模块M5：读入测试后的元数据信息到WEB端开发工具内存中缓存，进行开发脚本自动补全表、字段注释、表别名，以及规范数据开发脚本格式；模块M6：对表与字段统计信息的查看功能进行数据开发，并分析数据开发时的生产数据场景；模块M7：校验数据开发脚本，通过扫描脚本中关键字，结合元数据统计信息根据开发经验配置异常和关注点的程序提示；模块M8：根据数据下发版本维护并管理元数据管理体系。

所述模块M2包括：模块M2.1：通过预设标准化元数据管理体系，基于元数据信息形成元数据基本信息表、元数据版本信息表、表统计信息表和字段统计信息表；模块M2.2：进行元数据表映射，得到表别名、表统计信息列，根据元数据字段自定义统计规则，得到统计结果和字段统计信息列。所述模块M3包括：模块M3.1：读取元数据管理体系自动对应的统计信息sql脚本；模块M3.2：配置并确定定时任务由调度平台根据批量窗口定时拉起生成的定时任务脚本；模块M3.3：将统计执行得到的统计信息生成写入元数据管理体系中。所述模块M4包括：模块M4.1：通过前台展示元数据统计信息；模块M4.2：导出生产环境统计信息，并发起业务审批；模块M4.3：导出生产统计信息，并将统计信息导入元数据管理体系中。所述模块M7包括：模块M7.1：对异常数据开发场景进行程序校验，输入为DDL/DML关键字和统计信息，输出为经验性提示信息；模块M7.2：配置随实际开发过程中异常场景不断抽象并扩展数据校验功能，包括单表操作异常到多表关联异常经验性扩展。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于标准化元数据体系的数据管理方法，其特征在于，包括：

步骤1：对多源系统及当前数据平台的数据进行调研整理，得到元数据信息；

步骤2：将元数据信息导入预设标准化元数据管理体系中，得到统计信息任务；

步骤3：根据统计信息，通过任务调度平台按预设配置频率拉起批量，得到表与字段统计信息；

步骤4：将表与字段统计信息通过业务导入审批流程，在审批完成后进入测试流程；

步骤5：读入测试后的元数据信息到WEB端开发工具内存中缓存，进行开发脚本自动补全表、字段注释、表别名，以及规范数据开发脚本格式；

步骤6：对表与字段统计信息的查看功能进行数据开发，并分析数据开发时的生产数据场景；

步骤7：校验数据开发脚本，通过扫描脚本中关键字，结合元数据统计信息根据开发经验配置异常和关注点的程序提示；

步骤8：根据数据下发版本维护并管理元数据管理体系。

2.根据权利要求1所述的基于标准化元数据体系的数据管理方法，其特征在于，所述步骤2包括如下步骤：

步骤2.1：通过预设标准化元数据管理体系，基于元数据信息形成元数据基本信息表、元数据版本信息表、表统计信息表和字段统计信息表；

步骤2.2：进行元数据表映射，得到表别名、表统计信息列，根据元数据字段自定义统计规则，得到统计结果和字段统计信息列。

3.根据权利要求1所述的基于标准化元数据体系的数据管理方法，其特征在于，所述步骤3包括如下步骤：

步骤3.1：读取元数据管理体系自动对应的统计信息sql脚本；

步骤3.2：配置并确定定时任务由调度平台根据批量窗口定时拉起生成的定时任务脚本；

步骤3.3：将统计执行得到的统计信息生成写入元数据管理体系中。

4.根据权利要求1所述的基于标准化元数据体系的数据管理方法，其特征在于，所述步骤4包括如下步骤：

步骤4.1：通过前台展示元数据统计信息；

步骤4.2：导出生产环境统计信息，并发起业务审批；

步骤4.3：导出生产统计信息，并将统计信息导入元数据管理体系中。

5.根据权利要求1所述的基于标准化元数据体系的数据管理方法，其特征在于，所述步骤7包括如下步骤：

步骤7.1：对异常数据开发场景进行程序校验，输入为DDL/DML关键字和统计信息，输出为经验性提示信息；

步骤7.2：配置随实际开发过程中异常场景不断抽象并扩展数据校验功能，包括单表操作异常到多表关联异常经验性扩展。

6.一种基于标准化元数据体系的数据管理系统，其特征在于，包括：

模块M1：对多源系统及当前数据平台的数据进行调研整理，得到元数据信息；

模块M2：将元数据信息导入预设标准化元数据管理体系中，得到统计信息任务；

模块M3：根据统计信息，通过任务调度平台按预设配置频率拉起批量，得到表与字段统计信息；

模块M4：将表与字段统计信息通过业务导入审批流程，在审批完成后进入测试流程；

模块M5：读入测试后的元数据信息到WEB端开发工具内存中缓存，进行开发脚本自动补全表、字段注释、表别名，以及规范数据开发脚本格式；

模块M6：对表与字段统计信息的查看功能进行数据开发，并分析数据开发时的生产数据场景；

模块M7：校验数据开发脚本，通过扫描脚本中关键字，结合元数据统计信息根据开发经验配置异常和关注点的程序提示；

模块M8：根据数据下发版本维护并管理元数据管理体系。

7.根据权利要求6所述的基于标准化元数据体系的数据管理系统，其特征在于，所述模块M2包括：

模块M2.1：通过预设标准化元数据管理体系，基于元数据信息形成元数据基本信息表、元数据版本信息表、表统计信息表和字段统计信息表；

模块M2.2：进行元数据表映射，得到表别名、表统计信息列，根据元数据字段自定义统计规则，得到统计结果和字段统计信息列。

8.根据权利要求6所述的基于标准化元数据体系的数据管理系统，其特征在于，所述模块M3包括：

模块M3.1：读取元数据管理体系自动对应的统计信息sql脚本；

模块M3.2：配置并确定定时任务由调度平台根据批量窗口定时拉起生成的定时任务脚本；

模块M3.3：将统计执行得到的统计信息生成写入元数据管理体系中。

9.根据权利要求6所述的基于标准化元数据体系的数据管理系统，其特征在于，所述模块M4包括：

模块M4.1：通过前台展示元数据统计信息；

模块M4.2：导出生产环境统计信息，并发起业务审批；

模块M4.3：导出生产统计信息，并将统计信息导入元数据管理体系中。

10.根据权利要求6所述的基于标准化元数据体系的数据管理系统，其特征在于，所述模块M7包括：

模块M7.1：对异常数据开发场景进行程序校验，输入为DDL/DML关键字和统计信息，输出为经验性提示信息；

模块M7.2：配置随实际开发过程中异常场景不断抽象并扩展数据校验功能，包括单表操作异常到多表关联异常经验性扩展。

Images