CN114519085A - 一种数据标准化管理方法与共享系统 - Google Patents

Abstract

本发明公开了一种数据标准化管理方法与共享系统，属于数据资产管理领域。一种数据标准化管理方法与共享系统，包括对数据进行分层、分类，并建立数据资源标签目录，然后进行数据元信息设计；定期检查资源标签目录，并更新资源标签目录；进行资源标签目录拼接，形成数据资产目录；设置数据资产目录的应用场景，并定义公开的范围；构建资源标签目录的显示与资源标签目录查询过程，同时对数据资源的纳管情况进行统计分析；构建数据安全标签维护，对数据开放的程度、脱敏方式、审核流程进行定义；本发明所构建的资源标签目录，能够保证多源拼接的数据资产分类一致、数据元信息描述统一、数据质量合规、数据共享安全。

Description

一种数据标准化管理方法与共享系统

技术领域

本发明涉及数据资产管理领域，更具体地说，涉及一种数据标准化管理方法与共享系统。

背景技术

政务数据资产海量并且多元化，导致难以全面了解数据类别、分布、链路、数量及与业务的关联等，无法掌握数据资产全貌。当前数据服务目录方面，通过线下文档的方式提供，不便于更新及信息同步，存在数据资源检索困难，线下获取数据资源效率低的问题，需要多方协调、多方参与。

由于缺乏统筹数据资产管理的平台工具，业务人员难以直观、快速了解数据来源、数据链路以及数据与业务之间的关系，无法快速找到数据、看懂数据和使用数据，同时存在重复数据溯源、业务溯源问题，降低了资源利用效率，严重制约数据价值的挖掘，影响数据共享服务能力的提升。

现有企业数据资产管理系统主要存在以下几个方面的问题：

①数据不可知：已然形成大量数据，但数据资源不清楚；

②数据不可取：系统分散，形成信息孤岛，共享困难；

③数据不可用：数据质量低下，统计不准确，数据多样化；

④数据管理无规划：未形成有效管理模式，数据标准不统一；

⑤数据安全难保障：共享备份机制不健全；

⑥数据难分析：数据未有效利用，无法为决策者提供有力支持等，鉴于此，我们提出一种数据标准化管理方法与共享系统。

发明内容

本发明的目的在于提供一种数据标准化管理方法与共享系统，以解决上述背景技术中提出的问题：无法统一获取多系统资源、数据质量参差不齐、数据可视化程度较低的缺陷，同时在发生数据需求时，能够在短时间内满足，同时考虑安全性保障。

为实现上述目的，本发明提供如下技术方案：

一种数据标准化管理方法与共享系统，包括如下步骤：

对数据进行分层、分类，并建立数据资源标签目录，然后进行数据元信息设计，所述数据元信息包括：技术元信息、业务元信息和管理元信息，并区分选填与必填选项；

定期检查资源标签目录，并更新资源标签目录；

进行资源标签目录拼接，形成数据资产目录，所述数据资产目录作为资产查看与获取的唯一入口；

设置数据资产目录的应用场景，并定义公开的范围；

构建资源标签目录的显示与资源标签目录查询过程，同时对数据资源的纳管情况进行统计分析；

构建数据安全标签维护，对数据开放的程度、脱敏方式、审核流程进行定义；

基于数据资产目录提供数据共享服务，实现跨网段跨业务域的共享交换。

优选地，所述资源标签目录的更新分为两种：一种是通过目录监测自动检测到不一致的地方，从而发起变更，另一种是由人手工发起变更。

优选地，所述资源标签目录进行使用时，能够基于多种方式对数据资源进行浏览与快速查找定位，同时用户能够基于此资源标签目录查阅数据资源的详细元信息。

优选地，所述资源标签目录的显示采用多个视角标签维度展示数据资产全貌，并且支持数据之间的关联查询，形成数据图谱；所述数据图谱按照客户需求能够进行不同样式的显示。

优选地，所述资源标签目录的查询采用简单查询和高级查询，所述高级查询通过设置多个标签维度条件进行组合查询，并采用数据资产卡片的形式对资产详细信息进行显示。

优选地，在使用所述数据共享服务时，用户通过数据资产目录中所列资产信息的浏览，明确数据资源的需求后，对数据资产进行申请，经过数据管理者、数据拥有者共同审批后，数据需求方可获得不同程度的数据开放权限，包括只读、脱敏数据集数据访问。

优选地，一种数据标准化管理方法的共享系统，包括：

数据标准管理模块，提供标准的维护能力，基于此模块建立数据资产目录标准，并将其分发给各数据拥有者作为目录构建依据；

元信息管理模块，提供元信息收集与维护能力，数据拥有者能够将自身数据资源管理起来，并添加扩展元信息；

数据质量管理模块，对数据资产目录所纳管的数据以及目录本身的元信息进行质量稽核；

数据安全管理模块，为数据共享过程中的支撑模块，能够控制数据共享的权限、流程与脱敏策略，实现数据管理与共享过程的安全可靠；

任务管理模块，为调度运行共享服务的支撑模块，为质量处理过程、数据访问与调用过程的运行与计划提供支持；

数据资产目录管理模块，构建并拼接形成统一数据资产目录，统一数据资产目录提供数据共享服务所需的全部资产信息；

数据共享服务管理模块，能够提供对外数据访问接口，用户基于申请审核流程获取该接口的数据访问权限。

优选地，所述元信息管理模块包括：

元模型自定义单元、元数据自动采集单元、元数据维护单元和元数据血缘分析单元，用户基于手动与自动相结合的方式将数据资产的元信息进行管理；

元数据自动采集单元，提供基于数据库连接的采集能力，在线连接数据库后自动采集技术元数据，并且基于离线元数据文件的元数据采集能力，在一个模板里统一采集技术元数据、业务元数据和管理元数据；

优选地，所述数据资产目录管理模块包括：

可视化单元，采用树表联动的数据资产浏览模式；

查询单元，采用全局模糊搜索和基于多条件的高级搜索，并且选择任意资产后，自动筛选并展示出与其相关的其他资产。

优选地，所述数据共享服务管理模块包括：

申请单元、审批单元和调度单元，需求者基于数据资产目录，根据需要选择其他拥有者的数据资产，设置所期望的目标数据范围以及调度使用要求，作为数据申请提交至审批单元内，审批单元根据数据申请者以及及数据管理要求进行批复通过后，调度单元开放对应的接口访问权限进行在线访问。

相比于现有技术，本发明的有益效果在于：

本发明所构建的资源标签目录，能够保证多源拼接的数据资产分类一致、数据元信息描述统一、数据质量合规、数据共享安全。数据资产目录能够提供数据资产的分类展现与快速定位能力，并且支持不同分类纬度的切换，确定某一纬度后，能够以树状层级查看数据资产分布情况，并且能够基于标准化元信息实现资产的批量模糊查找，定位某一资产后，可查看该资产的所有元信息，并展示与该资产所关联的所有纬度；当用户对某项数据资产有需求时，采用申请、审批和调度的方式从服务器中进行筛选，从而满足需求者的使用需求，并且支持数据权限控制及数据脱敏处理，保证了数据共享的高效与安全。

附图说明

图1为本发明的业务构架示意图；

图2为本发明的政务数据资产架构示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例：

请参阅图1-2，一种数据标准化管理方法，包括如下步骤：

步骤一：对数据进行分层、分类，并建立数据资源标签目录，然后进行数据元信息设计，数据元信息包括：技术元信息、业务元信息和管理元信息，并区分选填与必填选项，该标准作为资产元信息维护的依据；目录标准、数据分类标准需分发给各数据拥有者；

数据资源标签目录包含数据资源库、数据资源管理库、权限库；记录了数据资源目录的操作、管理和权限信息；其中数据资源库包含了数据资源标签目录的基本信息如，名称、层级、来源等信息和目录操作日志流水；数据资源目录管理库记录版本、操作流转信息(审批、发布等)和资源目录申请信息。权限管理库记录资源目录权限信息；

步骤二：定期检查资源标签目录，并更新资源标签目录，因为手工录入的标签编目信息可能不准确，以及在后续的业务升级过程中，实际生产系统的升级改造后，并未同步更新资源目录等原因，将会造成标签目录与各部门的实际信息资源不一致，所以需要定期检查资源标签目录，比对目录的信息与实际库表信息是否一致，及时发现可能存在的字段增减、字段的类型、长度、格式等不一致的问题；

进行资产元信息维护，数据拥有者负责对自身所拥有的数据资产进行收集，并基于上述标准各自维护数据资产元信息，并将信息资产分层、分类，形成局部数据资产目录；其中，元信息包括资产标识、资产名称、资产类别、资产描述、安全级别、管理归属、更新周期、是否脱敏、安全级别、属性列表等。

步骤三：进行元数据质量稽核，数据管理者需对局部数据资产目录进行质量稽核，确认其符合标准规范；如果不符合则退回步骤二，由数据拥有者进行更新维护，如果符合则可进入步骤四；

步骤四：进行资源标签目录拼接，由数据管理者基于目录标准中所制定的原则拼接各局部数据资产目录，形成完整的统一数据资产目录，该数据资产目录作为资产查看与获取的唯一入口；

步骤五：设置数据资产目录的应用场景，主要是用于上下级单位之间的目录整合。当上下级之间的部门均按照2017新国标的编码规则进行编目时，既可以通过目录上报将下级单位的目录上报至上级单位进行数据的物理集中，也可以通过服务支撑系统，以服务调用的方式实现目录数据的逻辑集中；并定义公开的范围，进行目录条目公开设置，数据管理者可对数据资产目录中的条目进行过滤，定义可公开的范围，公开的条目为全部用户可见；

步骤六：构建资源标签目录的显示与资源标签目录查询过程，同时对数据资源的纳管情况进行统计分析，对构建的数据资产目录进行使用时，基于多种方式对数据资产进行浏览与快速查找定位，同时，用户能够基于此目录查阅资产的详细元信息；

步骤七：构建数据安全标签维护，对数据开放的程度、脱敏方式、审核流程进行定义；

步骤八：基于数据资产目录提供数据共享服务，需求部门根据发布的数据资产目录信息，提交信息资源申请，明确数据获取需求，资源申请单经资源提供方、审批单位审核后，资源申请单生效，实施厂商技术人员依据申请单编制共享交换任务，实现跨网段跨业务域的共享交换。

本发明中，资源标签目录的更新分为两种：一种是通过目录监测自动检测到不一致的地方，从而发起变更，另一种是由人手工发起变更。

本发明中，资源标签目录进行使用时，能够基于多种方式对数据资源进行浏览与快速查找定位，同时用户能够基于此资源标签目录查阅数据资源的详细元信息。

本发明中，资源标签目录的显示采用多个视角标签维度展示数据资产全貌，并且支持数据之间的关联查询，形成数据图谱；数据图谱按照客户需求能够进行不同样式的显示。

本发明中，资源标签目录的查询采用简单查询和高级查询，简单查询只需要数据关键字即可，高级查询通过设置多个标签维度条件进行组合查询，从而能快速查询定位到用户关心的数据资产；当输入查询条件后，采用数据资产卡片的形式对资产详细信息进行显示，在该数据资产卡片上对资产庞杂的信息进行了分类，卡片上详细记载了数据资产的相关信息，包括基本信息、属性信息、血缘分析、历史版本等各类信息。

本发明中，在使用数据共享服务时，用户通过数据资产目录中所列资产信息的浏览，明确数据资源的需求后，对数据资产进行申请，经过数据管理者、数据拥有者共同审批后，数据需求方可获得不同程度的数据开放权限，包括只读、脱敏数据集数据访问。

一种数据标准化管理方法的共享系统，包括：

数据标准管理模块，提供标准的维护能力，基于此模块建立数据资产目录标准，并将其分发给各数据拥有者作为目录构建依据；

元信息管理模块，提供元信息收集与维护能力，数据拥有者能够将自身数据资源管理起来，并添加扩展元信息；

数据质量管理模块，对数据资产目录所纳管的数据以及目录本身的元信息进行质量稽核；

数据安全管理模块，为数据共享过程中的支撑模块，能够控制数据共享的权限、流程与脱敏策略，实现数据管理与共享过程的安全可靠；

任务管理模块，为调度运行共享服务的支撑模块，为质量处理过程、数据访问与调用过程的运行与计划提供支持；

数据资产目录管理模块，构建并拼接形成统一数据资产目录，统一数据资产目录提供数据共享服务所需的全部资产信息；

数据共享服务管理模块，能够提供对外数据访问接口，用户基于申请审核流程获取该接口的数据访问权限。

本发明能够基于数据标准管理、元数据管理、数据质量管理、数据安全管理、任务管理多组件支撑，并以数据本体为核心进行数据的统筹管理，为使用者提供快速、标准化、安全的数据服务。能够保证多源汇聚的数据资产分类一致、数据元信息描述统一、数据质量合规、数据共享安全；数据资产目录能够提供数据资产的分类展现与快速定位能力，并且支持不同分类纬度的切换，确定某一纬度后，能够快速看数据资产分布情况，并且能够基于标准化元信息实现资产的批量模糊查找；当用户对某项数据资产有需求时，采用申请、审批和调度的方式从服务器中进行筛选，从而满足使用需求。

元信息管理模块包括：

元模型自定义单元、元数据自动采集单元、元数据维护单元和元数据血缘分析单元，用户基于手动与自动相结合的方式将数据资产的元信息进行管理；

元数据自动采集单元，提供基于数据库连接的采集能力，在线连接数据库后自动采集技术元数据，并且基于离线元数据文件的元数据采集能力，在一个模板里统一采集技术元数据、业务元数据和管理元数据；

数据资产目录管理模块包括：

可视化单元，采用树表联动的数据资产浏览模式；

查询单元，采用全局模糊搜索和基于多条件的高级搜索，并且选择任意资产后，自动筛选并展示出与其相关的其他资产。

数据共享服务管理模块包括：

申请单元、审批单元和调度单元，需求者基于数据资产目录，根据需要选择其他拥有者的数据资产，设置所期望的目标数据范围以及调度使用要求，作为数据申请提交至审批单元内，审批单元根据数据申请者以及及数据管理要求进行批复通过后，调度单元开放对应的接口访问权限进行在线访问。

本发明数据拥有者建立局部数据资产目录，先基于标准管理在线构建一个标准目录，标准目录经过审核后可发布使用；

通过元数据自动采集单元连接数据库采集技术元信息，并生成数据对象，将数据对象与标准目录进行挂接，挂接后将管理元信息和技术元信息补充完整，从而形成一个数据资产目录，对所有的数据资产进行有效的管理和使用，同时也更方便进行查看。

在进行挂接时，采用自动挂接和手工挂接两种方式进行，自动挂接是对导入收资表数据自动挂接目录，手工挂接是对已进行元数据采集的随机数元信息资产进行手工挂接目录。

由数据管理者配置周期性任务进行多个局部数据资产目录的拼接，形成统一数据资产目录，系统会按照周期自动执行拼接任务，进行目录内容更新。

当数据资产目录建立完毕后，用户可对数据资产进行查询和浏览，在进行查询时，可以采用简单查询和高级查询，简单查询只需要数据关键字即可，高级查询通过设置多个条件进行组合查询，从而能快速查询定位到用户关心的数据资产；当输入查询条件后，采用数据资产卡片的形式对资产详细信息进行显示，在该数据资产卡片上对资产庞杂的信息进行了分类，卡片上详细记载了数据资产的相关信息，包括基本信息、属性信息、血缘分析、历史版本等各类信息。

在具体实施例过程中，以树状层级索引信息的模式进行浏览，可下钻至数据资产元信息详情，采用多视角展示数据资产目录，同时可切换目录分类体现，并且进行筛选查询；在浏览时，可浏览资产元信息以及属性信息；此外在进行数据显示时，可展示部分样本数据以及展示数据资产元信息的变更信息，此外，还可以对该数据资产进行血缘分析，了解与数据资产相关的信息，确保该数据资产的信息的稳定性以及可溯性，确定该数据资产的来源与去向。

当用户需要对数据资产所对应的数据记录进行获取时，首先对数据资产进行选择，将其加入至申请清单内，然后创建申请任务并且进行审批，待审批通过后数据需求方将获得数据的访问权限或数据集副本，更为具体的是，拥有方在开放数据权限之前，可设置数据的脱敏规则：在不影响整个数据准确性的前提下对于一些隐私或敏感数据进行有效的隐藏或者进行替换，从而对拥有方的隐私进行保护。

数据资产目录模块还能与可视化模块相连，在实际使用过程中，需求者填写相关的数据信息必须按照数据资产目录中所具有的数据进行申请，且包含的资产元信息必须符合目录标准定义的元数据结构；在审批通过后，开放相对应的接口访问权限；当相关的数据信息传输至需求方后，该数据资产作为可视化模块的数据源，支持REST API的数据源、JDBC数据源等多种形式。协同申请后提供在线访问数据的，可以注册为REST API数据源。协同申请得到下载数据包的，在本地纳管后，可以注册JDBC或者REST API形式的数据源。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种数据标准化管理方法，其特征在于，包括如下步骤：

对数据进行分层、分类，并建立数据资源标签目录，然后进行数据元信息设计，所述数据元信息包括：技术元信息、业务元信息和管理元信息，并区分选填与必填选项；

定期检查资源标签目录，并更新资源标签目录；

进行资源标签目录拼接，形成数据资产目录，所述数据资产目录作为资产查看与获取的唯一入口；

设置数据资产目录的应用场景，并定义公开的范围；

构建资源标签目录的显示与资源标签目录查询过程，同时对数据资源的纳管情况进行统计分析；

构建数据安全标签维护，对数据开放的程度、脱敏方式、审核流程进行定义；

基于数据资产目录提供数据共享服务，实现跨网段跨业务域的共享交换。

2.根据权利要求1所述的一种数据标准化管理方法，其特征在于：所述资源标签目录的更新分为两种：一种是通过目录监测自动检测到不一致的地方，从而发起变更，另一种是由人手工发起变更。

3.根据权利要求1所述的一种数据标准化管理方法，其特征在于：所述资源标签目录进行使用时，能够基于多种方式对数据资源进行浏览与快速查找定位，同时用户能够基于此资源标签目录查阅数据资源的详细元信息。

4.根据权利要求1所述的一种数据标准化管理方法，其特征在于：所述资源标签目录的显示采用多个视角标签维度展示数据资产全貌，并且支持数据之间的关联查询，形成数据图谱；所述数据图谱按照客户需求能够进行不同样式的显示。

5.根据权利要求1所述的一种数据标准化管理方法，其特征在于：所述资源标签目录的查询采用简单查询和高级查询，所述高级查询通过设置多个标签维度条件进行组合查询，并采用数据资产卡片的形式对资产详细信息进行显示。

6.根据权利要求1所述的一种数据标准化管理方法，其特征在于：在使用所述数据共享服务时，用户通过数据资产目录中所列资产信息的浏览，明确数据资源的需求后，对数据资产进行申请，经过数据管理者、数据拥有者共同审批后，数据需求方可获得不同程度的数据开放权限，包括只读、脱敏数据集数据访问。

7.根据权利要求1-6任一所述的一种数据标准化管理方法的共享系统，其特征在于，包括：

数据标准管理模块，提供标准的维护能力，基于此模块建立数据资产目录标准，并将其分发给各数据拥有者作为目录构建依据；

元信息管理模块，提供元信息收集与维护能力，数据拥有者能够将自身数据资源管理起来，并添加扩展元信息；

数据质量管理模块，对数据资产目录所纳管的数据以及目录本身的元信息进行质量稽核；

数据安全管理模块，为数据共享过程中的支撑模块，能够控制数据共享的权限、流程与脱敏策略，实现数据管理与共享过程的安全可靠；

任务管理模块，为调度运行共享服务的支撑模块，为质量处理过程、数据访问与调用过程的运行与计划提供支持；

数据资产目录管理模块，构建并拼接形成统一数据资产目录，统一数据资产目录提供数据共享服务所需的全部资产信息；

数据共享服务管理模块，能够提供对外数据访问接口，用户基于申请审核流程获取该接口的数据访问权限。

8.根据权利要求7所述的一种数据标准化管理方法与共享系统，其特征在于：所述元信息管理模块包括：

元模型自定义单元、元数据自动采集单元、元数据维护单元和元数据血缘分析单元，用户基于手动与自动相结合的方式将数据资产的元信息进行管理；

元数据自动采集单元，提供基于数据库连接的采集能力，在线连接数据库后自动采集技术元数据，并且基于离线元数据文件的元数据采集能力，在一个模板里统一采集技术元数据、业务元数据和管理元数据。

9.根据权利要求7所述的一种数据标准化管理方法与共享系统，其特征在于：所述数据资产目录管理模块包括：

可视化单元，采用树表联动的数据资产浏览模式；

查询单元，采用全局模糊搜索和基于多条件的高级搜索，并且选择任意资产后，自动筛选并展示出与其相关的其他资产。

10.根据权利要求7所述的一种数据标准化管理方法与共享系统，其特征在于：所述数据共享服务管理模块包括：

申请单元、审批单元和调度单元，需求者基于数据资产目录，根据需要选择其他拥有者的数据资产，设置所期望的目标数据范围以及调度使用要求，作为数据申请提交至审批单元内，审批单元根据数据申请者以及及数据管理要求进行批复通过后，调度单元开放对应的接口访问权限进行在线访问。

Images