CN112506892A - 一种基于元数据技术的指标溯源管理系统 - Google Patents

一种基于元数据技术的指标溯源管理系统 Download PDF

Info

Publication number
CN112506892A
CN112506892A CN202011288825.XA CN202011288825A CN112506892A CN 112506892 A CN112506892 A CN 112506892A CN 202011288825 A CN202011288825 A CN 202011288825A CN 112506892 A CN112506892 A CN 112506892A
Authority
CN
China
Prior art keywords
data
index
management
submodule
responsibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011288825.XA
Other languages
English (en)
Inventor
缪新萍
朱州
吴漾
姚尧
钱俊凤
李文科
汪浩
张克贤
王玮
方继宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Power Grid Co Ltd
Original Assignee
Guizhou Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Power Grid Co Ltd filed Critical Guizhou Power Grid Co Ltd
Priority to CN202011288825.XA priority Critical patent/CN112506892A/zh
Publication of CN112506892A publication Critical patent/CN112506892A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Probability & Statistics with Applications (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于元数据技术的指标溯源管理系统，包括基础信息管理模块，用于对指标数据、数据元、数据项及相关关系的管理；认责管理模块，用于通过创建组织人员信息，对基础信息管理模块中的数据项建立数据认责关系；认责追溯模块，用于分析当前基础信息管理模块中指标数据的质量问题并进行整改待办处理；本发明应用于指标数据元的分析和追踪，以指标数据为顶端，向下分解和挖掘其相关计算数据元，掌握指标数据元的分布。同时，利用数据认责管理的方法梳理指标数据元责任单位和人员，从而确定指标数据元的质量管控点，从而可以从源头上对指标数据的整个计算过程的质量进行监控，更有效地保障指标数据的真实性和准确性。

Description

一种基于元数据技术的指标溯源管理系统
技术领域
本发明涉及数据管理技术领域，具体而言，为一种基于元数据技术的指标溯源管理系统。
背景技术
指标数据是反映企业经营运行状况的重要指针，同时也是进行管理决策的重要依据。根据公司加强企业数据资产管理，推动公司经营决策数字化转型的重要决定，正在大力建设和推广业务运营指标监控系统等一批数据应用，以期提供及时、准确的数据参考和支撑，同时指标数据也已经成为指导各部门按照精益化管理要求开展年度业务工作的重要指挥棒。由于指标数据通常是基于多个单位和部门的多个数据元按照一定的统计口径进行计算而得到的，因此指标数据的真实性和准确性将有赖于这些数据元的质量状况，同时这些数据元又因业务活动的不断开展而处于不断变化之中。指标数据与相关数据元形成了一个相互关联、影响的金字塔结构，处于这个结构中的每个数据元的质量波动都将对顶端的指标数据造成影响。
当前企业在数据溯源的过程中普遍面临难以追溯的问题，主要是通过人工或者元数据工具来进行数据关系层面的溯源，例如数据血缘分析等方面的管理，无法实现个体数据全生命周期的追溯和管理。
发明内容
针对现有技术中的缺陷，本发明提供一种基于元数据技术的指标溯源管理系统，对指标数据的相关数据元进行溯源管理，理清指标数据的数据脉络成为评估指标准确性和影响的可靠依据。
为实现上述目的，本发明的技术方案如下：
一种基于元数据技术的指标溯源管理系统，包括：
基础信息管理模块，用于对指标数据、数据元、数据项及相关关系的管理；
认责管理模块，用于通过创建组织人员信息，对基础信息管理模块中的数据项建立数据认责关系；
认责追溯模块，用于分析当前基础信息管理模块中指标数据的质量问题并进行整改待办处理。
进一步的，上述的基于元数据技术的指标溯源管理系统中，所述基础信息管理模块包括：
指标数据管理子模块：用于采集、维护和查询指标数据，以及查看指标的数据项详情；
数据元管理子模块：用于对数据元的创建、查询、分析、发布及问题追踪的全流程管理；
指标-数据项关系管理子模块：用于建立、维护指数数据与数据项之间关系的管理。
进一步的，上述的基于元数据技术的指标溯源管理系统中，所述认责管理模块包括：
组织人员子模块：用于对组织单位及组织人员信息进行添加，修改，查询和/或异常分析；
认责信息子模块：用于对数据项的主责责任人和操作责任人查询，对认责不完整的数据项发起数据认责、对责任异常或者变动的发起责任变更；并且用于经过发起、变更、确认完成对指标数据项的维护，同时完成数据项状态的更新；
认责分配子模块：用于在指标数据认责关系缺失时，发起对指标数据元中数据项的认责关系分配；
认责变更子模块：用于在指标数据元中数据项认责关系发生变更或者异常时，发起对数据项的认责关系变更。
进一步的，上述的基于元数据技术的指标溯源管理系统中，所述认责追溯模块包括：
质量问题管理子模块：用于持续更新业务平台数据质量信息的原始问题数据；通过影响分析、血缘分析后，关联出相关的指标数据及数据项，进而形成指标数据质量问题；
整改待办子模块，用于据校验规则，校验问题数据，根据不同责任不同问题类型形成待办信息；并根据查询条件查询待办信息，待办信息状态，待办信息处理进度。
进一步的，上述的基于元数据技术的指标溯源管理系统中，还包括系统集成服务模块，用于进行数据服务、数据服务使用情况、数据接入使用情况以及数据接入调度的管理。
进一步的，上述的基于元数据技术的指标溯源管理系统中，所述系统集成服务模块包括：
数据服务介绍子模块：用于描述数据服务接口的数据内容，调用方法，参数说明以及使用实例情况；
数据服务使用情况子模块：用于对外提供数据服务的接口使用情况的统计，以根据需求查看不同接口或者用户的使用情况；
数据接入使用情况子模块：用于对外接的平台接口进行统计展示，以根据查询条件进行查询；
数据接入调度服务子模块：用于对接入的接口进行统一管理，设置定时调度作业，形成自动化机制。
进一步的，上述的基于元数据技术的指标溯源管理系统中，还包括系统管理模块，用于对用户、权限、角色、日志、流程配置以及模板进行管理。
进一步的，上述的基于元数据技术的指标溯源管理系统中，所述系统管理模块包括：
用户管理子模块：用于对用户的创建、删除、禁止以及恢复管理；
角色管理子模块：用于配置角色及角色的创建、修改和删除；其中配置角色为配置元数据角色，包括系统定义的管理员角色以及定制化角色，定制化角色里包含默认的元数据操作权限；
权限管理子模块，用于根据角色设定用户权限；并用于查看目标用户的全部权限和授权资源，并对其权限内容进行编辑和管理；
日志管理子模块，用于用户访问操作日志的管理，记录用户操作信息；
流程配置子模块，关于根据实际应用场景选择认责分配及变更流程。
进一步的，上述的基于元数据技术的指标溯源管理系统中，还包括数据溯源责任看板模块，用于展示指标数据认责分布信息、指标数据质量分析信息、认责溯源状态分析信息以及多指标数据项质量管理信息。
进一步的，上述的基于元数据技术的指标溯源管理系统中，所述数据溯源责任看板模块，包括
指标数据认责分布子模块，用于展示指标数据在不同的认责单位中的分布情况，以及各单位认责完成进度；
指标数据质量分析子模块，用于展示指标数据溯源后的数据项质量情况；
认责溯源状态分析子模块，用于展示当前指标数据项的问题数、整改情况、以及被调用情况；
多指标数据项管理子模块，用于展示数据项关联指标数和数据项状态。
本发明的有益效果体现在：
本发明基于元数据技术的指标溯源管理系统，应用于指标数据元的分析和追踪，以指标数据为顶端，向下分解和挖掘其相关计算数据元，掌握指标数据元的分布。一方面，对指标数据的相关数据元进行溯源管理，利于理清指标数据的数据脉络成为评估指标准确性和影响的可靠依据；另一方面，对指标数据元质量管控作为保障指标质量的数据基础；同时，利用数据认责管理的方法梳理指标数据元责任单位和人员，从而确定指标数据元的质量管控点，从而可以从源头上对指标数据的整个计算过程的质量进行监控，更有效地保障指标数据的真实性和准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明一种基于元数据技术的指标溯源管理系统的逻辑框图
图2为本发明基于元数据技术的指标溯源管理系统的总体数据架构图；
图3为本发明基于元数据技术的指标溯源管理系统基于物理机或虚拟机的部署架构图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示，一种基于元数据技术的指标溯源管理系统，采用前后端分离架构与微服务技术构建而成，高可用强，前端业务展示与后端核心业务解耦，前后端均具有良好的水平扩展能力，整体开发效率高，新需求响应时间短。其中，参考图3所示的系统架构：
平台前端采用VUE框架为核心，实现组件化的开发。采用Nginx解决跨域访问与前端路由问题。
平台后端采用Java语言编写，框架以Springboot+SpringCloud为主，实现应用微服务化。自然语言处理等算法服务，采用Python语言编写。
平台数据存储，支持Oracle与MySQL关系型数据库。知识库采用图形数据库Neo4j进行存储。缓存服务采用Redis内存数据库。
数据库集群：两台物理机支撑关系数据库与图形数据库的高可用。
后端应用集群：两台机支撑有较多采集任务的数据质量管理平台的高可用。其余的后端应用，由另外的两台机进行高可用支撑。
前端应用集群：两台机支撑前端应用的高可用。
具体的，本系统包括：
基础信息管理模块，用于对指标数据、数据元、数据项及相关关系的管理；
认责管理模块，用于通过创建组织人员信息，对基础信息管理模块中的数据项建立数据认责关系；
认责追溯模块，用于分析当前基础信息管理模块中指标数据的质量问题并进行整改待办处理。
所述基础信息管理模块能够实现对指标数据、数据元、数据项及相关关系的管理，包括指标管理、数据元管理、指标-数据项关系管理的展示、详情查看、条件查询等，该模块具体包括：
指标数据管理子模块：用于采集、维护和查询指标数据，查看指标的数据项详情；采集过程中支持指标数据批量导入、导出，且对Excel、Word等文档可自动识别。本子模块还用于对不同数据元素的模板管理，具备自定义元模型功能，可以管理数据表、视图、程序、接口等对象的元数据模板；并可以对指标异常分析预警、变更发起、审批以及版本管理。
其中指标数据管理子模块对应的业务对象包括：
1.数据源基本属性，即配置采集数据源所需的基本属性信息，包括资源名称、资源类型、描述、最后更新时间以及最后更新状态等数据项，以及各数据项的业务数据质量管理要求，如字符型、日期型、字符长度等。
2.数据源参数，即配置采集数据源所需的参数信息，包括模式名称数据项；
3.数据元数据元采集作业执行结果统计，即数据采集结果的统计结果，包括对象类型、加载前对象数量、添加对象数量、删除对象数量、更新对象数量、数量统计等数据项。
4.数据元采集作业执行错误统计，即数据采集结果的统计错误分析，包括错误类型、读错误数量、写错误数量以及转化错误数量等数据项。
该子模块对指标数据源管理时，对已经创建的指标数据源进行查询和管理，包括展示已经接入的指标名称、资源类型、描述、最后更新时间和最后更新状态，查看关联的数据元、数据项详情。
该子模块添加新的数据项时，可选择创建方式：根据使用的便利性选择逐项添加或者文件导入方式添加数据项。还可以修改数据项：在数据项未进行关联指标的情况下可以删除该数据项。
该子模块创建新的指标数据时：
(1)选择创建方式：根据使用的便利性选择逐项添加或者文件导入方式添加指标数据。
(2)修改指标数据：在指标数据未关联任何数据项的情况下可以删除该指标数据。
(3)关联指标数据项：选择需要关联的指标数据项，然后点击关联数据项，进入数据项可选页面，通过查询的方式找到对应的数据项信息，选择目标数据项，选择好数据项点击确认，则指标数据与数据项项关联完成。与一个指标关联的一个或者多个数据项称之为数据元。
(4)建立指标-数据项关系：选择指标数据，然后点击建立数据关系，进入页面默认显示已经关联好的数据项，对于数据指标和数据项能直接通过公式运算就能建立关系的，创建关系。
(5)批量处理：支持元数据批量导入、导出，对Excel、Word等文档有自动识别作用。
该子模块指标数项预警时，根据以下原则：
存在指标数据，但是该指标的数据元为空，进行提示。
存在指标数据，但是该指标的数据项关系为空，进行提示。
存在数据元未与任何指标数据关联，进行提示。
该子模块进行数据服务时，服务类型包括Webservice、文件、数据库；服务方式包括提供直接访问平台或通过REST服务接口两种服务方式。
可使用该子模块的角色为负责系统指标维护的监控的数据资产管理员，以及负责指标数据的定义的数据主责。
数据元管理子模块：用于对数据元的创建、查询、分析、发布及问题追踪的全流程管理；本实施例中数据元管理主要包含数据元创建、修改、查询、指标数据关联，在操作的时候进行数据元不标准、空值等异常提醒。
数据元管理子模块对应的业务对象包括：
1.数据源基本属性，即配置采集数据源所需的基本属性信息，包括资源名称、资源类型、描述、最后更新时间以及最后更新状态等数据项，以及各数据项的业务数据质量管理要求，如字符型、日期型、字符长度等。
2.数据源参数，即配置采集数据源所需的参数信息，包括模式名称数据项；
3.数据元数据元采集作业执行结果统计，即数据采集结果的统计结果，包括对象类型、加载前对象数量、添加对象数量、删除对象数量、更新对象数量、数量统计等数据项。
4.数据元采集作业执行错误统计，即数据采集结果的统计错误分析，包括错误类型、读错误数量、写错误数量以及转化错误数量等数据项。
可使用该子模块的角色为：负责对元数据的相关信息进行补充，并在指标数据溯源管理系统发起变更申请等职责的数据主责及认责人员。
指标-数据项关系管理子模块：用于建立、维护指数数据与数据项之间关系的管理；该关系的管理包括指标与数据元中的数据项之间的关系创建、修改、查询。
指标-数据项关系管理子模块对应的业务对象为：指标数据项关系，其包括指标数据名称、关系描述以及最新修改时间等数据项。
可使用该子模块的角色为负责数的定义及维护的数据主责及认责人员。
上述的基于元数据技术的指标溯源管理系统中，所述认责管理模块构建数据项与组织人员的关系；通过创建组织人员信息，数据认责对基础信息管理模块中的数据项建立数据认责关系；可以查询主责、操作认责明细、认责缺失的时候可以发起数据认责、认责关系异常或者变动时可以发起认责变更等
具体包括：
组织人员子模块：用于对组织单位及组织人员信息进行添加，修改，查询和/或异常分析；
该子模块对应的业务对象为组织人员，包括组织名称、组织编码、岗位名称、人员姓名、人员编码、人员状态等数据项，该子模块在创建组织人员信息时：以树形结构展示组织信息，通过点击数据组织，在页面右侧刷新不同组织的岗位及人员信息；可以在对应的组织中创建新的岗位人员信息。
该子模块在查询组织人员信息时：在人员情况页面中通过在查询条件中输入人员名称、岗位名称或者组织名称的关键字，查询结果列出相关人员或者组织的全部信息。
该子模块在更新组织人员信息时：可以更新人员所在的组织，变更人员状态。
该子模块在删除组织人员信息时：用户可以对数据已经存在的有误信息进行删除。
具有权限使用该子模块的角色为，负责进行相关的查询操作的数据主责及认责人员。
认责信息子模块：与数据元管理子模块进行数据传输，用于对数据项的主责责任人和操作责任人查询，对认责不完整的数据项发起数据认责、对责任异常或者变动的发起责任变更；并且用于经过发起、变更、确认完成对指标数据项的维护，同时完成数据项状态的更新；
该子模块对应的业务对象为数据查询业务，包括数据主题、数据对象、数据项、主责人、录入改进人、审核人、数据项状态等数据项，该子模块在查询数据项认责情况时：展示数据项的数据主题、数据对象，是否为主数据，主责人、录入改进人和审核的人名以及数据项的认责状态。
该子模块在执行主责认责时：用户根据现有数据项认责情况，对数据项的主责任进行认责分配。
该子模块在进行操作数据认责时：用户根据现有数据项认责情况，对数据项的操作责任进行认责分配。
该子模块在变更数据责任时：选择数据项的责任人，进入详细认责页面，发起认责变更。其中变更的关键节点：发起认责变更-变更审批-认责关系变更-认责关系确认-数据项状态更新。
具有权限使用该子模块的角色为业务人员，即进行相关的查询操作，并对数据项进行数据认责的人员。
认责分配子模块：与数据元管理子模块进行数据传输，用于在指标数据认责关系缺失时，发起对指标数据元中数据项的认责关系分配；其执行流程依次包括：选中数据项-发起认责分配-被认责人确认-数据项状态更新。
该子模块对应的业务对象为认责查询和责任分配业务，认责查询包括数据主题、数据对象、数据项、数据项状态等数据项，责任分配包括主责人、主责人所在组织、录入改进人、录入改进人所在组织、审核人、审核人所在组织等数据项。
该子模块在查询数据项的认责信息时：根据用户需要查询的内容，选择查询输入条件，可选择包含已经认责的数据项，也可以选择展示没有认责的数据项。
该子模块在进行数据项分配责任时：对认责不完整的数据项进行数据认责：
(1)数据项主责分配：选择数据项＞主责分配＞被认责人确认＞数据项主责人状态更新。
(2)数据操作责任分配：选择数据项＞操作责任分配＞被认责人确认＞数据项操作责人状态更新。
(3)数据状态更新：主责与操作责任人均完成数据认责时，数据项认责状态更新。
具有权限使用该子模块的角色为负责进行相关的操作的数据主责及认责人员。
认责变更子模块：与数据元管理子模块进行数据传输，用于在指标数据元中数据项认责关系发生变更或者异常时，发起对数据项的认责关系变更。其执行流程依次包括：认责关系预警提示-选中数据项-发起认责变更-变更审批-认责关系变更-认责关系确认-数据项状态更新。
该子模块对应的业务对象为数据项认责业务，包括认责单位、数据对象、数据项、主责、录入改进、审核等数据项。
该子模块在数据项认责异常预警时：以树形结构展示组织信息，通过点击数据组织，在页面右侧刷新不同组织的岗位及人员信息。可以在对应的组织中创建新的岗位人员信息。
该子模块在发起变更时：在人员情况页面中通过在查询条件中输入人员名称、岗位名称或者组织名称的关键字，查询结果列出相关人员或者组织的全部信息。
该子模块在更新组织人员信息时：可以更新人员所在的组织，变更人员状态。
该子模块在删除组织人员信息时：用户可以对数据已经存在的有误信息进行删除。
具有权限使用该子模块的角色为负责进行相关的查询操作的数据主责及认责人员。
上述的基于元数据技术的指标溯源管理系统中，所述认责追溯模块包括：
质量问题管理子模块：与数据接入接口以及数据元管理子模块进行数据传输，用于持续更新业务平台数据质量信息的原始问题数据；以及通过影响分析、血缘分析后，关联出相关的指标数据及数据项，进而形成指标数据质量问题；
其中业务平台包括4A平台(认证Authentication、授权Authorization、账号Account、审计Audit，中文名称为统一安全管理平台)、数据认责管理系统、数据质量管理平台、数据管控平台、元数据管理平台以及数据资源管理平台等业务平台，平台中的数据与本系统同步。
结合图2.业务协同运营监控平台与4A平台集成后，业务协同运营监控平台侧的用户(从帐号)和部门信息(基准组织)必须从4A平台同步获取，登录及认证集成需求。
业务协同运营监控平台应结合4A平台的登录及认证集成规范要求，完成与4A平台的认证功能集成。
数据认责管理系统中的数据项认责关系需要集成到指标数据溯源中，作为数据项认责关系的初始基础数据。
数据质量管理平台的数据质量校验规则、数据质量监控结果信息、数据质量异常数据信息通过接口的方式定时更新到指标数据溯源管理系统中。
数据管控平台中的数据项、指标信息同步到指标数据溯源管理系统中
元数据管理平台中的数据关系、数据处理信息同步到指标数据溯源管理系统中。
数据资源管理平台的提供本系统中应用的主数据相关信息。
问题质量管理通过将其他平台的数据问题质量整合，通过血缘分析、影响分析形成当前指标数据的质量问题数据。同时，通过条件筛选可以查看问题数据。
该子模块对应的业务对象为问题质量数据与指标数据问题质量业务，其中问题质量数据包含数据来源、校验时间、数据项、数据问题、入库时间、数据库端口、备注等数据项，指标数据问题质量包含校验时间、指标名称、数据项、问题类型、数据问题、入库时间、问题状态等数据项。
该子模块在进行问题质量数据更新时：通过数据接口，定期从其他平台获取问题数据质量。
该子模块在问题质量数据查看时，通过条件查询，从各个角度查看问题数据。
该子模块在指标问题数据查看时，可以通过条件选择查看，指标数据中的问题项。
具有权限使用该子模块的角色为负责数据质量相关职责的业务人员。
整改待办子模块，用于据校验规则，校验问题数据，根据不同责任不同问题类型形成待办信息；并根据查询条件查询待办信息，待办信息状态，待办信息处理进度，以及针对现有问题可以设置定期催办。
该子模块对应的业务对象为待办信息和催办信息，其中待办信息包括数据项名称、数据项状态、、问题类型、问题描述、责任人、校验时间等数据项；催办信息包括数据项名称、问题类型、问题描述、错误统计、发送时间等数据项。
该子模块在对问题待办信息业务时：可以根据查询条件查询待办信息，待办信息状态，待办信息处理进度。
该子模块在对问题催办业务时：选择问题发起催办，或者根据数据校验时间批量选择数据并设计定时催办功能，比如校验时间是当前时间7天以前的问题进行催办。
具有权限使用该子模块的角色为负责数据质量的数据主责及认责人员以及查看整改的数据资产管理员。
进一步的，上述的基于元数据技术的指标溯源管理系统中，还包括系统集成服务模块，用于进行数据服务、数据服务使用情况、数据接入使用情况以及数据接入调度的管理。
具体的所述系统集成服务模块包括：
数据服务介绍子模块：用于描述数据服务接口的数据内容，调用方法，参数说明以及使用实例情况；对应的业务对象为介绍信息，包括接口名称、介绍内容、编辑时间等数据项；其对接口信息查看时，主要查看申请调用接口的详细信息。
具有权限使用该子模块的角色为申请调用数据服务的数据主责及认责人员，以及负责接口分配的工作的系统管理员。
数据服务使用情况子模块：用于对外提供数据服务的接口使用情况的统计，以根据需求查看不同接口或者用户的使用情况；其对应的业务对象为接口调用情况业务，包括接口名称、使用者、到期时间、调用次数、调用成功率、最新调用完成时间等数据项，其对接口信息查看时，主要查看申请调用接口的详细信息。
具有权限使用该子模块的角色为申请调用数据服务的数据主责及认责人员，以及负责接口开放的工作的系统管理员。
数据接入使用情况子模块：用于对外接的平台接口进行统计展示，以根据查询条件进行查询；其对应的业务对象为接口统计业务，包括接口名称、来源系统、到期时间、调用次数、调用成功率、编辑时间等数据项，其对接口信息查看时，主要查看申请调用接口的详细信息。
具有权限使用该子模块的角色为申请调用数据服务的数据主责及认责人员，以及负负责数据接口接入工作的系统管理员。
数据接入调度服务子模块：用于对接入的接口进行统一管理，设置定时调度作业，形成自动化机制。对应的业务对象为调度管理业务，包括接口名称、调用周期、来源系统、开始时间、结束时间等数据项，其在设置调度时，创建自动调度数据；并在查询时根据获取的查询条件，查询当前调度信息。
具有权限使用该子模块的角色为负责数据接口接入工作的系统管理员。
进一步的，上述的基于元数据技术的指标溯源管理系统中，还包括系统管理模块，用于对用户、权限、角色、日志、流程配置以及模板进行管理。所述系统管理模块包括：
用户管理子模块：用于对用户的创建、删除、禁止以及恢复管理；
创建用户：在系统中可创建用户。
删除用户：在系统中可删除用户，删除后不可恢复。
禁止用户：在系统中可禁止用户，用户被禁止后信息仍被保留。
恢复用户：在系统中可恢复被禁止的原用户，用户被恢复后，可登陆数据资产管理系统进行相关操作。
角色管理子模块：用于配置角色及角色的创建、修改和删除；其中配置角色为配置元数据角色，包括系统定义的管理员角色以及定制化角色，定制化角色里包含默认的元数据操作权限；
权限管理子模块，用于根据角色设定用户权限，用户登录管理系统后，可对相关目录执行操作；并用于查看目标用户的全部权限和授权资源，并对其权限内容进行编辑和管理；
日志管理子模块，用于用户访问操作日志的管理，记录用户修改、删除等操作信息；
流程配置子模块，关于根据实际应用场景选择认责分配及变更流程。
进一步的，上述的基于元数据技术的指标溯源管理系统中，还包括数据溯源责任看板模块，用于展示指标数据认责分布信息、指标数据质量分析信息、认责溯源状态分析信息以及多指标数据项质量管理信息。所述数据溯源责任看板模块，包括
指标数据认责分布子模块，用于展示指标数据在不同的认责单位中的分布情况，以及各单位认责完成进度；
指标数据质量分析子模块，用于展示指标数据溯源后的数据项质量情况；
认责溯源状态分析子模块，用于展示当前指标数据项的问题数、整改情况、以及被调用情况；
多指标数据项管理子模块，用于展示数据项关联指标数和数据项状态。
本发明基于元数据技术的指标溯源管理系统，应用于指标数据元的分析和追踪，以指标数据为顶端，向下分解和挖掘其相关计算数据元，掌握指标数据元的分布。一方面，对指标数据的相关数据元进行溯源管理，利于理清指标数据的数据脉络成为评估指标准确性和影响的可靠依据；另一方面，对指标数据元质量管控作为保障指标质量的数据基础；同时，利用数据认责管理的方法梳理指标数据元责任单位和人员，从而确定指标数据元的质量管控点，从而可以从源头上对指标数据的整个计算过程的质量进行监控，更有效地保障指标数据的真实性和准确性。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于元数据技术的指标溯源管理系统，其特征在于，包括：
基础信息管理模块，用于对指标数据、数据元、数据项及相关关系的管理；
认责管理模块，用于通过创建组织人员信息，对基础信息管理模块中的数据项建立数据认责关系；
认责追溯模块，用于分析当前基础信息管理模块中指标数据的质量问题并进行整改待办处理。
2.根据权利按要求1所述的一种基于元数据技术的指标溯源管理系统，其特征在于，所述基础信息管理模块包括：
指标数据管理子模块：用于采集、维护和查询指标数据，以及查看指标的数据项详情；
数据元管理子模块：用于对数据元的创建、查询、分析、发布及问题追踪的全流程管理；
指标-数据项关系管理子模块：用于建立、维护指数数据与数据项之间关系的管理。
3.根据权利按要求2所述的一种基于元数据技术的指标溯源管理系统，其特征在于，所述认责管理模块包括：
组织人员子模块：用于对组织单位及组织人员信息进行添加，修改，查询和/或异常分析；
认责信息子模块：用于对数据项的主责责任人和操作责任人查询，对认责不完整的数据项发起数据认责、对责任异常或者变动的发起责任变更；并且用于经过发起、变更、确认完成对指标数据项的维护，同时完成数据项状态的更新；
认责分配子模块：用于在指标数据认责关系缺失时，发起对指标数据元中数据项的认责关系分配；
认责变更子模块：用于在指标数据元中数据项认责关系发生变更或者异常时，发起对数据项的认责关系变更。
4.根据权利要求3所述的一种基于元数据技术的指标溯源管理系统，其特征在于，所述认责追溯模块包括：
质量问题管理子模块：用于持续更新业务平台数据质量信息的原始问题数据；通过影响分析、血缘分析后，关联出相关的指标数据及数据项，进而形成指标数据质量问题；
整改待办子模块，用于据校验规则，校验问题数据，根据不同责任不同问题类型形成待办信息；并根据查询条件查询待办信息，待办信息状态，待办信息处理进度。
5.根据权利要求1-4任一项所述的一种基于元数据技术的指标溯源管理系统，其特征在于，还包括系统集成服务模块，用于进行数据服务、数据服务使用情况、数据接入使用情况以及数据接入调度的管理。
6.根据权利要求5所述的一种基于元数据技术的指标溯源管理系统，其特征在于，所述系统集成服务模块包括：
数据服务介绍子模块：用于描述数据服务接口的数据内容，调用方法，参数说明以及使用实例情况；
数据服务使用情况子模块：用于对外提供数据服务的接口使用情况的统计，以根据需求查看不同接口或者用户的使用情况；
数据接入使用情况子模块：用于对外接的平台接口进行统计展示，以根据查询条件进行查询；
数据接入调度服务子模块：用于对接入的接口进行统一管理，设置定时调度作业，形成自动化机制。
7.根据权利要求1-4任一项所述的一种基于元数据技术的指标溯源管理系统，其特征在于，还包括系统管理模块，用于对用户、权限、角色、日志、流程配置以及模板进行管理。
8.根据权利要求7所述的一种基于元数据技术的指标溯源管理系统，其特征在于，所述系统管理模块包括：
用户管理子模块：用于对用户的创建、删除、禁止以及恢复管理；
角色管理子模块：用于配置角色及角色的创建、修改和删除；其中配置角色为配置元数据角色，包括系统定义的管理员角色以及定制化角色，定制化角色里包含默认的元数据操作权限；
权限管理子模块，用于根据角色设定用户权限；并用于查看目标用户的全部权限和授权资源，并对其权限内容进行编辑和管理；
日志管理子模块，用于用户访问操作日志的管理，记录用户操作信息；
流程配置子模块，关于根据实际应用场景选择认责分配及变更流程。
9.根据权利要求1-4任一项所述的一种基于元数据技术的指标溯源管理系统，其特征在于，还包括数据溯源责任看板模块，用于展示指标数据认责分布信息、指标数据质量分析信息、认责溯源状态分析信息以及多指标数据项质量管理信息。
10.根据权利要求9所述的一种基于元数据技术的指标溯源管理系统，其特征在于，所述数据溯源责任看板模块，包括
指标数据认责分布子模块，用于展示指标数据在不同的认责单位中的分布情况，以及各单位认责完成进度；
指标数据质量分析子模块，用于展示指标数据溯源后的数据项质量情况；
认责溯源状态分析子模块，用于展示当前指标数据项的问题数、整改情况、以及被调用情况；
多指标数据项管理子模块，用于展示数据项关联指标数和数据项状态。
CN202011288825.XA 2020-11-17 2020-11-17 一种基于元数据技术的指标溯源管理系统 Pending CN112506892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011288825.XA CN112506892A (zh) 2020-11-17 2020-11-17 一种基于元数据技术的指标溯源管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011288825.XA CN112506892A (zh) 2020-11-17 2020-11-17 一种基于元数据技术的指标溯源管理系统

Publications (1)

Publication Number Publication Date
CN112506892A true CN112506892A (zh) 2021-03-16

Family

ID=74956589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011288825.XA Pending CN112506892A (zh) 2020-11-17 2020-11-17 一种基于元数据技术的指标溯源管理系统

Country Status (1)

Country Link
CN (1) CN112506892A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239218A (zh) * 2022-09-26 2022-10-25 太极计算机股份有限公司 基于云架构的动态指标管理方法及系统
CN117422482A (zh) * 2023-12-19 2024-01-19 山东一方制药有限公司 一种中药配方颗粒全周期溯源管理平台
CN117473493A (zh) * 2023-12-28 2024-01-30 杭州数智政通科技有限公司 基于数据元的数据溯源、质量检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706909A (zh) * 2009-11-18 2010-05-12 山东浪潮齐鲁软件产业股份有限公司 一种面向企业数据集成的全面数据质量管理方法
CN108765183A (zh) * 2018-05-30 2018-11-06 广州葵翼信息科技有限公司 一种低成本的农产品质量追溯信息采集系统及采集方法
CN109034532A (zh) * 2018-06-20 2018-12-18 江苏网域科技有限公司 一种基于大数据的数据管控系统
CN110399363A (zh) * 2019-06-25 2019-11-01 云南电网有限责任公司玉溪供电局 一种问题数据全生命周期数据质量管理方法及系统
CN111861358A (zh) * 2019-12-11 2020-10-30 安徽建筑大学 一种基于bim技术的建筑信息集成平台

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706909A (zh) * 2009-11-18 2010-05-12 山东浪潮齐鲁软件产业股份有限公司 一种面向企业数据集成的全面数据质量管理方法
CN108765183A (zh) * 2018-05-30 2018-11-06 广州葵翼信息科技有限公司 一种低成本的农产品质量追溯信息采集系统及采集方法
CN109034532A (zh) * 2018-06-20 2018-12-18 江苏网域科技有限公司 一种基于大数据的数据管控系统
CN110399363A (zh) * 2019-06-25 2019-11-01 云南电网有限责任公司玉溪供电局 一种问题数据全生命周期数据质量管理方法及系统
CN111861358A (zh) * 2019-12-11 2020-10-30 安徽建筑大学 一种基于bim技术的建筑信息集成平台

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
缪新萍等: "电网企业指标数据质量提升应用研究与实施", 《电子技术与软件工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239218A (zh) * 2022-09-26 2022-10-25 太极计算机股份有限公司 基于云架构的动态指标管理方法及系统
CN117422482A (zh) * 2023-12-19 2024-01-19 山东一方制药有限公司 一种中药配方颗粒全周期溯源管理平台
CN117422482B (zh) * 2023-12-19 2024-03-08 山东一方制药有限公司 一种中药配方颗粒全周期溯源管理平台
CN117473493A (zh) * 2023-12-28 2024-01-30 杭州数智政通科技有限公司 基于数据元的数据溯源、质量检测方法及系统

Similar Documents

Publication Publication Date Title
CN112950162B (zh) 信息系统工程监理工作派发管理信息系统
US8340995B2 (en) Method and system of using artifacts to identify elements of a component business model
Paim et al. DWARF: An approach for requirements definition and management of data warehouse systems
US8832148B2 (en) Enterprise evidence repository
US7979475B2 (en) Coherent data identification method and apparatus for database table development
CN112506892A (zh) 一种基于元数据技术的指标溯源管理系统
CN112364094A (zh) 数据仓库可视化建模方法、装置及介质
CN111190881A (zh) 一种数据治理方法和系统
CN111815424A (zh) 信息系统工程监理项目成本核算管理系统
CN112199433A (zh) 一种用于城市级数据中台的数据治理系统
US20110321124A1 (en) Enterprise Evidence Repository
CN113454662A (zh) 实施数据处理系统管理的数据对象的工作流的有限状态机
CN102870110B (zh) 文档登记系统
CN113592680A (zh) 基于区域级教育大数据的服务平台
US20150169595A1 (en) Information governance platform
CN113919680A (zh) 一种基于通用任务构建管理信息系统的方法
CN116541372A (zh) 一种数据资产治理方法及系统
CN116228402A (zh) 一种金融征信特征仓库技术支持系统
US11971909B2 (en) Data processing system with manipulation of logical dataset groups
US20140149186A1 (en) Method and system of using artifacts to identify elements of a component business model
CN114911773A (zh) 一种通用元模型设计方法
JP2011040016A (ja) 財務管理方法およびシステム
US20070260983A1 (en) Method for providing a summary of user activities
CN117608536B (zh) 缺口数据在线模版定制补录系统及其方法
Tereshchenko Development and implementation of the data quality assurance subsystem for the MDM platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210316

RJ01 Rejection of invention patent application after publication