CN112712286A - 一种基于数据中台的数据资产管理方法 - Google Patents
一种基于数据中台的数据资产管理方法 Download PDFInfo
- Publication number
- CN112712286A CN112712286A CN202110056888.0A CN202110056888A CN112712286A CN 112712286 A CN112712286 A CN 112712286A CN 202110056888 A CN202110056888 A CN 202110056888A CN 112712286 A CN112712286 A CN 112712286A
- Authority
- CN
- China
- Prior art keywords
- data
- center station
- asset management
- method based
- blood relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 29
- 239000008280 blood Substances 0.000 claims abstract description 28
- 210000004369 blood Anatomy 0.000 claims abstract description 28
- 238000013500 data storage Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000013475 authorization Methods 0.000 claims description 4
- 238000003032 molecular docking Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06313—Resource planning in a project environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/604—Tools and structures for managing or administering access control systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Educational Administration (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Bioethics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Automation & Control Theory (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种基于数据中台的数据资产管理方法，包括如下步骤：S1、将数据中台内的数据进行存储计算转成数据表；S2、统计数据资产情况信息；S3、根据数据的血缘关系构建数据地图，并建立数据目录；S4、根据建表时指定的数据存放的生命周期，定时检测数据更新时间，自动删除超出生命周期时间的数据；S5、根据用户的级别设置访问权限，所述访问权限具有有效期，超出有效期后自动取消访问权限。本发明通过基于血缘关系的数据地图、生命周期管理以及分级访问权限对数据中台的数据资产进行高效管理，以提高对数据资产的管控效率。
Description
技术领域
本发明涉及数据资产管理技术领域，特别涉及一种基于数据中台的数据资产管理方法。
背景技术
随着大数据技术的日趋成熟，信息化建设的中心正逐步从信息技术向数据技术转化，从以流程为中心向以数据为中心转化，对组织内外部的数据进行深入、多维、实时的挖掘和分析，以满足决策层的需求。但是在数据共享和创新的过程中，由于数据分散、数据类型多、数据格式不统一的原因，导致数据读取和数据汇聚的效率低下，数据治理难度较大，难以进行全面高效的数据资产管控，无法满足数据应用和数据业务化的需求。
发明内容
为解决上述问题，本发明提供了一种基于数据中台的数据资产管理方法，以提高数据资产的管控效率。
本发明采用以下技术方案：
一种基于数据中台的数据资产管理方法，包括如下步骤：
S1、将数据中台内的数据进行存储计算转成数据表；
S2、统计数据资产情况信息；
S3、根据数据的血缘关系构建数据地图，并建立数据目录；
S4、根据建表时指定的数据存放的生命周期，定时检测数据更新时间，自动删除超出生命周期时间的数据；
S5、根据用户的级别设置访问权限，所述访问权限具有有效期，超出有效期后自动取消访问权限。
进一步地，所述数据中台内的数据包括离线数据和实时数据，所述离线
数据的计算采用Spark计算引擎，所述实时数据的计算采用Flink计算引擎。
进一步地，所述数据的血缘关系即每项数据的来源、处理过程和应用对接情况的关联，通过血缘关系可以追溯数据之间的关联，所述血缘关系包括表级血缘关系和字段级血缘关系。
进一步地，所述数据地图采用可视化的数据全局视图，用于数据查找、数据表元数据展现、数据类目管理以及数据资产情况的查询。
进一步地，所述数据查找即通过所述数据目录查找和定位所述数据地图内的元数据，所述元数据的信息包括表、字段、工作流以及任务数量。
进一步地，所述数据表元数据展现即用户可查看指定的数据表内的基本信息，展现的形式包括预览和直观查看。
进一步地，所述数据类目管理具体为：将所述数据表按照层级类目组织起来，用户根据数据类目可以快速定位数据，所述层级类目包括销售类、库存类和退货类。
进一步地，所述数据资产情况的查询即用户通过所述数据地图查看数据资产情况，所述数据资产情况信息包括总项目量、总表数、总存储量和数据增长趋势。
进一步地，所述步骤S5中，当用户需要跨项目访问数据时，需要先经过审批授权。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
1、通过构建基于血缘关系的数据地图，记录了数据表的全链血缘关系，基于这些血缘关系，实现以数据流为主线的血缘追溯功能，提升数据的可信度，从而为数据的合规性提供验证手段，实现信息共享、提升协调工作效率；
2、通过数据地图的目录可以快速查找和定位数据，实现数据的快速读取，提高数据的利用效率；
3、通过分级访问权限、审批授权，防止用户随意访问数据，降低数据泄露的风险，提高数据访问的安全程度；
4、支持表的生命周期管理，自动删除超出生命周期时间的数据，从而降低临时数据造成的存储压力。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
一种基于数据中台的数据资产管理方法，包括如下步骤：
S1、将数据中台内的数据进行存储计算转成数据表；
所述数据中台内的数据包括离线数据和实时数据，所述离线数据的计算采用Spark计算引擎，所述实时数据的计算采用Flink计算引擎。
S2、统计数据资产情况信息；
S3、根据数据的血缘关系构建数据地图，并建立数据目录；
所述数据的血缘关系即每项数据的来源、处理过程和应用对接情况的关联，通过血缘关系可以追溯数据之间的关联，所述血缘关系包括表级血缘关系和字段级血缘关系。
数据从来源到目的地，经过大量的功能模块的处理和传递，呈现在用户面前，很多时候需要对数据的来龙去脉进行分析。例如：两个数据报表进行对比，结果差异很大，需要人工对分析指标的维度信息，分析数据指标从哪里来，处理条件是什么，最后才能分析出问题原因。数据血缘则以历史数据的方式记录了每项数据的来源，处理过程和应用对接情况等，记录了数据表在治理过程中的全链血缘关系，基于这些血缘关系信息，可以轻松的进行影响分析，以数据流向为主线的血缘追溯等功能，从而提升数据表的可信度。
所述数据地图采用可视化的数据全局视图，用于数据查找、数据表元数据展现、数据类目管理以及数据资产情况的查询。
所述数据查找即通过所述数据目录查找和定位所述数据地图内的元数据，所述元数据的信息包括表、字段、工作流以及任务数量。用户可以根据类目、表名、所在项目等进行过滤，或者直接根据表名搜索。
所述数据表元数据展现即用户可查看指定的数据表内的基本信息，展现的形式包括预览和直观查看。
所述数据类目管理具体为：将所述数据表按照层级类目组织起来，用户根据数据类目可以快速定位数据，所述层级类目包括销售类、库存类和退货类。当数据表的数量逐渐增多时，有必要将数据表按照一定的类目结构进行管理，数据资产管理可针对类目进行属性设置，包括共享属性、类目说明等内容，支持日常的维护和更新。用户可自定义层级、名称，并将数据表指定到某个节点上，数据开发者在寻找数据时，可以根据数据类目快速定位。
所述数据资产情况的查询即用户通过所述数据地图查看数据资产情况，所述数据资产情况信息包括总项目量、总表数、总存储量和数据增长趋势。
S4、根据建表时指定的数据存放的生命周期，定时检测数据更新时间，自动删除超出生命周期时间的数据；
S5、根据用户的级别设置访问权限，所述访问权限具有有效期，超出有效期后自动取消访问权限。
所述步骤S5中，当用户需要跨项目访问数据时，需要先经过审批授权。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.一种基于数据中台的数据资产管理方法，其特征在于：包括如下步骤：
S1、将数据中台内的数据进行存储计算转成数据表；
S2、统计数据资产情况信息；
S3、根据数据的血缘关系构建数据地图，并建立数据目录；
S4、根据建表时指定的数据存放的生命周期，定时检测数据更新时间，自动删除超出生命周期时间的数据；
S5、根据用户的级别设置访问权限，所述访问权限具有有效期，超出有效期后自动取消访问权限。
2.如权利要求1所述的一种基于数据中台的数据资产管理方法，其特征在于：所述数据中台内的数据包括离线数据和实时数据，所述离线数据的计算采用Spark计算引擎，所述实时数据的计算采用Flink计算引擎。
3.如权利要求2所述的一种基于数据中台的数据资产管理方法，其特征在于：所述数据的血缘关系即每项数据的来源、处理过程和应用对接情况的关联，通过血缘关系可以追溯数据之间的关联，所述血缘关系包括表级血缘关系和字段级血缘关系。
4.如权利要求3所述的一种基于数据中台的数据资产管理方法，其特征在于：所述数据地图采用可视化的数据全局视图，用于数据查找、数据表元数据展现、数据类目管理以及数据资产情况的查询。
5.如权利要求4所述的一种基于数据中台的数据资产管理方法，其特征在于：所述数据查找即通过所述数据目录查找和定位所述数据地图内的元数据，所述元数据的信息包括表、字段、工作流以及任务数量。
6.如权利要求5所述的一种基于数据中台的数据资产管理方法，其特征在于：所述数据表元数据展现即用户可查看指定的数据表内的基本信息，展现的形式包括预览和直观查看。
7.如权利要求6所述的一种基于数据中台的数据资产管理方法，其特征在于：所述数据类目管理具体为：将所述数据表按照层级类目组织起来，用户根据数据类目可以快速定位数据，所述层级类目包括销售类、库存类和退货类。
8.如权利要求7所述的一种基于数据中台的数据资产管理方法，其特征在于：所述数据资产情况的查询即用户通过所述数据地图查看数据资产情况，所述数据资产情况信息包括总项目量、总表数、总存储量和数据增长趋势。
9.如权利要求8所述的一种基于数据中台的数据资产管理方法，其特征在于：所述步骤S5中，当用户需要跨项目访问数据时，需要先经过审批授权。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110056888.0A CN112712286A (zh) | 2021-01-15 | 2021-01-15 | 一种基于数据中台的数据资产管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110056888.0A CN112712286A (zh) | 2021-01-15 | 2021-01-15 | 一种基于数据中台的数据资产管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112712286A true CN112712286A (zh) | 2021-04-27 |
Family
ID=75549169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110056888.0A Pending CN112712286A (zh) | 2021-01-15 | 2021-01-15 | 一种基于数据中台的数据资产管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112712286A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114531267A (zh) * | 2021-12-31 | 2022-05-24 | 华能信息技术有限公司 | 一种数据资产管理方法及系统 |
| CN114547179A (zh) * | 2022-01-28 | 2022-05-27 | 深圳英飞拓智园科技有限公司 | 资产数据展示方法、装置、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180330428A1 (en) * | 2016-06-30 | 2018-11-15 | Guardian Life Insurance Company Of America | Enterprise data marketplace system and method |
| CN111723253A (zh) * | 2020-05-25 | 2020-09-29 | 贵州华泰智远大数据服务有限公司 | 一种基于图数据库的数据血缘查询方法及查询系统 |
| CN111966866A (zh) * | 2020-08-11 | 2020-11-20 | 福建博思数字科技有限公司 | 一种数据资产管理的方法和装置 |
| CN112199433A (zh) * | 2020-10-28 | 2021-01-08 | 云赛智联股份有限公司 | 一种用于城市级数据中台的数据治理系统 |
-
2021
- 2021-01-15 CN CN202110056888.0A patent/CN112712286A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180330428A1 (en) * | 2016-06-30 | 2018-11-15 | Guardian Life Insurance Company Of America | Enterprise data marketplace system and method |
| CN111723253A (zh) * | 2020-05-25 | 2020-09-29 | 贵州华泰智远大数据服务有限公司 | 一种基于图数据库的数据血缘查询方法及查询系统 |
| CN111966866A (zh) * | 2020-08-11 | 2020-11-20 | 福建博思数字科技有限公司 | 一种数据资产管理的方法和装置 |
| CN112199433A (zh) * | 2020-10-28 | 2021-01-08 | 云赛智联股份有限公司 | 一种用于城市级数据中台的数据治理系统 |
Non-Patent Citations (3)
| Title |
|---|
| 付成勇: "制造业数据资产管理平台的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 卜意磊 等: "基于数据中台的市场监管数据资源中心架构设计", 《电子技术与软件工程》 * |
| 汤滨: "《大数据定义智能运维》", 31 December 2019, 机械工业出版社 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114531267A (zh) * | 2021-12-31 | 2022-05-24 | 华能信息技术有限公司 | 一种数据资产管理方法及系统 |
| CN114531267B (zh) * | 2021-12-31 | 2024-01-23 | 华能信息技术有限公司 | 一种数据资产管理方法及系统 |
| CN114547179A (zh) * | 2022-01-28 | 2022-05-27 | 深圳英飞拓智园科技有限公司 | 资产数据展示方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106372185B (zh) | 一种异构数据源的数据预处理方法 | |
| JP5826831B2 (ja) | データマート自動化 | |
| US8700581B2 (en) | Systems and methods for providing a map of an enterprise system | |
| US20140244573A1 (en) | Data warehouse with cloud fact table | |
| US9223832B2 (en) | Insight determination and explanation in multi-dimensional data sets | |
| US20110173033A1 (en) | Systems and methods for utilizing an enterprise map to determine affected entities | |
| US20100179951A1 (en) | Systems and methods for mapping enterprise data | |
| US9798813B2 (en) | Extensible person container | |
| CN112712286A (zh) | 一种基于数据中台的数据资产管理方法 | |
| KR20050061597A (ko) | 버저닝된 데이터베이스에 대한 리포트를 생성하기 위한시스템 및 방법 | |
| Bogatu et al. | Voyager: Data discovery and integration for data science | |
| Schwade et al. | A semantic data lake for harmonizing data from cross-platform digital workspaces using ontology-based data access | |
| Salim et al. | Towards data quality into the data warehouse development | |
| CN115952160B (zh) | 一种数据盘点方法 | |
| Sen et al. | Toward developing data warehousing process standards: An ontology-based review of existing methodologies | |
| CN115878623A (zh) | 一种物流行业数据资产目录管理方法及系统 | |
| Kassem et al. | Matching of business data in a generic business process warehousing | |
| CN116561114A (zh) | 一种基于元数据的管理方法 | |
| Su et al. | Business intelligence revisited | |
| Razmak et al. | Lean database: an interdisciplinary perspective combining lean thinking and technology. | |
| Wang et al. | Data warehouse snowflake design and performance considerations in business analytics | |
| US20130254224A1 (en) | Dynamic relevant reporting | |
| Lukić | Approach to multidimensional data modeling in BI technology | |
| Zong et al. | Minimal explanations of missing values by chasing acquisitional data | |
| CN115617745B (zh) | 一种卫星图像数据存储介质的管理方法、管理装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210427 |
|
| RJ01 | Rejection of invention patent application after publication |