CN115269589A - 一种数据资产盘点方法 - Google Patents

一种数据资产盘点方法 Download PDF

Info

Publication number
CN115269589A
CN115269589A CN202210713760.1A CN202210713760A CN115269589A CN 115269589 A CN115269589 A CN 115269589A CN 202210713760 A CN202210713760 A CN 202210713760A CN 115269589 A CN115269589 A CN 115269589A
Authority
CN
China
Prior art keywords
data
layer
list
sharing
directory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210713760.1A
Other languages
English (en)
Inventor
余腾龙
褚红亮
方铭
梁良
王璠
胡潇
胡兵
严浩然
齐俊
钱昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Jiangxi Electric Power Co Ltd
Original Assignee
Information and Telecommunication Branch of State Grid Jiangxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Telecommunication Branch of State Grid Jiangxi Electric Power Co Ltd filed Critical Information and Telecommunication Branch of State Grid Jiangxi Electric Power Co Ltd
Priority to CN202210713760.1A priority Critical patent/CN115269589A/zh
Publication of CN115269589A publication Critical patent/CN115269589A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于资产盘点技术领域，公开了一种数据资产盘点方法，包括对源端系统的数据资产进行盘点：按照系统级、表级和字段级进行盘点，通过梳理数据库表和字段的描述信息，对于缺少的数据库表和字段信息，补充其准确的描述信息，形成数据资源目录；对接入到数据中台各层的元数据进行盘点：按照业务系统或者资产目录进行分类管理，所述数据中台各层包括贴源层、近源层、共享层和分析层。本发明通过资产盘点摸清各层数据及血缘关系，便于掌握数据资产现状，消除数据重复存储，有效提升数据中台的数据质量及价值，有效支撑“数据一个源”的落地，为辅助数据管理制度的落地提供有力的支撑手段。

Description

一种数据资产盘点方法
技术领域
本发明属于资产盘点技术领域，具体涉及一种数据资产盘点方法。
背景技术
目前，公司在运业务系统繁多，但数据管理工作尚处于起步探索阶段，存在数据家底不清、数据质量不高、共享使用困难、应用价值不显著等问题，数据治理体系和技术支撑保障尚未建立，一定程度制约了公司数据价值的利用。
发明内容
本发明的目的在于提供一种数据资产盘点方法，以解决现有的公司在运业务系统繁多，一定程度上制约了公司数据价值利用的问题。
为实现上述目的，本发明提供如下技术方案：一种数据资产盘点方法，包括对源端系统的数据资产进行盘点：按照系统级、表级和字段级进行盘点，通过梳理数据库表和字段的描述信息，对于缺少的数据库表和字段信息，补充其准确的描述信息，形成数据资源目录；
对接入到数据中台各层的元数据进行盘点：按照业务系统或者资产目录进行分类管理，所述数据中台各层包括贴源层、近源层、共享层和分析层。
作为本发明一种数据资产盘点方法优选地，所述的对源端系统的数据资产进行盘点包括：
获取所述源端系统的数据库表结构，梳理数据库表和字段的准确描述信息；
对具备包括临时表、备份表、日志表和系统表的特征表进行粗筛，形成初级数据库表目录清单；
经确认后，形成二级数据库表目录清单；
对所述二级数据库表目录清单中包括核心业务数据表缺失字段描述的信息进行补齐；
核查缺失信息补充情况，形成数据资源盘点清单；
录入或导入所述数据资源盘点清单，进行归档管理。
作为本发明一种数据资产盘点方法优选地，所述的对源端系统的数据资产进行盘点还包括：
梳理数据资源目录与有效业务表对应关系，将所述有效业务表挂接至所述数据资源目录的末级目录，形成系统数据资产目录清单；
当无法挂接时，增加数据资源目录，将无法挂接的数据资源挂接到对应的数据资源目录上；
将所述系统数据资产目录清单维护至系统纳管。
作为本发明一种数据资产盘点方法优选地，所述的对源端系统的数据资产进行盘点还包括：
梳理系统数据共享情况，形成系统数据共享负面清单，所述共享情况包括表和字段级程度的共享、有条件共享和不予共享；
将所述系统数据共享负面清单维护至系统纳管。
作为本发明一种数据资产盘点方法优选地，所述的对源端系统的数据资产进行盘点还包括：
梳理系统接口信息，形成系统接口清单；
审核确认梳理结果，并将所述系统接口清单维护至系统纳管。
作为本发明一种数据资产盘点方法优选地，所述共享层的元数据按照模型主题域进行分类管理。
作为本发明一种数据资产盘点方法优选地，所述分析层的元数据，按照业务场景进行分类管理。
作为本发明一种数据资产盘点方法优选地，将所述数据资源盘点清单以及系统数据共享负面清单上传至云端。
作为本发明一种数据资产盘点方法优选地，对所述数据资源盘点清单以及系统数据共享负面清单进行质检，对质检员身份设定校验机制，记录质检人员登入次数、下载次数、修改内容。
作为本发明一种数据资产盘点方法优选地，设置数据质量稽查规则，形成数据治理问题库；
通过将问题库中的规则配置应用到相应表和字段，使校验规则生效。
作为本发明一种数据资产盘点方法优选地，自动分析数据中台近源层到共享层的落模脚本，实现数据血缘关系的自动获取。
作为本发明一种数据资产盘点方法优选地，通过线上手动维护或导入数据实现溯源成果归集。
本发明与现有技术相比，具有以下有益效果：本发明通过资产盘点摸清各层数据及血缘关系，便于掌握数据资产现状，消除数据重复存储，有效提升数据中台的数据质量及价值，有效支撑“数据一个源”的落地，为辅助数据管理制度的落地提供有力的支撑手段。
附图说明
图1为本发明的流程图；
图2为本发明的其中一个实施例的流程图；
图3为本发明的又一个实施例的流程图；
图4为本发明的另一个实施例的流程图；
图5为本发明的再一个实施例的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1所示，图1为本发明的流程图，本发明提供如下技术方案：一种数据资产盘点方法，包括S100对源端系统的数据资产进行盘点：按照系统级、表级和字段级进行盘点，通过梳理数据库表和字段的描述信息，对于缺少的数据库表和字段信息，补充其准确的描述信息，形成数据资源目录；
S200对接入到数据中台各层的元数据进行盘点：按照业务系统或者资产目录进行分类管理，所述数据中台各层包括贴源层、近源层、共享层和分析层。
本实施例中，按照系统级、表级和字段级三级进行盘点，通过梳理数据库表和字段的描述信息，对于缺少的数据库表和字段信息，补充其准确的描述信息，形成专业数据资源目录，针对已接入到数据中台各层的元数据进行数据盘点，主要涉及贴源层、近源层、共享层、分析层，按照业务系统或者资产目录进行分类管理；其中共享层元数据，按照模型主题域进行分类管理；分析层元数据，按照业务场景进行分类管理。
数据资产管理的切入点是对数据家当进行盘点，主要包含46套源端系统及数据中台各层数据资产，形成数据资产目录，为业务应用和数据共享应用夯实基础；通过对数据盘点成果进行质量校核，加强从源头发现盘点出的数据质量问题，提升盘点成果的质量，通过资产盘点摸清各层数据及血缘关系，为后期数据共享提供依据，持续释放数据价值；借助数据资产盘点成果，缩短业务应用开发的数据分析人员的数据获取时间，提升数据获取效率，数据资产管理工作能持续、健康地为数据资产管理体系服务。
请参阅图1所示，图2为本发明的其中一个实施例的流程图，具体地，所述的对源端系统的数据资产进行盘点包括：
S110获取所述源端系统的数据库表结构，梳理数据库表和字段的准确描述信息；
S111对具备包括临时表、备份表、日志表和系统表的特征表进行粗筛，形成初级数据库表目录清单；
S112经确认后，形成二级数据库表目录清单；
S113对所述二级数据库表目录清单中包括核心业务数据表缺失字段描述的信息进行补齐；
S114核查缺失信息补充情况，形成数据资源盘点清单；
S115录入或导入所述数据资源盘点清单，进行归档管理。
请参阅图3所示，图3为本发明的又一个实施例的流程图；具体地，所述的对源端系统的数据资产进行盘点还包括：
S120梳理数据资源目录与有效业务表对应关系，将所述有效业务表挂接至所述数据资源目录的末级目录，形成系统数据资产目录清单；
S121当无法挂接时，增加数据资源目录，将无法挂接的数据资源挂接到对应的数据资源目录上；
S122将所述系统数据资产目录清单维护至系统纳管。
本实施例中，梳理数据目录与有效业务表对应关系，以末级数据目录为基础，开展数据目录与数据表间对应关系梳理,将有效业务表挂接至数据目录的末级目录，要求梳理的数据目录与数据表间对应关系完整、准确。一般情况下：同一个目录下可以挂接多张数据表，同一个表也可以支撑多个不同的数据目录，数据目录与数据表之间存在多对多(N:N)的关系。针对已梳理出来的有效业务表，应该全部挂接到对应的数据目录上，不允许存在无法挂接的情况；若确实存在无法挂接的情况，可以通过调整(增加)数据目录方式，将数据资源挂接到对应数据目录上。最终盘点完成后形成系统数据资产目录清单，并将结果数据维护至系统纳管。
请参阅图4所示，图4为本发明的另一个实施例的流程图；具体地，所述的对源端系统的数据资产进行盘点还包括：
S130梳理系统数据共享情况，形成系统数据共享负面清单，所述共享情况包括表和字段级程度的共享、有条件共享和不予共享；
S131将所述系统数据共享负面清单维护至系统纳管。
本实施例中，基于源端数据资产盘点的指标体系及方法研究，通过对源端系统进行数据盘点，根据不同业务系统的业务功能情况及数据共享情况，梳理系统有效表及负面清单，形成源端系统数据资产目录，为业务应用和数据共享应用夯实基础。
请参阅图5所示，图5为本发明的再一个实施例的流程图；具体地，所述的对源端系统的数据资产进行盘点还包括：
S140梳理系统接口信息，形成系统接口清单；
S141审核确认梳理结果，并将所述系统接口清单维护至系统纳管。
值得说明的是，基于数据中台数据资产盘点的指标体系及方法研究，通过对数据中台各层进行数据盘点，按照业务系统、模型主题域、业务场景等分类方式，形成数据中台数据资产目录，为业务应用和数据共享应用夯实基础。
具体地，所述共享层的元数据按照模型主题域进行分类管理。针对加工到数据中台共享层的数据进行溯源与盘点，共享层包括标准模型及扩展模型，标准模型按照国网主题域进行盘点，扩展模型按照主题域及业务的方式进行分类管理，其中针对扩展的表如能对应主题域，则按照主题域的方式进行管理，业务上的扩展或融合按照业务分类的方式进行管理。
具体地，所述分析层的元数据，按照业务场景进行分类管理。针对加工到数据中台分析层的数据进行盘点，分析层主要按照业务主题分类管理的方式开展。
本实施例中，针对接入到数据中台各层的元数据进行盘点，主要涉及贴源层、近源层、共享层、分析层，按照业务系统或者资产目录进行分类管理；其中共享层元数据，按照模型主题域进行分类管理；分析层元数据，按照业务场景进行分类管理。
具体地，将所述数据资源盘点清单以及系统数据共享负面清单上传至云端。
本实施例中，通过将数据资源盘点清单以及系统数据共享负面清单上传至云端，保证数据存储的安全性，防止数据丢失。
具体地，对所述数据资源盘点清单以及系统数据共享负面清单进行质检，对质检员身份设定校验机制，记录质检人员登入次数、下载次数、修改内容。
本实施例中，通过对所述数据资源盘点清单以及系统数据共享负面清单进行质检，并对质检员身份设定校验机制，督促质检员质检，提高质检员质检效率，进一步提高数据准确性，为制定更好的数据策略、搭建更强的数据信任、实现更智能的数据应用打下坚实基础。
具体地，设置数据质量稽查规则，形成数据治理问题库；
通过将问题库中的规则配置应用到相应表和字段，使校验规则生效。
本实施例中，基于数据盘点分析与应用的指标体系及方法研究，开展数据质量问题的监控，制定相对完善的数据质量稽核规则，形成数据治理问题库，通过将规则库中的规则配置应用到相应表和字段，使校验规则生效。校验主要通过规则自动生成校核脚本语句，从而实现数据的在线校核，推动业务数据质量的规范管控。
具体地，自动分析数据中台近源层到共享层的落模脚本，实现数据血缘关系的自动获取。
具体地，通过线上手动维护或导入数据实现溯源成果归集。
本实施例中，通过对数据中台近源层到共享层落模脚本的自动分析，从而实现血缘关系的自动获取。或者通过线上手动维护或导入的方式，按需实现溯源成果归集。为数据共享提供有效支撑及高效数据获取效率。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (12)

1.一种数据资产盘点方法，其特征在于，包括对源端系统的数据资产进行盘点：按照系统级、表级和字段级进行盘点，通过梳理数据库表和字段的描述信息，对于缺少的数据库表和字段信息，补充其准确的描述信息，形成数据资源目录；
对接入到数据中台各层的元数据进行盘点：按照业务系统或者资产目录进行分类管理，所述数据中台各层包括贴源层、近源层、共享层和分析层。
2.根据权利要求1所述的一种数据资产盘点方法，其特征在于，所述的对源端系统的数据资产进行盘点包括：
获取所述源端系统的数据库表结构，梳理数据库表和字段的准确描述信息；
对具备包括临时表、备份表、日志表和系统表的特征表进行粗筛，形成初级数据库表目录清单；
经确认后，形成二级数据库表目录清单；
对所述二级数据库表目录清单中包括核心业务数据表缺失字段描述的信息进行补齐；
核查缺失信息补充情况，形成数据资源盘点清单；
录入或导入所述数据资源盘点清单，进行归档管理。
3.根据权利要求1或2所述的一种数据资产盘点方法，其特征在于，所述的对源端系统的数据资产进行盘点还包括：
梳理数据资源目录与有效业务表对应关系，将所述有效业务表挂接至所述数据资源目录的末级目录，形成系统数据资产目录清单；
当无法挂接时，增加数据资源目录，将无法挂接的数据资源挂接到对应的数据资源目录上；
将所述系统数据资产目录清单维护至系统纳管。
4.根据权利要求3所述的一种数据资产盘点方法，其特征在于，所述的对源端系统的数据资产进行盘点还包括：
梳理系统数据共享情况，形成系统数据共享负面清单，所述共享情况包括表和字段级程度的共享、有条件共享和不予共享；
将所述系统数据共享负面清单维护至系统纳管。
5.根据权利要求4所述的一种数据资产盘点方法，其特征在于，所述的对源端系统的数据资产进行盘点还包括：
梳理系统接口信息，形成系统接口清单；
审核确认梳理结果，并将所述系统接口清单维护至系统纳管。
6.根据权利要求1所述的一种数据资产盘点方法，其特征在于：所述共享层的元数据按照模型主题域进行分类管理。
7.根据权利要求1或6所述的一种数据资产盘点方法，其特征在于：所述分析层的元数据，按照业务场景进行分类管理。
8.根据权利要求4所述的一种数据资产盘点方法，其特征在于：将所述数据资源盘点清单以及系统数据共享负面清单上传至云端。
9.根据权利要求4所述的一种数据资产盘点方法，其特征在于：对所述数据资源盘点清单以及系统数据共享负面清单进行质检，对质检员身份设定校验机制，记录质检人员登入次数、下载次数、修改内容。
10.根据权利要求1所述的一种数据资产盘点方法，其特征在于，包括步骤：
设置数据质量稽查规则，形成数据治理问题库；
通过将问题库中的规则配置应用到相应表和字段，使校验规则生效。
11.根据权利要求1所述的一种数据资产盘点方法，其特征在于，包括步骤：
自动分析数据中台近源层到共享层的落模脚本，实现数据血缘关系的自动获取。
12.根据权利要求1所述的一种数据资产盘点方法，其特征在于，包括步骤：
通过线上手动维护或导入数据实现溯源成果归集。
CN202210713760.1A 2022-06-23 2022-06-23 一种数据资产盘点方法 Pending CN115269589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210713760.1A CN115269589A (zh) 2022-06-23 2022-06-23 一种数据资产盘点方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210713760.1A CN115269589A (zh) 2022-06-23 2022-06-23 一种数据资产盘点方法

Publications (1)

Publication Number Publication Date
CN115269589A true CN115269589A (zh) 2022-11-01

Family

ID=83762251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210713760.1A Pending CN115269589A (zh) 2022-06-23 2022-06-23 一种数据资产盘点方法

Country Status (1)

Country Link
CN (1) CN115269589A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115952160A (zh) * 2023-01-10 2023-04-11 数据易(北京)信息技术有限公司 一种数据盘点方法
CN117216593A (zh) * 2023-11-07 2023-12-12 青岛港国际股份有限公司 一种资产的自动盘点系统及盘点方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115952160A (zh) * 2023-01-10 2023-04-11 数据易(北京)信息技术有限公司 一种数据盘点方法
CN115952160B (zh) * 2023-01-10 2024-04-26 数据易(北京)信息技术有限公司 一种数据盘点方法
CN117216593A (zh) * 2023-11-07 2023-12-12 青岛港国际股份有限公司 一种资产的自动盘点系统及盘点方法

Similar Documents

Publication Publication Date Title
CN110765337B (zh) 一种基于互联网大数据的服务提供方法
US10705801B2 (en) Data processing systems for identity validation of data subject access requests and related methods
CN115269589A (zh) 一种数据资产盘点方法
CN109472678B (zh) 一种基于区块链的会计账本管理方法、电子装置及可读存储介质
CN111382956A (zh) 企业集团关系的挖掘方法和装置
CN106447550A (zh) 一种基于MySQL的房地产销售管理系统
KR102040772B1 (ko) 조달물품등록 관련 컨설팅 프로젝트에 필요한 데이터의 관리 방법
CN113746684B (zh) 一种网络设备纳管方法、装置、计算机设备及存储介质
CN113821500A (zh) 一种基于政务服务场景的业务对象构建方法
CN117370286A (zh) 一种基于云平台的数据存储方法、系统及设备
CN111553782A (zh) 一种基于混合云和区块链的企业信用评价方法及系统
CN110533293A (zh) 一种基于移动互联网多端协同的地下工程质量监督系统
CN114461728A (zh) 一种基于区块链的纺织业数据资产分类管理方法及系统
CN113709098B (zh) 一种数据传输方法及装置
CN113642975A (zh) 基于区块链的氢能监管方法和系统
CN111914147A (zh) 一种企业疑似实际控制人征信方法及系统
CN112150326A (zh) 一种企业知识产权云办公数字管理系统
CN110647769A (zh) 结合区块链的物联网的室内空气检测数据上链方法及设备
CN110674219A (zh) 基于区块链的物联网的环境空气检测数据上链方法及设备
US20140143349A1 (en) Distributed Architecture Data Transfer System
CN117787188B (zh) 一种实现元器件管理及共享的pcba设计方法和系统
CN112100599B (zh) 一种需求文档的管理平台及方法
CN111241231B (zh) 铁路建设项目文档总线系统
CN113420996A (zh) 一种数字化后勤数据信息管理系统
CN115033619A (zh) 一种工程造价数字档案整理及调整应用方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230421

Address after: 330000, No. 7077, Changdong Avenue, Nanchang hi tech Industrial Development Zone, Nanchang City, Jiangxi Province

Applicant after: STATE GRID JIANGXI ELECTRIC POWER Co.,Ltd. INFORMATION & COMMUNICATION BRANCH

Applicant after: STATE GRID CORPORATION OF CHINA

Address before: 330000 room 808, dispatching building, Jiangxi electric power company, 66 East Hubin Road, Qingshanhu District, Nanchang City, Jiangxi Province

Applicant before: STATE GRID JIANGXI ELECTRIC POWER Co.,Ltd. INFORMATION & COMMUNICATION BRANCH

TA01 Transfer of patent application right