CN113377749A - 一种数据模型统一管理系统、方法、设备和存储介质 - Google Patents

一种数据模型统一管理系统、方法、设备和存储介质 Download PDF

Info

Publication number
CN113377749A
CN113377749A CN202110480671.2A CN202110480671A CN113377749A CN 113377749 A CN113377749 A CN 113377749A CN 202110480671 A CN202110480671 A CN 202110480671A CN 113377749 A CN113377749 A CN 113377749A
Authority
CN
China
Prior art keywords
data
management
model
control module
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110480671.2A
Other languages
English (en)
Inventor
萧展辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Southern Power Grid Digital Grid Research Institute Co Ltd
Priority to CN202110480671.2A priority Critical patent/CN113377749A/zh
Publication of CN113377749A publication Critical patent/CN113377749A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种数据模型统一管理系统、方法、设备和存储介质，包括数据架构模块、标准管控模块、事前模型管控模块和事后元数据管控模块；所述数据架构模块的输出端与所述标准管控模块的输入端电性连接，所述标准管控模块的输出端与所述事前模型管控模块的输入端电性连接，所述事前模型管控模块的输出端与所述事后元数据管控模块的输入端电性连接。数据架构模块搭建数据模型的整体架构，标准管控模块根据整体架构制定数据标准，整理标准代码，梳理业务术语和目录标签，事前模型管控模块将数据标准、标准代码、业务术语和目录标签映射到事前模型管控模块中，并存储到事后元数据管控模块，事后元数据管控模块调用存储的信息生产元数据。

Description

一种数据模型统一管理系统、方法、设备和存储介质
技术领域
本发明涉及数据管理领域，具体涉及一种数据模型统一管理系统、方法、设备和存储介质。
背景技术
中国银行业协会城商行工作委员会发布的《城市商业银行发展报告(2018)》数据指出，在开放共享的信息时代，金融科技体系呈现出主体多元、业态多样、关联度高的生态系统特征，封闭的经营发展思路难以适应时代要求，而金融科技技术投入巨大，多数城商行独木难支，因此城商行需要通过运用金融科技的多样发展模式，实现优势互补和系统发展效应。
工作过程中，我们发现元数据和数据关系严重缺失，极大的影响了数据模型的构建和数据应用建模的效率，付出了很多人力成本。而且还有很多问题没有解决：
(1)数据业务关系缺失
目前数据的业务关系没有很好的文档来管理，信息被存储在不同的物理表里，这导致根据业务对象取信息时，不能将信息拉通在一起。
(2)业务主题定义没有统一管理
目前已经开展了数据业务主题的建模，在集市层对数据分析提供服务，目前需要可以承载业务主题的平台，能够将按主题建设的主题，一期发布给数据取数和敏捷分析的分析人员手中。
(3)元数据文档无法保证与生产库一致
数据模型文档与数据库的一致性缺乏监控和管理，造成模型文档过于老旧，甚至缺失。对数据仓库建设造成很大的影响，过去几个域的模型建设，已经深刻发现这个问题，需要有机制和工具，保证数据模型的质量。
(4)元数据管理工具不统一
通过前期调研，使用的模型工具有PowerDesigner，Erwin等多种，也存在非合规的元数据工具，如Excel、Word等，造成模型查阅不便，不能体现数据间关系，不确定是否最新版本，对于某些工具没有相应的软件服务，存在潜在风险。
现有的技术中，中国发明专利CN103067461B公开了“一种文件的元数据管理系统以及元数据管理方法”，公开日为2016年03月30日，包括：元数据管理子系统，用于存储并管理文件的元数据；元数据位置管理子系统，用于存储并管理所述元数据的存储位置信息；以及服务接入节点，用于在接收到文件的应用请求时，从所述元数据位置管理子系统获取所述文件的元数据的存储位置信息，并根据所述元数据的存储位置信息从所述元数据管理子系统获取所述元数据。该方案中，使对外提供的元数据的并发访问能力提高，但是其文档与管理工具并没有统一管理，无法保证数据质量，存在潜在风险。
发明内容
本发明为了解决业务主题定义和元数据管理工具没有统一管理、数据业务关系缺失的问题，提供一种数据模型统一管理系统、方法、设备和存储介质。
为实现以上发明目的，采用的技术方案是：
一种数据模型统一管理系统，包括数据架构模块、标准管控模块、事前模型管控模块和事后元数据管控模块；所述数据架构模块的输出端与所述标准管控模块的输入端电性连接，所述标准管控模块的输出端与所述事前模型管控模块的输入端电性连接，所述事前模型管控模块的输出端与所述事后元数据管控模块的输入端电性连接。
上述方案中，数据架构模块搭建数据模型的整体架构，标准管控模块根据整体架构制定数据标准，整理标准代码，梳理业务术语和目录标签，事前模型管控模块将数据标准、标准代码、业务术语和目录标签映射到事前模型管控模块中，并存储到事后元数据管控模块，事后元数据管控模块调用存储的信息生产元数据，对业务主题定义和元数据管理工具进行统一管理。
数据模型是一个更好的数据字典，其向上承接业务语义，向下实现物理数据，它不但包含了数据字典，更重要的是包含了业务的主题，业务主对象，数据关系，以及数据标准的映射。所以模型及其工具的运用不但是企业数据管理是否成熟的重要标志，也是数据标准落标的重要依托。
所述数据架构模块基于企业级逻辑模型的整体架构。
所述标准管控模块包括数据标准子模块、标准代码子模块、业务术语子模块和目录标签子模块，所述数据架构模块的输出端与所述数据标准子模块的输入端、标准代码子模块的输入端、业务术语子模块的输入端和目录标签子模块的输入端均电性连接，所述数据标准子模块的输出端、标准代码子模块的输出端、业务术语子模块的输出端和目录标签子模块的输出端均与所述事前模型管控模块的输入端电性连接。
所述事前模型管控模块基于系统级开发模型。
所述系统级开发模型包括OLTP模型和数据仓库模型；所述数据标准子模块的输出端、标准代码子模块的输出端、业务术语子模块的输出端和目录标签子模块的输出端均与所述OLTP模型的输入端和数据仓库模型的输入端电性连接，所述OLTP模型的输出端和数据仓库模型的输出端均与所述事后元数据管控模块的输入端电性连接。
上述方案中，事前模型管控模块是在基于系统级开发模型进一步细化扩展而来，根据系统的不同应用又分为OLTP模型和数据仓库模型。系统级开发模型在构建过程中通过应用数据标准或者继承模型中的数据标准信息实现数据标准的落地。
所述事后元数据管控模块包括OLTP数据库。
一种数据模型统一管理方法，用于一种数据模型统一管理系统，包括以下步骤：
S1：数据架构模块从业务角度搭建企业级数据模型的整体架构；
S2：标准管控模块根据企业级数据模型的整体架构制定数据标准，整理标准代码，梳理业务术语和目录标签；
S3：事前模型管控模块将数据标准、标准代码、业务术语和目录标签映射到系统级开发模型中，并存储到OLTP数据库中；
S4：事后元数据管控模块调用OLTP数据库的信息生产元数据。
在步骤S3中，所述系统级开发模型包括OLTP模型和数据仓库模型。
上述方案中，数据架构模块基于企业级逻辑模型，从业务角度做企业级数据模型的整体架构，在梳理企业级逻辑模型的过程中会涉及数据标准的定义和审批发布，而标准体系的建设会对企业逻辑模型提供有力的支撑。
标准管控模块主要包括数据标准体系的建设，数据标准对应的代码管理，以及业务术语和目录标签的梳理，将企业需要共同遵循的数据标准整理发布出来，数据标准会提供数据的业务和技术属性。
事前模型管控模块是在基于系统级开发模型进一步细化扩展而来，根据系统的不同应用又分为OLTP模型和数据仓库模型。系统级开发模型在构建过程中通过应用数据标准或者继承模型中的数据标准信息实现数据标准的落地。
对应新建系统的生产元数据是由事后元数据管控模块依据OLTP数据库的类型进一步继承转换，自带数据标准。对于已有存量的生产元数据可以通过逆向数据库提取OLTP数据库结构模型，并参考数据标准对数据开发模型进行完善来监控生产元数据，周期性比对发现生产元数据的差异信息并做后续处理。
一种数据模型统一管理设备，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行一种数据模型统一管理方法。
一种计算机可读的存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行一种数据模型统一管理方法。
与现有技术相比，本发明的有益效果是：
本发明提供了一种数据模型统一管理系统、方法、设备和存储介质，数据架构模块搭建数据模型的整体架构，标准管控模块根据整体架构制定数据标准，整理标准代码，梳理业务术语和目录标签，事前模型管控模块将数据标准、标准代码、业务术语和目录标签映射到事前模型管控模块中，并存储到事后元数据管控模块，事后元数据管控模块调用存储的信息生产元数据。
附图说明
图1为本发明的模块示意图；
图2为本发明的方法流程图；
图3为本发明的电子设备设计图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
如图1所示，一种数据模型统一管理系统，包括数据架构模块、标准管控模块、事前模型管控模块和事后元数据管控模块；所述数据架构模块的输出端与所述标准管控模块的输入端电性连接，所述标准管控模块的输出端与所述事前模型管控模块的输入端电性连接，所述事前模型管控模块的输出端与所述事后元数据管控模块的输入端电性连接。
上述方案中，数据架构模块搭建数据模型的整体架构，标准管控模块根据整体架构制定数据标准，整理标准代码，梳理业务术语和目录标签，事前模型管控模块将数据标准、标准代码、业务术语和目录标签映射到事前模型管控模块中，并存储到事后元数据管控模块，事后元数据管控模块调用存储的信息生产元数据。
所述数据架构模块基于企业级逻辑模型的整体架构。
所述标准管控模块包括数据标准子模块、标准代码子模块、业务术语子模块和目录标签子模块，所述数据架构模块的输出端与所述数据标准子模块的输入端、标准代码子模块的输入端、业务术语子模块的输入端和目录标签子模块的输入端均电性连接，所述数据标准子模块的输出端、标准代码子模块的输出端、业务术语子模块的输出端和目录标签子模块的输出端均与所述事前模型管控模块的输入端电性连接。
所述事前模型管控模块基于系统级开发模型。
所述系统级开发模型包括OLTP模型和数据仓库模型；所述数据标准子模块的输出端、标准代码子模块的输出端、业务术语子模块的输出端和目录标签子模块的输出端均与所述OLTP模型的输入端和数据仓库模型的输入端电性连接，所述OLTP模型的输出端和数据仓库模型的输出端均与所述事后元数据管控模块的输入端电性连接。
所述事后元数据管控模块包括OLTP数据库。
实施例2
如图2所示，一种数据模型统一管理方法，用于一种数据模型统一管理系统，包括以下步骤：
S1：数据架构模块从业务角度搭建企业级数据模型的整体架构；
S2：标准管控模块根据企业级数据模型的整体架构制定数据标准，整理标准代码，梳理业务术语和目录标签；
S3：事前模型管控模块将数据标准、标准代码、业务术语和目录标签映射到系统级开发模型中，并存储到OLTP数据库中；
S4：事后元数据管控模块调用OLTP数据库的信息生产元数据。
在步骤S3中，所述系统级开发模型包括OLTP模型和数据仓库模型。
上述方案中，数据架构模块基于企业级逻辑模型，从业务角度做企业级数据模型的整体架构，在梳理企业级逻辑模型的过程中会涉及数据标准的定义和审批发布，而标准体系的建设会对企业逻辑模型提供有力的支撑。
标准管控模块主要包括数据标准体系的建设，数据标准对应的代码管理，以及业务术语和目录标签的梳理，将企业需要共同遵循的数据标准整理发布出来，数据标准会提供数据的业务和技术属性。
事前模型管控模块是在基于系统级开发模型进一步细化扩展而来，根据系统的不同应用又分为OLTP模型和数据仓库模型。系统级开发模型在构建过程中通过应用数据标准或者继承模型中的数据标准信息实现数据标准的落地。
对应新建系统的生产元数据是由事后元数据管控模块依据OLTP数据库的类型进一步继承转换，自带数据标准。对于已有存量的生产元数据可以通过逆向数据库提取OLTP数据库结构模型，并参考数据标准对数据开发模型进行完善来监控生产元数据，周期性比对发现生产元数据的差异信息并做后续处理。
实施例3
如图3所示，本实施例提供一种电子设备，包括：
存储有可执行程序代码的存储器；
与存储器耦合的处理器；
其中，处理器调用存储器中存储的可执行程序代码，执行上述各实施例中描述的一种数据模型统一管理方法。
需要说明的是，图3所示的电子设备还可以包括扬声器模组、摄像模组、显示屏、光投射模组、电池模组、无线通信模组(如移动通信模块、Wi-Fi模块、RF电路、蓝牙模块等)、传感器模组(如接近传感器、压力传感器等)、输入模组(如麦克风、输入按键)以及用户接口模组(如充电接口、对外供电接口、卡槽、有线耳机接口等)等未显示的部件，本实施例不作赘述。
本申请实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行上述各实施例中描述的一种数据模型统一管理方法。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种数据模型统一管理系统，其特征在于，包括数据架构模块、标准管控模块、事前模型管控模块和事后元数据管控模块；所述数据架构模块的输出端与所述标准管控模块的输入端电性连接，所述标准管控模块的输出端与所述事前模型管控模块的输入端电性连接，所述事前模型管控模块的输出端与所述事后元数据管控模块的输入端电性连接。
2.根据权利要求1所述的一种数据模型统一管理系统，其特征在于，所述数据架构模块基于企业级逻辑模型的整体架构。
3.根据权利要求2所述的一种数据模型统一管理系统，其特征在于，所述标准管控模块包括数据标准子模块、标准代码子模块、业务术语子模块和目录标签子模块，所述数据架构模块的输出端与所述数据标准子模块的输入端、标准代码子模块的输入端、业务术语子模块的输入端和目录标签子模块的输入端均电性连接，所述数据标准子模块的输出端、标准代码子模块的输出端、业务术语子模块的输出端和目录标签子模块的输出端均与所述事前模型管控模块的输入端电性连接。
4.根据权利要求3所述的一种数据模型统一管理系统，其特征在于，所述事前模型管控模块基于系统级开发模型。
5.根据权利要求4所述的一种数据模型统一管理系统，其特征在于，所述系统级开发模型包括OLTP模型和数据仓库模型；所述数据标准子模块的输出端、标准代码子模块的输出端、业务术语子模块的输出端和目录标签子模块的输出端均与所述OLTP模型的输入端和数据仓库模型的输入端电性连接，所述OLTP模型的输出端和数据仓库模型的输出端均与所述事后元数据管控模块的输入端电性连接。
6.根据权利要求5所述的一种数据模型统一管理系统，其特征在于，所述事后元数据管控模块包括OLTP数据库。
7.一种数据模型统一管理方法，用于权利要求6所述的一种数据模型统一管理系统，其特征在于，包括以下步骤：
S1：数据架构模块从业务角度搭建企业级数据模型的整体架构；
S2：标准管控模块根据企业级数据模型的整体架构制定数据标准，整理标准代码，梳理业务术语和目录标签；
S3：事前模型管控模块将数据标准、标准代码、业务术语和目录标签映射到系统级开发模型中；
S4：事后元数据管控模块调用OLTP数据库的信息生产元数据。
8.根据权利要求7所述的一种数据模型统一管理方法，其特征在于，在步骤S3中，所述系统级开发模型包括OLTP模型和数据仓库模型。
9.一种数据模型统一管理设备，其特征在于，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求7所述的一种数据模型统一管理方法。
10.一种计算机可读的存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求7所述的一种数据模型统一管理方法。
CN202110480671.2A 2021-04-30 2021-04-30 一种数据模型统一管理系统、方法、设备和存储介质 Pending CN113377749A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110480671.2A CN113377749A (zh) 2021-04-30 2021-04-30 一种数据模型统一管理系统、方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110480671.2A CN113377749A (zh) 2021-04-30 2021-04-30 一种数据模型统一管理系统、方法、设备和存储介质

Publications (1)

Publication Number Publication Date
CN113377749A true CN113377749A (zh) 2021-09-10

Family

ID=77570732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110480671.2A Pending CN113377749A (zh) 2021-04-30 2021-04-30 一种数据模型统一管理系统、方法、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113377749A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635042A (zh) * 2018-12-07 2019-04-16 厦门铅笔头信息科技有限公司 Oltp与olap一体化的汽车金融大数据系统
CN110765337A (zh) * 2019-11-15 2020-02-07 中科院计算技术研究所大数据研究院 一种基于互联网大数据的服务提供方法
CN112231315A (zh) * 2020-12-16 2021-01-15 武汉凡松科技有限公司 一种基于大数据的数据治理方法
CN112380189A (zh) * 2020-11-17 2021-02-19 国网福建省电力有限公司信息通信分公司 一种数据模型的在线管理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635042A (zh) * 2018-12-07 2019-04-16 厦门铅笔头信息科技有限公司 Oltp与olap一体化的汽车金融大数据系统
CN110765337A (zh) * 2019-11-15 2020-02-07 中科院计算技术研究所大数据研究院 一种基于互联网大数据的服务提供方法
CN112380189A (zh) * 2020-11-17 2021-02-19 国网福建省电力有限公司信息通信分公司 一种数据模型的在线管理系统
CN112231315A (zh) * 2020-12-16 2021-01-15 武汉凡松科技有限公司 一种基于大数据的数据治理方法

Similar Documents

Publication Publication Date Title
CN111061475B (zh) 软件代码生成方法、装置、计算机设备和存储介质
CN106528898A (zh) 将非关系型数据库数据转换到关系型数据库的方法及装置
CN114925084B (zh) 分布式事务处理方法、系统、设备及可读存储介质
CN112651218A (zh) 一种标书自动生成方法、管理方法、介质以及计算机
CN115757495A (zh) 缓存数据处理方法、装置、计算机设备及存储介质
CN109684486A (zh) 元数据模型的构建方法、装置、计算机设备和存储介质
WO2021253641A1 (zh) 着色语言翻译方法
CN110941629A (zh) 元数据处理方法、装置、设备及计算机可读存储介质
CN113434542B (zh) 数据关系识别方法、装置、电子设备及存储介质
CN113094039A (zh) 一种基于数据库表的代码自动生成系统
US11436359B2 (en) System and method for managing permissions of users for a single data type column-oriented data structure
CN111782649A (zh) 数据采集格式更新方法、装置、计算机设备及存储介质
CN113377749A (zh) 一种数据模型统一管理系统、方法、设备和存储介质
CN104375832A (zh) 一种计算机底层硬件屏蔽设备及方法
CN103809915A (zh) 一种磁盘文件的读写方法和装置
CN109376148B (zh) 缓慢变化维表的数据处理方法、装置、电子设备
CN115543428A (zh) 一种基于策略模板的模拟数据生成方法和装置
US11983178B2 (en) Techniques for building data lineages for queries
CN115081447A (zh) 软件开发的需求文档构建方法、装置、设备及存储介质
CN110276225A (zh) 一种水厂设备巡检数据系统
CN112015560B (zh) 一种用于构建it基础设施的装置
CN114385155A (zh) vue项目可视化工具生成方法、装置、设备及存储介质
CN112612481A (zh) 一种智能中台的系统架构
US20210311787A1 (en) System and method for state management of devices
CN106156339A (zh) 保单管理系统的访问方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination