CN116303469B - 一种全面快速查看分析的数仓管理方法及装置 - Google Patents

一种全面快速查看分析的数仓管理方法及装置 Download PDF

Info

Publication number
CN116303469B
CN116303469B CN202310335889.8A CN202310335889A CN116303469B CN 116303469 B CN116303469 B CN 116303469B CN 202310335889 A CN202310335889 A CN 202310335889A CN 116303469 B CN116303469 B CN 116303469B
Authority
CN
China
Prior art keywords
bin
data
description information
module
description
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310335889.8A
Other languages
English (en)
Other versions
CN116303469A (zh
Inventor
梁英林
孔令超
林国友
吕火生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gongqing City Zhongtaolian Supply Chain Service Co ltd
Lin Zhoujia Home Network Technology Co ltd
Linzhou Lilijia Supply Chain Service Co ltd
Foshan Zhongtaolian Supply Chain Service Co Ltd
Tibet Zhongtaolian Supply Chain Service Co Ltd
Original Assignee
Gongqing City Zhongtaolian Supply Chain Service Co ltd
Lin Zhoujia Home Network Technology Co ltd
Linzhou Lilijia Supply Chain Service Co ltd
Foshan Zhongtaolian Supply Chain Service Co Ltd
Tibet Zhongtaolian Supply Chain Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gongqing City Zhongtaolian Supply Chain Service Co ltd, Lin Zhoujia Home Network Technology Co ltd, Linzhou Lilijia Supply Chain Service Co ltd, Foshan Zhongtaolian Supply Chain Service Co Ltd, Tibet Zhongtaolian Supply Chain Service Co Ltd filed Critical Gongqing City Zhongtaolian Supply Chain Service Co ltd
Priority to CN202310335889.8A priority Critical patent/CN116303469B/zh
Publication of CN116303469A publication Critical patent/CN116303469A/zh
Application granted granted Critical
Publication of CN116303469B publication Critical patent/CN116303469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种全面快速查看分析的数仓管理方法及装置，涉及数仓数据管理技术领域。本发明建立数仓数据管理表，通过读取数仓数据管理表生成供开发者查阅溯源的在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。使开发者可以全面的看到数仓元数据的治理，数据流转和技术架构，可以很好地看到数据来源和积累的数据模型，方便于数据挖掘和分析，为后面数据驱动业务奠定了一个基石。

Description

一种全面快速查看分析的数仓管理方法及装置
技术领域
本发明涉及数仓数据管理技术领域，特别是一种全面快速查看分析的数仓管理方法及装置。
背景技术
在目前很多企业当中，在构建数仓的时候，元数据都是整理到Excel后查看，查询某个建模表的代码文件都只能代码库去看，查看整个数仓的流转和目前的技术架构只能问相应的数据部的架构师；这样数仓的整体的维护会比较麻烦，对接业务的时候没有统一路径，不利于数据血缘的追溯，和没有很好进行查看路径，不利于后面的数据分析。
发明内容
针对上述缺陷，本发明的目的在于提出一种全面快速查看分析的数仓管理方法及装置，解决现有数仓中元数据管理和查看复杂，对接业务的时候没有统一路径，对数据的挖掘和分析不是特别的便捷的技术问题。
为达此目的，本发明采用以下技术方案：
本发明第一方明公开了一种全面快速查看分析的数仓管理方法，包括如下步骤：
建立数仓数据管理表，数仓数据管理表记录有数仓层级模块的数据；数仓层级模块的数据包括表说明信息、层级模块说明信息和数据连接说明信息；表说明信息包括该数仓层级模块中若干个表的说明信息数据；
读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；根据获取到的表说明信息，从数仓Doris中读取出该数仓层级模块中各个表的元数据和执行该表的逻辑代码；
根据读取到信息数据生成在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。
进一步，通过Java程序执行读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；以及根据获取到的表说明信息，从数仓Doris中读取出元数据和执行该表的逻辑代码。
进一步，通过ShowDoc程序执行根据读取到信息数据生成在线文档。
进一步，数据管理表包括表说明信息子表，表说明信息子表记载有表说明信息，表说明信息包括表名、表中文名、数据来源、数据描述、表的属性以及表更新时间。
进一步，数据管理表包括层级模块说明信息子表，层级模块说明信息子表记载有层级模块说明信息，层级模块说明信息包括来源说明、来源数据渠道以及库名。
进一步，数据管理表包括数据连接说明信息子表，数据连接说明信息子表记载有数据连接说明信息，数据连接说明信息包括数仓分层类型、Doris的数据库、ShowDoc的url、api密钥以及api令牌。
进一步，数仓数据管理表为Excel表格。
本发明第二方面公开了一种全面快速查看分析的数仓管理装置，应用于本发明第一方面任一项的一种全面快速查看分析的数仓管理方法；包括：
数仓数据管理表建立模块，用于建立数仓数据管理表，数仓数据管理表记录有数仓层级模块的数据；数仓层级模块的数据包括表说明信息、层级模块说明信息和数据连接说明信息；表说明信息包括该数仓层级模块中若干个表的说明信息数据；
数仓数据管理表读取模块，用于读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；根据获取到的表说明信息，从数仓Doris中读取出元数据和执行该表的逻辑代码；
在线文档生成模块，用于根据读取到信息数据生成在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。
本发明第三方面公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本发明第一方面任一项的方法。
本发明第四方面公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本发明第一方面任一项的方法。
本发明提供的技术方案可以包括以下有益效果：
在本发明的具体应用中，建立数仓数据管理表，通过读取数仓数据管理表生成供开发者查阅溯源的在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。
如此，使开发者可以全面的看到数仓元数据的治理，数据流转和技术架构，便于给开发者更为清晰的工作任务，让新接手的员工更加的快速的了解业务。并使业务对接时有统一的口径，大大减少沟通的成本。此外还可以很好地看到数据来源和积累的数据模型，方便于数据挖掘和分析，为后面数据驱动业务奠定了一个基石。
附图说明
图1是本申请实施例的数仓管理方法的流程示意图；
图2为本申请实施例的在线文档记载一个数仓层级模块说明的示意图；
图3为本申请实施例的在线文档中数仓层级模块中一个表对应的表说明的示意图；
图4为本申请实施例的数仓管理装置的基本结构示意图；
图5为本申请实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面以具体地实施例对本申请实施例的技术方案以及本申请实施例的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请一个实施例提供了一种全面快速查看分析的数仓管理方法，该方法由计算机设备执行，该计算机设备可以是终端或者服务器。终端可以是台式设备或者移动终端。服务器可以是独立的物理服务器、物理服务器集群或者虚拟服务器。
如图1所示，该方法包括：
步骤S1：建立数仓数据管理表，数仓数据管理表记录有数仓层级模块的数据；数仓层级模块的数据包括表说明信息、层级模块说明信息和数据连接说明信息；表说明信息包括该数仓层级模块中若干个表的说明信息数据。其中，数仓数据管理表可以由数据架构师创建并管理。具体地，数仓数据管理表可以是在Excel程序中建立出的Excel表格。
步骤S2：读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；根据获取到的表说明信息，从数仓Doris中读取出元数据和执行该表的逻辑代码；
步骤S3：根据读取到信息数据生成在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。其中，根据表说明信息生成的该数仓层级模块中所有表的列表记载了该数仓层级模块中各个表的表名、表中文名以及表更新时间。
具体地，图2示出了在线文档中数仓层级模块说明，其中，区域A记载了层级模块说明信息，区域B记载了根据表说明信息生成的该数仓层级模块中所有表的列表。图3示出了在线文档中该数仓层级模块中一个表对应的表说明，其中，区域C为该表自身的说明信息数据，区域D记载了元数据、区域E记载了执行该表的逻辑代码。
在具体应用中，建立数仓数据管理表，通过读取数仓数据管理表生成供开发者查阅溯源的在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。
如此，使开发者可以全面的看到数仓元数据的治理，数据流转和技术架构，便于给开发者更为清晰的工作任务，让新接手的员工更加的快速的了解业务。并使业务对接时有统一的口径，大大减少沟通的成本。此外还可以很好地看到数据来源和积累的数据模型，方便于数据挖掘和分析，为后面数据驱动业务奠定了一个基石。
作为一种可选的实施例，通过Java程序执行读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；以及根据获取到的表说明信息，从数仓Doris中读取出元数据和执行该表的逻辑代码。通过ShowDoc程序执行根据读取到信息数据生成在线文档。
具体地，通过Java程序执行读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；以及根据获取到的表说明信息，从数仓Doris中读取出元数据和执行该表的逻辑代码。Java程序将读取到的该数仓层级模块的表说明信息、层级模块说明信息、数据连接说明信息、元数据、执行该表的逻辑代码上传至ShowDoc程序，ShowDoc程序根据上传的信息数据生成在线文档。如此，达到数据自动读取和写入，并自动生成在线文档的效果。实现用Excel为管理，ShowDoc作为全面快速查看分析数仓的方法。更具体地，运行Java程序时，指定该层级模块本地存储数仓数据管理表的路径作为参数，则能在ShowDoc进行全面快速地查看分析。后续只需要维护好数仓数据管理表，Java程序运行时，传入层级模块本地存储数仓数据管理表的路径参数，就可以按照数仓模块层级上传到ShowDoc程序上。
具体地，数仓数据管理表包括表说明信息子表、层级模块说明信息子表和数据连接说明信息子表。表说明信息子表记载有表说明信息，表说明信息包括该数仓层级模块中若干个表的表名、表中文名、数据来源、数据描述、表的属性以及表更新时间，其中表的属性是指表是离线表还是实时更新的在线表。层级模块说明信息子表记载有层级模块说明信息，层级模块说明信息包括来源说明、来源数据渠道以及库名。数据连接说明信息子表记载有数据连接说明信息，数据连接说明信息包括数仓分层类型、Doris的数据库、ShowDoc的url(uniform resource locator，统一资源定位系统)、api密钥以及api令牌。
图4为本申请又一实施例提供的一种全面快速查看分析的数仓管理装置100的结构示意图，如图4所示，该装置可以包括数仓数据管理表建立模块110、数仓数据管理表读取模块120及在线文档生成模块130，其中：
数仓数据管理表建立模块110用于建立数仓数据管理表，数仓数据管理表记录有数仓层级模块的数据；数仓层级模块的数据包括表说明信息、层级模块说明信息和数据连接说明信息；表说明信息包括该数仓层级模块中若干个表的说明信息数据；
数仓数据管理表读取模块120用于读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；根据获取到的表说明信息，从数仓Doris中读取出元数据和执行该表的逻辑代码；数仓数据管理表读取模块120还用于将读取到的表说明信息、层级模块说明信息、数据连接说明信息、元数据和执行该表的逻辑代码上传至在线文档生成模块130；
在线文档生成模块130用于根据读取到信息数据生成在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。
在装置的具体应用中，在数仓数据管理表建立模块110创建并管理数仓数据管理表，通过数仓数据管理表读取模块120读取数仓数据管理表，并通过在线文档生成模块130生成供开发者查阅溯源的在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。
如此，使开发者可以全面的看到数仓元数据的治理，数据流转和技术架构，给开发者更为清晰的工作任务，让新接手的员工更加的快速的了解业务。并使业务对接时有统一的口径，大大减少沟通的成本。此外还可以很好地看到数据来源和积累的数据模型，方便于数据挖掘和分析，为后面数据驱动业务奠定了一个基石。
作为一种可选的实施例，数仓数据管理表建立模块可以是Excel软件、数仓数据管理表读取模块可以是Java程序、在线文档生成模块可以是ShowDoc程序。
具体地，数仓数据管理表包括表说明信息子表、层级模块说明信息子表和数据连接说明信息子表。表说明信息子表记载有表说明信息，表说明信息包括该数仓层级模块中若干个表的表名、表中文名、数据来源、数据描述、表的属性以及表更新时间，其中表的属性是指表是否为实时更新的表。层级模块说明信息子表记载有层级模块说明信息，层级模块说明信息包括来源说明、来源数据渠道以及库名。数据连接说明信息子表记载有数据连接说明信息，数据连接说明信息包括数仓分层类型、Doris的数据库、ShowDoc的url(uniformresource locator，统一资源定位系统)、api密钥以及api令牌。
需要说明的是，本实施例为与上述的方法项实施例相对应的装置项实施例，本实施例可与上述方法项实施例互相配合实施。上述方法项实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在上述方法项实施例中。
本申请另一实施例提供了一种电子设备，如图5所示，图5所示的电子设备200包括：处理器210和存储器230。其中，处理器210和存储器230相连，如通过总线220相连。进一步地，电子设备还可以包括收发器240。需要说明的是，实际应用中收发器240不限于一个，该电子设备200的结构并不构成对本申请实施例的限定。
其中，处理器210应用于本申请实施例中，用于实现图4所示的数仓数据管理表建立模块、数仓数据管理表读取模块及在线文档生成模块的功能。处理器210可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器210也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线220可包括一通路，在上述组件之间传送信息。总线220可以是PCI总线或EISA总线等。总线220可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器230可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器230用于存储执行本申请方案的应用程序代码，并由处理器210来控制执行。处理器210用于执行存储器230中存储的应用程序代码，以实现图4所示实施例提供的全面快速查看分析的数仓管理装置的动作。
本申请实施例提供的电子设备200，包括存储器230、处理器210及存储在存储器230上并可在处理器210上运行的计算机程序，处理器执行程序时，可实现：建立数仓数据管理表，数仓数据管理表记录有数仓层级模块的数据；数仓层级模块的数据包括表说明信息、层级模块说明信息和数据连接说明信息；表说明信息包括该数仓层级模块中若干个表的说明信息数据；
读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；根据获取到的表说明信息，从数仓Doris中读取出元数据和执行该表的逻辑代码；
根据读取到信息数据生成在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例所示的方法：
建立数仓数据管理表，数仓数据管理表记录有数仓层级模块的数据；数仓层级模块的数据包括表说明信息、层级模块说明信息和数据连接说明信息；表说明信息包括该数仓层级模块中若干个表的说明信息数据；
读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；根据获取到的表说明信息，从数仓Doris中读取出元数据和执行该表的逻辑代码；
根据读取到信息数据生成在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。
本申请实施例提供的计算机可读存储介质适用于上述方法的任一实施例。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种全面快速查看分析的数仓管理方法，其特征在于：包括如下步骤：
建立数仓数据管理表，所述数仓数据管理表记录有数仓层级模块的数据；所述数仓层级模块的数据包括表说明信息、层级模块说明信息和数据连接说明信息；所述表说明信息包括该数仓层级模块中若干个表的说明信息数据；
根据读取到信息数据生成在线文档，所述在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；所述数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码；
通过Java程序执行读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；以及根据获取到的所述表说明信息，从数仓Doris中读取出元数据和执行该表的逻辑代码。
2.根据权利要求1所述的一种全面快速查看分析的数仓管理方法，其特征在于：通过ShowDoc程序执行根据读取到信息数据生成在线文档。
3.根据权利要求1所述的一种全面快速查看分析的数仓管理方法，其特征在于：所述数据管理表包括表说明信息子表，所述表说明信息子表记载有表说明信息，所述表说明信息包括表名、表中文名、数据来源、数据描述、表的属性以及表更新时间。
4.根据权利要求1所述的一种全面快速查看分析的数仓管理方法，其特征在于：所述数据管理表包括层级模块说明信息子表，所述层级模块说明信息子表记载有层级模块说明信息，所述层级模块说明信息包括来源说明、来源数据渠道以及库名。
5.根据权利要求2所述的一种全面快速查看分析的数仓管理方法，其特征在于：所述数据管理表包括数据连接说明信息子表，所述数据连接说明信息子表记载有数据连接说明信息，所述数据连接说明信息包括数仓分层类型、Doris的数据库、ShowDoc的url、api密钥以及api令牌。
6.根据权利要求1所述的一种全面快速查看分析的数仓管理方法，其特征在于：所述数仓数据管理表为Excel表格。
7.一种全面快速查看分析的数仓管理装置，其特征在于：应用于如权利要求1-6任一项所述的一种全面快速查看分析的数仓管理方法；包括：
数仓数据管理表建立模块，用于建立数仓数据管理表，所述数仓数据管理表记录有数仓层级模块的数据；所述数仓层级模块的数据包括表说明信息、层级模块说明信息和数据连接说明信息；所述表说明信息包括该数仓层级模块中若干个表的说明信息数据；
数仓数据管理表读取模块，用于读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；根据获取到的所述表说明信息，从数仓Doris中读取出元数据和执行该表的逻辑代码；
在线文档生成模块，用于根据读取到信息数据生成在线文档，所述在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；所述数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、所述元数据以及执行该表的逻辑代码。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-6任一项所述的方法。
CN202310335889.8A 2023-03-31 2023-03-31 一种全面快速查看分析的数仓管理方法及装置 Active CN116303469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310335889.8A CN116303469B (zh) 2023-03-31 2023-03-31 一种全面快速查看分析的数仓管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310335889.8A CN116303469B (zh) 2023-03-31 2023-03-31 一种全面快速查看分析的数仓管理方法及装置

Publications (2)

Publication Number Publication Date
CN116303469A CN116303469A (zh) 2023-06-23
CN116303469B true CN116303469B (zh) 2024-01-30

Family

ID=86779756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310335889.8A Active CN116303469B (zh) 2023-03-31 2023-03-31 一种全面快速查看分析的数仓管理方法及装置

Country Status (1)

Country Link
CN (1) CN116303469B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364094A (zh) * 2020-11-17 2021-02-12 珠海市卓轩科技有限公司 数据仓库可视化建模方法、装置及介质
CN112579563A (zh) * 2020-11-18 2021-03-30 广东电网有限责任公司佛山供电局 一种基于电网大数据的数仓可视化建模系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364094A (zh) * 2020-11-17 2021-02-12 珠海市卓轩科技有限公司 数据仓库可视化建模方法、装置及介质
CN112579563A (zh) * 2020-11-18 2021-03-30 广东电网有限责任公司佛山供电局 一种基于电网大数据的数仓可视化建模系统及方法

Also Published As

Publication number Publication date
CN116303469A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
US10678866B1 (en) Rules driven content network for tracking, tracing, auditing and life cycle management of information artifacts
US7788237B2 (en) Method and system for tracking changes in a document
US20070038683A1 (en) Business intelligence system and methods
US20170262777A1 (en) Method and system for morphing object types in enterprise content management systems
Bean et al. Wiki: A speedy new tool to manage projects
Auer et al. A versioning and evolution framework for RDF knowledge bases
CN111401029B (zh) 一种基于文档分区和协同编辑的文档版本更新系统和方法
US20240176825A1 (en) Case leaf nodes pointing to business objects or document types
CN111475757A (zh) 页面更新方法和装置
Preidel et al. Common data environment
WO2011090538A1 (en) Collecting community feedback for collaborative document development
CN103309904A (zh) 一种生成数据仓库etl 代码的方法及装置
CN104298588A (zh) 一种持续集成的实现方法及装置
CN102193925A (zh) 一种文稿系统中文稿在线多版本管理的方法和装置
CN108363684A (zh) 表单创建方法、装置及服务器
KR20200046769A (ko) 보고서 자동 생성 기반의 업무 프로세스 관리 시스템 제공 방법
WO2021188209A1 (en) Interface for machine teaching modeling
Hausmann et al. Issues for the long-term management of Social Business Documents
CN103150145A (zh) 数据仓库环境中的语义分组数据的并行处理
Schapke et al. Collaborative data management
CN1588352A (zh) 一种可扩展标记语言文档修改痕迹的记录方法
KR102339897B1 (ko) 보고서 자동 생성 기반의 업무 프로세스 관리 시스템 제공 방법
CN116303469B (zh) 一种全面快速查看分析的数仓管理方法及装置
CN114386920A (zh) 基于数据共享的信息化运行系统及方法
CN114895875B (zh) 一种零代码可视化信息系统元数据的生产应用方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant