CN109684300A - 一种基于可视化的大数据仓库设计方法及系统 - Google Patents

一种基于可视化的大数据仓库设计方法及系统 Download PDF

Info

Publication number
CN109684300A
CN109684300A CN201811384906.2A CN201811384906A CN109684300A CN 109684300 A CN109684300 A CN 109684300A CN 201811384906 A CN201811384906 A CN 201811384906A CN 109684300 A CN109684300 A CN 109684300A
Authority
CN
China
Prior art keywords
data warehouse
library
big data
data
design method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811384906.2A
Other languages
English (en)
Inventor
王川
王纯斌
陈佳伟
张杰梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sefon Software Co Ltd
Original Assignee
Chengdu Sefon Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sefon Software Co Ltd filed Critical Chengdu Sefon Software Co Ltd
Priority to CN201811384906.2A priority Critical patent/CN109684300A/zh
Publication of CN109684300A publication Critical patent/CN109684300A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Stored Programmes (AREA)

Abstract

本发明公开了一种基于可视化的大数据仓库设计方法及系统，方法包括如下步骤：通过可视化操作界面维护建库建表信息；将建库建表信息提交给JAVA服务单元；JAVA服务单元根据服务接口类型确定具体操作类型；将建库建表信息封装为Hive数据仓库可执行命令；将JAVA服务单元连接到HiveServer2服务；提交可执行命令到Hive数据仓库；在Hive数据仓库中执行命令，创建数据库或数据表。提供可视化的建库建表数据维护界面，基于hive+hbase的方式创建数据仓库数据表，简化大数据仓库新建、编辑、删除、修改的操作方式，实现大数据仓库中数据表的新建、编辑、删除、修改，实现大数据仓库中数据表的关系建立。

Description

一种基于可视化的大数据仓库设计方法及系统
技术领域
本发明属于计算机技术领域，具体地说，涉及一种基于可视化的大数据仓库设计方法及系统。
背景技术
数据仓库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库，简单来说是本身可视为电子化的文件柜，即存储电子文件的处所，用户可以对文件中的数据进行新增、截取、更新、删除等管理操作。随着互联网不断发展，大数据时代到来，越来越多的企业都在运用大数据，而大数据需要大数据仓库进行存储。因此，大数据仓库的管理也成为了企业不可避免的问题。
通常情况下，无论使用哪种程序遇见进行数据库相关操作，开发人员都是预先知道数据库的结构，并针对指定业务执行特定操作，比如预先写好数据库建表和数据库插入的脚本，预先设定针对指定数据表的操作等。但是随着数据量和数据结构多样化的增加，采用人工创建数据库及数据表的方式，需要编写面向特定数据结构的数据记录和显示程序，与数据结构耦合度较大。当原始数据结构发生变更或需要添加新的数据结构时，需要人工在数据库中更改对应数据表的样式，更新数据记录和显示程序。需要开发人员用命令行操作管理，整个操作很麻烦并且容易出错，且需要管理理人员能够熟练使用大数据仓库相关操作命令，学习成本高，对专业开发人员依赖性大。
发明内容
针对现有技术中上述的不足，本发明提供一种基于可视化的大数据仓库设计方法及系统，提供可视化的建库建表数据维护界面，简化大数据仓库新建、编辑、删除、修改的操作方式，实现大数据仓库中数据表的新建、编辑、删除、修改，降低技术难度和学习成本，实现数据仓库的监控管理。
为了达到上述目的，本发明采用的解决方案是：一种基于可视化的大数据仓库设计方法，包括如下步骤：
S100：通过可视化操作界面维护建库建表信息；
S200：将建库建表信息提交给JAVA服务单元；
S300：JAVA服务单元根据服务接口类型确定具体操作类型；
S400：将建库建表信息封装为Hive数据仓库可执行命令；
S500：将JAVA服务单元连接到HiveServer2服务；
S600：提交可执行命令到Hive数据仓库；
S700：在Hive数据仓库中执行命令，创建数据库或数据表。
进一步地，所述的S100维护建库建表信息包括如下步骤：
S110：在可视化操作界面输入数据仓库的名称、别名和描述，选择创建的数据仓库的类型；
S120：新建某一个数据仓库的表，输入表名称、表类型、表注释、表列。
进一步地，所述的数据库类型包括主题库和集市库。
进一步地，所述的表类型包括TEXTFILE、RCFILE、ORC、PARQUET、MAPPING_HBASE；所述的表列包括普通列和分区列。
进一步地，该方法还包括通过可视化操作界面进入数据仓库详情，选择关系设计对数据仓库中的表进行关联设置；通过可视化操作界面进入数据监控界面，查看数据仓库的数据表总数和数据总量。
进一步地，所述的步骤S200中建库建表信息通过AJAX方式提交给JAVA服务单元。
进一步地，所述的服务接口类型包括新建、删除和修改；所述的具体操作类型包括新建操作、删除操作和修改操作。
进一步地，所述的步骤S500中JAVA服务单元通过JDBC方式连接到HiveServer2服务。
一种基于可视化的大数据仓库设计方法的应用的系统，包括可视化建库建表信息维护单元、JAVA服务单元和Hive数据仓库，所述的可视化建库建表信息维护单元提供可视化界面给用户进行建库建表信息维护；所述的JAVA服务单元根据建库建表信息及用户选择的服务接口类型将参数封装为HiveServer2服务可执行命令；所述的Hive数据仓库执行JAVA服务单元提交的可执行命令，创建数据库或数据表。
进一步地，所述的建库建表信息包括：库名称、库描述、表名称、表字段、字段名称、字段类型。
本发明的有益效果是：
(1)提供可视化的建库建表数据维护界面，简化大数据仓库新建、编辑、删除、修改的操作方式，实现大数据仓库中数据表的新建、编辑、删除、修改，降低技术难度和学习成本，实现数据仓库的监控管理。
(2)实现大数据仓库中数据表的关系建立。
(3)实现大数据仓库中数据表总数及数据总量的监控。
(4)实现数据仓库的二次分类。
附图说明
图1为本发明实施例一的方法流程图；
图2为本发明实施例二的方法流程图；
图3为本本发明实施例三的方法流程图；
图4为本发明大数据仓库设计系统框图。
具体实施方式
以下结合附图对本发明作进一步描述：
实施例一
如图1所示，一种基于可视化的大数据仓库设计方法，其实现数据仓库创建包括如下步骤：
S100：用户在可视化操作界面输入数据仓库的名称、别名和描述，选择创建的数据仓库的类型，数据库类型包括主题库和集市库，主题库为用户的元数据库，而集市库指的是基于主题库而新建的业务库，例如，用户有些业务场景不需要用到主题库中所有表数据，那么用户就可以新建一个集市库，只添加主题库中所需要使用的表，这样用户直接使用集市库就可以分析数据，从而达到更高效的查询效率。
S200：用户选择提交，将建库信息通过AJAX方式提交给JAVA服务单元。
S300：JAVA服务单元根据服务接口类型确定具体操作类型。
S400：将建库信息中的数据仓库名称及描述等关键信息封装为Hive数据仓库可执行命令，其余信息如库别名存入MySQL数据库中。
S500：将JAVA服务单元通过JDBC方式连接到HiveServer2服务。
S600：提交可执行命令到Hive数据仓库。
S700：在Hive数据仓库中执行命令，创建数据库。
实施例二
如图2所示，一种基于可视化的大数据仓库设计方法，其实现数据库表创建包括如下步骤：
S100：用户在可视化操作界面新建某一个数据仓库的表，输入表名称、表类型、表注释、表列、表关系，表列分为普通列和分区列。表类型可选TEXTFILE、RCFILE、ORC、PARQUET、MAPPING_HBASE，其中MAPPING_HBASE为映射hbase表，意思为在hive中创建表但是数据是存在hbase中。
S200：用户选择提交，将建表信息通过AJAX方式提交给JAVA服务单元。
S300：JAVA服务单元根据服务接口类型确定具体操作类型。
S400：将建表信息中的数据表表名称、表类型、表注释、表列等关键信息封装为Hive数据仓库可执行命令，其余信息如表关系存入MySQL数据库中。
S500：将JAVA服务单元通过JDBC方式连接到HiveServer2服务。
S600：提交可执行命令到Hive数据仓库。
S700：在Hive数据仓库中执行命令，创建数据表。
实施例三
如图3所示，一种基于可视化的大数据仓库设计方法，其实现数据表关系建立包括如下步骤：
S100：用户通过可视化操作界面进入数据仓库详情，选择关系设计对数据仓库中的表进行关联设置。
S200：用户选择提交，将数据表关联信息通过AJAX方式提交给JAVA服务单元。
S300：JAVA服务单元将数据表关联信息存入MySQL数据库中。
所述的服务接口类型包括新建、删除和修改；所述的具体操作类型包括新建操作、删除操作和修改操作。
如图4所示，一种基于可视化的大数据仓库设计方法的应用的系统，包括可视化建库建表信息维护单元、JAVA服务单元和Hive数据仓库，所述的可视化建库建表信息维护单元提供可视化界面给用户进行建库建表信息维护；所述的JAVA服务单元根据建库建表信息及用户选择的服务接口类型将参数封装为HiveServer2服务可执行命令；所述的Hive数据仓库执行JAVA服务单元提交的可执行命令，创建数据库或数据表。
进一步地，所述的建库建表信息包括：库名称、库描述、表名称、表字段、字段名称、字段类型。
应用本发明的系统还能够实现数据监控，用户通过可视化操作界面进入数据监控界面，查看数据仓库的数据表总数和数据总量。
本发明提供可视化的建库建表数据维护界面，基于hive+hbase的方式创建数据仓库数据表，简化大数据仓库新建、编辑、删除、修改的操作方式，实现大数据仓库中数据表的新建、编辑、删除、修改，实现大数据仓库中数据表的关系建立，能够进行大数据仓库中数据表总数及数据总量的监控，能够进行数据仓库二次分类，提高查询效率，降低技术难度和学习成本，实现数据仓库的监控管理，降低对对专业开发人员依赖性，普通员工也能很快学会并上手建库建表。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于可视化的大数据仓库设计方法，其特征在于：包括如下步骤：
S100：通过可视化操作界面维护建库建表信息；
S200：将建库建表信息提交给JAVA服务单元；
S300：JAVA服务单元根据服务接口类型确定具体操作类型；
S400：将建库建表信息封装为Hive数据仓库可执行命令；
S500：将JAVA服务单元连接到HiveServer2服务；
S600：提交可执行命令到Hive数据仓库；
S700：在Hive数据仓库中执行命令，创建数据库或数据表。
2.根据权利要求1所述的一种基于可视化的大数据仓库设计方法，其特征在于：所述的S100维护建库建表信息包括如下步骤：
S110：在可视化操作界面输入数据仓库的名称、别名和描述，选择创建的数据仓库的类型；
S120：新建某一个数据仓库的表，输入表名称、表类型、表注释、表列。
3.根据权利要求2所述的一种基于可视化的大数据仓库设计方法，其特征在于：所述的数据库类型包括主题库和集市库。
4.根据权利要求2所述的一种基于可视化的大数据仓库设计方法，其特征在于：所述的表类型包括TEXTFILE、RCFILE、ORC、PARQUET、MAPPING_HBASE；所述的表列包括普通列和分区列。
5.根据权利要求1所述的一种基于可视化的大数据仓库设计方法，其特征在于：该方法还包括通过可视化操作界面进入数据仓库详情，选择关系设计对数据仓库中的表进行关联设置；通过可视化操作界面进入数据监控界面，查看数据仓库的数据表总数和数据总量。
6.根据权利要求1所述的一种基于可视化的大数据仓库设计方法，其特征在于：所述的步骤S200中建库建表信息通过AJAX方式提交给JAVA服务单元。
7.根据权利要求1所述的一种基于可视化的大数据仓库设计方法，其特征在于：所述的服务接口类型包括新建、删除和修改；所述的具体操作类型包括新建操作、删除操作和修改操作。
8.根据权利要求1所述的一种基于可视化的大数据仓库设计方法，其特征在于：所述的步骤S500中JAVA服务单元通过JDBC方式连接到HiveServer2服务。
9.如权利要求1-8中任意一项所述的一种基于可视化的大数据仓库设计方法的应用的系统，其特征在于：包括可视化建库建表信息维护单元、JAVA服务单元和Hive数据仓库，所述的可视化建库建表信息维护单元提供可视化界面给用户进行建库建表信息维护；所述的JAVA服务单元根据建库建表信息及用户选择的服务接口类型将参数封装为HiveServer2服务可执行命令；所述的Hive数据仓库执行JAVA服务单元提交的可执行命令，创建数据库或数据表。
10.根据权利要求9所述的一种基于可视化的大数据仓库设计系统，其特征在于：所述的建库建表信息包括：库名称、库描述、表名称、表字段、字段名称、字段类型。
CN201811384906.2A 2018-11-20 2018-11-20 一种基于可视化的大数据仓库设计方法及系统 Pending CN109684300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811384906.2A CN109684300A (zh) 2018-11-20 2018-11-20 一种基于可视化的大数据仓库设计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811384906.2A CN109684300A (zh) 2018-11-20 2018-11-20 一种基于可视化的大数据仓库设计方法及系统

Publications (1)

Publication Number Publication Date
CN109684300A true CN109684300A (zh) 2019-04-26

Family

ID=66184830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811384906.2A Pending CN109684300A (zh) 2018-11-20 2018-11-20 一种基于可视化的大数据仓库设计方法及系统

Country Status (1)

Country Link
CN (1) CN109684300A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559494A (zh) * 2020-12-22 2021-03-26 安徽百诚慧通科技有限公司 一种可视化的数仓建模方法及系统
CN114595231A (zh) * 2022-03-15 2022-06-07 苏州峰之鼎信息科技有限公司 一种数据库表生成方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104090960A (zh) * 2014-07-11 2014-10-08 北京科技大学 一种基于热连轧生产流程的动态多主题数据仓库建立方法
US9063960B2 (en) * 2012-11-30 2015-06-23 Symantec Corporation Systems and methods for performing customized large-scale data analytics
CN106484897A (zh) * 2016-10-21 2017-03-08 郑州云海信息技术有限公司 一种通过JDBC连接Hiveserver的快捷方法
CN106777021A (zh) * 2016-12-08 2017-05-31 郑州云海信息技术有限公司 一种基于自动化运维平台的数据分析方法及装置
CN106874322A (zh) * 2016-06-27 2017-06-20 阿里巴巴集团控股有限公司 一种数据表关联方法和装置
CN106933897A (zh) * 2015-12-31 2017-07-07 北京国双科技有限公司 数据查询方法和装置
CN108090138A (zh) * 2017-11-29 2018-05-29 链家网（北京）科技有限公司 一种数据仓库的监控方法和系统
CN108563787A (zh) * 2018-04-26 2018-09-21 郑州云海信息技术有限公司 一种数据中心综合管理系统的数据交互管理系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063960B2 (en) * 2012-11-30 2015-06-23 Symantec Corporation Systems and methods for performing customized large-scale data analytics
CN104090960A (zh) * 2014-07-11 2014-10-08 北京科技大学 一种基于热连轧生产流程的动态多主题数据仓库建立方法
CN106933897A (zh) * 2015-12-31 2017-07-07 北京国双科技有限公司 数据查询方法和装置
CN106874322A (zh) * 2016-06-27 2017-06-20 阿里巴巴集团控股有限公司 一种数据表关联方法和装置
CN106484897A (zh) * 2016-10-21 2017-03-08 郑州云海信息技术有限公司 一种通过JDBC连接Hiveserver的快捷方法
CN106777021A (zh) * 2016-12-08 2017-05-31 郑州云海信息技术有限公司 一种基于自动化运维平台的数据分析方法及装置
CN108090138A (zh) * 2017-11-29 2018-05-29 链家网（北京）科技有限公司 一种数据仓库的监控方法和系统
CN108563787A (zh) * 2018-04-26 2018-09-21 郑州云海信息技术有限公司 一种数据中心综合管理系统的数据交互管理系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559494A (zh) * 2020-12-22 2021-03-26 安徽百诚慧通科技有限公司 一种可视化的数仓建模方法及系统
CN114595231A (zh) * 2022-03-15 2022-06-07 苏州峰之鼎信息科技有限公司 一种数据库表生成方法、装置、电子设备及存储介质
CN114595231B (zh) * 2022-03-15 2024-02-27 苏州峰之鼎信息科技有限公司 一种数据库表生成方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US8219518B2 (en) Method and apparatus for modelling data exchange in a data flow of an extract, transform, and load (ETL) process
KR102021915B1 (ko) 프로그래밍 속성의 그래픽 표현
CN104298478B (zh) 基于文件名对存储库动作的推断
Wang et al. Process knowledge capture in BIM-based mechanical, electrical, and plumbing design coordination meetings
CN107180069A (zh) 基于ifc数据交互的工程项目信息交付集成管理系统
US20160092817A1 (en) Interface for expanding logical combinations based on relative placement
Bansal et al. Generating, evaluating, and visualizing construction schedule with geographic information systems
Isaac et al. Feasibility study of an automated tool for identifying the implications of changes in construction projects
Alzraiee Cost estimate system using structured query language in BIM
WO2023123182A1 (zh) 多源异构数据的处理方法、装置、计算机设备及存储介质
CN111666355B (zh) 一种领域、数据、场景三层模型的模型构建方法及装置
Condotta et al. BIM-based method to inform operation and maintenance phases through a simplified procedure
CN109684300A (zh) 一种基于可视化的大数据仓库设计方法及系统
CN113919680A (zh) 一种基于通用任务构建管理信息系统的方法
Al-Fedaghi Conceptual data modeling: Entity-relationship models as thinging machines
JP5033322B2 (ja) 連結関係情報を用いた情報管理方法及び装置
Saraireh et al. Understanding the conceptual of building information modeling: a literature review
Gruhn Business process modeling and workflow management
Sattler et al. A query-based framework to improve BIM multi-domain collaboration
US20100146002A1 (en) Capturing enterprise architectures
US10803014B2 (en) Dynamic data relationships in a graph database
Hjort-Madsen et al. When enterprise architecture meets government: An institutional case study analysis
Graw et al. Process management in-the-many
KR20180072889A (ko) 사용자 정의 erp 펑션 생성 방법 및 이를 수행하는 컴퓨팅 시스템
Schorr et al. Employing product data management systems in civil engineering projects: Functionality analysis and assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426