CN105843880A - 一种基于多数据集市的煤矿多维数据仓库系统 - Google Patents

一种基于多数据集市的煤矿多维数据仓库系统 Download PDF

Info

Publication number
CN105843880A
CN105843880A CN201610160765.0A CN201610160765A CN105843880A CN 105843880 A CN105843880 A CN 105843880A CN 201610160765 A CN201610160765 A CN 201610160765A CN 105843880 A CN105843880 A CN 105843880A
Authority
CN
China
Prior art keywords
data
warehouse
enterprise
mart
data warehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610160765.0A
Other languages
English (en)
Inventor
寇良伦
周立宇
纵兆丹
朱玉振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201610160765.0A priority Critical patent/CN105843880A/zh
Publication of CN105843880A publication Critical patent/CN105843880A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于多数据集市的煤矿多维数据仓库系统，包括四层构架：数据源、ETL模块、数据仓库/数据集市以及客户端。本系统覆盖了煤矿企业数据处理中从数据源获取到数据集成供企业决策者使用的全部过程，多数据集市之间引入共同维的思想，实现数据集市之间的跨链接功能，ETL模块采用ODS增量数据ETL架构，满足企业实时快速准确获得数据的需求。本发明开发的系统可以全面管理企业数据，为企业提供高质量数据，更有针对性的向企业决策者提供所需数据。

Description

一种基于多数据集市的煤矿多维数据仓库系统
技术领域
本发明涉及数据仓库技术，特别是一种基于多数据集市的煤矿多维数据仓库系统。
背景技术
企业信息化在各行各业的管理运营中占据了越来越重要的地位，企业信息化建设已成为提升“核心竞争力”的重要途径。目前，各煤炭企业也逐步向信息化企业转型，确保企业始终保持着较高的竞争力。企业信息化系统中数据量大的，数据库中具有大量的冗余数据，如果无法合理规划处理，将降低数据库的存储、运算、处理数据的能力。数据仓库技术的出现，适时地满足了企业对大数据掌控的要求，是现代企业信息化建设中至关重要的环节。
数据仓库(Data Warehousing，DW)技术是在原有数据库的基础上加入了数据分析处理的功能，使企业领导者可以及时获得精确且综合的企业数据，为企业决策的制定和实施提供有效的数据。数据仓库包括四层结构：数据源层、后端层、数据仓库层和表示层。后端层即ETL(Extract Transform Load)层，ETL负责数据的抽取，转换和加载。ETL占据数据仓库创建工作的一半以上，是数据仓库技术的重要环节。
如今我国煤炭企业信息化处于相对落后的阶段，信息化建设是现代煤炭发展的必经之路。数据仓库技术是企业信息化的后盾，通过数据仓库技术为煤炭企业提供高质量数据，更有针对性的向企业决策者提供所需数据，以做出正确的企业决策，为企业提高行业竞争力。
发明内容
本发明的目的是提出一种基于多数据集市的煤矿多维数据仓库系统，该数据仓库系统包括四层架构：数据源、ETL模块、数据仓库/数据集市以及客户端；
数据源来自各部门数据库中的业务数据和业务系统日志；
ETL模块采用ODS增量数据ETL架构，从数据源中的业务系统日志获取增量数据，将增量数据存放在ODS中进行集成操作，使其重组为与数据仓库相符的面向主题的形式，将整合后的数据加载到数据仓库/数据集市中，完成数据更新的工作；
数据仓库/数据集市模型的建立如下：
(1)根据对煤炭企业的中高层管理人员在决策分析中的需求调研，确定生产信息记录、事故安全记录、煤炭运销记录作为数据仓库/数据集市模型的主题；
(2)数据仓库/数据集市的主题域之间的关系采用星型结构且引入共同维的思想；数据仓库的主题都与时间、矿别、人员有着密切的关系，把时间、矿别、人员信息作为三个主题的共同维；
(3)各部门数据集市的构建与企业中心数据仓库使用同一规范，且采用相同的数据加载原理；在数据集市中加载轻度综合数据和当前数据；共享数据、历史数据载入企业中心数据仓库中，各部门高度综合的数据通过二次集成的方法加载到企业中心数据仓库；
客户端包括各部门决策者和企业决策者，数据集市中数据供各部门内部分析决策使用；企业中心数据仓库中高度集成的数据用于企业决策者对企业的总体运营情况的宏观把握，并针对出现的问题快速地做出决策。
多维数据仓库的元数据分成要素类元数据和操作关系类元数据，要素类元数据主要描述数据的内部结构、存储类型信息；操作关系类元数据主要描述数据成为空间数据仓库要素的操作过程。
本发明有益效果：
1.采用ODS增量数据ETL架构，提升数据的实时性以及数据分析效率的能力。
2.引入共同维的思想，通过构建多维数据模型的多重数据集市，构建数据仓库的体系结构，加强企业级中心数据仓库和数据集市以及数据集市间的联系，使整个系统更易完成数据的抽取工作。
3.数据存储结构更加科学，数据冗余度更小，更有针对性的向企业决策者提供所需数据。
附图说明：
图1是基于多数据集市的煤矿多维数据仓库体系结构图；
图2是实时ODS增量数据ETL架构图；
图3是基于共同维的数据集市的星型模型图；
图4是数据仓库元数据关系图。
具体实施方式
以下结合附图和具体实施方式进一步说明本发明。
图1为本发明提出的基于多数据集市的煤矿多维数据仓库体系结构图，该系统包括四层架构：数据源、ETL模块、数据仓库/数据集市以及客户端。
数据源来自各部门数据库中的业务数据和业务系统日志。
ETL模块采用ODS增量数据ETL架构，即图2所示实时ODS增量数据ETL架构图，从数据源中的业务系统日志获取增量数据，将增量数据存放在ODS中进行集成操作，使其重组为与数据仓库相符的面向主题的形式，将整合后的数据加载到数据仓库/数据集市中，完成数据更新的工作。
数据仓库/数据集市模型的建立如下：
(1)根据对煤炭企业的中高层管理人员在决策分析中的需求调研，确定生产信息记录、事故安全记录、煤炭运销记录作为数据仓库/数据集市模型的主题。
(2)数据仓库/数据集市的主题域之间的关系采用星型结构且引入共同维的思想；主题都与时间、矿别、人员有着密切的关系，把时间、矿别、人员信息作为三个主题的共同维，图3所示即为基于共同维的数据集市的星型模型。
(3)各部门数据集市的构建与企业中心数据仓库使用同一规范，且采用相同的数据加载原理；在数据集市中加载轻度综合数据和当前数据；共享数据、历史数据载入企业中心数据仓库中，各部门高度综合的数据通过二次集成的方法加载到企业中心数据仓库。
客户端包括各部门决策者和企业决策者，数据集市中数据供各部门内部分析决策使用；企业中心数据仓库中高度集成的数据用于企业决策者对企业的总体运营情况的宏观把握，并针对出现的问题快速地做出决策。
图4为数据仓库元数据关系，多维数据仓库的元数据分成要素类元数据和操作关系类元数据。要素类元数据主要描述数据的内部结构、存储类型信息，操作关系类元数据主要描述数据成为空间数据仓库要素的操作过程。

Claims (2)

1.一种基于多数据集市的煤矿多维数据仓库系统，其特征在于该系统包括四层架构：数据源、ETL模块、数据仓库/数据集市以及客户端；
所述数据源来自各部门数据库中的业务数据和业务系统日志；
所述ETL模块采用ODS增量数据ETL架构，从所述数据源中的业务系统日志获取所述增量数据，将增量数据存放在ODS中进行集成操作，使其重组为与数据仓库相符的面向主题的形式，将整合后的数据加载到数据仓库/数据集市中，完成数据更新的工作；
所述数据仓库/数据集市模型的建立如下：
(1)根据对煤炭企业的中高层管理人员在决策分析中的需求调研，确定生产信息记录、事故安全记录、煤炭运销记录作为数据仓库/数据集市模型的主题；
(2)所述数据仓库/数据集市的主题域之间的关系采用星型结构且引入共同维的思想；所述主题都与时间、矿别、人员有着密切的关系，把时间、矿别、人员信息作为三个主题的共同维；
(3)各部门数据集市的构建与企业中心数据仓库使用同一规范，且采用相同的数据加载原理；在数据集市中加载轻度综合数据和当前数据；共享数据、历史数据载入企业中心数据仓库中，各部门高度综合的数据通过二次集成的方法加载到企业中心数据仓库；
所述客户端包括各部门决策者和企业决策者，数据集市中数据供各部门内部分析决策使用；企业中心数据仓库中高度集成的数据用于企业决策者对企业的总体运营情况的宏观把握，并针对出现的问题快速地做出决策。
2.将权利要求1中所述多维数据仓库的元数据分成要素类元数据和操作关系类元数据，要素类元数据主要描述数据的内部结构、存储类型信息；操作关系类元数据主要描述数据成为空间数据仓库要素的操作过程。
CN201610160765.0A 2016-03-21 2016-03-21 一种基于多数据集市的煤矿多维数据仓库系统 Pending CN105843880A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610160765.0A CN105843880A (zh) 2016-03-21 2016-03-21 一种基于多数据集市的煤矿多维数据仓库系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610160765.0A CN105843880A (zh) 2016-03-21 2016-03-21 一种基于多数据集市的煤矿多维数据仓库系统

Publications (1)

Publication Number Publication Date
CN105843880A true CN105843880A (zh) 2016-08-10

Family

ID=56588095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610160765.0A Pending CN105843880A (zh) 2016-03-21 2016-03-21 一种基于多数据集市的煤矿多维数据仓库系统

Country Status (1)

Country Link
CN (1) CN105843880A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600240A (zh) * 2017-01-12 2017-04-26 国网江苏省电力公司南通供电公司 供电企业基于大数据精益辅助的电网调控运营管理系统
CN106779459A (zh) * 2016-12-29 2017-05-31 宁波金网信息产业股份有限公司 一种市政数据管理分析系统
CN106790504A (zh) * 2016-12-16 2017-05-31 北京北科亿力科技有限公司 一种冶金大数据服务平台
CN107193245A (zh) * 2017-04-18 2017-09-22 山东新矿信息技术有限公司 煤矿生产工业网信息与办公互联网信息融合的方法
CN109614452A (zh) * 2018-12-07 2019-04-12 江西洪都航空工业集团有限责任公司 一种托板螺母生产线的数据分析方法
CN110222082A (zh) * 2019-03-19 2019-09-10 武汉轻工大学 一种多维数据分析系统和多维数据分析方法
CN111104394A (zh) * 2019-12-31 2020-05-05 新奥数能科技有限公司 一种能源数据仓库系统构建方法及装置
CN111159154A (zh) * 2019-12-31 2020-05-15 新奥数能科技有限公司 一种能源数据仓库系统
CN111427946A (zh) * 2020-04-16 2020-07-17 北京搜狐互联网信息服务有限公司 数据处理方法及装置
CN112527886A (zh) * 2021-02-09 2021-03-19 中关村科学城城市大脑股份有限公司 一种基于城市大脑的数据仓库系统
CN112862428A (zh) * 2021-01-18 2021-05-28 北京神州数字科技有限公司 一种基于微服务的监管报送系统
CN113254508A (zh) * 2021-06-22 2021-08-13 西南石油大学 一种天然气管道清管作业的数据仓库及数据挖掘方法
CN115510159A (zh) * 2022-09-26 2022-12-23 煤炭科学研究总院有限公司 基于煤炭工业主题域的数据共享方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566981A (zh) * 2008-04-24 2009-10-28 长沙创智天马财务软件有限公司 分析处理系统中建立动态虚拟数据仓库的方法
CN102325177A (zh) * 2011-09-05 2012-01-18 太原理工大学 基于物联网的煤矿生产三维可视化信息系统
CN103577605A (zh) * 2013-11-20 2014-02-12 贵州电网公司电力调度控制中心 基于数据融合和数据挖掘的数据仓库及其应用方法
CN103678665A (zh) * 2013-12-24 2014-03-26 焦点科技股份有限公司 一种基于数据仓库的异构大数据整合方法和系统
CN104915456A (zh) * 2015-07-03 2015-09-16 宁夏隆基宁光仪表有限公司 一种基于数据分析系统下的海量用电数据挖掘方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566981A (zh) * 2008-04-24 2009-10-28 长沙创智天马财务软件有限公司 分析处理系统中建立动态虚拟数据仓库的方法
CN102325177A (zh) * 2011-09-05 2012-01-18 太原理工大学 基于物联网的煤矿生产三维可视化信息系统
CN103577605A (zh) * 2013-11-20 2014-02-12 贵州电网公司电力调度控制中心 基于数据融合和数据挖掘的数据仓库及其应用方法
CN103678665A (zh) * 2013-12-24 2014-03-26 焦点科技股份有限公司 一种基于数据仓库的异构大数据整合方法和系统
CN104915456A (zh) * 2015-07-03 2015-09-16 宁夏隆基宁光仪表有限公司 一种基于数据分析系统下的海量用电数据挖掘方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜锐: "多维数据仓库技术在矿井信息化系统中的研究及应用", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790504A (zh) * 2016-12-16 2017-05-31 北京北科亿力科技有限公司 一种冶金大数据服务平台
CN106779459A (zh) * 2016-12-29 2017-05-31 宁波金网信息产业股份有限公司 一种市政数据管理分析系统
CN106600240A (zh) * 2017-01-12 2017-04-26 国网江苏省电力公司南通供电公司 供电企业基于大数据精益辅助的电网调控运营管理系统
CN107193245A (zh) * 2017-04-18 2017-09-22 山东新矿信息技术有限公司 煤矿生产工业网信息与办公互联网信息融合的方法
CN109614452A (zh) * 2018-12-07 2019-04-12 江西洪都航空工业集团有限责任公司 一种托板螺母生产线的数据分析方法
CN110222082A (zh) * 2019-03-19 2019-09-10 武汉轻工大学 一种多维数据分析系统和多维数据分析方法
CN111104394A (zh) * 2019-12-31 2020-05-05 新奥数能科技有限公司 一种能源数据仓库系统构建方法及装置
CN111159154A (zh) * 2019-12-31 2020-05-15 新奥数能科技有限公司 一种能源数据仓库系统
CN111427946A (zh) * 2020-04-16 2020-07-17 北京搜狐互联网信息服务有限公司 数据处理方法及装置
CN112862428A (zh) * 2021-01-18 2021-05-28 北京神州数字科技有限公司 一种基于微服务的监管报送系统
CN112862428B (zh) * 2021-01-18 2023-10-13 北京神州数字科技有限公司 一种基于微服务的监管报送系统
CN112527886A (zh) * 2021-02-09 2021-03-19 中关村科学城城市大脑股份有限公司 一种基于城市大脑的数据仓库系统
CN113254508A (zh) * 2021-06-22 2021-08-13 西南石油大学 一种天然气管道清管作业的数据仓库及数据挖掘方法
CN115510159A (zh) * 2022-09-26 2022-12-23 煤炭科学研究总院有限公司 基于煤炭工业主题域的数据共享方法、装置及电子设备
CN115510159B (zh) * 2022-09-26 2024-04-05 煤炭科学研究总院有限公司 基于煤炭工业主题域的数据共享方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN105843880A (zh) 一种基于多数据集市的煤矿多维数据仓库系统
Santos et al. A big data system supporting bosch braga industry 4.0 strategy
Purcell The emergence of" big data" technology and analytics
US9477745B2 (en) Predictive cluster analytics optimization
Fadiya et al. Advancing big data for humanitarian needs
CN104504008B (zh) 一种基于嵌套的SQL到HBase的数据迁移算法
CN108280159B (zh) 一种将图数据库转化为关系数据库的方法
US20140229222A1 (en) Integrated project planning and management application
Bălăceanu Components of a Business Intelligence software solution
CN108182244A (zh) 一种基于多层次列式存储结构的时序数据存储方法
CN103258047B (zh) 一种面向药企作业成本控制数据仓库的数据组织方法
Dahlan et al. Design of library data warehouse using snowflake scheme method: case study: library database of campus XYZ
Zucca Business intelligence infrastructure for academic libraries
Tayade Comparative study of ETL and E-LT in data warehousing
Prema et al. Novel approach in ETL
Hadzhiev et al. Overview and analysis of methods and models for data structuring, storage and processing in the Internet
Harezlak et al. Performance aspects of migrating a web application from a relational to a NoSQL Database
Chao et al. A performance study on large-scale data analytics using disk-based and in-memory database systems
Oktavia IMPLEMENTING DATA WAREHOUSE AS A FOUNDATION FOR DECISION SUPPORT SYSTEM (PERSPECTIVE: TECHNICAL AND NONTECHNICAL FACTORS).
US20210365424A1 (en) Data storage using vectors of vectors
Rani et al. Future database technologies for big data analytics
Famutimi et al. Comparative study of disk resident and column oriented memory resident technique for healthcare big data management using retrieval time
Imran et al. NODW Framework for Data Warehousing-A NoSQL Big Data Perspective
König et al. In Memory Databases–Market Analysis and Technical Overview
Sachdev et al. Khanan: Performance Comparison and Programming α-Miner Algorithm in Column-Oriented and Relational Database Query Languages

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160810