CN107463589A - 一种数据仓库系统及使用方法 - Google Patents

一种数据仓库系统及使用方法 Download PDF

Info

Publication number
CN107463589A
CN107463589A CN201610712314.3A CN201610712314A CN107463589A CN 107463589 A CN107463589 A CN 107463589A CN 201610712314 A CN201610712314 A CN 201610712314A CN 107463589 A CN107463589 A CN 107463589A
Authority
CN
China
Prior art keywords
data
warehouse
source
storehouse
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610712314.3A
Other languages
English (en)
Inventor
陈红飞
乌景猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Happy Nine Network Technology Co Ltd
Original Assignee
Shanghai Happy Nine Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Happy Nine Network Technology Co Ltd filed Critical Shanghai Happy Nine Network Technology Co Ltd
Priority to CN201610712314.3A priority Critical patent/CN107463589A/zh
Publication of CN107463589A publication Critical patent/CN107463589A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据仓库系统及使用方法,涉及网络大数据技术领域,包括源数据、数据中心仓、数据应用、对外支撑服务;所述源数据,基于公司业务系统,用于提供系统的初始数据;所述数据中心仓,接受并集合来自源数据的初始数据,并进行数据标准化及建模处理;所述数据应用,依据经数据中心仓处理的标准化数据,可进行的系统内数据操作;所述对外支撑服务,用于系统与公司交互使用,依据系统提供给公司的具体数据服务,本申请提供一种数据集中管理、易于使用、处理数据效率高的数据仓库系统及使用方法。

Description

一种数据仓库系统及使用方法
技术领域
本发明涉及网络大数据技术领域,具体涉及一种数据仓库系统及使用方法。
背景技术
在信息化时代,大数据作为新的生产要素,在此背景下,数据是重要的生产资源,因此许多互联网公司以及传统行业都在积极发展大数据产业,希望依托大数据力量助力企业快速发展,但由于行业的独特性和局限性,目前各个公司都是依据公司情况自主发展,建设符合自己公司发展的大数据平台,还没有一种通用、能符合各行业个性化需求的数据平台。
发明内容
本申请提供一种数据集中管理、易于使用、处理数据效率高的数据仓库系统,还提供了使用上述数据仓库系统的方法,其技术方案如下:
一种数据仓库系统,包括源数据、数据中心仓、数据应用、对外支撑服务;
所述源数据,基于公司业务系统,用于提供系统的初始数据;
所述数据中心仓,接受并集合来自源数据的初始数据,并进行数据标准化及建模处理;
所述数据应用,依据经数据中心仓处理的标准化数据,可进行的系统内数据操作;
所述对外支撑服务,用于系统与公司交互使用,依据系统提供给公司的具体数据服务。
作为优选,所述源数据包括订单、仓储、日志、健康数据、excel。
作为优选,所述数据中心仓包括标准数据、多维模型、健康数据集市、财务集市、供应链集市。
作为优选,所述数据应用包括标准API、数据分析、查询DOS。
作为优选,所述对外支撑服务包括供应链、管理系统、财务。
一种数据仓库系统的使用方法,包括以下步骤:
(1)技术人员基于业务系统设计源数据采集方案;
(2)根据设计好的源数据采集方案开发数据采集;
(3)进行数据模型设计和相关挖据工作;
(4)运用提供数据对外提供支撑服务。
依据上述技术方案,数据仓库系统的发明解决了公司数据体系的整合,使得分散在各个系统的数据能够得到及时处理、运用,整套数据仓库系统实现了自动化整合处理各个系统的数据,使得系统之间的数据互相关联,易于使用,通过统一的平台处理公司所有业务系统数据,实现了数据集中管理、统一使用的效果,避免了各部门独自处理数据,导致效率低下、数据不统一的弊端。
附图说明
下面通过具体实施方式结合附图对本发明作进一步详细说明。
图1为本发明系统的整体框架图;
图2为本发明的使用过程流程图。
其中,1、源数据;2、数据中心仓;3、数据应用;4、对外支撑服务。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
如图1所示,一种数据仓库系统,包括源数据1、数据中心仓2、数据应用3、对外支撑服务4;
所述源数据1,基于公司业务系统,用于提供系统的初始数据;
所述数据中心仓2,接受并集合来自源数据1的初始数据,并进行数据标准化及建模处理;
所述数据应用3,依据经数据中心仓2处理的标准化数据,可进行的系统内数据操作;
所述对外支撑服务4,用于系统与公司交互使用,依据系统提供给公司的具体数据服务。
作为优选,所述源数据1包括订单、仓储、日志、健康数据、excel。
作为优选,所述数据中心仓2包括标准数据、多维模型、健康数据集市、财务集市、供应链集市。
作为优选,所述数据应用3包括标准API、数据分析、查询DOS。
作为优选,所述对外支撑服务4包括供应链、管理系统、财务。
如图2所示,一种数据仓库系统的使用方法,包括以下步骤:
(1)技术人员基于业务系统设计源数据1采集方案;
(2)根据设计好的源数据1采集方案开发数据采集;
(3)进行数据模型设计和相关挖据工作;
(4)运用提供数据提供对外支撑服务4。
本发明的一种具体实施如下:
技术人员从公司各系统中采集订单、仓储、日志、健康数据等数据作为源数据1,通常通过piwik、kettle、storm、haddoop技术实现,然后通过hbase、python、SQL、hadoop技术对源数据1进行数据建模、挖据处理整合成标准化数据,建立数据中心仓2,通过对数据中心仓2内的健康数据集市、财务集市、供应链集市等数据集市采用Google开源框架YII PHP、JAVA、R、SPSS技术 可进行标准API、查询DOS、数据分析等数据应用3,依据这些数据应用3可对外建立起标准数据接口、标准报表展示平台、数据分析报告对外支撑服务4;
其中对外支撑服务4还包括常规查询统计报表、数据监控和预警、经营分析报告、权限管理、访问日志等,该发明主要使用对象是技术开发人员,基于整个完善的框架体系,最终目的是为业务部门实现数据支撑。
整个数据仓库系统不仅仅运用了传统数据仓库原理,还集成了当前比较流行高效的大数据技术,基于这两套技术体系原理,系统再结合公司实际业务场景,支撑了公司业务部门常规分析报表、实现了异常数据监控、预警功能、支撑了个性化数据挖掘,在很大程度上支撑了公司的数字化运营。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

Claims (6)

1.一种数据仓库系统,其特征在于,包括源数据、数据中心仓、数据应用、对外支撑服务;
所述源数据,基于公司业务系统,用于提供系统的初始数据;
所述数据中心仓,接受并集合来自源数据的初始数据,并进行数据标准化及建模处理;
所述数据应用,依据经数据中心仓处理的标准化数据,可进行的系统内数据操作;
所述对外支撑服务,用于系统与公司交互使用,依据系统提供给公司的具体数据服务。
2.如权利要求1所述的一种数据仓库系统,其特征在于,所述源数据包括订单、仓储、日志、健康数据、excel。
3.如权利要求1所述的一种数据仓库系统,其特征在于,所述数据中心仓包括标准数据、多维模型、健康数据集市、财务集市、供应链集市。
4.如权利要求1所述的一种数据仓库系统,其特征在于,所述数据应用包括标准API、数据分析、 查询DOS。
5.如权利要求1所述的一种数据仓库系统,其特征在于,所述对外支撑,
服务包括供应链、管理系统、财务。
6.使用如权利要求1至5中任一项所述的一种数据仓库系统的方法,其特征在于,包括以下步骤:
(1)技术人员基于业务系统设计源数据采集方案;
(2)根据设计好的源数据采集方案开发数据采集;
(3)进行数据模型设计和相关挖据工作;
(4)运用提供数据对外提供支撑服务。
CN201610712314.3A 2016-08-24 2016-08-24 一种数据仓库系统及使用方法 Pending CN107463589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610712314.3A CN107463589A (zh) 2016-08-24 2016-08-24 一种数据仓库系统及使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610712314.3A CN107463589A (zh) 2016-08-24 2016-08-24 一种数据仓库系统及使用方法

Publications (1)

Publication Number Publication Date
CN107463589A true CN107463589A (zh) 2017-12-12

Family

ID=60544661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610712314.3A Pending CN107463589A (zh) 2016-08-24 2016-08-24 一种数据仓库系统及使用方法

Country Status (1)

Country Link
CN (1) CN107463589A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629052A (zh) * 2018-05-21 2018-10-09 平安科技(深圳)有限公司 Kettle任务调度方法、系统、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160593A (zh) * 2015-08-18 2015-12-16 国家电网公司 面向大数据的输变电设备多维异构数据融合方法及系统
CN105488641A (zh) * 2016-01-07 2016-04-13 东南大学 一种省域高速公路运营管理数据中心系统及其实现方法
CN105554070A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于警务大数据中心服务建设的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160593A (zh) * 2015-08-18 2015-12-16 国家电网公司 面向大数据的输变电设备多维异构数据融合方法及系统
CN105554070A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于警务大数据中心服务建设的方法
CN105488641A (zh) * 2016-01-07 2016-04-13 东南大学 一种省域高速公路运营管理数据中心系统及其实现方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629052A (zh) * 2018-05-21 2018-10-09 平安科技(深圳)有限公司 Kettle任务调度方法、系统、计算机设备和存储介质
CN108629052B (zh) * 2018-05-21 2023-06-02 平安科技(深圳)有限公司 Kettle任务调度方法、系统、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN106599535B (zh) 一种医院结构化排班系统
CN107358305A (zh) 一种智慧社区管理的商业模式
CN104463472A (zh) 电子政务平台系统
CN105701181A (zh) 一种动态异构元数据获取方法及系统
CN102932195B (zh) 一种基于网络协议分析的业务分析监控方法及系统
CN104317970A (zh) 一种基于数据加工中心的数据流式处理方法
CN105118001A (zh) 一种智能社区的云健康系统
CN102495916A (zh) 一种基于对象匹配的多应用系统全景建模方法
CN106777106A (zh) 基于excel的财务报表的数据展示方法
CN104881506A (zh) 一种基于数据库可配置的管理信息系统权限控制方法
CN104598606A (zh) 一种针对动态异构空间信息标绘数据的整合方法
CN112883001A (zh) 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质
CN111126943B (zh) 民政补贴申报管理方法和装置
CN110750596A (zh) 一种医疗机构实现信息共享的流程设计方法
CN112860653A (zh) 一种政务信息资源目录管理方法和系统
CN107463589A (zh) 一种数据仓库系统及使用方法
CN114596046A (zh) 一种基于业务中台及数据中台的统一数字模型的集成平台
CN102103736A (zh) 一种灵活设置水印参数的技术
CN105930380A (zh) 一种基于hadoop的图表监控方法和装置
Lee et al. A big data management system for energy consumption prediction models
CN204833355U (zh) 一种基于一机双屏的评价服务系统
Braa et al. Sustainable mobile information infrastructures in low resource settings
CN114969820A (zh) 一种基于职业健康医疗大数据的管理平台
CN103632225A (zh) 电力调度通信事件过滤系统及方法
CN103309934B (zh) 中低压配网数据集成平台及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171212

RJ01 Rejection of invention patent application after publication