CN107463589A - 一种数据仓库系统及使用方法 - Google Patents
一种数据仓库系统及使用方法 Download PDFInfo
- Publication number
- CN107463589A CN107463589A CN201610712314.3A CN201610712314A CN107463589A CN 107463589 A CN107463589 A CN 107463589A CN 201610712314 A CN201610712314 A CN 201610712314A CN 107463589 A CN107463589 A CN 107463589A
- Authority
- CN
- China
- Prior art keywords
- data
- warehouse
- source
- storehouse
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种数据仓库系统及使用方法,涉及网络大数据技术领域,包括源数据、数据中心仓、数据应用、对外支撑服务;所述源数据,基于公司业务系统,用于提供系统的初始数据;所述数据中心仓,接受并集合来自源数据的初始数据,并进行数据标准化及建模处理;所述数据应用,依据经数据中心仓处理的标准化数据,可进行的系统内数据操作;所述对外支撑服务,用于系统与公司交互使用,依据系统提供给公司的具体数据服务,本申请提供一种数据集中管理、易于使用、处理数据效率高的数据仓库系统及使用方法。
Description
技术领域
本发明涉及网络大数据技术领域,具体涉及一种数据仓库系统及使用方法。
背景技术
在信息化时代,大数据作为新的生产要素,在此背景下,数据是重要的生产资源,因此许多互联网公司以及传统行业都在积极发展大数据产业,希望依托大数据力量助力企业快速发展,但由于行业的独特性和局限性,目前各个公司都是依据公司情况自主发展,建设符合自己公司发展的大数据平台,还没有一种通用、能符合各行业个性化需求的数据平台。
发明内容
本申请提供一种数据集中管理、易于使用、处理数据效率高的数据仓库系统,还提供了使用上述数据仓库系统的方法,其技术方案如下:
一种数据仓库系统,包括源数据、数据中心仓、数据应用、对外支撑服务;
所述源数据,基于公司业务系统,用于提供系统的初始数据;
所述数据中心仓,接受并集合来自源数据的初始数据,并进行数据标准化及建模处理;
所述数据应用,依据经数据中心仓处理的标准化数据,可进行的系统内数据操作;
所述对外支撑服务,用于系统与公司交互使用,依据系统提供给公司的具体数据服务。
作为优选,所述源数据包括订单、仓储、日志、健康数据、excel。
作为优选,所述数据中心仓包括标准数据、多维模型、健康数据集市、财务集市、供应链集市。
作为优选,所述数据应用包括标准API、数据分析、查询DOS。
作为优选,所述对外支撑服务包括供应链、管理系统、财务。
一种数据仓库系统的使用方法,包括以下步骤:
(1)技术人员基于业务系统设计源数据采集方案;
(2)根据设计好的源数据采集方案开发数据采集;
(3)进行数据模型设计和相关挖据工作;
(4)运用提供数据对外提供支撑服务。
依据上述技术方案,数据仓库系统的发明解决了公司数据体系的整合,使得分散在各个系统的数据能够得到及时处理、运用,整套数据仓库系统实现了自动化整合处理各个系统的数据,使得系统之间的数据互相关联,易于使用,通过统一的平台处理公司所有业务系统数据,实现了数据集中管理、统一使用的效果,避免了各部门独自处理数据,导致效率低下、数据不统一的弊端。
附图说明
下面通过具体实施方式结合附图对本发明作进一步详细说明。
图1为本发明系统的整体框架图;
图2为本发明的使用过程流程图。
其中,1、源数据;2、数据中心仓;3、数据应用;4、对外支撑服务。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
如图1所示,一种数据仓库系统,包括源数据1、数据中心仓2、数据应用3、对外支撑服务4;
所述源数据1,基于公司业务系统,用于提供系统的初始数据;
所述数据中心仓2,接受并集合来自源数据1的初始数据,并进行数据标准化及建模处理;
所述数据应用3,依据经数据中心仓2处理的标准化数据,可进行的系统内数据操作;
所述对外支撑服务4,用于系统与公司交互使用,依据系统提供给公司的具体数据服务。
作为优选,所述源数据1包括订单、仓储、日志、健康数据、excel。
作为优选,所述数据中心仓2包括标准数据、多维模型、健康数据集市、财务集市、供应链集市。
作为优选,所述数据应用3包括标准API、数据分析、查询DOS。
作为优选,所述对外支撑服务4包括供应链、管理系统、财务。
如图2所示,一种数据仓库系统的使用方法,包括以下步骤:
(1)技术人员基于业务系统设计源数据1采集方案;
(2)根据设计好的源数据1采集方案开发数据采集;
(3)进行数据模型设计和相关挖据工作;
(4)运用提供数据提供对外支撑服务4。
本发明的一种具体实施如下:
技术人员从公司各系统中采集订单、仓储、日志、健康数据等数据作为源数据1,通常通过piwik、kettle、storm、haddoop技术实现,然后通过hbase、python、SQL、hadoop技术对源数据1进行数据建模、挖据处理整合成标准化数据,建立数据中心仓2,通过对数据中心仓2内的健康数据集市、财务集市、供应链集市等数据集市采用Google开源框架YII PHP、JAVA、R、SPSS技术 可进行标准API、查询DOS、数据分析等数据应用3,依据这些数据应用3可对外建立起标准数据接口、标准报表展示平台、数据分析报告对外支撑服务4;
其中对外支撑服务4还包括常规查询统计报表、数据监控和预警、经营分析报告、权限管理、访问日志等,该发明主要使用对象是技术开发人员,基于整个完善的框架体系,最终目的是为业务部门实现数据支撑。
整个数据仓库系统不仅仅运用了传统数据仓库原理,还集成了当前比较流行高效的大数据技术,基于这两套技术体系原理,系统再结合公司实际业务场景,支撑了公司业务部门常规分析报表、实现了异常数据监控、预警功能、支撑了个性化数据挖掘,在很大程度上支撑了公司的数字化运营。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。
Claims (6)
1.一种数据仓库系统,其特征在于,包括源数据、数据中心仓、数据应用、对外支撑服务;
所述源数据,基于公司业务系统,用于提供系统的初始数据;
所述数据中心仓,接受并集合来自源数据的初始数据,并进行数据标准化及建模处理;
所述数据应用,依据经数据中心仓处理的标准化数据,可进行的系统内数据操作;
所述对外支撑服务,用于系统与公司交互使用,依据系统提供给公司的具体数据服务。
2.如权利要求1所述的一种数据仓库系统,其特征在于,所述源数据包括订单、仓储、日志、健康数据、excel。
3.如权利要求1所述的一种数据仓库系统,其特征在于,所述数据中心仓包括标准数据、多维模型、健康数据集市、财务集市、供应链集市。
4.如权利要求1所述的一种数据仓库系统,其特征在于,所述数据应用包括标准API、数据分析、 查询DOS。
5.如权利要求1所述的一种数据仓库系统,其特征在于,所述对外支撑,
服务包括供应链、管理系统、财务。
6.使用如权利要求1至5中任一项所述的一种数据仓库系统的方法,其特征在于,包括以下步骤:
(1)技术人员基于业务系统设计源数据采集方案;
(2)根据设计好的源数据采集方案开发数据采集;
(3)进行数据模型设计和相关挖据工作;
(4)运用提供数据对外提供支撑服务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610712314.3A CN107463589A (zh) | 2016-08-24 | 2016-08-24 | 一种数据仓库系统及使用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610712314.3A CN107463589A (zh) | 2016-08-24 | 2016-08-24 | 一种数据仓库系统及使用方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107463589A true CN107463589A (zh) | 2017-12-12 |
Family
ID=60544661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610712314.3A Pending CN107463589A (zh) | 2016-08-24 | 2016-08-24 | 一种数据仓库系统及使用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107463589A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108629052A (zh) * | 2018-05-21 | 2018-10-09 | 平安科技(深圳)有限公司 | Kettle任务调度方法、系统、计算机设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160593A (zh) * | 2015-08-18 | 2015-12-16 | 国家电网公司 | 面向大数据的输变电设备多维异构数据融合方法及系统 |
CN105488641A (zh) * | 2016-01-07 | 2016-04-13 | 东南大学 | 一种省域高速公路运营管理数据中心系统及其实现方法 |
CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
-
2016
- 2016-08-24 CN CN201610712314.3A patent/CN107463589A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160593A (zh) * | 2015-08-18 | 2015-12-16 | 国家电网公司 | 面向大数据的输变电设备多维异构数据融合方法及系统 |
CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
CN105488641A (zh) * | 2016-01-07 | 2016-04-13 | 东南大学 | 一种省域高速公路运营管理数据中心系统及其实现方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108629052A (zh) * | 2018-05-21 | 2018-10-09 | 平安科技(深圳)有限公司 | Kettle任务调度方法、系统、计算机设备和存储介质 |
CN108629052B (zh) * | 2018-05-21 | 2023-06-02 | 平安科技(深圳)有限公司 | Kettle任务调度方法、系统、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106599535B (zh) | 一种医院结构化排班系统 | |
CN107358305A (zh) | 一种智慧社区管理的商业模式 | |
CN104463472A (zh) | 电子政务平台系统 | |
CN105701181A (zh) | 一种动态异构元数据获取方法及系统 | |
CN102932195B (zh) | 一种基于网络协议分析的业务分析监控方法及系统 | |
CN104317970A (zh) | 一种基于数据加工中心的数据流式处理方法 | |
CN105118001A (zh) | 一种智能社区的云健康系统 | |
CN102495916A (zh) | 一种基于对象匹配的多应用系统全景建模方法 | |
CN106777106A (zh) | 基于excel的财务报表的数据展示方法 | |
CN104881506A (zh) | 一种基于数据库可配置的管理信息系统权限控制方法 | |
CN104598606A (zh) | 一种针对动态异构空间信息标绘数据的整合方法 | |
CN112883001A (zh) | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 | |
CN111126943B (zh) | 民政补贴申报管理方法和装置 | |
CN110750596A (zh) | 一种医疗机构实现信息共享的流程设计方法 | |
CN112860653A (zh) | 一种政务信息资源目录管理方法和系统 | |
CN107463589A (zh) | 一种数据仓库系统及使用方法 | |
CN114596046A (zh) | 一种基于业务中台及数据中台的统一数字模型的集成平台 | |
CN102103736A (zh) | 一种灵活设置水印参数的技术 | |
CN105930380A (zh) | 一种基于hadoop的图表监控方法和装置 | |
Lee et al. | A big data management system for energy consumption prediction models | |
CN204833355U (zh) | 一种基于一机双屏的评价服务系统 | |
Braa et al. | Sustainable mobile information infrastructures in low resource settings | |
CN114969820A (zh) | 一种基于职业健康医疗大数据的管理平台 | |
CN103632225A (zh) | 电力调度通信事件过滤系统及方法 | |
CN103309934B (zh) | 中低压配网数据集成平台及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171212 |
|
RJ01 | Rejection of invention patent application after publication |