CN102339323A - 一种针对db2数据仓库进行数据抽取、调度及展现的方法 - Google Patents
一种针对db2数据仓库进行数据抽取、调度及展现的方法 Download PDFInfo
- Publication number
- CN102339323A CN102339323A CN2011103563955A CN201110356395A CN102339323A CN 102339323 A CN102339323 A CN 102339323A CN 2011103563955 A CN2011103563955 A CN 2011103563955A CN 201110356395 A CN201110356395 A CN 201110356395A CN 102339323 A CN102339323 A CN 102339323A
- Authority
- CN
- China
- Prior art keywords
- data
- scheduling
- refresh
- data warehouse
- storing process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种针对DB2数据仓库进行数据抽取、调度及展现的方法，包括以下步骤：用户根据数据仓库的数据模型，和业务逻辑，利用IBM工具快速生成存储过程；然后利用Powercenter工具快速开发出调度任务，对存储过程进行调度；对调度生成的目标表，利用cognos多维cube刷新命令设计出脚本进行自动调度和管理系统两种互为补足的刷新方式，实现刷新数据的及时展现。本发明充分利用了多款工具的特性并将他们相结合，实现了数据抽取、调度和展现的快速实现，提高了工作效率。
Description
技术领域
本发明是数据仓库应用领域中，针对复杂数据库模型和业务逻辑的应用需求，提出的如何快速进行数据抽取、调度及展现的方法。
背景技术
数据仓库是大型企业消除信息孤岛，实现信息共享，为领导层提供数据分析、决策辅助的重要信息系统。
在数据仓库应用领域，电信等行业的数据量通常有几百乃至上千TB，每天新增、更新的数据也接近TB级别。相对而言，整个系统涉及到的表数以千计。数据调度工作是整个数据仓库正常运行的基础，数据调度的准确性和及时性直接影响到数据仓库的正常应用，因此数据调度工作要求相当高，即需要在规定的时间内保证调度的正确执行，并解决相关异常情况。如何及时、准确、有效地实现数据的抽取、转换和装载，为上层应用提供支撑，需要研究开发一套行之有效的数据抽取、调度和展现方案。
发明内容
本发明要解决的技术问题是针对目前流行的数据仓库开发、调度和展现的流程缺陷，提供一种针对DB2数据仓库进行数据抽取、调度及展现的方法。
本发明针对DB2数据仓库进行数据抽取、调度及展现的方法，包括以下步骤：
（1）开发人员从开发任务服务器领取开发任务，根据数据仓库的数据模型，和业务逻辑，利用IBM客户端工具Design Studio，用图形方式描述存储过程逻辑，并部署为DataStage可执行文件。解析DataStage可执行文件，提取、转换成可执行的SQL语句。将获得的SQL语句填充到预先设计好的存储过程模版中，然后更新开发任务服务器上的任务状态；
（2）开发任务服务器根据更新的任务状态，通知调度人员有新的调度开发任务，调度人员利用Powercenter工具快速开发调度任务，对生成的存储过程进行调度，生成目标表，然后更新刷新任务服务器上的目标表调度完成状态；
（3）利用cognos多维cube刷新命令设计出自动刷新脚本。多维刷新进程定时查询刷新任务服务器上的目标表调度完成状态，对已调度完成的目标表，进行自动调度Cube刷新；
（4）如果自动调度Cube刷新失败，通过短信通知管理员。由管理员进行手工刷新，实现刷新数据的及时展现。
附图说明
图1是本发明的流程图。图中，1，开始状态；2，利用Design Studio描述存储过程逻辑，并部署为DataStage可执行文件；3，解析DataStage可执行文件，提取、转换成可执行的SQL语句；4，将获得的SQL语句填充到预先设计好的存储过程模版中，生成存储过程；5，利用Powercenter工具快速开发调度任务，对生成的存储过程进行调度，生成目标表；6，定时扫描；7，是否刷新；8，生成刷新脚本；9，自动刷新脚本；10，自动执行是否成功；11，更新Cube信息表；12，短信通知；13，短信告警；14，手动管理；15，检索Cube信息表获得更新信息；16，生成并执行脚本；17，手工执行是否成功。
具体实施方式
下面结合附图对发明的技术方案进行详细说明：
如图1所示，针对后期运维需求设计好存储过程模板和日志表；借助IBM客户端工具Design Studio新建数据仓库工程，用图形方式描述存储过程逻辑，并部署为DataStage可执行文件；解析DataStage可执行文件，提取、转换成可执行的SQL语句；将提取的SQL语句填充到前期中设计好的存储过程模版中,生成存储过程。
然后利用Powercenter工具，进行调度逻辑的开发。ETL系统调度的设计思想是4级从上往下进行逐级管理控制，顶级是ETL系统总体控制，对源系统àSSA层àSORàBMLàDM这4层进行逐层管理调度，第二级是层控制，即每层的总体控制，第三级是域控制，即在每层中按数据抽取任务的业务类型进行按域分类控制，第四级即是详细的数据抽取任务，由Session和Procedure组成。最终生成目标表。
对调度生成的目标表，利用cognos多维cube刷新命令进行数据刷新，达到数据展示的目的：首先，通过对cube信息表的扫描，获得需要刷新的cube信息，根据扫描结果自动生成并行脚本；根据cube等级信息，分成1，2，3，4等级：等级1并行数为1；等级2并行数为2以此类推。根据等级生成并行脚本：对于等级1生成一个执行脚本LEVEL10.sh 串行存入等级为1的cube刷新脚本;对于等级2生成两个执行脚本LEVEL20.sh 和LEVEL21.sh,分别向这两个脚本中存入等级为2的cube刷新脚本；对于等级3生成三个执行脚本LEVEL30.sh 、LEVEL31.sh和LEVEL32.sh,分别向这三个脚本中存入等级为3的cube刷新脚本；对于等级4生成四个执行脚本LEVEL40.sh 、LEVEL41.sh、LEVEL42.sh和LEVEL43.sh,分别向这四个脚本中存入等级为4的cube刷新脚本；将不同等级执行脚本存入不同目录中。然后，并行执行每个目录中的脚本，各个目录执行顺序串行，实现：LEVEL40.sh～LEVEL43.sh并行，LEVEL30.sh～LEVEL32.sh并行，LEVEL20.sh～LEVEL21.sh并行，LEVEL10.sh。以上四项之间串行。
自动调度刷新与手动管理相结合的系统实现方法，其特征在于：
a）当自动调度刷新出现错误，通过短信告警通知相关人员，进入手动管理系统对问题进行及时解决；
b）手动刷新管理系统与自动调度刷新相结合，互为补充，完善单个模式无法做到的及时性，安全性，效率与容错相兼容的功能。
Claims (1)
1. 一种针对DB2数据仓库进行数据抽取、调度及展现的方法，其特征在于包括以下步骤：
（1）用户根据数据仓库的数据模型和业务逻辑，利用IBM客户端工具Design Studio，用图形方式描述存储过程逻辑，并部署为DataStage可执行文件；解析DataStage可执行文件，提取、转换成可执行的SQL语句；将获得的SQL语句填充到预先设计好的存储过程模版中；
（2）利用Powercenter工具开发调度任务，对生成的存储过程利用Powercenter工具进行调度，生成目标表；
（3）对调度生成的目标表，利用cognos多维cube刷新命令设计出脚本进行自动调度；
（4）如果自动调度失败，通过短信通知管理员，由管理员使用WEB界面的管理系统刷新，实现刷新数据的及时展现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110356395.5A CN102339323B (zh) | 2011-11-11 | 2011-11-11 | 一种针对db2数据仓库进行数据抽取、调度及展现的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110356395.5A CN102339323B (zh) | 2011-11-11 | 2011-11-11 | 一种针对db2数据仓库进行数据抽取、调度及展现的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102339323A true CN102339323A (zh) | 2012-02-01 |
| CN102339323B CN102339323B (zh) | 2015-12-16 |
Family
ID=45515056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110356395.5A Active CN102339323B (zh) | 2011-11-11 | 2011-11-11 | 一种针对db2数据仓库进行数据抽取、调度及展现的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102339323B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103970880A (zh) * | 2014-05-17 | 2014-08-06 | 白崇明 | 分布式多点数据抽取方法 |
| CN106293712A (zh) * | 2016-08-01 | 2017-01-04 | 浪潮（苏州）金融技术服务有限公司 | 一种报表加工cube模型的实现方法 |
| CN107766132A (zh) * | 2017-06-25 | 2018-03-06 | 平安科技（深圳）有限公司 | 多任务调度方法、应用服务器及计算机可读存储介质 |
| CN108549659A (zh) * | 2018-03-12 | 2018-09-18 | 中城泰信（苏州）科技发展股份有限公司 | 一种数据仓库管理系统及管理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1237097A2 (en) * | 2001-02-27 | 2002-09-04 | Matsushita Electric Industrial Co., Ltd. | System and method for scheduling data broadcast |
| CN102236690A (zh) * | 2010-05-07 | 2011-11-09 | 李晓 | 一种数据管理方法、应用这种方法的文件格式及电子设备 |
-
2011
- 2011-11-11 CN CN201110356395.5A patent/CN102339323B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1237097A2 (en) * | 2001-02-27 | 2002-09-04 | Matsushita Electric Industrial Co., Ltd. | System and method for scheduling data broadcast |
| EP1237097A3 (en) * | 2001-02-27 | 2004-02-04 | Matsushita Electric Industrial Co., Ltd. | System and method for scheduling data broadcast |
| CN102236690A (zh) * | 2010-05-07 | 2011-11-09 | 李晓 | 一种数据管理方法、应用这种方法的文件格式及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 宋旭东: "数据仓库ETL任务调度模型研究", 《控制与决策》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103970880A (zh) * | 2014-05-17 | 2014-08-06 | 白崇明 | 分布式多点数据抽取方法 |
| CN103970880B (zh) * | 2014-05-17 | 2018-12-18 | 白崇明 | 分布式多点数据抽取方法 |
| CN106293712A (zh) * | 2016-08-01 | 2017-01-04 | 浪潮（苏州）金融技术服务有限公司 | 一种报表加工cube模型的实现方法 |
| CN107766132A (zh) * | 2017-06-25 | 2018-03-06 | 平安科技（深圳）有限公司 | 多任务调度方法、应用服务器及计算机可读存储介质 |
| CN107766132B (zh) * | 2017-06-25 | 2019-03-15 | 平安科技（深圳）有限公司 | 多任务调度方法、应用服务器及计算机可读存储介质 |
| CN108549659A (zh) * | 2018-03-12 | 2018-09-18 | 中城泰信（苏州）科技发展股份有限公司 | 一种数据仓库管理系统及管理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102339323B (zh) | 2015-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101944114B (zh) | 内存数据库和物理数据库间的数据同步方法 | |
| CN101661460B (zh) | 管理系统报表生成方法和装置 | |
| EP4339802A2 (en) | Methods and apparatus for integrated management of structured data from various sources and having various formats | |
| CN103593422A (zh) | 一种异构数据库的虚拟访问管理方法 | |
| CN104463447A (zh) | 一种突发事件应急指挥调度系统及其信息推送方法 | |
| CN102508706A (zh) | 一种多源数据集成平台及其构建方法 | |
| CN102508919A (zh) | 数据处理方法及系统 | |
| CN107145576B (zh) | 一种支持可视化和流程化的大数据etl调度系统 | |
| CN108764610A (zh) | 基于大数据的标准工艺工程项目施工管理方法、存储介质 | |
| CN101405728A (zh) | 具有动态加载能力的关系数据库架构 | |
| CN102081656A (zh) | 一种跨平台异构数据库的数据采集与分发系统 | |
| CN102339323A (zh) | 一种针对db2数据仓库进行数据抽取、调度及展现的方法 | |
| Boring et al. | Digital full-scope mockup of a conventional nuclear power plant control room, Phase 1: installation of a utility simulator at the Idaho national laboratory | |
| US8892505B2 (en) | Method for scheduling a task in a data warehouse | |
| CN108959616A (zh) | 基于大数据技术的生产域数据质量准实时监控系统及方法 | |
| CN104317957A (zh) | 一种报表处理的开放平台、系统及报表处理方法 | |
| CN104616134A (zh) | 一种报表分析报告推送方法及装置 | |
| CN102467705A (zh) | 集装箱码头经营风险控制的预警机制及实现方法 | |
| CN111352982A (zh) | 一种基于大数据的人力抽取分析系统 | |
| CN109598664A (zh) | 一种应急处置支持系统 | |
| CN1996356A (zh) | 一种将xpdl格式的工作流模型转换成bpel格式的方法 | |
| CN103258047B (zh) | 一种面向药企作业成本控制数据仓库的数据组织方法 | |
| CN110322313A (zh) | 基于sap系统批量创建销售订单及交货单过账的方法 | |
| CN201607765U (zh) | 因公出国境管理系统 | |
| Jain et al. | Establishing State of the Art Unified Technical Data Center to Harness the Power of Legacy Data for Future Opportunities-An E&P Success Story in Sharjah, UAE |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 210000 No. 268, Hanzhoung Road, Nanjing, Jiangsu Patentee after: CLP Hongxin Information Technology Co., Ltd Address before: 210000 No. 268, Hanzhoung Road, Nanjing, Jiangsu Patentee before: Jiangsu Hongxin System Integration Co., Ltd. |