CN102339323B - 一种针对db2数据仓库进行数据抽取、调度及展现的方法 - Google Patents

一种针对db2数据仓库进行数据抽取、调度及展现的方法 Download PDF

Info

Publication number
CN102339323B
CN102339323B CN201110356395.5A CN201110356395A CN102339323B CN 102339323 B CN102339323 B CN 102339323B CN 201110356395 A CN201110356395 A CN 201110356395A CN 102339323 B CN102339323 B CN 102339323B
Authority
CN
China
Prior art keywords
script
data
grade
refresh
cube
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110356395.5A
Other languages
English (en)
Other versions
CN102339323A (zh
Inventor
刘荣
王培亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CLP Hongxin Information Technology Co., Ltd
Original Assignee
JIANGSU HONGXIN SYSTEM INTEGRATION CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU HONGXIN SYSTEM INTEGRATION CO Ltd filed Critical JIANGSU HONGXIN SYSTEM INTEGRATION CO Ltd
Priority to CN201110356395.5A priority Critical patent/CN102339323B/zh
Publication of CN102339323A publication Critical patent/CN102339323A/zh
Application granted granted Critical
Publication of CN102339323B publication Critical patent/CN102339323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种针对DB2数据仓库进行数据抽取、调度及展现的方法，包括以下步骤：用户根据数据仓库的数据模型，和业务逻辑，利用IBM工具快速生成存储过程；然后利用Powercenter工具快速开发出调度任务，对存储过程进行调度；对调度生成的目标表，利用cognos多维cube刷新命令设计出脚本进行自动调度和管理系统两种互为补足的刷新方式，实现刷新数据的及时展现。本发明充分利用了多款工具的特性并将他们相结合，实现了数据抽取、调度和展现的快速实现，提高了工作效率。

Description

一种针对DB2数据仓库进行数据抽取、调度及展现的方法
技术领域
本发明是数据仓库应用领域中，针对复杂数据库模型和业务逻辑的应用需求，提出的如何快速进行数据抽取、调度及展现的方法。
背景技术
数据仓库是大型企业消除信息孤岛，实现信息共享，为领导层提供数据分析、决策辅助的重要信息系统。
在数据仓库应用领域，电信等行业的数据量通常有几百乃至上千TB，每天新增、更新的数据也接近TB级别。相对而言，整个系统涉及到的表数以千计。数据调度工作是整个数据仓库正常运行的基础，数据调度的准确性和及时性直接影响到数据仓库的正常应用，因此数据调度工作要求相当高，即需要在规定的时间内保证调度的正确执行，并解决相关异常情况。如何及时、准确、有效地实现数据的抽取、转换和装载，为上层应用提供支撑，需要研究开发一套行之有效的数据抽取、调度和展现方案。
发明内容
本发明要解决的技术问题是针对目前流行的数据仓库开发、调度和展现的流程缺陷，提供一种针对DB2数据仓库进行数据抽取、调度及展现的方法。
本发明针对DB2数据仓库进行数据抽取、调度及展现的方法，包括以下步骤：
(1)开发人员从开发任务服务器领取开发任务，根据数据仓库的数据模型，和业务逻辑，利用IBM客户端工具DesignStudio，用图形方式描述存储过程逻辑，并部署为DataStage可执行文件。解析DataStage可执行文件，提取、转换成可执行的SQL语句。将获得的SQL语句填充到预先设计好的存储过程模版中，然后更新开发任务服务器上的任务状态；
(2)开发任务服务器根据更新的任务状态，通知调度人员有新的调度开发任务，调度人员利用Powercenter工具快速开发调度任务，对生成的存储过程进行调度，生成目标表，然后更新刷新任务服务器上的目标表调度完成状态；
(3)利用cognos多维cube刷新命令设计出自动刷新脚本。多维刷新进程定时查询刷新任务服务器上的目标表调度完成状态，对已调度完成的目标表，进行自动调度Cube刷新；
(4)如果自动调度Cube刷新失败，通过短信通知管理员。由管理员进行手工刷新，实现刷新数据的及时展现。
附图说明
图1是本发明的流程图。图中，1，开始状态；2，利用DesignStudio描述存储过程逻辑，并部署为DataStage可执行文件；3，解析DataStage可执行文件，提取、转换成可执行的SQL语句；4，将获得的SQL语句填充到预先设计好的存储过程模版中，生成存储过程；5，利用Powercenter工具快速开发调度任务，对生成的存储过程进行调度，生成目标表；6，定时扫描；7，是否刷新；8，生成刷新脚本；9，自动刷新脚本；10，自动执行是否成功；11，更新Cube信息表；12，短信通知；13，短信告警；14，手动管理；15，检索Cube信息表获得更新信息；16，生成并执行脚本；17，手工执行是否成功。
具体实施方式
下面结合附图对发明的技术方案进行详细说明：
如图1所示，针对后期运维需求设计好存储过程模板和日志表；借助IBM客户端工具DesignStudio新建数据仓库工程，用图形方式描述存储过程逻辑，并部署为DataStage可执行文件；解析DataStage可执行文件，提取、转换成可执行的SQL语句；将提取的SQL语句填充到前期中设计好的存储过程模版中,生成存储过程。
然后利用Powercenter工具，进行调度逻辑的开发。ETL系统调度的设计思想是4级从上往下进行逐级管理控制，顶级是ETL系统总体控制，对源系统SSA、层SOR、BML、DM这4层进行逐层管理调度，第二级是层控制，即每层的总体控制，第三级是域控制，即在每层中按数据抽取任务的业务类型进行按域分类控制，第四级即是详细的数据抽取任务，由Session和Procedure组成。最终生成目标表。
对调度生成的目标表，利用cognos多维cube刷新命令进行数据刷新，达到数据展示的目的：首先，通过对cube信息表的扫描，获得需要刷新的cube信息，根据扫描结果自动生成并行脚本；根据cube等级信息，分成1，2，3，4等级：等级1并行数为1；等级2并行数为2以此类推。根据等级生成并行脚本：对于等级1生成一个执行脚本LEVEL10.sh串行存入等级为1的cube刷新脚本；对于等级2生成两个执行脚本LEVEL20.sh和LEVEL21.sh,分别向这两个脚本中存入等级为2的cube刷新脚本；对于等级3生成三个执行脚本LEVEL30.sh、LEVEL31.sh和LEVEL32.sh,分别向这三个脚本中存入等级为3的cube刷新脚本；对于等级4生成四个执行脚本LEVEL40.sh、LEVEL41.sh、LEVEL42.sh和LEVEL43.sh,分别向这四个脚本中存入等级为4的cube刷新脚本；将不同等级执行脚本存入不同目录中。然后，并行执行每个目录中的脚本，各个目录执行顺序串行，实现：LEVEL40.sh～LEVEL43.sh并行，LEVEL30.sh～LEVEL32.sh并行，LEVEL20.sh～LEVEL21.sh并行，LEVEL10.sh。以上四项之间串行。
自动调度刷新与手动管理相结合的系统实现方法，其特征在于：
a)当自动调度刷新出现错误，通过短信告警通知相关人员，进入手动管理系统对问题进行及时解决；
b)手动刷新管理系统与自动调度刷新相结合，互为补充，完善单个模式无法做到的及时性，安全性，效率与容错相兼容的功能。

Claims (1)

1.一种针对DB2数据仓库进行数据抽取、调度及展现的方法，其特征在于包括以下步骤：
(1)用户根据数据仓库的数据模型和业务逻辑，利用IBM客户端工具DesignStudio，用图形方式描述存储过程逻辑，并部署为DataStage可执行文件；解析DataStage可执行文件，提取、转换成可执行的SQL语句；将获得的SQL语句填充到预先设计好的存储过程模版中；
(2)利用Powercenter工具开发ETL系统调度任务，对生成的存储过程利用Powercenter工具进行调度，生成目标表；所述ETL系统调度4级从上往下进行逐级管理控制，顶级是ETL系统总体控制，对源系统SSA、层SOR、BML、DM这4层进行逐层管理调度，第二级是层控制，用于每层的总体控制，第三级是域控制，用于在每层中按数据抽取任务的业务类型进行按域分类控制，第四级即是详细的数据抽取任务，由Session和Procedure组成；
(3)对调度生成的目标表，利用cognos多维cube刷新命令进行数据刷新实现数据展现，包括以下子步骤：首先，通过对cube信息表的扫描，获得需要刷新的cube信息，根据扫描结果自动生成并行脚本；其次，根据cube等级信息，分成1、2、3、4等级；等级1并行数为1，等级2并行数为2，以此类推；再次，根据等级生成并行脚本，对于等级1生成一个执行脚本LEVEL10.sh串行存入等级为1的cube刷新脚本；对于等级2生成两个执行脚本LEVEL20.sh和LEVEL21.sh，分别向这两个脚本中存入等级为2的cube刷新脚本；对于等级3生成三个执行脚本LEVEL30.sh、LEVEL31.sh和LEVEL32.sh,分别向这三个脚本中存入等级为3的cube刷新脚本；对于等级4生成四个执行脚本LEVEL40.sh、LEVEL41.sh、LEVEL42.sh和LEVEL43.sh，分别向这四个脚本中存入等级为4的cube刷新脚本；将不同等级执行脚本存入不同目录中；最后，并行执行每个目录中的脚本，各个目录执行顺序串行，实现：LEVEL40.sh～LEVEL43.sh并行，LEVEL30.sh～LEVEL32.sh并行，LEVEL20.sh～LEVEL21.sh并行，LEVEL10.sh；
(4)如果自动调度失败，通过短信通知管理员，由管理员使用WEB界面的管理系统刷新，实现刷新数据的及时展现。
CN201110356395.5A 2011-11-11 2011-11-11 一种针对db2数据仓库进行数据抽取、调度及展现的方法 Active CN102339323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110356395.5A CN102339323B (zh) 2011-11-11 2011-11-11 一种针对db2数据仓库进行数据抽取、调度及展现的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110356395.5A CN102339323B (zh) 2011-11-11 2011-11-11 一种针对db2数据仓库进行数据抽取、调度及展现的方法

Publications (2)

Publication Number Publication Date
CN102339323A CN102339323A (zh) 2012-02-01
CN102339323B true CN102339323B (zh) 2015-12-16

Family

ID=45515056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110356395.5A Active CN102339323B (zh) 2011-11-11 2011-11-11 一种针对db2数据仓库进行数据抽取、调度及展现的方法

Country Status (1)

Country Link
CN (1) CN102339323B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970880B (zh) * 2014-05-17 2018-12-18 白崇明 分布式多点数据抽取方法
CN106293712B (zh) * 2016-08-01 2019-06-25 浪潮金融信息技术有限公司 一种报表加工cube模型的实现方法
CN107766132B (zh) * 2017-06-25 2019-03-15 平安科技（深圳）有限公司 多任务调度方法、应用服务器及计算机可读存储介质
CN108549659B (zh) * 2018-03-12 2021-08-06 中城泰信（苏州）科技发展股份有限公司 一种数据仓库管理系统及管理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1237097A3 (en) * 2001-02-27 2004-02-04 Matsushita Electric Industrial Co., Ltd. System and method for scheduling data broadcast
CN102236690A (zh) * 2010-05-07 2011-11-09 李晓 一种数据管理方法、应用这种方法的文件格式及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1237097A3 (en) * 2001-02-27 2004-02-04 Matsushita Electric Industrial Co., Ltd. System and method for scheduling data broadcast
CN102236690A (zh) * 2010-05-07 2011-11-09 李晓 一种数据管理方法、应用这种方法的文件格式及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
数据仓库ETL任务调度模型研究;宋旭东;《控制与决策》;20110228;第26卷(第2期);271-275 *

Also Published As

Publication number Publication date
CN102339323A (zh) 2012-02-01

Similar Documents

Publication Publication Date Title
US20190317944A1 (en) Methods and apparatus for integrated management of structured data from various sources and having various formats
US9729615B2 (en) System and method for collaborative designing, development, deployment, execution, monitoring and maintenance of enterprise applications
US8555248B2 (en) Business object change management using release status codes
CN109690524A (zh) 分布式事件处理系统中的数据序列化
CN102508919B (zh) 数据处理方法及系统
CN103441900A (zh) 集中式跨平台自动化测试系统及其控制方法
CN102339323B (zh) 一种针对db2数据仓库进行数据抽取、调度及展现的方法
CN101794226A (zh) 一种适应多业务抽象层次的服务化软件构造方法和系统
CN101826100A (zh) 面向广域网的多源应急信息自动整合系统及方法
CN107145576B (zh) 一种支持可视化和流程化的大数据etl调度系统
CN110471698A (zh) Api文档的生成方法与装置、存储介质及计算机设备
CN103440279A (zh) 一种数据采集过程中的数据适配器及其数据适配方法
CN105760520A (zh) 一种数据管控平台及架构
CN109523423B (zh) 一种应用系统生成方法、装置、设备及存储介质
CN109657224A (zh) 基于数据分析平台的航天器测试报告自动生成方法
CN103745310A (zh) 一种工作流数据建模的方法
CN113849399B (zh) 多国产化平台下的多机协同软件的自动化测试系统和方法
CN102929619A (zh) 一种跨硬件平台的过程自动化软件开发系统
CN101261582A (zh) 多层协同软件开发结构
CN103258047B (zh) 一种面向药企作业成本控制数据仓库的数据组织方法
CN103473360A (zh) 一种大数据智能抽取的管理方法
Li et al. College English Online Examination System Design Based on Cloud Computing Platform
CN111818229A (zh) 一种基于95598呼叫平台的业务运营效能提升管理系统
Zheng-Ping et al. Analysis on Cloud Data Service Platform for Digital Oilfields.
Guo et al. A data-driven software testing tools integration system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 210000 No. 268, Hanzhoung Road, Nanjing, Jiangsu

Patentee after: CLP Hongxin Information Technology Co., Ltd

Address before: 210000 No. 268, Hanzhoung Road, Nanjing, Jiangsu

Patentee before: Jiangsu Hongxin System Integration Co., Ltd.

CP01 Change in the name or title of a patent holder