CN104462344A - 在目标服务器构建etl系统的处理方法及装置 - Google Patents

在目标服务器构建etl系统的处理方法及装置 Download PDF

Info

Publication number
CN104462344A
CN104462344A CN201410736286.XA CN201410736286A CN104462344A CN 104462344 A CN104462344 A CN 104462344A CN 201410736286 A CN201410736286 A CN 201410736286A CN 104462344 A CN104462344 A CN 104462344A
Authority
CN
China
Prior art keywords
database
data warehouse
source
source database
temporary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410736286.XA
Other languages
English (en)
Other versions
CN104462344B (zh
Inventor
储雨知
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201410736286.XA priority Critical patent/CN104462344B/zh
Publication of CN104462344A publication Critical patent/CN104462344A/zh
Application granted granted Critical
Publication of CN104462344B publication Critical patent/CN104462344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275Synchronous replication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种在目标服务器构建ETL系统的处理方法及装置。ETL系统包括:临时数据库、源数据库和数据仓库,临时数据库为用于临时存储数据的数据库,源数据库为用于存储原始数据的数据库,数据仓库用于存储经过ETL处理后的数据,临时数据库、源数据库和数据仓库均存储在源服务器中,该方法包括:将源数据库和数据仓库分别从源服务器同步至目标服务器;在源服务器中获取临时数据库中临时表的脚本代码,其中,临时数据库包括临时表,脚本代码为用于创建临时表的代码;根据脚本代码在目标服务器上创建目标临时数据库。通过本发明,解决了现有技术中在保证源服务器的ETL正常运行的情况下,无法在目标服务器中构建ETL系统的问题。

Description

在目标服务器构建ETL系统的处理方法及装置
技术领域
本发明涉及数据处理领域,具体而言,涉及一种在目标服务器构建ETL系统的处理方法及装置。
背景技术
随着大数据时代的来临,数据库的高可用性变得越来越重要。在大数据领域中,数据仓库技术占据着重要地位,而数据仓库技术的一大核心技术就是数据抽取、转换和装载(Extract Transform Load,简称为ETL)。ETL依据临时数据库对源数据进行抽取、清洗、转换和装载等工作,然后将处理好的数据存入被称为“数据仓库”的数据库中。在实际生产环境中,ETL系统往往包含三种数据库,即源数据库,临时数据库,数据仓库。源数据库提供数据源;临时数据库用于存储各类临时数据;数据仓库包含事实表和维度表,存储经过处理的数据。
数据库复制技术(Replication)是一种常见的高可用性技术,它用于将发布者数据库的数据同步到目标服务器上。该技术功能强大,比如可以实时同步,也可以进行负载均衡、冲突处理等。目前许多基于Replication的高可用性方案,都是针对数据仓库的,即对数据仓库做同步,这样,当发布者数据库宕机的时候,目标服务器的数据仓库依然可以访问。在很多场景下,当发布者数据库宕机的时候,不仅需要目标服务器中的数据仓库可以被访问,还希望在目标服务器中执行ETL操作。单单使用Replication技术并不能顺利达到这个目的。因为在目标服务器中执行ETL,需要把临时数据库表结构复制过去。若通过Replication技术来同步临时数据库,就会影响发布者数据库正常的ETL运行。因为,若一个数据表配置了Replication,就无法对它执行清空操作。而在ETL执行时,在临时数据库储存数据前,会对该数据库的表做一次清空操作以清空脏数据。所以,这种情况下,发布者数据库的ETL会执行出错。若这些临时数据库通过其他方式移动到目标服务器上,又各有缺陷。通常,ETL系统包含三种数据库,即源数据库,临时数据库和数据仓库。因此现有技术中无法在目标服务器中构建ETL系统,更无法在目标服务器中执行ETL。
针对现有技术中在保证源服务器的ETL正常运行的情况下,无法在目标服务器中构建ETL系统的问题,目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种在目标服务器构建ETL系统的处理方法及装置,以解决现有技术中在保证源服务器的ETL正常运行的情况下,无法在目标服务器中构建ETL系统的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种在目标服务器构建ETL系统的处理方法。
根据本发明的在目标服务器构建ETL系统的处理方法包括:该ETL系统包括:临时数据库、源数据库和数据仓库,临时数据库为用于临时存储数据的数据库,源数据库为用于存储原始数据的数据库,数据仓库用于存储经过ETL处理后的数据,临时数据库、源数据库和数据仓库均存储在源服务器中,该方法包括:将源数据库和数据仓库分别从源服务器同步至目标服务器;在源服务器中获取临时数据库中临时表的脚本代码,其中,临时数据库包括临时表,脚本代码为用于创建临时表的代码;以及根据脚本代码在目标服务器上创建目标临时数据库。
进一步地,根据脚本代码在目标服务器上创建目标临时数据库包括:在目标服务器上创建目标数据库;以及在目标数据库中执行脚本代码,得到临时表;根据临时表构成目标临时数据库。
进一步地,将源数据库和数据仓库分别从源服务器同步至目标服务器之前,该方法还包括:确定源数据库和数据仓库;以及分别对源数据库和数据仓库进行配置,得到配置源数据库和配置数据仓库,其中,配置源数据库是用于将源数据库预先进行配置执行同步操作后的数据库,配置数据仓库是用于将数据仓库预先进行配置执行同步操作后的数据库。
进一步地,分别对源数据库和数据仓库进行配置包括:分别获取源数据库和数据仓库中已有的配置指令,其中,配置指令为用于指示对源数据库和数据仓库进行预先配置执行同步操作的指令;以及通过配置指令分别对源数据库和数据仓库进行配置,或者,接收外部输入的配置代码,其中,配置代码为用于对源数据库和数据仓库进行预先配置执行同步操作的代码;以及根据配置代码生成的相应配置指令分别对源数据库和数据仓库进行配置。
进一步地,将源数据库和数据仓库分别从源服务器同步至目标服务器包括:分别针对源数据库和数据仓库获取第一预设代理程序,其中,第一预设代理程序为用于生成数据库快照的程序;根据第一预设代理程序分别生成与源数据库相应的数据库快照和数据仓库相应的数据仓库快照;分别针对源数据库和数据仓库获取第二预设代理程序,其中,第二预设代理程序为用于同步源数据库相应的数据库快照和数据仓库相应的数据仓库快照;以及根据第二预设的代理程序分别将源数据库相应的数据库快照和数据仓库相应的数据仓库快照同步至目标服务器。
为了实现上述目的,根据本发明的另一方面,提供了一种在目标服务器构建ETL系统的处理装置。
根据本发明的在目标服务器构建ETL系统的处装置包括:ETL系统包括:临时数据库、源数据库和数据仓库,临时数据库为用于临时存储数据的数据库,源数据库为用于存储原始数据的数据库,数据仓库用于存储经过ETL处理后的数据,临时数据库、源数据库和数据仓库均存储在源服务器中,该装置包括:同步单元,用于将源数据库和数据仓库分别从源服务器同步至目标服务器;获取单元,用于在源服务器中获取临时数据库中临时表的脚本代码,其中,临时数据库包括临时表,脚本代码为用于创建临时表的代码;以及创建单元,用于根据脚本代码在目标服务器上创建目标临时数据库。
进一步地,创建单元包括:创建模块,用于在目标服务器上创建目标数据库;以及执行模块,用于在目标数据库中执行脚本代码,得到临时表;组成模块,用于临时表构成目标临时数据库。
进一步地,该装置还包括:确定单元,用于确定源数据库和数据仓库;以及配置单元,用于分别对源数据库和数据仓库进行配置,得到配置源数据库和配置数据仓库,其中,配置源数据库是用于将源数据库预先进行配置执行同步操作后的数据库,配置数据仓库是用于将数据仓库预先进行配置执行同步操作后的数据库。
进一步地,配置单元包括:第一获取模块,用于分别获取源数据库和数据仓库中已有的配置指令,其中,配置指令为用于指示对源数据库和数据仓库进行预先配置执行同步操作的指令;以及第一配置模块,用于通过配置指令分别对源数据库和数据仓库进行配置,或者,接收模块,用于接收外部输入的配置代码,其中,配置代码为用于对源数据库和数据仓库进行预先配置执行同步操作的代码;以及第二配置模块,用于配置代码生成的相应配置指令分别对源数据库和数据仓库进行配置。
进一步地,同步单元包括:第二获取模块,用于分别针对源数据库和数据仓库获取第一预设代理程序,其中,第一预设代理程序为用于生成数据库快照的程序;生成模块,用于第一预设代理程序分别生成与源数据库相应的数据库快照和数据仓库相应的数据仓库快照;第三获取模块,用于分别针对源数据库和数据仓库获取第二预设代理程序,其中,第二预设代理程序为用于同步源数据库相应的数据库快照和数据仓库相应的数据仓库快照;以及同步模块,用于根据第二预设的代理程序分别将源数据库相应的数据库快照和数据仓库相应的数据仓库快照同步至目标服务器。
通过本发明,将源数据库和数据仓库分别从源服务器同步至目标服务器;在源服务器中获取临时数据库中临时表的脚本代码,其中,临时数据库包括临时表,脚本代码为用于创建临时表的代码;根据脚本代码在目标服务器上创建目标临时数据库,解决了现有技术中在保证源服务器的ETL正常运行的情况下,无法在目标服务器中构建ETL系统的问题,进而达到了在目标服务器中构建ETL系统的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的在目标服务器构建ETL系统的处理方法的流程图;以及
图2是根据本发明实施例的在目标服务器构建ETL系统的处理装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明的实施例,提供了一种在目标服务器构建ETL系统的处理方法。
图1是根据本发明实施例的在目标服务器构建ETL系统的处理方法的示意图。ETL系统包括:临时数据库、源数据库和数据仓库,临时数据库为用于临时存储数据的数据库,源数据库为用于存储原始数据的数据库,数据仓库用于存储经过ETL处理后的数据,临时数据库、源数据库和数据仓库均存储在源服务器中,如图1所示,该方法包括如下的步骤S101至步骤S103:
步骤S101,将源数据库和数据仓库分别从源服务器同步至目标服务器。
将源数据库和数据仓库分别从源服务器同步至目标服务器。
在本发明实施例提供的在目标服务器构建ETL系统的处理方法中,将源数据库和数据仓库分别从源服务器同步至目标服务器包括:分别针对源数据库和数据仓库获取第一预设代理程序,其中,第一预设代理程序为用于生成数据库快照的程序;根据第一预设代理程序分别生成与源数据库相应的数据库快照和数据仓库相应的数据仓库快照;分别针对源数据库和数据仓库获取第二预设代理程序,其中,第二预设代理程序为用于同步源数据库相应的数据库快照和数据仓库相应的数据仓库快照;以及根据第二预设的代理程序分别将源数据库相应的数据库快照和数据仓库相应的数据仓库快照同步至目标服务器。
具体地,根据源数据库生成数据库快照,其中,数据库快照是源数据库的只读静态视图。优选地,源据库为SQL Server数据库。生成数据库快照之后,数据库快照在事务上与源数据库一致。在本发明实施例中的数据库快照用于将源数据库中的数据转移至目标数据库。在数据库快照中包括用于执行同步操作的脚本文件。获取第一预设代理程序,其中,第一预设代理程序为用于生成数据库快照的程序;根据第一预设代理程序生成数据库快照。
优选地,源数据库为SQL Server数据库,获取用于生成数据库快照的第一预设代理程序为SQL Server目录下的snapshot.exe代理程序,根据SQL Server目录下的snapshot.exe代理程序生成数据库快照。在生成数据库快照之后,读取事务日志,其中,每次对数据库的更改,系统都会记录事务日志,replication会把对数据库的更改传送到目标服务器,目标服务器利用这些事务日志来进行同步。运行系统自带的logread.exe代理程序即可读取事务日志。
获取第二预设代理程序,其中,第二预设代理程序为用于同步数据库快照的程序;根据第二预设代理程序将修改后的数据库快照同步至目标数据库。
优选地,源数据库为SQL Server数据库,获取用于同步数据库快照的第二预设代理程序为SQL Server目录下的Distrib.exe代理程序,根据SQL Server目录下的Distrib.exe代理程序同步数据库快照。
需要说明的是,上述同步源数据库的方法也同样适用于同步数据仓库。
将源数据库和数据仓库分别从源服务器同步至目标服务器之前,该方法还包括:确定源数据库和数据仓库;以及分别对源数据库和数据仓库进行配置,得到配置源数据库和配置数据仓库,其中,配置源数据库是用于将源数据库预先进行配置执行同步操作后的数据库,配置数据仓库是用于将数据仓库预先进行配置执行同步操作后的数据库。
优选地,为了提升对未进行配置的数据库进行配置,在本发明实施例提供的数据库批量同步处理方法中,该方法还包括:获取数据库中已有的配置指令,其中,配置指令为用于指示对未进行配置的数据库进行预先配置执行同步操作的指令;以及通过配置指令分别对未进行配置的数据库进行配置,或者,接收外部输入的配置代码,其中,配置代码为用于对未进行配置的数据库进行预先配置执行同步操作的代码;以及根据配置代码生成的相应配置指令分别对未进行配置的数据库进行配置。
优选地,待同步数据库为SQL Server数据库。若待同步数据库未进行初始化,先进行初始化。然后调用sp_adddistributor和sp_addsitributiondb等等存储过程,即对未进行配置的数据库进行了配置。
需要说明的是,定期执行数据同步,也可以通过SSMS的复制监视器,打开SSMS,右击replication目录,选择Launch Replication Monitor,选择控制按钮执行复制操作。
步骤S102,在源服务器中获取临时数据库中临时表的脚本代码。
在源服务器中获取临时数据库中临时表的脚本代码,其中,临时数据库包括临时表,脚本代码为用于创建临时表的代码。
例如,在源服务器中获取临时数据库中临时表的脚本代码的操作代码为:
var dbCreateScripts=sourceDatabase.Script()
通过该步骤,在源服务器中获取到临时数据库中临时表的脚本代码。
步骤S103,根据脚本代码在目标服务器上创建目标临时数据库。
根据上述在源服务器中获取到临时数据库中临时表的脚本代码在目标服务器上创建目标临时数据库。
具体地,根据脚本代码在目标服务器上创建目标临时数据库包括:在目标服务器上创建目标数据库;以及在目标数据库中执行脚本代码,得到临时表;根据临时表构成目标临时数据库。
通过上述步骤,在目标服务器上创建了临时数据库、将源服务器上的源数据库和数据仓库同步至目标服务器。因此实现了在目标服务器中构建ETL系统。
本发明实施例提供的在目标服务器构建ETL系统的处理方法,通过将源数据库和数据仓库分别从源服务器同步至目标服务器;在源服务器中获取临时数据库中临时表的脚本代码,其中,临时数据库包括临时表,脚本代码为用于创建临时表的代码;根据脚本代码在目标服务器上创建目标临时数据库,解决了现有技术中在保证源服务器的ETL正常运行的情况下,无法在目标服务器中构建ETL系统的问题。进而达到了在目标服务器中构建ETL系统的效果。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例还提供了一种在目标服务器构建ETL系统的处理装置,需要说明的是,本发明实施例的在目标服务器构建ETL系统的处理装置可以用于执行本发明实施例所提供的用于在目标服务器构建ETL系统的处理方法。以下对本发明实施例提供的在目标服务器构建ETL系统的处理装置进行介绍。
图2是根据本发明实施例的在目标服务器构建ETL系统的处理装置的示意图。ETL系统包括:临时数据库、源数据库和数据仓库,临时数据库为用于临时存储数据的数据库,源数据库为用于存储原始数据的数据库,数据仓库用于存储经过ETL处理后的数据,临时数据库、源数据库和数据仓库均存储在源服务器中,如图2所示,装置包括:同步单元10、获取单元20和创建单元30。
同步单元10,用于将源数据库和数据仓库分别从源服务器同步至目标服务器。
具体地,该同步单元10包括:第二获取模块,用于分别针对源数据库和数据仓库获取第一预设代理程序,其中,第一预设代理程序为用于生成数据库快照的程序;生成模块,用于第一预设代理程序分别生成与源数据库相应的数据库快照和数据仓库相应的数据仓库快照;第三获取模块,用于分别针对源数据库和数据仓库获取第二预设代理程序,其中,第二预设代理程序为用于同步源数据库相应的数据库快照和数据仓库相应的数据仓库快照;以及同步模块,用于根据第二预设的代理程序分别将源数据库相应的数据库快照和数据仓库相应的数据仓库快照同步至目标服务器。
获取单元20,用于在源服务器中获取临时数据库中临时表的脚本代码,其中,临时数据库包括临时表,脚本代码为用于创建临时表的代码。
创建单元30,用于根据脚本代码在目标服务器上创建目标临时数据库。
具体地,创建单元30包括:创建模块,用于在目标服务器上创建目标数据库;以及执行模块,用于在目标数据库中执行脚本代码,得到临时表;组成模块,用于临时表构成目标临时数据库。
本发明实施例提供的在目标服务器构建ETL系统的处理装置,通过同步单元10将源数据库和数据仓库分别从源服务器同步至目标服务器;获取单元20在源服务器中获取临时数据库中临时表的脚本代码,其中,临时数据库包括临时表,脚本代码为用于创建临时表的代码;创建单元30根据脚本代码在目标服务器上创建目标临时数据库,解决了现有技术中在保证源服务器的ETL正常运行的情况下,无法在目标服务器中构建ETL系统的问题。进而达到了在目标服务器中构建ETL系统的效果。
优选地,在本发明实施例提供的在目标服务器构建ETL系统的处理装置中,该装置还包括:确定单元,用于确定源数据库和数据仓库;以及配置单元,用于分别对源数据库和数据仓库进行配置,得到配置源数据库和配置数据仓库,其中,配置源数据库是用于将源数据库预先进行配置执行同步操作后的数据库,配置数据仓库是用于将数据仓库预先进行配置执行同步操作后的数据库。具体地,该配置单元包括:第一获取模块,用于分别获取源数据库和数据仓库中已有的配置指令,其中,配置指令为用于指示对源数据库和数据仓库进行预先配置执行同步操作的指令;以及第一配置模块,用于通过配置指令分别对源数据库和数据仓库进行配置,或者,接收模块,用于接收外部输入的配置代码,其中,配置代码为用于对源数据库和数据仓库进行预先配置执行同步操作的代码;以及第二配置模块,用于配置代码生成的相应配置指令分别对源数据库和数据仓库进行配置。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种在目标服务器构建ETL系统的处理方法,其特征在于,所述ETL系统包括:临时数据库、源数据库和数据仓库,所述临时数据库为用于临时存储数据的数据库,所述源数据库为用于存储原始数据的数据库,所述数据仓库用于存储经过ETL处理后的数据,所述临时数据库、所述源数据库和所述数据仓库均存储在源服务器中,所述方法包括:
将所述源数据库和所述数据仓库分别从所述源服务器同步至所述目标服务器;
在所述源服务器中获取所述临时数据库中临时表的脚本代码,其中,所述临时数据库包括所述临时表,所述脚本代码为用于创建所述临时表的代码;以及
根据所述脚本代码在所述目标服务器上创建目标临时数据库。
2.根据权利要求1所述的方法,其特征在于,根据所述脚本代码在所述目标服务器上创建目标临时数据库包括:
在所述目标服务器上创建目标数据库;以及
在所述目标数据库中执行所述脚本代码,得到临时表;
根据所述临时表构成所述目标临时数据库。
3.根据权利要求1所述的方法,其特征在于,将所述源数据库和所述数据仓库分别从所述源服务器同步至所述目标服务器之前,所述方法还包括:
确定所述源数据库和所述数据仓库;以及
分别对所述源数据库和所述数据仓库进行配置,得到配置源数据库和配置数据仓库,其中,所述配置源数据库是用于将所述源数据库预先进行配置执行同步操作后的数据库,所述配置数据仓库是用于将所述数据仓库预先进行配置执行同步操作后的数据库。
4.根据权利要求3所述的方法,其特征在于,分别对所述源数据库和所述数据仓库进行配置包括:
分别获取所述源数据库和所述数据仓库中已有的配置指令,其中,所述配置指令为用于指示对所述源数据库和所述数据仓库进行预先配置执行同步操作的指令;以及
通过所述配置指令分别对所述源数据库和所述数据仓库进行配置,
或者,
接收外部输入的配置代码,其中,所述配置代码为用于对所述源数据库和所述数据仓库进行预先配置执行同步操作的代码;以及
根据所述配置代码生成的相应配置指令分别对所述源数据库和所述数据仓库进行配置。
5.根据权利要求1所述的方法,其特征在于,将所述源数据库和所述数据仓库分别从所述源服务器同步至所述目标服务器包括:
分别针对所述源数据库和所述数据仓库获取第一预设代理程序,其中,所述第一预设代理程序为用于生成数据库快照的程序;
根据所述第一预设代理程序分别生成与所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照;
分别针对所述源数据库和所述数据仓库获取第二预设代理程序,其中,所述第二预设代理程序为用于同步所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照;以及
根据所述第二预设的代理程序分别将所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照同步至所述目标服务器。
6.一种在目标服务器构建ETL系统的处理装置,其特征在于,所述ETL系统包括:临时数据库、源数据库和数据仓库,所述临时数据库为用于临时存储数据的数据库,所述源数据库为用于存储原始数据的数据库,所述数据仓库用于存储经过ETL处理后的数据,所述临时数据库、所述源数据库和所述数据仓库均存储在源服务器中,所述装置包括:
同步单元,用于将所述源数据库和所述数据仓库分别从所述源服务器同步至所述目标服务器;
获取单元,用于在所述源服务器中获取所述临时数据库中临时表的脚本代码,其中,所述临时数据库包括所述临时表,所述脚本代码为用于创建所述临时表的代码;以及
创建单元,用于根据所述脚本代码在所述目标服务器上创建目标临时数据库。
7.根据权利要求6所述的装置,其特征在于,所述创建单元包括:
创建模块,用于在所述目标服务器上创建目标数据库;以及
执行模块,用于在所述目标数据库中执行所述脚本代码,得到临时表;
组成模块,用于所述临时表构成所述目标临时数据库。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
确定单元,用于确定所述源数据库和所述数据仓库;以及
配置单元,用于分别对所述源数据库和所述数据仓库进行配置,得到配置源数据库和配置数据仓库,其中,所述配置源数据库是用于将所述源数据库预先进行配置执行同步操作后的数据库,所述配置数据仓库是用于将所述数据仓库预先进行配置执行同步操作后的数据库。
9.根据权利要求8所述的装置,其特征在于,所述配置单元包括:
第一获取模块,用于分别获取所述源数据库和所述数据仓库中已有的配置指令,其中,所述配置指令为用于指示对所述源数据库和所述数据仓库进行预先配置执行同步操作的指令;以及
第一配置模块,用于通过所述配置指令分别对所述源数据库和所述数据仓库进行配置,
或者,
接收模块,用于接收外部输入的配置代码,其中,所述配置代码为用于对所述源数据库和所述数据仓库进行预先配置执行同步操作的代码;以及
第二配置模块,用于所述配置代码生成的相应配置指令分别对所述源数据库和所述数据仓库进行配置。
10.根据权利要求6所述的装置,其特征在于,所述同步单元包括:
第二获取模块,用于分别针对所述源数据库和所述数据仓库获取第一预设代理程序,其中,所述第一预设代理程序为用于生成数据库快照的程序;
生成模块,用于所述第一预设代理程序分别生成与所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照;
第三获取模块,用于分别针对所述源数据库和所述数据仓库获取第二预设代理程序,其中,所述第二预设代理程序为用于同步所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照;以及
同步模块,用于根据所述第二预设的代理程序分别将所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照同步至所述目标服务器。
CN201410736286.XA 2014-12-04 2014-12-04 在目标服务器构建etl系统的处理方法及装置 Active CN104462344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410736286.XA CN104462344B (zh) 2014-12-04 2014-12-04 在目标服务器构建etl系统的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410736286.XA CN104462344B (zh) 2014-12-04 2014-12-04 在目标服务器构建etl系统的处理方法及装置

Publications (2)

Publication Number Publication Date
CN104462344A true CN104462344A (zh) 2015-03-25
CN104462344B CN104462344B (zh) 2018-04-03

Family

ID=52908379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410736286.XA Active CN104462344B (zh) 2014-12-04 2014-12-04 在目标服务器构建etl系统的处理方法及装置

Country Status (1)

Country Link
CN (1) CN104462344B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897303A (zh) * 2015-12-18 2017-06-27 北京国双科技有限公司 数据查询方法及装置
CN106921614A (zh) * 2015-12-24 2017-07-04 北京国双科技有限公司 业务数据处理方法和装置
CN114090548A (zh) * 2021-11-29 2022-02-25 平安科技(深圳)有限公司 基于数据库的数据处理方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030212789A1 (en) * 2002-05-09 2003-11-13 International Business Machines Corporation Method, system, and program product for sequential coordination of external database application events with asynchronous internal database events
US20060149707A1 (en) * 2004-12-30 2006-07-06 Mitchell Mark A Multiple active database systems
CN101266606A (zh) * 2007-03-15 2008-09-17 阿里巴巴公司 一种基于Oracle数据库的在线数据迁移方法
CN101615199A (zh) * 2009-07-31 2009-12-30 深圳市珍爱网信息技术有限公司 异构数据库同步方法及系统
CN101923566A (zh) * 2010-06-24 2010-12-22 浙江协同数据系统有限公司 一种基于触发器的数据增量抽取方法
CN102043801A (zh) * 2009-10-16 2011-05-04 无锡华润上华半导体有限公司 数据库间的数据交互方法、系统及发送方数据库、接收方数据库
CN103309904A (zh) * 2012-03-16 2013-09-18 阿里巴巴集团控股有限公司 一种生成数据仓库etl 代码的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030212789A1 (en) * 2002-05-09 2003-11-13 International Business Machines Corporation Method, system, and program product for sequential coordination of external database application events with asynchronous internal database events
US20060149707A1 (en) * 2004-12-30 2006-07-06 Mitchell Mark A Multiple active database systems
CN101266606A (zh) * 2007-03-15 2008-09-17 阿里巴巴公司 一种基于Oracle数据库的在线数据迁移方法
CN101615199A (zh) * 2009-07-31 2009-12-30 深圳市珍爱网信息技术有限公司 异构数据库同步方法及系统
CN102043801A (zh) * 2009-10-16 2011-05-04 无锡华润上华半导体有限公司 数据库间的数据交互方法、系统及发送方数据库、接收方数据库
CN101923566A (zh) * 2010-06-24 2010-12-22 浙江协同数据系统有限公司 一种基于触发器的数据增量抽取方法
CN103309904A (zh) * 2012-03-16 2013-09-18 阿里巴巴集团控股有限公司 一种生成数据仓库etl 代码的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FAHD SABRY ESMAIL ALI: "A Survey of Real-Time Data Warehouse and ETL", 《INTERNATIONAL JOURNAL OF SCIENTIFIC & ENGINEERING RESEARCH》 *
周茂伟 等: "基于元数据的ETL工具设计与实现", 《科学技术与工程》 *
戴华珍 等: "基于ETL技术的银行绩效考核系统的设计与实现", 《现代计算机》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897303A (zh) * 2015-12-18 2017-06-27 北京国双科技有限公司 数据查询方法及装置
CN106897303B (zh) * 2015-12-18 2020-09-15 北京国双科技有限公司 数据查询方法及装置
CN106921614A (zh) * 2015-12-24 2017-07-04 北京国双科技有限公司 业务数据处理方法和装置
CN106921614B (zh) * 2015-12-24 2020-05-22 北京国双科技有限公司 业务数据处理方法和装置
CN114090548A (zh) * 2021-11-29 2022-02-25 平安科技(深圳)有限公司 基于数据库的数据处理方法、装置、设备和存储介质
CN114090548B (zh) * 2021-11-29 2024-07-16 平安科技(深圳)有限公司 基于数据库的数据处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN104462344B (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
US11880679B2 (en) System and method for supporting patching in a multitenant application server environment
US10705880B2 (en) Cluster updating using temporary update-monitor pod
US10185549B2 (en) Updating live system with static changes
US9405530B2 (en) System and method for supporting patching in a multitenant application server environment
CN104410672B (zh) 网络功能虚拟化应用升级的方法、转发业务的方法及装置
US9405630B2 (en) Methods and apparatus to perform site recovery of a virtual data center
US20150347244A1 (en) Replaying jobs at a secondary location of a service
US10116735B2 (en) Service migration across cluster boundaries
US11016761B2 (en) Container based application reification
CN105677736A (zh) 一种增加、删除服务器节点的方法及装置
CN104699541A (zh) 同步数据的方法、装置、数据传输组件及系统
CN104935618B (zh) 一种集群部署方法
WO2016165544A1 (zh) 一种实现分布式系统跨时域一致性方法及装置
US10824642B2 (en) Data synchronization architecture
US20180239761A1 (en) Collision detection using state management of configuration items
CN106294496B (zh) 一种基于hadoop集群的数据迁移方法和工具
CN104462344B (zh) 在目标服务器构建etl系统的处理方法及装置
US20140324928A1 (en) Large-scale data transfer
CN112434008A (zh) 分布式数据库升级方法、设备及介质
CN104462342B (zh) 数据库快照同步处理方法及装置
CN104462353B (zh) 数据库批量同步处理方法及装置
US9485308B2 (en) Zero copy volume reconstruction
Carson et al. Mandrake: Implementing durability for edge clouds
CN110275699A (zh) 一种代码构建方法及Serverless平台、对象存储平台
US20210182284A1 (en) System and method for data ingestion and workflow generation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Processing method and device for constructing ETL system on target server

Effective date of registration: 20190531

Granted publication date: 20180403

Pledgee: Shenzhen Black Horse World Investment Consulting Co.,Ltd.

Pledgor: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd.

Registration number: 2019990000503

CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Patentee after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd.

Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A

Patentee before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd.

PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20240604

Granted publication date: 20180403