CN104462344B - 在目标服务器构建etl系统的处理方法及装置 - Google Patents
在目标服务器构建etl系统的处理方法及装置 Download PDFInfo
- Publication number
- CN104462344B CN104462344B CN201410736286.XA CN201410736286A CN104462344B CN 104462344 B CN104462344 B CN 104462344B CN 201410736286 A CN201410736286 A CN 201410736286A CN 104462344 B CN104462344 B CN 104462344B
- Authority
- CN
- China
- Prior art keywords
- database
- data warehouse
- source
- source database
- configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000001360 synchronised effect Effects 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000003860 storage Methods 0.000 abstract description 2
- 230000010076 replication Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011068 loading method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004677 spark ionization mass spectrometry Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种在目标服务器构建ETL系统的处理方法及装置。ETL系统包括：临时数据库、源数据库和数据仓库，临时数据库为用于临时存储数据的数据库，源数据库为用于存储原始数据的数据库，数据仓库用于存储经过ETL处理后的数据，临时数据库、源数据库和数据仓库均存储在源服务器中，该方法包括：将源数据库和数据仓库分别从源服务器同步至目标服务器；在源服务器中获取临时数据库中临时表的脚本代码，其中，临时数据库包括临时表，脚本代码为用于创建临时表的代码；根据脚本代码在目标服务器上创建目标临时数据库。通过本发明，解决了现有技术中在保证源服务器的ETL正常运行的情况下，无法在目标服务器中构建ETL系统的问题。
Description
技术领域
本发明涉及数据处理领域，具体而言，涉及一种在目标服务器构建ETL系统的处理方法及装置。
背景技术
随着大数据时代的来临，数据库的高可用性变得越来越重要。在大数据领域中，数据仓库技术占据着重要地位，而数据仓库技术的一大核心技术就是数据抽取、转换和装载(Extract Transform Load，简称为ETL)。ETL依据临时数据库对源数据进行抽取、清洗、转换和装载等工作，然后将处理好的数据存入被称为“数据仓库”的数据库中。在实际生产环境中，ETL系统往往包含三种数据库，即源数据库，临时数据库，数据仓库。源数据库提供数据源；临时数据库用于存储各类临时数据；数据仓库包含事实表和维度表，存储经过处理的数据。
数据库复制技术(Replication)是一种常见的高可用性技术，它用于将发布者数据库的数据同步到目标服务器上。该技术功能强大，比如可以实时同步，也可以进行负载均衡、冲突处理等。目前许多基于Replication的高可用性方案，都是针对数据仓库的，即对数据仓库做同步，这样，当发布者数据库宕机的时候，目标服务器的数据仓库依然可以访问。在很多场景下，当发布者数据库宕机的时候，不仅需要目标服务器中的数据仓库可以被访问，还希望在目标服务器中执行ETL操作。单单使用Replication技术并不能顺利达到这个目的。因为在目标服务器中执行ETL，需要把临时数据库表结构复制过去。若通过Replication技术来同步临时数据库，就会影响发布者数据库正常的ETL运行。因为，若一个数据表配置了Replication，就无法对它执行清空操作。而在ETL执行时，在临时数据库储存数据前，会对该数据库的表做一次清空操作以清空脏数据。所以，这种情况下，发布者数据库的ETL会执行出错。若这些临时数据库通过其他方式移动到目标服务器上，又各有缺陷。通常，ETL系统包含三种数据库，即源数据库，临时数据库和数据仓库。因此现有技术中无法在目标服务器中构建ETL系统，更无法在目标服务器中执行ETL。
针对现有技术中在保证源服务器的ETL正常运行的情况下，无法在目标服务器中构建ETL系统的问题，目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种在目标服务器构建ETL系统的处理方法及装置，以解决现有技术中在保证源服务器的ETL正常运行的情况下，无法在目标服务器中构建ETL系统的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种在目标服务器构建ETL系统的处理方法。
根据本发明的在目标服务器构建ETL系统的处理方法包括：该ETL系统包括：临时数据库、源数据库和数据仓库，临时数据库为用于临时存储数据的数据库，源数据库为用于存储原始数据的数据库，数据仓库用于存储经过ETL处理后的数据，临时数据库、源数据库和数据仓库均存储在源服务器中，该方法包括：将源数据库和数据仓库分别从源服务器同步至目标服务器；在源服务器中获取临时数据库中临时表的脚本代码，其中，临时数据库包括临时表，脚本代码为用于创建临时表的代码；以及根据脚本代码在目标服务器上创建目标临时数据库。
进一步地，根据脚本代码在目标服务器上创建目标临时数据库包括：在目标服务器上创建目标数据库；以及在目标数据库中执行脚本代码，得到临时表；根据临时表构成目标临时数据库。
进一步地，将源数据库和数据仓库分别从源服务器同步至目标服务器之前，该方法还包括：确定源数据库和数据仓库；以及分别对源数据库和数据仓库进行配置，得到配置源数据库和配置数据仓库，其中，配置源数据库是用于将源数据库预先进行配置执行同步操作后的数据库，配置数据仓库是用于将数据仓库预先进行配置执行同步操作后的数据库。
进一步地，分别对源数据库和数据仓库进行配置包括：分别获取源数据库和数据仓库中已有的配置指令，其中，配置指令为用于指示对源数据库和数据仓库进行预先配置执行同步操作的指令；以及通过配置指令分别对源数据库和数据仓库进行配置，或者，接收外部输入的配置代码，其中，配置代码为用于对源数据库和数据仓库进行预先配置执行同步操作的代码；以及根据配置代码生成的相应配置指令分别对源数据库和数据仓库进行配置。
进一步地，将源数据库和数据仓库分别从源服务器同步至目标服务器包括：分别针对源数据库和数据仓库获取第一预设代理程序，其中，第一预设代理程序为用于生成数据库快照的程序；根据第一预设代理程序分别生成与源数据库相应的数据库快照和数据仓库相应的数据仓库快照；分别针对源数据库和数据仓库获取第二预设代理程序，其中，第二预设代理程序为用于同步源数据库相应的数据库快照和数据仓库相应的数据仓库快照；以及根据第二预设的代理程序分别将源数据库相应的数据库快照和数据仓库相应的数据仓库快照同步至目标服务器。
为了实现上述目的，根据本发明的另一方面，提供了一种在目标服务器构建ETL系统的处理装置。
根据本发明的在目标服务器构建ETL系统的处装置包括：ETL系统包括：临时数据库、源数据库和数据仓库，临时数据库为用于临时存储数据的数据库，源数据库为用于存储原始数据的数据库，数据仓库用于存储经过ETL处理后的数据，临时数据库、源数据库和数据仓库均存储在源服务器中，该装置包括：同步单元，用于将源数据库和数据仓库分别从源服务器同步至目标服务器；获取单元，用于在源服务器中获取临时数据库中临时表的脚本代码，其中，临时数据库包括临时表，脚本代码为用于创建临时表的代码；以及创建单元，用于根据脚本代码在目标服务器上创建目标临时数据库。
进一步地，创建单元包括：创建模块，用于在目标服务器上创建目标数据库；以及执行模块，用于在目标数据库中执行脚本代码，得到临时表；组成模块，用于临时表构成目标临时数据库。
进一步地，该装置还包括：确定单元，用于确定源数据库和数据仓库；以及配置单元，用于分别对源数据库和数据仓库进行配置，得到配置源数据库和配置数据仓库，其中，配置源数据库是用于将源数据库预先进行配置执行同步操作后的数据库，配置数据仓库是用于将数据仓库预先进行配置执行同步操作后的数据库。
进一步地，配置单元包括：第一获取模块，用于分别获取源数据库和数据仓库中已有的配置指令，其中，配置指令为用于指示对源数据库和数据仓库进行预先配置执行同步操作的指令；以及第一配置模块，用于通过配置指令分别对源数据库和数据仓库进行配置，或者，接收模块，用于接收外部输入的配置代码，其中，配置代码为用于对源数据库和数据仓库进行预先配置执行同步操作的代码；以及第二配置模块，用于配置代码生成的相应配置指令分别对源数据库和数据仓库进行配置。
进一步地，同步单元包括：第二获取模块，用于分别针对源数据库和数据仓库获取第一预设代理程序，其中，第一预设代理程序为用于生成数据库快照的程序；生成模块，用于第一预设代理程序分别生成与源数据库相应的数据库快照和数据仓库相应的数据仓库快照；第三获取模块，用于分别针对源数据库和数据仓库获取第二预设代理程序，其中，第二预设代理程序为用于同步源数据库相应的数据库快照和数据仓库相应的数据仓库快照；以及同步模块，用于根据第二预设的代理程序分别将源数据库相应的数据库快照和数据仓库相应的数据仓库快照同步至目标服务器。
通过本发明，将源数据库和数据仓库分别从源服务器同步至目标服务器；在源服务器中获取临时数据库中临时表的脚本代码，其中，临时数据库包括临时表，脚本代码为用于创建临时表的代码；根据脚本代码在目标服务器上创建目标临时数据库，解决了现有技术中在保证源服务器的ETL正常运行的情况下，无法在目标服务器中构建ETL系统的问题，进而达到了在目标服务器中构建ETL系统的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的在目标服务器构建ETL系统的处理方法的流程图；以及
图2是根据本发明实施例的在目标服务器构建ETL系统的处理装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明的实施例，提供了一种在目标服务器构建ETL系统的处理方法。
图1是根据本发明实施例的在目标服务器构建ETL系统的处理方法的示意图。ETL系统包括：临时数据库、源数据库和数据仓库，临时数据库为用于临时存储数据的数据库，源数据库为用于存储原始数据的数据库，数据仓库用于存储经过ETL处理后的数据，临时数据库、源数据库和数据仓库均存储在源服务器中，如图1所示，该方法包括如下的步骤S101至步骤S103：
步骤S101，将源数据库和数据仓库分别从源服务器同步至目标服务器。
将源数据库和数据仓库分别从源服务器同步至目标服务器。
在本发明实施例提供的在目标服务器构建ETL系统的处理方法中，将源数据库和数据仓库分别从源服务器同步至目标服务器包括：分别针对源数据库和数据仓库获取第一预设代理程序，其中，第一预设代理程序为用于生成数据库快照的程序；根据第一预设代理程序分别生成与源数据库相应的数据库快照和数据仓库相应的数据仓库快照；分别针对源数据库和数据仓库获取第二预设代理程序，其中，第二预设代理程序为用于同步源数据库相应的数据库快照和数据仓库相应的数据仓库快照；以及根据第二预设的代理程序分别将源数据库相应的数据库快照和数据仓库相应的数据仓库快照同步至目标服务器。
具体地，根据源数据库生成数据库快照，其中，数据库快照是源数据库的只读静态视图。优选地，源据库为SQL Server数据库。生成数据库快照之后，数据库快照在事务上与源数据库一致。在本发明实施例中的数据库快照用于将源数据库中的数据转移至目标数据库。在数据库快照中包括用于执行同步操作的脚本文件。获取第一预设代理程序，其中，第一预设代理程序为用于生成数据库快照的程序；根据第一预设代理程序生成数据库快照。
优选地，源数据库为SQL Server数据库，获取用于生成数据库快照的第一预设代理程序为SQL Server目录下的snapshot.exe代理程序，根据SQL Server目录下的snapshot.exe代理程序生成数据库快照。在生成数据库快照之后，读取事务日志，其中，每次对数据库的更改，系统都会记录事务日志，replication会把对数据库的更改传送到目标服务器，目标服务器利用这些事务日志来进行同步。运行系统自带的logread.exe代理程序即可读取事务日志。
获取第二预设代理程序，其中，第二预设代理程序为用于同步数据库快照的程序；根据第二预设代理程序将修改后的数据库快照同步至目标数据库。
优选地，源数据库为SQL Server数据库，获取用于同步数据库快照的第二预设代理程序为SQL Server目录下的Distrib.exe代理程序，根据SQL Server目录下的Distrib.exe代理程序同步数据库快照。
需要说明的是，上述同步源数据库的方法也同样适用于同步数据仓库。
将源数据库和数据仓库分别从源服务器同步至目标服务器之前，该方法还包括：确定源数据库和数据仓库；以及分别对源数据库和数据仓库进行配置，得到配置源数据库和配置数据仓库，其中，配置源数据库是用于将源数据库预先进行配置执行同步操作后的数据库，配置数据仓库是用于将数据仓库预先进行配置执行同步操作后的数据库。
优选地，为了提升对未进行配置的数据库进行配置，在本发明实施例提供的数据库批量同步处理方法中，该方法还包括：获取数据库中已有的配置指令，其中，配置指令为用于指示对未进行配置的数据库进行预先配置执行同步操作的指令；以及通过配置指令分别对未进行配置的数据库进行配置，或者，接收外部输入的配置代码，其中，配置代码为用于对未进行配置的数据库进行预先配置执行同步操作的代码；以及根据配置代码生成的相应配置指令分别对未进行配置的数据库进行配置。
优选地，待同步数据库为SQL Server数据库。若待同步数据库未进行初始化，先进行初始化。然后调用sp_adddistributor和sp_addsitributiondb等等存储过程，即对未进行配置的数据库进行了配置。
需要说明的是，定期执行数据同步，也可以通过SSMS的复制监视器，打开SSMS，右击replication目录，选择Launch Replication Monitor，选择控制按钮执行复制操作。
步骤S102，在源服务器中获取临时数据库中临时表的脚本代码。
在源服务器中获取临时数据库中临时表的脚本代码，其中，临时数据库包括临时表，脚本代码为用于创建临时表的代码。
例如，在源服务器中获取临时数据库中临时表的脚本代码的操作代码为：
var dbCreateScripts＝sourceDatabase.Script()
通过该步骤，在源服务器中获取到临时数据库中临时表的脚本代码。
步骤S103，根据脚本代码在目标服务器上创建目标临时数据库。
根据上述在源服务器中获取到临时数据库中临时表的脚本代码在目标服务器上创建目标临时数据库。
具体地，根据脚本代码在目标服务器上创建目标临时数据库包括：在目标服务器上创建目标数据库；以及在目标数据库中执行脚本代码，得到临时表；根据临时表构成目标临时数据库。
通过上述步骤，在目标服务器上创建了临时数据库、将源服务器上的源数据库和数据仓库同步至目标服务器。因此实现了在目标服务器中构建ETL系统。
本发明实施例提供的在目标服务器构建ETL系统的处理方法，通过将源数据库和数据仓库分别从源服务器同步至目标服务器；在源服务器中获取临时数据库中临时表的脚本代码，其中，临时数据库包括临时表，脚本代码为用于创建临时表的代码；根据脚本代码在目标服务器上创建目标临时数据库，解决了现有技术中在保证源服务器的ETL正常运行的情况下，无法在目标服务器中构建ETL系统的问题。进而达到了在目标服务器中构建ETL系统的效果。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例还提供了一种在目标服务器构建ETL系统的处理装置，需要说明的是，本发明实施例的在目标服务器构建ETL系统的处理装置可以用于执行本发明实施例所提供的用于在目标服务器构建ETL系统的处理方法。以下对本发明实施例提供的在目标服务器构建ETL系统的处理装置进行介绍。
图2是根据本发明实施例的在目标服务器构建ETL系统的处理装置的示意图。ETL系统包括：临时数据库、源数据库和数据仓库，临时数据库为用于临时存储数据的数据库，源数据库为用于存储原始数据的数据库，数据仓库用于存储经过ETL处理后的数据，临时数据库、源数据库和数据仓库均存储在源服务器中，如图2所示，装置包括：同步单元10、获取单元20和创建单元30。
同步单元10，用于将源数据库和数据仓库分别从源服务器同步至目标服务器。
具体地，该同步单元10包括：第二获取模块，用于分别针对源数据库和数据仓库获取第一预设代理程序，其中，第一预设代理程序为用于生成数据库快照的程序；生成模块，用于第一预设代理程序分别生成与源数据库相应的数据库快照和数据仓库相应的数据仓库快照；第三获取模块，用于分别针对源数据库和数据仓库获取第二预设代理程序，其中，第二预设代理程序为用于同步源数据库相应的数据库快照和数据仓库相应的数据仓库快照；以及同步模块，用于根据第二预设的代理程序分别将源数据库相应的数据库快照和数据仓库相应的数据仓库快照同步至目标服务器。
获取单元20，用于在源服务器中获取临时数据库中临时表的脚本代码，其中，临时数据库包括临时表，脚本代码为用于创建临时表的代码。
创建单元30，用于根据脚本代码在目标服务器上创建目标临时数据库。
具体地，创建单元30包括：创建模块，用于在目标服务器上创建目标数据库；以及执行模块，用于在目标数据库中执行脚本代码，得到临时表；组成模块，用于临时表构成目标临时数据库。
本发明实施例提供的在目标服务器构建ETL系统的处理装置，通过同步单元10将源数据库和数据仓库分别从源服务器同步至目标服务器；获取单元20在源服务器中获取临时数据库中临时表的脚本代码，其中，临时数据库包括临时表，脚本代码为用于创建临时表的代码；创建单元30根据脚本代码在目标服务器上创建目标临时数据库，解决了现有技术中在保证源服务器的ETL正常运行的情况下，无法在目标服务器中构建ETL系统的问题。进而达到了在目标服务器中构建ETL系统的效果。
优选地，在本发明实施例提供的在目标服务器构建ETL系统的处理装置中，该装置还包括：确定单元，用于确定源数据库和数据仓库；以及配置单元，用于分别对源数据库和数据仓库进行配置，得到配置源数据库和配置数据仓库，其中，配置源数据库是用于将源数据库预先进行配置执行同步操作后的数据库，配置数据仓库是用于将数据仓库预先进行配置执行同步操作后的数据库。具体地，该配置单元包括：第一获取模块，用于分别获取源数据库和数据仓库中已有的配置指令，其中，配置指令为用于指示对源数据库和数据仓库进行预先配置执行同步操作的指令；以及第一配置模块，用于通过配置指令分别对源数据库和数据仓库进行配置，或者，接收模块，用于接收外部输入的配置代码，其中，配置代码为用于对源数据库和数据仓库进行预先配置执行同步操作的代码；以及第二配置模块，用于配置代码生成的相应配置指令分别对源数据库和数据仓库进行配置。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种在目标服务器构建ETL系统的处理方法，其特征在于，所述ETL系统包括：临时数据库、源数据库和数据仓库，所述临时数据库为用于临时存储数据的数据库，所述源数据库为用于存储原始数据的数据库，所述数据仓库用于存储经过ETL处理后的数据，所述临时数据库、所述源数据库和所述数据仓库均存储在源服务器中，所述方法包括：
将所述源数据库和所述数据仓库分别从所述源服务器同步至所述目标服务器；
在所述源服务器中获取所述临时数据库中临时表的脚本代码，其中，所述临时数据库包括所述临时表，所述脚本代码为用于创建所述临时表的代码；以及
根据所述脚本代码在所述目标服务器上创建目标临时数据库，
其中，根据所述脚本代码在所述目标服务器上创建目标临时数据库包括：
在所述目标服务器上创建目标数据库；以及
在所述目标数据库中执行所述脚本代码，得到临时表；
根据所述临时表构成所述目标临时数据库。
2.根据权利要求1所述的方法，其特征在于，将所述源数据库和所述数据仓库分别从所述源服务器同步至所述目标服务器之前，所述方法还包括：
确定所述源数据库和所述数据仓库；以及
分别对所述源数据库和所述数据仓库进行配置，得到配置源数据库和配置数据仓库，其中，所述配置源数据库是用于将所述源数据库预先进行配置执行同步操作后的数据库，所述配置数据仓库是用于将所述数据仓库预先进行配置执行同步操作后的数据库。
3.根据权利要求2所述的方法，其特征在于，分别对所述源数据库和所述数据仓库进行配置包括：
分别获取所述源数据库和所述数据仓库中已有的配置指令，其中，所述配置指令为用于指示对所述源数据库和所述数据仓库进行预先配置执行同步操作的指令；以及
通过所述配置指令分别对所述源数据库和所述数据仓库进行配置，
或者，
接收外部输入的配置代码，其中，所述配置代码为用于对所述源数据库和所述数据仓库进行预先配置执行同步操作的代码；以及
根据所述配置代码生成的相应配置指令分别对所述源数据库和所述数据仓库进行配置。
4.根据权利要求1所述的方法，其特征在于，将所述源数据库和所述数据仓库分别从所述源服务器同步至所述目标服务器包括：
分别针对所述源数据库和所述数据仓库获取第一预设代理程序，其中，所述第一预设代理程序为用于生成数据库快照的程序；
根据所述第一预设代理程序分别生成与所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照；
分别针对所述源数据库和所述数据仓库获取第二预设代理程序，其中，所述第二预设代理程序为用于同步所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照；以及
根据所述第二预设的代理程序分别将所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照同步至所述目标服务器。
5.一种在目标服务器构建ETL系统的处理装置，其特征在于，所述ETL系统包括：临时数据库、源数据库和数据仓库，所述临时数据库为用于临时存储数据的数据库，所述源数据库为用于存储原始数据的数据库，所述数据仓库用于存储经过ETL处理后的数据，所述临时数据库、所述源数据库和所述数据仓库均存储在源服务器中，所述装置包括：
同步单元，用于将所述源数据库和所述数据仓库分别从所述源服务器同步至所述目标服务器；
获取单元，用于在所述源服务器中获取所述临时数据库中临时表的脚本代码，其中，所述临时数据库包括所述临时表，所述脚本代码为用于创建所述临时表的代码；以及
创建单元，用于根据所述脚本代码在所述目标服务器上创建目标临时数据库，
其中，所述创建单元包括：
创建模块，用于在所述目标服务器上创建目标数据库；以及
执行模块，用于在所述目标数据库中执行所述脚本代码，得到临时表；
组成模块，用于所述临时表构成所述目标临时数据库。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
确定单元，用于确定所述源数据库和所述数据仓库；以及
配置单元，用于分别对所述源数据库和所述数据仓库进行配置，得到配置源数据库和配置数据仓库，其中，所述配置源数据库是用于将所述源数据库预先进行配置执行同步操作后的数据库，所述配置数据仓库是用于将所述数据仓库预先进行配置执行同步操作后的数据库。
7.根据权利要求6所述的装置，其特征在于，所述配置单元包括：
第一获取模块，用于分别获取所述源数据库和所述数据仓库中已有的配置指令，其中，所述配置指令为用于指示对所述源数据库和所述数据仓库进行预先配置执行同步操作的指令；以及
第一配置模块，用于通过所述配置指令分别对所述源数据库和所述数据仓库进行配置，
或者，
接收模块，用于接收外部输入的配置代码，其中，所述配置代码为用于对所述源数据库和所述数据仓库进行预先配置执行同步操作的代码；以及
第二配置模块，用于所述配置代码生成的相应配置指令分别对所述源数据库和所述数据仓库进行配置。
8.根据权利要求5所述的装置，其特征在于，所述同步单元包括：
第二获取模块，用于分别针对所述源数据库和所述数据仓库获取第一预设代理程序，其中，所述第一预设代理程序为用于生成数据库快照的程序；
生成模块，用于所述第一预设代理程序分别生成与所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照；
第三获取模块，用于分别针对所述源数据库和所述数据仓库获取第二预设代理程序，其中，所述第二预设代理程序为用于同步所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照；以及
同步模块，用于根据所述第二预设的代理程序分别将所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照同步至所述目标服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410736286.XA CN104462344B (zh) | 2014-12-04 | 2014-12-04 | 在目标服务器构建etl系统的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410736286.XA CN104462344B (zh) | 2014-12-04 | 2014-12-04 | 在目标服务器构建etl系统的处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104462344A CN104462344A (zh) | 2015-03-25 |
| CN104462344B true CN104462344B (zh) | 2018-04-03 |
Family
ID=52908379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410736286.XA Active CN104462344B (zh) | 2014-12-04 | 2014-12-04 | 在目标服务器构建etl系统的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104462344B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897303B (zh) * | 2015-12-18 | 2020-09-15 | 北京国双科技有限公司 | 数据查询方法及装置 |
| CN106921614B (zh) * | 2015-12-24 | 2020-05-22 | 北京国双科技有限公司 | 业务数据处理方法和装置 |
| CN114090548B (zh) * | 2021-11-29 | 2024-07-16 | 平安科技（深圳）有限公司 | 基于数据库的数据处理方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101266606A (zh) * | 2007-03-15 | 2008-09-17 | 阿里巴巴公司 | 一种基于Oracle数据库的在线数据迁移方法 |
| CN101615199A (zh) * | 2009-07-31 | 2009-12-30 | 深圳市珍爱网信息技术有限公司 | 异构数据库同步方法及系统 |
| CN101923566A (zh) * | 2010-06-24 | 2010-12-22 | 浙江协同数据系统有限公司 | 一种基于触发器的数据增量抽取方法 |
| CN102043801A (zh) * | 2009-10-16 | 2011-05-04 | 无锡华润上华半导体有限公司 | 数据库间的数据交互方法、系统及发送方数据库、接收方数据库 |
| CN103309904A (zh) * | 2012-03-16 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 一种生成数据仓库etl 代码的方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7426559B2 (en) * | 2002-05-09 | 2008-09-16 | International Business Machines Corporation | Method for sequential coordination of external database application events with asynchronous internal database events |
| US20060149707A1 (en) * | 2004-12-30 | 2006-07-06 | Mitchell Mark A | Multiple active database systems |
-
2014
- 2014-12-04 CN CN201410736286.XA patent/CN104462344B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101266606A (zh) * | 2007-03-15 | 2008-09-17 | 阿里巴巴公司 | 一种基于Oracle数据库的在线数据迁移方法 |
| CN101615199A (zh) * | 2009-07-31 | 2009-12-30 | 深圳市珍爱网信息技术有限公司 | 异构数据库同步方法及系统 |
| CN102043801A (zh) * | 2009-10-16 | 2011-05-04 | 无锡华润上华半导体有限公司 | 数据库间的数据交互方法、系统及发送方数据库、接收方数据库 |
| CN101923566A (zh) * | 2010-06-24 | 2010-12-22 | 浙江协同数据系统有限公司 | 一种基于触发器的数据增量抽取方法 |
| CN103309904A (zh) * | 2012-03-16 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 一种生成数据仓库etl 代码的方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| A Survey of Real-Time Data Warehouse and ETL;Fahd Sabry Esmail Ali;《International Journal of Scientific & Engineering Research》;20140707;第5卷;第1384-1390页 * |
| 基于ETL技术的银行绩效考核系统的设计与实现;戴华珍 等;《现代计算机》;20071231;第91-95页 * |
| 基于元数据的ETL工具设计与实现;周茂伟 等;《科学技术与工程》;20061130;第6卷(第21期);第3503-3507页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104462344A (zh) | 2015-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230023262A1 (en) | System and method for supporting patching in a multitenant application server environment | |
| US10705880B2 (en) | Cluster updating using temporary update-monitor pod | |
| JP6748638B2 (ja) | マルチテナントアプリケーションサーバ環境においてパッチングをサポートするためのシステムおよび方法 | |
| US20210141655A1 (en) | Unified resource management for containers and virtual machines | |
| CN104410672B (zh) | 网络功能虚拟化应用升级的方法、转发业务的方法及装置 | |
| US9405630B2 (en) | Methods and apparatus to perform site recovery of a virtual data center | |
| US10116735B2 (en) | Service migration across cluster boundaries | |
| US20170371639A1 (en) | Updating live system with static changes | |
| US20150347244A1 (en) | Replaying jobs at a secondary location of a service | |
| CN105677736A (zh) | 一种增加、删除服务器节点的方法及装置 | |
| US10305731B2 (en) | System and method for provisioning cloud services across heterogeneous environments using partitioned provisioning instructions stored on a configuration management server | |
| US20170153930A1 (en) | Application container runtime | |
| CN104935618B (zh) | 一种集群部署方法 | |
| CN104699541A (zh) | 同步数据的方法、装置、数据传输组件及系统 | |
| US9542173B2 (en) | Dependency handling for software extensions | |
| US10824642B2 (en) | Data synchronization architecture | |
| WO2016165544A1 (zh) | 一种实现分布式系统跨时域一致性方法及装置 | |
| CN106294496B (zh) | 一种基于hadoop集群的数据迁移方法和工具 | |
| CN104462344B (zh) | 在目标服务器构建etl系统的处理方法及装置 | |
| US20140324928A1 (en) | Large-scale data transfer | |
| CN104462342B (zh) | 数据库快照同步处理方法及装置 | |
| US9485308B2 (en) | Zero copy volume reconstruction | |
| CN104462353B (zh) | 数据库批量同步处理方法及装置 | |
| US10127270B1 (en) | Transaction processing using a key-value store | |
| Carson et al. | Mandrake: Implementing durability for edge clouds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Processing method and device for constructing ETL system on target server Effective date of registration: 20190531 Granted publication date: 20180403 Pledgee: Shenzhen Black Horse World Investment Consulting Co.,Ltd. Pledgor: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Registration number: 2019990000503 |
|
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Patentee after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A Patentee before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. |
|
| PP01 | Preservation of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20240604 Granted publication date: 20180403 |