CN104462353A - 数据库批量同步处理方法及装置 - Google Patents
数据库批量同步处理方法及装置 Download PDFInfo
- Publication number
- CN104462353A CN104462353A CN201410738627.7A CN201410738627A CN104462353A CN 104462353 A CN104462353 A CN 104462353A CN 201410738627 A CN201410738627 A CN 201410738627A CN 104462353 A CN104462353 A CN 104462353A
- Authority
- CN
- China
- Prior art keywords
- database
- databases
- configuration
- batch
- agent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 104
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000010076 replication Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据库批量同步处理方法及装置。该方法包括：确定待同步数据库；在待同步数据库中获取已配置数据库，其中，已配置数据库为已进行预先设置执行同步操作的数据库，在已配置数据库中包括多个代理作业，多个代理作业为已配置数据库生成的多个代理作业；分别确定已配置数据库中需要禁用或删除的代理作业；分别对已配置数据库进行修改，禁用或删除已配置数据库中需要禁用或删除的代理作业，得到修改后的数据库；对修改后的数据库执行批量同步处理。通过本发明，解决了现有技术中批量同步方案不适合企业级数据库批量同步的问题。
Description
技术领域
本发明涉及数据处理领域，具体而言，涉及一种数据库批量同步处理方法及装置。
背景技术
随着大数据时代的来临，数据库的高可用性变得日益重要。采用结构化查询语言的结构化查询语言系统(Structured Query Language Server，简称为SQL Server)中数据库复制技术是高可用性的一种方案。当源数据库变得不可用时，目标数据库将作为后备数据库，继续维持正常的系统运作。为了目标数据库能作为后备数据库，需要将源数据库做成一个数据库快照(snapshot)并将该数据库快照内容同步到目标数据库。
完整的数据库复制技术(Replicaiton)执行同步方案分为两步，即，第一步配置发布和订阅，第二步是进行数据同步。在配置发布和订阅的时候，系统会为每个发布生成相应的复制代理作业，这些作业通过调用Replicaiton(比如快照程序、日志读取程序等)进行数据同步。Sql计划任务将调度这些作业。若采用SQL Server自带的图形化界面进行复制配置，步骤非常繁琐，不适合批量同步数据库。
现有技术中，技术人员往往会自己编写程序，调用Replicaiton Management Objects或相关存储过程来方便简快捷的配置数据库进行同步，然后通过Sql代理作业来执行数据同步。然而这种方式是有以下不足：
1、对很多企业而言，一个服务器下往往有数十甚至数百个数据库，若用上述方式同步数据库，那么Sql计划任务中就会有大量Sql代理作业。这样会难于维护和管理，因此，不适于企业级数据库。
2、其他的代理作业会被“淹没”在这些复制代理作业中。
3、如果出现误删某些复制代理作业使得某些数据库无法正常同步。
4、该方案仅仅去执行同步，却没有检查同步的结果，无法保障同步是否成功。
针对现有技术中批量同步方案不适合企业级数据库批量同步的问题，目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种数据库批量同步处理方法及装置，以解决现有技术中批量同步方案不适合企业级数据库批量同步的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种数据库批量同步处理方法。
根据本发明的数据库批量同步处理方法包括：确定待同步数据库；在待同步数据库中获取已配置数据库，其中，已配置数据库为已进行预先设置执行同步操作的数据库，在已配置数据库中包括多个代理作业，多个代理作业为已配置数据库生成的多个代理作业；分别确定已配置数据库中需要禁用或删除的代理作业；分别对已配置数据库进行修改，禁用或删除已配置数据库中需要禁用或删除的代理作业，得到修改后的数据库；以及对修改后的数据库执行批量同步处理。
进一步地，对修改后的数据库执行批量同步处理之后，该方法还包括：接收检查指令，其中，检查指令为用于指示检查批量同步处理后的数据库是否同步成功的指令；根据检查指令对批量同步处理后的数据库执行检查，得到检查结果，其中，检查结果包含批量同步处理后的数据库是否同步成功的信息；以及将检查结果发送至目标地址。
进一步地，在待同步数据库中获取已配置数据库之后，在分别确定已配置数据库中需要禁用或删除的代理作业之前，该方法还包括：在待同步数据库中确定未进行配置的数据库；以及分别对未进行配置的数据库进行配置。
进一步地，分别对未进行配置的数据库进行配置包括：获取未进行配置的数据库中已有的配置指令，其中，配置指令为用于指示对未进行配置的数据库进行预先配置执行同步操作的指令；以及通过配置指令分别对未进行配置的数据库进行配置，或者，接收外部输入的配置代码，其中，配置代码为用于对未进行配置的数据库进行预先配置执行同步操作的代码；以及根据配置代码生成的相应配置指令分别对未进行配置的数据库进行配置。
进一步地，对修改后的数据库执行批量同步处理包括：获取修改后的数据库；获取第一预设代理程序，其中，第一预设代理程序为用于生成数据库快照的程序；根据第一预设代理程序分别生成与修改后的数据库相应的数据库快照；获取第二预设代理程序，其中，第二预设代理程序为用于同步数据库快照的程序；以及分别根据第二预设的代理程序批量同步数据库快照。
为了实现上述目的，根据本发明的另一方面，提供了一种数据库批量同步处理装置。
根据本发明的数据库批量同步处理装置包括：第一确定单元，用于确定待同步数据库；获取单元，用于在待同步数据库中获取已配置数据库，其中，已配置数据库为已进行预先设置执行同步操作的数据库，在已配置数据库中包括多个代理作业，多个代理作业为已配置数据库生成的多个代理作业；第二确定单元，用于分别确定已配置数据库中需要禁用或删除的代理作业；修改单元，用于分别对已配置数据库进行修改，禁用或删除已配置数据库中需要禁用或删除的代理作业，得到修改后的数据库；以及同步单元，用于对修改后的数据库执行批量同步处理。
进一步地，该装置还包括：接收单元，用于接收检查指令，其中，检查指令为用于指示检查批量同步处理后的数据库是否同步成功的指令；检查单元，用于根据检查指令对批量同步处理后的数据库执行检查，得到检查结果，其中，检查结果包含批量同步处理后的数据库是否同步成功的信息；以及发送单元，用于将检查结果发送至目标地址。
进一步地，该装置还包括：第三确定单元，用于在待同步数据库中确定未进行配置的数据库；以及配置单元，用于分别对未进行配置的数据库进行配置。
进一步地，该配置单元包括：获取子模块，用于获取未进行配置的数据库中已有的配置指令，其中，配置指令为用于指示对未进行配置的数据库进行预先配置执行同步操作的指令；以及第一配置子模块，用于通过配置指令分别对未进行配置的数据库进行配置，或者，接收子模块，用于接收外部输入的配置代码，其中，配置代码为用于对未进行配置的数据库进行预先配置执行同步操作的代码；以及第二配置子模块，用于根据配置代码生成的相应配置指令分别对未进行配置的数据库进行配置。
进一步地，同步单元包括：第一获取模块，用于获取修改后的数据库；第二获取模块，用于获取第一预设代理程序，其中，第一预设代理程序为用于生成数据库快照的程序；生成模块，用于根据第一预设代理程序分别生成与修改后的数据库相应的数据库快照；第三获取模块，用于获取第二预设代理程序，其中，第二预设代理程序为用于同步数据库快照的程序；以及同步模块，用于分别根据第二预设的代理程序批量同步数据库快照。
对于上述数据库批量同步处理方法，通过确定待同步数据库；在待同步数据库中获取已配置数据库，其中，已配置数据库为已进行预先设置执行同步操作的数据库，在已配置数据库中包括多个代理作业，多个代理作业为已配置数据库生成的多个代理作业；分别确定已配置数据库中需要禁用或删除的代理作业；分别对已配置数据库进行修改，禁用或删除已配置数据库中需要禁用或删除的代理作业，得到修改后的数据库；以及对修改后的数据库执行批量同步处理，解决了现有技术中批量同步方案不适合企业级数据库批量同步的问题，禁用或删除了企业级批量同步过程中生成的大量代理作业，从而避免了企业级数据库批量同步过程中代理作业难于管理的麻烦，提高了数据库批量同步的效率。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的数据库批量同步处理方法的流程图；以及
图2是根据本发明实施例的数据库批量同步处理装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是根据本发明实施例的数据库批量同步处理方法的流程图。如图1所示，该方法包括如下的步骤S101至步骤S105：
步骤S101，确定待同步数据库。
确定待同步的数据库。在本发明实施例的数据库批量同步处理方法中，待同步的数据库优选为SQL Server数据库。
步骤S102，在待同步数据库中获取已配置数据库。
在待同步数据库中获取已配置数据库，其中，已配置数据库为已进行预先设置执行同步操作的数据库，在已配置数据库中包括多个代理作业，多个代理作业为已配置数据库生成的多个代理作业。
在SQL Server数据库中运行sp_helpreplicationdb存储过程，返回已配置数据库。
优选地，为了保证待同步数据库能够全部批量同步处理，在本发明实施例提供的数据库批量同步处理方法中，该方法还包括：在确定待同步数据库之后，在待同步数据库中确定未进行配置的数据库；分别对未进行配置的数据库进行配置。
待同步数据库中除去已配置数据库，即为未进行配置的数据库。对未进行配置的数据库进行配置，即对未进行配置的数据库进行预先设置执行同步操作，保证了对全部待同步数据库都能够进行批量同步处理。
优选地，为了提升对未进行配置的数据库进行配置，在本发明实施例提供的数据库批量同步处理方法中，该方法还包括：获取未进行配置的数据库中已有的配置指令，其中，配置指令为用于指示对未进行配置的数据库进行预先配置执行同步操作的指令；以及通过配置指令分别对未进行配置的数据库进行配置，或者，接收外部输入的配置代码，其中，配置代码为用于对未进行配置的数据库进行预先配置执行同步操作的代码；以及根据配置代码生成的相应配置指令分别对未进行配置的数据库进行配置。
优选地，待同步数据库为SQL Server数据库。若待同步数据库未进行初始化，先进行初始化。然后调用sp_adddistributor和sp_addsitributiondb等存储过程，即对未进行配置的数据库进行了配置。
步骤S103，分别确定已配置数据库中需要禁用或删除的代理作业。
在已配置数据库中包括多个代理作业，多个代理作业为已配置数据库生成的多个代理作业。分别确定已配置数据库中需要禁用或删除的代理作业。
例如，在一个已配置数据库中生成了sql job代理作业，用于定期执行sql计划任务。确定该已配置数据库中需要禁用或删除sql job代理作业。
步骤S104，分别对已配置数据库进行修改，禁用或删除已配置数据库中需要禁用或删除的代理作业，得到修改后的数据库。
分别对已配置数据库进行修改，禁用或删除已配置数据库中需要禁用或删除的代理作业，得到修改后的数据库。例如，上述描述的sql计划任务，禁用或删除用于定期执行sql计划任务。得到修改后的已配置数据库。
步骤S105，对修改后的数据库执行批量同步处理。
对修改后的数据库执行批量同步处理，即获取修改后的数据库；获取第一预设代理程序，其中，第一预设代理程序为用于生成数据库快照的程序；根据第一预设代理程序分别生成与修改后的数据库相应的数据库快照；获取第二预设代理程序，其中，第二预设代理程序为用于同步数据库快照的程序；以及分别根据第二预设的代理程序批量同步数据库快照。
根据修改后的数据库生成数据库快照，其中，数据库快照是源数据库的只读静态视图。优选地，源据库为SQL Server数据库。生成数据库快照之后，数据库快照在事务上与源数据库一致。在本发明实施例中的数据库快照用于将源数据库中的数据转移至目标数据库。获取第一预设代理程序，其中，第一预设代理程序为用于生成数据库快照的程序；根据第一预设代理程序得到生成指令，其中，生成指令为用于执行生成数据库快照操作的指令；以及根据生成指令生成数据库快照；获取第二预设代理程序，其中，第二预设代理程序为用于同步数据库快照的程序；根据第二预设代理程序，得到同步指令，其中，同步指令为用于执行同步数据库快照操作的指令；根据同步指令将修改后的数据库快照同步至目标数据库。
具体地，修改后的数据库为SQL Server数据库，获取用于生成数据库快照的第一预设代理程序为SQL Server目录下的snapshot.exe代理程序，根据SQL Server目录下的snapshot.exe代理程序得到生成指令，根据生成指令批量生成相应的数据库快照；获取用于同步数据库快照的第二预设代理程序为SQL Server目录下的Distrib.exe代理程序，根据SQL Server目录下的snapshot.exe代理程序得到同步指令，根据同步指令批量同步数据库快照。
优选地，为了将数据库批量同步后的结果发送至目标地址，在本发明实施例提供的数据库批量同步处理方法中，该方法还包括：接收检查指令，其中，检查指令为用于指示检查批量同步处理后的数据库是否同步成功的指令；根据检查指令对批量同步处理后的数据库执行检查，得到检查结果，其中，检查结果包含批量同步处理后的数据库是否同步成功的信息；以及将检查结果发送至目标地址。
修改后的数据库为SQL Server数据库时，运行tablediff.exe并添加修改后的数据库的表名和批量同步后的目标数据库上的表名作为参数，如果检测出两张表不一致，就会报出错误，检查结果即包括批量同步不成功等信息。如果检测出两张表一致，检查结果即包括批量同步成功等信息。将检查结果发送至目标地址，目标地址直接获知批量同步处理结果并能够直观的查看到同步处理结果。
本发明实施例提供的一种数据库批量同步处理方法，通过确定待同步数据库；在待同步数据库中获取已配置数据库，其中，已配置数据库为已进行预先设置执行同步操作的数据库，在已配置数据库中包括多个代理作业，多个代理作业为已配置数据库生成的多个代理作业；分别确定已配置数据库中需要禁用或删除的代理作业；分别对已配置数据库进行修改，禁用或删除已配置数据库中需要禁用或删除的代理作业，得到修改后的数据库；以及对修改后的数据库执行批量同步处理，解决了现有技术中批量同步方案不适合企业级数据库批量同步的问题。禁用或删除了企业级批量同步过程中生成的大量代理作业，从而避免了企业级数据库批量同步过程中代理作业难于管理的麻烦，提高了数据库批量同步的效率。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例还提供了一种数据库快照同步处理装置，需要说明的是，本发明实施例的数据库快照同步处理装置可以用于执行本发明实施例所提供的用于数据库快照同步处理方法。以下对本发明实施例提供的数据库快照同步处理装置进行介绍。
图2是根据本发明实施例的数据库批量同步处理装置的示意图。如图2所示，该装置包括：第一确定单元10、获取单元20、第二确定单元30、修改单元40和同步单元50。
第一确定单元10，用于确定待同步数据库。
获取单元20，用于在待同步数据库中获取已配置数据库，其中，已配置数据库为已进行预先设置执行同步操作的数据库，在已配置数据库中包括多个代理作业，多个代理作业为已配置数据库生成的多个代理作业。
第二确定单元30，用于分别确定已配置数据库中需要禁用或删除的代理作业。
修改单元40，用于分别对已配置数据库进行修改，禁用或删除已配置数据库中需要禁用或删除的代理作业，得到修改后的数据库。
同步单元50，用于对修改后的数据库执行批量同步处理。
具体地，该同步单元50还包括：第一获取模块，用于获取修改后的数据库；第二获取模块，用于获取第一预设代理程序，其中，第一预设代理程序为用于生成数据库快照的程序；生成模块，用于根据第一预设代理程序分别生成与修改后的数据库相应的数据库快照；第三获取模块，用于获取第二预设代理程序，其中，第二预设代理程序为用于同步数据库快照的程序；以及同步模块，用于分别根据第二预设的代理程序批量同步数据库快照。
优选地，为了将数据库批量同步后的结果发送至目标地址，在本发明实施例提供的数据库批量同步处理装置中，该装置还包括：接收单元，用于接收检查指令，其中，检查指令为用于指示检查批量同步处理后的数据库是否同步成功的指令；检查单元，用于根据检查指令对批量同步处理后的数据库执行检查，得到检查结果，其中，检查结果包含批量同步处理后的数据库是否同步成功的信息；以及发送单元，用于将检查结果发送至目标地址。
优选地，为了保证待同步数据库能全部够批量同步处理，在本发明实施例提供的数据库批量同步处理装置中，该装置还包括：第三确定单元，用于在待同步数据库中确定未进行配置的数据库；以及配置单元，用于分别对未进行配置的数据库进行配置。
通过对未进行配置的数据库进行配置，保证了待同步数据库中所有的数据库都进行了配置，是已配置数据库。对已配置数据进行操作，从而保证了待同步数据库能全部够批量同步处理。
优选地，在本发明实施例提供的数据库批量同步处理装置中，该配置单元还包括：获取子模块，用于获取未进行配置的数据库中已有的配置指令，其中，配置指令为用于指示对未进行配置的数据库进行预先配置执行同步操作的指令；以及第一配置子模块，用于通过配置指令分别对未进行配置的数据库进行配置，或者，接收子模块，用于接收外部输入的配置代码，其中，配置代码为用于对未进行配置的数据库进行预先配置执行同步操作的代码；以及第二配置子模块，用于根据配置代码生成的相应配置指令分别对未进行配置的数据库进行配置。
本发明实施例提供的一种数据库批量同步处理装置，通过第一确定单元10确定待同步数据库；获取单元20在待同步数据库中获取已配置数据库，其中，已配置数据库为已进行预先设置执行同步操作的数据库，在已配置数据库中包括多个代理作业，多个代理作业为已配置数据库生成的多个代理作业；第二确定单元30分别确定已配置数据库中需要禁用或删除的代理作业；修改单元40分别对已配置数据库进行修改，禁用或删除已配置数据库中需要禁用或删除的代理作业，得到修改后的数据库；以及同步单元50对修改后的数据库执行批量同步处理，解决了现有技术中批量同步方案不适合企业级数据库批量同步的问题。禁用或删除了企业级批量同步过程中生成的大量代理作业，从而避免了企业级数据库批量同步过程中代理作业难于管理的麻烦，提高了数据库批量同步的效率。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据库批量同步处理方法，其特征在于，包括：
确定待同步数据库；
在所述待同步数据库中获取已配置数据库，其中，所述已配置数据库为已进行预先设置执行同步操作的数据库，在所述已配置数据库中包括多个代理作业，所述多个代理作业为所述已配置数据库生成的多个代理作业；
分别确定所述已配置数据库中需要禁用或删除的代理作业；
分别对所述已配置数据库进行修改，禁用或删除所述已配置数据库中需要禁用或删除的代理作业，得到修改后的数据库；以及
对所述修改后的数据库执行批量同步处理。
2.根据权利要求1所述的方法，其特征在于，对所述修改后的数据库执行批量同步处理之后，所述方法还包括：
接收检查指令，其中，所述检查指令为用于指示检查批量同步处理后的数据库是否同步成功的指令；
根据所述检查指令对批量同步处理后的数据库执行检查，得到检查结果，其中，所述检查结果包含批量同步处理后的数据库是否同步成功的信息；以及
将所述检查结果发送至目标地址。
3.根据权利要求1所述的方法，其特征在于，在所述待同步数据库中获取已配置数据库之后，在分别确定所述已配置数据库中需要禁用或删除的代理作业之前，所述方法还包括：
在所述待同步数据库中确定未进行配置的数据库；以及
分别对所述未进行配置的数据库进行配置。
4.根据权利要求3所述的方法，其特征在于，分别对所述未进行配置的数据库进行配置包括：
获取所述未进行配置的数据库中已有的配置指令，其中，所述配置指令为用于指示对所述未进行配置的数据库进行预先配置执行同步操作的指令；以及
通过所述配置指令分别对所述未进行配置的数据库进行配置，
或者，
接收外部输入的配置代码，其中，所述配置代码为用于对所述未进行配置的数据库进行预先配置执行同步操作的代码；以及
根据所述配置代码生成的相应配置指令分别对所述未进行配置的数据库进行配置。
5.根据权利要求1或3所述的方法，其特征在于，对所述修改后的数据库执行批量同步处理包括：
获取所述修改后的数据库；
获取第一预设代理程序，其中，所述第一预设代理程序为用于生成数据库快照的程序；
根据所述第一预设代理程序分别生成与所述修改后的数据库相应的数据库快照；
获取第二预设代理程序，其中，所述第二预设代理程序为用于同步所述数据库快照的程序；以及
分别根据所述第二预设的代理程序批量同步所述数据库快照。
6.一种数据库批量同步处理装置，其特征在于，包括：
第一确定单元，用于确定待同步数据库；
获取单元，用于在所述待同步数据库中获取已配置数据库，其中，所述已配置数据库为已进行预先设置执行同步操作的数据库，在所述已配置数据库中包括多个代理作业，所述多个代理作业为所述已配置数据库生成的多个代理作业；
第二确定单元，用于分别确定所述已配置数据库中需要禁用或删除的代理作业；
修改单元，用于分别对所述已配置数据库进行修改，禁用或删除所述已配置数据库中需要禁用或删除的代理作业，得到修改后的数据库；以及
同步单元，用于对所述修改后的数据库执行批量同步处理。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
接收单元，用于接收检查指令，其中，所述检查指令为用于指示检查批量同步处理后的数据库是否同步成功的指令；
检查单元，用于根据所述检查指令对批量同步处理后的数据库执行检查，得到检查结果，其中，所述检查结果包含批量同步处理后的数据库是否同步成功的信息；以及
发送单元，用于将所述检查结果发送至目标地址。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第三确定单元，用于在所述待同步数据库中确定未进行配置的数据库；以及
配置单元，用于分别对所述未进行配置的数据库进行配置。
9.根据权利要求8所述的装置，其特征在于，所述配置单元包括：
获取子模块，用于获取所述未进行配置的数据库中已有的配置指令，其中，所述配置指令为用于指示对所述未进行配置的数据库进行预先配置执行同步操作的指令；以及
第一配置子模块，用于通过所述配置指令分别对所述未进行配置的数据库进行配置，
或者，
接收子模块，用于接收外部输入的配置代码，其中，所述配置代码为用于对所述未进行配置的数据库进行预先配置执行同步操作的代码；以及
第二配置子模块，用于根据所述配置代码生成的相应配置指令分别对所述未进行配置的数据库进行配置。
10.根据权利要求6或8所述的装置，其特征在于，所述同步单元包括：
第一获取模块，用于获取所述修改后的数据库；
第二获取模块，用于获取第一预设代理程序，其中，所述第一预设代理程序为用于生成数据库快照的程序；
生成模块，用于根据所述第一预设代理程序分别生成与所述修改后的数据库相应的数据库快照；
第三获取模块，用于获取第二预设代理程序，其中，所述第二预设代理程序为用于同步所述数据库快照的程序；以及
同步模块，用于分别根据所述第二预设的代理程序批量同步所述数据库快照。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410738627.7A CN104462353B (zh) | 2014-12-04 | 2014-12-04 | 数据库批量同步处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410738627.7A CN104462353B (zh) | 2014-12-04 | 2014-12-04 | 数据库批量同步处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104462353A true CN104462353A (zh) | 2015-03-25 |
| CN104462353B CN104462353B (zh) | 2017-12-22 |
Family
ID=52908388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410738627.7A Active CN104462353B (zh) | 2014-12-04 | 2014-12-04 | 数据库批量同步处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104462353B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657002A (zh) * | 2018-11-09 | 2019-04-19 | 山东中创软件商用中间件股份有限公司 | 一种多表批量数据同步方法、装置及设备 |
| CN110716801A (zh) * | 2019-10-09 | 2020-01-21 | 电子科技大学 | 一种具有多个竞争代理的多任务调度方法 |
| CN113434595A (zh) * | 2021-06-23 | 2021-09-24 | 未鲲(上海)科技服务有限公司 | 数据库同步方法、装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002157158A (ja) * | 2000-11-20 | 2002-05-31 | Hitachi Ltd | データベースシステムにおけるデータ管理方法 |
| CN101364217A (zh) * | 2007-08-08 | 2009-02-11 | 华为技术有限公司 | 数据库中数据维护方法、设备及其系统 |
| CN101854400A (zh) * | 2010-06-09 | 2010-10-06 | 中兴通讯股份有限公司 | 一种数据库同步部署及监控的方法和装置 |
| CN102346775A (zh) * | 2011-09-26 | 2012-02-08 | 苏州博远容天信息科技有限公司 | 一种基于日志的异构多源数据库同步方法 |
| CN102945236A (zh) * | 2011-11-29 | 2013-02-27 | Ut斯达康通讯有限公司 | 一种通过事件触发同步不同数据库的方法 |
| JP2013228991A (ja) * | 2012-04-25 | 2013-11-07 | Hitachi Ltd | シングルストリームの複数ウィンドウでのストリームデータ処理方法 |
-
2014
- 2014-12-04 CN CN201410738627.7A patent/CN104462353B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002157158A (ja) * | 2000-11-20 | 2002-05-31 | Hitachi Ltd | データベースシステムにおけるデータ管理方法 |
| CN101364217A (zh) * | 2007-08-08 | 2009-02-11 | 华为技术有限公司 | 数据库中数据维护方法、设备及其系统 |
| CN101854400A (zh) * | 2010-06-09 | 2010-10-06 | 中兴通讯股份有限公司 | 一种数据库同步部署及监控的方法和装置 |
| CN102346775A (zh) * | 2011-09-26 | 2012-02-08 | 苏州博远容天信息科技有限公司 | 一种基于日志的异构多源数据库同步方法 |
| CN102945236A (zh) * | 2011-11-29 | 2013-02-27 | Ut斯达康通讯有限公司 | 一种通过事件触发同步不同数据库的方法 |
| JP2013228991A (ja) * | 2012-04-25 | 2013-11-07 | Hitachi Ltd | シングルストリームの複数ウィンドウでのストリームデータ処理方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657002A (zh) * | 2018-11-09 | 2019-04-19 | 山东中创软件商用中间件股份有限公司 | 一种多表批量数据同步方法、装置及设备 |
| CN110716801A (zh) * | 2019-10-09 | 2020-01-21 | 电子科技大学 | 一种具有多个竞争代理的多任务调度方法 |
| CN110716801B (zh) * | 2019-10-09 | 2020-05-19 | 电子科技大学 | 一种具有多个竞争代理的多任务调度方法 |
| CN113434595A (zh) * | 2021-06-23 | 2021-09-24 | 未鲲(上海)科技服务有限公司 | 数据库同步方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104462353B (zh) | 2017-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107783975B (zh) | 分布式数据库同步处理的方法和装置 | |
| KR102399421B1 (ko) | 멀티테난트 어플리케이션 서버 환경에서의 파티션 마이그레이션을 위한 시스템 및 방법 | |
| US10656929B2 (en) | Autonomously healing microservice-based applications | |
| CN107958010B (zh) | 用于在线数据迁移的方法及系统 | |
| US11436100B2 (en) | Backup client agent | |
| US9405630B2 (en) | Methods and apparatus to perform site recovery of a virtual data center | |
| US20190095253A1 (en) | Cluster updating using temporary update-monitor pod | |
| US20190340049A1 (en) | System and method for workflow error handling | |
| CN107016480B (zh) | 任务调度方法、装置及系统 | |
| CN113220431B (zh) | 跨云的分布式数据任务调度方法、设备及存储介质 | |
| CN104679717A (zh) | 集群弹性部署的方法和管理系统 | |
| CN109298924B (zh) | 定时任务的管理方法、计算机可读存储介质和终端设备 | |
| US9542173B2 (en) | Dependency handling for software extensions | |
| CN106294496B (zh) | 一种基于hadoop集群的数据迁移方法和工具 | |
| US10824641B1 (en) | Deterministic query-based replication | |
| CN104462353B (zh) | 数据库批量同步处理方法及装置 | |
| CN111666134A (zh) | 一种分布式任务调度的方法和系统 | |
| US9760364B2 (en) | Checks for software extensions | |
| US9477447B1 (en) | Semantic representations of software extensions | |
| CN104462344B (zh) | 在目标服务器构建etl系统的处理方法及装置 | |
| CN111552494B (zh) | 一种容器组的管理方法、设备、系统及介质 | |
| CN111767126A (zh) | 分布式批量处理的系统和方法 | |
| CN110609734A (zh) | 定时任务调度的方法和装置 | |
| US20210182284A1 (en) | System and method for data ingestion and workflow generation | |
| CN110275699A (zh) | 一种代码构建方法及Serverless平台、对象存储平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Batch synchronous processing method and device for databases Effective date of registration: 20190531 Granted publication date: 20171222 Pledgee: Shenzhen Black Horse World Investment Consulting Co.,Ltd. Pledgor: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Registration number: 2019990000503 |
|
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Patentee after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A Patentee before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. |
|
| PP01 | Preservation of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20240604 Granted publication date: 20171222 |