CN104850628A - 一种数据库数据的同步方法及装置 - Google Patents

一种数据库数据的同步方法及装置 Download PDF

Info

Publication number
CN104850628A
CN104850628A CN201510262423.5A CN201510262423A CN104850628A CN 104850628 A CN104850628 A CN 104850628A CN 201510262423 A CN201510262423 A CN 201510262423A CN 104850628 A CN104850628 A CN 104850628A
Authority
CN
China
Prior art keywords
disk
data
website
database
copied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510262423.5A
Other languages
English (en)
Other versions
CN104850628B (zh
Inventor
胡田
刘卫果
王鑫
李朋乐
杜昆鹏
李广业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201510262423.5A priority Critical patent/CN104850628B/zh
Publication of CN104850628A publication Critical patent/CN104850628A/zh
Application granted granted Critical
Publication of CN104850628B publication Critical patent/CN104850628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据库数据的同步方法及装置,该方法包括:在第一站点处于运行状态时,将第一站点的数据从第一站点的第一磁盘复制至第二磁盘;在第二站点中,停止待进行同步的数据库子系统及应用系统,并将第三磁盘停用,将第二磁盘中的数据异步复制至第三磁盘;判断异步复制至第三磁盘的数据是否达到第二磁盘中数据总量的预设比例;如果是,终止将第一站点的数据从第一磁盘复制至第二磁盘的过程,并将第二磁盘中的数据转换为同步复制至第三磁盘;终止将第二磁盘中的磁盘数据同步复制至第三磁盘的过程,恢复将第一站点的数据从第一磁盘复制至第二磁盘,并激活第三磁盘;将第二磁盘中未异步复制至第三磁盘的数据从第一站点同步复制至第二站点。

Description

一种数据库数据的同步方法及装置
技术领域
本发明是关于数据的容灾备份技术,具体地,是关于一种用于数据中心双活系统中,实现站点间大规模数据库数据的同步方法及装置。
背景技术
随着灾备技术的完善与IT业务服务水平的提升,现代金融企业数据中心对在灾难情况下,快速全面的恢复业务的要求已经越来越高。当数据中心发生灾难故障导致业务数据的丢失或者停机时间过长时,都会为金融企业带来不可挽回的损失。为了尽可能的减少灾难故障导致的停止对外服务时间,引入了“双活”数据中心,即部署两个数据实时同步的站点(主站点及备用站点),当主站点发生故障时,可以快速切换至备用站点。
而两个同时对外提供服务的数据中心,其最大的难点在于站点间的数据同步。为保证数据的实时同步,一般双活方案选用数据库复制技术,通过数据库LOG层级数据进行数据同步,对表内信息可以进行有效的同步。在传统模式下,实现跨站点数据初始同步方法一般是基于数据逻辑层的同步,这个过程一般需要经过数据下传、打包、传输、解包、上传几个步骤,除了消耗大量人力和昂贵的生产主机的MIPs资源外,其时效性往往较差,特别对于动辄数十TB数据级别的超大型数据库的数据,同步时间至少需要2-3天,且同步完成后,数据的时效性是2-3天之前,无法满足双活站点数据同步时效性需求。
因此,有两种场景在使用数据库复制技术时具有约束与限制:一、当发生表结构或文件级的变化时,Q复制就无法进行数据同步,需要全量数据初始化同步;二、当数据库复制全量数据初始同步时,初始复制效率远难以满足重要核心系统的服务需求。因此,在实际应用场景中,如何给Q复制提供一个快速就绪、按需进行的一致点基准数据,成了一个亟需解决的问题。
另外,在此场景下使用磁盘复制技术的约束与限制还有:一般目标盘是冷备服务,即备份期间,目标盘不能提供对外服务的活跃系统服务,需要在复制完成后,停止复制关系后再启动系统服务。但对于双活系统架构下,对外服务的连续性要求,目标站点不能接受此类停机时间。
发明内容
本发明实施例的主要目的在于提供一种数据库数据的同步方法及装置,以提供一个快速就绪、按需进行的一致点基准数据,并保证数据备份过程中,备份系统能够正常工作。
为了实现上述目的,本发明实施例提供一种数据库数据的同步方法,所述的同步方法包括:步骤a:在第一站点处于运行状态时,将所述第一站点的数据从所述第一站点的第一磁盘复制至所述第一站点的第二磁盘;步骤b:在第二站点中,停止待进行同步的数据库子系统及应用系统,并将位于所述第二站点的第三磁盘停用,将所述第二磁盘中的数据异步复制至所述的第三磁盘;步骤c:判断异步复制至所述第三磁盘的数据是否达到所述第二磁盘中数据总量的一预设比例;如果是,执行步骤d;步骤d:终止将所述第一站点的数据从所述第一磁盘复制至所述第二磁盘的过程,并将所述第二磁盘中的数据转换为同步复制至所述的第三磁盘;步骤e:终止将所述第二磁盘中的磁盘数据同步复制至所述第三磁盘的过程,恢复将所述第一站点的数据从所述第一磁盘复制至所述第二磁盘的过程,并激活所述的第三磁盘;步骤f:将所述第二磁盘中未异步复制至所述第三磁盘的数据从所述第一站点同步复制至所述的第二站点。
在一实施例中,在步骤a之后,步骤b之前,上述的同步方法还包括:步骤g:判断所述第一站点与第二站点之间是否具备数据库复制条件;如果所述第一站点与第二站点之间不具备数据库复制条件,执行所述步骤b,在第二站点中,停止待进行同步的数据库子系统及应用系统,并将位于所述第二站点的第三磁盘停用,将所述第二磁盘中的数据异步复制至所述的第三磁盘。
在一实施例中,如果所述步骤g中,判定所述第一站点与第二站点之间具备数据库复制条件,执行步骤h:将所述第一站点的数据库数据同步复制至所述的第二站点。
在一实施例中,当所述第一站点的数据库中包含待复制的磁盘文件及相应的目录信息时,判定所述第一站点与第二站点之间具备数据库复制条件。
在一实施例中,上述的预设比例为99%。
本发明实施例还提供一种数据库数据的同步装置,所述的同步装置包括:磁盘数据复制单元,用于在第一站点处于运行状态时,将所述第一站点的数据从所述第一站点的第一磁盘复制至所述第一站点的第二磁盘;磁盘数据异步复制单元,用于在第二站点中,停止待进行同步的数据库子系统及应用系统,并将位于所述第二站点的第三磁盘停用,将所述第二磁盘中的数据异步复制至所述的第三磁盘;预设比例判断单元,用于判断异步复制至所述第三磁盘的数据是否达到所述第二磁盘中数据总量的一预设比例;如果是,触发磁盘数据同步复制单元;磁盘数据同步复制单元,用于终止将所述第一站点的数据从所述第一磁盘复制至所述第二磁盘的过程,并将所述第二磁盘中的数据转换为同步复制至所述的第三磁盘;磁盘激活单元,用于终止将所述第二磁盘中的磁盘数据同步复制至所述第三磁盘的过程,恢复将所述第一站点的数据从所述第一磁盘复制至所述第二磁盘的过程,并激活所述的第三磁盘;数据同步复制单元,用于将所述第二磁盘中未异步复制至所述第三磁盘的数据从所述第一站点同步复制至所述的第二站点。
在一实施例中,上述的同步装置还包括:数据库复制条件判断单元,用于判断所述第一站点与第二站点之间是否具备数据库复制条件;如果所述第一站点与第二站点之间不具备数据库复制条件,触发所述的磁盘数据异步复制单元。
在一实施例中,如果所述数据库复制条件判断单元判定所述第一站点与第二站点之间具备数据库复制条件,触发数据库数据复制单元,所述的数据库数据复制单元用于将所述第一站点的数据库数据同步复制至所述的第二站点。
在一实施例中,上述的当所述第一站点的数据库中包含待复制的磁盘文件及相应的目录信息时,所述数据库复制条件判断单元判定所述第一站点与第二站点之间具备数据库复制条件。
在一实施例中,上述的预设比例为99%。
本发明实施例的有益效果在于,通过本发明,可在不影响主站点提供服务的情况下,实现可供数据库复制工具补充复制的一致性点的创建,基于该一致性点的数据,完成主站点和备份站点的数据同步。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的数据库数据的同步方法的流程图(一);
图2为根据本发明实施例的数据库数据的同步方法的架构图;
图3为根据本发明实施例的数据库数据的同步方法的流程图(二);
图4为根据本发明实施例的数据库数据的同步装置的结构示意图(一);
图5为根据本发明实施例的数据库数据的同步装置的结构示意图(一);
图6为根据本发明实施例的大规模数据库数据复制系统的数据同步结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种数据库数据的同步方法及装置。以下结合附图对本发明进行详细说明。
本发明实施例提供一种数据库数据的同步方法,如图1所示,该同步方法主要包括以下步骤:
步骤S101:在第一站点处于运行状态时,将第一站点的数据从第一站点的第一磁盘复制至第一站点的第二磁盘;
步骤S102:在第二站点中,停止待进行同步的数据库子系统及应用系统,并将位于第二站点的第三磁盘停用,将第二磁盘中的数据异步复制至第三磁盘;
步骤S103:判断异步复制至第三磁盘的数据是否达到第二磁盘中数据总量的一预设比例;如果是,执行步骤S104;
步骤S104:终止将第一站点的数据从第一磁盘复制至第二磁盘的过程,并将第二磁盘中的数据转换为同步复制至第三磁盘;
步骤S105:终止将第二磁盘中的磁盘数据同步复制至第三磁盘的过程,恢复将第一站点的数据从第一磁盘复制至第二磁盘的过程,并激活第三磁盘;
步骤S106:将第二磁盘中未异步复制至第三磁盘的数据从第一站点同步复制至第二站点。
通过上述的步骤S101~S106,在无法直接通过数据库复制工具完成主站点和备份站点之间的数据复制的情况下,通过将主站点中需要进行站点同步的数据和对应的目录信息进行合理布置在特定磁盘(第一磁盘、第二磁盘)上,并对备份站点中的第三磁盘的数据信息进行合理的布局存放,利用磁盘间的复制技术,将主站点中的数据从第一磁盘,经过第二磁盘复制至备份站点的第三磁盘,整个复制过程中,备份站点系统保持系统启动状态,从而在不影响主站点提供服务的情况下,实现可供数据库复制工具补充复制的一致性点的创建,基于该一致性点的数据,完成主站点和备份站点的数据同步。
以下将结合上述各步骤的具体内容,对本发明实施例的数据库数据的同步方法进行详细描述。
如图2所示,在数据中心的灾备系统中,通常设置有主站点及灾备站点,当数据中心发生灾难故障导致的业务数据丢失或者停机时间过长、或是应用版本升级造成的表结构改变等突发情况,数据中心的主站点和灾备站点之间无法保持数据库数据的复制时,需要进行站点间数据的重同步。此时,即可通过本发明实施例的数据库数据的同步方法来实现上述目的。需要说明的是,在本发明实施例中所描述的“主站点”及“备份站点”,在名称上的不同仅是为了区分两个站点,而并非用以限定两站点在功能或优先级上的区别,在实际应用中,根据应用环境和需要的不同,“主站点”及“备份站点”均可以被设置为“主站点”或是“备份站点”,本发明并不以此为限。
上述的步骤S101,在主站点处于运行状态时,将主站点的数据从主站点的第一磁盘复制至主站点的第二磁盘。主站点在正常运行并提供服务时,通过同步复制技术(PPRC)完成对主站点中的第一磁盘(磁盘A)和第二磁盘(磁盘A’)同步写操作,以此保证第一磁盘和第二磁盘具备同样的内容。采用同步复制技术(PPRC),能够使得目标数据(需要进行备份的数据)具有一致性。在配置同步复制技术的环境中,通常将主机IO传输至磁盘的写入的第一磁盘称为一级磁盘,第二磁盘称为二级磁盘。在一级磁盘、二级磁盘写入完成后数据写入才算成功,因此,一级磁盘、二级磁盘具备完全的数据一致性。
当主站点中的系统需要按计划进行数据的复制和备份,或是系统发生故障需进行数据备份时,执行上述步骤S102,在备份站点中,停止待进行同步的数据库子系统及应用系统,并将位于备份站点的第三磁盘(磁盘B)停用,将第二磁盘中的数据异步复制至第三磁盘。
停用第三磁盘,使得该第三磁盘不能再被备份站点访问,建立第二磁盘与第三磁盘的异步复制(PPRC-XD)关系,从而实现将磁盘数据从主站点传输至备份站点。由于第二磁盘与第三磁盘之间的数据传输过程为异步过程,对主站点的磁盘本身性能影响较小,主站点可正常提供数据服务。
在将数据从第二磁盘向第三磁盘异步传输的过程中,通过上述步骤S103,判断第二磁盘中异步复制至第三磁盘的数据是否达到第二磁盘中数据总量的一预设比例。具体实施时,该预设比例可为一接近100%的比例范围,例如:98%、99%、99.5%等,具体的比例取值可根据数据复制的需求而定,本发明并不以此为限。
当步骤S103中判定第二磁盘中异步复制至第三磁盘的数据达到了第二磁盘中数据总量的该预设比例时,执行上述步骤S104,终止将主站点的数据从第一磁盘复制至第二磁盘的过程,并将第二磁盘中的数据转换为同步复制至第三磁盘。此时相当于建立了主站点与备份站点的数据完全同步,并且拥有完全的数据一致性,尚未复制至第三磁盘的数据仅占第二磁盘中数据总量的很小一部分(当将预设比例设定为99%时,则表示仅有1%的数据尚未复制至第三磁盘)。通常情况下,尚未复制至第三磁盘的数据(例如相对于99%来说,即剩余1%的数据)也可在较短的时间(例如是30分钟)内通过数据库复制完成。
上述的步骤S105,终止将第二磁盘中的磁盘数据同步复制至第三磁盘的过程,恢复将主站点的数据从第一磁盘复制至第二磁盘的过程,并激活第三磁盘。在通过步骤S103及步骤S104确定第二磁盘中的数据已经基本复制至第三磁盘后,即可恢复备份站点的运行环境:终止将第二磁盘中的磁盘数据同步复制至第三磁盘的过程,恢复将主站点的数据从第一磁盘复制至第二磁盘的过程。同时,将在步骤S102中停用的第三磁盘激活,使得第三磁盘能够被正常访问。
经过上述各步骤,已经使得备份站点和主站点之间仅有很小一部分(例如上述的1%)的数据差,具备数据库复制条件,此时执行步骤S106,通过数据库复制,完成断开磁盘复制关系后的分钟级数据(例如步骤S103中所描述的30分钟内可传输完成的尚未复制至第三磁盘的数据)的复制,从而完成主站点到备份站点的数据全量同步。
本发明实施例的数据库数据的同步方法主要具有以下几点改进和进步:
1、数据重同步时间短,数据同步时间差可控,可令百TB级别数据库数据同步时间在6-8小时左右,并在30分钟内完成数据差的一致点数据的复制,有效保证了双活架构数据同步基准。
2、由于本发明实施例的同步方法几乎不占用CPU、以及少量的IO资源,在数据重同步期间,主站点对外提供正常服务,并且保证在数据重同步期间全程本地数据高可用,可保证系统的运行安全,且系统几乎没有性能下降的情况发生。
3、站点恢复速度快,在数据完成同步后,被同步数据中心(备份站点)可以快速启动对外服务。
在具体实施时,如图3所示,在上述的步骤S101之后,本发明实施例的数据库数据的同步方法还可包括一判断步骤,步骤S107:判断主站点和备份站点之间是否具备完整数据复制条件,如果主站点与备份站点之间不具备数据库复制条件,执行上述的步骤S102,通过磁盘间的数据复制过程,完成主站点与备份站点间的数据复制。
如果主站点与备份站点之间具备数据库复制条件,则执行步骤S108:将主站点的数据库数据同步复制至备份站点。其中,上述的数据库复制条件是指:主站点的数据库中包含待复制的磁盘文件及相应的目录信息。
本发明实施例还提供一种数据库数据的同步装置,如图4所示,该同步装置主要包括:磁盘数据复制单元1、磁盘数据异步复制单元2、预设比例判断单元3、磁盘数据同步复制单元4、磁盘激活单元5及数据同步复制单元6等。
其中,上述的磁盘数据复制单元1,用于在主站点处于运行状态时,将主站点的数据从主站点的第一磁盘复制至主站点的第二磁盘。主站点在正常运行并提供服务时,通过同步复制技术(PPRC)完成对主站点中的第一磁盘(磁盘A)和第二磁盘(磁盘A’)同步写操作,以此保证第一磁盘和第二磁盘具备同样的内容。采用同步复制技术(PPRC),能够使得目标数据(需要进行备份的数据)具有一致性。在配置同步复制技术的环境中,通常将主机IO传输至磁盘的写入的第一磁盘称为一级磁盘,第二磁盘称为二级磁盘。在一级磁盘、二级磁盘写入完成后数据写入才算成功,因此,一级磁盘、二级磁盘具备完全的数据一致性。
当主站点中的系统需要按计划进行数据的复制和备份,或是系统发生故障需进行数据备份时,触发上述的磁盘数据异步复制单元2,在备份站点中,停止待进行同步的数据库子系统及应用系统,并将位于备份站点的第三磁盘(磁盘B)停用,将第二磁盘中的数据异步复制至第三磁盘。
停用第三磁盘,使得该第三磁盘不能再被备份站点访问,建立第二磁盘与第三磁盘的异步复制(PPRC-XD)关系,从而实现将磁盘数据从主站点传输至备份站点。由于第二磁盘与第三磁盘之间的数据传输过程为异步过程,对主站点的磁盘本身性能影响较小,主站点可正常提供数据服务。
在将数据从第二磁盘向第三磁盘异步传输的过程中,通过上述的预设比例判断单元3,判断异步复制至第三磁盘的数据是否达到第二磁盘中数据总量的一预设比例。具体实施时,该预设比例可为一接近100%的比例范围,例如:98%、99%、99.5%等,具体的比例取值可根据数据复制的需求而定,本发明并不以此为限。
当预设比例判断单元3判定第二磁盘中异步复制至第三磁盘的数据达到了第二磁盘中数据总量的该预设比例时,即可通过上述磁盘数据同步复制单元4,终止将主站点的数据从第一磁盘复制至第二磁盘的过程,并将第二磁盘中的数据转换为同步复制至第三磁盘。此时相当于建立了主站点与备份站点的数据完全同步,并且拥有完全的数据一致性,尚未复制至第三磁盘的数据仅占第二磁盘中数据总量的很小一部分(当将预设比例设定为99%时,则表示仅有1%的数据尚未复制至第三磁盘)。通常情况下,尚未复制至第三磁盘的数据(例如相对于99%来说,即剩余1%的数据)也可在较短的时间(例如是30分钟)内通过数据库复制完成。
上述的磁盘激活单元5,用于终止将第二磁盘中的磁盘数据同步复制至第三磁盘的过程,恢复将主站点的数据从第一磁盘复制至第二磁盘的过程,并激活第三磁盘。在通过预设比例判断单元3及磁盘数据同步复制单元4确定第二磁盘中的数据已经基本复制至第三磁盘后,即可恢复备份站点的运行环境:终止将第二磁盘中的磁盘数据同步复制至第三磁盘的过程,恢复将主站点的数据从第一磁盘复制至第二磁盘的过程。同时,将通过磁盘数据异步复制单元2停用的第三磁盘激活,使得第三磁盘能够被正常访问。
经过上述各单元的处理过程,已经使得备份站点和主站点之间仅有很小一部分(例如上述的1%)的数据差,具备数据库复制条件,此时触发上述的数据同步复制单元6,通过数据库复制,将第二磁盘中未异步复制至第三磁盘的数据从主站点同步复制至备份站点,完成断开磁盘复制关系后的分钟级数据(例如上述的30分钟内可传输完成的尚未复制至第三磁盘的数据)的复制,从而完成主站点到备份站点的数据全量同步。
本发明实施例的数据库数据的同步装置主要具有以下几点改进和进步:
1、数据重同步时间短,数据同步时间差可控,可令百TB级别数据库数据同步时间在6-8小时左右,并在30分钟内完成数据差的一致点数据的复制,有效保证了双活架构数据同步基准。
2、由于本发明实施例的同步方法几乎不占用CPU、以及少量的IO资源,在数据重同步期间,主站点对外提供正常服务,并且保证在数据重同步期间全程本地数据高可用,可保证系统的运行安全,且系统几乎没有性能下降的情况发生。
3、站点恢复速度快,在数据完成同步后,被同步数据中心(备份站点)可以快速启动对外服务。
在具体实施时,如图5所示,本发明实施例的数据库数据的同步装置还可包括一数据库复制条件判断单元7,用于判断主站点和备份站点之间是否具备完整数据复制条件,如果主站点与备份站点之间不具备数据库复制条件,触发上述的磁盘数据异步复制单元2,通过磁盘间的数据复制过程,完成主站点与备份站点间的数据复制。
如果主站点与备份站点之间具备数据库复制条件,则触发数据库数据复制单元8,将主站点的数据库数据同步复制至备份站点。其中,上述的数据库复制条件是指:主站点的数据库中包含待复制的磁盘文件及相应的目录信息。
在实际应用中,本发明实施例的数据库数据的同步装置可具体实施为一大规模数据库数据复制系统,如图6所示,大规模数据库数据复制系统可分为三个模块:文件布局模块、磁盘复制模块、数据库复制模块,其中:
(1)文件布局模块:文件布局模块即可作为上述的主站点及备份站点。在主机(主站点)中,任何应用(包括数据库)在进行数据请求时首先需要访问主机目录系统,通过目录系统定位磁盘绝对位置后,才可以访问到物理磁盘文件,文件布局模块将文件目录信息和物理磁盘文件同步部署到复制源中,复制完成后,在备份站点重构目录系统,以确保复制的数据可以被备份站点访问。
(2)磁盘复制模块:磁盘复制模块可执行同步复制(如PPRC技术)和远程异步复制(PPRC-XD),通过同步复制可以实现两份磁盘数据的完全一致性,在通过异步复制可以实现远距离数据的磁盘实时复制。该大规模数据库数据复制系统通过先异步再同步复制的方式,可在主站点和备份站点之间建立较小的数据差。在本发明实施例中,可通过该数据库数据的同步装置的磁盘数据复制单元1、磁盘数据异步复制单元2、预设比例判断单元3、磁盘数据同步复制单元4、磁盘激活单元5及数据同步复制单元6即可实现该磁盘复制模块的功能。
(3)数据库复制模块:数据库复制模块通过数据库工具完成主站点及备份站点之间的数据同步,在磁盘复制模块完成主站点及备份站点的数据准备(仅有较少数据差)后,通过数据库复制模块完成最终两个站点的数据同步,并实时复制,保持这种站点的数据同步。在本发明实施例中,可通过该数据库数据的同步装置的数据库复制条件判断单元7及数据库数据复制单元8来实现该数据库复制模块的功能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读取存储介质中,比如ROM/RAM、磁碟、光盘等。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据库数据的同步方法,其特征在于,所述的同步方法包括:
步骤a:在第一站点处于运行状态时,将所述第一站点的数据从所述第一站点的第一磁盘复制至所述第一站点的第二磁盘;
步骤b:在第二站点中,停止待进行同步的数据库子系统及应用系统,并将位于所述第二站点的第三磁盘停用,将所述第二磁盘中的数据异步复制至所述的第三磁盘;
步骤c:判断异步复制至所述第三磁盘的数据是否达到所述第二磁盘中数据总量的一预设比例;如果是,执行步骤d;
步骤d:终止将所述第一站点的数据从所述第一磁盘复制至所述第二磁盘的过程,并将所述第二磁盘中的数据转换为同步复制至所述的第三磁盘;
步骤e:终止将所述第二磁盘中的磁盘数据同步复制至所述第三磁盘的过程,恢复将所述第一站点的数据从所述第一磁盘复制至所述第二磁盘的过程,并激活所述的第三磁盘;
步骤f:将所述第二磁盘中未异步复制至所述第三磁盘的数据从所述第一站点同步复制至所述的第二站点。
2.根据权利要求1所述的数据库数据的同步方法,其特征在于,在步骤a之后,步骤b之前,所述的同步方法还包括:
步骤g:判断所述第一站点与第二站点之间是否具备数据库复制条件;
如果所述第一站点与第二站点之间不具备数据库复制条件,执行所述步骤b,在第二站点中,停止待进行同步的数据库子系统及应用系统,并将位于所述第二站点的第三磁盘停用,将所述第二磁盘中的数据异步复制至所述的第三磁盘。
3.根据权利要求2所述的数据库数据的同步方法,其特征在于,如果所述步骤g中,判定所述第一站点与第二站点之间具备数据库复制条件,执行步骤h:将所述第一站点的数据库数据同步复制至所述的第二站点。
4.根据权利要求3所述的数据库数据的同步方法,其特征在于,当所述第一站点的数据库中包含待复制的磁盘文件及相应的目录信息时,判定所述第一站点与第二站点之间具备数据库复制条件。
5.根据权利要求1所述的数据库数据的同步方法,其特征在于,所述的预设比例为99%。
6.一种数据库数据的同步装置,其特征在于,所述的同步装置包括:
磁盘数据复制单元,用于在第一站点处于运行状态时,将所述第一站点的数据从所述第一站点的第一磁盘复制至所述第一站点的第二磁盘;
磁盘数据异步复制单元,用于在第二站点中,停止待进行同步的数据库子系统及应用系统,并将位于所述第二站点的第三磁盘停用,将所述第二磁盘中的数据异步复制至所述的第三磁盘;
预设比例判断单元,用于判断异步复制至所述第三磁盘的数据是否达到所述第二磁盘中数据总量的一预设比例;如果是,触发磁盘数据同步复制单元;
磁盘数据同步复制单元,用于终止将所述第一站点的数据从所述第一磁盘复制至所述第二磁盘的过程,并将所述第二磁盘中的数据转换为同步复制至所述的第三磁盘;
磁盘激活单元,用于终止将所述第二磁盘中的磁盘数据同步复制至所述第三磁盘的过程,恢复将所述第一站点的数据从所述第一磁盘复制至所述第二磁盘的过程,并激活所述的第三磁盘;
数据同步复制单元,用于将所述第二磁盘中未异步复制至所述第三磁盘的数据从所述第一站点同步复制至所述的第二站点。
7.根据权利要求6所述的数据库数据的同步装置,其特征在于,所述的同步装置还包括:
数据库复制条件判断单元,用于判断所述第一站点与第二站点之间是否具备数据库复制条件;
如果所述第一站点与第二站点之间不具备数据库复制条件,触发所述的磁盘数据异步复制单元。
8.根据权利要求7所述的数据库数据的同步装置,其特征在于,如果所述数据库复制条件判断单元判定所述第一站点与第二站点之间具备数据库复制条件,触发数据库数据复制单元,所述的数据库数据复制单元用于将所述第一站点的数据库数据同步复制至所述的第二站点。
9.根据权利要求8所述的数据库数据的同步装置,其特征在于,当所述第一站点的数据库中包含待复制的磁盘文件及相应的目录信息时,所述数据库复制条件判断单元判定所述第一站点与第二站点之间具备数据库复制条件。
10.根据权利要求6所述的数据库数据的同步装置,其特征在于,所述的预设比例为99%。
CN201510262423.5A 2015-05-21 2015-05-21 一种数据库数据的同步方法及装置 Active CN104850628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510262423.5A CN104850628B (zh) 2015-05-21 2015-05-21 一种数据库数据的同步方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510262423.5A CN104850628B (zh) 2015-05-21 2015-05-21 一种数据库数据的同步方法及装置

Publications (2)

Publication Number Publication Date
CN104850628A true CN104850628A (zh) 2015-08-19
CN104850628B CN104850628B (zh) 2018-06-15

Family

ID=53850272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510262423.5A Active CN104850628B (zh) 2015-05-21 2015-05-21 一种数据库数据的同步方法及装置

Country Status (1)

Country Link
CN (1) CN104850628B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105487944A (zh) * 2015-12-31 2016-04-13 成都华为技术有限公司 数据备份系统中复制模式转换的方法及装置
CN107526652A (zh) * 2016-06-21 2017-12-29 华为技术有限公司 一种数据同步方法及存储设备
CN109086169A (zh) * 2018-07-19 2018-12-25 郑州云海信息技术有限公司 一种数据恢复方法、装置和计算机可读存储介质
CN112433887A (zh) * 2020-11-25 2021-03-02 中国建设银行股份有限公司 一种数据库数据同步方法、系统、设备及存储介质
CN112463888A (zh) * 2020-12-07 2021-03-09 中国工商银行股份有限公司 双站点数据库数据同步方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101415016A (zh) * 2007-10-17 2009-04-22 深圳市亚贝电气技术有限公司 一种数据复制方法、系统和存储服务器
CN101656624A (zh) * 2008-08-18 2010-02-24 中兴通讯股份有限公司 一种多节点应用级容灾系统及容灾方法
CN103067506A (zh) * 2012-12-28 2013-04-24 中国科学院计算技术研究所 一种块设备异步数据迁移方法和系统
CN103226502A (zh) * 2013-05-21 2013-07-31 中国工商银行股份有限公司 一种数据灾备控制系统及数据恢复方法
US8725694B2 (en) * 2005-12-19 2014-05-13 Commvault Systems, Inc. Systems and methods for performing replication copy storage operations

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8725694B2 (en) * 2005-12-19 2014-05-13 Commvault Systems, Inc. Systems and methods for performing replication copy storage operations
CN101415016A (zh) * 2007-10-17 2009-04-22 深圳市亚贝电气技术有限公司 一种数据复制方法、系统和存储服务器
CN101656624A (zh) * 2008-08-18 2010-02-24 中兴通讯股份有限公司 一种多节点应用级容灾系统及容灾方法
CN103067506A (zh) * 2012-12-28 2013-04-24 中国科学院计算技术研究所 一种块设备异步数据迁移方法和系统
CN103226502A (zh) * 2013-05-21 2013-07-31 中国工商银行股份有限公司 一种数据灾备控制系统及数据恢复方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105487944A (zh) * 2015-12-31 2016-04-13 成都华为技术有限公司 数据备份系统中复制模式转换的方法及装置
CN105487944B (zh) * 2015-12-31 2018-11-30 成都华为技术有限公司 数据备份系统中复制模式转换的方法及装置
CN107526652A (zh) * 2016-06-21 2017-12-29 华为技术有限公司 一种数据同步方法及存储设备
CN109086169A (zh) * 2018-07-19 2018-12-25 郑州云海信息技术有限公司 一种数据恢复方法、装置和计算机可读存储介质
CN112433887A (zh) * 2020-11-25 2021-03-02 中国建设银行股份有限公司 一种数据库数据同步方法、系统、设备及存储介质
CN112463888A (zh) * 2020-12-07 2021-03-09 中国工商银行股份有限公司 双站点数据库数据同步方法及系统
CN112463888B (zh) * 2020-12-07 2024-05-28 中国工商银行股份有限公司 双站点数据库数据同步方法及系统

Also Published As

Publication number Publication date
CN104850628B (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
US10042579B1 (en) Crash consistent snapshot
US8898112B1 (en) Write signature command
US8788772B2 (en) Maintaining mirror and storage system copies of volumes at multiple remote sites
CN101719165B (zh) 一种实现数据库高效快速备份的方法
US9256605B1 (en) Reading and writing to an unexposed device
CN102891849B (zh) 业务数据同步方法、恢复方法及装置和网络设备
US8874508B1 (en) Systems and methods for enabling database disaster recovery using replicated volumes
US9032160B1 (en) Continuous data replication
US9672117B1 (en) Method and system for star replication using multiple replication technologies
CN111078667B (zh) 一种数据迁移的方法以及相关装置
US11080148B2 (en) Method and system for star replication using multiple replication technologies
US20050071391A1 (en) High availability data replication set up using external backup and restore
US8732128B2 (en) Shadow copy bookmark generation
CN104850628A (zh) 一种数据库数据的同步方法及装置
JP2007310701A (ja) データベースシステム、ストレージ装置、初期コピー方法及びログ適用方法
US20120136827A1 (en) Periodic data replication
CN105302667B (zh) 基于集群架构的高可靠性数据备份与恢复方法
CN107241430A (zh) 一种基于分布式存储的企业级容灾系统及容灾控制方法
US10592128B1 (en) Abstraction layer
CN115858236A (zh) 一种数据备份方法和数据库集群
CN103136070A (zh) 一种数据容灾处理的方法和装置
WO2017122060A1 (en) Parallel recovery for shared-disk databases
US9367413B2 (en) Detecting data loss during site switchover
US10296517B1 (en) Taking a back-up software agnostic consistent backup during asynchronous replication
CN105653718A (zh) 存储磁盘快照环境下保证快照后数据库数据一致性的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant