CN107153644A - 一种数据同步方法及装置 - Google Patents

一种数据同步方法及装置 Download PDF

Info

Publication number
CN107153644A
CN107153644A CN201610118212.9A CN201610118212A CN107153644A CN 107153644 A CN107153644 A CN 107153644A CN 201610118212 A CN201610118212 A CN 201610118212A CN 107153644 A CN107153644 A CN 107153644A
Authority
CN
China
Prior art keywords
data
server
caching
write
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610118212.9A
Other languages
English (en)
Other versions
CN107153644B (zh
Inventor
姚陶钧
陈羲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610118212.9A priority Critical patent/CN107153644B/zh
Publication of CN107153644A publication Critical patent/CN107153644A/zh
Application granted granted Critical
Publication of CN107153644B publication Critical patent/CN107153644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据同步方法及装置,该方法包括:第一服务器接收写请求,其中,所述第一服务器与第一数据库相匹配,根据所述写请求,将与所述写请求对应的数据写入至所述第一数据库,将写入的数据作为待同步数据加载至该第一服务器的第一缓存中,根据第一缓存中加载的待同步数据,生成缓存同步数据发送给第二服务器,使得所述第二服务器根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,完成数据同步。通过本方法,可以有效保证第二缓存中的数据实时获取同步更新,不会因长时间不更新导致第二缓存中的数据失效。

Description

一种数据同步方法及装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据同步方法及装置。
背景技术
随着信息技术的发展,在线系统(如:网站)的访问量不断增加,用户规模不断扩大,为了保证用户获得在线系统所提供的业务服务的稳定性和效率,在线系统后台的服务器和相应的数据库通常会部署在异地,其中,部署于异地的数据库往往是读写分离的两类数据库,即,读数据库和写数据库。
现有技术中,为了减缓大量访问请求的压力,并提升对业务处理的效率,服务器会针对相应的业务设置缓存,即,将该业务对应的数据存储于缓存中(缓存中的数据与数据库中的该业务对应的数据一致),从而,服务器可以通过缓存中的数据对数据库中的数据执行读/写操作,最终完成对业务的处理。
具体地,如图1所示,第一服务器和第一数据库位于A地,相应地,第二服务器和第二数据库位于B地,第一服务器和第二服务器分别具有相应的缓存,缓存中的数据分别与第一数据库和第二数据库中的数据一致,此时,位于A地的第一服务器处理业务后将相应的数据写入第一数据库中,第一数据库和位于B地的第二数据库之间保持数据传输,也即,第一数据库和第二数据库中的数据可保持同步。
但是,当第一服务器通过缓存修改了第一数据库中的数据后,对于B地的第二服务器而言,其中的缓存内的数据就会失效(也即,当前第二服务器的缓存内的数据与第二数据库中的数据并不一致),这就会导致查询业务所查询到的数据不准确。
发明内容
本申请实施例提供一种数据同步方法及装置,用以解决现有技术中异地服务器中缓存数据同步的问题。
本申请实施例提供的一种数据同步方法,包括:
第一服务器接收写请求,其中,所述第一服务器与第一数据库相匹配;
根据所述写请求,将与所述写请求对应的数据写入至所述第一数据库;
将写入的数据作为待同步数据加载至该第一服务器的第一缓存中;
根据第一缓存中加载的待同步数据,生成缓存同步数据发送给第二服务器,使得所述第二服务器根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,完成数据同步。
本申请实施例还提供的一种数据同步方法,包括:
第二服务器接收由第一服务器发送的缓存同步数据;其中,所述缓存同步数据是第一服务器将数据写请求对应的数据写入至第一数据库中,并将写入的数据作为待同步数据加载至第一缓存中的;
根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,完成数据同步。
本申请实施例提供的一种数据同步装置,包括:
接收模块,用于接收写请求,其中,所述第一服务器与第一数据库相匹配;
写入模块,用于根据所述写请求,将与所述写请求对应的数据写入至所述第一数据库;
加载模块,用于将写入的数据作为待同步数据加载至该第一服务器的第一缓存中;
数据同步模块,用于根据第一缓存中加载的待同步数据,生成缓存同步数据发送给第二服务器,使得所述第二服务器根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,完成数据同步。
本申请实施例还提供的一种数据同步装置,包括:
接收模块,用于接收由第一服务器发送的缓存同步数据;其中,所述缓存同步数据是第一服务器将数据写请求对应的数据写入至第一数据库中,并将写入的数据作为待同步数据加载至第一缓存中的;
数据同步模块,用于根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,完成数据同步。
本申请实施例提供一种数据同步方法及装置,通过该方法,当第一服务器根据写请求将相应的数据写入至第一数据库,并将写入的数据加载至第一缓存后,会向位于异地的第二服务器发送缓存同步数据,以使得第二服务器根据缓存同步数据,将待同步的数据写入第二缓存中,从而完成缓存中数据的同步操作。这样的方式可以有效保证第二缓存中的数据实时获取同步更新,不会因长时间不更新导致第二缓存中的数据失效。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为异地服务器与数据库的架构示意图;
图2为本申请实施例提供的一种数据同步过程;
图3为本申请实施例提供的另一种数据同步过程;
图4为本申请实施例提供的基于图1所示的架构下在实际应用时的数据同步过程;
图5为本申请实施例提供的数据同步装置结构示意图;
图6为本申请实施例提供的数据同步装置结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施中,异地的服务器和数据库的结构关系仍可以参考图1,在图1所示的结构关系的基础上,本申请实施例中提供一种数据同步方法,如图2所示,具体包括以下步骤:
S201:第一服务器接收写请求。
其中,第一服务器与第一数据库相匹配。
所述的第一服务器,是在线系统后台用于处理业务的服务器,可以认为,第一服务器在对业务进行处理时,用于向第一数据库写入数据,这里的写入数据包括对数据的修改、删除、增加等操作。也就是说,在本申请实施例中,第一服务器用于执行写操作。当然,在实际应用中,第一服务器可以具备对第一数据库中的数据进行查询、读取的操作,在本申请中将针对第一服务器执行写操作的场景进行说明,这并不构成对本申请的限定。
所述的第一数据库,具体是一种写数据库,也即,第一数据库可接收第一服务器写入数据。在实际应用中,第一数据库和第一服务器处于同一位置(即如图1所示)。
正如前述,第一服务器可以执行写操作,所以,第一服务器可对相应业务的写请求进行处理。本申请实施中,写请求由相应的业务发出。这里并不作具体限定。
S202:根据所述写请求,将与所述写请求对应的数据写入至所述第一数据库。
上述写请求对应的数据就是需要进行增加、删除或修改等操作的数据,那么,第一服务器在接收到写请求后,就会将相应的数据写入至与第一服务器相匹配的第一数据库中。
S203:将写入的数据作为待同步数据加载至该第一服务器的第一缓存中。
作为在本申请实施例中的一种方式,所述的第一缓存可以是第一服务器在其内存中创建的缓存,而在本申请实施例中的另一种方式下,若在A地有多台服务器,那么,第一缓存可由单独的缓存设备实现,也即,多台服务器共用第一缓存。这两种方式将根据实际应用的需要进行设定,并不构成对本申请的限定。
当第一服务器将相应的数据写入至第一服务器后,为了保证该第一缓存中的数据与第一数据库内的数据的一致性,所以,第一服务器还会将写入至第一数据库中的数据加载至第一缓存中。可以认为,第一服务器加载至第一缓存中的数据在后续过程中将同步至第二缓存中,故第一服务器加载至第一缓存中的数据也称为待同步数据(此时还未进行缓存之间的数据同步操作)。之后将执行缓存之间的数据同步操作,也即,执行下述步骤S204。
S204:根据第一缓存中加载的待同步数据,生成缓存同步数据发送给第二服务器,使得所述第二服务器根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,完成数据同步。
需要说明的是,在实际应用时,第一数据库和第二数据库之间会保持实时的数据同步,也就是说,经过前述步骤后,第一服务器写入至第一数据库中的数据将同步是第二数据库中。但此时,第二缓存内的数据未被同步,其中的数据已成为过期数据。
基于此,在本申请实施例中,当第一服务器将写入至第一数据库中的数据加载至第一缓存中后,为了保证第二缓存内的数据也能够同步,故第一服务器会将第一缓存中加载的待同步数据,发送给第二服务器,使得第二服务器完成对第二缓存的数据同步操作。
当然,对于上述的第二服务器而言,可以是在线系统后台用于处理查询业务的服务器(即,在实际应用时,第二服务器所处理的请求通常时读请求)。此外,对于第二缓存而言,与上述的第一缓存相类似,既可以是由第二服务器在其内存中所创建的,也可以是由相应的缓存设备实现,供多台服务器使用。这里并不构成对本申请的限定。
通过上述步骤,当第一服务器根据写请求将相应的数据写入至第一数据库,并将写入的数据加载至第一缓存后,会向位于异地的第二服务器发送缓存同步数据,以使得第二服务器根据缓存同步数据,将待同步的数据写入第二缓存中,从而完成缓存中数据的同步操作。这样的方式可以有效保证第二缓存中的数据实时获取同步更新,不会因长时间不更新导致第二缓存中的数据失效。
对于本申请的上述内容需要说明的是,在实际应用中,第一服务器在向第二服务器发送缓存同步数据时,通常是以消息体的方式发送,其中,消息体是一种数据载体,用于传输数据,如:超文本传输协议(HyperText Transfer Protocol,HTTP)消息体。消息体所承载的数据大小有限,而第一缓存中的待同步数据的大小可能超过消息体所能承载的数据容量大小,这种情况下将影响两个异地的服务器之间的数据传输。
而考虑到在实际应用中,数据库可提供一种能够起到标识作用的sequence数据,那么,如果使用sequence数据来代替数据大小过大的待同步数据,则能够保证异地的两个服务器之间正常的数据传输。
因此,在本申请实施例中,在将与所述写请求对应的数据写入至所述第一数据库之前,所述方法还包括:所述第一服务器向所述第一数据库申请sequence数据,建立该sequence数据与所述写请求对应的数据的关联关系。
sequence数据具体是一种不重复、具有唯一性的序列,由第一数据库提供。具体地,第一数据库将根据第一服务器的申请,为第一服务器提供sequence数据(一次申请获得一个sequence数据),第一服务器在获得了sequence数据后,就会建立sequence数据和写请求对应的数据之间的关联关系。并将sequence数据和对应的数据一并写入至第一数据库中。
也即,对于前述步骤S202中,将与所述写请求对应的数据写入至所述第一数据库,具体包括:将所述数据以及与该数据相关联的sequence数据写入至所述第一数据库。
在实际应用时,第一数据库将构建一张数据表,用以记录sequence数据与写请求对应的数据之间的关联关系。
例如:如表1所示,为第一数据库所构建的sequence数据表,其中,sequence数据表记录了sequence数据和由第一服务器所写入的数据之间的关联关系。
表1
在表1中可见,由第一服务器写入至第一数据库中的数据,都会有相应的sequence数据与其对应。当然,如表1所示的sequence表将存储于第一数据库中,这里并不构成对本申请的限定。
之后,第一服务器也会将sequence数据加载至第一缓存中,即,对于上述步骤S203中,将写入的数据作为待同步数据加载至该第一服务器的第一缓存中,具体包括:将所述数据以及与该数据相关联的sequence数据加载至所述第一缓存中。
这样一来,此时第一缓存中就存储了sequence数据以及第一服务器写入第一数据库中的数据。
在此情况下,上述步骤S204中,根据第一缓存中加载的待同步数据,生成缓存同步数据发送给第二服务器,具体包括:判断加载至第一缓存中的数据大小是否超过预设的消息体容量阈值,若是,则根据所述第一缓存中的sequence数据生成缓存同步数据,发送给第二服务器,否则,则根据所述第一缓存中的待同步数据生成缓存同步数据,发送给第二服务器。
也就是说,如果要进行同步的数据的大小超过了消息体能够承载的数据容量,那么,就将sequence数据作为缓存同步数据发送给第二服务器,相反地,如果要进行同步的数据的大小在消息体能够承载的数据容量之内,那么,可以直接将待同步的数据作为缓存同步数据发送给第二服务器。
具体而言,在实际应用中的一种方式下,加载至第一缓存内的数据格式通常为键值对的形式,如:<key,value>。如果数据大小超过消息体的容量阈值,那么,就以<key,sequence>的方式作为缓存同步数据;而如果数据大小并未超过消息体的容量阈值,那么,就直接以<key,value>的方式作为缓存同步数据。
通过上述内容可见,正是通过使用sequence数据的方式,能够在进行缓存数据同步的过程中,有效避免因为传输的数据大小超过消息体容量阈值,导致数据传输过程受到影响。
以上内容是基于第一服务器侧的描述,对于异地的第二服务器而言,本申请实施例中还提供一种数据同步方法,如图3所示,具体包括以下步骤:
S301:第二服务器接收由第一服务器发送的缓存同步数据。
其中,所述缓存同步数据是第一服务器将数据写请求对应的数据写入至第一数据库中,并将写入的数据作为待同步数据加载至第一缓存中的。
S302:根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,完成数据同步。
如前所述,由第一服务器发送的缓存同步数据可能有两种情况,一种情况为:缓存同步数据中包含写请求对应的数据。另一种情况为:缓存同步数据中包含与写请求对应的数据具有关联关系的sequence数据。若为第一种情况,那么,第二服务器可以直接将缓存同步数据加载至第二缓存中,而若为第二种情况,第二服务器需要从与之匹配的第二数据库中,查找与sequence数据相对应的数据。
具体而言:
在所述缓存同步数据中包含写请求对应的数据的场景下,上述步骤S302中,加载所述缓存同步数据至所述第二服务器的第二缓存中,具体包括:直接将所述缓存同步数据加载至所述第二服务器的第二缓存中。
在所述缓存同步数据中包含sequence数据的场景下,上述步骤S302中,加载所述缓存同步数据至所述第二服务器的第二缓存中,具体包括:根据所述sequence数据,从与所述第二服务器相匹配的第二数据库中查找与该sequence数据相关联的数据,将查找到的、与sequence数据相关联的数据懒加载至所述第二服务器的第二缓存中。
从上述内容中可见,sequence数据起到了数据标识的作用,通过sequence数据,能够有效减少在异地的两个服务器之间所传输的数据的大小,便于数据的传输,当第二服务器接收到了sequence数据,就可以根据sequence数据从第二数据库中查找与该sequence数据相匹配的数据,加载至第二缓存中,也保证了第二缓存中的数据能够及时得到同步更新。
当然,在本申请实施例中的一种方式下,第二服务器采用懒加载的方式,将与sequence数据具有关联关系的数据加载至第二缓存中。其中,懒加载是指在有需求时才进行加载,换言之,只有当第二服务器接收到了相应的查询请求后,才会将查询请求所要查询的数据从第二数据库中加载至第二缓存中,这样的方式能够减缓第二服务器的运行负荷。
这里需要说明的是,若第二服务器采用上述懒加载的方式,那么,当第二服务器接收到了包含有sequence数据的缓存同步数据后,将删除第二缓存中当前同属于同一业务的数据,这样以便于后续根据查询请求对相应的数据进行懒加载。
此外,在实际应用时,处于异地的两个数据库之间进行数据同步时,第二数据库中的数据可能并未及时完成同步(可能由网络延迟、数据库的工作负荷等原因所导致,这里不作具体限定),在这样的情况下,所述方法还包括:若未查找到与sequence数据相关联的数据,则进行重试,并在重试指定次数后,向第一服务器发送同步失败通知。
例如,当第二服务器根据sequence数据在第二数据库中未查找到对应的数据时,第二服务器可以重试3次,并在重试了3次均未查找到时,则将发送同步失败通知。
结合上述如图2和图3所示的数据同步方法,在实际应用时,具体如图4所示,包括:
S401:第一服务器接收写请求。
S402:根据所述写请求,将与所述写请求对应的数据写入至所述第一数据库。
S403:将写入的数据作为待同步数据加载至该第一服务器的第一缓存中。
S404:根据第一缓存中加载的待同步数据,生成缓存同步数据发送给第二服务器。其中,若缓存同步数据中包含写请求对应的数据,则执行步骤S405;若缓存同步数据中包含sequence数据,则执行步骤S406及步骤S407。
S405:第二服务器直接将所述缓存同步数据加载至所述第二服务器的第二缓存中。
S406:第二服务器根据所述sequence数据,从第二数据库中查找与该sequence数据相关联的数据。
S407:第二服务器将查找到的、与sequence数据相关联的数据懒加载至第二缓存中。
以上为本申请实施例提供的数据同步方法基于同样的思路,本申请实施例还提供一种数据同步装置,如图5所示。在图5中,所述数据同步装置包括:接收模块501、写入模块502、加载模块503、数据同步模块504,其中,
接收模块501,用于接收写请求,其中,所述第一服务器与第一数据库相匹配。
写入模块502,用于根据所述写请求,将与所述写请求对应的数据写入至所述第一数据库。
加载模块503,用于将写入的数据作为待同步数据加载至该第一服务器的第一缓存中。
数据同步模块504,用于根据第一缓存中加载的待同步数据,生成缓存同步数据发送给第二服务器,使得所述第二服务器根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,完成数据同步。
在本申请实施例中,所述装置还包括:sequence数据模块505,用于在写入模块502执行之前,向所述第一数据库申请sequence数据,建立该sequence数据与所述写请求对应的数据的关联关系。
基于上述的sequence数据,写入模块502,具体用于将所述数据以及与该数据相关联的sequence数据写入至所述第一数据库。并且,此场景下,加载模块503,具体用于将所述数据以及与该数据相关联的sequence数据加载至所述第一缓存中。
进一步地,数据同步模块504,具体用于判断加载至第一缓存中的数据大小是否超过预设的消息体容量阈值,若是,则根据所述第一缓存中的sequence数据生成缓存同步数据,发送给第二服务器;否则,则根据所述第一缓存中的待同步数据生成缓存同步数据,发送给第二服务器。
在上述装置的基础上,本申请实施例还提供一种数据同步装置,如图6所示。在图6中,所述数据同步装置包括:接收模块601、数据同步模块602,其中,
接收模块601,用于接收由第一服务器发送的缓存同步数据;其中,所述缓存同步数据是第一服务器将数据写请求对应的数据写入至第一数据库中,并将写入的数据作为待同步数据加载至第一缓存中的。
数据同步模块602,用于根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,完成数据同步。
若缓存同步数据中包含写请求对应的数据,则数据同步模块602,具体用于直接将所述缓存同步数据加载至所述第二服务器的第二缓存中。
若缓存同步数据中包含sequence数据,则数据同步模块602,具体用于根据所述sequence数据,从与所述第二服务器相匹配的第二数据库中查找与该sequence数据相关联的数据,将查找到的、与sequence数据相关联的数据懒加载至所述第二服务器的第二缓存中。
此外,数据同步模块602,还用于若未查找到与sequence数据相关联的数据,则进行重试,并在重试指定次数后,向第一服务器发送同步失败通知。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (16)

1.一种数据同步方法,其特征在于,包括:
第一服务器接收写请求,其中,所述第一服务器与第一数据库相匹配;
根据所述写请求,将与所述写请求对应的数据写入至所述第一数据库;
将写入的数据作为待同步数据加载至该第一服务器的第一缓存中;
根据第一缓存中加载的待同步数据,生成缓存同步数据发送给第二服务器,使得所述第二服务器根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,完成数据同步。
2.如权利要求1所述的方法,其特征在于,在将与所述写请求对应的数据写入至所述第一数据库之前,所述方法还包括:
所述第一服务器向所述第一数据库申请sequence数据;
建立该sequence数据与所述写请求对应的数据的关联关系。
3.如权利要求2所述的方法,其特征在于,将与所述写请求对应的数据写入至所述第一数据库,具体包括:
将所述数据以及与该数据相关联的sequence数据写入至所述第一数据库;
将写入的数据作为待同步数据加载至该第一服务器的第一缓存中,具体包括:
将所述数据以及与该数据相关联的sequence数据加载至所述第一缓存中。
4.如权利要求3所述的方法,其特征在于,根据第一缓存中加载的待同步数据,生成缓存同步数据发送给第二服务器,具体包括:
判断加载至第一缓存中的数据大小是否超过预设的消息体容量阈值;
若是,则根据所述第一缓存中的sequence数据生成缓存同步数据,发送给第二服务器;
否则,则根据所述第一缓存中的待同步数据生成缓存同步数据,发送给第二服务器。
5.一种数据同步方法,其特征在于,包括:
第二服务器接收由第一服务器发送的缓存同步数据;其中,所述缓存同步数据是第一服务器将数据写请求对应的数据写入至第一数据库中,并将写入的数据作为待同步数据加载至第一缓存中的;
根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,完成数据同步。
6.如权利要求5所述的方法,其特征在于,所述缓存同步数据中包含写请求对应的数据;
根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,具体包括:
直接将所述缓存同步数据加载至所述第二服务器的第二缓存中。
7.如权利要求5所述的方法,其特征在于,所述缓存同步数据中包含sequence数据;
根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,具体包括:
根据所述sequence数据,从与所述第二服务器相匹配的第二数据库中查找与该sequence数据相关联的数据;
将查找到的、与sequence数据相关联的数据懒加载至所述第二服务器的第二缓存中。
8.如权利要求7所述的方法,其特征在于,所述方法还包括:
若未查找到与sequence数据相关联的数据,则进行重试,并在重试指定次数后,向第一服务器发送同步失败通知。
9.一种数据同步装置,其特征在于,包括:
接收模块,用于接收写请求,其中,所述第一服务器与第一数据库相匹配;
写入模块,用于根据所述写请求,将与所述写请求对应的数据写入至所述第一数据库;
加载模块,用于将写入的数据作为待同步数据加载至该第一服务器的第一缓存中;
数据同步模块,用于根据第一缓存中加载的待同步数据,生成缓存同步数据发送给第二服务器,使得所述第二服务器根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,完成数据同步。
10.如权利要求9所述的装置,其特征在于,所述装置还包括:sequence数据模块,用于在所述写入模块执行之前,向所述第一数据库申请sequence数据,建立该sequence数据与所述写请求对应的数据的关联关系。
11.如权利要求10所述的装置,其特征在于,所述写入模块,具体用于将所述数据以及与该数据相关联的sequence数据写入至所述第一数据库;
所述加载模块,具体用于将所述数据以及与该数据相关联的sequence数据加载至所述第一缓存中。
12.如权利要求11所述的装置,其特征在于,所述数据同步模块,具体用于判断加载至第一缓存中的数据大小是否超过预设的消息体容量阈值,若是,则根据所述第一缓存中的sequence数据生成缓存同步数据,发送给第二服务器;否则,则根据所述第一缓存中的待同步数据生成缓存同步数据,发送给第二服务器。
13.一种数据同步装置,其特征在于,包括:
接收模块,用于接收由第一服务器发送的缓存同步数据;其中,所述缓存同步数据是第一服务器将数据写请求对应的数据写入至第一数据库中,并将写入的数据作为待同步数据加载至第一缓存中的;
数据同步模块,用于根据所述缓存同步数据,将待同步数据写入该第二服务器的第二缓存中,完成数据同步。
14.如权利要求13所述的装置,其特征在于,所述缓存同步数据中包含写请求对应的数据;所述数据同步模块,具体用于直接将所述缓存同步数据加载至所述第二服务器的第二缓存中。
15.如权利要求13所述的装置,其特征在于,所述缓存同步数据中包含sequence数据;所述数据同步模块,具体用于根据所述sequence数据,从与所述第二服务器相匹配的第二数据库中查找与该sequence数据相关联的数据,将查找到的、与sequence数据相关联的数据懒加载至所述第二服务器的第二缓存中。
16.如权利要求15所述的装置,其特征在于,所述数据同步模块,还用于若未查找到与sequence数据相关联的数据,则进行重试,并在重试指定次数后,向第一服务器发送同步失败通知。
CN201610118212.9A 2016-03-02 2016-03-02 一种数据同步方法及装置 Active CN107153644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610118212.9A CN107153644B (zh) 2016-03-02 2016-03-02 一种数据同步方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610118212.9A CN107153644B (zh) 2016-03-02 2016-03-02 一种数据同步方法及装置

Publications (2)

Publication Number Publication Date
CN107153644A true CN107153644A (zh) 2017-09-12
CN107153644B CN107153644B (zh) 2021-06-04

Family

ID=59791278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610118212.9A Active CN107153644B (zh) 2016-03-02 2016-03-02 一种数据同步方法及装置

Country Status (1)

Country Link
CN (1) CN107153644B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202485A (zh) * 2016-07-18 2016-12-07 乐视控股(北京)有限公司 数据操作方法和系统
CN107948318A (zh) * 2017-12-27 2018-04-20 世纪龙信息网络有限责任公司 多节点间的缓存同步方法和系统
CN108090152A (zh) * 2017-12-11 2018-05-29 阿里巴巴集团控股有限公司 一种数据同步方法及系统
CN109614439A (zh) * 2018-10-24 2019-04-12 平安科技(深圳)有限公司 数据同步方法、装置、电子设备及存储介质
CN110245194A (zh) * 2019-06-24 2019-09-17 北京奇艺世纪科技有限公司 业务数据更新方法、服务器和服务器集群
CN110244912A (zh) * 2019-06-20 2019-09-17 上海数据交易中心有限公司 数据配送系统的缓存方法
CN110990435A (zh) * 2019-12-03 2020-04-10 秒针信息技术有限公司 数据同步方法、装置和计算机可读存储介质
CN111858744A (zh) * 2019-04-29 2020-10-30 北京嘀嘀无限科技发展有限公司 数据库数据同步方法、服务器及系统
CN113157738A (zh) * 2021-04-15 2021-07-23 平安科技(深圳)有限公司 堆内数据缓存同步方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101132395A (zh) * 2006-08-22 2008-02-27 阿里巴巴公司 一种实现服务器之间的数据同步的方法及系统
CN101808127A (zh) * 2010-03-15 2010-08-18 成都市华为赛门铁克科技有限公司 数据备份方法、系统和服务器
CN102023973A (zh) * 2009-09-14 2011-04-20 中国移动通信集团公司 一种应用缓存服务器与数据库同步的方法、装置和系统
CN102333108A (zh) * 2011-03-18 2012-01-25 北京神州数码思特奇信息技术股份有限公司 分布式缓存同步系统及方法
CN104219085A (zh) * 2014-08-07 2014-12-17 深圳市同洲电子股份有限公司 一种数据库的数据处理方法、代理服务器及系统
CN104809199A (zh) * 2015-04-24 2015-07-29 联动优势科技有限公司 一种数据库同步的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101132395A (zh) * 2006-08-22 2008-02-27 阿里巴巴公司 一种实现服务器之间的数据同步的方法及系统
CN102023973A (zh) * 2009-09-14 2011-04-20 中国移动通信集团公司 一种应用缓存服务器与数据库同步的方法、装置和系统
CN101808127A (zh) * 2010-03-15 2010-08-18 成都市华为赛门铁克科技有限公司 数据备份方法、系统和服务器
CN102333108A (zh) * 2011-03-18 2012-01-25 北京神州数码思特奇信息技术股份有限公司 分布式缓存同步系统及方法
CN104219085A (zh) * 2014-08-07 2014-12-17 深圳市同洲电子股份有限公司 一种数据库的数据处理方法、代理服务器及系统
CN104809199A (zh) * 2015-04-24 2015-07-29 联动优势科技有限公司 一种数据库同步的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LXY2520: "数据库sequence序列高速缓存池——尽量减少排队和数据库的交互", 《HTTPS://BLOG.CSDN.NET/LXY2520/ARTICLE/DETAILS/84399596》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202485A (zh) * 2016-07-18 2016-12-07 乐视控股(北京)有限公司 数据操作方法和系统
CN108090152A (zh) * 2017-12-11 2018-05-29 阿里巴巴集团控股有限公司 一种数据同步方法及系统
CN107948318A (zh) * 2017-12-27 2018-04-20 世纪龙信息网络有限责任公司 多节点间的缓存同步方法和系统
CN107948318B (zh) * 2017-12-27 2021-02-19 世纪龙信息网络有限责任公司 多节点间的缓存同步方法和系统
CN109614439A (zh) * 2018-10-24 2019-04-12 平安科技(深圳)有限公司 数据同步方法、装置、电子设备及存储介质
CN109614439B (zh) * 2018-10-24 2024-05-03 平安科技(深圳)有限公司 数据同步方法、装置、电子设备及存储介质
CN111858744A (zh) * 2019-04-29 2020-10-30 北京嘀嘀无限科技发展有限公司 数据库数据同步方法、服务器及系统
CN110244912B (zh) * 2019-06-20 2022-06-21 上海数据交易中心有限公司 数据配送系统的缓存方法
CN110244912A (zh) * 2019-06-20 2019-09-17 上海数据交易中心有限公司 数据配送系统的缓存方法
CN110245194A (zh) * 2019-06-24 2019-09-17 北京奇艺世纪科技有限公司 业务数据更新方法、服务器和服务器集群
CN110990435A (zh) * 2019-12-03 2020-04-10 秒针信息技术有限公司 数据同步方法、装置和计算机可读存储介质
CN113157738B (zh) * 2021-04-15 2024-01-12 平安科技(深圳)有限公司 堆内数据缓存同步方法、装置、计算机设备及存储介质
CN113157738A (zh) * 2021-04-15 2021-07-23 平安科技(深圳)有限公司 堆内数据缓存同步方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN107153644B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN107153644A (zh) 一种数据同步方法及装置
US11349940B2 (en) Server side data cache system
CN102411637B (zh) 分布式文件系统的元数据管理方法
CN104111804B (zh) 一种分布式文件系统
CN104331492B (zh) 一种缓存多实例数据的方法及装置
US20120317153A1 (en) Caching responses for scoped and non-scoped domain name system queries
US20160036913A1 (en) Method for providing a client device access to a plurality of remote storage devices
US10394452B2 (en) Selecting pages implementing leaf nodes and internal nodes of a data set index for reuse
CN108011929A (zh) 数据请求处理方法、装置、计算机设备和存储介质
US9547706B2 (en) Using colocation hints to facilitate accessing a distributed data storage system
CN106302595B (zh) 一种对服务器进行健康检查的方法及设备
US20100312749A1 (en) Scalable lookup service for distributed database
EP2710477B1 (en) Distributed caching and cache analysis
CN104219085A (zh) 一种数据库的数据处理方法、代理服务器及系统
CN103747073A (zh) 一种分布式缓存的方法和系统
US20150286414A1 (en) Scanning memory for de-duplication using rdma
CN105426321A (zh) 采用远程位置信息的rdma友好缓存方法
CN104331453A (zh) 一种分布式文件系统及分布式文件系统的构建方法
US9380127B2 (en) Distributed caching and cache analysis
CN106126374A (zh) 数据写入方法、数据读取方法及装置
US9002906B1 (en) System and method for handling large transactions in a storage virtualization system
CN107590019A (zh) 一种数据存储的方法和装置
US9146921B1 (en) Accessing a file system during a file system check
US20140279946A1 (en) System and Method for Automatic Integrity Checks in a Key/Value Store
WO2014010038A1 (ja) 情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201013

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201013

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant