CN109614439A - 数据同步方法、装置、电子设备及存储介质 - Google Patents

数据同步方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109614439A
CN109614439A CN201811246855.7A CN201811246855A CN109614439A CN 109614439 A CN109614439 A CN 109614439A CN 201811246855 A CN201811246855 A CN 201811246855A CN 109614439 A CN109614439 A CN 109614439A
Authority
CN
China
Prior art keywords
data
written
redis database
key assignments
redis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811246855.7A
Other languages
English (en)
Other versions
CN109614439B (zh
Inventor
王浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201811246855.7A priority Critical patent/CN109614439B/zh
Publication of CN109614439A publication Critical patent/CN109614439A/zh
Application granted granted Critical
Publication of CN109614439B publication Critical patent/CN109614439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明的实施例提供了一种数据同步方法、装置、电子设备及存储介质,涉及大数据技术领域。该方法包括:监听对第一Redis数据库的写操作请求,并获取该写操作请求中的待写入数据;生成待写入数据的第一键值,基于第一键值将待写入数据写入第一Redis数据库;通过TCP请求将待写入数据发送至第二Redis数据库,并以第一键值作为该TCP请求的唯一标识;以该唯一标识作为第二键值将待写入数据写入第二Redis数据库。本发明实施例的技术方案能够防止由于网络延迟导致重复写入的情况,便于对两个数据库中不一致的数据进行处理。

Description

数据同步方法、装置、电子设备及存储介质
技术领域
本发明涉及大数据技术领域,具体而言,涉及一种数据同步方法、数据同步装置、电子设备以及计算机可读存储介质。
背景技术
随着大数据技术的发展,Redis数据库的应用也越来越广泛。Redis数据库是开源的、支持网络交互的、可基于内存也可持久化的键值对(Key-Value)数据库。
目前,为了对Redis数据库进行容灾备份,需要采用双活容灾的方案部署Redis数据库。Redis双活方案设计的核心是数据同步,Redis本身虽然具有主从复制功能,但是该主从复制功能在同步过程中不仅容易产生数据重复写入的问题,而且容易产生数据不一致的问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种数据同步方法、数据同步装置、电子设备以及计算机可读存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本发明实施例的第一方面,提供了一种数据同步方法,包括:监听对第一Redis数据库的写操作请求,并获取所述写操作请求中的待写入数据;生成所述待写入数据的第一键值,基于所述第一键值将所述待写入数据写入所述第一Redis数据库;通过传输控制协议请求将所述待写入数据发送至第二Redis数据库,并以所述第一键值作为所述传输控制协议请求的唯一标识;以所述唯一标识作为第二键值将所述待写入数据写入所述第二Redis数据库。
在本发明的一些示例性实施例中,以所述唯一标识作为第二键值将所述待写入数据写入所述第二Redis数据库,包括:在所述第二Redis数据库处监听到所述传输控制协议请求之后,从所述传输控制协议请求中提取所述唯一标识以及所述待写入数据;判断所述第二Redis数据库中是否存在与所述唯一标识对应的键值;若判定不存在,则以所述唯一标识作为第二键值将所述待写入数据写入所述第二Redis数据库中;若判定存在,则不再将所述待写入数据写入所述第二Redis数据库。
在本发明的一些示例性实施例中,所述数据同步方法还包括:在将所述待写入数据写入所述第二Redis数据库中时,判断所述第二Redis数据库中是否存在所述唯一标识;若判定存在时,通过所述唯一标识获取所述待写入数据在所述第二Redis数据库中的写入次数;基于所述写入次数判断所述待写入数据是否已经写入成功;在判定写入成功时,不再进行写入操作。
在本发明的一些示例性实施例中,所述数据同步方法还包括:通过时间戳字段分别记录所述待写入数据写入所述第一Redis数据库和所述第二Redis数据库的写入时间;判断所述第一Redis数据库与所述第二Redis数据库中相同键值对应的数据的写入时间是否一致;若判定不一致,则基于所述写入时间对所述写入时间不一致的数据在所述第一Redis数据库和所述第二Redis数据库之间进行同步。
在本发明的一些示例性实施例中,生成所述待写入数据的第一键值,包括:基于所述待写入数据以及监听到所述写操作请求的时间生成所述待写入数据的第一键值。
在本发明的一些示例性实施例中,所述数据同步方法还包括:监听对所述第一Redis数据库的读操作请求;在所述读操作请求读取失败时,根据预定路由规则从所述第二Redis数据库读取数据。
在本发明的一些示例性实施例中,监听对第一Redis数据库的写操作请求,包括:在所述第一Redis数据库的所有写操作中加入钩子;通过所述钩子监听对第一Redis数据库的写操作请求。
根据本发明实施例的第二方面,提供一种数据同步装置,包括:数据获取单元,用于监听对第一Redis数据库的写操作请求,并获取所述写操作请求中的待写入数据;第一写入单元,用于生成所述待写入数据的第一键值,基于所述第一键值将所述待写入数据写入所述第一Redis数据库;数据发送单元,用于通过传输控制协议请求将所述待写入数据发送至第二Redis数据库,并以所述第一键值作为所述传输控制协议请求的唯一标识;第二写入单元,用于以所述唯一标识作为第二键值将所述待写入数据写入所述第二Redis数据库。
根据本发明实施例的第三方面,提供一种电子设备,包括:处理器;以及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如上述任意一项所述的数据同步方法。
根据本发明实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的数据同步方法。
在本发明的一些实施例所提供的技术方案中,一方面,基于第一键值将监听到的写操作请求中的待写入数据写入第一Redis数据库,通过具有唯一标识的传输控制协议请求将待写入数据发送至第二Redis数据库,能够通过唯一标识确定传输控制协议请求是否重复发送,从而能够防止由于网络延迟导致重复写入的情况;另一方面,以第一键值作为传输控制协议请求的唯一标识,并以该唯一标识作为第二键值将待写入数据写入第二Redis数据库,能够根据该唯一标识确认第一Redis数据库和第二Redis数据库中对应的数据是否为同一数据,从而能够确定两个数据库中对应的数据是否一致,便于对不一致的数据进行处理。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了根据本发明的一些实施例的数据同步方法的流程示意图;
图2示出了根据本发明的示例性实施例将待写入数据写入第二Redis数据库的流程示意图;
图3示出了根据本发明的示例性实施例对第一Redis数据库和第二Redis数据库中的数据不一致进行处理的流程示意图;
图4示出了根据本发明的一示例性实施例的数据同步装置的示意框图;
图5示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本发明将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示出了根据本发明的一些实施例的数据同步方法的流程示意图,该数据同步方法应用于两个Redis数据库。
参照图1所示,在步骤S110中,监听对第一Redis数据库的写操作请求,并获取所述写操作请求中的待写入数据。
在示例实施例中,在第一Redis数据库的所有写操作中加入钩子(hook),通过钩子监听对第一Redis数据库的写操作请求。在监听到对第一Redis数据库的写操作请求之后,获取写操作请求中的待切入数据。钩子是一种截获系统中某应用程序或者进程的消息的一种技术,通过钩子监听对第一Redis数据库的写操作请求。例如,通过钩子监听Redis的所有写操作(如SET、DEL、EXPIRE、INCR、HMSET等)中加入钩子,其中,SET(Key,Value),用于给数据库中名称为键Key的String赋予值Value;DEL(Key),删除一个Key;EXPIRE Key seconds,用于设置一个键的生存时间,到时间后Redis会自动删除该键;incr(Key),用于将Key中储存的数字值增1;HMSET,用于同时将多个Field-Value(字段-值)对设置到哈希表中。
在步骤S120中,生成所述待写入数据的第一键值,基于所述第一键值将所述待写入数据写入所述第一Redis数据库。
在示例实施例中,可以基于待写入数据以及监听到写操作请求的时间生成所述待写入数据的第一键值,例如可以对待写入数据以及监听到写操作请求的时间进行哈希运算,基于哈希运算的结果生成待写入数据的第一键值。基于生成的第一键值将待写入数据以键值对的形式写入第一Redis数据库。
在步骤S130中,通过传输控制协议请求将所述待写入数据发送至第二Redis数据库,并以所述第一键值作为所述TCP请求的唯一标识。
在示例实施例中,通过基于TCP(Transmission Control Protocol)协议的WebSocket例如WebSocket API(Application Programming Interface)建立客户端与服务器之间的数据收发接口,在通过TCP请求将待写入数据发送至第二Redis数据库时,为防止由于网络延迟导致服务端重复写入,为该TCP请求创建唯一标识,例如将第一数据库中待写入数据的键值作为该TCP请求的唯一标识。
在步骤S140中,以所述唯一标识作为第二键值将所述待写入数据写入所述第二Redis数据库。
在示例实施例中,将TCP请求的唯一标识作为键值将待写入数据写入到第二Redis数据库中。在将待写入数据写入第二Redis数据库之前,先判断第二Redis数据库中是否存在与该唯一标识对应的键值,若判定不存在,则以该唯一标识作为第二键值将待写入数据写入第二Redis数据库;若判定存在,则不进行写入,从而能够防止由于网络延迟导致服务端重复写入。
根据图1的示例实施例中的数据同步方法,一方面,基于第一键值将监听到的写操作请求中的待写入数据写入第一Redis数据库,通过具有唯一标识的TCP请求将待写入数据发送至第二Redis数据库,能够通过唯一标识确定TCP请求是否重复发送,从而能够防止由于网络延迟导致重复写入的情况;另一方面,以第一键值作为TCP请求的唯一标识,并以该唯一标识作为第二键值将待写入数据写入第二Redis数据库,能够根据该唯一标识确认第一Redis数据库和第二Redis数据库中对应的数据是否为同一数据,从而能够确定两个数据库中对应的数据是否一致,便于对不一致的数据进行处理。
进一步地,在示例实施例中,在将待写入数据第一次写入第二Redis数据库中时,可以记录待写入数据的写入次数。在下次将待写入数据写入第二Redis数据库之前,先判断第二Redis数据库中是否存在该待写入数据的唯一标识,再通过该唯一标识获取该待写入数据的写入次数,例如在写入次数为1时,表示已经写入成功,在写入次数为0时,标识未成功写入。在获取的写入次数为1时,则不再进行写入操作,从而能够进一步地防止由于网络延迟导致服务端重复写入。
进一步地,在示例实施例中,在将待写入数据写入到第二Redis数据库写入成功之后,向第一Redis数据库的客户端返回成功状态例如状态码200,如果第一Redis数据库的客户端在预定时间内没有接收到服务端返回的成功发送的状态码,则该客户端通过TCP请求重新将待写入数据发送至服务端的第二Redis数据库。每次相同待写入数据的请求都创建相同的唯一标识,从而能够防止由于网络延迟导致服务端重复写入。
此外,在示例实施例中,还可以将对第一Redis数据库的读操作请求,在读操作请求读取失败时,根据预定路由规则从第二Redis数据库读取数据。在示例实施例中,采用双活架构部署第一Redis数据库和第二Redis数据库,两地的Redis数据库可以互为客户端与服务端,从而能够实现Redis数据库异地双活同步。两地软件应用可以调用各自的Redis服务,共享数据,同时对用户保持透明。
例如,用户在A中心即客户端的第一Redis数据库注册,然后访问B中心即服务端的第二Redis数据库的业务,此时B中心本地拿不到用户的账号数据。为了解决这个问题,B中心在读取本地数据失败的时候,可以根据路由规则例如服务端配置的客户端的IP地址和端口号,再去A中心访问一次,就能够解决异常情况下同步延迟的问题。
图2示出了根据本发明的示例性实施例将待写入数据写入第二Redis数据库的流程示意图。
参照图2所示,在步骤S210中,在所述第二Redis数据库处监听到所述TCP请求之后,从所述TCP请求中提取所述唯一标识以及所述待写入数据。
在示例实施例中,在第二Redis数据库的服务器端启动守护进程,监听来自第一Redis数据库的客户端的TCP请求。守护进程的启动方式如下:在系统例如linux系统启动时从启动脚本中启动,或者在系统启动后通过shell脚本启动。通过守护进程监听到TCP请求之后,从TCP请求中提取唯一标识以及待写入数据。
在步骤S220中,判断所述第二Redis数据库中是否存在与所述唯一标识对应的键值。
在示例实施例中,可以对第二Redis数据库的键值进行遍历,将遍历得到的键值与该唯一标识进行比较,若基于比较结果确定遍历得到的键值与该唯一标识相同,则确定第二Redis数据库中存在与该唯一标识对应的键值。若遍历完第二Redis数据库中的所有键值之后,没有得到与该唯一标识相同的键值,则确定第二Redis数据库中不存在与该唯一标识对应的键值。
在步骤S230中,若判定不存在,则以所述唯一标识作为第二键值将所述待写入数据写入所述第二Redis数据库中。
在示例实施例中,若判定第二Redis数据库中不存在与该唯一标识对应的键值,则以该唯一标识作为第二数据库中的键值,以键值对的形式将待写入数据写入第二Redis数据库中。
在步骤S240中,若判定存在,则不再将所述待写入数据写入所述第二Redis数据库。
在示例实施例中,若判定第二Redis数据库中存在与该唯一标识对应的键值,表示第二Redis数据库中已经存在对应的数据,不再将待写入数据写入到第二Redis数据库。在第二Redis数据库中已经存在对应的数据后,不再进行写入操作,能够防止由于网络延迟导致的数据库端重复写入。
图3示出了根据本发明的示例性实施例对第一Redis数据库和第二Redis数据库中的数据不一致进行处理的流程示意图;
在步骤S310中,在分别将所述待写入数据写入所述第一Redis数据库和所述第二Redis数据库时,通过时间戳字段记录所述待写入数据的写入时间。
在示例实施例中,在将待写入数据写入第一Redis数据库和第二Redis数据库中时,通过时间戳字段记录待写入数据的写入时间,例如,可以将时间戳字段添加到待写入数据的前面,与待写入数据一起写入到对应的Redis数据库中。
在步骤S320中,判断所述第一Redis数据库与所述第二Redis数据库中的相同键值对应的数据的写入时间是否一致。
在示例实施例中,在第一Redis数据库和第二Redis数据库中的数据不一致时例如仅对第二Redis数据库中的数据进行修改会导致第一Redis数据库与第二Redis数据库的数据不一致,即出现第一Redis数据库与第二Redis数据库中的键值不完全相同的情况。可以通过遍历第一Redis数据库的键值与第二Redis数据库中的键值,并一一比对第一Redis数据库与第二Redis数据库中相同键值对应的数据的写入时间是否一致。例如,设相同键值对应的数据的写入时间之差大于5s,则判定相同键值对应的数据的写入时间一致。
在步骤S330中,若判定不一致,则基于所述写入时间对写入时间不一致的数据在所述第一Redis数据库和所述第二Redis数据库之间进行同步。
在示例实施例中,若根据比较结果确定第一Redis数据库与第二Redis数据库中的相同键值对应的数据的写入时间不一致时,通过时间戳字段记录的写入时间确定哪个数据库中的数据是最新数据,将最新的数据同步到另一数据库中。例如,在对第一Redis数据库中的数据进行更改后,第一Redis数据库中的写入时间将会更新,第一Redis数据库中的数据是最新数据,将第一数据库中的对应的数据同步到第二Redis数据库中。基于写入时间对第一Redis数据库与第二Redis数据库中的对应的数据进行同步,能够防止第一Redis数据库与第二Redis数据库中的数据冲突。
此外,在本发明的实施例中,还提供了一种数据同步装置。参照图4所示,该数据同步装置400可以包括:数据获取单元410、第一写入单元420、数据发送单元430以及第二写入单元440。其中,数据获取单元410用于监听对第一Redis数据库的写操作请求,并获取所述写操作请求中的待写入数据;第一写入单元420用于生成所述待写入数据的第一键值,基于所述第一键值将所述待写入数据写入所述第一Redis数据库;数据发送单元430用于通过TCP请求将所述待写入数据发送至第二Redis数据库,并以所述第一键值作为所述TCP请求的唯一标识;第二写入单元440用于以所述唯一标识作为第二键值将所述待写入数据写入所述第二Redis数据库。
在本发明的一些示例性实施例中,基于前述方案,第二写入单元440包括:数据提取单元,在所述第二Redis数据库处监听到所述TCP请求之后,从所述TCP请求中提取所述唯一标识以及所述待写入数据;判断处理单元,用于判断所述第二Redis数据库中是否存在与所述唯一标识对应的键值;若判定不存在,则以所述唯一标识作为第二键值将所述待写入数据写入所述第二Redis数据库中;若判定存在,则不再将所述待写入数据写入所述第二Redis数据库。
在本发明的一些示例性实施例中,基于前述方案,所述数据同步装置400还被配置为:在将所述待写入数据写入所述第二Redis数据库中时,判断所述第二Redis数据库中是否存在所述唯一标识;若判定存在时,通过所述唯一标识获取所述待写入数据在所述第二Redis数据库中的写入次数;基于所述写入次数判断所述待写入数据是否已经写入成功;在判定写入成功时,不再进行写入操作。
在本发明的一些示例性实施例中,基于前述方案,所述数据同步装置400还包括:时间记录单元,用于通过时间戳字段分别记录所述待写入数据写入所述第一Redis数据库和所述第二Redis数据库的写入时间;时间判断单元,用于判断所述第一Redis数据库与所述第二Redis数据库中相同键值对应的数据的写入时间是否一致;若判定不一致,则基于所述写入时间对所述写入时间不一致的数据在所述第一Redis数据库和所述第二Redis数据库之间进行同步。
在本发明的一些示例性实施例中,基于前述方案,第一写入单元420被配置为:基于所述待写入数据以及监听到所述写操作请求的时间生成所述待写入数据的第一键值。
在本发明的一些示例性实施例中,基于前述方案,所述数据同步装置400还被配置为:监听对所述第一Redis数据库的读操作请求;在所述读操作请求读取失败时,根据预定路由规则从所述第二Redis数据库读取数据。
在本发明的一些示例性实施例中,基于前述方案,数据获取单元410被配置为:在所述第一Redis数据库的所有写操作中加入钩子;通过所述钩子监听对第一Redis数据库的写操作请求。
由于本发明的示例实施例的数据同步装置400的各个功能模块与上述数据同步方法的示例实施例的步骤对应,因此在此不再赘述。
在本发明的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
下面参考图5,其示出了适于用来实现本发明实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备的计算机系统500仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统操作所需的各种程序和数据。CPU501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的数据同步方法。
例如,所述电子设备可以实现如图1中所示的:步骤S110,监听对第一Redis数据库的写操作请求,并获取所述写操作请求中的待写入数据;生成所述待写入数据的第一键值,基于所述第一键值将所述待写入数据写入所述第一Redis数据库;通过TCP请求将所述待写入数据发送至第二Redis数据库,并以所述第一键值作为所述TCP请求的唯一标识;以所述唯一标识作为第二键值将所述待写入数据写入所述第二Redis数据库。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备或装置的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据同步方法,其特征在于,包括:
监听对第一Redis数据库的写操作请求,并获取所述写操作请求中的待写入数据;
生成所述待写入数据的第一键值,基于所述第一键值将所述待写入数据写入所述第一Redis数据库;
通过传输控制协议请求将所述待写入数据发送至第二Redis数据库,并以所述第一键值作为所述传输控制协议请求的唯一标识;
以所述唯一标识作为第二键值将所述待写入数据写入所述第二Redis数据库。
2.根据权利要求1所述的数据同步方法,其特征在于,以所述唯一标识作为第二键值将所述待写入数据写入所述第二Redis数据库,包括:
在所述第二Redis数据库处监听到所述传输控制协议请求之后,从所述传输控制协议请求中提取所述唯一标识以及所述待写入数据;
判断所述第二Redis数据库中是否存在与所述唯一标识对应的键值;
若判定不存在,则以所述唯一标识作为第二键值将所述待写入数据写入所述第二Redis数据库中;
若判定存在,则不再将所述待写入数据写入所述第二Redis数据库。
3.根据权利要求1所述的数据同步方法,其特征在于,所述数据同步方法还包括:
在将所述待写入数据写入所述第二Redis数据库中时,判断所述第二Redis数据库中是否存在所述唯一标识;
若判定存在时,通过所述唯一标识获取所述待写入数据在所述第二Redis数据库中的写入次数;
基于所述写入次数判断所述待写入数据是否已经写入成功;
在判定写入成功时,不再进行写入操作。
4.根据权利要求1所述的数据同步方法,其特征在于,所述数据同步方法还包括:
通过时间戳字段分别记录所述待写入数据写入所述第一Redis数据库和所述第二Redis数据库的写入时间;
判断所述第一Redis数据库与所述第二Redis数据库中相同键值对应的数据的写入时间是否一致;
若判定不一致,则基于所述写入时间对所述写入时间不一致的数据在所述第一Redis数据库和所述第二Redis数据库之间进行同步。
5.根据权利要求1所述的数据同步方法,其特征在于,生成所述待写入数据的第一键值,包括:
基于所述待写入数据以及监听到所述写操作请求的时间生成所述待写入数据的第一键值。
6.根据权利要求1所述的数据同步方法,其特征在于,所述数据同步方法还包括:
监听对所述第一Redis数据库的读操作请求;
在所述读操作请求读取失败时,根据预定路由规则从所述第二Redis数据库中读取数据。
7.根据权利要求1至6中任一项所述的数据同步方法,其特征在于,监听对第一Redis数据库的写操作请求,包括:
在所述第一Redis数据库的所有写操作中加入钩子;
通过所述钩子监听对第一Redis数据库的写操作请求。
8.一种数据同步装置,其特征在于,包括:
数据获取单元,用于监听对第一Redis数据库的写操作请求,并获取所述写操作请求中的待写入数据;
第一写入单元,用于生成所述待写入数据的第一键值,基于所述第一键值将所述待写入数据写入所述第一Redis数据库;
数据发送单元,用于通过传输控制协议请求将所述待写入数据发送至第二Redis数据库,并以所述第一键值作为所述传输控制协议请求的唯一标识;
第二写入单元,用于以所述唯一标识作为第二键值将所述待写入数据写入所述第二Redis数据库。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如权利要求1至7中任一项所述的数据同步方法。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据同步方法。
CN201811246855.7A 2018-10-24 2018-10-24 数据同步方法、装置、电子设备及存储介质 Active CN109614439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811246855.7A CN109614439B (zh) 2018-10-24 2018-10-24 数据同步方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811246855.7A CN109614439B (zh) 2018-10-24 2018-10-24 数据同步方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109614439A true CN109614439A (zh) 2019-04-12
CN109614439B CN109614439B (zh) 2024-05-03

Family

ID=66002317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811246855.7A Active CN109614439B (zh) 2018-10-24 2018-10-24 数据同步方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN109614439B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413613A (zh) * 2019-07-09 2019-11-05 阿里巴巴集团控股有限公司 大数据量数据的写入、读取方法、装置及设备
CN111144926A (zh) * 2019-11-27 2020-05-12 泰康保险集团股份有限公司 业务请求处理方法、装置、系统、电子设备及可读介质
CN111176572A (zh) * 2019-12-27 2020-05-19 浪潮(北京)电子信息产业有限公司 一种存储数据的保护方法、装置、设备及介质
CN111259013A (zh) * 2020-02-03 2020-06-09 京东数字科技控股有限公司 一种存储数据的方法和装置
CN111460034A (zh) * 2020-03-25 2020-07-28 聚好看科技股份有限公司 一种数据库双向同步方法、同步单元及系统
CN112256700A (zh) * 2020-10-19 2021-01-22 北京字节跳动网络技术有限公司 数据存储方法、装置、电子设备及计算机可读存储介质
CN112559450A (zh) * 2019-09-10 2021-03-26 阿里巴巴集团控股有限公司 文件访问方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622427A (zh) * 2012-02-27 2012-08-01 杭州闪亮科技有限公司 读写分离数据库的方法及系统
CN104301428A (zh) * 2014-10-29 2015-01-21 广州视源电子科技股份有限公司 一种数据同步方法及服务器
CN105468475A (zh) * 2015-11-16 2016-04-06 北京奇虎科技有限公司 数据库的备份方法及备份装置
CN106815218A (zh) * 2015-11-27 2017-06-09 华为技术有限公司 数据库访问方法、装置和数据库系统
CN106934048A (zh) * 2017-03-16 2017-07-07 北京搜狐新媒体信息技术有限公司 数据在线迁移方法、代理节点
CN107153644A (zh) * 2016-03-02 2017-09-12 阿里巴巴集团控股有限公司 一种数据同步方法及装置
CN107679173A (zh) * 2017-09-29 2018-02-09 苏宁云商集团股份有限公司 一种实时数据处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622427A (zh) * 2012-02-27 2012-08-01 杭州闪亮科技有限公司 读写分离数据库的方法及系统
CN104301428A (zh) * 2014-10-29 2015-01-21 广州视源电子科技股份有限公司 一种数据同步方法及服务器
CN105468475A (zh) * 2015-11-16 2016-04-06 北京奇虎科技有限公司 数据库的备份方法及备份装置
CN106815218A (zh) * 2015-11-27 2017-06-09 华为技术有限公司 数据库访问方法、装置和数据库系统
CN107153644A (zh) * 2016-03-02 2017-09-12 阿里巴巴集团控股有限公司 一种数据同步方法及装置
CN106934048A (zh) * 2017-03-16 2017-07-07 北京搜狐新媒体信息技术有限公司 数据在线迁移方法、代理节点
CN107679173A (zh) * 2017-09-29 2018-02-09 苏宁云商集团股份有限公司 一种实时数据处理方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413613A (zh) * 2019-07-09 2019-11-05 阿里巴巴集团控股有限公司 大数据量数据的写入、读取方法、装置及设备
CN110413613B (zh) * 2019-07-09 2023-01-17 创新先进技术有限公司 大数据量数据的写入、读取方法、装置及设备
CN112559450A (zh) * 2019-09-10 2021-03-26 阿里巴巴集团控股有限公司 文件访问方法、装置、电子设备及存储介质
CN112559450B (zh) * 2019-09-10 2022-04-29 阿里巴巴集团控股有限公司 文件访问方法、装置、电子设备及存储介质
CN111144926A (zh) * 2019-11-27 2020-05-12 泰康保险集团股份有限公司 业务请求处理方法、装置、系统、电子设备及可读介质
CN111144926B (zh) * 2019-11-27 2023-07-18 泰康保险集团股份有限公司 业务请求处理方法、装置、系统、电子设备及可读介质
CN111176572A (zh) * 2019-12-27 2020-05-19 浪潮(北京)电子信息产业有限公司 一种存储数据的保护方法、装置、设备及介质
CN111176572B (zh) * 2019-12-27 2022-03-22 浪潮(北京)电子信息产业有限公司 一种存储数据的保护方法、装置、设备及介质
CN111259013A (zh) * 2020-02-03 2020-06-09 京东数字科技控股有限公司 一种存储数据的方法和装置
CN111460034A (zh) * 2020-03-25 2020-07-28 聚好看科技股份有限公司 一种数据库双向同步方法、同步单元及系统
CN111460034B (zh) * 2020-03-25 2024-02-23 聚好看科技股份有限公司 一种数据库双向同步方法、同步单元及系统
CN112256700A (zh) * 2020-10-19 2021-01-22 北京字节跳动网络技术有限公司 数据存储方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN109614439B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN109614439A (zh) 数据同步方法、装置、电子设备及存储介质
US10951702B2 (en) Synchronized content library
CN108965355A (zh) 用于数据传输的方法、装置及计算机可读存储介质
CN109683826A (zh) 用于分布式存储系统的扩容方法和装置
US20170300314A1 (en) Providing a hybrid application
JP2022529967A (ja) ブロックチェーン・ネットワークからのデータの抽出
CN109358858A (zh) 自动化部署方法、装置、介质及电子设备
CN108920698A (zh) 一种数据同步方法、装置、系统、介质及电子设备
CN113254466B (zh) 一种数据处理方法、装置、电子设备和存储介质
CN108628881A (zh) 数据同步方法和装置
CN111143382B (zh) 数据处理方法、系统和计算机可读存储介质
CN106899648A (zh) 一种数据处理方法和设备
CN109597677A (zh) 用于处理信息的方法和装置
CN109492013A (zh) 应用于数据库集群的数据处理方法、装置和系统
EP4207688A1 (en) Asynchronous bookkeeping method and apparatus for blockchain, medium, and electronic device
CN109032796B (zh) 一种数据处理方法和装置
US20200104404A1 (en) Seamless migration of distributed systems
CN109144785A (zh) 用于备份数据的方法和装置
CN113076304A (zh) 一种分布式版本管理方法、装置和系统
CN109828980A (zh) 数据缓存方法、装置、终端及存储介质
CN109977102A (zh) 数据处理方法、装置、介质及电子设备
CN114422343A (zh) 业务配置方法、设备、系统及计算机可读存储介质
CN108984564A (zh) 数据存储系统、方法和装置
CN115687503A (zh) 数据库间的数据同步方法、装置、设备及存储介质
CN109344152A (zh) 数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant