CN108920504A - 一种缓存数据的同步方法及装置 - Google Patents

一种缓存数据的同步方法及装置 Download PDF

Info

Publication number
CN108920504A
CN108920504A CN201810523893.6A CN201810523893A CN108920504A CN 108920504 A CN108920504 A CN 108920504A CN 201810523893 A CN201810523893 A CN 201810523893A CN 108920504 A CN108920504 A CN 108920504A
Authority
CN
China
Prior art keywords
data
computer room
update message
room
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810523893.6A
Other languages
English (en)
Inventor
刘硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201810523893.6A priority Critical patent/CN108920504A/zh
Publication of CN108920504A publication Critical patent/CN108920504A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明提供了一种缓存数据的同步方法及装置，其中，所述方法包括：监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送；若存在数据更新消息，则从所述数据更新消息中提取更新数据；将所述更新数据写入当前机房的数据缓存集群。从而可以解决REDIS缓存服务器无法在不同机房之间进行数据同步的问题。

Description

一种缓存数据的同步方法及装置
技术领域
本发明涉及数据存储技术领域，尤其涉及一种缓存数据的同步方法及装置。
背景技术
在数据存储系统中，为了避免服务器出现问题导致数据丢失且影响业务使用的问题，往往将业务数据备份至多个机房中。例如，对于业务数据服务器及数据库服务器，可以将数据备份至多个机房中，每个机房的机器也分为主服务器和备用服务器。从而，当主机房的数据发生更新时，将更新的数据同步至其他备用服务器。
然而，对于REDIS(Remote Dictionary Server，远端字典服务器)系统的缓存服务器，只支持在主服务器和备用服务器之间进行备份数据的同步，而无法在不同机房之间进行数据同步。
发明内容
本发明实施例提供的缓存数据的同步方法及装置，可解决REDIS缓存服务器无法在不同机房之间进行数据同步的问题。
一方面，本发明实施例公开了一种缓存数据的同步方法，包括：
监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送；
若存在数据更新消息，则从所述数据更新消息中提取更新数据；
将所述更新数据写入当前机房的数据缓存集群。
另一方面，本发明实施例还公开了一种缓存数据的同步装置，包括：
数据更新监听模块，用于监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送；
更新数据读取模块，用于若存在数据更新消息，则从所述数据更新消息中提取更新数据；
更新数据写入模块，用于将所述更新数据写入当前机房的数据缓存集群。
在本发明实施例中，监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送；若存在数据更新消息，则从所述数据更新消息中提取更新数据；将所述更新数据写入当前机房的数据缓存集群。从而可以解决REDIS缓存服务器无法在不同机房之间进行数据同步的问题。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例一中的一种缓存数据的同步方法的步骤流程图；
图1A示出了本发明数据缓存系统的数据流示意图；
图2示出了本发明实施例二中的一种缓存数据的同步方法的步骤流程图；
图3示出了本发明实施例三中的一种缓存数据的同步装置的结构框图；
图4示出了本发明实施例四中的一种缓存数据的同步装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面通过列举几个具体的实施例详细介绍本发明提供的一种缓存数据的同步方法及装置。
实施例一
参照图1，示出了本发明实施例一的一种缓存数据的同步方法的步骤流程图，具体可以包括如下步骤：
步骤101，监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送。
本发明实施例应用于数据缓存系统，该系统包括主机房、至少一个备用机房，而主机房和备用机房均包括数据传输集群KAFKA和数据缓存集群REDIS。在本发明实施例中，主机房和备用机房的数据和配置均相同，对数据的操作主要通过对主机房的数据进行操作，并更新备用机房的数据，以实现备用机房的数据更新。本发明实施例从备用机房侧进行详细说明。
其中，数据传输集群用于传输数据和消息，消息包括数据更新消息，数据更新消息中携带更新数据。更新数据可以为全量数据，也可以为增量数据。本发明实施例对更新数据的方式不加以限制。
本发明实施例中每个机房的均会监听所有机房的数据传输集群如图1A所示，一个数据缓存系统包括两个机房A、B，A为主机房，则A机房消费层会监听A、B两个机房的数据传输集群即KAFKA集群，B机房消费层也会监听A、B两个机房的数据传输集群。可以理解，图中的消费数据即为监听数据更新，并将更新的数据同步至当前机房。
在本发明实施例中，数据更新消息可以采用kafka消息。当然，还可以采用其他类型的数据更新消息，本发明实施例对其不加以限制。
数据缓存集群用于保存数据，可以理解，数据传输集群和数据缓存集群中的服务器均划分为主服务器和至少一个备用服务器。
可以理解，数据缓存集群通过内存保存数据，从而可以提高数据的访问速度。在实际应用中，可以将经常访问的数据保存至数据缓存系统中，以提高数据访问速度。
步骤102，若存在数据更新消息，则从所述数据更新消息中提取更新数据。
具体地，若不存在数据更新消息，代表主机房不存在数据更新，从而备用机房不需要进行数据同步；若存在数据更新消息，代表主机房存在数据更新，从而备用机房需要根据该数据更新消息进行数据同步。
在实际应用中，数据更新消息可以分为控制信息和数据信息两部分，控制信息用于控制数据的传输，包括数据更新源机房、数据更新目的机房及其他控制信息，数据信息为待同步的更新数据。可以理解，控制信息和数据信息均采用特殊标识开始以及结束。
步骤103，将所述更新数据写入当前机房的数据缓存集群。
具体地，首先将更新数据写入数据缓存集群中的主服务器，然后从主服务器同步至备用服务器。
由于每个机房均会监听所有机房的数据传输集群，从而会将所有机房的服务器逻辑层对主机房数据缓存集群的更新数据同步至当前机房。
在本发明实施例中，监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送；若存在数据更新消息，则从所述数据更新消息中提取更新数据；将所述更新数据写入当前机房的数据缓存集群。从而可以解决REDIS缓存服务器无法在不同机房之间进行数据同步的问题。
实施例二
参照图2，示出了本发明实施例二的一种缓存数据的同步方法的步骤流程图，具体可以包括如下步骤：
步骤201，同步更新所述主机房和备用机房的配置信息。
在本发明实施例中，主机房和备用机房均存在相同的配置信息。从而在更新配置信息时，需要同步更新主机房和备用机房的配置信息。
其中，配置信息包括主机房的网络地址，备用机房的网络地址，当前使用的机房。可以理解，当前使用的机房为主机房。
例如，如图1A所示的系统可以对应如下的配置信息：
ACLUSTER＝192.168.0.101:7001；
BCLUSTER＝192.168.0.102:7001；
master＝ACLUSTER；
可以看出，上述配置信息中存在主机房A和一个备用机房B，主机房A的网络地址为192.168.0.101:7001，备用机房的网络地址为192.168.0.102:7001，主机房为A机房ACLUSTER。
可选地，在本发明的另一种实施例中，上述步骤201包括子步骤2011：
子步骤2011，同步更新所述主机房和备用机房的配置信息中的主机房信息。
在本发明实施例中，主要通过修改主机房信息来切换主机房。
可以理解，主机房和备用机房是认为设置的，并不存在根本区别。
如步骤201中的例子，将master＝ACLUSTER修改为master＝BCLUSTER，实现了将主机房从A机房修改为B机房。
本发明实施例可以通过配置信息灵活切换主机房，从而可以在当前主机房出现故障时，切换主机房以避免或降低对业务的影响。
步骤202，当检测到当前机房的服务器逻辑层对主机房的数据缓存集群的数据更新操作时，通过当前机房的数据传输集群发送数据更新消息，所述数据更新消息包括源机房标识和更新数据，所述源机房标识为所述主机房的标识。
其中，源机房标识可以为源机房的网络地址。例如，对于步骤201中的例子，源机房的网络地址为主机房A的网络地址，即：192.168.0.101:7001。
可以理解，主机房的标识还可以为主机房的编号，本发明实施例对机房的标识不加以限制。
在本发明实施例中，每个机房的服务器逻辑层均可以对主机房的REDIS集群上的数据进行更新，并将更新数据生成数据更新消息，然后将数据更新消息通过当前机房的数据传输集群发送至所有机房。此外，每个机房的服务器逻辑层均会将数据更新操作写入本机房的KAFKA集群上，如图1A所示，A机房的服务器逻辑层可以向主机房REDIS集群写入数据，同时将A机房对主机房A的REDIS集群的数据写入操作写入A机房KAFKA集群；B机房的服务器逻辑层也可以向主机房REDIS集群写入数据，并将B机房对主机房A的REDIS集群的数据写入操作写入B机房KAFKA集群。
当然，可以理解，每个机房均可以从主机房获取数据，如图1A所示，A机房服务器逻辑层和B机房服务器逻辑层均可以从主机房A的REDIS集群中获取数据。即：A机房和B机房均可以提供业务访问，但访问的REDIS集群均为主机房A的REDIS集群。
在实际应用中，为了解决各数据更新消息在路由过程中的乱序问题，可以在数据更新消息中添加控制字段key，该字段为字符串，根据不同业务而不同。从而同一个key值的数据更新消息通过同一个线程处理。
此外，还可以将数据更新时对应的主机房REDIS集群的时间作为路由参考，从而进一步解决乱序问题。
可选地，在本发明的另一种实施例中，上述步骤202包括子步骤2021：
子步骤2021，将所述数据更新消息添加至当前机房的数据传输集群的数据更新消息队列中。
具体地，将数据更新消息添加至数据更新消息队列的最后位置。可以理解，当数据更新消息队列为空时，新添加的数据更新消息位于第一个位置。从而，对数据更新消息队列中的各数据更新消息从前往后的顺序进行处理，即：首先同步时间较早的数据更新消息中的更新数据，然后同步时间较晚的数据更新消息中的更新数据。
在本发明实施例中，可以按照时间顺序更新数据，从而可以保证具有时序的更新的准确性。
步骤203，监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送。
该步骤可以参照步骤101的详细说明，在此不再赘述。
步骤204，若存在数据更新消息，则从所述数据更新消息中提取更新数据。
该步骤可以参照步骤102的详细说明，在此不再赘述。
步骤205，从所述数据更新消息中提取数据更新的源机房标识。
具体地，源机房标识可以保存在数据更新消息中的控制信息中。例如，源机房标识可以通过特殊标识from标记，从而from之后的内容为源机房标识，直至特殊的结束标识。
步骤206，若所述源机房标识不为当前机房的机房标识，则将所述更新数据写入当前机房的数据缓存集群。
在本发明实施例中，通过源机房标识判断数据更新的来源是不是本机房，若是本机房，则数据已经更新，不需要再次更新；若不是本机房，则进行数据更新。
如图1A所示，A机房消费层判断到数据更新的来源是本机房，所以不需要数据回落至A机房；而B机房消费层判断到数据更新的来源是A机房，所以需要将更新的数据同步至本机房B。
本发明实施例可以识别更新数据来源，从而避免反复更新数据。
在本发明实施例中，监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送；若存在数据更新消息，则从所述数据更新消息中提取更新数据；将所述更新数据写入当前机房的数据缓存集群。从而可以解决REDIS缓存服务器无法在不同机房之间进行数据同步的问题。此外，还可以通过配置信息灵活切换主机房，从而避免主机房故障导致业务受阻；还可以按照时间顺序更新数据，从而可以保证具有时序的更新的准确性；还可以识别更新数据来源，从而避免反复更新数据。
实施例三
参照图3，示出了本发明实施例三的一种缓存数据的同步装置的结构框图。
数据更新监听模块301，用于监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送。
更新数据读取模块302，用于若存在数据更新消息，则从所述数据更新消息中提取更新数据。
更新数据写入模块303，用于将所述更新数据写入当前机房的数据缓存集群。
在本发明实施例中，监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送；若存在数据更新消息，则从所述数据更新消息中提取更新数据；将所述更新数据写入当前机房的数据缓存集群。从而可以解决REDIS缓存服务器无法在不同机房之间进行数据同步的问题。
实施例三是方法实施例一对应的装置实施例，详细说明可以参照实施例一，在此不再赘述。
实施例四
参照图4，示出了本发明实施例四的一种移动终端的结构框图。
配置信息更新模块401，用于同步更新所述主机房和备用机房的配置信息。
更新消息发送模块402，用于当检测到当前机房的服务器逻辑层对主机房的数据缓存集群的数据更新操作时，通过当前机房的数据传输集群发送数据更新消息，所述数据更新消息包括源机房标识和更新数据，所述源机房标识为所述主机房的标识。
数据更新监听模块403，用于监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送。
更新数据读取模块404，用于若存在数据更新消息，则从所述数据更新消息中提取更新数据。
更新数据写入模块405，用于将所述更新数据写入当前机房的数据缓存集群。可选地，在本发明实施例中，上述更新数据写入模块405包括：
源机房标识提取子模块4051，用于从所述数据更新消息中提取数据更新的源机房标识。
更新数据写入子模块4052，用于若所述源机房标识不为当前机房的机房标识，则将所述更新数据写入当前机房的数据缓存集群。
可选地，在本发明的另一种实施例中，上述配置信息更新模块401包括：
主机房信息更新子模块，用于同步更新所述主机房和备用机房的配置信息中的主机房信息。
可选地，在本发明的另一种实施例中，上述更新消息发送模块402包括：
更新消息发送子模块，用于将所述数据更新消息添加至当前机房的数据传输集群的数据更新消息队列中。
在本发明实施例中，监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送；若存在数据更新消息，则从所述数据更新消息中提取更新数据；将所述更新数据写入当前机房的数据缓存集群。从而可以解决REDIS缓存服务器无法在不同机房之间进行数据同步的问题。此外，还可以通过配置信息灵活切换主机房，从而避免主机房故障导致业务受阻；还可以按照时间顺序更新数据，从而可以保证具有时序的更新的准确性；还可以识别更新数据来源，从而避免反复更新数据。
实施例四是方法实施例二对应的装置实施例，详细说明可以参照实施例二，在此不再赘述。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的缓存数据的同步设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种缓存数据的同步方法，其特征在于，所述方法包括：
监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送；
若存在数据更新消息，则从所述数据更新消息中提取更新数据；
将所述更新数据写入当前机房的数据缓存集群。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
同步更新所述主机房和备用机房的配置信息。
3.根据权利要求2所述的方法，其特征在于，所述同步更新所述主机房和备用机房的配置信息的步骤，包括：
同步更新所述主机房和备用机房的配置信息中的主机房信息。
4.根据权利要求1所述的方法，其特征在于，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送的步骤，包括：
当检测到当前机房的服务器逻辑层对主机房的数据缓存集群的数据更新操作时，通过当前机房的数据传输集群发送数据更新消息，所述数据更新消息包括源机房标识和更新数据，所述源机房标识为所述主机房的标识。
5.根据权利要求4所述的方法，其特征在于，所述通过当前机房的数据传输集群发送数据更新消息的步骤，包括：
将所述数据更新消息添加至当前机房的数据传输集群的数据更新消息队列中。
6.根据权利要求1所述的方法，其特征在于，所述将所述更新数据写入当前机房的数据缓存集群的步骤，包括：
从所述数据更新消息中提取数据更新的源机房标识；
若所述源机房标识不为当前机房的机房标识，则将所述更新数据写入当前机房的数据缓存集群。
7.一种缓存数据的同步装置，其特征在于，包括：
数据更新监听模块，用于监听各机房的数据传输集群，确定是否存在数据更新消息，所述数据更新消息在主机房的数据缓存集群上的数据发生更新时发送；
更新数据读取模块，用于若存在数据更新消息，则从所述数据更新消息中提取更新数据；
更新数据写入模块，用于将所述更新数据写入当前机房的数据缓存集群。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
配置信息更新模块，用于同步更新所述主机房和备用机房的配置信息。
9.根据权利要求8所述的装置，其特征在于，所述配置信息更新模块，包括：
主机房信息更新子模块，用于同步更新所述主机房和备用机房的配置信息中的主机房信息。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括：
更新消息发送模块，用于当检测到当前机房的服务器逻辑层对主机房的数据缓存集群的数据更新操作时，通过当前机房的数据传输集群发送数据更新消息，所述数据更新消息包括源机房标识和更新数据，所述源机房标识为所述主机房的标识。
11.根据权利要求10所述的装置，其特征在于，所述更新消息发送模块包括：
更新消息发送子模块，用于将所述数据更新消息添加至当前机房的数据传输集群的数据更新消息队列中。
12.根据权利要求7所述的装置，其特征在于，所述更新数据写入模块，包括：
源机房标识提取子模块，用于从所述数据更新消息中提取数据更新的源机房标识；
更新数据写入子模块，用于若所述源机房标识不为当前机房的机房标识，则将所述更新数据写入当前机房的数据缓存集群。
CN201810523893.6A 2018-05-28 2018-05-28 一种缓存数据的同步方法及装置 Pending CN108920504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810523893.6A CN108920504A (zh) 2018-05-28 2018-05-28 一种缓存数据的同步方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810523893.6A CN108920504A (zh) 2018-05-28 2018-05-28 一种缓存数据的同步方法及装置

Publications (1)

Publication Number Publication Date
CN108920504A true CN108920504A (zh) 2018-11-30

Family

ID=64419456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810523893.6A Pending CN108920504A (zh) 2018-05-28 2018-05-28 一种缓存数据的同步方法及装置

Country Status (1)

Country Link
CN (1) CN108920504A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149382A (zh) * 2019-05-08 2019-08-20 拉扎斯网络科技（上海）有限公司 数据同步的方法、系统、主服务器、同步客户端及介质
CN110401721A (zh) * 2019-08-06 2019-11-01 北京达佳互联信息技术有限公司 内容数据分发的方法、装置及系统
CN110795503A (zh) * 2019-10-18 2020-02-14 北京达佳互联信息技术有限公司 分布式存储系统的多集群数据同步方法及相关装置
CN111858190A (zh) * 2020-06-15 2020-10-30 福建天泉教育科技有限公司 提高集群可用性的方法及其系统
CN113032491A (zh) * 2021-04-07 2021-06-25 工银科技有限公司 实现静态数据同步的方法、装置、电子设备及介质
CN113726877A (zh) * 2021-08-26 2021-11-30 湖南快乐阳光互动娱乐传媒有限公司 一种跨机房集群存储数据的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104967536A (zh) * 2015-06-29 2015-10-07 北京奇虎科技有限公司 实现多机房数据一致性的方法和装置
CN104980519A (zh) * 2015-06-29 2015-10-14 北京奇虎科技有限公司 多机房存储系统
CN105205182A (zh) * 2015-10-28 2015-12-30 北京奇虎科技有限公司 多机房部署系统及跨机房的业务数据处理方法
CN105574109A (zh) * 2015-12-10 2016-05-11 青岛海信传媒网络技术有限公司 一种数据库同步方法、同步设备及系统
CN107404540A (zh) * 2017-09-01 2017-11-28 北京奇虎科技有限公司 数据的同步方法及装置
CN107979629A (zh) * 2016-10-25 2018-05-01 北京京东尚科信息技术有限公司 分布式缓存系统及其数据缓存方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104967536A (zh) * 2015-06-29 2015-10-07 北京奇虎科技有限公司 实现多机房数据一致性的方法和装置
CN104980519A (zh) * 2015-06-29 2015-10-14 北京奇虎科技有限公司 多机房存储系统
CN105205182A (zh) * 2015-10-28 2015-12-30 北京奇虎科技有限公司 多机房部署系统及跨机房的业务数据处理方法
CN105574109A (zh) * 2015-12-10 2016-05-11 青岛海信传媒网络技术有限公司 一种数据库同步方法、同步设备及系统
CN107979629A (zh) * 2016-10-25 2018-05-01 北京京东尚科信息技术有限公司 分布式缓存系统及其数据缓存方法和装置
CN107404540A (zh) * 2017-09-01 2017-11-28 北京奇虎科技有限公司 数据的同步方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149382A (zh) * 2019-05-08 2019-08-20 拉扎斯网络科技（上海）有限公司 数据同步的方法、系统、主服务器、同步客户端及介质
CN110401721A (zh) * 2019-08-06 2019-11-01 北京达佳互联信息技术有限公司 内容数据分发的方法、装置及系统
CN110795503A (zh) * 2019-10-18 2020-02-14 北京达佳互联信息技术有限公司 分布式存储系统的多集群数据同步方法及相关装置
CN111858190A (zh) * 2020-06-15 2020-10-30 福建天泉教育科技有限公司 提高集群可用性的方法及其系统
CN111858190B (zh) * 2020-06-15 2023-05-23 福建天泉教育科技有限公司 提高集群可用性的方法及其系统
CN113032491A (zh) * 2021-04-07 2021-06-25 工银科技有限公司 实现静态数据同步的方法、装置、电子设备及介质
CN113032491B (zh) * 2021-04-07 2023-01-06 工银科技有限公司 实现静态数据同步的方法、装置、电子设备及介质
CN113726877A (zh) * 2021-08-26 2021-11-30 湖南快乐阳光互动娱乐传媒有限公司 一种跨机房集群存储数据的方法及系统

Similar Documents

Publication Publication Date Title
CN108920504A (zh) 一种缓存数据的同步方法及装置
CN105956166B (zh) 数据库读写方法和读写装置
KR101231563B1 (ko) 실시간 데이터 복제
CN111078147B (zh) 一种缓存数据的处理方法、装置、设备及存储介质
US10216589B2 (en) Smart data replication recoverer
CN104216793B (zh) 应用程序备份、恢复的方法及设备
US8078581B2 (en) Storage system and remote copy control method
US20100299309A1 (en) Backup management method
US20140108753A1 (en) Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation
US20090187668A1 (en) Protocol Independent Server Replacement and Replication in a Storage Area Network
CN102652423A (zh) 用于集群选择和协作复制的集群族
JPH0644092A (ja) データ処理システム
JP2008294717A (ja) 仮想ネットワーク構成方法及びネットワークシステム
WO2014060882A1 (en) Consistency group management
US10229010B2 (en) Methods for preserving state across a failure and devices thereof
EP3051408A1 (en) Data operating method and device
CN103701913A (zh) 数据同步方法及装置
CN108123851A (zh) 分布式系统中主从节点同步链路的存活检测方法及装置
CN104346426B (zh) 共享数据去重复的方法和系统
CN103973470A (zh) 用于无共享集群的集群管理方法和设备
US9037539B2 (en) Data synchronization
JP2016535483A (ja) ネットワークインターフェイス
CN111767296A (zh) 用于同步数据的方法、装置、电子设备及可读存储介质
KR20080050276A (ko) 객체 기반 분산 공유 시스템 및 그의 방법
CN105550230B (zh) 分布式存储系统节点故障的侦测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181130

RJ01 Rejection of invention patent application after publication