CN110287060A - 一种数据的处理方法、装置 - Google Patents

一种数据的处理方法、装置 Download PDF

Info

Publication number
CN110287060A
CN110287060A CN201910489700.4A CN201910489700A CN110287060A CN 110287060 A CN110287060 A CN 110287060A CN 201910489700 A CN201910489700 A CN 201910489700A CN 110287060 A CN110287060 A CN 110287060A
Authority
CN
China
Prior art keywords
back end
data
operation requests
processing
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910489700.4A
Other languages
English (en)
Other versions
CN110287060B (zh
Inventor
柴雪峰
李涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Apas Technology Co Ltd
Original Assignee
Zhengzhou Apas Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Apas Technology Co Ltd filed Critical Zhengzhou Apas Technology Co Ltd
Priority to CN201910489700.4A priority Critical patent/CN110287060B/zh
Publication of CN110287060A publication Critical patent/CN110287060A/zh
Application granted granted Critical
Publication of CN110287060B publication Critical patent/CN110287060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据的处理方法、装置,所述方法包括:接收对目标数据的操作请求,所述操作请求包括读请求和/或写请求,将所述操作请求记录到数据操作状态集中,当到达预定的第一检测周期时,从所述数据操作状态集中获取所述操作请求,如果所述操作请求为写请求,则触发对所述目标数据进行写处理,并将写处理后的数据同步到第一数据节点,所述第一数据节点为与本地属于不同地域的数据节点,如果所述操作请求为读请求,则触发对所述目标数据进行读处理或将所述操作请求发送给所述第一数据节点,以使所述第一数据节点对所述目标数据进行读处理。通过本方法,可以提高数据的处理效率,降低数据处理的成本,提高数据节点的使用率。

Description

一种数据的处理方法、装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据的处理方法、装置。
背景技术
随着互联网和计算机技术的飞速发展,广告的投放已经从传统的线下投放(如报纸、杂志等)转向线上进行投放,实现广告业务的连续运营已经成为广告投放商追求的目标,为减少由于数据中心非正常停机而对广告业务可用性造成恶劣的影响,广告投放商一般会通过在异地建设数据中心的方式对广告数据进行备份存储。
以两地三中心模式为例,广告投放商可以在同一地区,可以建设两个或多个生产级数据中心,然后在另一地区,建立一个备份数据中心,如果生产级数据中心发生宕机等情况,可以通过启用异地备份数据中心,对广告数据的操作请求进行处理。例如,广告投放商在地区1中建设有数据中心A和数据中心B,在地区2可以建设有备份数据中心C,如果地区1内的数据中心发生宕机(即数据中心A和数据中心B都无法对操作请求进行响应),此时可以启用地区2的数据中心C,以对操作请求进行处理。
但是,由于备份数据中心与生产级数据中心之间需要保持一定的距离(如1000公里以上),且备份数据中心不对外提供服务,只对数据进行冷备份处理,所以当生产级数据中心无法提供服务时,启用备份数据中心就需要一定的时间,同时也很难启用备份数据中心对广告数据进行处理,这就会导致数据处理的效率较低。此外,备份数据中心由于只做数据的冷备份处理,无法对操作请求进行处理,也会存在资源浪费较高的问题。
发明内容
本申请实施例的目的是提供一种数据的处理方法和装置,以解决在现有技术中,在对数据进行处理时,存在的数据处理效率较低,备份成本较大,资源浪费较高的问题。
为解决上述技术问题,本申请实施例是这样实现的:
第一方面,本申请实施例提供了一种数据的处理方法,包括:
接收对目标数据的操作请求,所述操作请求包括读请求和/或写请求;
将所述操作请求记录到数据操作状态集中;
当到达预定的第一检测周期时,从所述数据操作状态集中获取所述操作请求;
如果所述操作请求为写请求,则触发对所述目标数据进行写处理,并将写处理后的数据同步到第一数据节点,所述第一数据节点为与本地属于不同地域的数据节点;
如果所述操作请求为读请求,则触发对所述目标数据进行读处理或将所述操作请求发送给所述第一数据节点,以使所述第一数据节点对所述目标数据进行读处理。
第二方面,本申请实施例提供了一种数据的处理装置,包括:
请求接收模块,用于接收对目标数据的操作请求,所述操作请求包括读请求和/或写请求;
第一记录模块,用于将所述操作请求记录到数据操作状态集中;
第一获取模块,用于当到达预定的第一检测周期时,从所述数据操作状态集中获取所述操作请求;
第一处理模块,用于如果所述操作请求为写请求,则触发对所述目标数据进行写处理,并将写处理后的数据同步到第一数据节点,所述第一数据节点为与本地属于不同地域的数据节点;
第二处理模块,用于如果所述操作请求为读请求,则触发对所述目标数据进行读处理或将所述操作请求发送给所述第一数据节点,以使所述第一数据节点对所述目标数据进行读处理。
在本申请实施例中,通过接收对目标数据的操作请求,操作请求包括读请求和/或写请求,将操作请求记录到数据操作状态集中,当到达预定的第一检测周期时,从数据操作状态集中获取所述操作请求,如果操作请求为写请求,则触发对目标数据进行写处理,并将写处理后的数据同步到第一数据节点,第一数据节点为与本地属于不同地域的数据节点,如果操作请求为读请求,则触发对目标数据进行读处理或将操作请求发送给第一数据节点,以使第一数据节点对目标数据进行读处理。这样,如果操作请求为写请求,就可以触发对该操作请求的处理,并将处理结果同步至异地的数据节点(即第一数据节点),异地的数据节点在对该写请求的处理结果进行备份的同时,也可以对读请求类的操作请求进行处理,而不需要建设异地备份数据中心,节约了异地备份数据中心的建设成本。此外,当本地数据节点发生宕机等情况时,可以直接启用异地的数据节点(即第一数据节点)对操作请求进行处理,提高了数据的处理效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据的处理方法的第一种流程示意图;
图2为本申请实施例提供的写处理后的数据同步的第一种示意图;
图3为本申请实施例提供的数据的处理方法的第二种流程示意图;
图4为本申请实施例提供的数据的处理方法的第三种流程示意图;
图5为本申请实施例提供的写处理后的数据同步的第二种示意图;
图6为本申请实施例提供的数据的处理方法的第四种流程示意图;
图7为本申请实施例提供的数据的处理装置的第一种模块示意图;
图8为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
实施例1
如图1所示,本发明实施例提供一种数据的处理方法,该方法的执行主体可以为电子设备,该电子设备可以为终端设备或服务器,其中,终端设备可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤:
在步骤S102中,接收对目标数据的操作请求。
其中,目标数据可以是用于展示的广告数据,如可以是文字广告数据、图片广告数据或视频广告数据等,操作请求可以包括读请求和/或写请求,其中写请求可以是对目标数据的添加请求、修改请求等,读请求可以是对目标数据的搜索请求、读取请求等。
在实施中,随着互联网和计算机技术的飞速发展,广告的投放已经从传统的线下投放(如报纸、杂志等)转向线上进行投放,实现广告业务的连续运营已经成为广告投放商追求的目标,为减少由于数据中心非正常停机而对广告业务可用性造成恶劣的影响,广告投放商一般会通过在异地建设数据中心的方式对广告数据进行备份存储。以两地三中心模式为例,广告投放商可以在同一地区,可以建设两个或多个生产级数据中心,然后在另一地区,建立一个备份数据中心,如果生产级数据中心发生宕机等情况,可以通过启用异地备份数据中心,对广告数据的操作请求进行处理。例如,广告投放商在地区1中建设有数据中心A和数据中心B,在地区2可以建设有备份数据中心C,如果地区1内的数据中心发生宕机(即数据中心A和数据中心B都无法对操作请求进行响应),此时可以启用地区2的数据中心C,以对操作请求进行处理。
但是,由于备份数据中心与生产级数据中心之间需要保持一定的距离(如1000公里以上),且备份数据中心不对外提供服务,只对数据进行冷备份处理,所以当生产级数据中心无法提供服务时,启用备份数据中心就需要一定的时间,同时也很难启用备份数据中心对广告数据进行处理,这就会导致数据处理的效率较低。此外,备份数据中心由于只做数据的冷备份处理,无法对操作请求进行处理,也会存在资源浪费较高,使用成本较大的问题。为此,本发明实施例提供一种实现方案,具体可以包括以下内容:
可以同时接收对多个目标数据的多个操作请求,例如,可以同时接收到来自区域1的100条对目标数据1的读请求,来自区域2的200条对目标数据1的读请求,以及来自区域1的5条对目标数据2的写请求等。
在步骤S104中,将操作请求记录到数据操作状态集中。
在实施中,为提高数据处理的效率,在记录操作请求时,可以根据操作请求类型,将操作请求记录到对应不同的数据操作状态集中。例如,在数据操作状态集中,可以有用于记录写请求的数据操作状态集1,以及用于记录读请求的数据操作状态集2。或者,还可以根据操作请求的来源,将操作请求记录到对应的数据操作状态集中。如,在数据操作状态集中,还可以有用于记录来自区域1的操作请求的数据操作状态集3,以及用于记录来自区域2的操作请求的数据操作状态集4等。
除上述根据操作请求的类型或操作请求的来源,确定操作请求对应的数据操作状态集外,还可以根据操作请求对应的目标数据的大小、类型等信息,确定操作请求对应的数据操作状态集。
在步骤S106中,当到达预定的第一检测周期时,从数据操作状态集中获取操作请求。
其中,预定的第一检测周期可以是预先设定的任意周期,例如,预定的第一检测周期可以为10毫秒,也可以是30毫秒。
在实施中,对应不同的数据操作状态集,可以根据数据操作状态集中包含的操作请求的数量,设置对应不同的第一检测周期。例如,数据操作状态集2记录的是写请求,数据操作状态集3记录的是读请求,假设读请求的数量是写请求的数量的十倍,则可以将数据状态集2对应的第一检测周期设定为30毫秒,将数据状态集3对应的第一检测周期设定为5毫秒。
此外,还可以根据数据操作状态集的预设优先级,对不同的数据操作状态集设定不同的第一检测周期。例如,根据历史数据可以确定区域1的广告转换率较高,则可以为区域1设置较高的优先级,即可以将区域1对应的数据操作状态集6对应的第一检测周期设置为10毫秒,而区域2由于优先级较低,其对应的数据操作状态集7的第一检测周期则可以设置为30毫秒。
上述第一检测周期的设定方法是一种可选地、可实现的方法,在实际应用场景中,还可以有多种设定方法,本发明实施例对此不作具体限定。
此外,当到达预定的第一检测周期时,可以从数据操作状态集中获取预设数量的操作请求。例如,预定的第一检测周期为10毫秒,预设数量可以为500条,则当到达预定的第一检测周期时,可以从数据操作状态集中获取500条操作请求。或者,可以分别获取不同预设数量的操作请求,如可以获取100条写请求的操作请求,同时获取500条读请求的操作请求。又或者,对于不同的时间段,也可以设置不同的预设数量,如在20:00-24:00这一时段,对应的预设数量可以为100条(如可以包括20条写请求,80条读请求),在8:00-18:00这个时段,预设数量可以为1000条(如可以包括300条写请求,700条读请求)。
在步骤S108中,如果操作请求为写请求,则触发对目标数据进行写处理,并将写处理后的数据同步到第一数据节点。
其中,第一数据节点可以为与本地属于不同地域的数据节点。
在实施中,对于获取到的操作请求,可以根据操作请求的类型做不同的处理,如果操作请求为写请求,则可以对对应的目标数据进行写处理。例如,如果操作请求为对广告数据1的投放信息进行修改(如修改广告数据1的投放价格),则可以获取广告数据1的原始价格以及修改价格,并根据修改价格对广告数据1的原始价格进行更新,即修改广告数据1的投放信息。
在对目标数据进行写处理后,可以将写处理后的数据同步到与本地属于不同地域的第一数据节点,其中,第一数据节点可以有多个,且不同地域可以有多个第一数据节点。例如,如图2所示,在区域1可以有2个第一数据节点(如第一数据节点1和第一数据节点2),在区域2可以有1个第一数据节点(如第一数据节点3),当本地对操作请求进行写处理后,可以将写处理后的数据同步到区域1的2个第一数据节点以及区域2的1个第一数据节点。其中,区域1和区域2以及本地之间的距离需满足预设距离阈值,例如,预设距离阈值可以为1000公里,则本地与区域1和区域2之间的距离需都大于1000公里,同样的,区域1和区域2之间的距离也需要大于1000公里,以保障对数据的备份作用。
此外,还可以将处理后的数据存储至本地的缓存数据库,以便于进行快速的数据处理。在进行数据存储时,可以将缓存数据库中的数据同步至目标数据库,当接收到对目标数据的操作请求时,可以先从缓存数据库中查找对应的目标数据,如果在缓存数据库中,不存在对应的目标数据,可以在目标数据库中进行查找。通过这种数据存储方式,可以提高对目标数据的查找效率。此外,在缓存数据库和目标数据库中,还可以对应配置有索引系统,通过索引系统可以提高对目标数据的查找效率。例如,可以根据数据的类型等关键词作为索引,形成对应的索引系统,当接收到写请求时,可以根据写请求对应的目标数据的类型从索引系统中查找到对应的类别,在从该类别中查找到对应的目标数据。
在对数据进行同步时,可以基于消息队列服务将处理后的数据同步到异地的第一数据节点。还可以将处理后的数据对应的数据接口发送到异地的第一数据节点,第一数据节点在接收到数据接口后,可以根据该数据接口获取处理后的数据,以实现高效的数据同步。
此外,还可以配置有计费频控系统,以根据接收到的写请求的数量、内容、使用频率等信息,形成与目标数据对应的计费结果。本发明实施例对具体的计费方式不做具体限定。
在步骤110中,如果操作请求为读请求,则触发对目标数据进行读处理或将操作请求发送给第一数据节点,以使第一数据节点对目标数据进行读处理。
在实施中,如果操作请求为读请求,可以获取该操作请求的来源,并获取与该操作请求的来源相对应的地域,并根据地域确定对应的数据处理节点。例如,本地的数据节点所在地域为区域1,如果获取到的操作请求的来源为区域1,则此时可以触发对该操作请求的目标数据的读处理,如果该操作请求的来源为区域2,则可以查找区域2是否设置有第一数据节点,如果区域2内有第一数据节点,则可以将该操作请求发送给区域2的第一数据节点,以使区域2的第一数据节点对该读请求进行处理。如果区域2内未设置有第一数据节点,则可以触发本地的数据节点对该读请求进行处理,或者可以获取与区域2距离最近的配置有第一数据节点的区域(如区域3),然后将该操作请求发送至区域3的第一数据节点,以使区域3的第一数据节点对该读请求进行处理。
此外,如果读请求的来源为区域3,而区域3内包含有2个第一数据节点,此时可以根据这2个第一数据节点的运行状态,确定用于处理此次读请求的第一数据节点,也可以随机将该读请求发送至区域3内的任一第一数据节点。
本发明实施例提供一种数据的处理方法,通过接收对目标数据的操作请求,操作请求包括读请求和/或写请求,将操作请求记录到数据操作状态集中,当到达预定的第一检测周期时,从数据操作状态集中获取所述操作请求,如果操作请求为写请求,则触发对目标数据进行写处理,并将写处理后的数据同步到第一数据节点,第一数据节点为与本地属于不同地域的数据节点,如果操作请求为读请求,则触发对目标数据进行读处理或将操作请求发送给第一数据节点,以使第一数据节点对目标数据进行读处理。这样,如果操作请求为写请求,就可以触发对该操作请求的处理,并将处理结果同步至异地的数据节点(即第一数据节点),异地的数据节点在对该写请求的处理结果进行备份的同时,也可以对读请求类的操作请求进行处理,而不需要建设异地备份数据中心,节约了异地备份数据中心的建设成本。此外,当本地数据节点发生宕机等情况时,可以直接启用异地的数据节点(即第一数据节点)对操作请求进行处理,提高了数据的处理效率。
实施例2
如图3所示,本发明实施例提供一种数据的处理方法,该方法的执行主体可以为电子设备,该电子设备可以为终端设备或服务器,其中,终端设备可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤:
在步骤S302中,接收对目标数据的操作请求。
在步骤S304中,将操作请求记录到数据操作状态集中。
在步骤S306中,当到达预定的第一检测周期时,从数据操作状态集中获取操作请求。
在步骤S308中,如果操作请求为写请求,则触发对目标数据进行写处理,并将写处理后的数据同步到第一数据节点。
上述S306-S308的具体处理过程可以参见上述实施例一中S102-S108的相关内容,在此不再赘述。
在步骤S310中,如果对操作请求的写处理失败,则将操作请求记录到数据操作状态集中。
在实施中,在数据操作状态集中,可以设置有数据操作状态集4,用于记录写处理失败的操作请求。
在步骤S312中,当到达预定的第二检测周期时,从数据操作状态集中获取操作请求,并对操作请求进行处理。
在实施中,第二检测周期可以和第一检测周期相同,也可以和第一检测周期不同,例如,第二检测周期可以为5毫秒,或20毫秒。此外,对于不同类型、不同来源的操作请求,也可以设置不同的第二检测周期。
在步骤S314中,如果操作请求为读请求,则触发对目标数据进行读处理或将操作请求发送给第一数据节点,以使第一数据节点对所述目标数据进行读处理。
上述S314的具体处理过程可以参见上述实施例一中S110的相关内容,在此不再赘述。
在步骤S316中,向第一数据节点发送对写处理后的数据的同步消息。
其中,同步消息可以是包括写处理数据的同步状态,如是否同步完成等。
在步骤S318中,如果检测到第一数据节点对同步消息处理失败,则将处理失败的同步消息记录到数据操作状态集中。
在实施中,第一数据节点对同步消息处理失败可以是第一数据节点对同步消息对应的处理后的数据处理失败。如获取到的操作请求包括操作请求1、操作请求3和操作请求4,操作请求1对应的是目标数据1,操作请求3对应的是目标数据3,操作请求4对应的是目标数据4。其中,目标数据1为写处理后的数据1,目标数据3为写处理后的数据3,目标数据4为写处理后的数据4,本地数据中心在向第一数据节点进行数据同步时,可以将目标数据1、目标数3和目标数据4发送至第一数据节点,同时也可以向第一数据节点发送对目标数据1、目标数据3和目标数据4的同步消息。如同步消息可以包括与目标数据1的同步状态相对应的同步消息1、与目标数据3的同步状态相对应的同步消息2,以及与目标数据4的同步状态相对应的同步消息3,如果检测到第一数据节点对同步消息2处理失败(如检测到第一数据节点的第一缓存数据库和第一目标数据库中都不存在目标数据3,或目标数据3存在损毁状况等),则可以将该同步消息2记录到数据操作状态集中。
在步骤S320中,当到达预定的第三检测周期时,从数据操作状态集中获取处理失败的同步消息。
其中,预定的第三检测周期可以设定为较短的周期,以保证第一数据节点可以即时的对操作请求进行处理。
在步骤S322中,基于处理失败的同步消息,与第一数据节点进行数据同步。
在实施中,可以根据处理失败的同步消息,再次向第一数据节点发送对应的处理后的数据,以使第一数据节点对操作请求进行处理。
本发明实施例提供一种数据的处理方法,通过接收对目标数据的操作请求,操作请求包括读请求和/或写请求,将操作请求记录到数据操作状态集中,当到达预定的第一检测周期时,从数据操作状态集中获取所述操作请求,如果操作请求为写请求,则触发对目标数据进行写处理,并将写处理后的数据同步到第一数据节点,第一数据节点为与本地属于不同地域的数据节点,如果操作请求为读请求,则触发对目标数据进行读处理或将操作请求发送给第一数据节点,以使第一数据节点对目标数据进行读处理。这样,如果操作请求为写请求,就可以触发对该操作请求的处理,并将处理结果同步至异地的数据节点(即第一数据节点),异地的数据节点在对该写请求的处理结果进行备份的同时,也可以对读请求类的操作请求进行处理,而不需要建设异地备份数据中心,节约了异地备份数据中心的建设成本。此外,当本地数据节点发生宕机等情况时,可以直接启用异地的数据节点(即第一数据节点)对操作请求进行处理,提高了数据的处理效率。
实施例3
如图4所示,本发明实施例提供一种数据的处理方法,该方法的执行主体可以为电子设备,该电子设备可以为终端设备或服务器,其中,终端设备可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤:
在步骤S402中,接收对目标数据的操作请求。
在步骤S404中,将操作请求记录到数据操作状态集中。
在步骤S406中,当到达预定的第一检测周期时,从数据操作状态集中获取操作请求。
在步骤S408中,如果操作请求为写请求,则触发对目标数据进行写处理,并将写处理后的数据同步到第一数据节点。
上述S402-S408的具体处理过程可以参见上述实施例一中S102-S108的相关内容,在此不再赘述。
在步骤410中,接收第一数据节点发送的写处理后的数据的同步请求。
其中,同步请求可以是在第一数据节点接收到对写处理后的数据进行读处理,且第一数据节点中未同步到写处理后的数据时发送。
在实施中,当第一数据节点接收到对写处理后的数据的读请求时,第一数据节点可以在对应的第一缓存数据库和第一目标数据库中查找写处理后的数据,如果第一缓存数据库和第一目标数据库中都不存在该写处理后的数据,则第一数据中心可以发送对写处理后的数据的同步请求,即,此时可以接收第一数据节点发送的写处理后的数据的同步请求。
在步骤S412中,将写处理后的数据同步到第一数据节点。
在实施中,根据接收到的第一数据节点发送的写处理后的数据的同步请求,在缓存数据库中查找并同步对应的写处理后的数据。
在进行数据同步时,可以将写处理后的数据对应的接口发送给第一数据节点,第一数据节点在接收到对应的接口后,可以调用对应的接口,以获取写处理后的数据,以提高数据的同步效率。
在实际应用中,可以从数据操作状态集中获取到900条操作请求,其中,如图5所示,900条操作请求可以包括来自区域A的300条读请求,来自区域B的200条读请求和100条写请求,来自区域C的300条读请求,假设区域B的数据节点为中心数据中心(即本地数据中心),则通过负载均衡装置,可以将100条写请求和200条读请求发送给区域B的数据节点(即本地数据中心),将300条来自区域A的读请求发送至区域A的第一数据节点,将300条来自区域C的读请求发送至区域C的第一数据节点。当本地数据中心对100条写请求进行处理后,可以通过本地的计费频控系统对处理后的数据进行计费,并将结果存储至本地缓存数据库。同时也可以通过索引系统对处理后的数据进行处理,以便于后续对处理后的数据进行查找,并将索引结果写入本地缓存数据库。最后,可以通过消息中间件服务将处理后的100条读请求对应的数据同步至区域A的第一数据节点,以及区域C的第一数据节点。
负载均衡装置同时也可以通过探活机制对区域A的第一数据节点,以及区域C的第一数据节点进行检测,如果检测到区域A的第一数据节点或区域C的第一数据节点发生宕机,则负载均衡装置可以将来自区域A的300条读请求发送至区域B的数据节点(即本地数据中心),以对读请求进行处理。
此外,如果区域B在将处理后的数据发送至区域A的第一数据节点时,区域A接收到对处理后的数据的读请求,而该处理后的数据并未同步至区域A的第一数据节点,此时区域A可以向区域B的数据节点发送该处理后的数据的同步请求,区域B的数据中心可以将处理后的数据重新同步到区域A的第一数据节点。
在步骤S414中,如果操作请求为读请求,则触发对目标数据进行读处理或将操作请求发送给第一数据节点,以使第一数据节点对目标数据进行读处理。
上述S414的具体处理过程可以参见上述实施例一中S108的相关内容,在此不再赘述。
在步骤S416中,如果检测到向第一数据节点发送对写处理后的数据的同步消息失败,则将发送失败的同步消息记录到数据操作状态集中。
在实施中,可以对同步消息进行检测,如果检测到同步消息失败,则可以将该同步失败的同步消息记录到对应的数据操作状态集中。
在步骤S418中,当到达预定的第四检测周期时,从数据操作状态集中获取发送失败的同步消息。
在步骤S420中,基于发送失败的同步消息,与第一数据节点进行数据同步。
在步骤S422中,如果向第一数据节点发送对写处理后的数据的同步消息失败的次数达到预定次数阈值,则输出报警信号。
在实施中,如果发送失败的次数达到预定次数阈值(如3次),则可以输出报警信息,如可以输出报警邮件等。
本发明实施例提供一种数据的处理方法,通过接收对目标数据的操作请求,操作请求包括读请求和/或写请求,将操作请求记录到数据操作状态集中,当到达预定的第一检测周期时,从数据操作状态集中获取所述操作请求,如果操作请求为写请求,则触发对目标数据进行写处理,并将写处理后的数据同步到第一数据节点,第一数据节点为与本地属于不同地域的数据节点,如果操作请求为读请求,则触发对目标数据进行读处理或将操作请求发送给第一数据节点,以使第一数据节点对目标数据进行读处理。这样,如果操作请求为写请求,就可以触发对该操作请求的处理,并将处理结果同步至异地的数据节点(即第一数据节点),异地的数据节点在对该写请求的处理结果进行备份的同时,也可以对读请求类的操作请求进行处理,而不需要建设异地备份数据中心,节约了异地备份数据中心的建设成本。此外,当本地数据节点发生宕机等情况时,可以直接启用异地的数据节点(即第一数据节点)对操作请求进行处理,提高了数据的处理效率。
实施例4
如图6所示,本发明实施例提供一种数据的处理方法,该方法的执行主体可以为电子设备,该电子设备可以为终端设备或服务器,其中,终端设备可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤:
在步骤S602中,接收对目标数据的操作请求。
在步骤S604中,将操作请求记录到数据操作状态集中。
在步骤S606中,当到达预定的第一检测周期时,从数据操作状态集中获取操作请求。
上述S602-S606具体处理过程可以参见上述实施例一中S102-S106的相关内容,在此不再赘述。
在步骤S608中,如果操作请求为写请求,将操作请求发送给第二数据节点,以触发第二数据节点对目标数据进行写处理,第一数据节点与第二数据节点为属于不同地域的数据节点,并将写处理后的数据同步到第一数据节点,第一数据节点为与本地属于不同地域的数据节点。
其中,第二数据节点可以是用于处理写请求和读请求的的数据节点。
在实施中,第二数据节点可以是与本地属于相同区域的数据节点,也可以是与本地属于不同区域的数据节点,本发明实施例对此不做限定。
在步骤S610中,如果操作请求为读请求,则触发对目标数据进行读处理或将操作请求发送给第一数据节点,以使第一数据节点对目标数据进行读处理。
在步骤S612中,当检测到位于第一地域的第一数据节点宕机,则将未处理的操作请求发送给第二数据节点和/或除位于第一地域的第一数据节点外的其它第一数据节点。
在实施中,如果位于第一地域的第一数据节点宕机,可以查找第一地域内的其它第一数据节点,如果第一地域内不存在其它第一数据节点,则可以将未处理的操作请求发送给第二数据节点,或者,可以查找与第一地域的第一数据节点距离最近的其他区域的第一数据节点,如果存在其他区域的第一数据节点(如第二区域的第一数据节点)与宕机的第一区域的第一数据节点之间的距离,小于第一区域的第一数据节点与第二数据节点之间的距离,则可以将未处理的操作请求发送给第二区域的第一数据节点,以使第二区域的第一数据节点对未处理的操作请求进行处理。
此外,如果第二数据节点宕机,则可以根据预设的数据节点的优先级,将优先级较高的第一数据节点设置为第二数据节点,以对写请求进行处理。
本发明实施例提供一种数据的处理方法,通过接收对目标数据的操作请求,操作请求包括读请求和/或写请求,将操作请求记录到数据操作状态集中,当到达预定的第一检测周期时,从数据操作状态集中获取所述操作请求,如果操作请求为写请求,则触发对目标数据进行写处理,并将写处理后的数据同步到第一数据节点,第一数据节点为与本地属于不同地域的数据节点,如果操作请求为读请求,则触发对目标数据进行读处理或将操作请求发送给第一数据节点,以使第一数据节点对目标数据进行读处理。这样,如果操作请求为写请求,就可以触发对该操作请求的处理,并将处理结果同步至异地的数据节点(即第一数据节点),异地的数据节点在对该写请求的处理结果进行备份的同时,也可以对读请求类的操作请求进行处理,而不需要建设异地备份数据中心,节约了异地备份数据中心的建设成本。此外,当本地数据节点发生宕机等情况时,可以直接启用异地的数据节点(即第一数据节点)对操作请求进行处理,提高了数据的处理效率。
实施例5
以上为本发明实施例提供的数据的处理方法,基于同样的思路,本发明实施例还提供一种数据的处理装置,如图7所示。
该数据的处理装置包括:请求接收模块701、第一记录模块702、第一获取模块703、第一处理模块704和第二处理模块705,其中:
请求接收模块701,用于接收对目标数据的操作请求,所述操作请求包括读请求和/或写请求;
第一记录模块702,用于将所述操作请求记录到数据操作状态集中;
第一获取模块703,用于当到达预定的第一检测周期时,从所述数据操作状态集中获取所述操作请求;
第一处理模块704,用于如果所述操作请求为写请求,则触发对所述目标数据进行写处理,并将写处理后的数据同步到第一数据节点,所述第一数据节点为与本地属于不同地域的数据节点;
第二处理模块705,用于如果所述操作请求为读请求,则触发对所述目标数据进行读处理或将所述操作请求发送给所述第一数据节点,以使所述第一数据节点对所述目标数据进行读处理。
在本发明实施例中,所述第一处理模块704,包括:
第一处理单元,用于将所述操作请求发送给第二数据节点,以触发所述第二数据节点对所述目标数据进行写处理,所述第一数据节点与所述第二数据节点为属于不同地域的数据节点。
在本发明实施例中,所述装置还包括:
第二记录模块,用于如果对所述操作请求的写处理失败,则将所述操作请求记录到所述数据操作状态集中;
第二获取模块,用于当到达预定的第二检测周期时,从所述数据操作状态集中获取所述操作请求,并对所述操作请求进行处理。
在本发明实施例中,所述装置还包括:
请求发送模块,用于当检测到位于第一地域的第一数据节点宕机,则将未处理的操作请求发送给所述第二数据节点和/或除位于第一地域的第一数据节点外的其它第一数据节点。
在本发明实施例中,所述装置还包括:
请求接收模块,用于接收所述第一数据节点发送的所述写处理后的数据的同步请求,所述同步请求是在所述第一数据节点接收到对所述写处理后的数据进行读处理,且所述第一数据节点中未同步到所述写处理后的数据时发送;
第一同步模块,用于将写处理后的数据同步到所述第一数据节点。
在本发明实施例中,所述装置还包括:
第一发送模块,用于向所述第一数据节点发送对所述写处理后的数据的同步消息;
第三记录模块,用于如果检测到所述第一数据节点对所述同步消息处理失败,则将处理失败的同步消息记录到所述数据操作状态集中;
消息获取模块,用于当到达预定的第三检测周期时,从所述数据操作状态集中获取所述处理失败的同步消息;
第二同步模块,用于基于所述处理失败的同步消息,与所述第一数据节点进行数据同步。
在本发明实施例中,所述装置还包括:
第四记录模块,用于如果检测到向所述第一数据节点发送对所述写处理后的数据的同步消息失败,则将发送失败的同步消息记录到所述数据操作状态集中;
第二发送模块,用于当到达预定的第四检测周期时,从所述数据操作状态集中获取所述发送失败的同步消息;
第三同步模块,用于基于所述发送失败的同步消息,与所述第一数据节点进行数据同步。
在本发明实施例中,所述装置还包括:
报警模块,用于如果向所述第一数据节点发送对所述写处理后的数据的同步消息失败的次数达到预定次数阈值,则输出报警信号。
本发明实施例提供一种数据的处理装置,通过接收对目标数据的操作请求,操作请求包括读请求和/或写请求,将操作请求记录到数据操作状态集中,当到达预定的第一检测周期时,从数据操作状态集中获取所述操作请求,如果操作请求为写请求,则触发对目标数据进行写处理,并将写处理后的数据同步到第一数据节点,第一数据节点为与本地属于不同地域的数据节点,如果操作请求为读请求,则触发对目标数据进行读处理或将操作请求发送给第一数据节点,以使第一数据节点对目标数据进行读处理。这样,如果操作请求为写请求,就可以触发对该操作请求的处理,并将处理结果同步至异地的数据节点(即第一数据节点),异地的数据节点在对该写请求的处理结果进行备份的同时,也可以对读请求类的操作请求进行处理,而不需要建设异地备份数据中心,节约了异地备份数据中心的建设成本。此外,当本地数据节点发生宕机等情况时,可以直接启用异地的数据节点(即第一数据节点)对操作请求进行处理,提高了数据的处理效率。
实施例6
本申请实施例还提供了一种电子设备,图8为本申请实施例提供的电子设备的结构示意图。如图8所示,电子设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器801和存储器802,存储器802中可以存储有一个或一个以上存储应用程序或数据。其中,存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对电子设备中的一系列计算机可执行指令。更进一步地,处理器801可以设置为与存储器802通信,在电子设备上执行存储器802中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源803,一个或一个以上有线或无线网络接口804,一个或一个以上输入输出接口805,一个或一个以上键盘806等。
在一个具体的实施例中,电子设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机可执行指令,所述计算机可执行指令被所述处理器执行时,实现以下流程:
接收对目标数据的操作请求,所述操作请求包括读请求和/或写请求;
将所述操作请求记录到数据操作状态集中;
当到达预定的第一检测周期时,从所述数据操作状态集中获取所述操作请求;
如果所述操作请求为写请求,则触发对所述目标数据进行写处理,并将写处理后的数据同步到第一数据节点,所述第一数据节点为与本地属于不同地域的数据节点;
如果所述操作请求为读请求,则触发对所述目标数据进行读处理或将所述操作请求发送给所述第一数据节点,以使所述第一数据节点对所述目标数据进行读处理。
可选地,所述计算机可执行指令被所述处理器执行时,实现以下流程:
将所述操作请求发送给第二数据节点,以触发所述第二数据节点对所述目标数据进行写处理,所述第一数据节点与所述第二数据节点为属于不同地域的数据节点。
如果对所述操作请求的写处理失败,则将所述操作请求记录到所述数据操作状态集中;
当到达预定的第二检测周期时,从所述数据操作状态集中获取所述操作请求,并对所述操作请求进行处理。
当检测到位于第一地域的第一数据节点宕机,则将未处理的操作请求发送给所述第二数据节点和/或除位于第一地域的第一数据节点外的其它第一数据节点。
接收所述第一数据节点发送的所述写处理后的数据的同步请求,所述同步请求是在所述第一数据节点接收到对所述写处理后的数据进行读处理,且所述第一数据节点中未同步到所述写处理后的数据时发送;
将写处理后的数据同步到所述第一数据节点。
向所述第一数据节点发送对所述写处理后的数据的同步消息;
如果检测到所述第一数据节点对所述同步消息处理失败,则将处理失败的同步消息记录到所述数据操作状态集中;
当到达预定的第三检测周期时,从所述数据操作状态集中获取所述处理失败的同步消息;
基于所述处理失败的同步消息,与所述第一数据节点进行数据同步。
如果检测到向所述第一数据节点发送对所述写处理后的数据的同步消息失败,则将发送失败的同步消息记录到所述数据操作状态集中;
当到达预定的第四检测周期时,从所述数据操作状态集中获取所述发送失败的同步消息;
基于所述发送失败的同步消息,与所述第一数据节点进行数据同步。
如果向所述第一数据节点发送对所述写处理后的数据的同步消息失败的次数达到预定次数阈值,则输出报警信号。
本发明实施例提供一种电子设备,通过接收对目标数据的操作请求,操作请求包括读请求和/或写请求,将操作请求记录到数据操作状态集中,当到达预定的第一检测周期时,从数据操作状态集中获取所述操作请求,如果操作请求为写请求,则触发对目标数据进行写处理,并将写处理后的数据同步到第一数据节点,第一数据节点为与本地属于不同地域的数据节点,如果操作请求为读请求,则触发对目标数据进行读处理或将操作请求发送给第一数据节点,以使第一数据节点对目标数据进行读处理。这样,如果操作请求为写请求,就可以触发对该操作请求的处理,并将处理结果同步至异地的数据节点(即第一数据节点),异地的数据节点在对该写请求的处理结果进行备份的同时,也可以对读请求类的操作请求进行处理,而不需要建设异地备份数据中心,节约了异地备份数据中心的建设成本。此外,当本地数据节点发生宕机等情况时,可以直接启用异地的数据节点(即第一数据节点)对操作请求进行处理,提高了数据的处理效率。
实施例7
进一步地,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机可执行指令,所述计算机可执行指令被处理器执行时实现以下流程:
接收对目标数据的操作请求,所述操作请求包括读请求和/或写请求;
将所述操作请求记录到数据操作状态集中;
当到达预定的第一检测周期时,从所述数据操作状态集中获取所述操作请求;
如果所述操作请求为写请求,则触发对所述目标数据进行写处理,并将写处理后的数据同步到第一数据节点,所述第一数据节点为与本地属于不同地域的数据节点;
如果所述操作请求为读请求,则触发对所述目标数据进行读处理或将所述操作请求发送给所述第一数据节点,以使所述第一数据节点对所述目标数据进行读处理。
可选地,所述计算机可执行指令被所述处理器执行时,实现以下流程:
将所述操作请求发送给第二数据节点,以触发所述第二数据节点对所述目标数据进行写处理,所述第一数据节点与所述第二数据节点为属于不同地域的数据节点。
如果对所述操作请求的写处理失败,则将所述操作请求记录到所述数据操作状态集中;
当到达预定的第二检测周期时,从所述数据操作状态集中获取所述操作请求,并对所述操作请求进行处理。
当检测到位于第一地域的第一数据节点宕机,则将未处理的操作请求发送给所述第二数据节点和/或除位于第一地域的第一数据节点外的其它第一数据节点。
接收所述第一数据节点发送的所述写处理后的数据的同步请求,所述同步请求是在所述第一数据节点接收到对所述写处理后的数据进行读处理,且所述第一数据节点中未同步到所述写处理后的数据时发送;
将写处理后的数据同步到所述第一数据节点。
向所述第一数据节点发送对所述写处理后的数据的同步消息;
如果检测到所述第一数据节点对所述同步消息处理失败,则将处理失败的同步消息记录到所述数据操作状态集中;
当到达预定的第三检测周期时,从所述数据操作状态集中获取所述处理失败的同步消息;
基于所述处理失败的同步消息,与所述第一数据节点进行数据同步。
如果检测到向所述第一数据节点发送对所述写处理后的数据的同步消息失败,则将发送失败的同步消息记录到所述数据操作状态集中;
当到达预定的第四检测周期时,从所述数据操作状态集中获取所述发送失败的同步消息;
基于所述发送失败的同步消息,与所述第一数据节点进行数据同步。
如果向所述第一数据节点发送对所述写处理后的数据的同步消息失败的次数达到预定次数阈值,则输出报警信号。
本发明实施例提供一种计算机可读存储介质,通过接收对目标数据的操作请求,操作请求包括读请求和/或写请求,将操作请求记录到数据操作状态集中,当到达预定的第一检测周期时,从数据操作状态集中获取所述操作请求,如果操作请求为写请求,则触发对目标数据进行写处理,并将写处理后的数据同步到第一数据节点,第一数据节点为与本地属于不同地域的数据节点,如果操作请求为读请求,则触发对目标数据进行读处理或将操作请求发送给第一数据节点,以使第一数据节点对目标数据进行读处理。这样,如果操作请求为写请求,就可以触发对该操作请求的处理,并将处理结果同步至异地的数据节点(即第一数据节点),异地的数据节点在对该写请求的处理结果进行备份的同时,也可以对读请求类的操作请求进行处理,而不需要建设异地备份数据中心,节约了异地备份数据中心的建设成本。此外,当本地数据节点发生宕机等情况时,可以直接启用异地的数据节点(即第一数据节点)对操作请求进行处理,提高了数据的处理效率。
其中,所述的计算机可读存储介质包括只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(RandomAccess Memory,简称RAM)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种数据的处理方法,其特征在于,所述方法包括:
接收对目标数据的操作请求,所述操作请求包括读请求和/或写请求;
将所述操作请求记录到数据操作状态集中;
当到达预定的第一检测周期时,从所述数据操作状态集中获取所述操作请求;
如果所述操作请求为写请求,则触发对所述目标数据进行写处理,并将写处理后的数据同步到第一数据节点,所述第一数据节点为与本地属于不同地域的数据节点;
如果所述操作请求为读请求,则触发对所述目标数据进行读处理或将所述操作请求发送给所述第一数据节点,以使所述第一数据节点对所述目标数据进行读处理。
2.根据权利要求1所述的方法,其特征在于,所述触发对所述目标数据进行写处理,包括:
将所述操作请求发送给第二数据节点,以触发所述第二数据节点对所述目标数据进行写处理,所述第一数据节点与所述第二数据节点为属于不同地域的数据节点。
3.根据权利要求1所述的方法,其特征在于,所述如果所述操作请求为写请求,则触发对所述目标数据进行写处理,并将写处理后的数据同步到第一数据节点之后,所述方法还包括:
如果对所述操作请求的写处理失败,则将所述操作请求记录到所述数据操作状态集中;
当到达预定的第二检测周期时,从所述数据操作状态集中获取所述操作请求,并对所述操作请求进行处理。
4.根据权利要求2所述的方法,其特征在于,所述第一数据节点中包括多个位于不同地域的第一数据节点,所述方法还包括:
当检测到位于第一地域的第一数据节点宕机,则将未处理的操作请求发送给所述第二数据节点和/或除位于第一地域的第一数据节点外的其它第一数据节点。
5.根据权利要求1所述的方法,其特征在于,所述将写处理后的数据同步到第一数据节点之后,所述方法还包括:
接收所述第一数据节点发送的所述写处理后的数据的同步请求,所述同步请求是在所述第一数据节点接收到对所述写处理后的数据进行读处理,且所述第一数据节点中未同步到所述写处理后的数据时发送;
将写处理后的数据同步到所述第一数据节点。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
向所述第一数据节点发送对所述写处理后的数据的同步消息;
如果检测到所述第一数据节点对所述同步消息处理失败,则将处理失败的同步消息记录到所述数据操作状态集中;
当到达预定的第三检测周期时,从所述数据操作状态集中获取所述处理失败的同步消息;
基于所述处理失败的同步消息,与所述第一数据节点进行数据同步。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果检测到向所述第一数据节点发送对所述写处理后的数据的同步消息失败,则将发送失败的同步消息记录到所述数据操作状态集中;
当到达预定的第四检测周期时,从所述数据操作状态集中获取所述发送失败的同步消息;
基于所述发送失败的同步消息,与所述第一数据节点进行数据同步。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
如果向所述第一数据节点发送对所述写处理后的数据的同步消息失败的次数达到预定次数阈值,则输出报警信号。
9.一种数据的处理装置,其特征在于,所述装置包括:
请求接收模块,用于接收对目标数据的操作请求,所述操作请求包括读请求和/或写请求;
第一记录模块,用于将所述操作请求记录到数据操作状态集中;
第一获取模块,用于当到达预定的第一检测周期时,从所述数据操作状态集中获取所述操作请求;
第一处理模块,用于如果所述操作请求为写请求,则触发对所述目标数据进行写处理,并将写处理后的数据同步到第一数据节点,所述第一数据节点为与本地属于不同地域的数据节点;
第二处理模块,用于如果所述操作请求为读请求,则触发对所述目标数据进行读处理或将所述操作请求发送给所述第一数据节点,以使所述第一数据节点对所述目标数据进行读处理。
10.根据权利要求9所述的装置,其特征在于,所述第一处理模块,包括:
第一处理单元,用于将所述操作请求发送给第二数据节点,以触发所述第二数据节点对所述目标数据进行写处理,所述第一数据节点与所述第二数据节点为属于不同地域的数据节点。
11.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第二记录模块,用于如果对所述操作请求的写处理失败,则将所述操作请求记录到所述数据操作状态集中;
第二获取模块,用于当到达预定的第二检测周期时,从所述数据操作状态集中获取所述操作请求,并对所述操作请求进行处理。
12.根据权利要求10所述的装置,其特征在于,所述装置还包括:
请求发送模块,用于当检测到位于第一地域的第一数据节点宕机,则将未处理的操作请求发送给所述第二数据节点和/或除位于第一地域的第一数据节点外的其它第一数据节点。
13.根据权利要求10所述的方法,其特征在于,所述装置还包括:
请求接收模块,用于接收所述第一数据节点发送的所述写处理后的数据的同步请求,所述同步请求是在所述第一数据节点接收到对所述写处理后的数据进行读处理,且所述第一数据节点中未同步到所述写处理后的数据时发送;
第一同步模块,用于将写处理后的数据同步到所述第一数据节点。
14.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第一发送模块,用于向所述第一数据节点发送对所述写处理后的数据的同步消息;
第三记录模块,用于如果检测到所述第一数据节点对所述同步消息处理失败,则将处理失败的同步消息记录到所述数据操作状态集中;
消息获取模块,用于当到达预定的第三检测周期时,从所述数据操作状态集中获取所述处理失败的同步消息;
第二同步模块,用于基于所述处理失败的同步消息,与所述第一数据节点进行数据同步。
CN201910489700.4A 2019-06-06 2019-06-06 一种数据的处理方法、装置 Active CN110287060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910489700.4A CN110287060B (zh) 2019-06-06 2019-06-06 一种数据的处理方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910489700.4A CN110287060B (zh) 2019-06-06 2019-06-06 一种数据的处理方法、装置

Publications (2)

Publication Number Publication Date
CN110287060A true CN110287060A (zh) 2019-09-27
CN110287060B CN110287060B (zh) 2021-06-22

Family

ID=68003486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910489700.4A Active CN110287060B (zh) 2019-06-06 2019-06-06 一种数据的处理方法、装置

Country Status (1)

Country Link
CN (1) CN110287060B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105824842A (zh) * 2015-01-07 2016-08-03 阿里巴巴集团控股有限公司 分布式事务处理方法及其系统
CN106815251A (zh) * 2015-11-30 2017-06-09 成都华为技术有限公司 分布式数据库系统、数据库访问方法及装置
CN107145562A (zh) * 2017-05-02 2017-09-08 北京奇艺世纪科技有限公司 一种数据同步方法、装置及系统
CN107181788A (zh) * 2017-03-31 2017-09-19 北京奇艺世纪科技有限公司 一种任务处理方法及装置
CN107391629A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 集群间数据迁移方法、系统、服务器及计算机存储介质
US20170373926A1 (en) * 2016-06-22 2017-12-28 Vmware, Inc. Dynamic heartbeating mechanism
CN107645531A (zh) * 2016-07-22 2018-01-30 平安科技(深圳)有限公司 数据同步方法及系统
CN108829720A (zh) * 2018-05-07 2018-11-16 麒麟合盛网络技术股份有限公司 数据处理方法及装置
CN109756428A (zh) * 2018-12-14 2019-05-14 麒麟合盛网络技术股份有限公司 广告投放方法及装置
US10437851B2 (en) * 2014-10-28 2019-10-08 International Business Machines Corporation Synchronizing object in local object storage node

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10437851B2 (en) * 2014-10-28 2019-10-08 International Business Machines Corporation Synchronizing object in local object storage node
CN105824842A (zh) * 2015-01-07 2016-08-03 阿里巴巴集团控股有限公司 分布式事务处理方法及其系统
CN106815251A (zh) * 2015-11-30 2017-06-09 成都华为技术有限公司 分布式数据库系统、数据库访问方法及装置
US20170373926A1 (en) * 2016-06-22 2017-12-28 Vmware, Inc. Dynamic heartbeating mechanism
CN107645531A (zh) * 2016-07-22 2018-01-30 平安科技(深圳)有限公司 数据同步方法及系统
CN107181788A (zh) * 2017-03-31 2017-09-19 北京奇艺世纪科技有限公司 一种任务处理方法及装置
CN107145562A (zh) * 2017-05-02 2017-09-08 北京奇艺世纪科技有限公司 一种数据同步方法、装置及系统
CN107391629A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 集群间数据迁移方法、系统、服务器及计算机存储介质
CN108829720A (zh) * 2018-05-07 2018-11-16 麒麟合盛网络技术股份有限公司 数据处理方法及装置
CN109756428A (zh) * 2018-12-14 2019-05-14 麒麟合盛网络技术股份有限公司 广告投放方法及装置

Also Published As

Publication number Publication date
CN110287060B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CA3087309C (en) Blockchain-based data processing method and device
CN103379159B (zh) 一种分布式Web站点数据同步的方法
CN103229171B (zh) 基于快照的复制
CN108076090A (zh) 数据处理方法和存储管理系统
CN107025289B (zh) 一种数据处理的方法及相关设备
US20210157821A1 (en) Blockchain-based data processing methods and apparatuses and computer devices
CN102033930A (zh) 分布式内存数据库系统
CN107239521A (zh) 一种分布式集群上的回收站应用方法及系统
CN110309156A (zh) 数据库系统、数据库更新、扩容方法及设备
CN109600410A (zh) 数据存储系统以及方法
CN110505495A (zh) 多媒体资源抽帧方法、装置、服务器及存储介质
CN113678418A (zh) 去中心化网络中的验证
CN103491155A (zh) 一种实现移动计算和获取移动数据的云计算方法及系统
CN103020236B (zh) 一种视频录像检索方法、系统及分布式数据库系统
CN104899161A (zh) 一种基于云存储环境的连续数据保护的缓存方法
CN101344882B (zh) 数据查询方法、插入方法及删除方法
CN108875035A (zh) 分布式文件系统的数据存储方法及相关设备
CN110427426A (zh) 一种数据同步处理方法及装置
CN109657000A (zh) 一种轨道交通综合监控系统的实时数据同步方法及装置
CN111401482B (zh) 特征点匹配方法及装置、设备、存储介质
CN114036159A (zh) 银行业务信息更新方法和系统
CN110534136A (zh) 录音的方法和装置
CN110287060A (zh) 一种数据的处理方法、装置
CN106528667A (zh) 读写分离的低功耗海量数据全文检索系统框架
CN110321356A (zh) 数据更新方法及系统、计算机装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant