CN106888245A - 一种数据处理方法、装置及系统 - Google Patents

一种数据处理方法、装置及系统 Download PDF

Info

Publication number
CN106888245A
CN106888245A CN201610399301.5A CN201610399301A CN106888245A CN 106888245 A CN106888245 A CN 106888245A CN 201610399301 A CN201610399301 A CN 201610399301A CN 106888245 A CN106888245 A CN 106888245A
Authority
CN
China
Prior art keywords
data
database
business datum
server
changed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610399301.5A
Other languages
English (en)
Other versions
CN106888245B (zh
Inventor
卢伟勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610399301.5A priority Critical patent/CN106888245B/zh
Publication of CN106888245A publication Critical patent/CN106888245A/zh
Application granted granted Critical
Publication of CN106888245B publication Critical patent/CN106888245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据处理方法、装置及系统。存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述方法包括:所述存储设备存监测自身存储的业务数据,当监测到自身存储的业务数据发生变更时,获取已变更数据,根据预先保存的各第一数据库的地址,将获取到的所述已变更数据分发给各第一数据库,以使得各服务器集群中的服务器,根据各第一数据库中同步的已变更数据进行更新。本方法中的更新过程是整体性的高效同步,有效缩减了数据同步过程所消耗的时间,保证了各服务器集群中的业务数据的高效一致性。

Description

一种数据处理方法、装置及系统
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、装置及系统。
背景技术
随着信息技术的发展,业务提供方(如:网站)的访问量不断增加,用户规模不断扩大,为了保证用户获得业务提供方所提供的业务服务的稳定性和效率,业务提供方后台的服务器通常会采用分布式服务器集群的架构,其中,通过局域网连接的多个服务器称为一个服务器集群(例如:多个服务器设置于同一机房中,通过局域网相连接,该机房中的多个服务器便可看作是一个服务器集群)。
在此基础上,业务提供方向用户提供相应业务时(尤其是提供查询业务时),就需要使不同服务器集群中所使用的业务数据相一致,否则,将会出现由于业务数据不一致而导致业务结果混乱的现象。换言之,针对需要在分布式服务器集群之间进行业务数据的同步操作。
现有技术中,针对服务器集群中的业务数据的同步,通常采用两种方式:
一种方式为:基于集中式的控制协议(例如:基于主备份的远程协议)的同步方式。具体而言,在该方式中,各服务器集群中的服务器所存储的每一项业务数据均备份于远程的服务器或数据库(用于备份数据的服务器或数据库可以是集群式的)中,备份数据的服务器(或数据库)也称为主备份设备,当各服务器集群中的服务器接收到业务查询请求后,并非在自身所存储的业务数据中完成查询操作,而是需要在主备份设备中执行查询操作,获取查询结果后反馈。由于查询操作对应的业务数据均来源于主备份设备,从而这样的方式保证了业务数据的一致性。
如图1所示,服务器集群1~N,分别用于处理用户发送的业务请求,当任一服务器集群的服务器接收到了用户的业务查询请求后,都会在主备份设备集群中的主备份设备内完成相应的查询操作,并将查询结果反馈给用户。
另一种方式为:在分布式服务器集群架构中,当某一服务器集群中的业务数据发生变更时,就会以该服务器集群为基准,传播式的逐渐更新至所有的服务器集群。其更新过程的一种方式如图2所示。在图2中,对于多个服务器集群1~3,当服务器集群1中的业务数据发生变更后,服务器集群1会通过寻址的方式查找服务器集群2(其中,具体的寻址过程,可以是向分布式网络中具有地址管理功能的设备获取其他服务器集群的地址),并将变更的业务数据发送给服务器集群2进行更新,之后,将由服务器集群2查找服务器集群3,并以此类推,完成所有服务器集群中的业务数据的更新,业务数据的更新方式可看作逐渐“传播”到每一服务器集群中(在上述更新过程中,服务器集群会根据自身的工作状态确定所寻址的其他服务器集群的数量)。
在更新过程中,各服务器集群仍会正常工作,对接收到的业务查询请求进行处理。
但是,针对于现有技术中的上述方式而言,均存在一定的缺陷:
在第一种方式中,主备份设备虽然能够保证业务数据的一致性,但对于各服务器而言,每接收到一个业务请求,都需要向主备份设备发出相应的请求,并接收来自于主备份设备的反馈,整个过程耗时较长,尤其在受到跨集群、长距离传输等情况的影响下,传输延时较严重,导致效率较低。
在第二种方式中,传播式的更新方式也需要耗费一定的时间,而且,服务器集群需要进行额外的寻址操作,以便确定出其他服务器集群,进而传播式的完成业务数据的更新操作,显然,在大型分布式服务器集群架构中,这样的方式会增加耗时,不能保证高效的同步,进而就会导致在更新过程中,不同服务器集群中的业务数据不一致。
发明内容
本申请实施例提供一种数据处理方法,用以解决现有技术中业务提供方针对大型分布式服务器集群的业务数据更新过程中的问题。
本申请实施例提供一种数据处理装置,用以解决现有技术中业务提供方针对大型分布式服务器集群的业务数据更新过程中的问题。
本申请实施例提供一种数据处理系统,用以解决现有技术中业务提供方针对大型分布式服务器集群的业务数据更新过程中的问题。
本申请实施例采用下述技术方案:
本申请实施例提供的一种数据处理方法,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述方法包括:
所述存储设备存监测自身存储的业务数据;
当监测到自身存储的业务数据发生变更时,获取已变更数据;
根据预先保存的各第一数据库的地址,将获取到的所述已变更数据分发给各第一数据库,以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新。
本申请实施例另提供的一种数据处理方法,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述方法包括:
所述第一数据库接收所述存储设备发送的已变更数据;其中,所述已变更数据由所述存储设备监测到自身存储的业务数据发生变更时进行获取,并根据预先保存的各第一数据库的地址将获取的所述已变更数据进行分发;
根据接收到的所述已更新数据,生成更新通知发送给相应服务器集群中的各服务器,以使得相应服务器根据所述更新通知对存储的业务数据进行更新。
本申请实施例还提供的一种数据处理方法,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述方法包括:
针对任一服务器集群中的服务器,接收所述第一数据库发送的更新通知;其中,所述更新通知是由所述第一数据库接收到所述存储设备发送的已变更数据后生成的;
根据所述更新通知,确定所述更新通知对应的业务数据;
针对确定出的所述业务数据执行更新操作。
本申请实施例提供的一种数据处理装置,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述装置设于所述存储设备侧,包括:
监测模块,监测存储的业务数据;
获取模块,当监测到存储的业务数据发生变更时,获取已变更数据;
分发模块,根据预先保存的各第一数据库的地址,将获取到的所述已变更数据分发给各第一数据库,以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新。
本申请实施例另提供的一种数据处理装置,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述装置设于所述第一数据库侧,包括:
接收模块,接收所述存储设备发送的已变更数据;其中,所述已变更数据由所述存储设备监测到自身存储的业务数据发生变更时进行获取,并根据预先保存的各第一数据库的地址将获取的所述已变更数据进行分发;
更新模块,根据接收到的所述已更新数据,生成更新通知发送给相应服务器集群中的各服务器,以使得相应服务器根据所述更新通知对存储的业务数据进行更新。
本申请实施例还提供的一种数据处理装置,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述装置设于所述服务器侧,包括:
接收模块,接收所述第一数据库发送的更新通知;其中,所述更新通知是由所述第一数据库接收到所述存储设备发送的已变更数据后生成的;
确定模块,根据所述更新通知,确定所述更新通知对应的业务数据;
更新模块,针对确定出的所述业务数据执行更新操作。
本申请实施例另提供的一种数据处理系统,包括:存储设备、多个服务器集群、以及每一服务器集群各自对应的第一数据库;
所述存储设备,存储业务数据,监测自身存储的业务数据,当监测到自身存储的业务数据发生变更时,获取已变更数据,根据预先保存的各第一数据库的地址,将获取到的所述已变更数据分发给各第一数据库,以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新;
所述第一数据库,接收所述存储设备发送的已变更数据,根据接收到的所述已更新数据,生成更新通知发送给相应服务器集群中的各服务器,以使得相应服务器根据所述更新通知对存储的业务数据进行更新;
所述服务器集群中的服务器,接收所述第一数据库发送的更新通知,根据所述更新通知,确定所述更新通知对应的业务数据,针对确定出的所述业务数据执行更新操作。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
在分布式服务器集群的架构中,设置用以存储业务数据的存储设备,并且,针对每一服务器集群,设置至少一个第一数据库,在这样的架构下,若存储设备中所存储的业务数据发生了变更时,存储设备会将获取到的已变更数据按照保存的各第一数据库的地址,分发给所有第一数据库,以使得各服务器集群完成业务数据的更新。相较于现有技术而言,采用本方法中的方式,向所有服务器集群发送已变更数据是并发的,无需各服务器集群进行额外的寻址操作,更新过程是整体性的高效同步,有效缩减了数据同步过程所消耗的时间。在第一数据库接收到了已变更数据后,在相应的服务器集群内的更新操作属于集群内部操作,其更新速度极高,也就保证了各服务器集群可以高效地处理业务请求。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为现有技术中一种服务器集群中的业务数据同步方式示意图;
图2为现有技术中另一种服务器集群中的业务数据同步方式示意图;
图3a为本申请实施例中分布式服务器集群的架构示意图;
图3b为本申请实施例提供的基于存储设备侧的数据处理过程示意图;
图3c为本申请实施例中另一种分布式服务器集群的架构示意图;
图4为本申请实施例提供的基于第一数据库侧的数据处理过程示意图;
图5为本申请实施例提供的基于服务器侧的数据处理过程示意图;
图6a~6c为本申请实施例提供的数据处理系统的架构示意图;
图7a~7b为本申请实施例提供的基于存储设备侧的数据处理装置结构示意图;
图8为本申请实施例提供的基于第一数据库侧的数据处理装置结构示意图;
图9为本申请实施例提供的基于服务器侧的数据处理装置结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如前所述,针对业务提供方后台的大型分布式服务器集群,尤其是在异地分布的多个机房(每一个机房中的所有服务器可看作是一个服务器集群)的情况下,各服务器集群中的业务数据需要保持一致。而采用现有技术中的方式对各服务器集群中的业务数据进行同步的方式中,存在一定的缺陷,这些缺陷会导致服务器集群对业务的处理效率较低,或者,会导致对业务数据的同步效率较低,难以保证各服务器集群中业务数据的高度一致。
基于此,就需要一种能够保证异地分布的各服务器集群中业务数据高效同步的方式。故在本申请实施例中,提供一种数据处理方法,以实现针对大型分布式服务器集群进行业务数据的高效同步,并在此基础上,保证各服务器集群对业务处理的效率。
需要说明的是,本申请实施例中所述的业务提供方可以是能够提供在线业务的业务提供方,诸如:网站、电信运营商等。这里并不构成对本申请的限定。本申请实施例中的业务数据,可以是一种缓存数据。
以下结合附图,详细说明本申请各实施例提供的技术方案。
如图3a所示,示出了本申请实施中的分布式服务器集群的架构。在图3b中,存储设备用于存储业务数据,可以认为,存储设备中所存储的业务数据,就是业务提供方所提供的各种业务所对应的业务数据,在实际应用中,存储设备中所存储的业务数据可以被相应的应用程序或管理程序所修改,从而产生业务数据的变更。
此外,在图3a中,任一服务器集群都对应一个第一数据库(在实际应用中,每一个服务器集群对应至少一个第一数据库),在本申请实施例中的一种方式下,第一数据库中存储的是业务数据的副本(也即,第一数据库中也存储了全部的业务数据,以便于服务器集群中各服务器处理业务时使用)。
基于上述如图3a所示的整体架构,本申请实施例中提供的一种数据处理方法,如图3b所示,具体包括以下步骤:
S301:所述存储设备存监测自身存储的业务数据。
正如前述,存储设备中所存储的业务数据会发生变更,在实际应用中的某些场景下,业务数据变更可能较为频繁,一旦存储设备中的业务数据发生了变更,那么,就需要保证所有的服务器集群中业务数据的一致性。
故在一种实际应用场景下,存储设备将实时地监测自身存储的业务数据是否发生了变更。当业务数据发生了变更,则执行下述步骤S302。
S302:当监测到自身存储的业务数据发生变更时,获取已变更数据。
对于存储设备中的业务数据而言,对业务数据进行增、删、改、查等数据操作均会导致业务数据的变更。那么,获取的已变更数据,也就是获取进行了数据操作后发生了变化的数据。
S303:根据预先保存的各第一数据库的地址,将获取到的所述已变更数据分发给各第一数据库,以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新。
结合图3a,在本步骤中,由于服务器集群对应第一数据库,那么,可以认为,第一数据库的地址就是相应的服务器集群的地址。
在前述内容中,现有技术中的其中一种数据同步方式下,服务器集群需要通过相应的设备对其他服务器集群进行寻址查询,而在本申请实施例中,所有服务器集群的地址均预先保存在存储设备中。基于此,存储设备会向所有服务器集群的第一数据库分发已变更数据,使得所有服务器集群都可以获得已变更数据。那么,对于每一服务器集群而言,在获得了已变更数据后,便可以使得其中的服务器根据已变更数据进行业务数据的更新。
通过上述步骤,在分布式服务器集群的架构中,设置用以存储业务数据的存储设备,并且,针对每一服务器集群,设置至少一个第一数据库,在这样的架构下,若存储设备中所存储的业务数据发生了变更时,存储设备会将获取到的已变更数据按照保存的各第一数据库的地址,分发给所有第一数据库,以使得各服务器集群完成业务数据的更新。相较于现有技术而言,采用本方法中的方式,向所有服务器集群发送已变更数据是并发的,无需各服务器集群进行额外的寻址操作,更新过程是整体性的高效同步,有效缩减了数据同步过程所消耗的时间。在第一数据库接收到了已变更数据后,在相应的服务器集群内的更新操作属于集群内部操作,其更新速度极高,也就保证了各服务器集群可以高效地处理业务请求。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,具体而言,执行主体可以是存储设备。
作为本申请实施例中的一种方式,在实际应用中,对于图3a所示的架构而言,所述存储设备具体可以包括用于存储业务数据的第二数据库和中间设备,如图3c所示。在图3c所示的架构中,中间设备用于将第二数据库中发生了变更的业务数据复制到各第一数据库中,也即,中间设备也可以看作是一种复制设备。
基于此,所述存储设备存监测自身存储的业务数据,具体包括:所述中间设备监测第二数据库中存储的业务数据。
获取已变更数据,具体包括:所述中间设备从所述第二数据库中获取已变更数据。
将获取到的所述已变更数据分发给各第一数据库,具体包括:所述中间设备将获取到的所述已变更数据分发给所述各第一数据库进行同步。
以上方法是基于存储设备一侧,在本申请实施例中,对于第一数据库,还提供一种数据处理方法,如图4所示。需要说明的是,该方法也可基于上述如图3a所示的架构。
具体地,该方法具体包括以下步骤:
S401:所述第一数据库接收所述存储设备发送的已变更数据。
其中,所述已变更数据由所述存储设备监测到自身存储的业务数据发生变更时进行获取,并根据预先保存的各第一数据库的地址将获取的所述已变更数据进行分发。具体的过程如前述内容,这里并不在过多赘述。
S402:根据接收到的所述已更新数据,生成更新通知发送给相应服务器集群中的各服务器,以使得相应服务器根据所述更新通知对存储的业务数据进行更新。
对于第一数据库所生成的更新通知而言,可以采用主动更新和/或被动更新。其中,主动更新是第一数据库主动向服务器集群中的各服务器进行业务数据的更新,处理上述步骤所采用的更新通知的方式之外,还可以采用推送的方式,这里并不构成对本申请的限定。被动更新是服务器集群中的各服务器向第一数据库获取业务数据进行更新。
以下将以主动更新的方式进行说明:
在主动更新的方式下,第一数据库会主动通知服务器集群中的各服务器,具体而言,针对上述步骤S402,根据接收到的所述已更新数据,生成更新通知发送给所述服务器集群中的各服务器,具体包括:确定所述已更新数据对应的数据标识,根据所述数据标识生成更新通知,并通知所述服务器集群中的各服务器。
更为具体地,对于上述内容,根据所述数据标识生成更新通知,具体包括:根据所述数据标识,生成针对具有该数据标识的业务数据的清除通知。在此基础上,通知所述服务器集群中的各服务器,具体包括:采用广播方式将所述清除通知发送至所述服务器集群中的各服务器,以使得各服务器根据所述清除通知中的数据标识,将自身所存储的该数据标识所对应的数据清除。
可见,第一数据库所生成的更新通知,仅是根据已变更数据的数据标识而生成的。换言之,该更新通知中将不会携带已变更数据。之所以采用这样的方式,是因为:一方面,同一服务器集群中的不同服务器,可能用于处理不同的业务,换言之,不同服务器之内的业务数据可能具有一定的差异,某些服务器中并不具有与已变更数据同类的数据,从而,这些服务器也就不需要进行更新,在这样的情况下,如果第一数据库将已变更数据携带在更新通知中,就会出现部分服务器不会根据更新通知进行更新的现象。
另一方面,已更新数据具有一定的数据量,若每次进行数据更新时,第一数据库都将已更新数据携带在更新通知中,可能会占用一定的网络资源,尤其在更新数据量较大的应用场景下,会增加服务器集群中的运行压力。
故采用本申请实施例中的上述方式,更新通知中仅携带有已更新数据的数据标识,其数据量极小,便于进行广播式的更新通知,进一步地,相应的服务器接收到了更新通知后,就会将自身的数据标识对应的业务数据清除,在后续处理业务请求的过程中,若需要这类业务数据,则再从第一数据库中获取。这样的方式能够减小服务器集群内部的运行压力和资源消耗。
以上方法是基于第一数据库一侧,在本申请实施例中,对于服务器集群中的服务器,还提供一种数据处理方法,如图5所示。需要说明的是,该方法也可基于上述如图3a所示的架构。
具体地,该方法具体包括以下步骤:
S501:针对任一服务器集群中的服务器,接收所述第一数据库发送的更新通知。
其中,所述更新通知是由所述第一数据库接收到所述存储设备发送的已变更数据后生成的。具体过程与前述内容相同,在此不再敖述。在前述内容中,第一数据库所发送的更新通知是一种清除通知,故对于本步骤而言,接收所述第一数据库发送的更新通知,具体包括:接收所述第一数据库发送的清除通知。
S502:根据所述更新通知,确定所述更新通知对应的业务数据。
更新通知中携带了已更新数据的数据标识,所以,便可以根据其中的数据标识来确定出更新通知所对应的业务数据。
具体而言,本步骤中,确定所述更新通知对应的业务数据,具体包括:确定所述更新通知对应的已更新数据的数据标识,根据确定出的所述数据标识,确定该数据标识对应的业务数据。
S503:针对确定出的所述业务数据执行更新操作。
在本申请实施例中,对业务数据执行更新操作,可以是增、删、改等数据操作,这里并不构成对本申请的限定。
进一步地,针对确定出的所述业务数据进行更新操作,具体包括:将确定出的所述业务数据清除,并在接收到业务请求后,若确定出所述业务请求所需的业务数据被清除,则在所述第一数据库中查找该业务数据,获取查找到的所述业务数据。当然,在后续过程中,服务器对将获取到的业务数据保存在该服务器本地,并根据保存的业务数据处理该业务请求。
基于以上内容,在本申请实施例中,还提供一种数据处理系统,如图6a所示。所述系统包括:存储设备、多个服务器集群、以及每一服务器集群各自对应的第一数据库。
所述存储设备,存储业务数据,监测自身存储的业务数据,当监测到自身存储的业务数据发生变更时,获取已变更数据,根据预先保存的各第一数据库的地址,将获取到的所述已变更数据分发给各第一数据库,以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新。
所述第一数据库,接收所述存储设备发送的已变更数据,根据接收到的所述已更新数据,生成更新通知发送给相应服务器集群中的各服务器,以使得相应服务器根据所述更新通知对存储的业务数据进行更新。
所述服务器集群中的服务器,接收所述第一数据库发送的更新通知,根据所述更新通知,确定所述更新通知对应的业务数据,针对确定出的所述业务数据执行更新操作。
作为本申请实施例中的一种方式,如图6b所示。所述存储设备可以包括:第二数据库和中间设备。其中,
所述第二数据库,存储业务数据。
所述中间设备,监测第二数据库中存储的业务数据,当监测到所述业务数据发生变更时,从所述第二数据库中获取已变更数据,将获取到的所述已变更数据分发给所述各第一数据库。
在如图6a和6b所示的系统的基础上,在实际应用中,系统中还可以在各服务器集群中增加路由设备,如图6c所示。
其中,路由设备负责接收业务请求,并根据业务请求的类型,发送给相应的服务器进行处理,从而提升了对不同类型的业务请求进行处理时的效率,同时,路由设备也起到了负载均衡的作用。
在实际应用中,假设业务数据为实体商铺的数据,当路由设备接收到不同地理位置的查询请求后,那么路由设备就会确定不同的地理位置,以对请求分类,进而发送给相应的服务器处理,如:路由设备会将来源于杭州的请求都会被分发到编号为1的服务器中处理(可以理解,编号为1的服务器中所存储的业务数据,均是地理位置为杭州的实体商铺数据)。
以上为本申请实施例提供的数据处理方法,基于同样的思路,本申请实施例还提供一种数据处理装置。
如图7a所示,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述装置设于所述存储设备侧,包括:
监测模块701,监测存储的业务数据;
获取模块702,当监测到存储的业务数据发生变更时,获取已变更数据;
分发模块703,根据预先保存的各第一数据库的地址,将获取到的所述已变更数据分发给各第一数据库,以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新。
作为本申请实施例中的一种方式,存储设备包括:第二数据库和中间设备,在此情况下,上述的数据处理装置设于中间设备侧,也即,如图7b所示。
具体而言,在图7b中,所述装置包括:
监测模块701’,监测第二数据库中存储的业务数据;
获取模块702’,当监测到第二数据库中存储的业务数据发生变更时,获取已变更数据;
分发模块703’,根据预先保存的各第一数据库的地址,将获取到的所述已变更数据分发给各第一数据库,以使得各服务器集群中的服务器,根据各第一数据库中同步的已变更数据进行更新。
本申请实施例还提供一种数据处理装置,如图8所示。具体地,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述装置设于所述第一数据库侧,包括:
接收模块801,接收所述存储设备发送的已变更数据;其中,所述已变更数据由所述存储设备监测到自身存储的业务数据发生变更时进行获取,并根据预先保存的各第一数据库的地址将获取的所述已变更数据进行分发。
更新模块802,根据接收到的所述已更新数据,生成更新通知发送给相应服务器集群中的各服务器,以使得相应服务器根据所述更新通知对存储的业务数据进行更新。
具体地,更新模块802,确定所述已更新数据对应的数据标识,根据所述数据标识生成更新通知,并通知所述服务器集群中的各服务器。
更为具体地,更新模块802,根据所述数据标识,生成针对具有该数据标识的业务数据的清除通知,采用广播方式将所述清除通知发送至所述服务器集群中的各服务器,以使得各服务器根据所述清除通知中的数据标识,将自身所存储的该数据标识所对应的数据清除。
本申请实施例还提供一种数据处理装置,如图9所示。存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述装置设于所述服务器侧,包括:
接收模块901,接收所述第一数据库发送的更新通知。其中,所述更新通知是由所述第一数据库接收到所述存储设备发送的已变更数据后生成的。
确定模块902,根据所述更新通知,确定所述更新通知对应的业务数据。
更新模块903,针对确定出的所述业务数据执行更新操作。
具体地,确定模块902,确定所述更新通知对应的已更新数据的数据标识,根据确定出的所述数据标识,确定该数据标识对应的业务数据。
更新模块903,将确定出的所述业务数据清除,并在接收到业务请求后,若确定出所述业务请求所需的业务数据被清除,则在所述第一数据库中查找该业务数据,获取查找到的所述业务数据进行更新,并根据更新的所述业务数据处理该业务请求。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种数据处理方法,其特征在于,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述方法包括:
所述存储设备存监测自身存储的业务数据;
当监测到自身存储的业务数据发生变更时,获取已变更数据;
根据预先保存的各第一数据库的地址,将获取到的所述已变更数据分发给各第一数据库,以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新。
2.如权利要求1所述的方法,其特征在于,所述存储设备包括用于存储业务数据的第二数据库和中间设备;
所述存储设备存监测自身存储的业务数据,具体包括:
所述中间设备监测第二数据库中存储的业务数据;
获取已变更数据,具体包括:
所述中间设备从所述第二数据库中获取已变更数据;
将获取到的所述已变更数据分发给各第一数据库,具体包括:
所述中间设备将获取到的所述已变更数据分发给所述各第一数据库。
3.一种数据处理方法,其特征在于,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述方法包括:
所述第一数据库接收所述存储设备发送的已变更数据;其中,所述已变更数据由所述存储设备监测到自身存储的业务数据发生变更时进行获取,并根据预先保存的各第一数据库的地址将获取的所述已变更数据进行分发;
根据接收到的所述已更新数据,生成更新通知发送给相应服务器集群中的各服务器,以使得相应服务器根据所述更新通知对存储的业务数据进行更新。
4.如权利要求3所述的方法,其特征在于,根据接收到的所述已更新数据,生成更新通知发送给所述服务器集群中的各服务器,具体包括:
确定所述已更新数据对应的数据标识;
根据所述数据标识生成更新通知发送至所述服务器集群中的各服务器。
5.如权利要求4所述的方法,其特征在于,根据所述数据标识生成更新通知,具体包括:
根据所述数据标识,生成针对具有该数据标识的业务数据的清除通知;
通知所述服务器集群中的各服务器,具体包括:
采用广播方式将所述清除通知发送至所述服务器集群中的各服务器,以使得各服务器根据所述清除通知中的数据标识,将自身所存储的该数据标识所对应的数据清除。
6.一种数据处理方法,其特征在于,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述方法包括:
针对任一服务器集群中的服务器,接收所述第一数据库发送的更新通知;其中,所述更新通知是由所述第一数据库接收到所述存储设备发送的已变更数据后生成的;
根据所述更新通知,确定所述更新通知对应的业务数据;
针对确定出的所述业务数据执行更新操作。
7.如权利要求6所述的方法,其特征在于,接收所述第一数据库发送的更新通知,具体包括:
接收所述第一数据库发送的清除通知;
确定所述更新通知对应的业务数据,具体包括:
确定所述清除通知对应的已更新数据的数据标识;
根据确定出的所述数据标识,确定该数据标识对应的业务数据;
针对确定出的所述业务数据进行更新操作,具体包括:
将确定出的所述业务数据清除,并在接收到业务请求后,若确定出所述业务请求所需的业务数据被清除,则在所述第一数据库中查找该业务数据,获取查找到的所述业务数据。
8.一种数据处理系统,其特征在于,所述系统包括:存储设备、多个服务器集群、以及每一服务器集群各自对应的第一数据库;
所述存储设备,存储业务数据,监测自身存储的业务数据,当监测到自身存储的业务数据发生变更时,获取已变更数据,根据预先保存的各第一数据库的地址,将获取到的所述已变更数据分发给各第一数据库,以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新;
所述第一数据库,接收所述存储设备发送的已变更数据,根据接收到的所述已更新数据,生成更新通知发送给相应服务器集群中的各服务器,以使得相应服务器根据所述更新通知对存储的业务数据进行更新;
所述服务器集群中的服务器,接收所述第一数据库发送的更新通知,根据所述更新通知,确定所述更新通知对应的业务数据,针对确定出的所述业务数据执行更新操作。
9.如权利要求8所述的系统,其特征在于,所述存储设备包括:第二数据库和中间设备;
所述第二数据库,存储业务数据;
所述中间设备,监测第二数据库中存储的业务数据,当监测到所述业务数据发生变更时,从所述第二数据库中获取已变更数据,将获取到的所述已变更数据分发给所述各第一数据库。
10.一种数据处理装置,其特征在于,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述装置设于所述存储设备侧,包括:
监测模块,监测存储的业务数据;
获取模块,当监测到存储的业务数据发生变更时,获取已变更数据;
分发模块,根据预先保存的各第一数据库的地址,将获取到的所述已变更数据分发给各第一数据库,以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新。
11.一种数据处理装置,其特征在于,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述装置设于所述第一数据库侧,包括:
接收模块,接收所述存储设备发送的已变更数据;其中,所述已变更数据由所述存储设备监测到自身存储的业务数据发生变更时进行获取,并根据预先保存的各第一数据库的地址将获取的所述已变更数据进行分发;
更新模块,根据接收到的所述已更新数据,生成更新通知发送给相应服务器集群中的各服务器,以使得相应服务器根据所述更新通知对存储的业务数据进行更新。
12.一种数据处理装置,其特征在于,存储设备存储业务数据;每一服务器集群对应至少一个第一数据库;所述装置设于所述服务器侧,包括:
接收模块,接收所述第一数据库发送的更新通知;其中,所述更新通知是由所述第一数据库接收到所述存储设备发送的已变更数据后生成的;
确定模块,根据所述更新通知,确定所述更新通知对应的业务数据;
更新模块,针对确定出的所述业务数据执行更新操作。
CN201610399301.5A 2016-06-07 2016-06-07 一种数据处理方法、装置及系统 Active CN106888245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610399301.5A CN106888245B (zh) 2016-06-07 2016-06-07 一种数据处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610399301.5A CN106888245B (zh) 2016-06-07 2016-06-07 一种数据处理方法、装置及系统

Publications (2)

Publication Number Publication Date
CN106888245A true CN106888245A (zh) 2017-06-23
CN106888245B CN106888245B (zh) 2020-04-24

Family

ID=59176775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610399301.5A Active CN106888245B (zh) 2016-06-07 2016-06-07 一种数据处理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN106888245B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460070A (zh) * 2017-12-21 2018-08-28 阿里巴巴集团控股有限公司 一种基于数据库的数据处理方法、装置及设备
CN108881379A (zh) * 2018-05-03 2018-11-23 网宿科技股份有限公司 一种服务器集群间数据同步的方法和装置
CN110308976A (zh) * 2018-03-27 2019-10-08 优酷网络技术(北京)有限公司 任务处理方法及装置
CN110334156A (zh) * 2019-07-10 2019-10-15 北京启迪区块链科技发展有限公司 一种数据库同步方法、装置、服务器和存储介质
CN110362581A (zh) * 2018-04-04 2019-10-22 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN111858749A (zh) * 2020-06-15 2020-10-30 武汉旷视金智科技有限公司 底库同步方法、装置和电子系统
CN111901389A (zh) * 2020-07-03 2020-11-06 北京达佳互联信息技术有限公司 数据更新方法、装置、服务器及存储介质
CN112667651A (zh) * 2020-12-29 2021-04-16 新华三技术有限公司 一种数据通信方法及装置
CN113342803A (zh) * 2021-03-03 2021-09-03 中国工商银行股份有限公司 数据库更新方法、装置、设备和介质
CN113946624A (zh) * 2021-10-11 2022-01-18 北京达佳互联信息技术有限公司 分布式集群、信息处理方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383839A (zh) * 2007-09-04 2009-03-11 阿里巴巴集团控股有限公司 基于数据服务器的数据分发系统及其实现方法
US7921179B1 (en) * 2008-01-15 2011-04-05 Net App, Inc. Reducing latency of access requests in distributed storage systems having a shared data set
CN102025550A (zh) * 2010-12-20 2011-04-20 中兴通讯股份有限公司 一种分布式集群中数据管理的系统和方法
CN102902746A (zh) * 2012-09-18 2013-01-30 杭州勒卡斯广告策划有限公司 一种海量数据处理方法、装置及系统
CN103036717A (zh) * 2012-12-12 2013-04-10 北京邮电大学 分布式数据的一致性维护系统和方法
CN103064899A (zh) * 2012-12-17 2013-04-24 北京奇虎科技有限公司 一种分发信息数据库
CN103297268A (zh) * 2013-05-13 2013-09-11 北京邮电大学 基于p2p技术的分布式数据一致性维护系统和方法
CN105187464A (zh) * 2014-06-19 2015-12-23 中兴通讯股份有限公司 一种分布式存储系统中的数据同步方法、装置及系统
CN105335170A (zh) * 2014-06-05 2016-02-17 阿里巴巴集团控股有限公司 分布式系统及数据增量更新方法
CN105468302A (zh) * 2015-11-23 2016-04-06 华为技术有限公司 一种处理数据的方法、装置及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383839A (zh) * 2007-09-04 2009-03-11 阿里巴巴集团控股有限公司 基于数据服务器的数据分发系统及其实现方法
US7921179B1 (en) * 2008-01-15 2011-04-05 Net App, Inc. Reducing latency of access requests in distributed storage systems having a shared data set
CN102025550A (zh) * 2010-12-20 2011-04-20 中兴通讯股份有限公司 一种分布式集群中数据管理的系统和方法
CN102902746A (zh) * 2012-09-18 2013-01-30 杭州勒卡斯广告策划有限公司 一种海量数据处理方法、装置及系统
CN103036717A (zh) * 2012-12-12 2013-04-10 北京邮电大学 分布式数据的一致性维护系统和方法
CN103064899A (zh) * 2012-12-17 2013-04-24 北京奇虎科技有限公司 一种分发信息数据库
CN103297268A (zh) * 2013-05-13 2013-09-11 北京邮电大学 基于p2p技术的分布式数据一致性维护系统和方法
CN105335170A (zh) * 2014-06-05 2016-02-17 阿里巴巴集团控股有限公司 分布式系统及数据增量更新方法
CN105187464A (zh) * 2014-06-19 2015-12-23 中兴通讯股份有限公司 一种分布式存储系统中的数据同步方法、装置及系统
CN105468302A (zh) * 2015-11-23 2016-04-06 华为技术有限公司 一种处理数据的方法、装置及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460070A (zh) * 2017-12-21 2018-08-28 阿里巴巴集团控股有限公司 一种基于数据库的数据处理方法、装置及设备
CN110308976A (zh) * 2018-03-27 2019-10-08 优酷网络技术(北京)有限公司 任务处理方法及装置
CN110362581A (zh) * 2018-04-04 2019-10-22 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN108881379A (zh) * 2018-05-03 2018-11-23 网宿科技股份有限公司 一种服务器集群间数据同步的方法和装置
CN110334156A (zh) * 2019-07-10 2019-10-15 北京启迪区块链科技发展有限公司 一种数据库同步方法、装置、服务器和存储介质
CN111858749A (zh) * 2020-06-15 2020-10-30 武汉旷视金智科技有限公司 底库同步方法、装置和电子系统
CN111901389A (zh) * 2020-07-03 2020-11-06 北京达佳互联信息技术有限公司 数据更新方法、装置、服务器及存储介质
CN111901389B (zh) * 2020-07-03 2023-07-04 北京达佳互联信息技术有限公司 数据更新方法、装置、服务器及存储介质
CN112667651A (zh) * 2020-12-29 2021-04-16 新华三技术有限公司 一种数据通信方法及装置
CN113342803A (zh) * 2021-03-03 2021-09-03 中国工商银行股份有限公司 数据库更新方法、装置、设备和介质
CN113342803B (zh) * 2021-03-03 2024-03-12 中国工商银行股份有限公司 数据库更新方法、装置、设备和介质
CN113946624A (zh) * 2021-10-11 2022-01-18 北京达佳互联信息技术有限公司 分布式集群、信息处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN106888245B (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN106888245A (zh) 一种数据处理方法、装置及系统
EP3353952B1 (en) Managing groups of servers
US9645756B2 (en) Optimization of in-memory data grid placement
EP2875653B1 (en) Method for generating a dataset structure for location-based services
CN113778623B (zh) 资源处理方法和装置、电子设备及存储介质
CN105516284B (zh) 一种集群数据库分布式存储的方法和装置
CN103186554A (zh) 分布式数据镜像方法及存储数据节点
Khanli et al. FRDT: footprint resource discovery tree for grids
CN108319618B (zh) 一种分布式存储系统的数据分布控制方法、系统及装置
US20120191678A1 (en) Providing Reconstructed Data Based On Stored Aggregate Data in Response to Queries for Unavailable Data
CN109981467B (zh) 静态路由更新方法和路由集中管理分发方法
US11683316B2 (en) Method and device for communication between microservices
Tang et al. Optimizing inter-server communication for online social networks
CN109783564A (zh) 支持多节点的分布式缓存方法及设备
CN107295031A (zh) 一种数据同步方法及装置
CN114979074A (zh) 一种企业IPv6地址分级管理方法、系统及存储介质
CN112492022A (zh) 提高数据库可用性的集群、方法、系统及存储介质
CN103327075A (zh) 基于标签交互的分布式社团发现方法
CN106357723A (zh) 一种基于云主机的多集群缓存信息同步系统和方法
CN101783742B (zh) 一种网络拓扑的发现方法和设备
CN108304555A (zh) 分布式地图数据处理方法
US6996577B1 (en) Method and system for automatically grouping objects in a directory system based on their access patterns
CN104618414A (zh) 一种分布式服务的实现方法、服务代理装置及分布式系统
CN102868594B (zh) 一种消息处理方法和装置
CN108090152B (zh) 一种数据同步方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201014

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201014

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.